CN115641334A

CN115641334A - 道路防撞设施损伤识别方法及装置

Info

Publication number: CN115641334A
Application number: CN202211575824.2A
Authority: CN
Inventors: 姚唐仁; 朱逸帆; 谢军; 汪宇鹏; 张鹏; 景琰忺
Original assignee: Beijing Shanma Zhijian Technology Co ltd; Hangzhou Shanma Zhiqing Technology Co Ltd; Shanghai Supremind Intelligent Technology Co Ltd
Current assignee: Beijing Shanma Zhijian Technology Co ltd; Hangzhou Shanma Zhiqing Technology Co Ltd; Shanghai Supremind Intelligent Technology Co Ltd
Priority date: 2022-12-09
Filing date: 2022-12-09
Publication date: 2023-01-24
Anticipated expiration: 2042-12-09
Also published as: CN115641334B

Abstract

本发明实施例提供了一种道路防撞设施损伤识别方法、装置、存储介质及电子装置，涉及道路巡检的技术领域。其方法包括：获取目标区域的初始图像；通过预设的对象识别模型，对所述初始图像进行对象识别处理，以确定所述初始图像中包含的第一对象；对所述初始图像进行分割处理，以得到包含所述第一对象的目标图像；对所述目标图像进行反光面积识别，确定所述第一对象的反光面积信息；在所述反光面积信息小于第一阈值的情况下，确定所述第一对象存在损伤。通过本发明，解决了因道路防撞设施损伤造成的安全隐患的问题，进而达到了减少道路安全隐患的效果。

Description

道路防撞设施损伤识别方法及装置

技术领域

本发明实施例涉及通信领域，具体而言，涉及一种道路防撞设施损伤识别方法、装置、存储介质及电子装置。

背景技术

防撞桶主要设置在公路及城市道路上容易发生汽车与路中固定设施发生碰撞的部位，如：路的转弯处、收费站及高架路的进出口等，起到隔离作用，防撞桶是用高弹性、高强度的改性塑料制成，其表面贴有的反光膜，可以根据需要贴上指示标签。当汽车与该设备碰撞时，能有效地减小冲击力，因此，能显著地降低车与人的损伤。

近年来，随着高速线路的不断增多、运营里程和规模快速增长、客运量不断攀升，道路交通的安全保障难度越来越大，对运营安全管理提出了更高要求。防撞桶都放置在高速公路、大城市的街道以及非常容易发生汽车碰撞或转弯的区域，它的主重要功能是保护和警告功能。然而，在防撞桶损坏、位移方面，目前还依赖工作人员的定期人工巡检排查，排查点位复杂，包含高速出入口、匝道和道路转弯处等多个区域，排查过程不仅对人力消耗很大，而且还容易出现漏检、排查不及时等风险，给城市交通的安全运营带来隐患，特别是防撞桶一旦发生位移或者损坏，车辆辨别不清容易形成交通事故，影响道路安全。

发明内容

本发明实施例提供了一种道路防撞设施损伤识别方法、装置、存储介质及电子装置，以至少解决相关技术中道路防撞桶/道路防撞杆损伤造成的安全隐患的问题。

根据本发明的一个实施例，提供了一种道路防撞设施损伤识别方法，包括：

获取目标区域的初始图像；

通过预设的对象识别模型，对所述初始图像进行对象识别处理，以确定所述初始图像中包含的第一对象，其中，所述第一对象包括道路防撞桶；

对所述初始图像进行分割处理，以得到包含所述第一对象的目标图像；

对所述目标图像进行反光面积识别，确定所述第一对象的反光面积信息；

在所述反光面积信息小于第一阈值的情况下，确定所述第一对象存在损伤。

在一个示例性实施例中，在所述对所述初始图像进行分割处理，以得到包含所述第一对象的目标图像之后，所述方法还包括：

对所述目标图像进行反光强度识别，确定所述第一对象的反光强度信息；

在所述反光强度信息小于第二阈值的情况下，确定所述第一对象存在损伤。

在一个示例性实施例中，在所述对所述目标图像进行反光强度识别，确定所述第一对象的反光强度信息之后，所述方法还包括：

基于所述反光强度信息，确定所述反光强度的反光强度分布信息；

在所述反光强度分布信息不满足反光强度分布条件的情况下，确定所述第一对象存在损伤。

在一个示例性实施例中，在所述基于所述反光强度信息，确定所述反光强度的分布信息之前，所述方法还包括：

根据所述初始图像，确定所述目标区域的光照方向；

基于所述光照方向，确定所述反光强度分布条件。

在一个示例性实施例中，所述方法还包括：

获取所述目标区域的历史图像；

基于所述目标图像，将所述目标图像与所述历史图像进行对象比对处理，以确定所述第一对象的运动轨迹；

在所述运动轨迹不满足轨迹条件的情况下，确定所述第一对象存在移位。

对所述目标对象进行阴影面积识别，以确定所述第一对象的阴影面积；

在所述阴影面积满足阴影条件的情况下，确定所述第一对象存在损伤。

根据本发明的另一个实施例，提供了一种道路防撞设施损伤识别装置，包括：

初始图像采集模块，用于获取目标区域的初始图像；

对象识别模块，用于通过预设的对象识别模型，对所述初始图像进行对象识别处理，以确定所述初始图像中包含的第一对象，其中，所述第一对象包括道路防撞桶；

图像分割模块，用于对所述初始图像进行分割处理，以得到包含所述第一对象的目标图像；

反光面积识别模块，用于对所述目标图像进行反光面积识别，确定所述第一对象的反光面积信息；

第一损伤判断模块，用于在所述反光面积信息小于第一阈值的情况下，确定所述第一对象存在损伤。

在一个示例性实施例中，还包括，

反光强度识别模块，用于在所述对所述初始图像进行分割处理，以得到包含所述第一对象的目标图像之后，对所述目标图像进行反光强度识别，确定所述第一对象的反光强度信息；

第二损伤判断模块，用于在所述反光强度信息小于第二阈值的情况下，确定所述第一对象存在损伤。

根据本发明的又一个实施例，还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。

根据本发明的又一个实施例，还提供了一种电子装置，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行上述任一项方法实施例中的步骤。

通过本发明，由于通过图像识别自动对第一对象的损伤情况进行识别，减少了人工巡检的人力成本，提高了道路防撞桶损伤的识别效率，因此，可以解决防撞桶损伤造成的安全隐患问题，达到降低道路安全隐患的效果。

附图说明

图1是本发明实施例的一种道路防撞设施识别方法的移动终端的硬件结构框图；

图2是根据本发明实施例的一种道路防撞设施识别方法的流程图；

图3是根据本发明具体实施例的道路防撞设施的示意图一；

图4是根据本发明具体实施例的道路防撞设施的示意图二；

图5是根据本发明实施例的一种道路防撞设施识别装置的结构框图。

具体实施方式

下文中将参考附图并结合实施例来详细说明本发明的实施例。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。

本申请实施例中所提供的方法实施例可以在移动终端、计算机终端或者类似的运算装置中执行。以运行在移动终端上为例，图1是本发明实施例的一种道路防撞桶识别方法的移动终端的硬件结构框图。如图1所示，移动终端可以包括一个或多个（图1中仅示出一个）处理器102（处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置）和用于存储数据的存储器104，其中，上述移动终端还可以包括用于通信功能的传输设备106以及输入输出设备108。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述移动终端的结构造成限定。例如，移动终端还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。

存储器104可用于存储计算机程序，例如，应用软件的软件程序以及模块，如本发明实施例中的一种道路防撞设施识别方法对应的计算机程序，处理器102通过运行存储在存储器104内的计算机程序，从而执行各种功能应用以及数据处理，即实现上述的方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至移动终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

传输装置106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括移动终端的通信供应商提供的无线网络。在一个实例中，传输装置106包括一个网络适配器（Network Interface Controller，简称为NIC），其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输装置106可以为射频（Radio Frequency，简称为RF）模块，其用于通过无线方式与互联网进行通讯。

在本实施例中提供了一种道路防撞设施损伤识别方法，图2是根据本发明实施例的一种道路防撞设施损伤识别方法的流程图，如图2所示，该流程包括如下步骤：

步骤S202，获取目标区域的初始图像；

在本实施例中，如图3及图4所示，目标区域包括但不限于高速出入口、匝道和道路转弯处、应急车道两侧等区域，初始图像通过可以（但不限于）是通过可见光摄像头或激光雷达对前述区域内进行图像或信息采集的得到的，或者通过无人机搭载机载摄像头的方式对目标道路进行图像采集得到的。

步骤S204，通过预设的对象识别模型，对所述初始图像进行对象识别处理，以确定所述初始图像中包含的第一对象，其中，所述第一对象包括道路防撞桶；

在本实施例中，先识别第一对象是为了减少其它对象（如会反光的抛洒物、灯杆等）对损伤识别过程造成的干扰，从而提高识别精度。

其中，对象识别模型包括（但不限于）CNN、RCNN、Fast-RCNN等用于识别特定对象的模型；第一对象除了包括道路防撞桶，还可以包括粘贴有反光膜的道路防撞杆（如图4所示），在必要情况下，还可以是维护人员穿着的反光背心。

需要说明的是，对象识别模型的训练过程包括如下步骤：

S1，在训练之前，我们将训练集进行划分训练集：测试集为8:2。其中训练集图像数量为29077，测试集图像数量为7269，并将相关数据存储至数据集目录；

S2，由于数据集的jpg和xml在一个文件夹，首先将图片和标签进行分离；

S3，然后根据自定义的训练集和验证集比例，生成txt。如果要更改比例，仅仅更改trainval_percent和train_percent即可；

S4，最后将voc格式转换为yolo格式。

步骤S206，对所述初始图像进行分割处理，以得到包含所述第一对象的目标图像；

在本实施例中，对初始图像进行分割处理是为了减少目标图像中需要进行识别的对象，从而节约算力，提高识别效率。

其中，分割处理可以通过FCN等分割模型来实现，也可以是通过其它方式来实现。

步骤S208，对所述目标图像进行反光面积识别，确定所述第一对象的反光面积信息；

在本实施例中，如图3及图4所示，当道路防撞桶、道路防撞杆等第一对象被光源照亮时，其粘贴的反光膜会进行反光，此时如果道路防撞桶或者道路防撞杆出现损伤（如局部脱落、局部损毁、局部凹陷）等情况时，其反光面积会出现变化，因而此时通过确定反光面积信息即可确定是否出现损伤。

其中，反光面积的识别可以是通过像素识别，例如，正常情况下，目标图像的像素矩阵为

，其中，0为未反光区域，1为反光区域，此时，反光面积为2*2，当出现损伤时，其像素矩阵变换为

，此时反光面积为1*1，像素面积发生变化，且小于2*2，因而可以确定第一对象出现损伤，以此类推。

步骤S2010，在所述反光面积信息小于第一阈值的情况下，确定所述第一对象存在损伤。

在本实施例中，第一阈值可以是正常情况下道路防撞桶或道路防撞杆的最小反光面积。

通过上述步骤，通过图像识别来对道路防撞桶等设施进行自动识别，无需人工进行巡检，即节约人力成本，也提高了识别效率和识别精度，方便维护人员及时对道路防撞桶等设备进行维护更换，解决了防撞桶损伤造成的安全隐患，提高了道路安全维护效率。

其中，上述步骤的执行主体可以为基站、终端等，但不限于此。

在一个可选的实施例中，在所述对所述初始图像进行分割处理，以得到包含所述第一对象的目标图像之后，所述方法还包括：

步骤S2062，对所述目标图像进行反光强度识别，确定所述第一对象的反光强度信息；

步骤S2064，在所述反光强度信息小于第二阈值的情况下，确定所述第一对象存在损伤。

在本实施例中，当图像采集点距离道路防撞桶、道路防撞杆距离较远时，即使反光膜有损毁，但其反光面积可能会被图像识别所忽略，因而其反光面积依然可能等于第一阈值，此时，考虑到损毁对应区域将不会进行反光，在反光强度光谱中会出现反光强度较低的“黑点”，因而此时通过确定反光强度即可辅助判断是否存在损伤。

其中，反光强度信息包括目标图像中的第一对象的反光强度，第二阈值可以是100-500Lux，具体根据实际使用环境进行调整。

在一个可选的实施例中，在所述对所述目标图像进行反光强度识别，确定所述第一对象的反光强度信息之后，所述方法还包括：

步骤S2066，基于所述反光强度信息，确定所述反光强度的反光强度分布信息；

步骤S2068，在所述反光强度分布信息不满足反光强度分布条件的情况下，确定所述第一对象存在损伤。

在本实施例中，如图3所示，反光膜在一般情况下可以看作光滑的表面，因而反光膜在光照的情况下，其反光的分布应当满足“朗伯余弦定律”，即：远离图像采集装置的弯曲边缘应该反射更少的光，因而防撞桶弯曲边缘的光照强度应当小于中心处的光照强度，且其分布应当是沿中心向边缘连续的逐渐减少；而在反光膜或道路防撞桶自身出现损伤时，其反光强度的分布会出现不连续的情况，因而此时通过判断其反光强度的分布即可确定是否存在损伤。

其中，反光强度分布信息包括第一对象的沿某一方向的反光强度变化光谱，对应的，反光强度分布条件即为正常情况下，相同光照角度下反光强度的变化光谱。

在一个可选的实施例中，在所述基于所述反光强度信息，确定所述反光强度的分布信息之前，所述方法还包括：

步骤S206602，根据所述初始图像，确定所述目标区域的光照方向；

步骤S206604，基于所述光照方向，确定所述反光强度分布条件。

在本实施例中，由于朗伯余弦定律下的反光强度的分布与光线的入射角度有关，因而需要先判断光照角度。

其中，确定目标区域的光照方向可以通过识别初始图像中的发光对象来实现，如灯杆、车辆的车灯等；在确定了发光对象之后，再根据道路防撞桶/道路防撞杆与发光对象之间的位置关系进行计算即可确定光照方向，在条件允许的情况下，还可以根据预先存储的不同发光对象的发光强度进一步计算反光强度。

需要说明的是，在缺少发光对象的情况下，可以通过无人机携带照明设施飞行至目标区域，再对目标区域进行照明来实现反光识别。

在一个可选的实施例中，所述方法还包括：

步骤S2012，获取所述目标区域的历史图像；

步骤S2014，基于所述目标图像，将所述目标图像与所述历史图像进行对象比对处理，以确定所述第一对象的运动轨迹；

步骤S2016，在所述运动轨迹不满足轨迹条件的情况下，确定所述第一对象存在移位。

在本实施例中，当防撞桶被挪动（如台风）或者被撞（如交通事故）的情况下，防撞桶会出现移位，此时如果不及时对防撞桶进行调整，可能会造成二次事故；而当防撞桶移位时，其位置信息会发生变化，因而此时通过比对历史图像，判断其运动轨迹或位置坐标即可判断是否发生移位。

其中，运动轨迹包括历史图像中道路防撞桶/道路防撞杆的位置坐标的变化或位置连线；轨迹条件即为第一对象的轨迹变化大于一定阈值，这是因为一般情况下，考虑到图像识别的精度问题，允许轨迹变化小于一定阈值，而当轨迹变化大于阈值时，则判断为非正常的移位。

步骤S20610，对所述目标对象进行阴影面积识别，以确定所述第一对象的阴影面积；

步骤S20612，在所述阴影面积满足阴影条件的情况下，确定所述第一对象存在损伤。

在本实施例中，在环境光照条件较好的情况下（如晴朗白天），反光膜的反光情况不明显，在这种情况下，考虑到存在凹陷的防撞桶在阳光的照射下会存在阴影，否则不会存在阴影，因而此时可以通过识别阴影的位置及阴影面积来判断是否存在凹陷。

其中，阴影的识别可以是阴影识别模型通过对初始图像中阳光照射在RGB三个通道上的强度比例进行计算，再进行阴影区域和非阴影区域的分割计算来实现模型的训练，随后再通过训练好的模型对阴影面积进行识别；对应的，阴影条件可以是阴影面积大于一定阈值。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质（如ROM/RAM、磁碟、光盘）中，包括若干指令用以使得一台终端设备（可以是手机，计算机，服务器，或者网络设备等）执行本发明各个实施例所述的方法。

在本实施例中还提供了一种道路防撞设置损伤识别装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。

图5是根据本发明实施例的一种道路防撞桶损伤装置的结构框图，如图5所示，该装置包括：

初始图像采集模块52，用于获取目标区域的初始图像；

对象识别模块54，用于通过预设的对象识别模型，对所述初始图像进行对象识别处理，以确定所述初始图像中包含的第一对象，其中，所述第一对象包括道路防撞桶；

图像分割模块56，用于对所述初始图像进行分割处理，以得到包含所述第一对象的目标图像；

反光面积识别模块58，用于对所述目标图像进行反光面积识别，确定所述第一对象的反光面积信息；

第一损伤判断模块510，用于在所述反光面积信息小于第一阈值的情况下，确定所述第一对象存在损伤。

在一个可选的实施例中，该装置还包括，

反光强度识别模块512，用于在所述对所述初始图像进行分割处理，以得到包含所述第一对象的目标图像之后，对所述目标图像进行反光强度识别，确定所述第一对象的反光强度信息；

第二损伤判断模块514，用于在所述反光强度信息小于第二阈值的情况下，确定所述第一对象存在损伤。

在一个可选的实施例中，该装置还包括，

反光强度分布识别模块516，用于在所述对所述目标图像进行反光强度识别，确定所述第一对象的反光强度信息之后，基于所述反光强度信息，确定所述反光强度的反光强度分布信息；

第三损伤判断模块518，用于在所述反光强度分布信息不满足反光强度分布条件的情况下，确定所述第一对象存在损伤。

在一个可选的实施例中，该装置还包括：

光照方向确定模块520，用于在所述基于所述反光强度信息，确定所述反光强度的分布信息之前根据所述初始图像，确定所述目标区域的光照方向；

分布条件确定模块522，用于基于所述光照方向，确定所述反光强度分布条件。

在一个可选的实施例中，该装置还包括：

历史图像采集模块524，用于获取所述目标区域的历史图像；

运动轨迹确定模块526，用于基于所述目标图像，将所述目标图像与所述历史图像进行对象比对处理，以确定所述第一对象的运动轨迹；

移位判断模块528，用于在所述运动轨迹不满足轨迹条件的情况下，确定所述第一对象存在移位。

在一个可选的实施例中，该装置还包括：

阴影识别模块530，用于在所述对所述初始图像进行分割处理，以得到包含所述第一对象的目标图像之后，对所述目标对象进行阴影面积识别，以确定所述第一对象的阴影面积；

第四损伤判断模块532，用于在所述阴影面积满足阴影条件的情况下，确定所述第一对象存在损伤。

需要说明的是，上述各个模块是可以通过软件或硬件来实现的，对于后者，可以通过以下方式实现，但不限于此：上述模块均位于同一处理器中；或者，上述各个模块以任意组合的形式分别位于不同的处理器中。

本发明的实施例还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。

在一个示例性实施例中，上述计算机可读存储介质可以包括但不限于：U盘、只读存储器（Read-Only Memory，简称为ROM）、随机存取存储器（Random Access Memory，简称为RAM）、移动硬盘、磁碟或者光盘等各种可以存储计算机程序的介质。

本发明的实施例还提供了一种电子装置，包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。

在一个示例性实施例中，上述电子装置还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。

本实施例中的具体示例可以参考上述实施例及示例性实施方式中所描述的示例，本实施例在此不再赘述。

显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims

1.一种道路防撞设施损伤识别方法，其特征在于，包括：

获取目标区域的初始图像；

2.根据权利要求1所述的方法，其特征在于，在所述对所述初始图像进行分割处理，以得到包含所述第一对象的目标图像之后，所述方法还包括：

3.根据权利要求2所述的方法，其特征在于，在所述对所述目标图像进行反光强度识别，确定所述第一对象的反光强度信息之后，所述方法还包括：

4.根据权利要求3所述的方法，其特征在于，在所述基于所述反光强度信息，确定所述反光强度的分布信息之前，所述方法还包括：

根据所述初始图像，确定所述目标区域的光照方向；

基于所述光照方向，确定所述反光强度分布条件。

5.根据权利要求1所述的方法，其特征在于，所述方法还包括：

获取所述目标区域的历史图像；

6.根据权利要求1所述的方法，其特征在于，在所述对所述初始图像进行分割处理，以得到包含所述第一对象的目标图像之后，所述方法还包括：

7.一种道路防撞设施损伤识别装置，其特征在于，包括：

初始图像采集模块，用于获取目标区域的初始图像；

8.根据权利要求7所述的装置，其特征在于，还包括，

9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行所述权利要求1至6任一项中所述的方法。

10.一种电子装置，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行所述权利要求1至6任一项中所述的方法。