CN114972177A - 道路病害识别管理方法、装置及智能终端 - Google Patents

Abstract

本申请涉及智能道路检测的领域，尤其是涉及一种道路病害识别管理方法、装置及智能终端，道路病害识别管理方法包括：基于检测路段的检测视频，确定目标病害图像和目标路标图像；基于目标病害图像，确定检测路段的病害特征信息；基于目标路标图像，确定检测路段的检测位置；绑定病害特征信息和检测位置，并录入数据库。利用上述技术方案，通过分析目标病害图像得到描述道路病害的具体特征的病害特征信息，通过分析目标路标图像得到检测路段的检测位置。本申请具有可以减少人眼识别病害和人工测量病害的工作量，降低由识别道路病害导致的交通安全风险，并提升道路病害识别的工作效率的特点。

Description

道路病害识别管理方法、装置及智能终端

技术领域

本申请涉及智能道路检测的领域，尤其是涉及一种道路病害识别管理方法、装置及智能终端。

背景技术

道路随着车辆通行可能会有出现裂缝、坑槽、车辙、深坑、塌陷等缺陷，这一类缺陷统称为道路病害。道路病害影响了道路通行能力、道路寿命和发生交通事故的概率，为了道路病害造成的不良影响，需要及时发现道路病害并且对道路进行养护。近年来，我国道路建设有了突飞猛进的发展，通车里程规模不断增大，并且机动车行驶数量迅速增长，导致道路路面损坏速度加快，出现道路病害的风险变大，道路病害的巡检工作也变得越来越繁重。

道路病害的巡检工作主要是由养路单位的巡检人员手持相机拍照，通过人眼识别道路病害，用尺子测量道路病害的尺寸，并将道路病号的形状、尺寸、类型进行记录和上传，这种识别道路病害的方式效率低，而且在拍照过程中存在交通安全的风险。

发明内容

本申请实施例提供了一种道路病害识别管理方法、装置及智能终端，用于提高道路病害识的效率和准确性。

根据本申请实施例的一方面，提供了一种道路病害识别管理方法。

一种道路病害识别管理方法，包括：

基于检测路段的检测视频，确定目标病害图像和目标路标图像；

基于所述目标病害图像，确定所述检测路段的病害特征信息；

基于所述目标路标图像，确定所述检测路段的检测位置；

绑定所述病害特征信息和所述检测位置，并录入数据库。

通过采用上述技术方案，从检测视频中提取出拍摄有道路病害的目标病害图像和拍摄有道路标志的目标路标图像，通过分析目标病害图像得到描述道路病害的具体特征的病害特征信息，通过分析目标路标图像得到检测路段的检测位置，从而得到道路病害的位置区域，并记录道路病害的具体特征描述和位置区域。利用上述技术方案，可以减少人眼识别病害和人工测量病害的工作量，降低由识别道路病害导致的交通安全风险，并提升道路病害识别的工作效率。

可选的，所述基于所述目标病害图像，确定所述检测路段的病害特征信息的步骤，包括：

基于所述目标病害图像，确定检测点集，其中，所述检测点集包括多个检测角点，各个所述检测角点围绕所述目标病害图像中的病害区域分布；

基于所述检测点集，确定所述目标病害图像的病害尺寸；

基于所述目标病害图像的病害尺寸，确定所述检测路段的病害特征信息。

通过采用上述技术方案，检测点集可以得到多个围绕病害区域分布的检测角点，利用各个检测角点可以计算得到病害尺寸，病害尺寸可以反映出病害区域的面积大小，便于后续对道路病害进行危险等级评估。

可选的，所述基于所述目标病害图像，确定检测点集的步骤，包括：

将所述目标病害图像输入实例分割模型，得到所述目标病害图像的检测点集。

通过采用上述技术方案，利用实例分割模型，从目标病害图像中提取出检测点集，提高检测点集提取的效率和准确性。

可选的，所述基于所述检测点集，确定所述目标病害图像的病害尺寸的步骤，包括：

基于各个所述检测角点所围成的矩形区域的长边，确定病害长度，并基于各个所述检测角点所围成的矩形区域的短边，确定病害宽度；

基于所述病害长度和所述病害宽度，确定所述目标病害图像的病害尺寸。

通过采用上述技术方案，计算出道路病害所对应的矩形区域的长边长度和短边长度，得到病害长度和病害宽度，然后估算出病害尺寸，能够快捷地得到道路病害的估算面积。

可选的，所述基于所述目标病害图像，确定所述检测路段的病害特征信息的步骤，包括：

将所述目标病害图像输入实例分割模型，得到所述目标病害图像的病害类型；

基于所述目标病害图像的病害类型，确定所述检测路段的病害特征信息。

通过采用上述技术方案，利用实例分割模型得到目标病害图像中道路病害的具体类型，便于后续对道路病害进行分类和危险等级评估。

可选的，所述基于检测路段的检测视频，确定目标病害图像和目标路标图像的步骤，包括：

基于检测路段的检测视频，确定初始病害图像组和初始路标图像组，其中，所述初始病害图像组内各帧图像拍摄有道路病害，所述初始路标图像组内各帧图像拍摄有道路标志；

基于所述初始病害图像组，确定目标病害图像，基于所述初始路标图像组，确定目标路标图像；

在所述将所述目标病害图像输入实例分割模型，得到所述目标病害图像的病害类型的步骤之前，还包括：

基于所述初始病害图像组与所述检测视频之间的帧数占比，调整实例分割模型的置信度。

通过采用上述技术方案，根据初始病害图像组与检测视频之间的帧数占比，调整实例分割模型的置信度，从而调整实例分割模型的召回率、精确率和误识率，以达到模型运算效率和输出精确度之间的平衡。

可选的，所述目标路标图像由双目摄像头获取，所述目标路标图像包括第一目标路标图像和第二目标路标图像；所述基于所述目标路标图像，确定所述检测路段的检测位置的步骤，包括：

确定所述第一目标路标图像的第一同名点和所述第二目标路标图像的第二同名点，其中，所述第一同名点和所述第二同名点反映道路标志的同一位置；

基于所述第一同名点和所述第二同名点计算所述道路标志的经纬度，确定所述检测路段的检测位置。

通过采用上述技术方案，利用第一目标路标图像和第二目标路标图像对应于同一道路标志位置的像素点，可以计算出此道路标志所在位置的经纬度，从而确定检测位置，获得道路病害的位置区域。

可选的，所述基于检测路段的检测视频，确定目标病害图像和目标路标图像的步骤，包括：

基于检测路段的检测视频，确定初始病害图像组和初始路标图像组，其中，所述初始病害图像组内各帧图像拍摄有道路病害，所述初始路标图像组内各帧图像拍摄有道路标志；

基于所述初始病害图像组，确定相似病害图像组，基于所述初始路标图像组，确定相似路标图像组，其中，每一组所述相似病害图像组中的相邻各帧图像之间包含形状相似的道路病害，每一组所述相似路标图像组中的相邻各帧图像之间包含形状相似的道路标志；

基于所述相似病害图像组，确定目标病害图像，基于所述相似路标图像组，确定目标路标图像。

通过采用上述技术方案，先从初始病害图像组和初始路标图像组中，筛选出相似病害图像组和相似路标图像组，再对相似病害图像组和相似路标图像组进行进一步的筛选，得到目标病害图像和目标路标图像，可以减少检测视频中相邻帧图像检测到同一位置的道路病害或道路标志时的重复计算。

根据本申请实施例的另一方面，提供了一种道路病害识别管理装置。

一种道路病害识别管理装置，包括：

目标获取模块，用于基于检测路段的检测视频，确定目标病害图像和目标路标图像；

病害分析模块，用于基于所述目标病害图像，确定所述检测路段的病害特征信息；

位置分析模块，用于基于所述目标路标图像，确定所述检测路段的检测位置；

信息录入模块，用于绑定所述病害特征信息和所述检测位置，并录入数据库。

根据本申请实施例的另一方面，提供了一种智能终端。

一种智能终端，包括存储器和处理器，所述存储器上存储有能够被处理器加载并执行如上述任一技术方案的道路病害识别管理方法的计算机程序。

附图说明

图1是本申请的道路病害识别管理方法的流程示意图。

图2是目标病害图像的示意图，其中，虚线部分为病害区域。

图3是道路病害识别管理方法中步骤S11和步骤S12的子流程示意图。

图4是初始病害图像组、相似病害图像组和目标病害图像的示意图。

图5是道路病害识别管理方法中步骤S2的子流程示意图。

图6是道路病害识别管理方法中步骤S3的子流程示意图。

图7是本申请的道路病害识别管理装置的模块示意图。

图中，1、目标获取模块；2、病害分析模块；3、位置分析模块；4、信息录入模块。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本实施例中各步骤的标号仅为方便说明，不代表对各步骤运动顺序的限定，在实际应用时，可以根据需要各步骤运动顺序进行调整，或同时进行，这些调整或者替换均属于本发明的保护范围。

文中的术语“第一”、“第二”仅用于描述目的，而不能理解为明示或暗示相对重要

性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征，在本申请实施例的描述中，除非另有说明，“多个”的含义是两个或两个以上。此外，术语“包括”以及它们任何变形，意图在于覆盖不排他的保护。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。

下面对本申请实施例中涉及的部分概念进行介绍。

1、帧：就是影像动画中最小单位的单幅影像画面，一帧就是一副静止的画面，连续的帧就形成视频。帧数就是在1秒钟时间里传输的图片的帧数，也可以理解为图形处理器每秒钟能够刷新几次。

2、像素点：一个像素点是构成一个图像的色点，是构成图像的最基本单元，一帧图像实际上由非常多的像素点拼凑而成。基于一个视觉系统构建像素坐标系，像素坐标系为建立在图像上的二维坐标系，每个像素点在像素坐标系中均具有像素坐标，像素坐标的x坐标反映像素点位于图像的列数，像素坐标的y坐标反映像素点位于图像的行数。

3、归一化坐标：指的归一化的平面上的坐标。将三维空间点的坐标都除以Z，所有空间点坐标都转到了相机前单位距离处，这个平面就叫归一化的平面，之后再乘以焦距，让归一化平面回到成像平面。世界坐标系中的世界坐标，通过刚体转换可以得到相机坐标系的相机坐标，相机坐标系的相机坐标通过透视投影可以得到像平面坐标系的归一化坐标，归一化坐标通过原点平移和尺度伸缩可以得到像素坐标系的像素坐标。

4、卷积神经网络（Convolutional Neural Networks, CNN）：卷积神经网络是一种带有卷积结构的深度神经网络，卷积结构可以减少深层网络占用的内存量，其三个关键的操作，其一是局部感受野，其二是权值共享，其三是pooling层，有效的减少了网络的参数个数，缓解了模型的过拟合问题。

5、实例分割算法：实例分割是一种在像素层面识别目标轮廓的任务，相比其他相关任务，实例分割是较难解决的计算机视觉任务之一。语义分割算法的任务是对图像中的每个像素打上类别标签进行分类，即识别出对应于不同对象的像素点；目标检测算法的任务是识别图像中存在的内容和检测其位置，即识别出对应于不同的对象的位置区域；实例分割算法是语义分割算法和目标检测算法的结合，能够自动从图像中用目标检测方法框出不同实例，即在图像中识别出对应于不同对象的位置区域，再用语义分割方法在不同实例区域内进行逐像素标记，即识别出这些位置区域分别属于哪些对象，从而在图像中识别出不同的实例。

6、双目视觉算法：双目视觉是模拟人类视觉原理，使用计算机被动感知距离的方法。从两个或者多个点观察一个物体，获取在不同视角下的图像，根据图像之间像素的匹配关系，通过三角测量原理计算出像素之间的偏移来获取物体的三维信息，得到了物体的景深信息，就可以计算出物体与相机之间的实际距离，物体3维大小，两点之间实际距离。

7、Batch Size：神经网路模型在一次训练所选取的样本数，Batch Size的大小影响模型的优化程度和速度，同时其直接影响到GPU内存的使用情况。

本申请实施例提供的道路病害识别管理方法应用于道路质量巡检、道路养护等场景中。例如，在道路达到一定的养护周期，或者道路经过意外（如交通事故）发生之后，需要对道路表面的道路病害进行识别和记录，一方面可以及时通知养护单位对道路病害进行修复，另一方面可以将个别较为严重的道路病害广播给在此道路上行驶的车辆，降低道路病害对交通安全带来的影响。又例如，对各个道路的道路病害累计情况进行统计，对频繁出现道路病害的原因进行分析，以及对各个道路的未来健康情况进行估算。

下面介绍本申请的基本构思。

相关技术中，道路病害的巡检工作通常由养路单位的巡检人员手持相机拍照，通过人眼识别道路病害，用尺子测量道路病害的尺寸，并将道路病号的形状、尺寸、类型进行记录和上传，这种识别道路病害的方式具有识别效率低、存在交通安全风险的问题。

基于上述问题，本申请通过基于检测路段拍摄的视频，抽取出拍摄有道路病害的图像和拍摄有道路标志的图像，利用实例分割算法从图像中提取出描述道路病害的信息，并利用图像中道路标志的内容计算出图像的具体位置，从而记录道路病害的具体特征描述和位置区域，以可以减少人眼识别病害和人工测量病害的工作量，降低由识别道路病害导致的交通安全风险，并提升道路病害识别的工作效率。

下面结合说明书附图1-图7对本申请实施例作进一步详细描述。

本申请实施例提供一种道路病害识别管理方法，所述方法的主要流程描述如下。

参照图1和图2，S1、基于检测路段的检测视频，确定目标病害图像和目标路标图像。

其中，检测路段指的是需要进行道路病害巡检的交通道路，检测视频指的是通过摄像设备对检测路段进行拍摄的到视频数据。目标病害图像指的是从检测视频中抽取出来的、拍摄有道路病害的图像。目标路标图像指的是从检测视频中抽取出来的、拍摄有道路标志的图像，道路标志包括有道路标牌、道路桩等具有特定形状、能够与拍摄背景明显区别开的物体。

值得注意的是，本申请中的检测路段可以是基于检测视频设定，如在一具体应用场景中，需要对道路进行随机巡检，或者对大规模的道路进行巡检，整个巡检任务的拍摄时长很长，则需要将原拍摄视频分成多段检测视频，每一段检测视频所对应的拍摄路段即为检测路段。本申请中的检测视频可以是基于检测路段设定，如在一具体应用场景中，检测路段为指定需要巡检的路段，整个巡检任务的拍摄时长较短，则可以取检测路段拍摄得到的原拍摄视频为检测视频。

在本实施例中，摄像设备为双目摄像头。在一种应用场景中，摄像设备具体为搭载有双目摄像头的勘察器，摄像设备安装于养路单位专用的行驶车辆上，行驶车辆在检测路段行驶的过程中对检测路段的路面进行拍摄。在另外一种应用场景中，摄像设备具体为搭载有双目摄像头的行车记录仪，摄像设备安装于私人车辆上，私人车辆在检测路段行驶的过程中对检测路段的路面进行拍摄，检测视频从摄像设备上传的视频数据中获取。

S2、基于目标病害图像，确定检测路段的病害特征信息。

其中，利用目标病害图像中拍摄有道路病害的像素区域，可以提取用于对道路病害进行描述的病害特征信息。

S3、基于目标路标图像，确定检测路段的检测位置。

其中，利用目标病害图像中拍摄有道路标志的像素区域，可以分析计算出道路标志在世界坐标系中的实际位置坐标，得到检测位置。

S4、绑定病害特征信息和检测位置，并录入数据库。

其中，病害特征信息和检测位置均由检测视频的数据分析得到，能够反映检测路段上的道路病害以及道路路标的某个位置，由于此位置应与道路病害较为接近，因此可以认为检测位置即道路病害的邻近位置区域，可以用于反映道路病害的具体位置区域。将病害特征信息和检测位置相互绑定并录入数据库，从而记录道路病害的具体特征描述和位置区域，完成道路病害的识别和记录管理。

参照图3，具体的，在步骤S1的子步骤中，包括：

S11、基于检测路段的检测视频，确定初始病害图像组和初始路标图像组。

其中，检测视频包括有若干帧检测图像，初始病害图像组和初始路标图像组均为对检测视频的各帧检测图像进行初步筛选得到的图像数据。初始病害图像组包括至少一帧初始病害图像，初始病害图像内拍摄有至少一处道路病害；初始路标图像组包括至少一帧初始路标图像，初始路标图像内拍摄有至少一处道路标志。

对检测视频进行初步筛选得到初始病害图像组和初始路标图像组的具体方法为：

A1、将各帧检测检测图像输入训练好的识别筛选模型中，得到识别初筛信息；

病害筛选模型包含有目标分类算法模块、目标检测算法模块和语义分割算法模块，其中，目标分类算法模块对识别物的种类进行区分，判断当前的识别物是道路病害或者是道路标志；目标检测算法模块在检测图像中识别出多个识别物；语义分割算法模块对不同的识别物所占的像素点进行标注，并通过各个外接矩形框将各个识别物一一对应地框出，外接矩形框由识别物所占的各个像素点得到。

每一个识别物即为一处道路病害或者一处道路标志，识别初筛信息包括有多个识别初筛区域，识别初筛区域为围绕检测图像中道路病害或道路标志分布的外接矩形框。在同一帧检测图像中，如果存在多处道路病害或道路标志，则每一处道路病害或道路标志均会对应有一个外接矩形框，并且每一个外接矩形框均设置有对应的分类标识和身份编号，分类标识用于指示外接矩形框代表的是道路病害或者是道路标志，而身份编号用于对不同的道路病害或道路标志进行区分。

A2、基于病害个体信息对各帧检测图像进行分类，基于分类结果，确定初始病害图像组和初始路标图像组。

识别初筛信息可以得到各帧检测图像中的道路病害或道路标志分布情况，如在一帧检测图像中，识别出有身份编号分别为d1、d2、d3、d4的四个识别初筛区域，其中，d1、d2、d3的分类标识均为病害，d4的分类标识为路标，则d1、d2、d3为不同位置的道路病害，d4为道路标志。

通过识别初筛信息辨别检测图像中是否存在道路病害或道路标志，可以将各帧检测图像归类为具有道路病害的初始病害图像、具有道路标志的初始路标图像以及不具有道路病害或道路标志的非目标图像，然后，将各帧初始病害图像进行整合，可以得到初始病害图像组，将各帧初始路标图像进行整合，可以得到初始路标图像组。并且，初始病害图像组和初始路标图像组中的各帧图像按照拍摄时间的顺序依次排布。

步骤S11的目的是为了对检测视频中的各帧检测图像进行初步筛选，过滤掉其中既不存在道路病害也不存在道路标志的检测图像，减少这类检测图像对后续分析计算带来的影响，并且可以得到存在道路病害或道路标志的检测图像，为后续对道路病害或道路标志的相似性筛选提供基础。

参照图3和图4，S12、基于初始病害图像组，确定目标病害图像，基于初始路标图像组，确定目标路标图像。

其中，在行驶车辆的行驶过程中，只有当行驶车辆经过道路病害的附近区域时，摄像设备才能拍摄到道路病害，由于检测视频的拍摄在时间线上是按照预设帧率连续进行的，因此，初始病害图像组中大概率会存在多帧连续拍摄同一道路病害的初始病害图像，这部分初始病害图像在后续的分析过程中会导致系统对同一道路病害进行重复计算，为了减少重复计算的影响，需要这部分初始病害图像进行筛选，确定目标病害图像。

同理，初始路标图像组中大概率会存在多帧连续拍摄同一道路标志的初始路标图像，会导致系统对同一道路病害进行重复计算，为了减少重复计算的影响，需要这部分初始路标图像进行筛选，确定目标路标图像。

步骤S12的子步骤包括：

S121、基于初始病害图像组，相似病害图像组。

其中，通过识别初筛信息，可以得到各帧初始病害图像中的道路病害的识别初筛区域，然后判断多帧初始病害图像中是否存在同一道路病害，若是，则抽取出对应于同一道路病害的多帧初始病害图像，并且整合为一组相似病害图像组，一组相似病害图像组与一处道路病害相对应。

另一方面，初始病害图像组由双目摄像头拍摄得到，左目摄像头和右目摄像头分别拍摄，应得到相互对应的两批图像，在本实施例中，上述两批图像均作为独立的初始病害图像组参与计算，在其他实施例中，也可以只采用其中一批图像作为初始病害图像组参与计算。

在本实施例中，确定多帧初始病害图像中是否存在同一道路病害，并确定相似病害图像组的方法可以为：

B1、将多帧初始病害图像的各个识别初筛区域投影到同一二维坐标系，各帧初始病害图像的拍摄视野在二维坐标系中重叠中；

B2、计算各个识别初筛区域之间的间隔距离；

B3、基于此间隔距离与预设的间距阈值之间进行比较，确定间隔距离大于等于间距阈值的各个识别初筛区域作为对应于同一道路病害的相似病害区域；

B4、将各个相似病害区域所对应的初始病害图像，作为对应于同一道路病害的相似病害图像，并整合为相似病害图像组。

上述方法的原理为：利用不同的识别初筛区域之间的距离，判断各个识别初筛区域是否为同一道路病害，从而确定相似病害图像组。

在另一较佳示例中，确定多帧初始病害图像中是否存在同一道路病害，并确定相似病害图像组的方法也可以为：

C1、将多帧初始病害图像的各个识别初筛区域投影到同一二维坐标系，各帧初始病害图像的拍摄视野在二维坐标系中重叠中；

C2、计算各个识别初筛区域之间的重叠度；

C3、基于此重叠度与预设的重叠占比阈值之间进行比较，确定重叠度大于等于重叠占比阈值的各个识别初筛区域作为对应于同一道路病害的相似病害区域；

C4、将各个相似病害区域所对应的初始病害图像，作为对应于同一道路病害的相似病害图像，并整合为相似病害图像组。

上述方法的原理为：利用不同的识别初筛区域之间的重叠程度，判断各个识别初筛区域是否为同一道路病害，从而确定相似病害图像组。

S122、基于相似病害图像组，确定目标病害图像。

其中，比较相似病害图像组中各个相似病害区域的面积大小，取面积最大的相似病害区域所对应的相似病害图像为目标病害图像。

S123、基于初始路标图像组，相似路标图像组。

其中，通过识别初筛信息，可以得到各帧初始路标图像中的道路路标的识别初筛区域，然后判断多帧初始路标图像中是否存在同一道路标志，若是，则抽取出对应于同一道路标志的多帧初始路标图像，并且整合为一组相似路标图像组，一组相似路标图像组与一处道路标志相对应。

在本实施例中，确定多帧初始路标图像中是否存在同一道路标志，并确定相似路标图像组的方法可以为：

D1、将多帧初始路标图像的各个识别初筛区域投影到同一二维坐标系，各帧初始路标图像的拍摄视野在二维坐标系中重叠中；

D2、计算各个识别初筛区域之间的间隔距离；

D3、基于此间隔距离与预设的间距阈值之间进行比较，确定间隔距离大于等于间距阈值的各个识别初筛区域作为对应于同一道路标志的相似病害区域；

D4、将各个相似病害区域所对应的初始路标图像，作为对应于同一道路标志的相似路标图像，并整合为相似路标图像组。

上述方法的原理为：利用不同的识别初筛区域之间的距离，判断各个识别初筛区域是否为同一道路标志，从而确定相似路标图像组。

在另一较佳示例中，确定多帧初始路标图像中是否存在同一道路标志，并确定相似路标图像组的方法也可以为：

E1、将多帧初始路标图像的各个识别初筛区域投影到同一二维坐标系，各帧初始路标图像的拍摄视野在二维坐标系中重叠中；

E2、计算各个识别初筛区域之间的重叠度；

E3、基于此重叠度与预设的重叠占比阈值之间进行比较，确定重叠度大于等于重叠占比阈值的各个识别初筛区域作为对应于同一道路标志的相似病害区域；

E4、将各个相似病害区域所对应的初始路标图像，作为对应于同一道路标志的相似路标图像，并整合为相似路标图像组。

上述方法的原理为：利用不同的识别初筛区域之间的重叠程度，判断各个识别初筛区域是否为同一道路标志，从而确定相似路标图像组。

S124、基于相似路标图像组，确定目标路标图像。

其中，比较相似路标图像组中各个相似病害区域的面积大小，取面积最大的相似病害区域所对应的相似路标图像为目标路标图像。

利用步骤S121- 步骤S124，可减少后续的分析对同一道路病害或同一道路标志的重复计算，降低计算分析的成本。

在步骤S2、基于目标病害图像，确定检测路段的病害特征信息的具体实施过程中，病害特征信息包括有病害尺寸和病害类型，其中，病害尺寸包括用于反映道路病害的范围大小，病害类型包括有裂缝、坑槽、车辙、深坑、塌陷等道路病害种类。

参照图5，步骤S2的子步骤包括：

S21、基于目标病害图像，确定病害尺寸和病害类型。

步骤S21的具体实施方式为：将目标病害图像输入实例分割模型中，根据实例分割模型的输出，得到检测点集和病害类型。

其中，实例分割模型为基于实例分割算法建立并已经训练完成的卷积神经网络，实例分割模型包括有目标检测算法模块、语义分割算法模块和病害分类算法模块。将目标病害图像中拍摄有道路病害的像素区域定义为病害区域，则目标检测算法模块能够在目标病害图像中识别出一个或多个道路病害，通过像素点标注的方式，一个或多个病害区域标注出来。

语义分割算法模块能够在目标病害图像中识别出属于不同的表现的像素点，在本实施例中，语义分割算法模块的标签包括用于指示病害区域的病害标签（多个道路病害均属于同一病害标签）和非病害区域的非病害标签，非病害标签包括用于指示拍摄背景区域（如天空）的背景标签、用于指示道路标志区域的路标标签、用于指示环境中光照阴影区域的光影标签、用于指示道路中其他物体区域（如井盖、车辆）的物体标签，语义分割算法模块对每一个像素点添加标签，利用像素点所对应的标签，确定此像素点属于上述哪一类区域。

结合目标检测算法模块和语义分割算法模块，可以将总的病害区域、拍摄背景区域、道路标志区域、光照阴影区域和其他物体区域分割开，并且将总的病害区域根据单独的道路病害进行区分，最终标注出各个病害区域，每个病害区域与一个道路病害相对应。

实例分割模型标注病害区域的具体方式是通过外接矩形框将病害区域标注出来，具体的，是基于病害区域内的各个像素点，并确定各个像素点的归一化坐标，取一经过x坐标最小的像素点、x坐标最大的像素点、y坐标最小的像素点和y坐标最大的像素点的外接矩形框，此外接矩形框围绕病害区域分布，并且位于此外接矩形框的四个边角的像素点为检测角点，对应于同一道路病害的各个检测角点组成一个检测点集。

在本实施例中，实例分割模型实际上还可以识别出非病害区域，即识别出拍摄背景区域、道路标志区域、光照阴影区域和其他物体区域，从而减少病害区域与非病害区域发生混淆的概率，降低错识率。

病害分类算法模块用于识别出病害区域所对应的具体道路病害种类，并输出病害类型，每一个病害类型均与一个检测点集相对应，结合病害类型和检测点集可以反映某一道路病害的具体位置、范围区域和病害种类。

实例分割模型通过病害分类算法模块识别道路病害的种类，而实例分割模型的召回率可以通过实例分割模型的置信度进行调整。为了实现置信度的动态调整，在步骤S21将目标病害图像输入实例分割模型中之前，还包括：

基于初始病害图像组与检测视频之间的帧数占比，调整实例分割模型的置信度。

其中，帧数占比越小，则说明道路病害出现的几率较低，应设置较低的置信度，达到较高的召回率、较低的精确率和较高的误识率；反之，则说明道路病害出现的几率较高，应设置较高的置信度，达到较低的召回率、较高的精确率和较低的误识率。

在本实施例中，实例分割模型具体采用mask_rcnn_inception_resnet_v2，相比于其他的模型，本模型网络比较深，小数据训练20000-30000步就可以检测到病害。

在本实施例中，实例分割模型的训练由目标检测算法模块、语义分割算法模块和病害分类算法模块联合训练完成，具体训练方法包括：

F1、获取训练数据集，其中，训练数据集包括有训练病害图像和标注数据集。

训练病害图像为通过拍摄设备以对应于行驶车辆的拍摄角度对道路病害进行拍摄得到的训练病害图像。标注数据集用于为训练病害图像输入实例分割模型后得到的输出作为参考。

标注数据集包括有标注点集、标注类型和标注区域。标注点集包含有基于训练病害图像中的病害区域人为标注的、围绕病害区域分布的矩形外接框的四个边角点。标注类型为人为标注的、标注点集所对应的病害区域的病害种类。标注区域包括有根据语义分割算法模块的各个标签划分的多种区域，具体包括有对应于病害标签的病害标注区域、对应于背景标签的背景标注区域、对应于路标标签的路标标注区域、对应于光影标签的光影标注区域和对应于物体标签的物体标注区域。

F2、将训练病害图像输入初始模型，输出训练病害图像的检测结果集，其中，检测结果集包括有训练点集、训练类型和训练区域。

其中，初始模型为实例分割模型的前身，为基于实例分割算法建立的神经卷积网络，初始模型包括有目标检测算法模块、语义分割算法模块和病害分类算法模块，语义分割算法模块的标签包括有病害标签、背景标签、路标标签、光影标签和物体标签。训练区域包括有对应于病害标签的病害训练区域、对应于背景标签的背景训练区域、对应于路标标签的路标训练区域、对应于光影标签的光影训练区域和对应于物体标签的物体训练区域。

F3、确定初始模型的损失函数，并根据标注数据集和检测结果集，对损失函数的参数进行调整，直到训练病害图像的标注数据集和训练病害图像的检测结果集在允许的误差范围内，认为初始模型已经训练完成，获取训练完成的初始模型作为实例分割模型。

在本实施例中，在数据量大、不同标签数据分布不均匀的情况下，模型的训练容易出现欠拟合，而提高Batch Size又受限于GPU显存大小。为了满足实例分割模型的BatchSize较大，同时又使得GPU可以适配于Batch Size的条件，本实施例优选为采用谷歌TPU进行训练，以减少Loss震荡、欠拟合问题出现的风险。

S22、基于检测点集，确定目标病害图像的病害尺寸。

其中，检测点集中的各个检测角点之间可以形成一个包含病害区域在内的外接矩形框，病害尺寸指的是此外接矩形框的面积，并且认为近似于检测路段上道路病害的面积。

确定目标病害图像的病害尺寸的具体方法为：

S221、基于各个检测角点所围成的矩形区域的长边，确定病害长度，并基于各个检测角点所围成的矩形区域的短边，确定病害宽度。

S222、基于病害长度和病害宽度的乘积，确定目标病害图像的病害尺寸。

S23、基于目标病害图像的病害尺寸和病害类型，确定检测路段的病害特征信息。

其中，若检测路段对应有多帧目标病害图像，则基于多帧目标病害图像所得到所有病害尺寸和病害类型均属于当前的检测路段。利用病害尺寸可以反映出病害区域的面积大小，便于后续对道路病害进行危险等级评估。

在步骤S3、基于目标路标图像，确定检测路段的检测位置的具体实施过程中，只要采用同名点测量，利用双目图像中对应于同一位置的同名点来计算出此位置的经纬度。

参照图6，步骤S3的子步骤，包括：

S31、确定第一目标路标图像的第一同名点和第二目标路标图像的第二同名点。

其中，目标路标图像由双目摄像头拍摄得到，左目摄像头和右目摄像头分别拍摄，目标路标图像包含有对应于左目摄像头的第一目标路标图像和对应于右目摄像头的第二目标路标图像。第一同名点为第一目标路标图像中的像素点，第二同名点为第一目标路标图像中的像素点，第一目标路标图像和第二目标路标图像中应具有拍摄视野重叠的部分，即可能会拍摄到同一道路标志，第一同名点和第二同名点则为此道路标志上的同一位置。

S32、基于第一同名点和第二同名点计算道路标志的经纬度，确定检测路段的检测位置。

利用第一同名点和第二同名点，可以得到道路标志的二维坐标，利用三角测量原理，可以获取深度信息，得到道路标志的三维坐标，从而计算出道路标志的经纬度，得到检测位置。

在其他实施例中，步骤S3也可以直接采用图像识别算法，对出道路标志进行识别检测，通过特定的建筑物信息或文字信息，得到道路标志的检测位置，如通过图像文字识别算法识别道路标志上的文字信息。

本申请提供的一种道路病害识别管理方法的实施原理为：从检测视频中提取出拍摄有道路病害的目标病害图像和拍摄有道路标志的目标路标图像，通过分析目标病害图像得到描述道路病害的具体特征的病害特征信息，通过分析目标路标图像得到检测路段的检测位置，从而得到道路病害的位置区域，并记录道路病害的具体特征描述和位置区域。利用上述技术方案，可以减少人眼识别病害和人工测量病害的工作量，降低由识别道路病害导致的交通安全风险，并提升道路病害识别的工作效率。

本申请还提供一种道路病害识别管理装置，与上述道路病害识别管理方法相对应。

参照图7，道路病害识别管理装置包括：

目标获取模块1，用于基于检测路段的检测视频，确定目标病害图像和目标路标图像，并输出至病害分析模块2；

病害分析模块2，用于基于目标病害图像，确定检测路段的病害特征信息，并输出至位置分析模块3；

位置分析模块3，用于基于目标路标图像，确定检测路段的检测位置，并输出至信息录入模块4；

信息录入模块4，用于绑定病害特征信息和检测位置，并录入数据库。

本实施例提供的道路病害识别管理装置，由于其各模块本身的功能及彼此之间的逻辑连接，能实现前述实施例的各个步骤，因此能够达到与前述方法相同的技术效果，原理分析可参见前述道路病害识别管理方法步骤的相关描述，在此不再累述。

本申请还提供一种智能终端。

一种智能终端，其包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中存储器存储训练模型中的训练数据、算法公式以及滤波机制等。处理器用于提供计算和控制能力，处理器执行计算机程序时实现道路病害识别管理方法。

本实施例提供的智能终端，由于其存储器中的计算机程序在处理器上运行后，会实现前述方法的各个步骤，因此能够达到与前述方法相同的技术效果，原理分析可参见前述方法步骤的相关描述，在此不再累述。

以上仅是本申请的部分实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。

Claims (10)

1.一种道路病害识别管理方法，其特征在于，包括：

基于检测路段的检测视频，确定目标病害图像和目标路标图像；

基于所述目标病害图像，确定所述检测路段的病害特征信息；

基于所述目标路标图像，确定所述检测路段的检测位置；

绑定所述病害特征信息和所述检测位置，并录入数据库。

2.根据权利要求1所述的道路病害识别管理方法，其特征在于，所述基于所述目标病害图像，确定所述检测路段的病害特征信息的步骤，包括：

基于所述目标病害图像，确定检测点集，其中，所述检测点集包括多个检测角点，各个所述检测角点围绕所述目标病害图像中的病害区域分布；

基于所述检测点集，确定所述目标病害图像的病害尺寸；

基于所述目标病害图像的病害尺寸，确定所述检测路段的病害特征信息。

3.根据权利要求2所述的道路病害识别管理方法，其特征在于，所述基于所述目标病害图像，确定检测点集的步骤，包括：

将所述目标病害图像输入实例分割模型，得到所述目标病害图像的检测点集。

4.根据权利要求3所述的道路病害识别管理方法，其特征在于，所述基于所述检测点集，确定所述目标病害图像的病害尺寸的步骤，包括：

基于各个所述检测角点所围成的矩形区域的长边，确定病害长度，并基于各个所述检测角点所围成的矩形区域的短边，确定病害宽度；

基于所述病害长度和所述病害宽度，确定所述目标病害图像的病害尺寸。

5.根据权利要求1所述的道路病害识别管理方法，其特征在于，所述基于所述目标病害图像，确定所述检测路段的病害特征信息的步骤，包括：

将所述目标病害图像输入实例分割模型，得到所述目标病害图像的病害类型；

基于所述目标病害图像的病害类型，确定所述检测路段的病害特征信息。

6.根据权利要求5所述的道路病害识别管理方法，其特征在于，所述基于检测路段的检测视频，确定目标病害图像和目标路标图像的步骤，包括：

基于检测路段的检测视频，确定初始病害图像组和初始路标图像组，其中，所述初始病害图像组内各帧图像拍摄有道路病害，所述初始路标图像组内各帧图像拍摄有道路标志；

基于所述初始病害图像组，确定目标病害图像，基于所述初始路标图像组，确定目标路标图像；

在所述将所述目标病害图像输入实例分割模型，得到所述目标病害图像的病害类型的步骤之前，还包括：

基于所述初始病害图像组与所述检测视频之间的帧数占比，调整实例分割模型的置信度。

7.根据权利要求1所述的道路病害识别管理方法，其特征在于，所述目标路标图像由双目摄像头获取，所述目标路标图像包括第一目标路标图像和第二目标路标图像；所述基于所述目标路标图像，确定所述检测路段的检测位置的步骤，包括：

确定所述第一目标路标图像的第一同名点和所述第二目标路标图像的第二同名点，其中，所述第一同名点和所述第二同名点反映道路标志的同一位置；

基于所述第一同名点和所述第二同名点计算所述道路标志的经纬度，确定所述检测路段的检测位置。

8.根据权利要求1所述的道路病害识别管理方法，其特征在于，所述基于检测路段的检测视频，确定目标病害图像和目标路标图像的步骤，包括：

基于检测路段的检测视频，确定初始病害图像组和初始路标图像组，其中，所述初始病害图像组内各帧图像拍摄有道路病害，所述初始路标图像组内各帧图像拍摄有道路标志；

基于所述初始病害图像组，确定相似病害图像组，基于所述初始路标图像组，确定相似路标图像组，其中，每一组所述相似病害图像组中的相邻各帧图像之间包含形状相似的道路病害，每一组所述相似路标图像组中的相邻各帧图像之间包含形状相似的道路标志；

基于所述相似病害图像组，确定目标病害图像，基于所述相似路标图像组，确定目标路标图像。

9.一种道路病害识别管理装置，其特征在于，包括：

目标获取模块（1），用于基于检测路段的检测视频，确定目标病害图像和目标路标图像；

病害分析模块（2），用于基于所述目标病害图像，确定所述检测路段的病害特征信息；

位置分析模块（3），用于基于所述目标路标图像，确定所述检测路段的检测位置；

信息录入模块（4），用于绑定所述病害特征信息和所述检测位置，并录入数据库。

10.一种智能终端，其特征在于，包括存储器和处理器，所述存储器上存储有能够被处理器加载并执行如权利要求1至8中任一种道路病害识别管理方法的计算机程序。

Images