CN116844057A - 一种路面病害图像处理方法及车载检测装置 - Google Patents

Abstract

本发明涉及一种路面病害图像处理方法及车载检测装置，对待检测图像信息按照预设标注数据进行划分，这一方式能够将待检测图像信息分割成多个标注图像，每个标注图像中至少存在一个主要的图像特征；再对标注图像进行滤波处理，获得每一标注图像中图像特征对应的纹理数据，将标注图像与纹理数据输入神经网络模型，对纹理数据进行识别，获得每一标注图像中的路面病害数据，再根据路面病害数据生成检测报告并展示。通过对待检测图像信息进行划分，并对划分后的标注图像进行滤波处理，使得纹理数据更为清晰，减少现有的路面图像识别精准度低的问题，通过深度学习的方式提升了路面病害数据识别的正确率以及图像识别的处理效率，实现路面的无损识别。

Description

一种路面病害图像处理方法及车载检测装置

技术领域

本发明涉及路面图像处理领域，具体涉及一种路面病害图像处理方法及车载检测装置。

背景技术

随着科技及养护里程的发展，公路养护行业的信息化建设是未来的重要发展趋势。

现有的公路巡查方式是以巡检车的巡查为主，而巡检车一般通过对现有的汽车进行改造或改装获得，存在一定的改造难度，也增加了汽车的安全风险，也限制了检测装置的安装空间，降低了检测装置的检测灵活性与检测效率；同时，已有的路面病害识别方法采用传统的图像识别步骤，需要对图像进行复杂运算以确定路面病害类别，导致识别效率低，所占用的算力大。

发明内容

鉴于上述问题，本发明提供了一种路面病害图像处理方法及车载检测装置，解决了现有的路面图像识别过程复杂，识别效率低的问题。

为实现上述目的，在第一方面，本发明提供了一种路面病害图像处理方法，包括：

获取待检测图像信息，对待检测图像信息按照预设标注数据进行划分，获得多个标注图像，预设标注数据包括预设图像特征类别以及预设图像特征数据，待检测图像信息为路面图像；

对每一标注图像进行滤波处理，获得每一标注图像中的纹理数据，并将纹理数据与标注图像映射存储至待检测集合；

将待检测集合输入至训练完成的神经网络模型中，神经网络模型的输出结果为待检测集合的路面病害数据；

根据路面病害数据生成当前待检测图像信息对应的检测报告并展示。

在一些实施例中，预设标注数据通过以下步骤获得：

获取多个不同尺寸的参考图像信息，对每一参考图像信息中的图像特征进行标注，获得图像特征标注数据，对图像特征标注数据进行聚类，获得多个聚类簇；

提取每一聚类簇中距离聚类中心预设阈值范围内的图像特征标注数据，并将其记为预设标注数据。

在一些实施例中，对每一标注图像进行滤波处理包括：

将标注图像转换为频域图像，获得标注图像的像素点坐标；

对频域图像中的每一像素点进行gabor滤波，gabor滤波通过公式（1）表示，公式（1）如下：

；式中，，为和的方向比， 为所述像素点在方向上的标准差，为所述像素点在方向上的标准差，为预设方 向角，为预设波长，为偏移值，、为所述滤波的滤波区域的尺寸。

在一些实施例中，预设方向角通过以下步骤获得：

以该像素点为圆心，按照预设半径划分出圆形区域，按照预设数量对圆形区域进行均分，获得多个扇形区域，每一弧形区域的圆心角记为θ。

在一些实施例中，,,， ，，。

在一些实施例中，神经网络模型为YOLO神经网络模型，将待检测集合输入至训练完成的神经网络模型中包括：

对每一标注图像的纹理数据进行识别，获得标注图像所属的路面病害类型；

对待检测集合中的全部路面病害类型进行数量统计，并将路面病害类型与路面病害数量映射存储，生成路面病害数据。

在第二方面，本发明还提供一种路面病害车载检测装置，适用于第一方面所述的方法，检测装置包括图像采集单元、控制单元以及电源模块；图像采集单元设置在巡检车的前端，图像采集单元用于采集路面图像；控制单元与图像采集单元电连接，控制单元用于接收路面图像，生成路面图像对应的检测报告并展示；电源模块与控制单元以及图像采集单元电连接。

在一些实施例中，电源模块集成在巡检车上，控制单元具有快插接头，控制单元与电源模块通过点烟器快插连接。

在一些实施例中，控制单元为Jetson TX2 NX。

在一些实施例中，图像采集单元设置在巡检车的前挡风玻璃上。

区别于现有技术，上述技术方案中，对待检测图像信息按照预设标注数据进行划分，这一方式能够将待检测图像信息分割成多个标注图像，每个标注图像中至少存在一个主要的图像特征；再对标注图像进行滤波处理，获得每一标注图像中图像特征对应的纹理数据，将标注图像与纹理数据映射存储，输入神经网络模型，对纹理数据进行识别，获得每一标注图像中的路面病害数据，再根据同一待检测图像信息中的全部路面病害数据生成检测报告并展示。本技术方案通过对待检测图像信息进行划分，并对划分后的标注图像进行滤波处理，使得纹理数据更为清晰，减少现有的路面图像识别精准度低的问题，并且，将滤波处理后的纹理数据输入至神经网络模型中，通过深度学习的方式提升了路面病害数据识别的正确率，从现有的整图的路面病害识别转换为单个标注图像的路面病害识别，再通过路面病害数据生成检测报告，提高了检测报告正确率的同时，也提升了图像识别的处理效率，实现了路面的无损识别。

上述发明内容相关记载仅是本发明技术方案的概述，为了让本领域普通技术人员能够更清楚地了解本发明的技术方案，进而可以依据说明书的文字及附图记载的内容予以实施，并且为了让本发明的上述目的及其它目的、特征和优点能够更易于理解，以下结合本发明的具体实施方式及附图进行说明。

附图说明

附图仅用于示出本发明具体实施方式以及其他相关内容的原理、实现方式、应用、特点以及效果等，并不能认为是对本发明的限制。

在说明书附图中：

图1为本发明第一示例性实施例所述路面病害图像处理方法步骤图；

图2为本发明具体实施例所述预设标注数据获取方法步骤图；

图3为本发明第二示例性实施例所述路面病害图像处理方法步骤图；

图4为本发明一具体实施例所述检测装置第一示意图；

图5为本发明一具体实施例所述检测装置第二示意图。

上述各附图中涉及的附图标记说明如下：

1、检测装置；

11、控制单元；

12、图像采集单元；

13、电源模块；

2、巡检车；

21、点烟器；

22、前挡风玻璃。

具体实施方式

为详细说明本发明可能的应用场景，技术原理，可实施的具体方案，能实现目的与效果等，以下结合所列举的具体实施例并配合附图详予说明。本文所记载的实施例仅用于更加清楚地说明本发明的技术方案，因此只作为示例，而不能以此来限制本发明的保护范围。

在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本发明的至少一个实施例中。在说明书中各个位置出现的“实施例”一词并不一定指代相同的实施例，亦不特别限定其与其它实施例之间的独立性或关联性。原则上，在本发明中，只要不存在技术矛盾或冲突，各实施例中所提到的各项技术特征均可以以任意方式进行组合，以形成相应的可实施的技术方案。

除非另有定义，本文所使用的技术术语的含义与本发明所属技术领域的技术人员通常理解的含义相同；本文中对相关术语的使用只是为了描述具体的实施例，而不是旨在限制本发明。

在本发明的描述中，用语“和/或”是一种用于描述对象之间逻辑关系的表述，表示可以存在三种关系，例如A和/或B，表示：存在A，存在B，以及同时存在A和B这三种情况。另外，本文中字符“/”一般表示前后关联对象是一种“或”的逻辑关系。

在本发明中，诸如“第一”和“第二”之类的用语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何实际的数量、主次或顺序等关系。

在没有更多限制的情况下，在本发明中，语句中所使用的“包括”、“包含”、“具有”或者其他类似的开放式表述，意在涵盖非排他性的包含，这些表述并不排除在包括所述要素的过程、方法或者产品中还可以存在另外的要素，从而使得包括一系列要素的过程、方法或者产品中不仅可以包括那些限定的要素，而且还可以包括没有明确列出的其他要素，或者还包括为这种过程、方法或者产品所固有的要素。

与《审查指南》中的理解相同，在本发明中，“大于”、“小于”、“超过”等表述理解为不包括本数；“以上”、“以下”、“以内”等表述理解为包括本数。此外，在本发明实施例的描述中“多个”的含义是两个以上（包括两个），与之类似的与“多”相关的表述亦做此类理解，例如“多组”、“多次”等，除非另有明确具体的限定。

在本发明实施例的描述中，所使用的与空间相关的表述，诸如“中心”“纵向”“横向”“长度”“宽度”“厚度”“上”“下”“前”“后”“左”“右”“竖直”“水平”“垂直”“顶”“底”“内”“外”“顺时针”“逆时针”“轴向”“径向”“周向”等，所指示的方位或位置关系是基于具体实施例或附图所示的方位或位置关系，仅是为了便于描述本发明的具体实施例或便于读者理解，而不是指示或暗示所指的装置或部件必须具有特定的位置、特定的方位、或以特定的方位构造或操作，因此不能理解为对本发明实施例的限制。

除非另有明确的规定或限定，在本发明实施例的描述中，所使用的“安装”“相连”“连接”“固定”“设置”等用语应做广义理解。例如，所述“连接”可以是固定连接，也可以是可拆卸连接，或成一体设置；其可以是机械连接，也可以是电连接，也可以是通信连接；其可以是直接相连，也可以通过中间媒介间接相连；其可以是两个元件内部的连通或两个元件的相互作用关系。对于本发明所属技术领域的技术人员而言，可以根据具体情况理解上述用语在本发明实施例中的具体含义。

请参阅图1，在第一方面，本实施例提供了一种路面病害图像处理方法，包括：

S11、获取待检测图像信息，对待检测图像信息按照预设标注数据进行划分，获得多个标注图像，预设标注数据包括预设图像特征类别以及预设图像特征数据，待检测图像信息为路面图像；

S12、对每一标注图像进行滤波处理，获得每一标注图像中的纹理数据，并将纹理数据与标注图像映射存储至待检测集合；

S13、将待检测集合输入至训练完成的神经网络模型中，神经网络模型的输出结果为待检测集合的路面病害数据；

S14、根据路面病害数据生成当前待检测图像信息对应的检测报告并展示。

本实施例中，待检测图像信息为路面图像，路面图像可以通过图像采集单元采集。预设标注数据中的预设图像特征类别是指当前待检测图像中具有的多个事物类别的图像；预设图像特征数据即多个标注框的尺寸与形状数据，标注框是指从待检测图像信息中对事物进行框选的区域，每个标注框的尺寸与形状根据事物类别的不同而产生差异，在这一前提下根据待检测图像信息中所包含的具体图像对待检测图像进行多个尺寸范围的标注。例如，路面图像中包括井盖、待修补坑槽以及网裂图像，则在执行步骤S11时，预设图像特征类别中包含有井盖、坑槽以及网裂的特征类别，标注框的尺寸根据路面图像中井盖、坑槽以及网裂的覆盖面积在预设图像特征数据中选择最适合的尺寸数据以及形状数据，在对井盖进行框选时，其所对应的标注框为圆形或椭圆形，其所对应的尺寸根据井盖在待检测图像中的分布确定；在对坑槽进行框选时，对应选择数据库中坑槽对应的标注框的形状，其所对应的尺寸根据坑槽在待检测图像中的分布确定；在对网裂进行框选时，对应选择数据库中网裂对应的标注框的形状，其所对应的尺寸根据网裂在待检测图像中的分布确定。

通过对待检测图像信息进行标注，获得多个标注图像，每个标注图像中至少存在一个事物，需要说明的是，此时的标注是对整个待检测图像信息进行事物标注，也即，标注图像中可以包括关于井盖的标注、关于路障的标注、关于斑马线的标注等，也包含路面病害的标注。

获得标注图像后，对标注图像进行滤波处理，具体的，可以采用傅里叶变换的形式将标注图像从空间域图像变换为频率域图像，其所采用的滤波函数可以为现有的图像滤波用函数，包括拉普拉斯金字塔滤波函数或者高斯金字塔滤波函数等。通过对标注图像进行滤波处理，获得每一标注图像中更为清晰的纹理数据，此处纹理数据包括每个事物的外形数据以及明暗光影数据，若为路面病害类别时，纹理数据包括路面病害的纹理特征；将纹理数据与标注图像映射存储至待检测集合，便于后续操作。

将待检测集合输入至训练完成的神经网络模型中，神经网络模型对待检测集合中的纹理数据以及标注图像进行进一步识别，剔除非路面病害的纹理数据，并对路面病害进行病害类别的识别，获得路面病害数据。

针对获得的路面病害数据，对当前巡检的路面进行数据分析，获得当前巡检路面对应的检测报告，优选的，检测报告可以包括当前路面病害类别以及当前路面病害类别在路面图像中的覆盖面积，分布范围，以及基于大数据评估当前巡检路面的病害等级，未来路面病害的发展速率，建议维护周期等多种信息，优选的，检测报告以可视化形式展示在用户端，可视化形式具体包括路面虚拟图像界面、病害发展趋势图等。

通过对待检测图像信息进行划分，并对划分后的标注图像进行滤波处理，使得纹理数据更为清晰，减少现有的路面图像识别精准度低的问题，并且，将滤波处理后的纹理数据输入至神经网络模型中，通过深度学习的方式提升了路面病害数据识别的正确率，提升了图像识别的处理效率，实现了路面的无损识别。

请参阅图2，在一些实施例中，预设标注数据通过以下步骤获得：

S21、获取多个不同尺寸的参考图像信息，对每一参考图像信息中的图像特征进行标注，获得图像特征标注数据；

S22、对图像特征标注数据进行聚类，获得多个聚类簇；

S23、提取每一聚类簇中距离聚类中心预设阈值范围内的图像特征标注数据，并将其记为预设标注数据。

需要说明的是，参考图像信息为网络上即可获取的多个路面图像，包括存在各种路面病害的路面图像，以及存在路障、施工的路面图像等，多种类别与场景下的参考图像信息有助于提升预设标注数据的框选正确率。图像特征标注数据包括事物类别以及事物的形状与大小数据。

具体的，对每个参考图像信息中的图像特征进行标注，获得图像特征标注数据后，对图像特征标注数据进行聚类，本实施例采用K-Means算法对图像特征标注数据进行聚类优化，获得多个聚类簇。具体的，K-Means算法即K均值聚类算法，是一种迭代求解的聚类分析算法，其具体步骤是，将数据分为K组，则随机选取K个对象作为初始的聚类中心，然后计算每个对象与各个种子聚类中心之间的距离，把每个对象分配给距离它最近的聚类中心，聚类中心以及分配给它们的对象就代表一个聚类簇，每分配一个样本，聚类的聚类中心会根据聚类中现有的对象被重新计算，这个过程将不断重复直到满足某个终止条件，终止条件可以人为设定。

本实施例中，每个聚类簇中包含有相同事物类别的图像特征标注数据；再以每一聚类簇的聚类中心为圆心，以预设阈值范围为半径形成的圆形区域作为筛选区域，提取出在筛选区域内的图像特征标注数据，将其记为预设标注数据，预设阈值范围通过人为预先输入。

在一些实施例中，对每一标注图像进行滤波处理包括：

对所述标注图像中的每一像素点进行Gabor滤波，所述Gabor滤波通过公式（1）表示，所述公式（1）如下：

；式中，，为和的方向比， 为所述像素点在方向上的标准差，为所述像素点在方向上的标准差，为预设方 向角，为预设波长，为偏移值，、为所述滤波的滤波区域的尺寸。

本实施例采用gabor函数进行滤波，具体的，先将标注图像转换为频域图像，频域图像为二维坐标系中的图像数据。

在一些实施例中，预设方向角通过以下步骤获得：

以该像素点为圆心，按照预设半径划分出圆形区域，按照预设数量对圆形区域进行均分，获得多个扇形区域，每一弧形区域的圆心角记为θ。

在一些实施例中，,,， ，，。

上述所示参数值通过对大量的路面病害图像进行分析与计算后获得，能够更为精确地对路面病害图像进行滤波。

请参阅图3，在一些实施例中，神经网络模型为YOLO神经网络模型，将待检测集合输入至训练完成的神经网络模型中包括：

S31、对每一标注图像的纹理数据进行识别，获得标注图像所属的路面病害类型；

S32、对待检测集合中的全部路面病害类型进行数量统计，并将路面病害类型与路面病害数量映射存储，生成路面病害数据。

需要说明的是，路面病害数据具体包括路面病害类型以及路面病害数量，具体的，路面病害数量的统计与路面病害类型的识别可以同步进行。相比于其他神经网络模型，YOLO神经网络模型对图像的识别速率更快，并且，针对静态图像的识别效果更为精准，YOLO神经网络模型更符合道路巡检时快速生成巡检报告的需求。

请参阅图4与图5，在第二方面，本实施例还提供一种路面病害车载检测装置1，适用于第一方面所述的方法，检测装置1包括图像采集单元12、控制单元11以及电源模块13；图像采集单元12设置在巡检车2的前端，图像采集单元12用于采集路面图像；控制单元11与图像采集单元12电连接，控制单元11用于接收路面图像，生成路面图像对应的检测报告并展示；电源模块13与控制单元11以及图像采集单元12电连接。

图像采集单元12可以是1080P摄像头，可以设置在巡检车2的车头前部、引擎盖上部、车头底部以及车身顶面朝向前端的位置等，图5给出了其中两个设置位置的参考示意。优选的，图像采集单元12的安装位置与摄像角度可预先输入至控制单元11中，便于对图像采集单元12所采集的路面图像进行进一步数据尺寸的修正，提高检测报告的分析正确率。优选的，图像采集单元12还可以通过防抖动底座固定在巡检车2的前端，防抖动底座与巡检车2前端的连接方式可以是贴附、绑缚或紧固件连接、卡合连接等。

控制单元11可以集成在巡检车2的车辆控制系统中，也可以为单独选用的工控机，控制单元11与图像采集单元12电连接，用于接收图像采集单元12所采集的路面图像，并将其作为待检测图像信息，执行第一方面所述的方法，生成对应的检测报告。电源模块13可以是蓄电池、锂电池等具有长续航能力的电源，满足实际使用需求，电源模块13与控制单元11可以是分体连接，也可以为集成式。

请参阅图5，在一些实施例中，电源模块13集成在巡检车2上，控制单元11具有快插接头，控制单元11与电源模块13通过点烟器21快插连接。

本实施例中，电源模块13集成在巡检车2上，即电源模块13为巡检车2上已有的供电系统，控制单元11为单独的设备，控制单元11上具有电源引线，电源引线上设有快插接头，将快插接头与巡检车2上的点烟器21快插连接，即可实现控制单元11的供电。优选的，图像采集单元12的供电也可以通过二合一电源引线与点烟器21直接连接，实现图像采集单元12与控制单元11的同时供电。本实施例所示的检测装置1具备即插即用的特性，大大提高了检测的便捷性和灵活性。

在一些实施例中，控制单元11为Jetson TX2 NX。

请参阅图5，在一些实施例中，图像采集单元12设置在巡检车2的前挡风玻璃22上。需要说明的是，图像采集单元12设置在前挡风玻璃22不影响驾驶员行驶视野的区域，例如，可以设置在副驾驶所在的前挡风玻璃22上，也可以设置在前挡风玻璃22的顶部。

本实施例的检测装置1利用人工智能技术，实现对公路路面病害的无损、快速检测。相比传统方法，该检测装置1无需对车辆进行改造，操作简便，节约时间和成本。通过实时监测和报告生成，能够及时发现路面病害，为公路管理部门提供决策依据，降低路面维护成本，提高公路安全性和通行效率。同时，该装置可广泛应用于公路管理和维护领域，为相关工作提供了便捷、准确的检测工具。

上述技术方案中，对待检测图像信息按照预设标注数据进行划分，这一方式能够将待检测图像信息分割成多个标注图像，每个标注图像中至少存在一个主要的图像特征；再对标注图像进行滤波处理，获得每一标注图像中图像特征对应的纹理数据，将标注图像与纹理数据映射存储，输入神经网络模型，对纹理数据进行识别，获得每一标注图像中的路面病害数据，再根据同一待检测图像信息中的全部路面病害数据生成检测报告并展示。本技术方案通过对待检测图像信息进行划分，并对划分后的标注图像进行滤波处理，使得纹理数据更为清晰，减少现有的路面图像识别精准度低的问题，并且，将滤波处理后的纹理数据输入至神经网络模型中，通过深度学习的方式提升了路面病害数据识别的正确率，从现有的整图的路面病害识别转换为单个标注图像的路面病害识别，再通过路面病害数据生成检测报告，提高了检测报告正确率的同时，也提升了图像识别的处理效率，实现了路面的无损识别。

最后需要说明的是，尽管在本发明的说明书文字及附图中已经对上述各实施例进行了描述，但并不能因此限制本发明的专利保护范围。凡是基于本发明的实质理念，利用本发明说明书文字及附图记载的内容所作的等效结构或等效流程替换或修改产生的技术方案，以及直接或间接地将以上实施例的技术方案实施于其他相关的技术领域等，均包括在本发明的专利保护范围之内。

Claims (10)

1.一种路面病害图像处理方法，其特征在于，包括：

获取待检测图像信息，对所述待检测图像信息按照预设标注数据进行划分，获得多个标注图像，所述预设标注数据包括预设图像特征类别以及预设图像特征数据，所述待检测图像信息为路面图像；

对每一所述标注图像进行滤波处理，提取每一所述标注图像中的纹理数据，并将所述纹理数据与所述标注图像映射存储至待检测集合；

将所述待检测集合输入至训练完成的神经网络模型中，所述神经网络模型的输出结果为所述待检测集合的路面病害数据；

根据所述路面病害数据生成当前待检测图像信息对应的检测报告并展示。

2.根据权利要求1所述的路面病害图像处理方法，其特征在于，所述预设标注数据通过以下步骤获得：

获取多个不同尺寸的参考图像信息，对每一所述参考图像信息中的图像特征进行标注，获得图像特征标注数据，对图像特征标注数据进行聚类，获得多个聚类簇；

提取每一聚类簇中距离聚类中心预设阈值范围内的图像特征标注数据，并将其记为预设标注数据。

3.根据权利要求1所述的路面病害图像处理方法，其特征在于，对每一所述标注图像进行滤波处理包括：

对所述标注图像中的每一像素点进行Gabor滤波，所述Gabor滤波通过公式（1）表示，所述公式（1）如下：

；式中，，为和的方向比， 为所述像素点在方向上的标准差，为所述像素点在方向上的标准差，为预设方 向角，为预设波长，为偏移值，、为所述滤波的滤波区域的尺寸。

4.根据权利要求3所述的路面病害图像处理方法，其特征在于，所述预设方向角通过以下步骤获得：

以该像素点为圆心，按照预设半径划分出圆形区域，按照预设数量对所述圆形区域进行均分，获得多个扇形区域，每一弧形区域的圆心角记为θ。

5.根据权利要求4所述的路面病害图像处理方法，其特征在于，,,，，，。

6.根据权利要求1所述的路面病害图像处理方法，其特征在于，所述神经网络模型为YOLO神经网络模型，将所述待检测集合输入至训练完成的神经网络模型中包括：

对每一所述标注图像的所述纹理数据进行识别，获得所述标注图像所属的路面病害类型；

对所述待检测集合中的全部路面病害类型进行数量统计，并将所述路面病害类型与所述路面病害数量映射存储，生成路面病害数据。

7.一种路面病害车载检测装置，其特征在于，适用于权利要求1-6任一项所述的方法，所述检测装置包括：

图像采集单元，设置在巡检车的前端，所述图像采集单元用于采集路面图像；

控制单元，与所述图像采集单元电连接，所述控制单元用于接收所述路面图像，生成所述路面图像对应的检测报告并展示；

电源模块，与所述控制单元以及所述图像采集单元电连接。

8.根据权利要求7所述的路面病害车载检测装置，其特征在于，所述电源模块集成在所述巡检车上，所述控制单元具有快插接头，所述控制单元与所述电源模块通过点烟器快插连接。

9.根据权利要求7所述的路面病害车载检测装置，其特征在于，所述控制单元为JetsonTX2 NX。

10.根据权利要求7所述的路面病害车载检测装置，其特征在于，所述图像采集单元设置在所述巡检车的前挡风玻璃上。