CN115345881A - 一种基于计算机视觉的路面病害检测方法 - Google Patents

Abstract

本发明提供一种基于计算机视觉的路面病害检测方法，包括根据获取的目标路面图像生成卷积特征图；采用多尺度特征融合算法对卷积特征图进行二次分割，获得分割特征图像；将不同尺寸的新卷积特征图分割成相同尺寸的patch token特征信息，输出分类结果；使用图像分割网络算法将定位框坐标信息进行实例分割裁剪，完成目标路面图像在真实路面坐标系的映射；根据获取的病害类别信息以及目标路面图像在真实路面映射的病害边缘坐标信息，完成当前路面病害量测。本发明采用高分辨率图片切片检测，保证原图在不损失分辨率精度的情况下输入到算法进行检测，从而确保小尺寸病害的像素区域在后面的检测中被提取特征，以作为正样本指导网络检测小尺寸病害。

Description

一种基于计算机视觉的路面病害检测方法

技术领域

本发明涉及路面病害视觉检测技术领域，具体为一种基于计算机视觉的路面病害检测方法。

背景技术

现有技术中对路面进行缺陷性病害检测的主要步骤是获取大量标注过的路面数据，再基于上述数据，使用深度卷积神经网络目标检测算法进行网络训练，获取网络推理模型。即，

在进行路面病害检测时，先获取待测路面数据，并使用卷积网络推理模型提取待测数据的图像特征，再依托于提取的特征，运用常见的目标检测或者图像分割网络判定病害类别以及定位病害所在区域，最后根据定位的结果分割出病害，原图分割或者滑动窗口的方式对病害进行量测。

但是，由于实际路面病害尺寸跨度大，同类病害间特征差距大。现有技术采用深度卷积神经网络作为算法的特征提取模块，在多层下采样之后会损失原图中的小尺度信息，导致最终定位到的病害普遍尺寸较大、小尺寸病害容易漏检，从而导致检测效果不佳，后期无法满足病害检测状况评定的要求；同时，

由于现有技术多基于深度学习原图分割或者滑动窗口的方式计算病害所占面积的方式来量测病害，这种方法虽然逻辑简单，但是精准度不高，从而无法用此方法评估病害的严重程度。

有鉴于此，急需发明创造一种同时包含计算机视觉深度学习方法和传统图形学算法的路面病害检测方案。

发明内容

针对现有技术存在的不足，本发明目的是提供一种基于计算机视觉的路面病害检测方法，通过采用高分辨率图片切片检测和构建多尺度特征融合自注意模块的方式，确保检测目标的精细程度更高，同时通过使用病害实例分割与坐标映射技术精确计算病害尺寸的方式，从而使得本发明具备更高病害尺寸量测精度的优点。以解决上述背景技术中提出的问题。

为了实现上述目的，本发明是通过如下的技术方案来实现：一种基于计算机视觉的路面病害检测方法，包括以下步骤：

第一步，根据获取的目标路面图像生成用于表征目标路面图像的卷积特征图；

第二步，采用多尺度特征融合算法基于采样比例对卷积特征图进行二次分割，获得分割特征图像后，将分割特征图像以及与其等尺寸的卷积特征图进行按通道融合得到不同尺寸的新卷积特征图，以减少目标路面图像在生成有效卷积特征图的训练过程中采样被动损失；

第三步，将不同尺寸的新卷积特征图分割成相同尺寸的patch token特征信息后，输入至Transformer结构模块，并依次经过层归一化、多头注意力层，输入到前馈神经网络FNN，重复第三步至网络收敛，输出分类结果，其中，所述分类结果包括用于表征目标路面图像的病害类别信息以及用于表征目标路面图像所在区域的病害的定位框坐标信息；

第四步，使用图像分割网络算法将所述定位框坐标信息进行实例分割裁剪，并基于建立的坐标系映射参数矩阵，将定位框坐标信息转换为真实目标路面图像的病害边缘坐标信息，以完成目标路面图像在真实路面坐标系的映射；

第五步，根据获取的病害类别信息以及目标路面图像在真实路面映射的病害边缘坐标信息，完成路面病害量测。

作为对本发明中所述一种基于计算机视觉的路面病害检测方法的改进，第一步中，获取表征目标路面图像的卷积特征图的具体方式为：

S1-1，搭载图像采集设备，上电后获取目标路面图像；

S1-2，对所述目标路面图像进行切片预处理

采用滑动窗口的切片方式，设置滑动窗口大小为切片大小，并通过padding扩展目标路面图像像素后，生成若干大小的图像切片；

采用数据方差和均值方式归一化处理所述图像切片；

S1-3，将获取的所述图像切片输入至训练模型进行训练，并在训练过程中对所述图像切片进行推理：

基于图像切片的坐标，根据图像切片时每个切片位置，加上该切片相对于原目标路面图像左上角第一个切片的位置偏移，将图像切片的坐标映射到原目标路面图像中的坐标后，合并至原目标路面图像中，输出；

用于保证获取的原目标路面图像在不损失分辨率精度的情况下在下一阶段进行检测时，其中的小尺寸病害图像所在的像素区域不会在缩小图像尺寸的过程中被插值运算消除，以作为正样本指导路面病害检测小尺寸病害图像。

作为对本发明中所述一种基于计算机视觉的路面病害检测方法的改进，第二步中，获得分割特征图像的具体实施方式为：

S2-1，设定获取的初始待分割卷积特征图组尺寸为w*h，且其通道尺寸为c1；

S2-2，设定下一次采样比例，减少卷积特征图中有效特征在训练过程中伴随着多次下采样被动损失掉：

初始待分割卷积特征图经过一次下采样后，尺寸缩小为(w/2)*(h/2)，通道数为c2；

再经下一次采样后，尺寸缩小为(w/4)*(h/4)，通道数为c3；

S2-3，将待分割卷积特征图组每个通道的图片按照像素沿长宽的一半，均分为4张图片，尺寸为(w/2)*(h/2)，通道数为c1*4；且

生成不同尺寸的新卷积特征图的按通道融合方式为：

S2-4，通过concat方法融合到经过一次下采样的卷积特征图组中，道数变为c2+c1*4；

S2-5，再将分割生成的每张图片再次均分为4张图片，即，每张原图被均分为大小相同的16份，获取最终尺寸为(w/4)*(h/4)，通道数为c1*16，继续通过concat方法融合到经过第二次下采样的卷积特征图组中，通道数变为c3+c1*16。

作为对本发明中所述一种基于计算机视觉的路面病害检测方法的改进，第三步中，基于Transformer结构模块输出分类结果的具体实施方式为：

当不同尺寸的新卷积特征图分割成相同尺寸的patch token特征信息后，设分割后的patch token特征信息包括三个新卷积特征图组，且其尺寸分别为

*

*

；

*

*

；

*

*

，patch 的尺寸为

*

；则，

S3-1，第一个新卷积特征图组每个通道都平均分割成

/

个小图，每个小图大小都为

*

，得到：共分割产生

个patch；继续分割另外两个新卷积特征图组；最后得到：

个patch；

S3-2，将patch输入到图像transformer编码器-解码器结构中，输出序列数据；

S3-3，基于前馈神经网络FNN将所述序列数据解码成目标路面图像的定位框坐标信息和病害类别信息，以主动加强不同尺度的特征权重，获取到更大范围内不同尺度间的特征关系，达到对病害区域的主动关注。

作为对本发明中所述一种基于计算机视觉的路面病害检测方法的改进，获取的定位框坐标信息为对目标路面图像检测出的矩形框坐标信息，包括左上角的（x，y）坐标和框的宽度w，高度h；

基于第四步，得到目标路面图像在真实路面坐标系的映射的具体步骤包括：

S4-1，获取目标路面图像的精细病害区域

使用定位框坐标信息从原目标路面图像中裁剪目标矩形区域，并使用图像分割网络算法将目标矩形区域进行实例分割裁剪，其中，目标矩形区域为包含路面病害边缘坐标所在区域，其具体实施方式为：首先，根据第三步最后获取的定位框坐标信息，在原目标路面图像中直接裁剪出目标矩形区域的图像，最后，将目标路面图像输入到图像分割网络中，获得目标路面图像对应病害的分割结果，其中，所述分割结果为贴合病害边缘的多边形各点坐标；

S4-2，将裁剪的目标矩形区域中的病害边缘的多边形各点坐标转换为其在原目标路面图像中的病害边缘坐标：

设，定位框坐标信息左上角坐标为

、裁剪的目标矩形区域中的病害边缘坐标为n个坐标的集合：

；

则，原目标路面图像中的病害边缘坐标集合为

；

S4-3，建立真实坐标系映射参数矩阵，得到原目标路面图像在真实路面坐标系的映射：

首先，获取已知图像采集设备相机内参数矩阵

、相机外参数矩阵

，

式中，

为旋转参数

为平移参数；

最后，构建变换公式：

式中，

为图像像素坐标，

为世界真实坐标；

S4-4，基于变换公式，将原目标路面图像坐标系中任意一点代入所述变换公式求解，得到原目标路面图像在真实路面坐标系的映射病害边缘坐标信息，结束。

作为对本发明中所述一种基于计算机视觉的路面病害检测方法的改进，第五步中，在路面病害进行量测时，获取的病害类别信息包括面积类病害信息和长度类病害信息，其中，

若获取的病害类别信息为面积类病害信息，则，直接基于真实目标路面图像的病害边缘坐标信息计算多边形面积；反之，

若获取的病害类别信息为长度类病害信息，则，基于计算机图形学求解多边形最小外接圆，而，获取的外接圆直径即为当前路面病害长度。

与现有技术相比，本发明的有益效果：

1、在同等分辨率图片输入情况下，本发明在区别于现有技术检测出更多的小尺寸病害的方案中，采用高分辨率图片切片检测，保证原图在不损失分辨率精度的情况下输入到算法进行检测，其中的小尺寸病害的像素区域不会在缩小图像尺寸的过程中被插值运算消除，从而确保小尺寸病害的像素区域在后面的检测中被提取特征，以作为正样本指导网络检测小尺寸病害；

2、同时，本发明区别于现有技术采用的以传统的卷积网络作为主体的方案，将卷积特征图融合后输入到自注意模块中，将不同尺度的特征信息基于transformer结构处理，从而突破现有技术中卷积结构感受野范围的局限性，获取到更大范围内不同尺度间的特征关系，从而具备自动关注病害区域的能力，以及更准确的获取目标的位置和类别信息的优点；

3、最后，本发明通过先使用图像分割网络算法将定位到的目标分割出来，坐标转换到真实地面坐标系中后，再使用传统计算机图形学的方式对病害尺寸和面积进行计算，比基于粗略定位的病害计算所占面积的方式更加精细准确，与此同时，由于处理的是已经检出的目标，使得图像输入更小，提高计算效率。

附图说明

参照附图来说明本发明的公开内容。应当了解，附图仅仅用于说明目的，而并非意在对本发明的保护范围构成限制，在附图中，相同的附图标记用于指代相同的部件。其中：

图1为本发明一实施例中所提出的基于计算机视觉进行路面病害检测的整体时序步骤流程示意图；

图2为本发明一实施例中所提出的对目标路面图像进行高清度分辨率图像切片预处理的流程示意图；

图3本发明一实施例中所提出的将分割特征图像以及卷积特征图进行按通道融合的流程示意图；

图4本发明一实施例中所提出的输出分类结果的流程示意图；

图5本发明一实施例中所提出的目标路面图像的定位框坐标信息转换为真实目标路面图像的病害边缘坐标信息的示意图；

图6本发明一实施例中所提出的当获取的病害类别信息为长度类病害信息，在对路面病害进行量测时求解多边形最小外接圆示意图；

图7本发明一实施例中所提出的当获取的病害类别信息为长度类病害信息，在对路面病害进行量测时求解多边形最小外接圆时获得最小外接圆(图6中的(d))的放大示意图。

具体实施方式

容易理解，根据本发明的技术方案，在不变更本发明实质精神下，本领域的一般技术人员可以提出可相互替换的多种结构方式以及实现方式。因此，以下具体实施方式以及附图仅是对本发明的技术方案的示例性说明，而不应当视为本发明的全部或者视为对本发明技术方案的限定或限制。

以下结合附图对本发明作近一步详细说明，但不作为对本发明的限定。

作为对本发明技术构思以及实现原理的理解，本发明设计目的在于针对解决选用高分辨率相机采集路面图像，图像分辨率高，其中病害所占比例较小，对图像整体进行图像处理效果相对较弱，（例如在随机裁剪时，目标位置变化远小于整体像素值，算法对此类预处理后的图像变化敏感度不够，造成资源浪费）的问题。

为此，为解决现有的技术方案对上述此类预处理后的图像变化敏感度不够，造成资源浪费的问题，本发明

首先，在初期阶段，即，算法网络模型训练阶段：先对原图进行图像切片，再对切片的图像进行旋转，缩放，镜像，随机裁剪，数据归一化等操作后，分别输入到模型中参与训练。同时在下一阶段，即，在模型推理阶段：对输入图片（图像切片）同样进行图像切片，而对小切片图像进行推理，最终将推理结果合并到原图（原始获取的目标路面图像）中输出，目的在于，在区别于现有技术检测出更多的小尺寸病害的方案中，在同等分辨率图片输入情况下，提出采用高分辨率图片切片检测的方式，保证原图在不损失分辨率精度的情况下输入到算法进行检测，其中的小尺寸病害的像素区域不会在缩小图像尺寸的过程中被插值运算消除，从而确保小尺寸病害的像素区域在后面的检测中被提取特征，以作为正样本指导网络检测小尺寸病害。

其次，提出搭建多尺度特征融合自注意算法模块区别于传统的卷积网络作为主体，将卷积特征图融合后输入到自注意模块中，通过transformer结构模块处理不同尺度的特征信息，突破现有卷积结构感受野范围的局限性，从而获取到更大范围内不同尺度间的特征关系，达到自动关注病害区域的能力以及获取目标的位置和类别信息能力。

最后，在基于多尺度特征融合自注意算法模块获取到分类结果后，通过先使用图像分割网络算将定位到的目标分割出来，再将其坐标转换到真实地面坐标系中后，再使用传统计算机图形学的方式对病害尺寸和面积进行计算，比基于粗略定位的病害计算所占面积的方式更加精细准确，与此同时，由于处理的是已经检出的目标，使得图像输入更小，提高计算效率。

如图1所示，作为本发明的一实施例，提出一种基于计算机视觉的路面病害检测方法，通过采用高分辨率图片切片检测方式和构建多尺度特征融合自注意模块方式来确保检测目标的精细程度更高，使用病害实例分割与坐标映射技术精确计算病害尺寸，从而实现更高的病害尺寸量测精度，其具体包括以下步骤：

第一步，根据获取的目标路面图像生成用于表征目标路面图像的卷积特征图；需要说明的是，获取表征目标路面图像的卷积特征图的具体方式为：

S1-1，搭载图像采集设备（本发明中优选采用高分辨率的相机），上电后获取目标路面图像；

S1-2，对目标路面图像进行切片预处理：采用滑动窗口的切片方式，设置滑动窗口大小为切片大小，并通过padding扩展目标路面图像像素后，生成若干大小的图像切片，举例说明：在具体实施时，本发明采用有滑动窗口的切图（切片）方式，设定窗口大小为切片大小，步长略小于窗口大小，这样做的目的在于使切片间有部分重合（以尺寸为2560*1920为例，将通过padding扩展两个像素到1922，此时，切片（即窗口）大小设置为608*608，横向步长为488，纵向步长为438，故而就可生成20个608*608大小的切片（图像））；而当完成图像切片后，还需要采用数据方差和均值方式归一化处理图像切片，其中，其处理图像切片的具体步骤包括：依次对切片图像进行旋转、缩放、镜像、随机裁剪、数据归一化等操作，可以理解的是，前序的数据预处理方式为深度学习通用方式，而数据归一化同样属于数据预处理；

S1-3，将获取的图像切片输入至训练模型进行训练，并在训练过程中对图像切片进行推理：如图2所示，其进行推理的具体实施方式为：基于图像切片的坐标，根据图像切片时每个切片位置，加上该切片相对于原目标路面图像左上角第一个切片的位置偏移，将图像切片的坐标映射到原目标路面图像中的坐标后，合并至原目标路面图像中，输出，目的在于，保证获取的原目标路面图像在不损失分辨率精度的情况下在下一阶段进行检测时，其中的小尺寸病害图像所在的像素区域不会在缩小图像尺寸的过程中被插值运算消除，以作为正样本指导路面病害检测小尺寸病害图像。

基于上述技术构思，可以理解的是，S1-3的训练模型为检测模型，而其输入为图像切片，由于输入的图像切片尺寸相比常规网络数据输入较小，因此，无需额外缩小重设图片大小，这样就避免了resize操作进行的图像压缩，从而导致像素的丢失，病害不可见的问题。在基于第一步获取到卷积特征图后，需要基于第二、第三步提取卷积特征图中的主体特征，获取分类结果：

如图3所示，第二步，采用多尺度特征融合算法基于采样比例对卷积特征图进行二次分割，获得分割特征图像后，将分割特征图像以及与其等尺寸的卷积特征图进行按通道融合得到不同尺寸的新卷积特征图，以减少目标路面图像在生成有效卷积特征图的训练过程中采样被动损失。

基于上述技术构思，需要说明的是，获取的卷积特征图指的是输入的图像经过一次或多次卷积处理后产生的特征图，如图3，由于特征图尺寸用的是w，h，因此可灵活配置在不同尺寸的特征图，基于此，获得分割特征图像的具体实施方式为：

S2-1，设定获取的初始待分割卷积特征图组尺寸为w*h，且其通道尺寸为c1；

S2-2，设定下一次采样比例，目的在于，减少卷积特征图中有效特征在训练过程中伴随着多次下采样被动损失掉：

当，初始待分割卷积特征图经过一次下采样后，尺寸缩小为(w/2)*(h/2)，通道数为c2；而，

再经下一次采样后，尺寸缩小为(w/4)*(h/4)，通道数为c3；

S2-3，将待分割卷积特征图组每个通道的图片按照像素沿长宽的一半，均分为4张图片，尺寸为(w/2)*(h/2)，通道数为c1*4；此时，需要说明的是，

生成不同尺寸的新卷积特征图的按通道融合方式为：

S2-4，通过concat方法融合到经过一次下采样的卷积特征图组中，道数变为c2+c1*4；

S2-5，再将分割生成的每张图片再次均分为4张图片，即，每张原图被均分为大小相同的16份，因此，获取的最终尺寸为(w/4)*(h/4)，通道数为c1*16，继续通过concat方法融合到经过第二次下采样的卷积特征图组中，通道数变为c3+c1*16。同时，可以理解的是，

由于按通道融合（concat）属于策略不是一种算法，目前所有的深度学习框架都支持，其目的是完成的是不同数据在某一个维度进行合并，不涉及相互的计算，基于此，为减少网络模型中有效特征在训练过程中伴随着多次下采样被动损失掉的问题，本发明提出了上述生成不同尺寸的新卷积特征图的按通道融合方式。

如图4所示，第三步，将不同尺寸的新卷积特征图分割成相同尺寸的patch token特征信息后，输入至Transformer结构模块，并依次经过层归一化、多头注意力层，输入到前馈神经网络FNN，重复第三步至网络收敛，输出分类结果，其中，分类结果包括用于表征目标路面图像的病害类别信息以及用于表征目标路面图像所在区域的病害的定位框坐标信息。

基于上述技术构思，需要说明的是，第三步的目的在于基于按通道融合得到不同尺寸的新卷积特征图，提取其主体特征部分，即，采用多尺度自注意模块，主动加强不同尺度的主体特征权重，可以理解的是，本发明前叙的多尺度自注意模块为：在同样注重多尺度的基础上，使用transformer结构模块来主动加强不同尺度特征（新卷积特征图中的主体特征）权重，目的在于区别于现有技术使用的是传统卷积神经网络的反向传播算法被动学习权重。基于此，本发明提出的基于Transformer结构模块输出分类结果的具体实施方式为：

当不同尺寸的新卷积特征图分割成相同尺寸的patch token特征信息后，设分割后的patch token特征信息包括三个新卷积特征图组，且其尺寸分别为

*

*

；

*

*

；

*

*

，patch 的尺寸为

*

；则，

S3-1，第一个新卷积特征图组每个通道都平均分割成

/

个小图，每个小图大小都为

*

，得到：共分割产生

个patch；继续分割另外两个新卷积特征图组；最后得到：

个patch；

S3-2，将patch输入到图像transformer编码器-解码器结构中，输出序列数据；

S3-3，基于前馈神经网络FNN将序列数据解码成目标路面图像的定位框坐标信息和病害类别信息，可以理解的是，目的在于，之所以使用Transformer结构模块，目的在于主动加强不同尺度的特征权重，获取到更大范围内不同尺度间的特征关系，达到对病害区域的主动关注。

在基于第二、三步获取到准确的目标的位置（目标路面图像所在区域的病害的定位框坐标信息）和类别信息（目标路面图像的病害类别信息）后，接下来需要使用图像分割网络算将定位到的目标（目标路面图像所在区域的病害的定位框坐标信息）分割出来，坐标转换到真实地面坐标系，再计算目标路面图像所在区域的病害的面积或长度，从而完成对当前路面病害的量测工作：

如图5所示，第四步，使用图像分割网络算法将定位框坐标信息进行实例分割裁剪，并基于建立的坐标系映射参数矩阵，将定位框坐标信息转换为真实目标路面图像的病害边缘坐标信息，以完成目标路面图像在真实路面坐标系的映射，其中，图5中的(a)表示图片坐标系，图5中的(b)表示真实地面坐标系。

基于上述技术构思，需要说明的是，获取的定位框坐标信息为对目标路面图像检测出的矩形框坐标信息，包括左上角的（x，y）坐标和框的宽度w、高度h；而在具体实施时，得到目标路面图像在真实路面坐标系的映射的具体步骤包括：

S4-1，获取目标路面图像的精细病害区域：使用定位框坐标信息从原目标路面图像中裁剪目标矩形区域，并使用图像分割网络算法将目标矩形区域进行实例分割裁剪，其中，目标矩形区域为包含路面病害边缘坐标所在区域，图像分割网络算法在本发明中的具体实施方式为：首先，根据第三步（S3-3）最后获取的定位框坐标信息，在原目标路面图像中直接裁剪出目标矩形区域的图像，最后，将目标路面图像输入到图像分割网络中，获得目标路面图像对应病害的分割结果，其中，分割结果为贴合病害边缘的多边形各点坐标。

S4-2，将裁剪的目标矩形区域中的病害边缘坐标（贴合病害边缘的多边形各点坐标）转换为其在原目标路面图像中的病害边缘坐标：设，定位框坐标信息左上角坐标为

、裁剪的目标矩形区域中的病害边缘坐标为n个坐标的集合：

；则，原目标路面图像中的病害边缘坐标集合为

；

基于上述S4-2技术构思，可以理解的是，在已知上一步定位框的左上角坐标信息(x,y)，分割出来的病害边缘坐标信息（x1,y1）后,就可以直接得到在原图（原目标路面图像）中的病害边缘坐标为（x1+x,y1+y）。

S4-3，建立真实坐标系映射参数矩阵，得到原目标路面图像在真实路面坐标系的映射：首先，获取已知图像采集设备相机内参数矩阵

、机外参数矩阵

；需要说明的是，图像采集设备相机的相关参数矩阵是有由相机标定直接获取，矩阵内部参数与标定参数命名统一，无实际含义；

最后，构建变换公式：

式中，

为图像像素坐标，

为世界真实坐标。

S4-4，基于变换公式，将原目标路面图像坐标系中任意一点代入变换公式求解，得到原目标路面图像在真实路面坐标系的映射病害边缘坐标信息后，结束。

基于上述技术构思，当使用图像分割网络算将定位到的目标（目标路面图像所在区域的病害的定位框坐标信息）分割出来，得到坐标转换到真实地面坐标系后，此时，需要再计算目标路面图像所在区域的病害的面积或长度，从而完成对当前路面病害的量测工作。

第五步，根据获取的病害类别信息以及目标路面图像在真实路面映射的病害边缘坐标信息，完成路面病害量测。

基于第五步的技术构思，需要说明的是，在本发明的一实施例中，在路面病害进行量测时，获取的病害类别信息包括面积类病害信息和长度类病害信息，其中，

若获取的病害类别信息为面积类病害信息，则，直接基于真实目标路面图像的病害边缘坐标信息计算多边形面积；反之，

若获取的病害类别信息为长度类病害信息，则，基于计算机图形学求解多边形最小外接圆，而，获取的外接圆直径即为当前路面病害长度，以多边形最小外接圆计算方法为例，如图6-7所示：通过多边形端点坐标计算各端点间距离，先得到距离最远的两个点A、B(图6中的(b))，其次，在A、B连线上做中垂线(图6中的(c))，在中垂线上均匀连续取点

，再次，以

到

点的距离

为半径画圆，当

到多边形任意端点距离不大于

时，最后获得最小外接圆(图6中的(d))，此时该圆半径作为病害长度 。

本发明的技术范围不仅仅局限于上述说明中的内容，本领域技术人员可以在不脱离本发明技术思想的前提下，对上述实施例进行多种变形和修改，而这些变形和修改均应当属于本发明的保护范围内。

Claims (6)

1.一种基于计算机视觉的路面病害检测方法，其特征在于：包括以下步骤：

第一步，根据获取的目标路面图像生成用于表征目标路面图像的卷积特征图；

第二步，采用多尺度特征融合算法基于采样比例对卷积特征图进行二次分割，获得分割特征图像后，将分割特征图像以及与其等尺寸的卷积特征图按通道融合得到不同尺寸的新卷积特征图，以减少目标路面图像在生成有效卷积特征图的训练过程中采样被动损失；

第三步，将不同尺寸的新卷积特征图分割成相同尺寸的patch token特征信息后，输入至Transformer结构模块，并依次经过层归一化、多头注意力层，输入到前馈神经网络FNN，重复第三步至网络收敛，输出分类结果，其中，所述分类结果包括用于表征目标路面图像的病害类别信息以及用于表征目标路面图像所在区域的病害的定位框坐标信息；

第四步，使用图像分割网络算法将所述定位框坐标信息进行实例分割裁剪，并基于建立的坐标系映射参数矩阵，将定位框坐标信息转换为真实目标路面图像的病害边缘坐标信息，以完成目标路面图像在真实路面坐标系的映射；

第五步，根据获取的病害类别信息以及目标路面图像在真实路面映射的病害边缘坐标信息，完成当前路面病害量测。

2.根据权利要求1所述的一种基于计算机视觉的路面病害检测方法，其特征在于：

第一步中，获取表征目标路面图像的卷积特征图的具体方式为：

S1-1，搭载图像采集设备，上电后获取目标路面图像；

S1-2，对所述目标路面图像进行切片预处理

采用滑动窗口的切片方式，设置滑动窗口大小为切片大小，并通过padding扩展目标路面图像像素后，生成若干大小的图像切片；

采用数据方差和均值方式归一化处理所述图像切片；

S1-3，将获取的所述图像切片输入至训练模型进行训练，并在训练过程中对所述图像切片进行推理：

基于图像切片的坐标，根据图像在切片时每个切片位置，加上该切片相对于原目标路面图像左上角第一个切片的位置偏移，将图像切片的坐标映射到原目标路面图像中的坐标后，合并至原目标路面图像中，输出；

用于保证获取的原目标路面图像在不损失分辨率精度的情况下在下一阶段进行检测时，其中的小尺寸病害图像所在的像素区域不会在缩小图像尺寸的过程中被插值运算消除，以作为正样本指导路面病害检测小尺寸病害图像。

3.根据权利要求1所述的一种基于计算机视觉的路面病害检测方法，其特征在于：

第二步中，获得分割特征图像的具体实施方式为：

S2-1，设定获取的初始待分割卷积特征图组尺寸为w*h，且其通道尺寸为c1；

S2-2，设定下一次采样比例，减少卷积特征图中有效特征在训练过程中伴随着多次下采样被动损失掉：

初始待分割卷积特征图经过一次下采样后，尺寸缩小为(w/2)*(h/2)，通道数为c2；

再经下一次采样后，尺寸缩小为(w/4)*(h/4)，通道数为c3；

S2-3，将待分割卷积特征图组每个通道的图片按照像素沿长宽的一半，均分为4张图片，尺寸为(w/2)*(h/2)，通道数为c1*4；且

生成不同尺寸的新卷积特征图的按通道融合方式为：

S2-4，通过concat方法融合到经过一次下采样的卷积特征图组中，道数变为c2+c1*4；

S2-5，再将分割生成的每张图片再次均分为4张图片，获取最终尺寸为(w/4)*(h/4)，通道数为c1*16，继续通过concat方法融合到经过第二次下采样的卷积特征图组中，通道数变为c3+c1*16。

4.根据权利要求1所述的一种基于计算机视觉的路面病害检测方法，其特征在于：第三步中，基于Transformer结构模块输出分类结果的具体实施方式为：

当不同尺寸的新卷积特征图分割成相同尺寸的patch token特征信息后，设分割后的patch token特征信息包括三个新卷积特征图组，且其尺寸分别为

*

*

；

*

*

；

*

*

，patch 的尺寸为

*

；则，

S3-1，第一个新卷积特征图组每个通道都平均分割成

/

个小图，每个小图大小都为

*

，得到：共分割产生

个patch；继续分割另外两个新卷积特征图组；最后得到：

个patch；

S3-2，将patch输入到图像transformer编码器-解码器结构中，输出序列数据；

S3-3，基于前馈神经网络FNN将所述序列数据解码成目标路面图像的定位框坐标信息和病害类别信息，以主动加强不同尺度的特征权重，获取到更大范围内不同尺度间的特征关系，达到对病害区域的主动关注。

5.根据权利要求1或4所述的一种基于计算机视觉的路面病害检测方法，其特征在于：获取的定位框坐标信息为对目标路面图像检测出的矩形框坐标信息，包括左上角的（x，y）坐标和框的宽度w，高度h；

基于第四步，得到目标路面图像在真实路面坐标系的映射的具体步骤包括：

S4-1，获取目标路面图像的精细病害区域

使用定位框坐标信息从原目标路面图像中裁剪出目标矩形区域，并使用图像分割网络算法将目标矩形区域进行实例分割裁剪，其中，目标矩形区域为包含路面病害边缘坐标所在区域，其具体实施方式为：首先，根据第三步最后获取的定位框坐标信息，在原目标路面图像中直接裁剪出目标矩形区域的图像，最后，将目标路面图像输入到图像分割网络中，获得目标路面图像对应病害的分割结果，其中，所述分割结果为贴合病害边缘的多边形各点坐标；

S4-2，将裁剪的目标矩形区域中的病害边缘的多边形各点坐标转换为其在原目标路面图像中的病害边缘坐标：

设，定位框坐标信息左上角坐标为

、裁剪的目标矩形区域中的病害边缘坐标为n个坐标的集合：

；

则，原目标路面图像中的病害边缘坐标集合为

；

S4-3，建立真实坐标系映射参数矩阵，得到原目标路面图像在真实路面坐标系的映射：

首先，获取已知图像采集设备相机内参数矩阵

、相机外参数矩阵

，

式中，

为旋转参数

为平移参数；

最后，构建变换公式：

式中，

为图像像素坐标，

为世界真实坐标；

S4-4，基于变换公式，将原目标路面图像坐标系中任意一点代入所述变换公式求解，得到原目标路面图像在真实路面坐标系的映射病害边缘坐标信息后，结束。

6.根据权利要求1所述的一种基于计算机视觉的路面病害检测方法，其特征在于：第五步中，在路面病害进行量测时，获取的病害类别信息包括面积类病害信息和长度类病害信息，其中，

若获取的病害类别信息为面积类病害信息，则，直接基于真实目标路面图像的病害边缘坐标信息计算多边形面积；反之，

若获取的病害类别信息为长度类病害信息，则，基于计算机图形学求解多边形最小外接圆，而，获取的外接圆直径即为当前路面病害长度。

Images