CN113780259A

CN113780259A - 一种路面缺陷检测方法、装置、电子设备和可读存储介质

Info

Publication number: CN113780259A
Application number: CN202111345530.6A
Authority: CN
Inventors: 纪雅琪; 王健; 程博文
Original assignee: China Mobile Communications Group Co Ltd; China Mobile Shanghai ICT Co Ltd; CM Intelligent Mobility Network Co Ltd
Current assignee: China Mobile Communications Group Co Ltd; China Mobile Shanghai ICT Co Ltd; CM Intelligent Mobility Network Co Ltd
Priority date: 2021-11-15
Filing date: 2021-11-15
Publication date: 2021-12-10
Anticipated expiration: 2041-11-15
Also published as: WO2023083059A1; CN113780259B

Abstract

本发明提供一种路面缺陷检测方法、装置、电子设备和可读存储介质。本发明实施例提供的路面缺陷检测方法包括：获取路面的深度图像；通过超像素分割提取所述深度图像的多个特征向量；根据所述特征向量之间的相似程度对所述特征向量进行分类；识别不同类别的特征向量对应的路面缺陷信息。这样，本发明实施例通过获取路面的深度图像，并进一步通过超像素分割、特征向量的获取以及特征向量的识别，能够获得超像素对应的缺陷信息，从而实现对路面缺陷的识别，有助于提高对于路面缺陷的检测的准确性。

Description

一种路面缺陷检测方法、装置、电子设备和可读存储介质

技术领域

本发明涉及检测技术领域，尤其涉及一种路面缺陷检测方法、装置、电子设备和可读存储介质。

背景技术

路面在行车载荷以及自然因素的影响下，可能出现各种损坏，例如坑槽、裂缝、车辙、突起等，这些损坏通常称作路面缺陷或路面病害，随着基础设置建设的发展，公路里程也随之增加，对于高长度的公路来说，通过人工检测对于路面缺陷的检测工作量较大导致路面缺陷很可能被忽略，因此现有方式对于路面缺陷的检测的准确性较差。

发明内容

本发明实施例提供一种路面缺陷检测方法、装置、电子设备和可读存储介质，以解决现有方式对于路面缺陷的检测准确性较差的问题。

第一方面，本发明实施例提供了一种路面缺陷检测方法，包括以下步骤：

获取路面的深度图像；

通过超像素分割提取所述深度图像的多个特征向量；

根据所述特征向量之间的相似程度对所述特征向量进行分类，获得根据分类结果确定的路面缺陷信息。

在一些实施例中，所述通过超像素分割提取所述深度图像的多个特征向量，包括：

提取所述深度图像包括的多个超像素；

分别统计每一所述超像素对应的各像素点的深度值，获取各所述超像素的深度特征，其中，所述深度特征包括深度平均值和深度方差；

以待求像素点的深度值作为阈值，对相邻像素点进行二值化处理，获得每一所述超像素的纹理特征；

根据各所述超像素的深度平均值和各所述超像素对应的各像素点的形状指数确定各所述超像素的形状特征；

根据每一所述超像素的深度特征、纹理特征和形状特征构建每一所述超像素的特征向量。

在一些实施例中，所述根据各所述超像素的深度平均值确定各所述超像素的形状特征，包括：

在所述超像素的深度平均值小于预设深度阈值的情况下，以预设形状特征值作为所述超像素的形状特征；

在所述超像素的深度平均值大于或等于预设深度阈值的情况下，计算所述超像素对应的各像素点的形状指数均值作为该超像素形状特征。

在一些实施例中，所述像素点的形状指数SI通过以下公式计算得到：

;

其中，

和

分别为所述超像素对应的区域的两个主曲率，且

。

在一些实施例中，所述提取所述深度图像包括的多个超像素，包括：

按照预设的K个超像素在所述深度图像中分配种子点，其中，所述深度图像包括N个像素，每一所述超像素的尺寸为

，N和K均为大于1的整数；

计算每一所述种子点的邻域内所有像素点梯度值；

将各所述种子点更新至所述种子点的邻域内梯度值最小的像素点处；

分别计算各所述像素点与各所述种子点之间的距离；

将与每一所述像素点距离最小的种子点作为所述像素点的聚类中心；

迭代更新各所述种子点的位置并确定相应的聚类中心，至各聚类中心的位置不再变化；

将尺寸小于预设尺寸以及不连续的聚类中心对应的各像素点分配至相邻的聚类中心，获得以各聚类中心为中心的M个超像素，M为小于或等于K且大于1的整数。

在一些实施例中，所述根据所述特征向量之间的相似程度对所述特征向量进行分类，包括：

计算每一所述超像素的特征向量与各类别标签之间对应的损失值；

根据各所述类别标签对应的损失值确定每一所述超像素对应的类别标签。

第二方面，本发明实施例提供了一种路面缺陷检测装置，包括：

获取模块，用于获取路面的深度图像；

提取模块，用于通过超像素分割提取所述深度图像的多个特征向量；

分类模块，用于根据所述特征向量之间的相似程度对所述特征向量进行分类，获得根据分类结果确定的路面缺陷信息。

在一些实施例中，所述提取模块包括：

提取子模块，用于提取所述深度图像包括的多个超像素；

深度特征获取子模块，用于分别统计每一所述超像素对应的各像素点的深度值，获取各所述超像素的深度特征，其中，所述深度特征包括深度平均值和深度方差；

纹理特征获取子模块，用于以待求像素点的深度值作为阈值，对相邻像素点进行二值化处理，获得每一所述超像素的纹理特征；

形状特征获取子模块，用于根据各所述超像素的深度平均值和各所述超像素对应的各像素点的形状指数确定各所述超像素的形状特征；

特征向量构建子模块，用于根据每一所述超像素的深度特征、纹理特征和形状特征构建每一所述超像素的特征向量。

第三方面，本发明实施例提供了一种电子设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的程序；所述处理器，用于读取存储器中的程序实现如第一方面中任一项所述的路面缺陷检测方法中的步骤。

第四方面，本发明实施例提供了一种可读存储介质，用于存储程序，所述程序被处理器执行时实现如第一方面中任一项所述的路面缺陷检测方法中的步骤。

本发明实施例提供的路面缺陷检测方法包括：获取路面的深度图像；通过超像素分割提取所述深度图像的多个特征向量；根据所述特征向量之间的相似程度对所述特征向量进行分类；识别不同类别的特征向量对应的路面缺陷信息。这样，本发明实施例通过获取路面的深度图像，并进一步通过超像素分割、特征向量的获取以及特征向量的识别，能够获得超像素对应的缺陷信息，从而实现对路面缺陷的识别，有助于提高对于路面缺陷的检测的准确性。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获取其他的附图。

图1是本发明一实施例中路面缺陷检测方法的流程图；

图2是本发明一实施例中形状特征的提取流程图；

图3是本发明一实施例中获取基于超像素的特征向量的流程图；

图4是本发明一实施例中路面缺陷检测方法的又一流程图；

图5是本发明一实施例中路面缺陷检测装置的结构图；

图6是本发明一实施中电子设备的结构图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。不冲突的情况下，下述实施例及实施例中的特征可以相互组合。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获取的所有其他实施例，都属于本发明保护的范围。

路面在行车荷载和自然因素的综合作用下，会出现各种损坏现象，如坑槽、裂缝、车辙、突起等，传统的人工检测方法效率低下，难以满足大范围公路网路面质量的检测需求。

本申请发明人在实现本申请的技术方案的过程中发现，可以通过对路面的图像进行分析以实现对于路面病害进行检测。

基于二维图像的检测技术，可以采用摄像机采集路面图像，同时辅以定位系统实现路面病害的自动检测，该技术获取信息丰富、数据存储快速、效率高，广泛应用于路面病害自动检测应用。但二维图像质量对检测结果影响较大，对于车辙病害等特征不明显的病害检测准确率较低，此外，由于阴影遮挡、路面材料噪声、不均匀光照等影响，以及由于摄像机安装方式或者自身畸变等原因会造成获取的图像出现模糊扭曲等，均会对路面病害检测的结果准确性造成影响。

本发明提供了一种路面缺陷检测方法。

如图1所示，在一个实施例中，该路面缺陷检测方法包括以下步骤：

步骤101：获取路面的深度图像。

本实施例中，需要获取路面的深度图像，深度图像为一种三维图像，实施时，可以基于结构光三维轮廓检测技术等图像采集技术获取路面深度图像，更为具体的，可以根据所采用的图像采集技术，在车辆上装载相应的图像采集装置，并控制车辆沿着道路行驶，实现对于路面的深度图像的采集。

所采集的路面的深度图像可以基于定位信息或里程信息等建立与道路的具体位置之间的关联关系，以便在获取了路面缺陷信息之后，建立路面缺陷信息与具体的地理位置之间的对应关系。

在一个实施例中，所获得的深度图像的深度信息矩阵

可以表示如下：

，

。

其中，

代表深度图像中第i行第j列像素点的深度值，m和n均为正整数，m为像素点的总行数，n为像素点的总列数。

步骤102：通过超像素分割提取所述深度图像的多个特征向量。

在获取了路面深度图像之后，对深度图像进行分割，提取深度图像包含的超像素，并进一步获取各超像素对应的特征向量。

在一个实施例中，可以通过以下步骤提取深度图像包括的多个超像素：

按照预设的K个超像素在所述深度图像中分配种子点；

计算每一所述种子点的邻域内所有像素点梯度值；

分别计算各所述像素点与各所述种子点之间的距离；

迭代更新各所述种子点的位置并确定相应的聚类中心，，至各聚类中心的位置不再变化；

本实施例中，首先初始化种子点。具体的，按照设定的超像素个数K，在图像内均匀分配种子点。这里，K的数量可以根据需要人工设定，例如，根据经验设定或根据深度图像的尺寸按照一定的计算规则设定；种子点可以按照面积等尺寸实现种子点的均匀分配。

这样，深度图像包括N个像素，则每一超像素的尺寸为

，相邻种子点间步长S=sqrt(

)，其中，N和K均为大于1的整数，sqrt（）代表求平方根函数。

进行种子点的重新选择，具体的，计算种子点邻域内所有像素点梯度值，将种子点更新至该邻域内梯度值最小的像素点处，并可以为每个种子点邻域内每个像素点分配类别标签。

对于每个像素点，分别计算该像素点与各种子点间距离，取距离值最小的种子点作为该像素点的聚类中心，这样，相当于初步划分出了以各种子点为聚类中心，且包含多个像素点的超像素。

然后重复执行上述更新种子点的位置并根据种子点的位置确定相应的聚类中心的步骤，迭代更新种子点的位置至误差收敛，具体的，误差收敛指的是种子点的位置不再变化，即完成对种子点位置的更新，确定较为准确的聚类中心的位置。

最后，对所划分出的超像素进行增强连通性处理，在一个实施例中，可以建立标记表，然后按照一定的顺序，示例性的，可以是从左到右，从上到下顺序，将不连续的超像素、尺寸过小的超像素重新分配给邻近超像素，并根据所对于超像素的重新分配结果为像素点重新分配标签，直至遍历完毕，这样，获得最终分割完成的超像素，应当理解的是最终所获得的超像素的数量M小于或等于K。

本实施例中以对深度图像过分割后获得为K个超像素做示例性说明，即M等于K，进一步的，

表示该深度图像中第

个超像素，其包含像素点个数为

，其中

。

在提取了超像素之后，进一步获取每一超像素对应的特征向量，这样，全部超像素的特征向量组合在一起能够表征路面的深度图像所包含的全部信息。

在一些实施例中，该步骤102在提取所述深度图像包括的多个超像素之后，还包括：

对于各超像素的深度特征的提取可以基于上述深度矩阵实现，上述深度矩阵包含了各像素点的深度值，这样，对于超像素

，统计计算该超像素内所有像素点深度平均值

及深度值方差

，作为该超像素的深度特征。

在一些实施例中，可以通过以下方式提取超像素的纹理特征。

；

上述公式中，

表示中心像素点的深度值，

表示该中心像素点的邻域像素点的深度值，P为邻域像素个数，R为中心像素点圆邻域半径，sign为二值化函数，riu2代表该LBP算子为旋转不变一致模式的LBP算子，U值小于或者等于2。

表示将二值化处理后的局部邻域像素按照任一方向循环移动一位并与初始二进制串相减，取绝对值并求和，若结果满足

，则称这个模式为一致模式，否则，在其他情况下（otherwise）为非一致模式。

不同路面缺陷由于其成因、特性等不同，粗糙程度不同，在深度图像上表征为不同的局部纹理信息。计算获得每个像素点LBP值后，统计每个超像素内所有像素点LBP值的均值以及信息熵，作为该超像素的纹理特征，信息熵H可以通过以下公式计算得到：

；

其中，表示该超像素中LBP值为i的像素点所占的比例。

在一些实施例中，对于超像素

，基于纹理信息矩阵

，统计计算该超像素内所有像素点纹理信息均值

以及信息熵

，作为该超像素的纹理特征。

形状特征用于反映曲面的形状，除平面外各种形状的曲面都应对应一个特定的值。应当理解的是，正常不存在缺陷的路面可以理解为平面，路面缺陷实际上可以理解为发生了不同变形的路面，因此，不同路面缺陷的深度信息可视为不同形状的曲面，同类病害曲面形状相似，其形状特征相近。本实施例采用形状指数提取形状特征，以表征不同病害的曲面形状信息。

在一个实施例中，先基于提取的深度信息中的深度平均值判断待求超像素是否为病害区域，进而提取形状特征。

在一些实施例中，确定各所述超像素的形状特征的步骤具体包括：

本实施例中的预设深度阈值T可以根据经验由人工设定，当超像素深度平均值AVG满足|AVG|<T，则该超像素对应的区域大致为平面，也就是健康路面区域。

如图2所示，本实施例中，以预设形状特征值作为超像素的形状特征，示例性的，本实施例中可以将健康路面区域对应的形状特征的特征值设定为1.5。显然，该预设形状特征值并不局限于此，可以根据需要设定。

请继续参阅图2，如果待求超像素深度平均值AVG满足|AVG|≥T，则该超像素为存在路面缺陷的区域，需进一步通过形状指数提取形状特征。

本实施例中，像素点的形状指数SI通过以下公式计算得到：

;

其中，

和

分别为所述超像素对应的区域的两个主曲率，且

。

本实施例中，首先需计算曲面的两个主曲率

，然后将其单位化并转换到极坐标系，以排除尺度的影响。

；

其中，

，

。这样，在极坐标系中由角度关系可得：

；

；

;

这样，可以根据上述公式推导出形状指数SI的计算公式。在获取每个像素点的形状指数后，计算超像素内所有像素点的形状指数均值作为该超像素形状特征。

示例性的，对于超像素

，若其深度平均值

满足，

，则该超像素为病害区域，采用上述公式计算超像素内所有像素点的形状信息，并统计计算获得的均值作为该超像素的形状特征

，若

，则该超像素为健康路面区域，本实施例中，令形状特征

。

在计算获得深度特征、纹理特征和形状特征后，构建每一超像素的特征向量。

示例性的，对于超像素

，构建其特征向量

如下：

。

如图3所示，本实施例的技术方案可以概括为，首先获取经过预处理的深度图像，然后获得深度图像基于像素点的纹理特征，同时，提取深度图像的超像素。

接下来，根据基于像素点的纹理特征和所提取的超像素获得基于超像素的纹理特征；基于所提取的超像素获得基于超像素的深度特征；基于所提取的超像素和基于超像素的深度特征获得基于超像素的形状特征。最后，根据基于超像素的纹理特征、基于超像素的深度特征和基于超像素的形状特征获得基于超像素的特征向量。

步骤103：根据所述特征向量之间的相似程度对所述特征向量进行分类，获得根据分类结果确定的路面缺陷信息。

本实施例中，根据特征向量之间的相似程度，将特征向量按照路面缺陷对应的类型进行分类，从而实现确定所存在的路面缺陷。

本实施例中，可以根据超像素的特征向量与各类别标签之间对应的损失值确定相应的转换矩阵，以将超像素的特征向量划分至相似度最大的类别中。

应当注意的是，本实施例的技术方案中，对于特征向量的分类的主要目的在于将所获得的超像素的特征向量（或称原始数据）的分布进行重构，以获得一个更加合理的数据分类空间，该数据分类空间中的每一类数据对应一种路面缺陷。

在其中一些实施例中，可以通过度量学习来构建该数据分类空间。度量学习也称为相似度学习，度量学习的目标是构建距离函数来度量像素/像素集之间的相似度使得不同类别的像素/像素集相似度小而相同类别的像素/像素集相似度大。基于已提取的特征可用于区分不同病害及健康路面，而路面缺陷由于其复杂性、多样性，仅使用原始数据进行计算，无法有效区分特征相近但类别不同的超像素。

本发明实施例采用度量学习来自主学习出针对路面病害检测的空间转换矩阵，通过计算特征转换后的超像素间相似度，使得待求超像素被归入到相似度大的病害类别中去。在对原始数据分布进行重构之后，能够得到相对合理的数据分类空间，后续通过分类器将数据分类至该数据分类空间，其中，所使用的分类器可以包括但不限于能量分类器以及K近邻等分类器，分类至每一数据分类空间的数据对应相应的路面缺陷信息。

在一个实施例中，首先定义训练数据集。在一个实施例中，训练数据集具体包括类别标签为

的训练数据集

。

进一步的，定义目标函数如下：

+1;

其中，

为输入样本，

是入侵输入样本 “margin”的不同类别样本，

为和输入样本相同类别的临近样本。该算法通过定义损失函数，将侵入“margin”的不同类别样本推到“margin”外，将属于同类别的样本拉到“margin”内。

动作拉对应的损失函数如下所示：

；

动作推对应的损失函数如下所示：

；

损失函数为：

；

其中，

，

为预设系数，可以根据需要设定，示例性的，本实施例中可以将其取值选择0.5但不局限于此，转换矩阵

，表示

是输入

的目标邻居，

,

表示

和

属于同一类别，

表示

和

属于不同类别。该损失函数是一个基于半正定矩阵限制条件的凸优化问题，通过引入松弛变量及凸优化算法来最小化损失函数可以求得转换矩阵M。

基于所获得的转换矩阵M，通过能量分类器来计算每个待求超像素类别标签。

测试样本作为额外的训练样本通过能量分类器进行分类，对每个可能的标签

计算上述损失函数，损失共包含三项，除以上所述损失函数外，增加了

样本作为其他样本的伪装者时的损失。对于一个测试样本

，其待求类别标签为

通过以下等式计算，

；

其中，

，其他范数D的计算方式可参考

的计算方式。

这样，计算出每一超像素的标签后，能够确定各超像素对应的路面缺陷的类别。

在完成了对于特征向量的分类之后，同时也就确定了不同类别的特征向量对应的路面缺陷的类型。

进一步的，根据结合获取深度图像时的位置信息，能够实现对于路面缺陷的定位，也就是说，能够确定所获取的深度图像对应的路面在何位置存在何种缺陷。

本发明实施例通过对深度信息、纹理信息、形状信息三类特征的提取，并引入超像素及度量学习技术，可有效表征不同路面缺陷特性。以提取的特征为基础，通过能量分类器为每个超像素标注类别标签以实现不同缺陷的检测，在保证计算效率的同时，提高了检测准确性。

如图4所示，本实施例的技术方案可以概括为，首先获得经过预处理的深度图像，接下来通过超像素计算提取深度图像包括的超像素，进一步的，基于超像素对深度图像进行特征提取，下一步，通过转换矩阵进行计算确定特征之间的相似度，最后，根据计算的相似度对超像素分类，获得其对应的路面缺陷。

这样，本发明实施例通过将原始图像过分割为多个超像素，可有效提取涵盖深度信息、纹理信息以及形状信息的不同缺陷的局部特征，同时通过度量学习算法的引入，将原始特征转换到更优化的空间中，可以有效区分特征相近但类别不同的缺陷。相较于现有技术方案，本发明实施例的技术方案可有效检测不同缺陷。通过为每个超像素标注类别标签，可以将坑槽、裂缝、车辙、突起等多类缺陷及健康路面进行有效区分。同时，相较于基于单个像素点，超像素的引入可以降低维度，提高计算效率。

本发明还提供了一种路面缺陷检测装置。

如图5所示，在一些实施例中，该路面缺陷检测装置200包括：

获取模块501，用于获取路面的深度图像；

提取模块502，用于通过超像素分割提取所述深度图像的多个特征向量；

分类模块503，用于根据所述特征向量之间的相似程度对所述特征向量进行分类，获得根据分类结果确定的路面缺陷信息。

在一些实施例中，所述提取模块502包括：

提取子模块，用于提取所述深度图像包括的多个超像素；

在一些实施例中，所述形状特征获取子模块具体用于：

;

其中，

和

分别为所述超像素对应的区域的两个主曲率，且

。

在一些实施例中，所述提取子模块包括：

分配单元，用于按照预设的K个超像素在所述深度图像中分配种子点，其中，所述深度图像包括N个像素，每一所述超像素的尺寸为

，N和K均为大于1的整数；

梯度值计算单元，用于计算每一所述种子点的邻域内所有像素点梯度值；

更新单元，用于将各所述种子点更新至所述种子点的邻域内梯度值最小的像素点处；

距离计算单元，用于分别计算各所述像素点与各所述种子点之间的距离；

聚类中心确定单元，用于将与每一所述像素点距离最小的种子点作为所述像素点的聚类中心；

迭代单元，用于迭代更新各所述种子点的位置并确定相应的聚类中心，至各聚类中心的位置不再变化；

再分配单元，用于将尺寸小于预设尺寸以及不连续的聚类中心对应的各像素点分配至相邻的聚类中心，获得以各聚类中心为中心的M个超像素，M为小于或等于K且大于1的整数。

在一些实施例中，所述分类模块503包括：

损失值计算子模块，用于计算每一所述超像素的特征向量与各类别标签之间对应的损失值；

类别标签确定子模块，用于根据各所述类别标签对应的损失值确定每一所述超像素对应的类别标签。

本实施例的路面缺陷检测装置能够实现上述路面缺陷检测方法实施例的各个步骤，并能实现相同或相似的技术效果，此处不再赘述。

本发明实施例还提供一种电子设备。请参见图6，电子设备可以包括处理器601、存储器602及存储在存储器602上并可在处理器601上运行的程序6021。程序6021被处理器601执行时可实现图1对应的方法实施例中的任意步骤及达到相同的有益效果，此处不再赘述。

本领域普通技术人员可以理解实现上述实施例方法的全部或者部分步骤是可以通过程序指令相关的硬件来完成，所述的程序可以存储于一可读取介质中。

本发明实施例还提供一种可读存储介质，所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时可实现上述图1对应的方法实施例中的任意步骤，且能达到相同的技术效果，为避免重复，这里不再赘述。

所述的存储介质，如只读存储器（Read-Only Memory，ROM）、随机存取存储器（Random Access Memory，RAM）、磁碟或者光盘等。

以上所述是本发明实施例的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。