CN116030074A - 一种道路病害的识别方法、重识别方法及相关设备 - Google Patents

Abstract

本发明涉及道路巡检技术领域，提供一种道路病害的识别方法、重识别方法及相关设备，其中，一种道路病害的识别方法包括：提取道路病害图像的特征图；将所述特征图输入至预设的目标神经网络预测模型中进行区域分割，并根据分割得到的区域的区域像素值计算权重值；基于分割得到的区域的所述权重值以及所述区域像素值，获取下采样特征图，所述下采样特征图中包括所述目标物；对所述下采样特征图中的所述目标物进行特征信息增强，得到目标特征图，所述目标特征图包括所述目标物的病害类别的置信度；基于所述置信度判断所述目标物所属的病害类别。本发明能够有效提升目标神经网络预测模型对道路病害的识别能力和识别精确率。

Description

一种道路病害的识别方法、重识别方法及相关设备

技术领域

本发明涉及道路巡检技术领域，尤其涉及一种道路病害的识别方法、重识别方法及相关设备。

背景技术

基于现有市区道路和车辆日渐增多，且市区道路的破损对车辆的损害不容忽视，以往对破损道路仅依靠人工来逐个审查，记录再修补，整个过程会耗费大量人工成本及时间成本，且效率低下，因此一种通过摄像头获取道路画面，定位画面，进而自动化筛选道路病害的方法显得尤为重要。

目前，已有的主流方法为基于深度学习的目标检测，工业中较成熟的有单阶段的算法模型：Yolo系列、SSD以及多阶段的Faster Rcnn等，其训练流程大致为：首先通过人工在市区街道采集具有道路病害场景的样本，例如：道路塌陷，井盖异常，道路沉陷，坑槽等。进而针对各个类别进行标注，再将带标注的数据加载并投喂至算法模型进行学习，训练。基于深度学习算法来识别物体的核心原理为通过神经网络的权重与偏差，将图片像素值经过线性和非线性转换成为一系列容易区分开的特征值，进而通过指定目标在图像中的位置和相应的类别，使这一系列特征值融合的输出值向目标的位置和对应类别拟合。其拟合的方式主要通过设定损失函数，以逐步降低损失函数来使预测值无限接近真实值。其中，算法模型采用的算子模块主要有：卷积，池化(平均池化，最大池化)，批归一化，dropout，上采样，反卷积，全连接，激活函数等。然而，基于上述方法训练的模型对道路病害进行检测时，道路图像通过常规下采样会造成部分信息的丢失，最大池化使会容易忽略掉周边有效但重要程度低的特征，平均池化凸显不出局部特征的重要层级；道路中场景复杂，图像经过共享卷积后的特征图，难以获取局部与全局的关联，并无法凸显特征图中局部部位的重要层次。可见，现有技术存在算法模型识别准确率低的问题。

发明内容

本发明实施例提供一种道路病害的识别方法，能够提高算法模型的识别准确率。

第一方面，本发明实施例提供一种道路病害的识别方法，适用于设备端，包括：

提取道路病害图像的特征图，所述道路病害图像包括目标物；

将所述特征图输入至预设的目标神经网络预测模型中进行区域分割，并根据分割得到的区域的区域像素值计算权重值；

基于分割得到的区域的所述权重值以及所述区域像素值，获取下采样特征图，所述下采样特征图中包括所述目标物；

对所述下采样特征图中的所述目标物进行特征信息增强，得到目标特征图，所述目标特征图包括所述目标物的病害类别的置信度；

基于所述置信度判断所述目标物所属的病害类别。

第二方面，本发明实施例提供一种道路病害的重识别方法，适用于平台端，包括：

平台端获取设备端上传的存在道路病害的道路病害图像，基于所述道路病害图像的位置坐标，在不同时间及空间条件下采集多个同类别的重识别图像；

将多张所述重识别图像通过特征损失函数进行重识别，对输出的多维特征进行特征距离计算；

若所述特征距离满足预设距离阈值，则判断所述道路病害图像与所述重识别图像为同一病害类别。

第三方面，本发明实施例提供一种道路病害的识别装置，适用于设备端，包括：

第一获取模块，用于提取道路病害图像的特征图，所述道路病害图像包括目标物；

分割模块，用于将所述特征图输入至预设的目标神经网络预测模型中进行区域分割，并根据分割得到的区域的区域像素值计算权重值；

第二获取模块，用于基于分割得到的区域的所述权重值以及所述区域像素值，获取下采样特征图，所述下采样特征图中包括所述目标物；

特征增强模块，用于对所述下采样特征图中的所述目标物进行特征信息增强，得到目标特征图，所述目标特征图包括所述目标物的病害类别的置信度；

第一判断模块，用于基于所述置信度判断所述目标物所属的病害类别。

第四方面，本发明实施例提供一种电子设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现本发明实施例提供的一种道路病害的识别方法中的步骤以及一种道路病害的重识别方法中的步骤。

第五方面，本发明实施例提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现发明实施例提供的一种道路病害的识别方法中的步骤以及一种道路病害的重识别方法中的步骤。

在本发明实施例中，通过提取道路病害图像的特征图；将特征图输入至预设的目标神经网络预测模型中进行区域分割，并根据分割得到的区域的区域像素值计算权重值；基于区域的权重值，以及区域像素值获取采样特征图；对所述下采样特征图中的所述目标物进行特征信息增强，得到目标特征图，所述目标特征图包括所述目标物的病害类别的置信度；并基于所述置信度判断所述目标物所属的病害类别。本申请通过将道路病害图像进行区域分割，将区域的区域像素值转换为权重值进行下采样，取缔了传统形式将局部特征取最大值化或平均值化，提升了预设的目标神经网络预测模型对道路病害的识别能力和识别准确率；以及对下采样特征图的特征信息进行增强能够增强下采样特征图中目标物的特征点，获取下采样特征图的局部与全局的信息关联，有效提升预设的目标神经网络预测模型对道路病害的识别精确率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种道路病害的识别系统的架构图；

图2为本发明实施例提供的一种道路病害的识别方法的流程图；

图3为本发明实施例提供的在设备端的一种道路病害的识别方法的整体结构示意图；

图4为本发明实施例提供的下采样的结构示意图；

图5为本发明实施例提供的获取目标特征图的结构示意图；

图6为本发明实施例提供的一种道路病害的重识别方法的流程图；

图7为本发明实施例提供的一种道路病害的重识别方法中骨干网络模型的结构示意图；

图8为本发明实施例提供的一种道路病害的识别装置的结构示意图；

图9为本发明实施例提供的一种电子设备的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1为本发明实施例提供的一种道路病害的识别系统的架构图，如图1所示，本发明实施例中的道路病害识别系统，包括：车载设备100、服务器200和终端设备300。

其中，车载设备100可以指道路巡检车辆，道路巡检车辆上设置有图像采集设备110，图像采集设备110包括摄像头、摄像机或其他图像采集设备，摄像头可以是4k的高清摄像头。图像采集设备110用于在车辆行驶过程中采集相应视频数据，再对数据加以标注，用于神经网络预测模型的训练。车载设备100还包括设置在车辆上的定位设备120，可以是GPS(Global Positioning System，全球定位系统)定位模块或北斗定位模块。定位设备120用户获取道路病害图像对应的地理位置信息。

服务器200可以是一台服务器，或者由若干台服务器组成的服务器集群，或者是一个云计算服务平台。服务器200可以接收图像采集设备110发送的道路病害图像，并对道路病害图像进行分析处理得到道路病害的病害信息，同时可以接收定位设备120发送的道路病害的地理位置信息，然后将道路病害的病害信息和地理位置信息发送至终端设备300。

终端设备300为养护人员获取道路病害信息的电子设备，包括但不限于：台式电脑、笔记本电脑、平板电脑、手机、智能穿戴设备等。终端设备300可以安装有应用程序客户端，或者安装有浏览器，通过浏览器访问应用程序的网页客户端，获取道路病害信息和地理位置信息，以使养护人员根据路病害信息和地理位置信息进行及时反馈。

应该理解的是，上述的车载设备、服务器和终端设备以及平台端的数目仅仅是示意性的，根据实现需要，可以进行具体的调整。

请参见图2，图2是本发明实施例提供的一种道路病害的识别方法的流程图，如图2所示，一种道路病害的识别方法，适用于设备端，包括以下步骤：

S101、提取道路病害图像的特征图，道路病害图像包括目标物。

在本实施例中，本实施例提供的一种道路病害的识别方法可以运用在对道路病害的识别场景中，且在设备端执行。一种道路病害的识别方法所运用的电子设备可以通过有线连接方式或者无线连接方式进行数据传输以及与其他设备实现连接。需要指出的是，上述无线连接方式可以包括但不限于3G/4G连接、WiFi连接、蓝牙连接、WiMAX连接、Zigbee连接、UWB(ultra wideband)连接、以及其他现在已知或将来开发的无线连接方式。

其中，上述道路病害图像可以通过巡检车辆上安装的摄像头在行驶过程中进行采集，在道路病害图像中，可以包括存在一处或多处道路病害的路面。道路病害的类型可以包括但不限于道路上呈现的裂纹、塌陷、坑槽、道路防护栏损坏、井盖周边的破损及其较大的凹凸不平整等。其中，摄像头可以是4K高清360°环视摄像头，便于拍摄到更清晰像素的图像。具体地，当载有摄像头的车辆行驶至某一位置时，通过摄像头拍摄道路病害图像，若存在道路病害，则会包括有裂纹、塌陷、坑槽等表示道路病害的特征。上述目标物可以指道路病害，上述特征图可以是经过卷积操作提取得到。在道路病害图像中包括目标物，通过卷积操作提取得到的特征图中同样可以包括有目标物，基于特征图可以进行下采样，最终以判断目标物的病害类别。

S102、将特征图输入至预设的目标神经网络预测模型中进行区域分割，并根据分割得到的区域的区域像素值计算权重值。

具体的，上述预设的目标神经网络预测模型可以指预先通过摄像头采集大量的道路病害图像，通过数据标注后，输入到初始的神经网络预测模型进行不断训练，最终得到的模型。通过预设的目标神经网络预测模型可以实现对图像中存在的道路病害的准确识别。在预设的目标神经网络预测模型中，将轻量化网络shufflenetv2作为骨干网络，在骨干网络模型的训练过程中，可以通过损失函数进行对预测值与真实值进行损失预测，通过不断减小损失对模型中的参数进行调整，直到达到可接受的范围后，可以停止模型训练，最终得到预设的目标神经网络预测模型。

结合图3所示，提取到特征图后，可以将特征图输入骨干网络模型中下采样。首先可以对特征图进行区域分割，具体可以是等区域分割，也即是分割得到的每个区域大小一致。区域分割后，可以将得到的每个区域的区域像素值通过归一化处理转换为对应区域的权重值，从而实现特征带权重进行下采样。

S103、基于分割得到的区域的权重值以及区域像素值，获取下采样特征图，下采样特征图中包括目标物。

其中，区域分割后，可以将相同区域的权重值与区域像素值进行计算，然后对所有区域进行计算，从而可以计算得到下采样后的下采样特征图。通过综合每个区域像素值的一个权重值，再对每个分割的区域进行融合的下采样方式，相比最大池化，更能够保持部分有效的特征信息；且相比平均池化，更能凸显每个区域的一个权重大小，保持区域特征呈现层级关系。结合图3所示，通过骨干网络模型中的多个网络层进行特征融合后，可以形成特征金字塔，基于特征金字塔在最后的网络层(检测头)输出的下采样特征图中可以融合得到三个特征信息，包括位置坐标、置信度以及类别。

S104、对下采样特征图中的目标物进行特征信息增强，得到目标特征图，目标特征图包括目标物的病害类别的置信度。

具体的，为对下采样特征图的像素进行优化，可以先获取多个本质相同的卷积子特征图，例如：获取到3个相同的卷积子特征图。卷积子特征图可以看做是矩阵，然后可以对多个卷积子特征图依次有序进行点积计算。其中，两个相同的矩阵进行点积计算表征一个向量在另一个向量处的投影，投影值越高表明两个向量相关性越大，因此当获取到三个卷积子特征图时，可以分别进行两次点积计算，对卷积子特征图进行第一次点积操作可以表征卷积子特征图上每两个像素点之间的相关性大小，对卷积子特征图进行第二次点积操作可以使原特征图中属于目标物的特征像素因权重值增大相对变大，不属于目标物的特征像素减小。

在对多个卷积子特征图计算之后，可以对计算结果进行分解、编码、解码及标准归一化处理，最终得到目标特征图，且在目标特征图中，包括了目标物的病害类别的置信度。经过特征信息增强处理，一方面可以增大预设的目标神经网络预测模型对目标物的关注度，减弱无关特征信息的干扰；另一方面，通过分解特征图中的特征信息以及编码和解码的方式，能够充分提升相关特征的信息表达，可以有效提升预设的目标神经网络预测模型的识别准确性及检出率。

S105、基于置信度判断目标物所属的病害类别。

具体的，进行特征信息增强处理后，计算得到目标特征图后，根据目标特征图中的置信度大小可以判断出目标物的类别，优选置信度最大的作为目标物的病害类别，其中，置信度可以表示为目标物为某种道路病害的概率。

在本发明实施例中，通过提取道路病害图像的特征图；将特征图输入至预设的目标神经网络预测模型中进行区域分割，并根据分割得到的区域的区域像素值计算权重值；基于分割得到的区域的权重值以及区域像素值，获取下采样特征图，下采样特征图中包括目标物；对下采样特征图中的目标物进行特征信息增强，得到目标特征图，目标特征图包括目标物的病害类别的置信度；基于置信度判断目标物所属的病害类别。本申请通过将道路病害图像进行区域分割，将区域的区域像素值转换为权重值进行下采样，取缔了传统形式将局部特征取最大值化或平均值化，提升了预设的目标神经网络预测模型对道路病害的识别能力和识别准确率；以及对下采样特征图的特征信息优化能够增强目标物的特征点，获取特征图局部与全局的信息关联，有效提升预设的目标神经网络预测模型对道路病害的识别精确率。

可选的，图2中步骤S102具体包括以下步骤：

S1021、将特征图预处理后，输入至预设的目标神经网络预测模型中进行训练，预设的目标神经网络预测模型包括骨干网络模型。

S1022、基于骨干网络模型，按照预设大小对道路病害图像进行区域分割，分割得到的每个区域对应一个区域像素值。

S1023、通过归一化指数函数对分割得到的区域进行归一化处理，将每个区域的区域像素值转换为权重值。

具体的，将道路病害图像的特征图输入骨干网络模型(轻量化网络shufflenetv2)，通过骨干网络模型中的多个网络层对道路病害图像进行特征提取，可以根据预设大小对道路病害图像进行区域分割，划分后的每个区域对应一区域像素值，其中，预设大小可以是2×2、3×3等。上述归一化指数函数指softmax函数，可以通过softmax函数对每个区域的像素点进行归一化处理，将区域像素点归一化至0-1，即示意图4中左边a转为右边b，右边b区域即为对应每个区域的区域像素值的一个权重值，可以看做2×2的权重矩阵。

作为一种可能的实施例方式，参考图4所示，骨干网络模型进行下采样时，可以将道路病害图像以2×2的大小进行下采样，因此会将道路病害图像分割为4个区域，用F1、F2、F3与F4表示道路病害图像上一个2×2的区域像素值，可以理解为2×2像素矩阵，然后通过softmax函数进行2×2像素矩阵归一化处理，得到每个区域对应的权重值，相当于2×2的权重矩阵。最后可以基于权重矩阵与像素矩阵计算下采样的值，得到下采样特征图。

可选的，步骤S1021中将道路病害图像预处理包括：

将道路病害图像根据预设缩放比例进行缩放，得到预设的目标神经网络预测模型的标准输入尺寸。

在输入预设的目标神经网络预测模型前，需要对输入的道路病害图像的特征图进行预处理，预处理包括对特征图进行缩放，将其长或宽中的长边缩放到固定尺寸(416或640)，短边和长边保持原来比例缩放，进而将短边不足固定尺寸的两边进行填充使道路病害图像的分辨率转换为416×416或640×640。416×416或640×640可以作为预设的目标神经网络预测模型的标准输入尺寸。对特征图的尺寸进行预处理，便于输入到预设的目标神经网络预测模型进行特征图统一处理与识别。

在本实施例中，通过将轻量化网络shufflenetv2做为骨干网络模型，将输入的特征图进行区域分割，将每个区域的区域像素值通过softmax函数进行归一化处理转换得到每个区域的权重值，最终可以基于权重值与区域像素值获取到道路病害图像的下采样特征图。也即是通过基于特征带权重值的方式进行下采样，取缔传统形式将局部特征取最大值化或平均化，能大幅度提升预设的目标神经网络预测模型对道路病害的识别能力和识别准确率。

可选的，上述步骤S103具体包括以下步骤：

S1031、针对分割得到的每个区域，基于区域的权重值与区域像素值计算区域的区域像素权值。

S1032、基于计算的得到所有区域的区域像素权值，获取下采样特征图。

具体的，在上述步骤S13之后，可以将同一区域的权重值与区域像素值进行积运算，并将每个区域的积运算结果进行叠加，最终输出下采样特征图，下采样特征图中包括目标物以及目标物的特征信息。特征信息可以包括目标物的位置坐标、病害的特征等。结合图4所示，也即是将右边b的2×2的像素矩阵与原来左边a的2×2像素矩阵对应位置相乘再累加，从而得到下采样后的值，下采样后的值同样可以看做一个特征矩阵，也即是特征图的特征信息。

具体的，特征图的特征信息计算公式如式(1)所示：

其中，F(x)为下采样后的值，Fi为第i个区域的区域像素值，i＝1,2,3，，，，x。

在本实施例中，在将输入的特征图进行区域分割，将每个区域的区域像素值通过softmax函数进行归一化处理转换得到每个区域的权重值，基于每个区域的权重值与区域像素值获取到道路病害图像的下采样特征图，通过为特征配置权重值的方式进行下采样，取缔传统形式将局部特征取最大值化或平均化，能大幅度提升预设的目标神经网络预测模型对道路病害的识别能力和识别准确率。

可选的，上述步骤S104具体包括以下步骤：

S1041、对下采样特征图进行卷积操作，获取到第一卷积子特征图、第二卷积子特征图以及第三卷积子特征图。

具体的，结合图5所示，为了凸显出特征图中目标物的特征，在本实施例中，可以通过1×1卷积核对下采样特征图进行卷积操作，同时获取到3个卷积子特征图，包括第一卷积子特征图、第二卷积子特征图以及第三卷积子特征图。其中，第一卷积子特征图、第二卷积子特征图以及第三卷积子特征图为本质相同的待分解特征图。

S1042、将第二卷积子特征图转置，并与第一卷积子特征图点积计算得到特征卷积矩阵。

S1043、基于归一化指数函数对特征卷积矩阵进行归一化，得到下采样特征图中每个像素对应的像素权重值。

S1044、基于下采样特征图中每个像素对应的像素权重值与第三卷积子特征图点积计算得到待分解特征图。

具体的，结合图5所示，若将第一卷积子特征图、第二卷积子特征图以及第三卷积子特征图分别对应为D、F、K，则可以将第二卷积子特征图F进行转置，得到第一卷积子特征图F的转置矩阵F^T，然后将第一卷积子特征图D与第一卷积子特征图F的转置矩阵F^T进行点积计算D×F^T，得到一个特征卷积矩阵。

更具体的，可以通过softmax函数对特征卷积矩阵进行归一化处理，归一化至0～1，归一化后得到图5中的权值图。softmax(D×F^T)的作用是表征第一卷积子特征图与第二卷积子特征图上每两个像素点之间的相关性大小，做归一化为每个像素对应的权重值，也即是得到每个像素对应的像素权重值，其中，对角线处像素权重值最大。

然后，可以基于权值图中每个像素对应的像素权重值，与第三卷积子特征图点积计算得到待分解特征图。这样，可以使原特征图中属于目标物的特征像素因权重值增大相对变大，不属于目标物的特征像素减小。具体计算公式如式(2)所示：

f(D，F，K)＝softmax(D×F^T×K)    (2)

其中，x∈R。

S1045、对待分解特征图进行分解及归一化处理，得到目标特征图。

具体的，得到待分解特征图后，可以对待分解特征图再次进行分解，对分解后的多个分解特征图分别进行解码编码操作，最后将多个分解特征图进行连接后，通过softmax函数进行归一化，得到目标特征图，根据目标特征图可以获取到道路病害图像的置信度。本发明实施例中，对于不同类型的道路病害赋予置信度，当判断类型时，可以将置信度值最大的作为目标物对应的道路病害类别，例如：根据目标特征图获取到是道路塌陷的置信度为0.86，是裂纹的置信度为0.12，则说明目标物为道路塌陷的概率是86％，为裂纹的概率是12％，且判断目标物为道路塌陷；如果一个道路病害是坑槽的置信度为0.55，是井盖破裂的置信度为0.45，则说明目标物为坑槽的概率为50％，为井盖破裂的概率是45％，且判断目标物为坑槽。

在本实施例中，对通过基于特征带权重值的方式进行下采样后，对基于每个区域的权重值与区域像素值获取到特征图的特征信息进行卷积操作分别获取到第一卷积子特征图、第二卷积子特征图以及第三卷积子特征图，并根据第一卷积子特征图、第二卷积子特征图以及第三卷积子特征图进行点积、分解及归一化处理实现对特征图的优化，可以增强目标物的特征点，获取特征图局部与全局的信息关联，有效提升预设的目标神经网络预测模型对道路病害的识别精确率。

可选的，上述步骤S1045具体包括以下步骤：

S10451、将待分解特征图分解为第一分解特征图、第二分解特征图以及第三分解特征图。

S10452、分别对第一分解特征图、第二分解特征图以及第三分解特征图依次进行编码与解码处理，得到解码后的第一分解特征图、解码后的第二分解特征图以及解码后的第三分解特征图。

S10453、将解码后的第一分解特征图、解码后的第二分解特征图以及解码后的第三分解特征图进行连接，并进行标准归一化处理，得到目标特征图。

具体的，结合图5所示，可以对待分解特征图进行分解得到第一分解特征图、第二分解特征图以及第三分解特征图，然后基于transformer思想分别对第一分解特征图、第二分解特征图以及第三分解特征图依次进行编码与解码处理，得到解码后的第一分解特征图、解码后的第二分解特征图以及解码后的第三分解特征图，最后再对解码后的多个特征图进行连接，并做标准归一化处理，得到目标特征图。

在本实施例中，通过将特征图分解为第一分解特征图、第二分解特征图以及第三分解特征图后，再基于transformer思想进行解码、编码及标准归一化处理，一方面可以增大预设的目标神经网络预测模型对目标物的关注度，减弱无关信息的干扰；另一方面，通过分解特征信息以及编码和解码的方式，充分提升相关特征的信息表达，可以有效提升预设的目标神经网络预测模型对道路病害的识别准确率。

参考图6所示，图6为本实施例提供的一种道路病害的重识别方法的流程图。一种道路病害的重识别方法，适用于平台端，包括以下步骤：

S601、平台端获取设备端上传的存在道路病害的道路病害图像，基于道路病害图像的位置坐标，在不同时间及空间条件下采集多个同类别的重识别图像。

在本实施例中，设备端可以将最终识别出存在道路病害的道路病害图像通过无线或有线连接方式上传至平台端进行存储。而本发明实施例提供的一种道路病害的重识别方法，可以在设备端已进行一次识别的情况下，当上传平台端进行存储时，在平台端再次进行特征重识别，通过重识别比对，可以避免已经被识别出来的道路病害被重复识别，并储存在平台上，不仅占用平台空间，同时加大工作人员辨别、挑选或错误修补的工作。

具体的，结合图6所示，在平台端重识别中，同样可以利用与设备端使用的骨干网络模型，但可以对骨干网络模型中的损失函数进行更换，使得至少与骨干网络模型中的损失函数为不同的损失函数，通过不同的损失函数进行特征匹配。具体的原理过为：当设备端上传存在道路病害的道路病害图像时，可以通过车辆在道路病害图像所在的位置坐标处的不同时段采集同一道路病害，并对该道路病害在不同场景下的多张重识别图像作为一个类别(只针对裁剪后的道路病害)。

S602、将多张重识别图像通过特征损失函数进行重识别，对输出的多维特征进行特征距离计算。

具体的，本实施例提供的特征损失函数可以包括但不限于均方差损失函数、指数损失函数、交叉熵损失函数等中的至少一个。通过特征损失函数进行重识别可以减少同类别道路病害之间的特征距离，增大不同类别道路病害之间的特征距离。具体的特征损失原理如下式(3)所示：

其中，N为每个批次输入的图片数量，f(x_i ^a)为随机挑选的某个类别，f(x_i ^p)为与被挑选的类别为同一类别的样本，f(x_i ⁿ)为与被挑选的类别为不同类别的样本，α为自定义的一个阈值，c_yi为每个批次中每个类别中的特征平均值，即为每个类的中心值，且c_yi在训练过程中不断调整变化。训练过程中，每个批次使所有图片都作为一个训练样本，选取与该训练样本为同类型且距离最远的作为x^p，选取不同类别且与其距离最近的作为xⁿ，最终可以输出256维特征，并对256维特征采用欧氏距离进行计算，得到特征距离。

S603、若特征距离满足预设距离阈值，则判断道路病害图像与重识别图像为同一病害类别。

具体的，通过特征损失可以增大不同类的道路病害之间的距离，进而通过设定预设距离阈值，与计算得到的特征距离进行比较，若计算出的特征距离小于设定预设距离阈值，则可以判断出重识别图像与同一位置坐标上传的道路病害图像属于同一道路病害，从而过滤平台端被多次识别的道路病害，避免占用不必要的存储空间。

在本实施例中，通过获取设备端上传平台端的存在道路病害的道路病害图像，获取道路病害图像所在位置坐标的不同时间及空间条件下的多张重识别图像，通过特征损失函数进行特征距离计算实现对图像中的目标物的二次匹配，根据特征距离与预设距离阈值判断道路病害图像与重识别图像为同一病害类别，从而避免采用纯检测方法无法对同一病害进行过滤，容易造成同一病害多次被检出的问题，并储存在平台上，不仅占用平台空间，同时加大工作人员辨别、挑选或错误修补的工作。

请参见图7，图7是本发明实施例提供的一种道路病害的识别装置的结构示意图，适用于设备端，如图7所示，装置700包括：

第一获取模块701，用于提取道路病害图像的特征图，道路病害图像包括目标物；

分割模块702，用于将特征图输入至预设的目标神经网络预测模型中进行区域分割，并根据分割得到的区域的区域像素值计算权重值；

第二获取模块703，用于基于分割得到的区域的权重值以及区域像素值，获取下采样特征图，下采样特征图中包括目标物；

特征增强模块704，用于对下采样特征图中的目标物进行特征信息增强，得到目标特征图，目标特征图包括目标物的病害类别的置信度；

第一判断模块705，用于基于置信度判断目标物所属的病害类别。

可选的，上述分割模块702包括：

训练子单元7021，用于将特征图预处理后，输入至预设的目标神经网络预测模型中进行训练，预设的目标神经网络预测模型包括骨干网络模型；

区域划分子单元7022，用于基于骨干网络模型，按照预设大小对道路病害图像进行区域分割，分割得到的每个区域对应一个区域像素值；

第一归一化子单元7023，用于通过归一化指数函数对分割得到的区域进行归一化处理，将每个区域的区域像素值转换为权重值。

可选的，上述第二获取模块703包括：

第一计算子单元7031，用于针对分割得到的每个区域，基于区域的权重值与区域像素值计算区域的区域像素权值；

第二计算子单元7032，用于基于计算的得到所有区域的区域像素权值，获取下采样特征图。

可选的，特征增强模块704包括：

卷积子单元7041，用于对下采样特征图进行卷积操作，获取到第一卷积子特征图、第二卷积子特征图以及第三卷积子特征图；

第三计算子单元7042，用于将第二卷积子特征图转置，并与第一卷积子特征图点积计算得到特征卷积矩阵；

第二归一化子单元7043，用于基于归一化指数函数对特征卷积矩阵进行归一化，得到下采样特征图中每个像素对应的像素权重值；

第四计算子单元7044，用于基于下采样特征图中每个像素对应的像素权重值与第三卷积子特征图点积计算得到待分解特征图；

分解子单元7045，用于对待分解特征图进行分解及归一化处理，得到目标特征图。

可选的，分解子单元7045包括：

分解子模块70451，用于将待分解特征图分解为第一分解特征图、第二分解特征图以及第三分解特征图；

解码及编码子模块70452，用于分别对第一分解特征图、第二分解特征图以及第三分解特征图依次进行编码与解码处理，得到解码后的第一分解特征图、解码后的第二分解特征图以及解码后的第三分解特征图；

第三归一化子模块元70453，用于将解码后的第一分解特征图、解码后的第二分解特征图以及解码后的第三分解特征图进行连接，并进行标准归一化处理，得到目标特征图。

可选的，训练子单元7021还用于将道路病害图像的特征图根据预设缩放比例进行缩放，得到预设的目标神经网络预测模型的标准输入尺寸。

本发明实施例提供的一种道路病害的识别装置能够实现上述方法实施例中一种道路病害的识别方法实现的各个过程，为避免重复，这里不再赘述。且可以达到相同的有益效果。

本发明实施例还提供一种道路病害的重识别装置，适用于平台端，装置800包括：

采集模块801，用于平台端获取设备端上传的存在道路病害的道路病害图像，基于道路病害图像的位置坐标，在不同时间及空间条件下采集多个同类别的重识别图像；

重识别模块802，用于将多张重识别图像通过特征损失函数进行重识别，对输出的多维特征进行特征距离计算；

第二判断模块803，用于若特征距离满足预设距离阈值，则判断道路病害图像与重识别图像为同一病害类别。

本发明实施例提供的一种道路病害的重识别装置能够实现上述方法实施例中一种道路病害的重识别方法实现的各个过程，为避免重复，这里不再赘述。且可以达到相同的有益效果。

参见图9，图9是本发明实施例提供的一种电子设备的结构示意图，如图9所示，包括：处理器901、存储器902、网络接口903及存储在存储器902上并可在处理器901上运行的计算机程序，其中：

处理器901用于调用存储器902存储的计算机程序，并执行如下步骤：

提取道路病害图像的特征图，道路病害图像包括目标物；

将特征图输入至预设的目标神经网络预测模型中进行区域分割，并根据分割得到的区域的区域像素值计算权重值；

基于分割得到的区域的权重值以及区域像素值，获取下采样特征图，下采样特征图中包括目标物；

对下采样特征图中的目标物进行特征信息增强，得到目标特征图，目标特征图包括目标物的病害类别的置信度；

基于置信度判断目标物所属的病害类别。

可选的，处理器901执行的将特征图输入至预设的目标神经网络预测模型中进行区域分割，并根据分割得到的区域的区域像素值计算权重值，包括：

将特征图预处理后，输入至预设的目标神经网络预测模型中进行训练，预设的目标神经网络预测模型包括骨干网络模型；

基于骨干网络模型，按照预设大小对道路病害图像进行区域分割，分割得到的每个区域对应一个区域像素值；

通过归一化指数函数对分割得到的区域进行归一化处理，将每个区域的区域像素值转换为权重值。

可选的，处理器901执行的基于分割得到的区域的权重值以及区域像素值，获取下采样特征图，包括：

针对分割得到的每个区域，基于区域的权重值与区域像素值计算区域的区域像素权值；

基于计算的得到所有区域的区域像素权值，获取下采样特征图。

可选的，处理器901执行的对下采样特征图中的目标物特征进行特征信息增强，得到目标特征图，包括：

对下采样特征图进行卷积操作，获取到第一卷积子特征图、第二卷积子特征图以及第三卷积子特征图；

将第二卷积子特征图转置，并与第一卷积子特征图点积计算得到特征卷积矩阵；

基于归一化指数函数对特征卷积矩阵进行归一化，得到下采样特征图中每个像素对应的像素权重值；

基于下采样特征图中每个像素对应的像素权重值与第三卷积子特征图点积计算得到待分解特征图；

对待分解特征图进行分解及归一化处理，得到目标特征图。

可选的，处理器901执行的对待分解特征图进行分解及归一化处理，得到目标特征图，包括：

将待分解特征图分解为第一分解特征图、第二分解特征图以及第三分解特征图；

分别对第一分解特征图、第二分解特征图以及第三分解特征图依次进行编码与解码处理，得到解码后的第一分解特征图、解码后的第二分解特征图以及解码后的第三分解特征图；

将解码后的第一分解特征图、解码后的第二分解特征图以及解码后的第三分解特征图进行连接，并进行标准归一化处理，得到目标特征图。

可选的，处理器901执行的将特征图预处理，包括：

将道路病害图像的特征图根据预设缩放比例进行缩放，得到预设的目标神经网络预测模型的标准输入尺寸。

本发明实施例提供的电子设备900能够实现一种道路病害的识别方法以及一种道路病害的重识别方法实施例中的各个实施方式，以及相应有益效果，为避免重复，这里不再赘述。

需要指出的是，图中仅示出了具有组件的901-903，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。其中，本技术领域技术人员可以理解，这里的电子设备是一种能够按照事先设定或存储的指令，自动进行数值计算和/或信息处理的设备，其硬件包括但不限于微处理器、专用集成电路(Application SpecificIntegrated Circuit，ASIC)、可编程门阵列(Field－Programmable GateArray，FPGA)、数字处理器(Digital Signal Processor，DSP)、嵌入式设备等。

电子设备900可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。电子设备900可以通过键盘、鼠标、遥控器、触摸板或声控设备等方式进行人机交互。

存储器902至少包括一种类型的可读存储介质，可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。在一些实施例中，存储器902可以是电子设备的内部存储单元，例如该电子设备的硬盘或内存。在另一些实施例中，存储器902也可以是电子设备的外部存储设备，例如该电子设备上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。当然，存储器902还可以既包括电子设备的内部存储单元也包括其外部存储设备。本实施例中，存储器902通常用于存储安装于电子设备900的操作系统和各类应用软件，例如一种道路病害的识别方法的程序代码或一种道路病害的重识别方法的程序代码中的程序代码等。此外，存储器902还可以用于暂时地存储已经输出或者将要输出的各类数据。

处理器901在一些实施例中可以是中央处理器(Central Processing Unit，CPU)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器901通常用于控制电子设备的总体操作。本实施例中，处理器901用于运行存储器901中存储的程序代码或者处理数据，例如运行一种道路病害的识别方法的程序代码或一种道路病害的重识别方法的程序代码中的程序代码。

网络接口903可包括无线网络接口或有线网络接口，该网络接口903通常用于在电子设备900与其他电子设备之间建立通信连接。

本发明实施例还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，该计算机程序被处理器901执行时实现本发明实施例提供的一种道路病害的识别方法实施例的各个过程以及一种道路病害的重识别方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

本领域普通技术人员可以理解实现实施例一种道路病害的识别方法以及一种道路病害的重识别方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，一种道路病害的识别方法以及一种道路病害的重识别方法的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如各方法的实施例的流程。

本申请的说明书和权利要求书或上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。

以上所揭露的仅为本发明较佳实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。

Claims (10)

1.一种道路病害的识别方法，适用于设备端，其特征在于，包括以下步骤：

提取道路病害图像的特征图，所述道路病害图像包括目标物；

将所述特征图输入至预设的目标神经网络预测模型中进行区域分割，并根据分割得到的区域的区域像素值计算权重值；

基于分割得到的区域的所述权重值以及所述区域像素值，获取下采样特征图，所述下采样特征图中包括所述目标物；

对所述下采样特征图中的所述目标物进行特征信息增强，得到目标特征图，所述目标特征图包括所述目标物的病害类别的置信度；

基于所述置信度判断所述目标物所属的病害类别。

2.如权利要求1所述的方法，其特征在于，所述将所述特征图输入至预设的目标神经网络预测模型中进行区域分割，并根据分割得到的区域的区域像素值计算权重值，包括：

将所述特征图预处理后，输入至所述预设的目标神经网络预测模型中进行训练，所述预设的目标神经网络预测模型包括骨干网络模型；

基于所述骨干网络模型，按照预设大小对所述道路病害图像进行区域分割，分割得到的每个区域对应一个所述区域像素值；

通过归一化指数函数对分割得到的区域进行归一化处理，将每个区域的所述区域像素值转换为所述权重值。

3.如权利要求1所述的方法，其特征在于，所述基于分割得到的区域的所述权重值以及所述区域像素值，获取下采样特征图，包括：

针对分割得到的每个区域，基于所述区域的所述权重值与所述区域像素值计算所述区域的区域像素权值；

基于计算的得到所有区域的区域像素权值，获取所述下采样特征图。

4.如权利要求2所述的方法，其特征在于，所述对所述下采样特征图中的所述目标物特征进行特征信息增强，得到目标特征图，包括：

对所述下采样特征图进行卷积操作，获取到第一卷积子特征图、第二卷积子特征图以及第三卷积子特征图；

将所述第二卷积子特征图转置，并与所述第一卷积子特征图点积计算得到特征卷积矩阵；

基于所述归一化指数函数对所述特征卷积矩阵进行归一化，得到所述下采样特征图中每个像素对应的像素权重值；

基于所述下采样特征图中每个像素对应的像素权重值与所述第三卷积子特征图点积计算得到待分解特征图；

对所述待分解特征图进行分解及归一化处理，得到所述目标特征图。

5.如权利要求4所述的方法，其特征在于，所述对所述待分解特征图进行分解及归一化处理，得到所述目标特征图，包括：

将所述待分解特征图分解为第一分解特征图、第二分解特征图以及第三分解特征图；

分别对所述第一分解特征图、所述第二分解特征图以及所述第三分解特征图依次进行编码与解码处理，得到解码后的第一分解特征图、解码后的第二分解特征图以及解码后的第三分解特征图；

将所述解码后的第一分解特征图、所述解码后的第二分解特征图以及所述解码后的第三分解特征图进行连接，并进行标准归一化处理，得到所述目标特征图。

6.如权利要求2所述的方法，其特征在于，所述将所述特征图预处理，包括：

将所述道路病害图像的所述特征图根据预设缩放比例进行缩放，得到所述预设的目标神经网络预测模型的标准输入尺寸。

7.一种道路病害的重识别方法，适用于平台端，其特征在于，包括以下步骤：

平台端获取设备端上传的存在道路病害的道路病害图像，基于所述道路病害图像的位置坐标，在不同时间及空间条件下采集多个同类别的重识别图像；

将多张所述重识别图像通过特征损失函数进行重识别，对输出的多维特征进行特征距离计算；

若所述特征距离满足预设距离阈值，则判断所述道路病害图像与所述重识别图像为同一病害类别。

8.一种道路病害的识别装置，适用于设备端，其特征在于，包括：

第一获取模块，用于提取道路病害图像的特征图，所述道路病害图像包括目标物；

分割模块，用于将所述特征图输入至预设的目标神经网络预测模型中进行区域分割，并根据分割得到的区域的区域像素值计算权重值；

第二获取模块，用于基于分割得到的区域的所述权重值以及所述区域像素值，获取下采样特征图，所述下采样特征图中包括所述目标物；

特征增强模块，用于对所述下采样特征图中的所述目标物进行特征信息增强，得到目标特征图，所述目标特征图包括所述目标物的病害类别的置信度；

第一判断模块，用于基于所述置信度判断所述目标物所属的病害类别。

9.一种电子设备，其特征在于，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1-6中任一项所述的一种道路病害的识别方法以及如权利要求7中所述的一种道路病害的识别方法中的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1-6中任一项所述的一种道路病害的识别方法以及如权利要求7中所述的一种道路病害的识别方法中的步骤。

Images