CN113591606B - 沥青路面隐藏病害识别方法、装置、电子设备及存储介质 - Google Patents
沥青路面隐藏病害识别方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN113591606B CN113591606B CN202110781686.2A CN202110781686A CN113591606B CN 113591606 B CN113591606 B CN 113591606B CN 202110781686 A CN202110781686 A CN 202110781686A CN 113591606 B CN113591606 B CN 113591606B
- Authority
- CN
- China
- Prior art keywords
- neural network
- convolutional neural
- network model
- training
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 201000010099 disease Diseases 0.000 title claims abstract description 76
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 title claims abstract description 76
- 239000010426 asphalt Substances 0.000 title claims abstract description 75
- 238000000034 method Methods 0.000 title claims abstract description 42
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 149
- 238000012549 training Methods 0.000 claims abstract description 76
- 238000012360 testing method Methods 0.000 claims abstract description 34
- 238000001514 detection method Methods 0.000 claims abstract description 30
- 230000006870 function Effects 0.000 claims description 25
- 238000012795 verification Methods 0.000 claims description 23
- 230000007704 transition Effects 0.000 claims description 15
- 239000011159 matrix material Substances 0.000 claims description 10
- 238000011176 pooling Methods 0.000 claims description 10
- 230000005012 migration Effects 0.000 claims description 5
- 238000013508 migration Methods 0.000 claims description 5
- 238000010606 normalization Methods 0.000 claims description 3
- 230000000149 penetrating effect Effects 0.000 description 14
- 238000012545 processing Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 4
- 230000007246 mechanism Effects 0.000 description 4
- 238000010801 machine learning Methods 0.000 description 3
- 230000011218 segmentation Effects 0.000 description 3
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000004806 packaging method and process Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computational Linguistics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Evolutionary Biology (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种沥青路面隐藏病害识别方法、装置、电子设备以及存储介质，其包括：获取沥青路面的路面隐藏图像数据集；建立初始卷积神经网络模型；利用所述路面隐藏图像数据集对所述初始卷积神经网络模型进行训练和测试，得到目标卷积神经网络；将待识别的检测图像输入至所述目标卷积神经网络，以识别沥青路面隐藏病害。本发明实现了沥青路面隐藏病害的智能识别。
Description
技术领域
本发明涉及沥青路面隐藏病害识别技术领域，具体涉及一种沥青路面隐藏病害识别方法、装置、电子设备及存储介质。
背景技术
道路在周围环境和车辆荷载的作用下，其表面及内部会产生各种损伤，如果不能及时地检测并修复这些病害，会导致道路病害继续发展，最终产生严重安全问题。
目前针对沥青路面病害的检测问题，主要有三种方法。第一种是人工检测，这是最常见的检测方法，依靠工作人员在公路上巡检，以此来发现沥青路面病害。第二种是基于传统的图像处理与计算机视觉的方法，如阈值分割、区域增长及边缘检测等，如CN112258529A中公开的基于实例分割算法的沥青路面裂缝像素级别检测方法，通过构建沥青路面裂缝智能分割模型对沥青路面病害图像数据进行识别。第三种是基于机器学习的检测方法，如支持向量机、神经网络等传统的机器学习算法，如CN112200143A中公开的基于候选区域网络和机器视觉的道路病害检测方法，通过构建卷积神经网络模型结构对沥青路面病害图像进行检测和识别。
上述方法存在以下问题：人工检测的方式非常耗时、浪费人力，且受个人主观因素影响较大，造成检测精度相对较低。基于传统的图像处理与计算机视觉方法以及基于机器学习的沥青路面病害检测方法均是对路表病害进行识别，无法对沥青路面隐藏病害进行智能识别。
发明内容
有鉴于此，有必要提供一种沥青路面隐藏病害识别方法、装置、电子设备及存储介质，用以解决现有技术中存在的无法对沥青路面隐藏病害进行智能识别的技术问题。
为了解决上述技术问题，本发明提供了一种沥青路面隐藏病害识别方法，包括：
获取沥青路面的路面隐藏图像数据集；
建立初始卷积神经网络模型；
利用所述路面隐藏图像数据集对所述初始卷积神经网络模型进行训练和测试，得到目标卷积神经网络；
将待识别的检测图像输入至所述目标卷积神经网络，以识别沥青路面隐藏病害。
在一种可能的实现方式中，所述获取沥青路面的路面隐藏图像数据集包括：
获取沥青路面的路面隐藏检测图像；
从所述路面隐藏检测图像中获取预设大小的目标图像；
对所述目标图像进行标记，获得携带真实标签的标记图像，所述标记图像构成所述路面隐藏图像数据集。
在一种可能的实现方式中，所述利用所述路面隐藏图像数据集对所述初始卷积神经网络模型进行训练和测试，得到目标卷积神经网络包括：
将所述路面隐藏图像数据集按预设比例划分为图像训练集、图像验证集以及图像测试集；
利用所述图像训练集对所述初始卷积神经网络模型进行训练，获得过渡卷积神经网络模型；
利用所述图像验证集对所述过渡卷积神经网络模型的识别性能进行验证，若验证不通过，则再次对所述过渡卷积神经网络模型进行训练；若验证通过，则所述过渡卷积神经网络模型为所述目标卷积神经网络模型；
利用所述图像测试集对所述目标卷积神经网络模型的识别性能进行测试，获得所述目标卷积神经网络模型的识别准确率。
在一种可能的实现方式中，在所述利用所述图像训练集对所述初始卷积神经网络模型进行训练之前包括：
构建预训练卷积神经网络模型；
利用开源数据集对所述预训练卷积神经网络模型进行预训练，获得待选卷积神经网络模型，所述待选卷积神经网络模型包括模型参数；
采用迁移算法，将所述模型参数迁移至所述初始卷积神经网络模型。
在一种可能的实现方式中，所述初始卷积神经网络模型的总损失函数为：
式中，J为总损失函数；Lsoftmax为交叉熵损失函数，为正则项；λ为正则系数；Wj为特征矩阵；weightj为第j个病害类别的权重值；N为图像训练集中训练样本的数量；C为病害类别的数量，hj为初始卷积神经网络模型输出向量的第j个分量；yi为训练样本i的真实标签；hyi为初始卷积神经网络模型输出向量的中第yi类的输出分量；xj为第j个病害类别的样本数量。
在一种可能的实现方式中，所述初始卷积神经网络模型包括依次设置的5个卷积单元、注意力模块、全局池化层、第一丢弃层、第一全连接层、第二丢弃层、第二全连接层以及分类层。
在一种可能的实现方式中，所述卷积单元包括依次设置的至少两层卷积层、批量归一化层以及局部最大池化层。
本发明还提供一种沥青路面隐藏病害识别装置，所述沥青路面隐藏病害识别装置包括：
路面隐藏图像数据集获取单元，用于获取沥青路面的路面隐藏图像数据集；
初始模型构建单元，用于建立初始卷积神经网络模型；
训练单元，用于利用所述路面隐藏图像数据集对所述初始卷积神经网络模型进行训练和测试，得到目标卷积神经网络；
识别单元，用于将待识别的检测图像输入至所述目标卷积神经网络，以识别沥青路面隐藏病害。
本发明还提供了一种电子设备，包括存储器和处理器，其中，
所述存储器，用于存储程序；
所述处理器，与所述存储器耦合，用于执行所述存储器中存储的所述程序，以实现上述任一种实现方式中的所述沥青路面隐藏病害识别方法中的步骤。
本发明还提供了一种计算机可读存储介质，用于存储计算机可读取的程序或指令，所述程序或指令被处理器执行时，能够实现上述任一种实现方式中的所述沥青路面隐藏病害识别方法中的步骤。
采用上述实施例的有益效果是：本发明提供的沥青路面隐藏病害识别方法，通过获取沥青路面的路面隐藏图像数据集；再利用路面隐藏图像数据集对初始卷积神经网络模型进行训练和测试，得到目标卷积神经网络模型，通过目标卷积神经网络模型对待识别的检测图像进行识别。由于获得的是沥青路面的隐藏病害图像，因此，通过训练好的目标卷积神经网络模型实现了沥青路面隐藏病害的智能识别。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的沥青路面隐藏病害识别方法的一个实施例流程示意图；
图2为本发明实施例中S101的一个实施例流程示意图；
图3为本发明实施例提供的初始卷积神经网络模型的一个实施例结构示意图；
图4为本发明实施例中S103的一个实施例流程示意图；
图5为本发明实施例提供的混淆矩阵的一个实施例结构示意图；
图6为本发明实施例中S402的一个实施例流程示意图；
图7为本发明实施例提供的沥青路面隐藏病害识别装置的一个实施例结构示意图；
图8为本发明实施例提供的电子设备的一个实施例结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
以下，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本申请实施例的描述中，除非另有说明，“多个”的含义是两个或两个以上。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本发明的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
本发明提供了一种沥青路面隐藏病害识别方法、装置、电子设备以及存储介质，以下分别进行说明。
如图1所示，为本发明实施例提供的沥青路面隐藏病害识别方法的一个实施例流程示意图，该方法包括：
S101、获取沥青路面的路面隐藏图像数据集；
具体地，通过探地雷达装置(Ground Penetrating Radar，GPR)获取沥青路面的路面隐藏图像数据集；
其中，探地雷达装置可以是WB1-21型路用探地雷达装置，WB1-21型路用探地雷达装置工作时的主要参数设置为：频率2GHz，检测深度0～60cm，相邻发射点间距值0.5m。
S102、建立初始卷积神经网络模型；
S103、利用路面隐藏图像数据集对初始卷积神经网络模型进行训练和测试，得到目标卷积神经网络；
S104、将待识别的检测图像输入至目标卷积神经网络，以识别沥青路面隐藏病害。
应当理解的是：本发明实施例中的获得沥青路面的路面隐藏图像数据集可以是京珠高速、汉十高速等多条高速公路的路面隐藏图像数据集。
与现有技术相比，本发明实施例提供的沥青路面隐藏病害识别方法，通过利用探地雷达装置获得沥青路面的路面隐藏图像数据集；再利用路面隐藏图像数据集对初始卷积神经网络模型进行训练和测试，得到目标卷积神经网络模型，通过目标卷积神经网络模型对待识别的检测图像进行识别。由于探地雷达装置能够根据发出的电磁波在道路不同介质中传播速度的变化来确定道路内部结构，即：通过探地雷达装置可获得沥青路面的隐藏病害图像，并通过训练好的目标卷积神经网络模型实现了沥青路面隐藏病害的智能识别。
进一步地，如图2所示，在本发明的一些实施中，S101包括：
S201、获取沥青路面的路面隐藏检测图像；
具体地，在采用探地雷达装置获取沥青路面的探地雷达检测图像后，可通过与探地雷达装置配套使用的Pavecheck软件将探地雷达检测图像导出，再通过截图工具截取出1800像素×250像素的探地雷达检测图像，且探地雷达检测图像的格式为png。
其中，截图工具可以为FSCapture。
S202、从路面隐藏检测图像中获取预设大小的目标图像；
其中，为了提高获取的目标图像的分辨率，使其包含更多的特征信息，可通过Photoshop等图片处理软件将目标图像的分辨率进行提升，便于初始卷积神经网络模型后续的训练和识别。
进一步地，预设大小可根据实际情况进行调整，在本发明的一些实施例中，预设大小为50像素×50像素。经过分辨率提升后的目标图像的大小为250像素×250像素。
S203、对目标图像进行标记，获得携带真实标签的标记图像，标记图像构成路面隐藏图像数据集。
其中，除了对目标图像进行标记获得真实标签，还可对目标图像进行one-hot编码，以便于通过机器对初始卷积神经网络模型进行训练。
进一步地，还可对目标图像的样本数量进行统计，便于后续对初始卷积神经网络模型进行测试。
应当理解的是：one-hot编码、真实标签和样本数量一一对应。
其中，目标图像包括病害图像和正常道路图像，病害图像包括沉陷病害图像、松散病害图像、反射裂缝病害图像。具体地：图像类型、真实标签、one-hot编码以及样本数量的对应关系如表1所示：
表1图像类型、真实标签、one-hot编码以及样本数量的对应关系
进一步地，为了对路面隐藏图像数据集进行保存，在本发明的一些实施例中，创建CSV文件存储路面隐藏图像数据集。对初始卷积神经网络模型进行训练时，直接读取CSV文件即可将路面隐藏图像数据集导入至初始卷积神经网络模型。
进一步地，如图3所示，初始卷积神经网络模型包括依次设置的5个卷积单元、注意力模块(Convolutional Block Attention Module，CBAM)、全局池化层、第一丢弃(dropout)层、第一全连接层、第二丢弃(dropout)层、第二全连接层以及分类(softmax)层。
通过设置第一丢弃层和第二丢弃层，可随机丢弃节点来减少参数量，改善模型的过拟合。
具体地，卷积单元包括依次设置的至少两层卷积层、批量归一化层(BatchNormalize，BN)以及局部最大池化层。
通过设置BN层，可以将参数标准化，提高模型的收敛速度。
通过设置局部最大池化层和全局池化层，可实现特征降维，从而减小计算的参数量，有利于模型提取更大范围的特征。
其中，第一个卷积单元和第二个卷积单元包括两层卷积层，第三个卷积单元、第四个卷积单元以及第五个卷积单元包括三层卷积层。
通过在初始卷积神经网络模型中增设注意力模块，可使初始卷积神经网络模型在训练过程中就可以逐渐提取到不同缺陷图像的特有特征，使初始卷积神经网络模型对路面隐藏图像数据集的识别能力大幅提高，可以提高沥青路面隐藏病害识别的准确性。
具体地，注意力模块是通过空间注意力机制和通道注意力机制串行组合而成，其中通道注意力机制是使用全局池化操作将特征图在空间维度上进行压缩，进行一系列操作后得到通道特征，使用乘法操作将通道特征添加到特征图上；空间注意力机制是在通道维度上使用全局池化操作对特征图进行压缩，然后将一系列操作后得到的空间特征用乘法操作添加到特征图上。
其中，初始卷积神经网络模型各层的激活函数为ReLu函数，通过设置ReLu函数来进行非线性映射，增强了初始卷积神经网络模型的表达能力。
具体地，在本发明的一些实施例中，初始卷积神经网络模型的实现和运行基于TensorFlow2.0框架，使用的计算机配置为：CPU型号为Intel(R)Core(TM)i3-10100F，内存15GB，GPU型号为NVIDIA GeForce RTX 2080Ti(11GB)。构建初始卷积神经网络模型的具体步骤为：首先编写代码实现路面隐藏图像数据集的加载，构建Dataset对象，并完成路面隐藏图像数据集的随机打散、预处理和批量化操作；然后定义初始卷积神经网络模型的结构函数，加载初始卷积神经网络模型并使用Sequential容器封装初始卷积神经网络模型；最后装配初始卷积神经网络模型，设置初始学习率为0.0001，并定义总损失函数，准备开始初始卷积神经网络模型的训练和测试。
具体地，如图4所示，在本发明的一些实施例中，S103包括：
S401、将路面隐藏图像数据集按预设比例划分为图像训练集、图像验证集以及图像测试集；
其中，图像训练集、图像验证集以及图像测试集的比例为3:1:1。
且图像训练集、图像验证集以及图像测试集所包含的样本具有相同的分布，且没有重合，以防止发生数据污染，进而保证目标卷积神经网络模型识别性能的可靠性。
S402、利用图像训练集对初始卷积神经网络模型进行训练，获得过渡卷积神经网络模型；
S403、利用图像验证集对过渡卷积神经网络模型的识别性能进行验证，若验证不通过，则再次对过渡卷积神经网络模型进行训练；若验证通过，则过渡卷积神经网络模型为目标卷积神经网络模型；
S404、利用图像测试集对目标卷积神经网络模型的识别性能进行测试，获得目标卷积神经网络模型的识别准确率。
其中，S403具体为：通过图像验证集获得验证准确率曲线和验证总损失函数曲线，并与通过图像训练集获得的训练准确率曲线和训练总损失函数曲线进行对比，若差别较大，则验证不通过，再次对过渡卷积神经网络模型进行训练；若验证通过，则过渡卷积神经网络模型为目标卷积神经网络模型。
其中，S404具体为：根据图像测试集中图像样本的识别结果和真实标签输出测试结果的混淆矩阵，如图5所示，其中，混淆矩阵的竖轴代表图像样本的真实标签，横轴代表图像样本的模型识别结果，当模型识别结果和真实标签一致时，即分类正确，因此混淆矩阵对角线上的数值代表图像样本分类正确的数目。根据混淆矩阵，可以分别计算出模型对不同类型图像的最终识别准确率。
具体地，在本发明的一些实施例中，经过混淆矩阵可知：沉陷病害图像、反射裂缝病害图像、正常道路图像及松散病害图像的测试样本数量分别为：28,427,151以及202，识别的样本数量为：26,423,150以及200，经过计算各个图像类型的识别准确率以及总体识别准确率如表2所示：
表2测试得到的识别准确率
由上表可以看出：本发明实施例提出的沥青路面隐藏病害识别方法的识别准确率较高。
且本发明实施例通过设置图像测试集对识别性能进行测试，提高了目标卷积神经网络模型的泛化性能。
进一步地，为了缩短初始卷积神经网络模型的训练时间，提高目标卷积神经网络模型的形成速度，在本发明的一些实施例中，如图6所示，在S402之前还包括：
S601、构建预训练卷积神经网络模型；
S602、利用开源数据集对预训练卷积神经网络模型进行预训练，获得待选卷积神经网络模型，待选卷积神经网络模型包括模型参数；
具体地，开源数据集可以是ImageNet数据集。
S603、采用迁移算法，将模型参数迁移至初始卷积神经网络模型。
通过采用迁移算法，可降低初始卷积神经网络的训练时间，提高目标卷积神经网络的生成速度。
进一步地，为了提高目标卷积神经网络调用的便利性，在本发明的一些实施例中，将目标卷积神经网络保存为h5格式的模型文件。
在应用时直接加载保存的h5模型文件，输入路面隐藏图像数据集，即可识别出输入的路面隐藏图像数据集中所包含的隐藏病害类型，实现对沥青路面隐藏病害的智能识别。
具体地，初始卷积神经网络模型的总损失函数为：
式中，J为总损失函数；Lsoftmax为交叉熵损失函数，为正则项；λ为正则系数；Wj为特征矩阵；weightj为第j个病害类别的权重值；N为图像训练集中训练样本的数量；C为病害类别的数量，hj为初始卷积神经网络模型输出向量的第j个分量；yi为训练样本i的真实标签；hyi为初始卷积神经网络模型输出向量的中第yi类的输出分量；xj为第j个病害类别的样本数量。
通过设置不同病害类别的权重值不同，可将较大的权重值赋予样本数目较少的病害类别，将较小的权重值赋予样本数目较多的病害类别，使样本数目较少的病害类别在被错误分类时获得更大的损失，迫使模型更注重对样本数目较少的病害类别的拟合，从而提高目标卷积神经网络的识别准确性。
进一步地，通过在交叉熵损失函数的基础上增加正则化项，保证初始卷积神经网络模型的网络参数的稀疏性，提高模型的训练性能和泛化能力。
进一步地，为了便于对上述总损失函数的理解，以计算一个训练样本的损失值为例进行介绍：
假设有3类分量，计算得到的分值向量为s＝(0.35，-0.85,1.25)，指数分量向量为exps＝(1.42,0.43,3.49)，归一化向量为norms＝(0.26,0.08,0.66)。如果真是类别是第三类，即yi＝3，则损失函数值为-log(0.06)＝0.42。
上面计算了一个训练样本的损失值，若果计算多个样本的损失值，则最终损失值取平均数。
为了更好实施本发明实施例中的沥青路面隐藏病害识别方法，在沥青路面隐藏病害识别方法基础之上，对应的，如图7所示，本发明实施例还提供了一种沥青路面隐藏病害识别装置700，包括：
路面隐藏图像数据集获取单元701，用于获取沥青路面的路面隐藏图像数据集；
初始模型构建单元702，用于建立初始卷积神经网络模型；
训练单元703，用于利用路面隐藏图像数据集对初始卷积神经网络模型进行训练和测试，得到目标卷积神经网络；
识别单元704，用于将待识别的检测图像输入至目标卷积神经网络，以识别沥青路面隐藏病害。
这里需要说明的是：上述实施例提供的沥青路面隐藏病害识别装置700可实现上述各方法实施例中描述的技术方案，上述各模块或单元具体实现的原理可参见上述方法实施例中的相应内容，此处不再赘述。
如图8所示，基于上述沥青路面隐藏病害识别方法，本发明还相应提供了一种电子设备800。该电子设备800包括处理器801、存储器802及显示器803。图8仅示出了电子设备800的部分组件，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。
所述存储器802在一些实施例中可以是所述电子设备800的内部存储单元，例如电子设备800的硬盘或内存。所述存储器802在另一些实施例中也可以是所述电子设备800的外部存储设备，例如所述电子设备800上配备的插接式硬盘，智能存储卡(Smart MediaCard，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)等。
进一步地，所述存储器802还可既包括电子设备800的内部储存单元也包括外部存储设备。所述存储器802用于存储安装所述电子设备800的应用软件及各类数据，
所述处理器801在一些实施例中可以是一中央处理器(Central ProcessingUnit，CPU)，微处理器或其他数据处理芯片，用于运行所述存储器802中存储的程序代码或处理数据，例如本发明中的沥青路面隐藏病害识别方法。
所述显示器803在一些实施例中可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED(Organic Light-Emitting Diode，有机发光二极管)触摸器等。所述显示器803用于显示在所述电子设备800的信息以及用于显示可视化的用户界面。所述电子设备800的部件801-803通过系统总线相互通信。
在一实施例中，当所述处理器801执行所述存储器802中的沥青路面隐藏病害识别程序804时，可实现以下步骤：
获取沥青路面的路面隐藏图像数据集；
建立初始卷积神经网络模型；
利用所述路面隐藏图像数据集对所述初始卷积神经网络模型进行训练和测试，得到目标卷积神经网络；
将待识别的检测图像输入至所述目标卷积神经网络，以识别沥青路面隐藏病害。
应当理解的是：处理器802在执行存储器801中的的沥青路面隐藏病害识别程序804时，除了上面的功能之外，还可实现其它功能，具体可参见前面相应方法实施例的描述。
进一步地，本发明实施例对提及的电子设备800的类型不做具体限定，电子设备800可以为手机、平板电脑、个人数字助理(personal digitalassistant，PDA)、可穿戴设备、膝上型计算机(laptop)等便携式电子设备。便携式电子设备的示例性实施例包括但不限于搭载iOS、android、microsoft或者其他操作系统的便携式电子设备。上述便携式电子设备也可以是其他便携式电子设备，诸如具有触敏表面(例如触控面板)的膝上型计算机(laptop)等。还应当理解的是，在本发明其他一些实施例中，电子设备800也可以不是便携式电子设备，而是具有触敏表面(例如触控面板)的台式计算机。
相应地，本申请实施例还提供一种计算机可读存储介质，计算机可读存储介质用于存储计算机可读取的程序或指令，所述程序或指令被处理器执行时，能够实现上述各方法实施例提供的方法步骤或功能。
本领域技术人员可以理解，实现上述实施例方法的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于计算机可读存储介质中。其中，所述计算机可读存储介质为磁盘、光盘、只读存储记忆体或随机存储记忆体等。
以上对本发明所提供的沥青路面隐藏病害识别方法、装置、电子设备及存储介质进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。
Claims (7)
1.一种沥青路面隐藏病害识别方法，其特征在于，包括：
获取沥青路面的路面隐藏图像数据集；
建立初始卷积神经网络模型；
利用所述路面隐藏图像数据集对所述初始卷积神经网络模型进行训练和测试，得到目标卷积神经网络；
将待识别的检测图像输入至所述目标卷积神经网络，以识别沥青路面隐藏病害；
所述利用所述路面隐藏图像数据集对所述初始卷积神经网络模型进行训练和测试，得到目标卷积神经网络包括：
将所述路面隐藏图像数据集按预设比例划分为图像训练集、图像验证集以及图像测试集；
利用所述图像训练集对所述初始卷积神经网络模型进行训练，获得过渡卷积神经网络模型；
利用所述图像验证集对所述过渡卷积神经网络模型的识别性能进行验证，若验证不通过，则再次对所述过渡卷积神经网络模型进行训练；若验证通过，则所述过渡卷积神经网络模型为所述目标卷积神经网络模型；
利用所述图像测试集对所述目标卷积神经网络模型的识别性能进行测试，获得所述目标卷积神经网络模型的识别准确率；
在所述利用所述图像训练集对所述初始卷积神经网络模型进行训练之前包括：
构建预训练卷积神经网络模型；
利用开源数据集对所述预训练卷积神经网络模型进行预训练，获得待选卷积神经网络模型，所述待选卷积神经网络模型包括模型参数；
采用迁移算法，将所述模型参数迁移至所述初始卷积神经网络模型；
所述初始卷积神经网络模型的总损失函数为：
weight
j
weight
j
式中，J为总损失函数；L softmax为交叉熵损失函数，为正则项；λ为正则系数；W j为特征矩阵；weight j为第j个病害类别的权重值；N为图像训练集中训练样本的数量；C为病害类别的数量，h j为初始卷积神经网络模型输出向量的第j个分量；y i为训练样本i的真实标签；h yi为初始卷积神经网络模型输出向量的中第yi类的输出分量；x j为第j个病害类别的样本数量。
2.根据权利要求1所述的沥青路面隐藏病害识别方法，其特征在于，所述获取沥青路面的路面隐藏图像数据集包括：
获取沥青路面的路面隐藏检测图像；
从所述路面隐藏检测图像中获取预设大小的目标图像；
对所述目标图像进行标记，获得携带真实标签的标记图像，所述标记图像构成所述路面隐藏图像数据集。
3.根据权利要求1所述的沥青路面隐藏病害识别方法，其特征在于，所述初始卷积神经网络模型包括依次设置的5个卷积单元、注意力模块、全局池化层、第一丢弃层、第一全连接层、第二丢弃层、第二全连接层以及分类层。
4.根据权利要求3所述的沥青路面隐藏病害识别方法，其特征在于，所述卷积单元包括依次设置的至少两层卷积层、批量归一化层以及局部最大池化层。
5.一种沥青路面隐藏病害识别装置，其特征在于，包括：
路面隐藏图像数据集获取单元，用于获取沥青路面的路面隐藏图像数据集；
初始模型构建单元，用于建立初始卷积神经网络模型；
训练单元，用于利用所述路面隐藏图像数据集对所述初始卷积神经网络模型进行训练和测试，得到目标卷积神经网络；
识别单元，用于将待识别的检测图像输入至所述目标卷积神经网络，以识别沥青路面隐藏病害；
所述利用所述路面隐藏图像数据集对所述初始卷积神经网络模型进行训练和测试，得到目标卷积神经网络包括：
将所述路面隐藏图像数据集按预设比例划分为图像训练集、图像验证集以及图像测试集；
利用所述图像训练集对所述初始卷积神经网络模型进行训练，获得过渡卷积神经网络模型；
利用所述图像验证集对所述过渡卷积神经网络模型的识别性能进行验证，若验证不通过，则再次对所述过渡卷积神经网络模型进行训练；若验证通过，则所述过渡卷积神经网络模型为所述目标卷积神经网络模型；
利用所述图像测试集对所述目标卷积神经网络模型的识别性能进行测试，获得所述目标卷积神经网络模型的识别准确率；
在所述利用所述图像训练集对所述初始卷积神经网络模型进行训练之前包括：
构建预训练卷积神经网络模型；
利用开源数据集对所述预训练卷积神经网络模型进行预训练，获得待选卷积神经网络模型，所述待选卷积神经网络模型包括模型参数；
采用迁移算法，将所述模型参数迁移至所述初始卷积神经网络模型；
所述初始卷积神经网络模型的总损失函数为：
weight
j
weight
j
式中，J为总损失函数；L softmax为交叉熵损失函数，为正则项；λ为正则系数；W j为特征矩阵；weight j为第j个病害类别的权重值；N为图像训练集中训练样本的数量；C为病害类别的数量，h j为初始卷积神经网络模型输出向量的第j个分量；y i为训练样本i的真实标签；h yi为初始卷积神经网络模型输出向量的中第yi类的输出分量；x j为第j个病害类别的样本数量。
6.一种电子设备，其特征在于，包括存储器和处理器，其中，
所述存储器，用于存储程序；
所述处理器，与所述存储器耦合，用于执行所述存储器中存储的所述程序，以实现上述权利要求1至4中任一项所述沥青路面隐藏病害识别方法中的步骤。
7.一种计算机可读存储介质，其特征在于，用于存储计算机可读取的程序或指令，所述程序或指令被处理器执行时，能够实现上述权利要求1至4中任一项所述沥青路面隐藏病害识别方法中的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110781686.2A CN113591606B (zh) | 2021-07-08 | 2021-07-08 | 沥青路面隐藏病害识别方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110781686.2A CN113591606B (zh) | 2021-07-08 | 2021-07-08 | 沥青路面隐藏病害识别方法、装置、电子设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113591606A CN113591606A (zh) | 2021-11-02 |
| CN113591606B true CN113591606B (zh) | 2024-06-04 |
Family
ID=78246960
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110781686.2A Active CN113591606B (zh) | 2021-07-08 | 2021-07-08 | 沥青路面隐藏病害识别方法、装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113591606B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114118142A (zh) * | 2021-11-05 | 2022-03-01 | 西安晟昕科技发展有限公司 | 一种雷达脉内调制类型的识别方法 |
| CN116681657B (zh) * | 2023-05-18 | 2024-03-22 | 中南大学 | 基于改进YOLOv7模型的沥青路面病害检测方法 |
| CN117058536B (zh) * | 2023-07-19 | 2024-04-30 | 中公高科养护科技股份有限公司 | 一种基于双分支网络的路面病害识别方法、装置及介质 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109961030A (zh) * | 2019-03-18 | 2019-07-02 | 北京邮电大学 | 路面修补信息检测方法、装置、设备及存储介质 |
| CN110189046A (zh) * | 2019-06-04 | 2019-08-30 | 江苏中路工程技术研究院有限公司 | 一种沥青路面结构内部病害评价方法 |
| CN110689042A (zh) * | 2019-08-20 | 2020-01-14 | 中国矿业大学(北京) | 隧道渗漏等级的识别方法和装置、存储介质、电子装置 |
| CN111724074A (zh) * | 2020-06-23 | 2020-09-29 | 华中科技大学 | 一种基于深度学习的路面病变检测预警方法及系统 |
| CN112258496A (zh) * | 2020-11-02 | 2021-01-22 | 郑州大学 | 一种基于全卷积神经网络的地下排水管道病害分割方法 |
| CN112489026A (zh) * | 2020-12-08 | 2021-03-12 | 甘肃智通科技工程检测咨询有限公司 | 基于多分支并行卷积神经网络的沥青路面病害检测方法 |
| CN112529046A (zh) * | 2020-11-20 | 2021-03-19 | 扬州得路达交通科技有限公司 | 一种三维探地雷达沥青路面内部病害损伤识别方法 |
| CN112966665A (zh) * | 2021-04-01 | 2021-06-15 | 广东诚泰交通科技发展有限公司 | 路面病害检测模型训练方法、装置和计算机设备 |
-
2021
- 2021-07-08 CN CN202110781686.2A patent/CN113591606B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109961030A (zh) * | 2019-03-18 | 2019-07-02 | 北京邮电大学 | 路面修补信息检测方法、装置、设备及存储介质 |
| CN110189046A (zh) * | 2019-06-04 | 2019-08-30 | 江苏中路工程技术研究院有限公司 | 一种沥青路面结构内部病害评价方法 |
| CN110689042A (zh) * | 2019-08-20 | 2020-01-14 | 中国矿业大学(北京) | 隧道渗漏等级的识别方法和装置、存储介质、电子装置 |
| CN111724074A (zh) * | 2020-06-23 | 2020-09-29 | 华中科技大学 | 一种基于深度学习的路面病变检测预警方法及系统 |
| CN112258496A (zh) * | 2020-11-02 | 2021-01-22 | 郑州大学 | 一种基于全卷积神经网络的地下排水管道病害分割方法 |
| CN112529046A (zh) * | 2020-11-20 | 2021-03-19 | 扬州得路达交通科技有限公司 | 一种三维探地雷达沥青路面内部病害损伤识别方法 |
| CN112489026A (zh) * | 2020-12-08 | 2021-03-12 | 甘肃智通科技工程检测咨询有限公司 | 基于多分支并行卷积神经网络的沥青路面病害检测方法 |
| CN112966665A (zh) * | 2021-04-01 | 2021-06-15 | 广东诚泰交通科技发展有限公司 | 路面病害检测模型训练方法、装置和计算机设备 |
Non-Patent Citations (1)
| Title |
|---|
| 基于卷积神经网络的高速公路路面隐藏病害的识别研究;吴国防;中国优秀硕士学位论文全文数据库工程科技Ⅱ辑(第1期);第1-62页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113591606A (zh) | 2021-11-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113591606B (zh) | 沥青路面隐藏病害识别方法、装置、电子设备及存储介质 | |
| CN110598029B (zh) | 基于注意力转移机制的细粒度图像分类方法 | |
| CN113159147B (zh) | 基于神经网络的图像识别方法、装置、电子设备 | |
| US11775746B2 (en) | Identification of table partitions in documents with neural networks using global document context | |
| Ma et al. | A real-time crack detection algorithm for pavement based on CNN with multiple feature layers | |
| US11170249B2 (en) | Identification of fields in documents with neural networks using global document context | |
| CN113177559B (zh) | 结合广度和密集卷积神经网络的图像识别方法、系统、设备及介质 | |
| CN110059734A (zh) | 一种目标识别分类模型的训练方法、物体识别方法、装置、机器人和介质 | |
| CN111695609B (zh) | 目标物损伤程度判定方法、装置、电子设备及存储介质 | |
| Dong et al. | Innovative method for pavement multiple damages segmentation and measurement by the Road-Seg-CapsNet of feature fusion | |
| CN113971764B (zh) | 一种基于改进YOLOv3的遥感图像小目标检测方法 | |
| CN112990318A (zh) | 持续学习方法、装置、终端及存储介质 | |
| CN114972947B (zh) | 一种基于模糊语义建模的深度场景文本检测方法和装置 | |
| CN114511710A (zh) | 一种基于卷积神经网络的图像目标检测方法 | |
| US20240054402A1 (en) | Attribution and Generation of Saliency Visualizations for Machine-Learning Models | |
| Zhang et al. | A YOLOv3‐Based Industrial Instrument Classification and Reading Recognition Method | |
| CN116205918B (zh) | 基于图卷积的多模态融合半导体检测方法、装置及介质 | |
| CN117437555A (zh) | 一种基于深度学习的遥感影像目标提取处理方法及装置 | |
| CN117315369A (zh) | 基于神经网络的眼底病分类方法及装置 | |
| CN114114457B (zh) | 基于多模态测井数据的裂缝表征方法、装置及设备 | |
| Yu et al. | A lightweight anchor-free subsidence basin detection model with adaptive sample assignment in interferometric synthetic aperture radar interferogram | |
| CN113011223A (zh) | 一种图像识别方法、系统、设备和存储介质 | |
| CN114201533B (zh) | 车辆涉水深度检测方法、装置、电子设备及存储介质 | |
| CN117274733A (zh) | 一种输送带损伤检测方法、装置、设备和介质 | |
| CN117636039A (zh) | 一种功能区识别方法、装置、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |