CN111242017B - 一种多标线的路面裂缝识别方法、装置、设备及存储介质 - Google Patents
一种多标线的路面裂缝识别方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN111242017B CN111242017B CN202010027072.0A CN202010027072A CN111242017B CN 111242017 B CN111242017 B CN 111242017B CN 202010027072 A CN202010027072 A CN 202010027072A CN 111242017 B CN111242017 B CN 111242017B
- Authority
- CN
- China
- Prior art keywords
- crack
- training
- marking
- model
- pavement
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 61
- 238000012549 training Methods 0.000 claims abstract description 115
- 239000011159 matrix material Substances 0.000 claims description 43
- 230000006870 function Effects 0.000 claims description 33
- 238000000605 extraction Methods 0.000 claims description 15
- 238000005457 optimization Methods 0.000 claims description 12
- 238000007781 pre-processing Methods 0.000 claims description 8
- 238000011176 pooling Methods 0.000 claims description 7
- 238000012545 processing Methods 0.000 claims description 7
- 238000009499 grossing Methods 0.000 claims description 6
- 230000004913 activation Effects 0.000 claims description 4
- 238000004590 computer program Methods 0.000 claims description 3
- 230000000694 effects Effects 0.000 abstract description 13
- 238000013135 deep learning Methods 0.000 abstract description 7
- 238000003062 neural network model Methods 0.000 abstract description 2
- 238000012360 testing method Methods 0.000 description 18
- 238000004891 communication Methods 0.000 description 11
- 238000004364 calculation method Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 7
- 238000013527 convolutional neural network Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 239000000523 sample Substances 0.000 description 5
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 4
- 238000005336 cracking Methods 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000005286 illumination Methods 0.000 description 2
- 238000013508 migration Methods 0.000 description 2
- 230000005012 migration Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000005299 abrasion Methods 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012567 pattern recognition method Methods 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/13—Satellite images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Abstract
本说明书一个或多个实施例提供一种多标线的路面裂缝识别方法、装置、设备及存储介质，包括：获取实际路面图像；获取标线模型和裂缝模型；其中，标线模型基于第一训练路面图像集训练得到，第一训练路面图像集关联有表示标线的第一标签；裂缝模型基于第二训练路面图像集训练得到，第二训练路面图像集集关联有表示裂缝的第二标签；将实际路面图像输入标线模型，得到标线识别结果；将实际路面图像输入裂缝模型，得到裂缝识别结果；裂缝识别结果减去标线识别结果，得到实际路面裂缝最终识别结果。本发明利用神经网络模型和深度学习的方式进行实际路面图像识别，提升识别准确率，识别速度极快，通过模型叠加，使得识别结果受环境影响小，提高识别效果。
Description
技术领域
本说明书一个或多个实施例涉及图像识别领域，尤其涉及一种多标线的路面裂缝识别方法、装置、设备及存储介质。
背景技术
当前对路面标志标线的识别基本上是基于数字图像处理技术，由于标志标线上的开裂和磨损，易被误识别为裂缝，从而降低了裂缝的识别效果。实际环境下采集的路面图像往往受到光照和噪声的影响，传统图像识别方法通过人工选取算法对裂缝进行识别，但是只能在光照条件好且表现清晰的条件下才能进行有效的识别，在实际操作中，识别正确率低。现有技术中基于灰度图的模式识别方法的识别速度很慢，不能做到实时识别。使用单一裂缝模型进行裂缝识别会受到实际场景中路面背景多样性、裂缝多样性和无需识别的施工处等因素影响，受环境影响大，识别效果差。
发明内容
有鉴于此，本说明书一个或多个实施例的目的在于提出一种多标线的路面裂缝识别方法、装置、设备及存储介质，以解决现有技术中识别效果差、识别正确率低、识别速度慢且受环境影响大的问题。
基于上述目的，本说明书一个或多个实施例提供了一种多标线的路面裂缝识别方法，包括：
获取实际路面图像；
获取标线模型和裂缝模型；其中，所述标线模型基于第一训练路面图像集训练得到，所述第一训练路面图像集关联有表示标线的第一标签；所述裂缝模型基于第二训练路面图像集训练得到，所述第二训练路面图像集集关联有表示裂缝的第二标签；
将所述实际路面图像输入所述标线模型，得到标线识别结果；
将所述实际路面图像输入所述裂缝模型，得到裂缝识别结果；
所述裂缝识别结果减去所述标线识别结果，得到实际路面裂缝最终识别结果。
可选的，还包括：对所述实际路面图像进行预处理操作；
所述预处理操作，包括：对所述实际路面图像进行图像填充和图像调整操作。
可选的，所述标线模型基于第一训练路面图像集训练得到，所述第一训练路面图像集关联有表示标线的第一标签；所述裂缝模型基于第二训练路面图像集训练得到，所述第二训练路面图像集集关联有表示裂缝的第二标签，所述训练进行若干轮，每一轮所述训练包括：
设置网络参数，将所述第一训练路面图像集正向输入所述标线模型，将所述第二训练路面图像集正向输入所述裂缝模型；
所述标线模型对所述第一训练路面图像集进行特征提取，得到标线预测结果，所述裂缝模型对所述第二训练路面图像集进行所述特征提取，得到裂缝预测结果；
利用损失函数计算所述标线预测结果与真实值之间的标线误差，以及所述裂缝预测结果与所述真实值之间的裂缝误差；
结合所述标线误差、裂缝误差、网络参数的梯度和优化方法对所述网络参数进行调整，将调整后的所述网络参数作为下一轮所述训练的所述网络参数。
可选的，所述特征提取，包括：
通过2×2最大池化对所述第一训练路面图像集和第二训练路面图像集进行下采样处理；
利用5×5卷积核和3×3卷积核，以及ReLU函数和sigmoid函数作为激活函数，对所述第一训练路面图像集和第二训练路面图像集进行所述特征提取。
可选的，所述损失函数的定义式为
其中，dice表示样本相似度，X表示由所述实际路面图像经过网络前馈形成的概率矩阵，Y表示由所述第一训练路面图像集或第二训练路面图像集形成的标记矩阵，‖X‖1表示所述概率矩阵X的L1范数，‖Y‖1表示所述标记矩阵Y的L1范数，X*Y表示所述概率矩阵X和标记矩阵Y的哈达马积，∈为第一平滑因子。
可选的，所述优化方法的定义式为
mt＝β1·mt-1+(1-β1)·gt
vt＝β2·vt-1+(1-β2)·gt 2
其中，L为所述损失函数，gt为所述损失函数L关于参数θ在第t轮的梯度，θt为参数θ在第t轮的取值，mt用于记录一阶矩，vt用于记录二阶矩，为mt的估计值，/>为vt的估计值，β1为第一超参数β2为第二超参数，lr为学习率，∈0为第二平滑因子。
可选的，所述裂缝识别结果减去所述标线识别结果，得到实际路面裂缝最终识别结果，包括：
所述标线模型识别所述实际路面图像，得到标线识别概率矩阵，对所述标线识别概率矩阵进行离散化，得到所述标线识别结果；
所述裂缝模型识别所述实际路面图像，得到裂缝标识概率矩阵，对所述裂缝识别概率矩阵进行所述离散化，得到所述裂缝识别结果；
所述裂缝识别结果减去所述标线识别结果，得到所述实际路面裂缝最终识别结果。
基于上述目的，本说明书一个或多个实施例还提供了一种多标线的路面裂缝识别装置，包括：
第一获取模块，被配置为获取实际路面图像；
第二获取模块，被配置为获取标线模型和裂缝模型；其中，所述标线模型基于第一训练路面图像集训练得到，所述第一训练路面图像集关联有表示标线的第一标签；所述裂缝模型基于第二训练路面图像集训练得到，所述第二训练路面图像集集关联有表示裂缝的第二标签；
第一识别模块，被配置为将所述实际路面图像输入所述标线模型，得到标线识别结果；
第二识别模块，被配置为将所述实际路面图像输入所述裂缝模型，得到裂缝识别结果；
结果输出模块，被配置为所述裂缝识别结果减去所述标线识别结果，得到实际路面裂缝最终识别结果。
基于上述目的，本说明书一个或多个实施例还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现上述任意一种所述的方法。
基于上述目的，本说明书一个或多个实施例还提供了一种非暂态计算机可读存储介质，其特征在于，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令用于使所述计算机执行任一所述方法。
从上面所述可以看出，本说明书一个或多个实施例提供的一种多标线的路面裂缝识别方法、装置、设备及存储介质，由于使用的卷积神经网络中含有大量的参数，使得识别方法具备了强大的抽象拟合能力，能够有效提升识别准确率，数据图像处理技术对路面图像进行的标线识别平均相似度只有60％左右，而本说明书一个或多个实施例提供的方法的平均相似度达到90％以上。本发明适用深度学习的方式进行图像识别实际上将大量计算过程前置，所以处理未知图像时可以减少很多计算量，具体地，未知图像只需要在网络中进行一次前项就可以得到自动标记的标线区域，其计算量相当于训练过程的一半，识别速度极快。相比于现有技术中的单一模型识别裂缝，本发明通过裂缝模型和标线模型的叠加，以及深度学习方法进行有效的标线识别和裂缝识别，从而去除标线的影响，受环境影响小，进而提升裂缝的识别效果。
附图说明
为了更清楚地说明本说明书一个或多个实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书一个或多个实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本说明书一个或多个实施例中路面裂缝识别方法流程图；
图2为本说明书一个或多个实施例中深度学习网络结构图；
图3为本说明书一个或多个实施例中叠加模型识别方案图；
图4为本说明书一个或多个实施例中裂缝识别效果图；
图5为本说明书一个或多个实施例中标线识别效果图；
图6为本说明书一个或多个实施例中路面裂缝识别装置示意图；
图7为本说明书一个或多个实施例中一种电子设备的结构图。
具体实施方式
为使本公开的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本公开进一步详细说明。
需要说明的是，除非另外定义，本说明书一个或多个实施例使用的技术术语或者科学术语应当为本公开所属领域内具有一般技能的人士所理解的通常意义。本说明书一个或多个实施例中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。“包括”或者“包含”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同，而不排除其他元件或者物件。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电性的连接，不管是直接的还是间接的。“上”、“下”、“左”、“右”等仅用于表示相对位置关系，当被描述对象的绝对位置改变后，则该相对位置关系也可能相应地改变。
本说明书一个或多个实施例提供了一种多标线的路面裂缝识别方法、装置、设备及存储介质。
参考图1，本发明实施例的方法，包括以下步骤：
S101获取实际路面图像。
本步骤中，需要从实际路面中通过图像采集，获取实际路面图像。在实际应用中，本发明用于实际路面养护工作中对含有多条标线的路面上的裂缝进行检测和识别，作为一个可选的实施例，通过图像采集装置，例如相机或路面探头进行图像的采集，采集实际路面图像，在本地利用本发明提供的方法进行路面裂缝识别，快速处理路面裂缝的识别，或者通过服务器进行远程路面裂缝识别，更精确的处理路面裂缝的识别。
本实施例中，在获取实际路面图像信息后，对实际路面图像进行预处理操作，预处理操作包括：对实际路面图像进行图像填充和图像调整操作，与处理后得到灰度图，使得输入标线模型和裂缝模型的图像具有一致性。
S102获取标线模型和裂缝模型；其中，所述标线模型基于第一训练路面图像集训练得到，所述第一训练路面图像集关联有表示标线的第一标签；所述裂缝模型基于第二训练路面图像集训练得到，所述第二训练实际路面图像集关联有表示裂缝的第二标签。
本步骤中，通过搭建卷积神经网络，搭建卷积层和池化层，从而构建标线模型和裂缝模型。标线模型需要对第一训练路面图像集进行特征提取，第一训练路面图像集关联有表示标线的第一标签，并将输入的第一训练路面图像集转化成对应的训练标线预测概率矩阵，从而输出标线预测结果；裂缝模型需要对第二训练路面图像集进行特征提取，第二训练实际路面图像集关联有表示裂缝的第二标签，并将输入的第二训练路面图像集转化成对应的训练裂缝预测概率矩阵，从而输出裂缝预测结果。本实施例中利用第一训练路面图像集训练标线模型一共进行100轮，利用第二训练路面图像集训练裂缝模型一共进行100轮，每一轮训练的具体步骤包括：
设置网络参数，将所述第一训练路面图像集正向输入所述标线模型，将所述第二训练路面图像集正向输入所述裂缝模型；
所述标线模型对所述第一训练路面图像集进行特征提取，得到标线预测结果，所述裂缝模型对所述第二训练路面图像集进行所述特征提取，得到裂缝预测结果；
利用损失函数计算所述标线预测结果与真实值之间的标线误差，以及所述裂缝预测结果与所述真实值之间的裂缝误差；
结合所述标线误差、裂缝误差、网络参数的梯度和优化方法对所述网络参数进行调整，将调整后的所述网络参数作为下一轮所述训练的所述网络参数。
本实施例中，网络参数为batch size和学习率等模型参数，batch size取值为32，学习率取值为0.001，本发明采用的卷积神经网络中包括卷积层和池化层，参考图2，以标线模型对第一训练路面图像集进行特征提取为例，最开始通过5×5的卷积核进行特征的提取，然后采用3×3的卷积核，目的是为了获取更大的感受野，更好的进行特征提取；池化层通过最大池化进行下采样，可以保留主要的特征并且减少参数和计算量；采用ReLU函数和sigmoid函数作为激活函数，进行特征提取，最终输出识别概率矩阵。ReLU函数在正向传播时计算速度快，反向传播时不存在梯度消失的问题，使得神经网络模型的收敛维持在一个稳定的状态，sigmoid函数的值域为(0,1)符合实际操作中的需求，而且sigmoid函数具有非常好的对称性，所以本实施例中选用的激活函数为ReLU函数和sigmoid函数。本实施例中采用ReLU函数和5×5的卷积核组合，ReLU函数和3×3的卷积核组合，最大池化采用MaxPool 2×2，sigmoid函数和1×1的卷积核组合进行特征提取，获取的实际路面图像采用3400×2200，在输入卷积神经网络时采用1088×704的灰度图，最终输出的预测结果为值域(0,1)的34×22的概率矩阵。
本实施例中，选用的损失函数的定义式为
其中，dice表示样本相似度，X表示由所述实际路面图像经过网络前馈形成的概率矩阵，Y表示由所述第一训练路面图像集或第二训练路面图像集形成的标记矩阵，‖X‖1表示所述概率矩阵X的L1范数，‖Y‖1表示所述标记矩阵Y的L1范数，X*Y表示所述概率矩阵X和标记矩阵Y的哈达马积，∈为第一平滑因子，本实施例中取值为10-3。训练时使用的优化方法为Adam优化法，同时记录了损失函数的一阶矩和二阶矩，是一种自适应的网络优化方式，Adam优化法定义式为
mt＝β1·mt-、+(1-β1)·gt
vt＝β2·vt-1+(1-β2)·gt 2
其中，gt为损失函数L关于参数θ在第t轮的梯度，L为所述损失函数，θt为θ在第t轮的取值，mt用于记录一阶矩，vt用于记录二阶矩，为mt的估计值，/>为vt的估计值，β1为第一超参数β2为第二超参数，本实施例中β1取值为0.9，β2取值为0.999，lr为学习率，本实施例中取值为10-3，∈0为第二平滑因子，本实施例中取值为10-8。
本实施例中，第一训练路面图像集和第二训练路面图像集都预先标记有真实值，在训练过程中通过使用损失函数计算当前轮次的标线预测结果与当前轮次真实值之间的标线误差，以及当前轮次的裂缝预测结果与当前轮次真实值之间的裂缝误差，观察训练结果的优化。通过反向传播，结合标线误差、裂缝误差、网络各层参数的梯度和Adam优化方法，计算得到当前轮次设置的网络参数需要进行的调整的大小，将调整后的网络参数作为一下轮训练中设置的网络参数。
作为一个可选的实施例，在得到标线模型和裂缝模型后，需用利用测试实际路面图像对标线模型和裂缝模型进行测试，测试实际路面图像为不做标线标签和裂缝标签的实际路面图像，对于标线模型的测试和裂缝模型的测试是分开进行的，本实施例中，测试标线模型的步骤具体包括：
将经过预处理的测试实际路面图像的灰度图正向输入标线模型，标线模型对预处理后的测试实际路面图像的灰度图进行特征提取；
标线模型进行前向传播，得到每张测试实际路面图像的测试标线预测结果，即测试标线预测概率矩阵；
通过图像识别的评价方法对当前参数下标线模型的识别效果进行评估，优化参数得到识别效果最好的标线模型。
本实施例中，测试裂缝模型的步骤具体包括：
将经过预处理的测试实际路面图像的灰度图正向输入裂缝模型，裂缝模型对预处理后的测试实际路面图像的灰度图进行特征提取；
裂缝模型进行前向传播，得到每张测试实际路面图像的测试裂缝预测结果，即测试裂缝预测概率矩阵；
通过图像识别的评价方法对当前参数下裂缝模型的识别效果进行评估，优化参数得到识别效果最好的裂缝模型。
本实施例中使用的图像识别的评价方法的指标包括：样本相似度、精确率和召回率，得到样本相似度、精确率和召回率三项最优的标线模型；得到样本相似度、精确率和召回率三项最优的裂缝模型。
S103将所述实际路面图像输入所述标线模型，得到标线识别结果。
本步骤中，标线识别的具体步骤包括：
将经过预处理的实际路面图像的灰度图正向输入标线模型，标线模型对预处理后的实际路面图像的灰度图进行特征提取；
标线模型进行前向传播，得到实际路面图像的标线识别概率矩阵，对标线识别概率矩阵进行离散化，得到标线识别结果。
S104将所述实际路面图像输入所述裂缝模型，得到裂缝识别结果。
本步骤中，裂缝识别的具体步骤包括：
将经过预处理的实际路面图像的灰度图正向输入裂缝模型，裂缝模型对预处理后的实际路面图像的灰度图进行特征提取；
裂缝模型进行前向传播，得到实际路面图像的裂缝识别概率矩阵，对裂缝识别概率矩阵进行离散化，得到裂缝识别结果。
S105所述裂缝识别结果减去所述标线识别结果，得到实际路面裂缝最终识别结果。
本步骤中，在实际工程应用中，只使用标线模型和裂缝模型的前向传播过程，参考图3，设定阈值为0.5，根据上述步骤得到的标线识别结果和裂缝识别结果，用裂缝识别结果减去标线识别结果，得到实际路面裂缝最终识别结果，通过比较最终识别结果与设定阈值的大小关系，判断实际路面图像中是否存在裂缝，如果最终识别结果的值大于设定阈值，则实际路面图像中有裂缝；如果最终识别结果的值小于设定阈值，则实际路面图像中没有裂缝。
参考图4和图5，图中为实际工程应用中的实际识别结果，裂缝模型识别出实际路面图像中的裂缝，标线模型识别出实际路面图像中的标线，由于得到的最终识别结果是经过离散化处理后得到的是值域(0,1)的概率矩阵，所以如果最终识别结果的值大于设定阈值0.5时，则证明实际路面图像对应的路面含有裂缝；如果最终识别结果的值小于设定阈值0.5时，则证明实际路面图像对应的路面没有裂缝。
本实施例中，本发明提供的路面裂缝识别方法在终端间进行迁移学习的过程中，需要再新终端上搭建预处理装置和深度学习装置的环境支持，而在其他数据集中进行迁移学习时，只需要迁移预处理装置和卷积神经网络的模型部分，并自行编写训练和测试环节的原始图像读取部分。
从上面所述可以看出，本说明书一个或多个实施例提供的一种多标线的路面裂缝识别方法、装置、设备及存储介质，由于使用的卷积神经网络中含有大量的参数，使得识别方法具备了强大的抽象拟合能力，能够有效提升识别准确率，数据图像处理技术对路面图像进行的标线识别平均相似度只有60％左右，而本说明书一个或多个实施例提供的方法的平均相似度达到90％以上。本发明适用深度学习的方式进行图像识别实际上将大量计算过程前置，所以处理未知图像时可以减少很多计算量，具体地，未知图像只需要在网络中进行一次前项就可以得到自动标记的标线区域，其计算量相当于训练过程的一半，经过测试验证，使用现有技术中的基于灰度图的模式识别方法对路面原始图像进行标线识别，识别速度仅有1-6张每秒，而本发明提供的方法，识别速度可达到50-200张每秒，识别速度极快。相比于现有技术中的单一模型识别裂缝，本发明通过裂缝模型和标线模型的叠加，以及深度学习方法进行有效的标线识别和裂缝识别，从而去除标线的影响，受环境影响小进而提升裂缝的识别效果。由于现实中的裂缝具有多样性，作为一个可选的实施例，也可以通过训练多个不同的裂缝模型，进行模型的训练叠加，从而整体上提高裂缝的识别效果。
基于同一发明构思，本发明一个或多个实施例还提供了一种多标线的路面裂缝识别装置，包括第一获取模块、第二获取模块、第一识别模块、第二识别模块和结果输出模块。
参考图6，本装置中包括：
第一获取模块，被配置为获取实际路面图像；
第二获取模块，被配置为获取标线模型和裂缝模型；其中，所述标线模型基于第一训练路面图像集训练得到，所述第一训练路面图像集关联有表示标线的第一标签；所述裂缝模型基于第二训练路面图像集训练得到，所述第二训练实际路面图像集关联有表示裂缝的第二标签；
第一识别模块，被配置为将所述实际路面图像输入所述标线模型，得到标线识别结果；
第二识别模块，被配置为将所述实际路面图像输入所述裂缝模型，得到裂缝识别结果；
结果输出模块，被配置为所述裂缝识别结果减去所述标线识别结果，得到实际路面裂缝最终识别结果。
为了描述的方便，描述以上装置时以功能分为各种模块分别描述。当然，在实施本说明书一个或多个实施例时可以把各模块的功能在同一个或多个软件和/或硬件中实现。
上述实施例的装置用于实现前述实施例中相应的方法，并且具有相应的方法实施例的有益效果，在此不再赘述。
基于同一发明构思，本发明一个或多个实施例还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述方法。
图7示出了本实施例所提供的一种更为具体的电子设备硬件结构示意图，该设备可以包括：处理器701、存储器702、输入/输出接口703、通信接口704和总线705。其中处理器701、存储器702、输入/输出接口703和通信接口704通过总线705实现彼此之间在设备内部的通信连接。
处理器701可以采用通用的CPU(Central Processing Unit，中央处理器)、微处理器、应用专用集成电路(Application Specific Integrated Circuit，ASIC)、或者一个或多个集成电路等方式实现，用于执行相关程序，以实现本说明书实施例所提供的技术方案。
存储器702可以采用ROM(Read Only Memory，只读存储器)、RAM(Random AccessMemory，随机存取存储器)、静态存储设备，动态存储设备等形式实现。存储器702可以存储操作系统和其他应用程序，在通过软件或者固件来实现本说明书实施例所提供的技术方案时，相关的程序代码保存在存储器702中，并由处理器701来调用执行。
输入/输出接口703用于连接输入/输出模块，以实现信息输入及输出。输入输出/模块可以作为组件配置在设备中，也可以外接于设备以提供相应功能。其中输入设备可以包括键盘、鼠标、触摸屏、麦克风、各类传感器等，输出设备可以包括显示器、扬声器、振动器、指示灯等。
通信接口704用于连接通信模块，以实现本设备与其他设备的通信交互。其中通信模块可以通过有线方式(例如USB、网线等)实现通信，也可以通过无线方式(例如移动网络、WIFI、蓝牙等)实现通信。
总线705包括一通路，在设备的各个组件(例如处理器701、存储器702、输入/输出接口703和通信接口704)之间传输信息。
需要说明的是，尽管上述设备仅示出了处理器701、存储器702、输入/输出接口703、通信接口704以及总线705，但是在具体实施过程中，该设备还可以包括实现正常运行所必需的其他组件。此外，本领域的技术人员可以理解的是，上述设备中也可以仅包含实现本说明书实施例方案所必需的组件，而不必包含图中所示的全部组件。
本实施例的计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。
所属领域的普通技术人员应当理解：以上任何实施例的讨论仅为示例性的，并非旨在暗示本公开的范围(包括权利要求)被限于这些例子；在本公开的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，步骤可以以任意顺序实现，并存在如上所述的本说明书一个或多个实施例的不同方面的许多其它变化，为了简明它们没有在细节中提供。
另外，为简化说明和讨论，并且为了不会使本说明书一个或多个实施例难以理解，在所提供的附图中可以示出或可以不示出与集成电路(IC)芯片和其它部件的公知的电源/接地连接。此外，可以以框图的形式示出装置，以便避免使本说明书一个或多个实施例难以理解，并且这也考虑了以下事实，即关于这些框图装置的实施方式的细节是高度取决于将要实施本说明书一个或多个实施例的平台的(即，这些细节应当完全处于本领域技术人员的理解范围内)。在阐述了具体细节(例如，电路)以描述本公开的示例性实施例的情况下，对本领域技术人员来说显而易见的是，可以在没有这些具体细节的情况下或者这些具体细节有变化的情况下实施本说明书一个或多个实施例。因此，这些描述应被认为是说明性的而不是限制性的。
尽管已经结合了本公开的具体实施例对本公开进行了描述，但是根据前面的描述，这些实施例的很多替换、修改和变型对本领域普通技术人员来说将是显而易见的。例如，其它存储器架构(例如，动态RAM(DRAM))可以使用所讨论的实施例。
本说明书一个或多个实施例旨在涵盖落入所附权利要求的宽泛范围之内的所有这样的替换、修改和变型。因此，凡在本说明书一个或多个实施例的精神和原则之内，所做的任何省略、修改、等同替换、改进等，均应包含在本公开的保护范围之内。
Claims (9)
1.一种多标线的路面裂缝识别方法，其特征在于，包括：
获取实际路面图像；
获取标线模型和裂缝模型；其中，所述标线模型基于第一训练路面图像集训练得到，所述第一训练路面图像集关联有表示标线的第一标签；所述裂缝模型基于第二训练路面图像集训练得到，所述第二训练路面图像集关联有表示裂缝的第二标签；
将所述实际路面图像输入所述标线模型，得到标线识别结果；
将所述实际路面图像输入所述裂缝模型，得到裂缝识别结果；
所述裂缝识别结果减去所述标线识别结果，得到实际路面裂缝最终识别结果；所述裂缝识别结果减去所述标线识别结果，得到实际路面裂缝最终识别结果，包括：
所述标线模型识别所述实际路面图像，得到标线识别概率矩阵，对所述标线识别概率矩阵进行离散化，得到所述标线识别结果；
所述裂缝模型识别所述实际路面图像，得到裂缝标识概率矩阵，对所述裂缝识别概率矩阵进行所述离散化，得到所述裂缝识别结果；
所述裂缝识别结果减去所述标线识别结果，得到所述实际路面裂缝最终识别结果；
其中，所述实际路面裂缝最终识别结果是经过离散化处理后得到的是值域(0,1)的概率矩阵；
所述得到实际路面裂缝最终识别结果之后，还包括：比较所述最终识别结果与设定阈值的大小关系；若所述最终识别结果大于所述设定阈值，则确定所述实际路面图像中存在裂缝。
2.根据权利要求1所述的方法，其特征在于，还包括：对所述实际路面图像进行预处理操作；
所述预处理操作，包括：对所述实际路面图像进行图像填充和图像调整操作。
3.根据权利要求1所述的方法，其特征在于，所述标线模型基于第一训练路面图像集训练得到，所述第一训练路面图像集关联有表示标线的第一标签；所述裂缝模型基于第二训练路面图像集训练得到，所述第二训练路面图像集关联有表示裂缝的第二标签，所述训练进行若干轮，每一轮所述训练包括：
设置网络参数，将所述第一训练路面图像集正向输入所述标线模型，将所述第二训练路面图像集正向输入所述裂缝模型；
所述标线模型对所述第一训练路面图像集进行特征提取，得到标线预测结果，所述裂缝模型对所述第二训练路面图像集进行所述特征提取，得到裂缝预测结果；
利用损失函数计算所述标线预测结果与真实值之间的标线误差，以及所述裂缝预测结果与所述真实值之间的裂缝误差；
结合所述标线误差、裂缝误差、网络参数的梯度和优化方法对所述网络参数进行调整，将调整后的所述网络参数作为下一轮所述训练的所述网络参数。
4.根据权利要求3所述的方法，其特征在于，所述特征提取，包括：
通过2×2最大池化对所述第一训练路面图像集和第二训练路面图像集进行下采样处理；
利用5×5卷积核和3×3卷积核，以及ReLU函数和sigmoid函数作为激活函数，对所述第一训练路面图像集和第二训练路面图像集进行所述特征提取。
5.根据权利要求3所述的方法，其特征在于，所述损失函数的定义式为
其中，dice表示样本相似度，X表示由所述实际路面图像经过网络前馈形成的概率矩阵，Y表示由所述第一训练路面图像集或第二训练路面图像集形成的标记矩阵，‖X‖1表示所述概率矩阵X的L1范数，‖Y‖1表示所述标记矩阵Y的L1范数，X*Y表示所述概率矩阵X和标记矩阵Y的哈达马积，∈为第一平滑因子。
6.根据权利要求3所述的方法，其特征在于，所述优化方法的定义式为
mt＝β1·mt-1+(1-β1)•gt
vt＝β2•vt-1+(1-β2)•gt 2
其中，L为所述损失函数，gt为所述损失函数L关于参数θ在第t轮的梯度，θt为参数θ在第t轮的取值，mt用于记录一阶矩，vt用于记录二阶矩，为mt的估计值，/>为vt的估计值，β1为第一超参数β2为第二超参数，lr为学习率，∈0为第二平滑因子。
7.一种多标线的路面裂缝识别装置，其特征在于，包括：
第一获取模块，被配置为获取实际路面图像；
第二获取模块，被配置为获取标线模型和裂缝模型；其中，所述标线模型基于第一训练路面图像集训练得到，所述第一训练路面图像集关联有表示标线的第一标签；所述裂缝模型基于第二训练路面图像集训练得到，所述第二训练路面图像集集关联有表示裂缝的第二标签；
第一识别模块，被配置为将所述实际路面图像输入所述标线模型，得到标线识别结果；
第二识别模块，被配置为将所述实际路面图像输入所述裂缝模型，得到裂缝识别结果；
结果输出模块，被配置为所述裂缝识别结果减去所述标线识别结果，得到实际路面裂缝最终识别结果；所述裂缝识别结果减去所述标线识别结果，得到实际路面裂缝最终识别结果，包括：
所述标线模型识别所述实际路面图像，得到标线识别概率矩阵，对所述标线识别概率矩阵进行离散化，得到所述标线识别结果；
所述裂缝模型识别所述实际路面图像，得到裂缝标识概率矩阵，对所述裂缝识别概率矩阵进行所述离散化，得到所述裂缝识别结果；
所述裂缝识别结果减去所述标线识别结果，得到所述实际路面裂缝最终识别结果；
其中，所述实际路面裂缝最终识别结果是经过离散化处理后得到的是值域(0,1)的概率矩阵；
所述得到实际路面裂缝最终识别结果之后，还包括：比较所述最终识别结果与设定阈值的大小关系；若所述最终识别结果大于所述设定阈值，则确定所述实际路面图像中存在裂缝。
8.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至6任意一项所述的方法。
9.一种非暂态计算机可读存储介质，其特征在于，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令用于使所述计算机执行权利要求1至6任一所述方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010027072.0A CN111242017B (zh) | 2020-01-10 | 2020-01-10 | 一种多标线的路面裂缝识别方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010027072.0A CN111242017B (zh) | 2020-01-10 | 2020-01-10 | 一种多标线的路面裂缝识别方法、装置、设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111242017A CN111242017A (zh) | 2020-06-05 |
| CN111242017B true CN111242017B (zh) | 2024-01-23 |
Family
ID=70865747
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010027072.0A Active CN111242017B (zh) | 2020-01-10 | 2020-01-10 | 一种多标线的路面裂缝识别方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111242017B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114418937B (zh) * | 2021-12-06 | 2022-10-14 | 北京邮电大学 | 路面裂缝检测方法以及相关设备 |
| CN116664582B (zh) * | 2023-08-02 | 2023-10-27 | 四川公路桥梁建设集团有限公司 | 一种基于神经视觉网络的路面检测方法及装置 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101926561B1 (ko) * | 2018-03-13 | 2018-12-07 | 연세대학교 산학협력단 | 블랙박스 영상을 이용한 딥러닝 기반의 패치 단위 도로 크랙 검출 장치 및 그 방법, 그리고 이 방법을 실행시키기 위해 컴퓨터가 판독 가능한 기록매체에 저장된 컴퓨터 프로그램 |
| CN109816626A (zh) * | 2018-12-13 | 2019-05-28 | 深圳高速工程检测有限公司 | 路面裂缝检测方法、装置、计算机设备和存储介质 |
| CN109949290A (zh) * | 2019-03-18 | 2019-06-28 | 北京邮电大学 | 路面裂缝检测方法、装置、设备及存储介质 |
| CN110120041A (zh) * | 2019-05-14 | 2019-08-13 | 郑州大学 | 路面裂缝图像检测方法 |
| CN110349119A (zh) * | 2019-05-27 | 2019-10-18 | 北京邮电大学 | 基于边缘检测神经网络的路面病害检测方法和装置 |
| CN110502972A (zh) * | 2019-07-05 | 2019-11-26 | 广东工业大学 | 一种基于深度学习的路面裂缝分割与识别方法 |
-
2020
- 2020-01-10 CN CN202010027072.0A patent/CN111242017B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101926561B1 (ko) * | 2018-03-13 | 2018-12-07 | 연세대학교 산학협력단 | 블랙박스 영상을 이용한 딥러닝 기반의 패치 단위 도로 크랙 검출 장치 및 그 방법, 그리고 이 방법을 실행시키기 위해 컴퓨터가 판독 가능한 기록매체에 저장된 컴퓨터 프로그램 |
| CN109816626A (zh) * | 2018-12-13 | 2019-05-28 | 深圳高速工程检测有限公司 | 路面裂缝检测方法、装置、计算机设备和存储介质 |
| CN109949290A (zh) * | 2019-03-18 | 2019-06-28 | 北京邮电大学 | 路面裂缝检测方法、装置、设备及存储介质 |
| CN110120041A (zh) * | 2019-05-14 | 2019-08-13 | 郑州大学 | 路面裂缝图像检测方法 |
| CN110349119A (zh) * | 2019-05-27 | 2019-10-18 | 北京邮电大学 | 基于边缘检测神经网络的路面病害检测方法和装置 |
| CN110502972A (zh) * | 2019-07-05 | 2019-11-26 | 广东工业大学 | 一种基于深度学习的路面裂缝分割与识别方法 |
Non-Patent Citations (1)
| Title |
|---|
| 徐志刚.基于多特征融合的路面破损图像自动识别技术研究.《中国博士学位论文全文数据库 信息科技辑》.2013,第37页，第60-61页，第116-118页. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111242017A (zh) | 2020-06-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Jiang et al. | HDCB-Net: A neural network with the hybrid dilated convolution for pixel-level crack detection on concrete bridges | |
| KR102166458B1 (ko) | 인공신경망 기반의 영상 분할을 이용한 불량 검출 방법 및 불량 검출 장치 | |
| CN106778705B (zh) | 一种行人个体分割方法及装置 | |
| CN106920245B (zh) | 一种边界检测的方法及装置 | |
| CN108230390B (zh) | 训练方法、关键点检测方法、装置、存储介质和电子设备 | |
| CN111242017B (zh) | 一种多标线的路面裂缝识别方法、装置、设备及存储介质 | |
| CN111127417B (zh) | 一种基于sift特征匹配和改进ssd算法的印刷缺陷检测方法 | |
| CN108230292A (zh) | 物体检测方法和神经网络的训练方法、装置及电子设备 | |
| CN110889399B (zh) | 基于深度学习的高分辨率遥感影像弱小目标检测方法 | |
| KR102141302B1 (ko) | 회귀 딥러닝 모델 기반의 영상 객체 검출 방법 및 영상처리장치 | |
| KR20190086141A (ko) | Cnn을 이용한 교량 구조물 손상추정기법의 개발을 위한 시뮬레이션 데이터 처리방법 | |
| CN114359283A (zh) | 基于Transformer的缺陷检测方法和电子设备 | |
| CN111144398A (zh) | 目标检测方法、装置、计算机设备和存储介质 | |
| CN113673359A (zh) | 一种基于深度学习的提高涡流检测金属缺陷准确率的方法 | |
| CN111144425B (zh) | 检测拍屏图片的方法、装置、电子设备及存储介质 | |
| CN112862706A (zh) | 路面裂缝图像预处理方法、装置、电子设备及存储介质 | |
| CN116433661B (zh) | 多任务学习的半导体晶圆检测方法、装置、设备及介质 | |
| CN117474918A (zh) | 异常检测方法和装置、电子设备以及存储介质 | |
| CN110889290B (zh) | 文本编码方法和设备、文本编码有效性检验方法和设备 | |
| CN110533663B (zh) | 一种图像视差确定方法、装置、设备及系统 | |
| Chianese et al. | Influence of image noise on crack detection performance of deep convolutional neural networks | |
| CN114418937B (zh) | 路面裂缝检测方法以及相关设备 | |
| CN113139540B (zh) | 背板检测方法及设备 | |
| JP2019086473A (ja) | 学習プログラム、検出プログラム、学習方法、検出方法、学習装置および検出装置 | |
| JP2020061132A (ja) | マシンビジョン用の画像データを処理するための方法及び装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |