CN112581441A - 路面裂缝检测方法、装置、电子设备及存储介质 - Google Patents
路面裂缝检测方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN112581441A CN112581441A CN202011454642.0A CN202011454642A CN112581441A CN 112581441 A CN112581441 A CN 112581441A CN 202011454642 A CN202011454642 A CN 202011454642A CN 112581441 A CN112581441 A CN 112581441A
- Authority
- CN
- China
- Prior art keywords
- image
- pavement
- crack detection
- road surface
- crack
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 145
- 238000004364 calculation method Methods 0.000 claims abstract description 39
- 238000012549 training Methods 0.000 claims abstract description 37
- 230000004927 fusion Effects 0.000 claims abstract description 34
- 238000000034 method Methods 0.000 claims abstract description 25
- 238000007781 pre-processing Methods 0.000 claims abstract description 18
- 238000003062 neural network model Methods 0.000 claims description 13
- 238000004590 computer program Methods 0.000 claims description 10
- 238000012545 processing Methods 0.000 claims description 9
- 230000008859 change Effects 0.000 abstract description 4
- 238000005070 sampling Methods 0.000 description 12
- 238000004891 communication Methods 0.000 description 10
- 238000000605 extraction Methods 0.000 description 9
- 230000008569 process Effects 0.000 description 7
- 238000011176 pooling Methods 0.000 description 6
- 239000011159 matrix material Substances 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 239000000284 extract Substances 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 238000007499 fusion processing Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000005336 cracking Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000009545 invasion Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001502 supplementing effect Effects 0.000 description 1
- 230000003313 weakening effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明实施例提供一种路面裂缝检测方法、装置、电子设备及介质;该方法包括采集道路的路面图像;对所述路面图像进行预处理,得到分辨率梯度变化的多个输入图像;将所述多个输入图像输入预先训练的路面裂缝检测模型,得到计算结果;其中,所述路面裂缝检测模型是基于样本路面图像和所述样本路面图像的裂缝标记数据训练得到的,所述路面裂缝检测模型包括多个阶段,每个阶段间进行多次多尺度融合;根据所述路面裂缝检测模型的计算结果,输出检测结果。本发明实施例通过输入分辨率梯度变化的多个输入图像,使用具有多尺度融合结构的路面裂缝检测模型,实现了对复杂情况下的路面裂缝检测,减弱了噪声影响,提高了检测精度。
Description
技术领域
本发明涉及于交通路面图像检测技术领域,尤其涉及一种路面裂缝检测方法、装置、电子设备及存储介质。
背景技术
路面裂缝是道路路面病害的主要形式之一。早期产生的裂缝不会影响路面的使用,但是随着雨水的侵入以及外力的作用,可能导致路面的结构性破坏,对行车安全造成威胁。路面裂缝的检测和修复是道路养护的重要内容。
随着人工智能的发展和普及,基于深度学习的相关检测方法也逐渐使用在路面裂缝检测任务上,深度学习不需要人工设计特征提取器,能够自动根据原始图像特征进行抽象表达,确定特定像素是否是裂缝的一部分。
然而现有的方法存在以下问题:仅关注裂缝的局部特征,容易受噪声影响;未考虑裂缝的空间关系以及连接性特征,检测结果不连续或有孤立点;检测任务单一,且未考虑裂缝的粗细情况,对于复杂情况下的裂缝检测不准确。
发明内容
针对现有技术中的问题,本发明实施例提供一种路面裂缝检测方法、装置、电子设备及介质。
本发明第一方面实施例提供一种路面裂缝检测方法,包括:
采集道路的路面图像;
对所述路面图像进行预处理,得到分辨率梯度变化的多个输入图像;
将所述多个输入图像输入预先训练的路面裂缝检测模型,得到计算结果;其中,所述路面裂缝检测模型是基于样本路面图像和所述样本路面图像的裂缝标记数据训练得到的,所述路面裂缝检测模型包括多个阶段,每个阶段间进行多次多尺度融合;
根据所述路面裂缝检测模型的计算结果,输出检测结果。
上述技术方案中,对所述路面图像进行预处理,得到多个输入图像,包括:
降低所述路面图像的分辨率,生成分辨率梯度变化的多个输入图像。
上述技术方案中,将所述多个输入图像输入预先训练的路面裂缝检测模型,包括:
将所述分辨率梯度变化的多个输入图像分别输入预先训练的路面裂缝检测模型的多个阶段,其中每个阶段的输入图像的分辨率比下一阶段的输入图像的分辨率高。
上述技术方案中,根据所述路面裂缝检测模型的计算结果,输出检测结果,包括:
将所述路面图像分为多个大小相等的图像块;
根据所述路面裂缝检测模型的输出阶段的计算结果,判断每个图像块中是否存在裂缝;
对存在裂缝的图像块进行标注,以得到检测结果。
上述技术方案中,方法还包括:
获取所述样本路面图像;
将所述样本路面图像分为大小相等的多个图像块,对每个图像块进行多任务标记,得到所述样本路面图像的裂缝标记数据;
获取待训练的神经网络模型的初始参数;
输入所述样本路面图像作为训练图像,输入所述样本路面图像的裂缝标记数据作为标签,采用深层监督的方式对所述神经网络模型进行训练,得到所述路面裂缝检测模型。
上述技术方案中,对每个图像块进行多任务标记,得到所述样本路面图像的裂缝标记数据,包括:
标记图像块中是否包含裂缝;
当所述图像块中包含裂缝时,标记所述图像块中裂缝的裂缝类型,以及
标记与所述图像块相邻的八个图像块中是否包含裂缝。
上述技术方案中,输入所述样本路面图像作为训练图像,包括:
根据所述神经网络模型的各个阶段所需,将所述样本路面图像处理成不同分辨率的训练图像,并输入各个对应的阶段。
本发明第二方面实施例提供一种路面裂缝检测装置,包括:
采集模块,用于采集道路的路面图像;
图像预处理模块,用于对所述路面图像进行预处理,得到分辨率梯度变化的多个输入图像;
检测模型处理模块,用于将所述多个输入图像输入预先训练的路面裂缝检测模型,得到计算结果;其中,所述路面裂缝检测模型是基于样本路面图像和所述样本路面图像的裂缝标记数据训练得到的,所述路面裂缝检测模型包括多个阶段,每个阶段间进行多次多尺度融合;
检测结果输出模块,用于根据所述路面裂缝检测模型的计算结果,输出检测结果。
本发明第三方面实施例提供一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现如本发明第一方面实施例所述路面裂缝检测方法的步骤。
本发明第四方面实施例提供一种非暂态计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现如本发明第一方面实施例所述路面裂缝检测方法的步骤。
本发明实施例提供的路面裂缝检测方法、装置、电子设备及存储介质,由于通过输入分辨率梯度变化的多个输入图像,使得所述路面裂缝检测模型能够获得更丰富的特征表示,从而根据裂缝的空间结构更精确地检测出路面图像中的裂缝。该路面裂缝检测方法通过使用对具有重复多尺度融合结构的神经网络模型进行深层监督的方式训练得到的路面裂缝检测模型,实现了对复杂情况下的路面裂缝检测,减弱了噪声影响,提高了检测精度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的路面裂缝检测方法的流程图;
图2为本发明实施例提供的路面裂缝检测模型的训练过程的流程图;
图3为本发明实施例提供的路面裂缝检测模型的示意图;
图4为本发明实施例提供的路面裂缝检测装置的示意图;
图5为本发明实施例提供的电子设备的实体结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
图1为本发明实施例提供的路面裂缝检测方法的流程图,如图1所示,本发明实施例提供的路面裂缝检测方法包括:
步骤101,采集道路的路面图像。
在本发明实施例中,可以将摄像装置以便携的方式架设在交通工具上,进行路面图像快速采集,为摄像装置配备去抖动技术,并为摄像装置增加补光器件,用于减少光线与阴影对路面图像采集的影响。
步骤102,对所述路面图像进行预处理,得到分辨率梯度变化的多个输入图像。
在本发明实施例中,需要进一步说明的是,对所述路面图像进行预处理,得到分辨率梯度变化的多个输入图像,包括:降低所述路面图像的分辨率,生成分辨率梯度变化的多个输入图像。可以通过对路面图像进行缩放来得到不同分辨率图像,也可以通过对路面图像进行一定的卷积和降采样操作来得到不同尺度的特征图。此外,还可以使用一些降低光照影响的预处理方法、去除无关噪声的预处理方法,如对采集的路面图像做中心化和标准化处理等。此步骤用于生成路面裂缝检测模型所需的输入图像。
步骤103,将所述多个输入图像输入预先训练的路面裂缝检测模型,得到计算结果;其中,所述路面裂缝检测模型是基于样本路面图像和所述样本路面图像的裂缝标记数据训练得到的,所述路面裂缝检测模型包括多个阶段,每个阶段间进行多次多尺度融合。
在本发明实施例中,需要进一步说明的是,将所述多个输入图像输入预先训练的路面裂缝检测模型,包括:将所述分辨率梯度变化的多个输入图像分别输入预先训练的路面裂缝检测模型的各个阶段,其中每个阶段的输入图像的分辨率比下一阶段的输入图像的分辨率高。如第一阶段的输入图像可以是原始分辨率的路面图像,第二阶段的输入图像可以是对原始路面图像进行降采样得到的较低分辨率的图像,第三阶段的输入图像可以是对原始路面图像进行降采样得到的更低分辨率的图像。这是该路面裂缝检测模型的特性决定的,该路面裂缝检测模型的多个阶段的输入是不同尺度的图像,而由于当摄像装置确定后,获得的原始路面图像分辨率往往也是确定的,因此需要匹配对原始路面图像的预处理和所述路面裂缝检测模型的输入。
步骤104,根据所述路面裂缝检测模型的计算结果,输出检测结果。
在本发明实施例中,需要进一步说明的是,根据所述路面裂缝检测模型的计算结果,输出检测结果,包括:将所述路面图像分为多个大小相等的图像块;根据所述路面裂缝检测模型的输出阶段的计算结果,判断每个图像块中是否存在裂缝;对存在裂缝的图像块进行标注,以得到检测结果。在本发明实施例中,可以实时检测和识别路面图像中的裂缝缺陷,配合用户交互界面,用户可以查看原图像和检测结果,并手动纠正部分可能存在的检测错误的情况,纠正的结果可以用来调整路面裂缝检测模型,改善检测精度。
本发明实施例提供的路面裂缝检测方法通过输入分辨率梯度变化的多个输入图像,使得所述路面裂缝检测模型能够获得更丰富的特征表示,从而根据裂缝的空间结构更精确地检测出路面图像中的裂缝。该路面裂缝检测方法通过使用对具有重复多尺度融合结构的神经网络模型进行深层监督的方式训练得到的路面裂缝检测模型,实现了对复杂情况下的路面裂缝检测,减弱了噪声影响,提高了检测精度。
在本发明上述实施例中,需要进一步说明的是,所述路面裂缝检测模型是预先训练得到的,下面对路面裂缝检测模型的训练过程做进一步说明。
图2为本发明实施例提供的路面裂缝检测模型的训练过程的流程图,如图2所示,本发明实施例提供的路面裂缝检测模型的训练方法包括:
步骤201,获取样本路面图像。
步骤202,将所述样本路面图像分为大小相等的多个图像块,对每个图像块进行多任务标记,得到所述样本路面图像的裂缝标记数据。
在本发明实施例中,需要进一步说明的是,对每个图像块进行多任务标记,得到所述样本路面图像的裂缝标记数据,包括:标记图像块中是否包含裂缝;当所述图像块中包含裂缝时,标记所述图像块中裂缝的裂缝类型,以及标记与所述图像块相邻的八个图像块中是否包含裂缝。对图像划分图像块的方式为:将大小为m×n的路面图像以步长s划分成多个大小为s×s的图像区域,划分的区域个数为一个图像块中的裂缝不是孤立存在的,裂缝具有空间结构,如横向裂缝、纵向裂缝、龟裂等。通过对样本路面图像进行包括裂缝空间结构的多任务标记,使得训练出的路面裂缝检测模型能够扩大视野,处理路面复杂情况下的裂缝检测,避免受到光照、路面材质、路面开裂程度等因素影响而保证较高的裂缝检测准确率。
步骤203,获取待训练的神经网络模型的初始参数。
步骤204,输入所述样本路面图像作为训练图像,输入所述样本路面图像的裂缝标记数据作为标签,采用深层监督的方式对所述神经网络模型进行训练,得到所述路面裂缝检测模型。
在本发明实施例中,需要进一步说明的是,输入所述样本路面图像作为训练图像,包括:根据所述神经网络模型的各个阶段所需,将所述样本路面图像处理成不同分辨率的训练图像,并输入各个对应的阶段。在训练过程中,可以根据训练模型所需,输入不同精度的原始样本图像,采用下采样或缩放等方式获得训练图像,以得到效果最好的路面裂缝检测模型。
在本发明实施例中,所述神经网络模型具体可分为第一阶段和其它阶段,具体阶段数目可以根据实际调节和需求如设备的运算速度,需要的检测精度等综合考虑设定,第i个阶段特征图的分辨率小于第i-1个阶段。基于上述任一实施例,所述路面裂缝检测模型的一个可能的架构和训练过程如下所示:
获取分辨率大小为3840×2560的样本路面图像;
对样本路面图像做中心化和标准化处理,其公式为:
式中,XI为中心化标准化前的像素值,mean为该图像像素值均值,std为该图像像素值标准差,XO为预处理结果。
将预处理后的图像,以步长128像素的方式划分成分辨率大小为128×128的图像块,即整张图像被划分成30×20个图像块,并对每个图像块进行多任务标注得到标签数据。
具体地,在本实施例中,每个图像块的标注为一个长度为10的向量Y,其中每个图像块的标注含义为:
1、是否包含裂缝,对应于该图像块标签中的Y0。其中Y0=0表示不包含裂缝,Y0=1表示包含裂缝;
2、所在区域所属的裂缝类型,总共包含无裂缝、横向裂缝、纵向裂缝和龟裂四种类型,对应于该图像块标签中的Y1。其中Y1=0表示无裂缝,Y1=1表示横向裂缝,Y1=2表示纵向裂缝,Y1=3表示龟裂;
3、裂缝图像块与周围裂缝图像块的连接关系,该标记为一个长度为8的向量Y′,表示该图像块周围的8个图像块。若该图像块所在位置不包含裂缝,则Y′为全零向量;否则若Yi′则表示与该图像块相连的i处的图像块也包含裂缝,其中i从0到8分别表示与该图像块在左上、上、右上、右、右下、下、左下、左八个位置相连的图像块。Y与Y′的对应关系为:
Yi+2=Y′i。
经过上述三个步骤的标记,经过拼接最终每个图像可以得到一个1×10的标签,则每张图片的标签大小为20×30×10,其中每张图像包含20×30个图像块,20为输出结果的高度,30为输出结果的宽度。
在本实施例中网络结构如图3所示,包含三个阶段:
阶段一:
输入分辨率为3840×2560的原始图像。
特征提取和融合模块,以卷积的方式提取高分辨率下的特征,并不断与第二阶段得到的低分辨率特征进行注意力特征融合,多次迭代最终得到可用于分类的多尺度特征。首先对阶段二的低尺度特征图上采样,得到与阶段一的特征图分辨率大小相同的特征图F′2,计算公式如下:
F′2=Upsample(F2)
其中,F2为阶段二所提取到的特征,上采样使用的是一个卷积核大小为3×3、步长为2的卷积层。接着将F′2与阶段一所提取得到的特征F1输入所述注意力特征融合模块进行融合,其中注意力矩阵计算公式如下:
A1=Conv1×1(Conv3×3(F1+F′2))
式中,F1和F2特征通道数相同,即F1和F2都为h×w×c的特征矩阵。将F1和F2相加之后,经过一个3×3的卷积层,再经过一个1×1的卷积层进行降维,最终可以得到一个h×w×1的A1注意力矩阵,用于阶段一和阶段二的特征融合,具体融合过程计算公式为:
Ffusion1=A1·F1+(1-A1)·F2
经过多次以上步骤迭代,最终得到可用于阶段一的分类模块所需要的特征。
分类模块,为全卷积网络,由卷积层和池化层构成,输入的是特征提取和融合模块得到的h×w×c的特征,经过多次卷积和池化,最终得到20×30×14的输出结果P1。将输出结果与标签对应,有:
P11=Softmax(P1[0:2])
P12=Softmax(P1[2:6])
P13=P1[6:14]
其中,[i:j]表示一个左闭右开区间,P[i:j]表示输出结果P的第i到第j-1位组成的一个长度为j-i的向量。P11表示有无裂缝的二分类概率,P12表示无裂缝、横向裂缝、纵向裂缝和龟裂的概率,P13表示与图像块周围的8个图像块的连接情况。
阶段二:
输入原始图像通过双线性插值的方式,降采样得到的分辨率为1920×1280的低分辨率图像;
特征提取和融合模块,以卷积的方式提取第二阶段对应尺度的特征,并不断与第一阶段得到的高分辨率特征和第三阶段得到的低分辨率特征进行注意力特征融合,多次迭代最终得到可用于分类的多尺度特征。首先对阶段一的高尺度特征图下采样,得到与阶段二的特征图分辨率大小相同的特征图F′1,计算公式为:
F′1=Downsample(F1)
其中,F1为阶段一所提取到的特征,下采样使用的是一个卷积核大小为3×3、步长为2的卷积层。将F′1与阶段二得到的特征图F2输入所述注意力特征融合模块进行融合,通过
A21=Conv1×1(Conv3×3(F2+F′1))
得到注意力矩阵,并计算第一阶段与第二阶段得到的融合特征Ffusion21:
Ffusion21=A21·F2+(1-A21)·F1
接着对阶段三的低尺度特征图上采样,得到与阶段二分辨率大小相同的特征图F′3,计算公式如下:
F′3=Upsample(F3)
其中,F3为阶段三所提取到的特征,上采样使用的是一个卷积核大小为3×3、步长为2的反卷积层。接着将F′3与阶段二所提取得到的特征F2输入所述注意力特征融合模块进行融合,其中注意力矩阵计算公式如下:
A22=Conv1×1(Conv3×3(F2+F′3))
计算得到阶段二与阶段三的融合特征Ffusion22:
Ffusion22=A22·F2+(1-A22)·F3
将两个融合特征相加,得到阶段二的融合特征:
Ffusion2=Ffusion21+Ffusion22
经过多次以上步骤迭代,最终得到可用于阶段二的分类模块所需要的特征。
分类模块,为全卷积网络,由卷积层和池化层构成,输入的是特征提取和融合模块得到的h×w×c的特征,经过多次卷积和池化,最终得到20×30×14的输出结果P2。同样将输出结果与标签对应,有:
P21=Softmax(P2[0:2])
P22=Softmax(P2[2:6])
P23=P2[6:14]
阶段三:
输入原始图像通过双线性插值的方式,降采样得到的分辨率为960×640的低分辨率图像;
特征提取和融合模块,以卷积的方式提取低分辨率下的特征,并不断与第二阶段得到的特征进行注意力特征融合,多次迭代最终得到可用于分类的多尺度特征。首先对阶段二的特征图下采样,得到与阶段三特征图分辨率大小相同的特征图F′2,计算公式如下:
F′2=Downsample(F2)
其中,F2为阶段二所提取到的特征,下采样使用的是一个卷积核大小为3×3、步长为2的反卷积层。接着将F′2与阶段三所提取得到的特征F3输入所述注意力特征融合模块进行融合,其中注意力矩阵计算公式如下:
A3=Conv1×1(Conv3×3(F3+F′2))
最后的融合过程计算公式为:
Ffusion3=A3·F3+(1-A3)·F2
经过多次以上步骤迭代,最终得到可用于阶段三分类模块所需要的特征。
分类模块,为全卷积网络,由卷积层和池化层构成,输入的是特征提取和融合模块得到的h×w×c的特征,经过多次卷积和池化,最终得到20×30×14的输出结果P3。同样将输出结果与标签对应,有:
P31=Softmax(P3[0:2])
P32=Softmax(P3[2:6])
P33=P3[6:14]
具体地,所述三个阶段特征提取与融合模块之间的特征提取和融合过程如图3所示,每个阶段通过卷积提取不同尺度下的特征,阶段一融合的是阶段二对应尺度下经过上采样得到的特征,阶段二分别融合阶段一对应尺度下经过下采样得到的特征和阶段三对应尺度下经过上采样得到的特征,阶段三融合的是阶段二对应尺度下经过下采样得到的特征。特征提取和融合会迭代多次,得到每个阶段最终的特征。
训练过程采用的是深层监督模型,每个监督都会独立计算一个损失值并进行反向传播。对于标签Y进行拆分,令:
Y1=Y[0]
Y2=Y[1]
Y3=Y[2:10]
则最终阶段i的损失计算公式:
Li=CE(Pi1,Y1)+CE(Pi2,Y2)+MSE(Pi3,Y3)
具体地,CE为交叉熵损失函数,其计算公式为:
式中,N为批次大小,即样本的数量;M为类别的数量,其中CE(Pi1,Y1)类别数为2,即有无裂缝;CE(Pi2,Y2)的类别数为4,包括无裂缝、横向裂缝、纵向裂缝和龟裂。计算损失之前,预测结果P和标签Y都经过变形,将多张图按图像块展平得到最终的批次数N。
具体地,MSE为均方误差损失函数,其计算公式为:
式中,N为批次大小,即样本的数量;j为相邻图像块数量,即与之相连的8连通域内的8个图像块。计算损失之前,预测结果P和标签Y都经过变形,将多张图按图像块展平得到最终的批次数N。
每个阶段的分类模块,最终得到的结果通过损失函数可以得到三个损失值L1、L2、L3,分别对应阶段一、阶段二、阶段三的损失值,整体网络损失计算结果为:
训练时,使用随机梯度下降算法反向传播更新网络参数。
本文所述下采样为使用的是卷积网络,上采样使用的是反卷积网络,均为深度学习中常用的方法。
训练完成后,采集待测试的路面图像,使用训练后的网络模型进行裂缝检测。检测过程中,仅使用第三阶段输出结果的前两个值P31,表示图像块中有无裂缝的概率;若P31[0]>P31[1]则认为该图像块中不包含裂缝,否则认为该图像块中包含裂缝。
图4为本发明实施例提供的路面裂缝检测装置的示意图;如图4所示,本发明实施例提供的路面裂缝检测装置包括:
采集模块401,用于采集道路的路面图像;
图像预处理模块402,用于对所述路面图像进行预处理,得到分辨率梯度变化的多个输入图像;
检测模型处理模块403,用于将所述多个输入图像输入预先训练的路面裂缝检测模型,得到计算结果;其中,所述路面裂缝检测模型是基于样本路面图像和所述样本路面图像的裂缝标记数据训练得到的,所述路面裂缝检测模型包括多个阶段,每个阶段间进行多次多尺度融合;
检测结果输出模块404,用于根据所述路面裂缝检测模型的计算结果,输出检测结果。
本发明实施例提供的路面裂缝检测装置通过输入分辨率梯度变化的多个输入图像,使用对具有重复多尺度融合结构的神经网络模型进行深层监督的方式训练得到的路面裂缝检测模型,根据裂缝的空间结构更精确地检测出路面图像中的裂缝,实现了对复杂情况下的路面裂缝检测,减弱了噪声影响,提高了检测精度。
图5示例了一种电子设备的实体结构示意图,如图5所示,该电子设备可以包括:处理器(processor)510、通信接口(Communications Interface)520、存储器(memory)530和通信总线540,其中,处理器510,通信接口520,存储器530通过通信总线540完成相互间的通信。处理器510可以调用存储器530中的逻辑指令,以执行如下方法:采集道路的路面图像;对所述路面图像进行预处理,得到分辨率梯度变化的多个输入图像;将所述多个输入图像输入预先训练的路面裂缝检测模型;使用所述路面裂缝检测模型对所述输入图像进行处理,得到计算结果;根据所述路面裂缝检测模型的计算结果,输出检测结果。
需要说明的是,本实施例中的电子设备在具体实现时可以为服务器,也可以为PC机,还可以为其他设备,只要其结构中包括如图5所示的处理器510、通信接口520、存储器530和通信总线540,其中处理器510,通信接口520,存储器530通过通信总线540完成相互间的通信,且处理器510可以调用存储器530中的逻辑指令以执行上述方法即可。本实施例不对电子设备的具体实现形式进行限定。
此外,上述的存储器530中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
进一步地,本发明实施例公开一种计算机程序产品,所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序,所述计算机程序包括程序指令,当所述程序指令被计算机执行时,计算机能够执行上述各方法实施例所提供的方法,例如包括:采集道路的路面图像;对所述路面图像进行预处理,得到分辨率梯度变化的多个输入图像;将所述多个输入图像输入预先训练的路面裂缝检测模型;使用所述路面裂缝检测模型对所述输入图像进行处理,得到计算结果;根据所述路面裂缝检测模型的计算结果,输出检测结果。
另一方面,本发明实施例还提供一种非暂态计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现以执行上述各实施例提供的方法,例如包括:采集道路的路面图像;对所述路面图像进行预处理,得到分辨率梯度变化的多个输入图像;将所述多个输入图像输入预先训练的路面裂缝检测模型;使用所述路面裂缝检测模型对所述输入图像进行处理,得到计算结果;根据所述路面裂缝检测模型的计算结果,输出检测结果。
以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下,即可以理解并实施。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件。基于这样的理解,上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种路面裂缝检测方法,其特征在于,包括:
采集道路的路面图像;
对所述路面图像进行预处理,得到分辨率梯度变化的多个输入图像;
将所述多个输入图像输入预先训练的路面裂缝检测模型,得到计算结果;其中,所述路面裂缝检测模型是基于样本路面图像和所述样本路面图像的裂缝标记数据训练得到的,所述路面裂缝检测模型包括多个阶段,每个阶段间进行多次多尺度融合;
根据所述路面裂缝检测模型的计算结果,输出检测结果。
2.根据权利要求1所述的路面裂缝检测方法,其特征在于,对所述路面图像进行预处理,得到分辨率梯度变化的多个输入图像,包括:
降低所述路面图像的分辨率,生成分辨率梯度变化的多个输入图像。
3.根据权利要求2所述的路面裂缝检测方法,其特征在于,将所述多个输入图像输入预先训练的路面裂缝检测模型,包括:
将所述分辨率梯度变化的多个输入图像分别输入所述路面裂缝检测模型的多个阶段,其中每个阶段的输入图像的分辨率比下一阶段的输入图像的分辨率高。
4.根据权利要求1所述的路面裂缝检测方法,其特征在于,根据所述路面裂缝检测模型的计算结果,输出检测结果,包括:
将所述路面图像分为多个大小相等的图像块;
根据所述路面裂缝检测模型的输出阶段的计算结果,判断每个图像块中是否存在裂缝;
对存在裂缝的图像块进行标注,以得到检测结果。
5.根据权利要求1-4任一项所述的路面裂缝检测方法,其特征在于,方法还包括:
获取样本路面图像;
将所述样本路面图像分为大小相等的多个图像块,对每个图像块进行多任务标记,得到所述样本路面图像的裂缝标记数据;
获取待训练的神经网络模型的初始参数;
输入所述样本路面图像作为训练图像,输入所述样本路面图像的裂缝标记数据作为标签,采用深层监督的方式对所述神经网络模型进行训练,得到所述路面裂缝检测模型。
6.根据权利要求5所述的路面裂缝检测方法,其特征在于,对每个图像块进行多任务标记,得到所述样本路面图像的裂缝标记数据,包括:
标记图像块中是否包含裂缝;
当所述图像块中包含裂缝时,标记所述图像块中裂缝的裂缝类型,以及
标记与所述图像块相邻的八个图像块中是否包含裂缝。
7.根据权利要求5所述的路面裂缝检测方法,其特征在于,输入所述样本路面图像作为训练图像,包括:
根据所述神经网络模型的各个阶段所需,将所述样本路面图像处理成不同分辨率的训练图像,并输入各个对应的阶段。
8.一种路面裂缝检测装置,其特征在于,包括:
采集模块,用于采集道路的路面图像;
图像预处理模块,用于对所述路面图像进行预处理,得到分辨率梯度变化的多个输入图像;
检测模型处理模块,用于将所述多个输入图像输入预先训练的路面裂缝检测模型,得到计算结果;其中,所述路面裂缝检测模型是基于样本路面图像和所述样本路面图像的裂缝标记数据训练得到的,所述路面裂缝检测模型包括多个阶段,每个阶段间进行多次多尺度融合;
检测结果输出模块,用于根据所述路面裂缝检测模型的计算结果,输出检测结果。
9.一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现如权利要求1至7任一项所述路面裂缝检测方法的步骤。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该计算机程序被处理器执行时实现如权利要求1至7任一项所述路面裂缝检测方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011454642.0A CN112581441A (zh) | 2020-12-10 | 2020-12-10 | 路面裂缝检测方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011454642.0A CN112581441A (zh) | 2020-12-10 | 2020-12-10 | 路面裂缝检测方法、装置、电子设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112581441A true CN112581441A (zh) | 2021-03-30 |
Family
ID=75131368
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011454642.0A Pending CN112581441A (zh) | 2020-12-10 | 2020-12-10 | 路面裂缝检测方法、装置、电子设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112581441A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116664582A (zh) * | 2023-08-02 | 2023-08-29 | 四川公路桥梁建设集团有限公司 | 一种基于神经视觉网络的路面检测方法及装置 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020046213A1 (en) * | 2018-08-31 | 2020-03-05 | Agency For Science, Technology And Research | A method and apparatus for training a neural network to identify cracks |
CN111127468A (zh) * | 2020-04-01 | 2020-05-08 | 北京邮电大学 | 一种道路裂缝检测方法和装置 |
CN111257341A (zh) * | 2020-03-30 | 2020-06-09 | 河海大学常州校区 | 基于多尺度特征与堆叠式全卷积网络的水下建筑物裂缝检测方法 |
-
2020
- 2020-12-10 CN CN202011454642.0A patent/CN112581441A/zh active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020046213A1 (en) * | 2018-08-31 | 2020-03-05 | Agency For Science, Technology And Research | A method and apparatus for training a neural network to identify cracks |
CN111257341A (zh) * | 2020-03-30 | 2020-06-09 | 河海大学常州校区 | 基于多尺度特征与堆叠式全卷积网络的水下建筑物裂缝检测方法 |
CN111127468A (zh) * | 2020-04-01 | 2020-05-08 | 北京邮电大学 | 一种道路裂缝检测方法和装置 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116664582A (zh) * | 2023-08-02 | 2023-08-29 | 四川公路桥梁建设集团有限公司 | 一种基于神经视觉网络的路面检测方法及装置 |
CN116664582B (zh) * | 2023-08-02 | 2023-10-27 | 四川公路桥梁建设集团有限公司 | 一种基于神经视觉网络的路面检测方法及装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112465748B (zh) | 基于神经网络的裂缝识别方法、装置、设备及存储介质 | |
CN109858372B (zh) | 一种车道级精度自动驾驶结构化数据分析方法 | |
CN108776772B (zh) | 一种跨时间建筑物变化检测建模方法以及检测装置、方法及存储介质 | |
CN108960135B (zh) | 基于高分辨遥感图像的密集舰船目标精确检测方法 | |
CN104025118B (zh) | 使用扩展surf特征的对象检测 | |
CN111507958A (zh) | 目标检测方法、检测模型的训练方法及电子设备 | |
CN111950453A (zh) | 一种基于选择性注意力机制的任意形状文本识别方法 | |
CN113168510A (zh) | 通过细化形状先验分割对象 | |
WO2020062360A1 (zh) | 一种图像融合分类的方法及装置 | |
CN113780296A (zh) | 基于多尺度信息融合的遥感图像语义分割方法及系统 | |
CN113283356B (zh) | 多级注意力尺度感知人群计数方法 | |
CN112906794A (zh) | 一种目标检测方法、装置、存储介质及终端 | |
CN111680690A (zh) | 一种文字识别方法及装置 | |
CN113569852A (zh) | 语义分割模型的训练方法、装置、电子设备及存储介质 | |
CN112967248B (zh) | 生成缺陷图像样本的方法、装置、介质及程序产品 | |
CN110751644A (zh) | 道路表面裂纹检测方法 | |
CN112581441A (zh) | 路面裂缝检测方法、装置、电子设备及存储介质 | |
CN113421223B (zh) | 基于深度学习和高斯混合的工业产品表面缺陷检测方法 | |
CN112597996B (zh) | 基于任务驱动的自然场景中交通标志显著性检测方法 | |
CN113643173A (zh) | 水印去除方法、装置、终端设备及可读存储介质 | |
CN113744185A (zh) | 一种基于深度学习和图像处理的混凝土表观裂缝分割方法 | |
CN111476226B (zh) | 一种文本定位方法、装置及模型训练方法 | |
CN114998713B (zh) | 路面病害识别方法、装置、系统、电子设备及存储介质 | |
CN116580326A (zh) | 一种航空环境安全风险防控检测及预警系统 | |
CN115019321A (zh) | 一种文本识别、模型训练方法、装置、设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |