CN112489026A - 基于多分支并行卷积神经网络的沥青路面病害检测方法 - Google Patents

基于多分支并行卷积神经网络的沥青路面病害检测方法 Download PDF

Info

Publication number
CN112489026A
CN112489026A CN202011425015.4A CN202011425015A CN112489026A CN 112489026 A CN112489026 A CN 112489026A CN 202011425015 A CN202011425015 A CN 202011425015A CN 112489026 A CN112489026 A CN 112489026A
Authority
CN
China
Prior art keywords
neural network
image
branch parallel
pavement
disease
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011425015.4A
Other languages
English (en)
Other versions
CN112489026B (zh
Inventor
李娟�
童峥
袁东东
陈忠杰
张钊
高杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Gansu Zhitong Science & Technology Engineering Detection Consultation Co ltd
East China Jiaotong University
Original Assignee
Gansu Zhitong Science & Technology Engineering Detection Consultation Co ltd
East China Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Gansu Zhitong Science & Technology Engineering Detection Consultation Co ltd, East China Jiaotong University filed Critical Gansu Zhitong Science & Technology Engineering Detection Consultation Co ltd
Priority to CN202011425015.4A priority Critical patent/CN112489026B/zh
Publication of CN112489026A publication Critical patent/CN112489026A/zh
Application granted granted Critical
Publication of CN112489026B publication Critical patent/CN112489026B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明属于土木工程检测技术领域，尤其涉及一种基于多分支并行卷积神经网络的沥青路面病害检测方法，用于实现路面图像中的路表病害类别识别、位置测定、形态测量；将路面图像及其对应的病害边界框标签、病害类型标签、边界框内像素类别标签作为训练数据；构建建立多分支并行卷积神经网络，包括一个特征提取器、一个感兴趣区域提取器、一个回归器、一个分类器、一个解码器；使用训练数据训练多分支并行卷积神经网络；给定待检测沥青路面区域，采集路面图像，采用训练完成的多分支并行卷积神经网络计算待检测区域内存在的路面病害类型、位置、形态。本发明能够通过路面图像进行路面病害检测，有利于提高沥青路面病害检测的效率和准确率。

Description

基于多分支并行卷积神经网络的沥青路面病害检测方法
技术领域
本发明属于土木工程检测技术领域，尤其涉及基于多分支并行卷积神经网络的沥青路面病害检测方法。
背景技术
沥青路面病害检测是路面性能评估的重要环节，为路面养护提供了重要的数据支持。现阶段，沥青路面病害检测方法主要包括现场调查法和路面图像采集分析法。现场调查法需要封闭交通，检测结果受检测人员主观因素影响大，效率低下，严重影响公路通行效率，不适用于我国大范围的沥青路面病害检测。
路面图像采集分析法具有不影响交通和图像采集效率高的优势，近年来被广泛运用于路面病害检测。然而，路面图像分析方法的缺陷制约了路面图像采集分析法的广泛使用。路面图像分析方法主要包括人工分析和算法分析两大类。人工分析是依靠人工对路面图像中反应的病害进行识别、定位、测量；这种方法效率低下，分析结果受检测人员主观因素影响大，不适用于大范围的路表病害检测。算法分析是采用一个或者多个图像处理算法获取病害的各类信息；现阶段，常见的算法包括K值聚类、人工神经网络、支持向量机等；然而，这些方法的准确性和稳定性存在较大缺陷，无法满足现阶段路表病害检测的工程需求。
发明内容
针对现有技术中存在的技术问题，本发明提供了基于多分支并行卷积神经网络的沥青路面病害检测方法，将多分支并行卷积神经网络应用于路面病害的识别、定位、测量，同时采用特征图共享技术实现路面病害识别、定位、测量的同步进行，大大提高了沥青路面病害检测的效率和准确率，有利于快速准确地统计沥青路面病害，为路面养护提供数据支持。
为了解决上述技术问题，本发明通过以下技术方案予以实现：
一种基于多分支并行卷积神经网络的沥青路面病害检测方法，包括：
采集路面图像，建立路面图像数据集；
根据路面图像数据集制作路面图像数据集的三种图像标签；
根据路面图像数据集和路面图像数据集的三种图像标签建立多分支并行卷积神经网络的训练集；
根据多分支并行卷积神经网络的训练集建立多分支并行卷积神经网络
Figure BDA0002824399970000021
训练多分支并行卷积神经网络
Figure BDA0002824399970000022
对多分支并行卷积神经网络
Figure BDA0002824399970000023
中各个结构层的权值和偏值进行调整；
根据训练完成的多分支并行卷积神经网络
Figure BDA0002824399970000024
得到沥青路面病害检测结果。
进一步地，记所述路面图像数据集为
Figure BDA0002824399970000025
N是路面图像数量，N>2000；xi是路面图像数据集X中第i张图像；图像xi包含了ni个路面病害区域，每个路面病害类型属于病害类型集
Figure BDA0002824399970000026
ωl是第l种路面病害，l＝1,…,M；M是病害类型总数。
进一步地，记所述路面图像数据集的三种图像标签为第一种标签、第二种标签和第三种标签；
第一种标签用于描述图像xi中病害位置的边界框标签
Figure BDA0002824399970000027
第j个路面病害区域用边界框
Figure BDA0002824399970000028
包围，j＝1,…,ni；
Figure BDA0002824399970000029
和
Figure BDA00028243999700000210
分别为边界框
Figure BDA00028243999700000211
的长和宽，单位是像素点；
Figure BDA00028243999700000212
为边界框
Figure BDA00028243999700000213
中心点在图像xi中的坐标位置；
第二种标签是用于描述图像xi中病害边界框所包围病害类型的标签
Figure BDA00028243999700000214
Figure BDA00028243999700000215
是图像xi中第j个边界框所包围区域的病害类型，
Figure BDA00028243999700000216
第三种标签是用于描述图像xi中病害边界框所包围区域内所有像素点类别的签标
Figure BDA00028243999700000217
是图像xi中第j个边界框所包围区域内所有像素点的类别标签集合；
Figure BDA0002824399970000031
表示图像xi中第j个边界框所包围区域内像素点个数，si,j,k∈Ω'表示图像xi中第j个边界框所包围区域内第k个像素点的类别标签；
Figure BDA0002824399970000032
是像素点类别集；ωl'为表示像素点属于第l’种路面病害区域内的像素点，l'＝1,…,M；ωl'和ωl∈Ω的病害类型逐一对应；ωM+1∈Ω'表示像素点是沥青路面背景像素点；
记所述多分支并行卷积神经网络的训练集为
Figure BDA0002824399970000033
di＝(xi,Bi,Ci,Si)。
进一步地，所述多分支并行卷积神经网络
Figure BDA0002824399970000034
包括一个特征提取器
Figure BDA0002824399970000035
一个感兴趣区域提取器
Figure BDA0002824399970000036
一个回归器
Figure BDA0002824399970000037
一个分类器
Figure BDA0002824399970000038
和一个解码器
Figure BDA0002824399970000039
所述多分支并行卷积神经网络
Figure BDA00028243999700000310
的输入xi首先输入特征提取器
Figure BDA00028243999700000311
之后特征提取器
Figure BDA00028243999700000312
的输出结果输入感兴趣区域提取器
Figure BDA00028243999700000313
感兴趣区域提取器
Figure BDA00028243999700000314
的输出结果同时输入回归器
Figure BDA00028243999700000315
分类器
Figure BDA00028243999700000316
和解码器
Figure BDA00028243999700000317
进行并行计算；分类器
Figure BDA00028243999700000318
回归器
Figure BDA00028243999700000319
和解码器
Figure BDA00028243999700000320
输出结果即为所述多分支并行卷积神经网络
Figure BDA00028243999700000321
关于图像xi的预测结果；因此，多分支并行卷积神经网络
Figure BDA00028243999700000322
用于建立路面图像数据集X中图像xi和其对应的三种标签集Bi、Ci和Si之间的映射关系，即
Figure BDA00028243999700000323
5.根据权利要求4所述的一种基于多分支并行卷积神经网络的沥青路面病害检测方法，其特征在于，特征提取器
Figure BDA00028243999700000324
的输入是路面图像数据集
Figure BDA00028243999700000325
的第i张图像xi；特征提取器
Figure BDA00028243999700000326
的输出结果是xi的特征图fi；特征提取器
Figure BDA00028243999700000327
的输入和输出之间包括若干个卷积层和池化层；卷积层和池化层的个数依据检测需求决定；每个卷积层的卷积核的个数依据检测需求决定；因此，特征提取器
Figure BDA00028243999700000328
可描述为xi和fi的映射关系
Figure BDA00028243999700000329
进一步地，感兴趣区域提取器
Figure BDA00028243999700000330
的输入是xi的特征图fi，感兴趣区域提取器
Figure BDA00028243999700000331
的输出结果是特征图fi的ni个子区域集合
Figure BDA00028243999700000332
ni是图像xi包含的路面病害区域的个数；感兴趣区域提取器
Figure BDA00028243999700000333
的输入和输出之间包括若干个全连接层；全连接层的个数和每个全连接层的神经元数量依据检测需求决定；因此，感兴趣区域提取器
Figure BDA00028243999700000334
的可描述为特征图fi和ni个特征图子区域集合
Figure BDA00028243999700000335
的映射关系
Figure BDA00028243999700000336
进一步地，回归器
Figure BDA0002824399970000041
的输入是特征图子区域集合
Figure BDA0002824399970000042
回归器
Figure BDA0002824399970000043
的输出结果是多分支并行卷积神经网络
Figure BDA0002824399970000044
预测的xi中ni个路面病害区域的位置
Figure BDA0002824399970000045
回归器
Figure BDA0002824399970000046
的输入和输出之间包括若干个卷积层、池化层、全连接层和回归层；卷积层、池化层和全连接层的个数依据检测需求决定；每个卷积层的卷积核的个数依据检测需求决定；每个全连接层的神经元数量依据检测需求决定；回归层数量为1。
进一步地，分类器
Figure BDA0002824399970000047
的输入是特征图子区域集合
Figure BDA0002824399970000048
分类器
Figure BDA0002824399970000049
的输出结果是多分支并行卷积神经网络
Figure BDA00028243999700000410
预测的病害边界框所包围的路面病害的类型概率分布
Figure BDA00028243999700000411
分类器
Figure BDA00028243999700000412
的输入和输出之间包括若干个卷积层、池化层、全连接层和softmax层；卷积层、池化层和全连接层的个数依据检测需求决定；每个卷积层的卷积核的个数依据检测需求决定；每个全连接层的神经元数量依据检测需求决定；softmax层数量为1。
进一步地，解码器
Figure BDA00028243999700000413
的输入是特征图子区域集合
Figure BDA00028243999700000414
解码器
Figure BDA00028243999700000415
的输出结果是多分支并行卷积神经网络
Figure BDA00028243999700000416
预测的xi中ni个路面病害区域边界框的像素级图像分割结果
Figure BDA00028243999700000417
解码器
Figure BDA00028243999700000418
的输入和输出之间包括若干个反卷积层和1个softmax层；反卷积层数量及每个反卷积层的卷积核的个数依据检测需求决定。
进一步地，采用梯度下降法训练多分支并行卷积神经网络
Figure BDA00028243999700000419
对多分支并行卷积神经网络
Figure BDA00028243999700000420
中各个结构层的权值和偏值进行调整，具体包括如下步骤：
随机赋予多分支并行卷积神经网络
Figure BDA00028243999700000421
中各个部分的各个结构层的权值和偏值；
随机选取多分支并行卷积神经网络的训练集D中的一个样本di＝(xi,Bi,Ci,Si)；
将di中的图像xi的输入多分支并行卷积神经网络
Figure BDA00028243999700000422
获得多分支并行卷积神经网络
Figure BDA00028243999700000423
关于图像xi的映射结果
Figure BDA00028243999700000424
计算映射结果
Figure BDA00028243999700000425
和样本di标签(Bi,Ci,Si)之间的偏差
Figure BDA00028243999700000426
具体计算公式如下：
Figure BDA0002824399970000051
Figure BDA0002824399970000052
Figure BDA0002824399970000053
Figure BDA0002824399970000054
Figure BDA0002824399970000055
Figure BDA0002824399970000056
依据步骤计算得到的偏差
Figure BDA0002824399970000057
使用链导法则计算回归器
Figure BDA0002824399970000058
分类器
Figure BDA0002824399970000059
和解码器
Figure BDA00028243999700000510
中各个结构层权重和偏值的梯度；再依据梯度，调整各个结构层权重和偏值；
依据步骤计算得到的偏差
Figure BDA00028243999700000511
使用链导法则分别计算回归器
Figure BDA00028243999700000512
分类器
Figure BDA00028243999700000513
和解码器
Figure BDA00028243999700000514
对特征图子区域集合
Figure BDA00028243999700000515
的偏导，分别记为
Figure BDA00028243999700000516
和
Figure BDA00028243999700000517
计算
Figure BDA00028243999700000518
和
Figure BDA00028243999700000519
的平均值作为特征提取器
Figure BDA00028243999700000520
的关于输出特征图的偏差，将偏差输入特征提取器
Figure BDA00028243999700000521
中计算其各个结构层权重和偏值的梯度；再依据梯度，调整各个结构层权重和偏值；
重复上述步骤至步骤，直至
Figure BDA00028243999700000522
此时的多分支并行卷积神经网络
Figure BDA00028243999700000523
即为训练完成的多分支并行卷积神经网络，记为
Figure BDA00028243999700000524
与现有技术相比，本发明至少具有以下有益效果：本发明利用沥青路面图像和深度学习技术进行路表病害检测，使得路表病害检测不在依赖人工识别和测量，有利于提高路表病害检测效率，对于提高路面病害和性能检测的效率具有积极的意义。
本发明提出了多分支并行卷积神经网络，同步实现了路表病害的类型识别、空间位置测定、形态学信息采集，提供了完整的路表病害信息，对于提高路面病害和性能检测的准确性具有积极的意义。
为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本发明具体实施方式中的技术方案，下面将对具体实施方式描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明采用的多分支并行卷积神经网络结构示意图；
图2为本发明实施例中路面图像示例；
图3为本发明实施例中路面图像的三种标签示例；
图4为本发明实施例训练过程中
Figure BDA0002824399970000061
迭代次数曲线；
图5为本发明实施例中使用训练完成的多分支并行卷积神经网络
Figure BDA0002824399970000062
计算待检测沥青路面区域路面图像的计算结果示例。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
近年来，在基于计算机视觉的目标识别、定位、测量领域，深度学习技术和卷积神经网络取得了重大成就，一定程度上克服了其他算法在准确性和稳定性方面存在的缺陷。因此，本发明在深度学习技术和卷积神经网络的基础上，提出了多分支并行卷积神经网络模型并将其运用于沥青路面病害检测，旨在实现高效准确的沥青路面病害识别、定位、测量，提高了沥青路面病害检测的效率和准确率。
本实施例提供一种基于多分支并行卷积神经网络的沥青路面病害检测方法，具体的，本实施例采用的多分支并行卷积神经网络示意图如图1所示，具体包括以下步骤：
步骤1，使用功能路面检测车采集路面图像，建立路面图像数据集
Figure BDA0002824399970000071
其中，N是路面图像数量，本实施例中N＝3285，路面图像示例如图2所示；xi是路面图像数据集X中第i张图像；图像xi包含了ni个路面病害区域，每个路面病害属于病害类型集
Figure BDA0002824399970000072
ωl是第l种路面病害，l＝1,…,M；M是病害类型总数；本实施例中共包括4种路面病害：裂缝、坑槽、修补区域、泛油，故M＝4。
步骤2，制作路面图像数据集X中每一张图像的三种标签，路面图像的三种标签示例如图3所示；以图像数据集X中第i张图像xi为例，说明三种类型的标签：
其中，第一种标签是用于描述xi中病害位置的边界框标签
Figure BDA0002824399970000073
例如图3中红色矩形边框所示；图像xi包含了ni个路面病害区域，其中第j个路面病害区域用边界框
Figure BDA0002824399970000074
包围，j＝1,…,ni；
Figure BDA0002824399970000075
和
Figure BDA0002824399970000076
分别为边界框
Figure BDA0002824399970000077
的长和宽，单位是像素点；
Figure BDA0002824399970000078
为边界框
Figure BDA0002824399970000079
中心点在图像xi中的坐标位置。
其中，第二种标签是用于描述xi中病害边界框所包围病害类型的标签
Figure BDA00028243999700000710
例如图3中蓝框内文字所示；
Figure BDA00028243999700000711
是图像xi中第j个边界框所包围区域的病害类型，
Figure BDA00028243999700000712
其中，第三种标签是用于描述图像xi中病害边界框所包围区域内所有像素点类别的签标
Figure BDA0002824399970000081
例如图3中不同颜色的标注区域，例如绿色区域为裂缝，蓝色区域为坑槽；
Figure BDA0002824399970000082
是图像xi中第j个边界框所包围区域内所有像素点的类别标签集合；
Figure BDA0002824399970000083
表示图像xi中第j个边界框所包围区域内像素点个数，si,j,k∈Ω'表示图像xi中第j个边界框所包围区域内第k个像素点的标签类别；
Figure BDA0002824399970000084
是像素点类别集；其中ωl'为表示像素点属于第l’种路面病害区域内的像素点；ωl'和步骤1中ωl∈Ω的病害类型逐一对应；ωM+1∈Ω'表示像素点是沥青路面背景像素点。
步骤3，使用步骤1的路面图像数据集
Figure BDA0002824399970000085
和步骤2的三种标签Bi、Ci、Si建立多分支并行卷积神经网络的训练集
Figure BDA0002824399970000086
di＝(xi,Bi,Ci,Si)。
步骤4，建立多分支并行卷积神经网络
Figure BDA0002824399970000087
包括一个特征提取器
Figure BDA0002824399970000088
一个感兴趣区域提取器
Figure BDA0002824399970000089
一个回归器
Figure BDA00028243999700000810
一个分类器
Figure BDA00028243999700000811
一个解码器
Figure BDA00028243999700000812
多分支并行卷积神经网络
Figure BDA00028243999700000813
的输入xi首先输入特征提取器
Figure BDA00028243999700000814
之后特征提取器
Figure BDA00028243999700000815
的输出结果输入ROI提取器
Figure BDA00028243999700000816
ROI提取器
Figure BDA00028243999700000817
的输出结果同时输入回归器
Figure BDA00028243999700000818
分类器
Figure BDA00028243999700000819
解码器
Figure BDA00028243999700000820
进行并行计算；分类器
Figure BDA00028243999700000821
回归器
Figure BDA00028243999700000822
解码器
Figure BDA00028243999700000823
输出结果即为多分支并行卷积神经网络
Figure BDA00028243999700000824
关于图像xi的预测结果；因此，多分支并行卷积神经网络
Figure BDA00028243999700000825
用于建立路面图像数据集X中图像xi和其对应的三种标签Bi、Ci、Si之间的映射关系，即
Figure BDA00028243999700000826
其中，
Figure BDA00028243999700000827
是回归器
Figure BDA00028243999700000828
的输出结果；具体的，
Figure BDA00028243999700000829
是
Figure BDA00028243999700000830
预测的xi中ni个路面病害区域的位置，用病害区域的边界框表示；
Figure BDA00028243999700000831
是
Figure BDA00028243999700000832
预测的第j个路面病害区域的边界框，j＝1,...,ni；
Figure BDA00028243999700000833
和
Figure BDA00028243999700000834
分别为预测的边界框
Figure BDA00028243999700000835
的长和宽，单位是像素点；
Figure BDA00028243999700000836
为预测的边界框
Figure BDA00028243999700000837
中心点在图像xi中的坐标位置。
其中，
Figure BDA00028243999700000838
是分类器
Figure BDA00028243999700000839
的输出结果；具体的，
Figure BDA00028243999700000840
是
Figure BDA00028243999700000841
预测的病害边界框所包围的路面病害类型的概率分布；
Figure BDA00028243999700000842
是图像xi中第j个路面病害区域边界框的病害类型的概率分布；pi,j,l是图像xi中第j个路面病害区域边界框属于ωl类病害的概率；
Figure BDA0002824399970000091
是病害类型集，与步骤1一致。
其中，
Figure BDA0002824399970000092
是解码器
Figure BDA0002824399970000093
的输出结果；具体的，
Figure BDA0002824399970000094
是
Figure BDA0002824399970000095
预测的xi中ni个病害边界框的像素级图像分割结果；
Figure BDA0002824399970000096
是
Figure BDA0002824399970000097
预测的图像xi中第j个路面病害区域边界框内所有像素点类别的概率分布集合；
Figure BDA0002824399970000098
表示图像xi中第j个路面病害区域边界框内像素点个数；
Figure BDA0002824399970000099
是
Figure BDA00028243999700000910
预测的图像xi中第j个路面病害区域边界框内第k个像素点的概率分布；
Figure BDA00028243999700000911
第k个像素点属于ωl'类的概率；
Figure BDA00028243999700000912
是像素点类别集，与步骤2一致。
其中，特征提取器
Figure BDA00028243999700000913
的输入是路面图像数据集
Figure BDA00028243999700000914
的一张图像；以图像数据集X中第i张图像xi为例；特征提取器
Figure BDA00028243999700000915
的输出结果是xi的特征图fi；输入和输出之间包括若干个卷积层和池化层；本实施例中特征提取器
Figure BDA00028243999700000916
的卷积层和池化层数量及各层信息如表1所示；因此，特征提取器
Figure BDA00028243999700000917
可描述为xi和fi的映射关系
Figure BDA00028243999700000918
其中，ROI提取器
Figure BDA00028243999700000919
的输入是xi的特征图fi，输出结果是特征图fi的ni个子区域集合
Figure BDA00028243999700000920
ni是图像xi包含的路面病害区域的个数；输入和输出之间包括若干个全连接层，本实施例中ROI提取器
Figure BDA00028243999700000921
的全连接层数量及各层信息如表2所示；因此，ROI提取器
Figure BDA00028243999700000922
可描述为特征图fi和ni个特征图子区域集合
Figure BDA00028243999700000923
的映射关系
Figure BDA00028243999700000924
其中，回归器
Figure BDA00028243999700000925
的输入是特征图子区域集合
Figure BDA00028243999700000926
输出结果是
Figure BDA00028243999700000927
预测的xi中ni个路面病害区域的位置
Figure BDA00028243999700000928
输入和输出之间包括若干个卷积层、池化层、全连接层、回归层；本实施例中回归器
Figure BDA00028243999700000929
的卷积层、池化层、全连接层数量及各层信息如表3所示。
其中，分类器
Figure BDA00028243999700000930
的输入是特征图子区域集合
Figure BDA00028243999700000931
输出结果是
Figure BDA00028243999700000932
预测的病害边界框所包围的路面病害的类型概率分布
Figure BDA00028243999700000933
输入和输出之间包括若干个卷积层、池化层、全连接层、softmax层；本实施例中分类器
Figure BDA00028243999700000934
的卷积层、池化层、全连接层数量及各层信息如表4所示。
其中，解码器
Figure BDA0002824399970000101
的输入是特征图子区域集合
Figure BDA0002824399970000102
输出结果是
Figure BDA0002824399970000103
预测的xi中ni个路面病害区域边界框的像素级图像分割结果
Figure BDA0002824399970000104
输入和输出之间包括若干个反卷积层和1个softmax层；本实施例中解码器
Figure BDA0002824399970000105
的卷积层、池化层、反卷积层数量及各层信息如表5所示。
表1特征提取器
Figure BDA0002824399970000106
的结构参数
Figure BDA0002824399970000107
表2 ROI提取器
Figure BDA0002824399970000108
的结构参数
Figure BDA0002824399970000109
表3回归器
Figure BDA00028243999700001010
的结构参数
Figure BDA00028243999700001011
Figure BDA0002824399970000111
表4分类器
Figure BDA0002824399970000112
的结构参数
Figure BDA0002824399970000113
表5解码器
Figure BDA0002824399970000114
的结构参数
Figure BDA0002824399970000115
步骤5，使用梯度下降法训练多分支并行卷积神经网络
Figure BDA0002824399970000116
调整包括特征提取器
Figure BDA0002824399970000117
ROI提取器
Figure BDA0002824399970000118
回归器
Figure BDA0002824399970000119
分类器
Figure BDA00028243999700001110
解码器
Figure BDA00028243999700001111
中各个结构层的权值和偏值；具体步骤如下：
随机赋予
Figure BDA00028243999700001112
中各个部分的各个结构层的权值和偏值；本实施例采用层序单元方差初始化的权值和偏值赋值方法；
随机选取步骤3中训练集D中的一个样本，以为di＝(xi,Bi,Ci,Si)例；
将di中的图像xi的输入
Figure BDA00028243999700001113
进行步骤4操作，获得
Figure BDA00028243999700001114
关于图像xi的映射结果
Figure BDA00028243999700001115
采用公式-计算映射结果
Figure BDA0002824399970000121
和样本di标签(Bi,Ci,Si)之间的偏差
Figure BDA0002824399970000122
Figure BDA0002824399970000123
Figure BDA0002824399970000124
Figure BDA0002824399970000125
Figure BDA0002824399970000126
Figure BDA0002824399970000127
式中所有符号定义与上述步骤1-4相同。
依据步骤计算得到的偏差
Figure BDA0002824399970000128
使用链导法则计算回归器
Figure BDA0002824399970000129
分类器
Figure BDA00028243999700001210
解码器
Figure BDA00028243999700001211
中各个结构层权重和偏值的梯度；再依据梯度，调整各个结构层权重和偏值；上述过程中的梯度计算以及权重和偏值调整方法和传统神经网络的卷积层、池化层、反卷积层的梯度计算以及权重和偏值调整方法相同。
依据步骤计算得到的偏差
Figure BDA00028243999700001212
使用链导法则分别计算回归器
Figure BDA00028243999700001213
分类器
Figure BDA00028243999700001214
解码器
Figure BDA00028243999700001215
对特征图子区域集合
Figure BDA00028243999700001216
的偏导，分别记为
Figure BDA00028243999700001217
Figure BDA00028243999700001218
和
Figure BDA00028243999700001219
上述过程中的偏导计算和传统神经网络的偏导计算方法相同。
计算
Figure BDA00028243999700001220
和
Figure BDA00028243999700001221
的平均值作为特征提取器
Figure BDA0002824399970000131
的关于输出特征图的偏差，将偏差输入特征提取器
Figure BDA0002824399970000132
中计算其各个结构层权重和偏值的梯度；再依据梯度，调整各个结构层权重和偏值；上述过程中的梯度计算以及权重和偏值调整方法和传统神经网络的卷积层、池化层的梯度计算以及权重和偏值调整方法相同。
重复上述-步骤直至
Figure BDA0002824399970000133
此时的多分支并行卷积神经网络
Figure BDA0002824399970000134
即为训练完成的多分支并行卷积神经网络，记为
Figure BDA0002824399970000135
图4为本发明实施例训练过程中
Figure BDA0002824399970000136
迭代次数曲线。
步骤6，给定待检测沥青路面区域，采集路面图像；将全部路面图像分别输入训练完成的多分支并行卷积神经网络
Figure BDA0002824399970000137
获得待检测沥青路面区域内每张路面图像的计算结果；图5为本发明实施例计算结果示例；每张图像计算得到的边界框尺寸用于表征图像内对应病害的尺寸信息，计算得到的边界框坐标用于表征图像内对应病害的位置信息，计算得到的边界框类型用于表征图像内对应病害的类型信息，计算得到的边界框内的病害分割结果用于表征对应病害的形态信息；统计上述计算结果可得到待检测沥青路面区域内的全部病害信息，为路面养护提供数据支持。
最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (10)

1.一种基于多分支并行卷积神经网络的沥青路面病害检测方法，其特征在于，包括：
采集路面图像，建立路面图像数据集；
根据路面图像数据集制作路面图像数据集的三种图像标签；
根据路面图像数据集和路面图像数据集的三种图像标签建立多分支并行卷积神经网络的训练集；
根据多分支并行卷积神经网络的训练集建立多分支并行卷积神经网络
Figure FDA0002824399960000011
训练多分支并行卷积神经网络
Figure FDA0002824399960000012
对多分支并行卷积神经网络
Figure FDA0002824399960000013
中各个结构层的权值和偏值进行调整；
根据训练完成的多分支并行卷积神经网络
Figure FDA0002824399960000014
得到沥青路面病害检测结果。
2.根据权利要求1所述的一种基于多分支并行卷积神经网络的沥青路面病害检测方法，其特征在于，记所述路面图像数据集为
Figure FDA0002824399960000015
N是路面图像数量，N>2000；xi是路面图像数据集X中第i张图像；图像xi包含了ni个路面病害区域，每个路面病害类型属于病害类型集
Figure FDA0002824399960000016
ωl是第l种路面病害，l＝1,…,M；M是病害类型总数。
3.根据权利要求2所述的一种基于多分支并行卷积神经网络的沥青路面病害检测方法，其特征在于，记所述路面图像数据集的三种图像标签为第一种标签、第二种标签和第三种标签；
第一种标签用于描述图像xi中病害位置的边界框标签
Figure FDA0002824399960000017
第j个路面病害区域用边界框
Figure FDA0002824399960000018
包围，j＝1,…,ni；
Figure FDA0002824399960000019
和
Figure FDA00028243999600000110
分别为边界框
Figure FDA00028243999600000111
的长和宽，单位是像素点；
Figure FDA00028243999600000112
为边界框
Figure FDA00028243999600000113
中心点在图像xi中的坐标位置；
第二种标签是用于描述图像xi中病害边界框所包围病害类型的标签
Figure FDA00028243999600000114
Figure FDA00028243999600000115
是图像xi中第j个边界框所包围区域的病害类型，
Figure FDA00028243999600000116
第三种标签是用于描述图像xi中病害边界框所包围区域内所有像素点类别的签标
Figure FDA00028243999600000117
Figure FDA00028243999600000118
是图像xi中第j个边界框所包围区域内所有像素点的类别标签集合；
Figure FDA0002824399960000021
表示图像xi中第j个边界框所包围区域内像素点个数，si,j,k∈Ω'表示图像xi中第j个边界框所包围区域内第k个像素点的类别标签；
Figure FDA0002824399960000022
是像素点类别集；ωl'为表示像素点属于第l’种路面病害区域内的像素点，l'＝1,…,M；ωl'和ωl∈Ω的病害类型逐一对应；ωM+1∈Ω'表示像素点是沥青路面背景像素点；
记所述多分支并行卷积神经网络的训练集为
Figure FDA0002824399960000023
di＝(xi,Bi,Ci,Si)。
4.根据权利要求3所述的一种基于多分支并行卷积神经网络的沥青路面病害检测方法，其特征在于，所述多分支并行卷积神经网络
Figure FDA0002824399960000024
包括一个特征提取器
Figure FDA0002824399960000025
一个感兴趣区域提取器
Figure FDA0002824399960000026
一个回归器
Figure FDA0002824399960000027
一个分类器
Figure FDA0002824399960000028
和一个解码器ε；所述多分支并行卷积神经网络
Figure FDA0002824399960000029
的输入xi首先输入特征提取器
Figure FDA00028243999600000210
之后特征提取器
Figure FDA00028243999600000211
的输出结果输入感兴趣区域提取器
Figure FDA00028243999600000212
感兴趣区域提取器
Figure FDA00028243999600000213
的输出结果同时输入回归器
Figure FDA00028243999600000214
分类器
Figure FDA00028243999600000215
和解码器ε进行并行计算；分类器
Figure FDA00028243999600000216
回归器
Figure FDA00028243999600000217
和解码器ε输出结果即为所述多分支并行卷积神经网络
Figure FDA00028243999600000218
关于图像xi的预测结果；因此，多分支并行卷积神经网络
Figure FDA00028243999600000219
用于建立路面图像数据集X中图像xi和其对应的三种标签集Bi、Ci和Si之间的映射关系，即
Figure FDA00028243999600000220
5.根据权利要求4所述的一种基于多分支并行卷积神经网络的沥青路面病害检测方法，其特征在于，特征提取器
Figure FDA00028243999600000221
的输入是路面图像数据集
Figure FDA00028243999600000222
的第i张图像xi；特征提取器
Figure FDA00028243999600000223
的输出结果是xi的特征图fi；特征提取器
Figure FDA00028243999600000224
的输入和输出之间包括若干个卷积层和池化层；卷积层和池化层的个数依据检测需求决定；每个卷积层的卷积核的个数依据检测需求决定；因此，特征提取器
Figure FDA00028243999600000225
可描述为xi和fi的映射关系
Figure FDA00028243999600000226
6.根据权利要求5所述的一种基于多分支并行卷积神经网络的沥青路面病害检测方法，其特征在于，感兴趣区域提取器
Figure FDA00028243999600000227
的输入是xi的特征图fi，感兴趣区域提取器
Figure FDA00028243999600000228
的输出结果是特征图fi的ni个子区域集合
Figure FDA00028243999600000229
ni是图像xi包含的路面病害区域的个数；感兴趣区域提取器
Figure FDA00028243999600000230
的输入和输出之间包括若干个全连接层；全连接层的个数和每个全连接层的神经元数量依据检测需求决定；因此，感兴趣区域提取器
Figure FDA0002824399960000031
的可描述为特征图fi和ni个特征图子区域集合
Figure FDA0002824399960000032
的映射关系
Figure FDA0002824399960000033
7.根据权利要求6所述的一种基于多分支并行卷积神经网络的沥青路面病害检测方法，其特征在于，回归器
Figure FDA0002824399960000034
的输入是特征图子区域集合
Figure FDA0002824399960000035
回归器
Figure FDA0002824399960000036
的输出结果是多分支并行卷积神经网络
Figure FDA0002824399960000037
预测的xi中ni个路面病害区域的位置
Figure FDA0002824399960000038
回归器
Figure FDA0002824399960000039
的输入和输出之间包括若干个卷积层、池化层、全连接层和回归层；卷积层、池化层和全连接层的个数依据检测需求决定；每个卷积层的卷积核的个数依据检测需求决定；每个全连接层的神经元数量依据检测需求决定；回归层数量为1。
8.根据权利要求7所述的一种基于多分支并行卷积神经网络的沥青路面病害检测方法，其特征在于，分类器
Figure FDA00028243999600000310
的输入是特征图子区域集合
Figure FDA00028243999600000311
分类器
Figure FDA00028243999600000312
的输出结果是多分支并行卷积神经网络
Figure FDA00028243999600000313
预测的病害边界框所包围的路面病害的类型概率分布
Figure FDA00028243999600000314
分类器
Figure FDA00028243999600000315
的输入和输出之间包括若干个卷积层、池化层、全连接层和softmax层；卷积层、池化层和全连接层的个数依据检测需求决定；每个卷积层的卷积核的个数依据检测需求决定；每个全连接层的神经元数量依据检测需求决定；softmax层数量为1。
9.根据权利要求8所述的一种基于多分支并行卷积神经网络的沥青路面病害检测方法，其特征在于，解码器ε的输入是特征图子区域集合
Figure FDA00028243999600000316
解码器ε的输出结果是多分支并行卷积神经网络
Figure FDA00028243999600000317
预测的xi中ni个路面病害区域边界框的像素级图像分割结果
Figure FDA00028243999600000318
解码器ε的输入和输出之间包括若干个反卷积层和1个softmax层；反卷积层数量及每个反卷积层的卷积核的个数依据检测需求决定。
10.根据权利要求9所述的一种基于多分支并行卷积神经网络的沥青路面病害检测方法，其特征在于，采用梯度下降法训练多分支并行卷积神经网络
Figure FDA00028243999600000319
对多分支并行卷积神经网络
Figure FDA00028243999600000320
中各个结构层的权值和偏值进行调整，具体包括如下步骤：
随机赋予多分支并行卷积神经网络
Figure FDA0002824399960000041
中各个部分的各个结构层的权值和偏值；
随机选取多分支并行卷积神经网络的训练集D中的一个样本di＝(xi,Bi,Ci,Si)；
将di中的图像xi的输入多分支并行卷积神经网络
Figure FDA0002824399960000042
获得多分支并行卷积神经网络
Figure FDA0002824399960000043
关于图像xi的映射结果
Figure FDA0002824399960000044
计算映射结果
Figure FDA0002824399960000045
i和样本di标签(Bi,Ci,Si)之间的偏差
Figure FDA0002824399960000046
具Si体计算公式如下：
Figure FDA0002824399960000047
Figure FDA0002824399960000048
Figure FDA0002824399960000049
Figure FDA00028243999600000410
Figure FDA00028243999600000411
Figure FDA00028243999600000412
依据步骤计算得到的偏差
Figure FDA00028243999600000413
使用链导法则计算回归器
Figure FDA00028243999600000414
分类器
Figure FDA00028243999600000415
和解码器ε中各个结构层权重和偏值的梯度；再依据梯度，调整各个结构层权重和偏值；
依据步骤计算得到的偏差
Figure FDA00028243999600000416
使用链导法则分别计算回归器
Figure FDA00028243999600000417
分类器
Figure FDA00028243999600000418
和解码器ε对特征图子区域集合
Figure FDA00028243999600000419
的偏导，分别记为
Figure FDA00028243999600000420
和
Figure FDA00028243999600000421
计算
Figure FDA0002824399960000051
和
Figure FDA0002824399960000052
的平均值作为特征提取器
Figure FDA0002824399960000053
的关于输出特征图的偏差，将偏差输入特征提取器
Figure FDA0002824399960000054
中计算其各个结构层权重和偏值的梯度；再依据梯度，调整各个结构层权重和偏值；
重复上述步骤至步骤，直至
Figure FDA0002824399960000055
此时的多分支并行卷积神经网络
Figure FDA0002824399960000056
即为训练完成的多分支并行卷积神经网络，记为
Figure FDA0002824399960000057
CN202011425015.4A 2020-12-08 2020-12-08 基于多分支并行卷积神经网络的沥青路面病害检测方法 Active CN112489026B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011425015.4A CN112489026B (zh) 2020-12-08 2020-12-08 基于多分支并行卷积神经网络的沥青路面病害检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011425015.4A CN112489026B (zh) 2020-12-08 2020-12-08 基于多分支并行卷积神经网络的沥青路面病害检测方法

Publications (2)

Publication Number Publication Date
CN112489026A true CN112489026A (zh) 2021-03-12
CN112489026B CN112489026B (zh) 2023-08-18

Family

ID=74940524

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011425015.4A Active CN112489026B (zh) 2020-12-08 2020-12-08 基于多分支并行卷积神经网络的沥青路面病害检测方法

Country Status (1)

Country Link
CN (1) CN112489026B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113240623A (zh) * 2021-03-18 2021-08-10 中国公路工程咨询集团有限公司 一种路面病害检测方法及装置
CN113591606A (zh) * 2021-07-08 2021-11-02 武汉理工大学 沥青路面隐藏病害识别方法、装置、电子设备及存储介质
CN114663449A (zh) * 2022-05-25 2022-06-24 深圳思谋信息科技有限公司 道路病害面积计算方法、装置、计算机设备和存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180232883A1 (en) * 2017-02-13 2018-08-16 Amit Sethi Systems & Methods for Computational Pathology using Points-of-interest
CN108573491A (zh) * 2017-03-10 2018-09-25 南京大学 一种基于机器学习的三维超声图像分割方法
CN110390256A (zh) * 2019-05-29 2019-10-29 广东建科交通工程质量检测中心有限公司 一种沥青路面裂缝提取方法
CN110415233A (zh) * 2019-07-26 2019-11-05 东南大学 基于两步卷积神经网络的路面裂缝快速提取方法
CN110717903A (zh) * 2019-09-30 2020-01-21 天津大学 一种利用计算机视觉技术进行农作物病害检测的方法
CN110827273A (zh) * 2019-11-14 2020-02-21 中南大学 一种基于区域卷积神经网络的茶叶病害检测方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180232883A1 (en) * 2017-02-13 2018-08-16 Amit Sethi Systems & Methods for Computational Pathology using Points-of-interest
CN108573491A (zh) * 2017-03-10 2018-09-25 南京大学 一种基于机器学习的三维超声图像分割方法
CN110390256A (zh) * 2019-05-29 2019-10-29 广东建科交通工程质量检测中心有限公司 一种沥青路面裂缝提取方法
CN110415233A (zh) * 2019-07-26 2019-11-05 东南大学 基于两步卷积神经网络的路面裂缝快速提取方法
CN110717903A (zh) * 2019-09-30 2020-01-21 天津大学 一种利用计算机视觉技术进行农作物病害检测的方法
CN110827273A (zh) * 2019-11-14 2020-02-21 中南大学 一种基于区域卷积神经网络的茶叶病害检测方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
JIANMING ZHANG 等: "Concrete Cracks Detection Based on FCN with Dilated Convolution", 《APPLIED SCIENCES》 *
沙爱民 等: "基于卷积神经网络的路表病害识别与测量", 《中国公路学报》, vol. 31, no. 1 *
沙爱民 等: "基于级联卷积神经网络的公路路基病害识别", 《长安大学学报（自然科学版）》, vol. 39, no. 2 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113240623A (zh) * 2021-03-18 2021-08-10 中国公路工程咨询集团有限公司 一种路面病害检测方法及装置
CN113240623B (zh) * 2021-03-18 2023-11-07 中国公路工程咨询集团有限公司 一种路面病害检测方法及装置
CN113591606A (zh) * 2021-07-08 2021-11-02 武汉理工大学 沥青路面隐藏病害识别方法、装置、电子设备及存储介质
CN113591606B (zh) * 2021-07-08 2024-06-04 武汉理工大学 沥青路面隐藏病害识别方法、装置、电子设备及存储介质
CN114663449A (zh) * 2022-05-25 2022-06-24 深圳思谋信息科技有限公司 道路病害面积计算方法、装置、计算机设备和存储介质

Also Published As

Publication number Publication date
CN112489026B (zh) 2023-08-18

Similar Documents

Publication Publication Date Title
CN110660052B (zh) 一种基于深度学习的热轧带钢表面缺陷检测方法
CN112489026A (zh) 基于多分支并行卷积神经网络的沥青路面病害检测方法
König et al. Optimized deep encoder-decoder methods for crack segmentation
CN107316064B (zh) 一种基于卷积神经网络的沥青路面裂缝分类识别方法
CN108346144B (zh) 基于计算机视觉的桥梁裂缝自动监测与识别方法
CN107423760A (zh) 基于预分割和回归的深度学习目标检测方法
CN108038846A (zh) 基于多层卷积神经网络的输电线路设备图像缺陷检测方法及系统
CN109978032B (zh) 基于空间金字塔空洞卷积网络的桥梁裂缝检测方法
CN108875794A (zh) 一种基于迁移学习的图像能见度检测方法
CN108564589A (zh) 一种基于改进全卷积神经网络的植物叶片分割方法
CN110751644B (zh) 道路表面裂纹检测方法
CN111860106B (zh) 一种无监督的桥梁裂缝识别方法
CN111914902B (zh) 一种基于深度神经网络的中药识别与表面缺陷检测方法
CN108492298A (zh) 基于生成对抗网络的多光谱图像变化检测方法
CN113240623B (zh) 一种路面病害检测方法及装置
CN113643268A (zh) 基于深度学习的工业制品缺陷质检方法、装置及存储介质
CN106650823A (zh) 一种基于概率极限学习机集成的泡沫镍表面缺陷分类方法
Han et al. Vision-based crack detection of asphalt pavement using deep convolutional neural network
CN116029980A (zh) 一种基于改进SegNet的沥青路面损坏检测及评估方法
CN112258490A (zh) 基于光学和红外图像融合的低发射率涂层智能探损方法
CN115937518A (zh) 一种基于多源图像融合的路面病害识别方法及系统
CN116128839A (zh) 晶圆缺陷识别方法、装置、电子设备以及存储介质
CN115170520A (zh) 一种基于结构对比信息叠层的金属网栅缺陷检测方法
CN117291913B (zh) 一种水工混凝土结构表观裂缝测量方法
CN111428752B (zh) 一种基于红外图像的能见度检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant