CN114418937B - 路面裂缝检测方法以及相关设备 - Google Patents

路面裂缝检测方法以及相关设备 Download PDF

Info

Publication number
CN114418937B
CN114418937B CN202111479083.3A CN202111479083A CN114418937B CN 114418937 B CN114418937 B CN 114418937B CN 202111479083 A CN202111479083 A CN 202111479083A CN 114418937 B CN114418937 B CN 114418937B
Authority
CN
China
Prior art keywords
crack
pavement
pavement crack
characteristic diagram
road
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111479083.3A
Other languages
English (en)
Other versions
CN114418937A (zh
Inventor
徐国胜
徐国爱
陈煜东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing University of Posts and Telecommunications
Original Assignee
Beijing University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing University of Posts and Telecommunications filed Critical Beijing University of Posts and Telecommunications
Priority to CN202111479083.3A priority Critical patent/CN114418937B/zh
Publication of CN114418937A publication Critical patent/CN114418937A/zh
Application granted granted Critical
Publication of CN114418937B publication Critical patent/CN114418937B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/047Probabilistic or stochastic networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/082Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • G06T2207/30132Masonry; Concrete

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Quality & Reliability (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本申请实施例提供一种路面裂缝检测方法以及相关设备。所述方法包括:将路面裂缝图像输入到预先构建的残差密集注意力网络;在所述第一下采样模块,对所述路面裂缝图像进行下采样处理,得到第一路面裂缝特征图;在所述残差密集注意力模块,对所述第一路面裂缝特征图进行特征权重调整,得到第二路面裂缝特征图;在所述第二下采样模块;将所述第二路面裂缝特征图进行降维处理,得到第三路面裂缝特征图;在所述降维模块,通过卷积层对所述第三路面裂缝特征图进行归一化处理,得到第四路面裂缝特征图;在所述激活函数模块,根据所述第四路面裂缝特征图,得到路面裂缝预测概率矩阵,并根据所述路面裂缝预测概率矩阵,得到路面裂缝检测结果。

Description

路面裂缝检测方法以及相关设备
技术领域
本申请涉及图像识别技术领域,尤其涉及一种路面裂缝检测方法以及相关设备。
背景技术
公路作为一种现代化的交通运输道路,在当今社会中发挥着重要的作用。公路在被投入使用后,由于自然环境破坏或日常损耗,难免会出现裂缝,裂缝是反应道路受损情况的重要标志,路面裂缝如果得不到及时的检测和修复,将影响公路使用寿命,严重时可能危及行车安全。近年来,以卷积神经网络为代表的深度学习算法,被大量研究人员应用到路面裂缝的检测任务上,其检测速度和准确度远远优于传统方法。然而,在实际工程应用场景中,由于路面背景存在复杂性(例如阴影、污渍、标线、修补等干扰)和裂缝种类存在多样性(例如浅色裂缝、模糊裂缝、潮湿裂缝、龟裂等),浅层次的卷积神经网络对于复杂路面背景下的裂缝特征表达能力较差,往往容易对模糊裂缝产生漏检测,由于污渍、标线等干扰因素,还会产生误检测。因此,对路面裂缝进行准确高效的检测,对道路安全具有重要意义。
发明内容
有鉴于此,本申请实施例的目的在于提出一种路面裂缝检测方法以及相关设备。
基于上述目的,本申请实施例提供了一种路面裂缝检测方法,包括:
将路面裂缝图像输入到预先构建的残差密集注意力网络;所述残差密集注意力网络包括:第一下采样模块、至少一个残差密集注意力模块、至少一个第二下采样模块、降维模块以及激活函数模块;
在所述第一下采样模块,对所述路面裂缝图像进行下采样处理,得到第一路面裂缝特征图;
在所述残差密集注意力模块,对所述第一路面裂缝特征图进行特征权重调整,得到第二路面裂缝特征图;
在所述第二下采样模块;将所述第二路面裂缝特征图进行降维处理,得到第三路面裂缝特征图;
在所述降维模块,通过卷积层对所述第三路面裂缝特征图进行归一化处理,得到第四路面裂缝特征图;
在所述激活函数模块,根据所述第四路面裂缝特征图,得到路面裂缝预测概率矩阵,并根据所述路面裂缝预测概率矩阵,得到路面裂缝检测结果。
基于同一发明构思,本申请实施例还提供了一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现如上述任意一项所述的路面裂缝检测方法。
基于同一发明构思,本申请实施例还提供了一种非暂态计算机可读存储介质,所述非暂态计算机可读存储介质存储计算机指令,所述计算机指令用于使所述计算机执行上述任意一项所述的路面裂缝检测方法。
从上面所述可以看出,本申请实施例提供的一种路面裂缝检测方法,通过预先构建的残差密集注意力网络,在第一下采样模块中对路面裂缝图进行下采样以提取重要特征,在残差密集注意力模块中调整通道注意力和空间注意力权重,以增强路面特征图的信息传递,进一步改善深度卷积神经网络训练过程中的梯度消失问题,由于在残差密集注意力模块中路面特征图会不断叠加,使得传递特征维度不断增大,会导致网络参数的冗余,进一步地,通过第二下采样模块对残差密集注意力模块输出的路面特征图进行降维处理以减少计算量,在降维模块,移除了分类网络最后的全连接层,而是采用卷积层将路面特征图进行降维,提高了对路面裂缝局部特征的识别效率,在激活函数模块中,将路面特征图转换成路面裂缝预测概率矩阵,并根据所述路面裂缝预测概率矩阵,进行对路面裂缝的判断。本申请提供的路面裂缝检测方法,可以对路面背景复杂性、裂缝种类多样和裂缝特征表达能力较差的路面进行准确高效的检测,为道路检测工作提供了便利,有效地保障了生活中车辆行驶和行人的安全。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例的路面裂缝检测方法流程示意图。
图2为本申请实施例的残差密集注意力单元结构示意图。
图3为本申请实施例的残差密集注意力网络结构示意图。
图4为本申请实施例的不同深度和规模的残差密集注意力网络示意图。
图5为本申请实施例的不同深度和规模的残差密集注意力网络的实验结果示意图。
图6为本申请实施例在CFD仿真公开数据集上的实验结果的示意图。
图7为本申请实施例在AigleRN仿真公开数据集上的实验结果的示意图。
图8为本申请实施例在CRACK500仿真公开数据集上的实验结果的示意图。
图9为本申请实施例的电子设备结构示意图。
具体实施方式
为使本申请目的、技术方案和优点更加清楚明白,以下结合具体实施例,并参照附图,对本申请进一步详细说明。
需要说明的是,除非另外定义,本申请实施例使用的技术术语或者科学术语应当为本申请所属领域内具有一般技能的人士所理解的通常意义。本申请实施例中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性,而只是用来区分不同的组成部分。“包括”或者“包含”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同,而不排除其他元件或者物件。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接,而是可以包括电性的连接,不管是直接的还是间接的。“上”、“下”、“左”、“右”等仅用于表示相对位置关系,当被描述对象的绝对位置改变后,则该相对位置关系也可能相应地改变。
如背景技术部分所述,裂缝是反映道路受损情况的重要标志,而随着我国道路交通系统的日益发展,路面裂缝检测对于道路的日常检修和维护来说是一项非常重要的任务。目前路面裂缝检测最具代表性的方法主要是机器学习和深度学习方法,但是,机器学习方法依赖于人为对特征提取策略的设计,对于路面背景复杂、干扰因素较多的情况,往往难以拟合复杂路面背景下不同的裂缝类型,不具备较强的表征能力。对于深度学习算法来说,对于基于像素级标记的方法,往往需要非常高的标注成本,在实际工业场景中难以应用。
针对于此,本申请实施例提供的一种路面裂缝检测方法,通过预先构建的残差密集注意力网络,在第一下采样模块中对路面裂缝图进行下采样以提取重要特征,在残差密集注意力模块中调整通道注意力和空间注意力权重,以增强路面特征图的信息传递,进一步改善深度卷积神经网络训练过程中的梯度消失问题,由于在残差密集注意力模块中路面特征图会不断叠加,使得传递特征维度不断增大,会导致网络参数的冗余,进一步地,通过第二下采样模块对残差密集注意力模块输出的路面特征图进行降维处理以减少计算量,在降维模块,移除了分类网络最后的全连接层,而是采用卷积层将路面特征图进行降维,提高了对路面裂缝局部特征的识别效率,在激活函数模块中,将路面特征图转换成路面裂缝预测概率矩阵,并根据所述路面裂缝预测概率矩阵,进行对路面裂缝的判断。本申请提供的路面裂缝检测方法,可以对路面背景复杂性、裂缝种类多样和裂缝特征表达能力较差的路面进行准确高效的检测,为道路检测工作提供了便利,有效地保障了生活中车辆行驶和行人的安全。
以下,通过具体的实施例进一步详细说明本申请的技术方案。
参考图1,为本申请实施例的路面裂缝检测方法流程示意图,包括以下步骤:
步骤S101,将路面裂缝图像输入到预先构建的残差密集注意力网络;所述残差密集注意力网络包括:第一下采样模块、至少一个残差密集注意力模块、至少一个第二下采样模块、降维模块以及激活函数模块。
在具体实施中,当所述残差密集注意力模块和所述第二下采样模块均多于一个时,所述残差密集注意力模块与所述第二下采样模块是依次交替设置的。
步骤S102,在所述第一下采样模块,对所述路面裂缝图像进行下采样处理,得到第一路面裂缝特征图。
在本申请实施例中,第一下采样模块采用大尺寸7×7卷积核,步长为2的卷积层和卷积核为3×3,步长为2最大池化层,对路面裂缝图像进行放缩以及提取重要特征,完成对路面裂缝图像的2次下采样操作。处理后得到第一路面裂缝特征图,相比于原始路面裂缝图像,感受野增大,裂缝特征的连续性提升。
步骤S103,在所述残差密集注意力模块,对所述第一路面裂缝特征图进行特征权重调整,得到第二路面裂缝特征图。
在具体实施中,残差密集注意力模块中包括至少一个残差密集注意力单元,残差密集注意力单元包括中心支路、残差支路和密集连接支路。其中,密集连接支路用于引入之前所有所述残差密集注意力模块的所述中心支路的输出与所述残差支路的输出进行元素级相加后的结果。
在本申请实施例中,如图2所示,为本申请实施例的残差密集注意力单元结构示意图,线路1为残差密集注意力单元中的中心支路,在中心支路中,对所述第一路面裂缝特征图进行通道注意力权重以及空间注意力权重的调整。
在本申请实施例中,在残差密集注意力单元头部,设置有一组瓶颈层,由格式为
Figure 795910DEST_PATH_IMAGE001
的卷积层连接组成,这样的结构可以减少参数 的同时提高计算效率。
为了详细地描述,可以把第一路面裂缝特征图记为
Figure 650734DEST_PATH_IMAGE002
,把瓶颈层的变换记为
Figure 368154DEST_PATH_IMAGE003
,把通道注意力模块Mc的变换记为
Figure 232205DEST_PATH_IMAGE004
,把空间注意力模块Ms的变换记为
Figure 780998DEST_PATH_IMAGE005
,把中心支路的输出记为
Figure 275564DEST_PATH_IMAGE006
,则中心支路的输出可由以下公式表示:
Figure 11439DEST_PATH_IMAGE007
线路2为残差密集注意力单元中的残差支路,在残差支路中,通过残差支路的线性 层
Figure 944760DEST_PATH_IMAGE008
对所述第一路面裂缝特征图进行维度调整,以使调整后的第一路面裂缝特征图的 结果与通过所述中心支路调整后的第一路面裂缝特征图的结果维度相应。
在本申请实施例中,使用卷积核为1×1的线性层
Figure 551322DEST_PATH_IMAGE008
来实现降维,以满足输出通 道的要求,把残差支路的输出记为
Figure 216789DEST_PATH_IMAGE009
,则残差支路的输出可由以下公式表示:
Figure 705540DEST_PATH_IMAGE010
线路3为残差密集注意力单元中的密集连接支路,特征图在密集连接支路的传递过程中,始终维护一个前面所有特征图的集合,每经过一个残差密集注意力单元,都会向该集合中加入中心支路的输出与残差支路的输出进行元素级相加后的结果,并且一直将这个结果集合传递下去。
这个结果集合可以表示为:
Figure 911393DEST_PATH_IMAGE011
在本申请实施例中,在整个残差密集注意力单元中,将所述通过所述中心支路调整后的第一路面裂缝特征图的结果与所述通过所述残差支路调整后的第一路面裂缝特征图的结果进行元素级相加,引入之前所有所述残差密集注意力模块的所述中心支路的输出与所述残差支路的输出进行元素级相加后的结果,得到所述第二路面裂缝特征图。
在本申请实施例中,本申请实施例把中心支路和残差支路对于第一路面裂缝特征 图
Figure 106882DEST_PATH_IMAGE012
的操作统称为
Figure 5568DEST_PATH_IMAGE013
,残差密集注意力单元的最终输出记为
Figure 716035DEST_PATH_IMAGE014
,则残差密集 注意力单元的最终输出可以表示为:
Figure 725579DEST_PATH_IMAGE015
步骤S104,在所述第二下采样模块;将所述第二路面裂缝特征图进行降维处理,得到第三路面裂缝特征图。
在本申请实施例中,如图3所示,为本申请实施例的残差密集注意力网络结构示意 图,残差密集注意力模块RDAB由一系列残差密集注意力单元RDAL相连所组成,每经过个 RDAL,前馈网络中的路面特征图维度增加
Figure 41154DEST_PATH_IMAGE016
,设进入RDAB的特征图维度为
Figure 110741DEST_PATH_IMAGE017
, 当前RDAB由N层RDAL构成,则这个RDAB的输出特征维度为
Figure 42925DEST_PATH_IMAGE018
Figure 856160DEST_PATH_IMAGE019
在本申请实施例中,随着残差密集注意力模块RDAB的增加,路面特征图维度会不断 增大,参数过多会导致计算效率低下,因此,当所述残差密集注意力模块和所述第二下采样 模块均多于一个时,将所述残差密集注意力模块与所述第二下采样模块依次交替设置,通过 所述第二下采样模块中的卷积层和平均池化层对所述第二路面裂缝特征图进行进行降维处 理。如图3中所示,第二下采样模块由格式为
Figure 557400DEST_PATH_IMAGE020
的组合构成,通过卷积核为1×1的卷积层,将通道数压缩为一半,减少参数计算量;通过步 长为2的平均池化操作,将每一个输入特征图的长和宽分别缩减为原来的一半,在池化过程 中对第二路面裂缝特征图进行下采样操作,保留更重要的特征信息。
在最后一个残差密集注意力模块RDAB处理完毕后,得到第三路面裂缝特征图。
步骤S105,在所述降维模块,通过卷积层对所述第三路面裂缝特征图进行归一化处理,得到第四路面裂缝特征图。
在具体实施中,本申请移除了分类网络最后的全连接层,而是采用1×1的卷积层将特征图维度降维为1。
步骤S106,在所述激活函数模块,根据所述第四路面裂缝特征图,得到路面裂缝预测概率矩阵,并根据所述路面裂缝预测概率矩阵,得到路面裂缝检测结果。
在具体实施中,将所述第四路面裂缝特征图中的每个子图像块的特征参数值通过激活函数映射到0~1之间,通过设定路面裂缝预测概率阈值对特征参数值进行二值化判断,当子图像块的路面裂缝预测概率值大于所述路面裂缝预测概率阈值时,则将所述子图像块的路面裂缝预测概率值标记为1赋予所述路面裂缝预测概率矩阵;当子图像块的路面裂缝预测概率值小于所述路面裂缝预测概率阈值,则将所述图像块的特征参数值标记为0赋予所述路面裂缝预测概率矩阵。
在具体实施中,对于所述路面裂缝预测概率矩阵中标记为1的元素,认为所述元素对应的所述路面裂缝图像中的位置存在裂缝;
对于所述路面裂缝预测概率矩阵中标记为0的元素,认为所述元素对应的所述路面裂缝图像中的位置不存在裂缝。
需要说明的是,对于输入是大尺寸路面裂缝图像的情况,对GPU算力的要求较高。 因此,为了减轻计算压力,本申请实施例采取单通道灰度图用于网络计算,即输入为
Figure 63468DEST_PATH_IMAGE021
。本申请实施例的实际路面数据集中,裂缝图像是按照100×100 的子图像块进行标记的,为了方便计算同时减少参数计算量,本申请实施例对原始路面裂 缝图像进行32/100倍的缩放,使得原始路面裂缝图像上的每个100×100的子图像块映射到 压缩后的32×32的子图像块上。考虑到裂缝特征的连续性,将整张路面裂缝图像作为输入, 对每个子图像块中是否包含有裂缝进行端到端的分割预测。设放缩后的图片像素大小为H ×W,则总共有H/32行,W/32列子图像块。与之相对应的,经过网络5次下采样后,原始输入路 面裂缝图像的长和宽分别变为原来的1/32,最终返回的路面裂缝预测概率矩阵尺寸为H/32 ×W/32。
如图4所示,为本申请实施例的不同深度和规模的残差密集注意力网络示意图。
根据不同的计算条件,本申请实施例设计了三种不同深度和规模的残差密集注意力网络RDAN结构,并且在不同的数据集上进行训练和测试,以验证本申请所提出的路面裂缝检测方法的效果。
在本申请实施例中,选择了Small、Medium、Large三种尺寸的残差密集注意力网络RDAN,在每种尺寸的网络中,连接了4个残差密集注意力模块,其中,每个残差密集注意力模块中分别设置3个、6个、12个以及8个残差密集注意力单元。
如图5所示,本申请实施例的不同深度和规模的残差密集注意力网络的实验结果示意图。
本申请实施例在实际路面裂缝数据集上,对各个模型进行训练和测试。从实验结果来看,本申请实施例所提出的残差密集注意力网络RDAN-Large模型获得了最高的准确率97.3640%,最高的精确率85.7000%以及最高的Dice正样本相似度78.5230%,同时也保证了较高的召回率。通过对比可以看出,对于浅层次的网络(RDAN-Small和RDAN-Medium),在添加了残差支路、通道注意力模块与空间注意力模块之后,在精确率和召回率上都取得了明显的提升,综合指标Dice正样本相似度分别提升了3.446%和3.287%;而对于较深层次的网络(RDAN-Large),精确率也由84.4080%提升到85.7000%,综合指标Dice正样本相似度提升了0.2360%。这证明了本申请实施例所提出的分割网络,对于复杂路面背景下有无裂缝的判别更加精确,具备更强的抗噪声能力。
另外,通过对比不同深度网络的实验指标,可以发现RDAN-Small网络在精确度和F1指数已经超过了原始Medium深度的DenseNet网络;同样的RDAN-Medium网络在加入残差支路、通道注意力模块与空间注意力模块之后,精确度和F1指数也达到接近原始Large深度的DenseNet网络的水平。综上所述,本申请的RDAN网络在较浅的层次即可达到或超过原始DenseNet网络较深层次的效果,同时模型大小也没有太多的增加。
为了更直观的展现各种模型的效果,本申请实施例还根据预测结果计算出了AUC值和AP值,虽然RDAN-Large网络在表中取得了最优的指标,但是RDAN-Medium网络的ROC曲线和PR曲线中,分别获得了最高的AUC值0.9499和AP值0.7994,说明在阈值改变的情况下,RDAN-Medium能够表现出更加稳定的效果。
如图6所示,为本申请实施例在CFD公开数据集上的实验结果示意图。
本申请实施例在CFD仿真公开数据集上,对各个模型进行训练预测。对各个模型进行训练和测试。在CFD仿真公开数据集上,本申请实施例所提出的RDAN-Large网络在精确率上略低于Feng-Hui提出的Pyramid,Residual,Network,而在召回率上略高于该网络,准确率和Dice正样本相似度基本持平。这是由于CFD仿真数据集的图像路面背景比较干净清晰,没有太多噪声干扰,裂缝特征也比较明显,因此采用相对简单的网络也能够取得不错的效果。
如图7所示,为本申请实施例在AigleRN公开数据集上的实验结果的示意图。
本申请实施例在AigleRN仿真公开数据集上,对各个模型进行训练预测。对各个模型进行训练和测试。从实验结果来看,本申请实施例所提出的RDAN-Large模型获得了最高的准确率95.5858%,最高的精确率89.4495%以及最高的Dice正样本相似度77.9947%。并且随着网络深度的加深,精确度提升效果越明显,进而在综合指标上取得了最好的效果。
如图8所示,为本申请实施例在CRACK500仿真公开数据集上的实验结果的示意图。
本申请实施例在提出的CRACK500仿真公开数据集上,对各个模型进行训练预测。对各个模型进行训练和测试。从实验结果来看,本申请实施例所提出的RDAN-Large模型获得了最高的准确率95.4740%,最高的精确率84.7310%以及最高的Dice正样本相似度83.1730%。相比于其他方法来说,本申请实施例的网络更加关注提升裂缝检测的精确度,同样随着网络的加深,提升效果越明显,进而在综合指标上取得了最好的效果。
基于同一发明构思,本申请实施例还提供了一种电子设备。该电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现如上任意一实施例所述的路面裂缝检测方法。
图9示出了本申请实施例所提供的一种更为具体的电子设备硬件结构示意图,该设备可以包括:处理器1010、存储器1020、输入/输出接口1030、通信接口1040和总线1050。其中处理器1010、存储器1020、输入/输出接口1030和通信接口1040通过总线1050实现彼此之间在设备内部的通信连接。
处理器1010可以采用通用的CPU(CentralProcessingUnit,中央处理器)、微处理器、应用专用集成电路(ApplicationSpecificIntegratedCircuit,ASIC)、或者一个或多个集成电路等方式实现,用于执行相关程序,以实现本说明书实施例所提供的技术方案。
存储器1020可以采用ROM(ReadOnlyMemory,只读存储器)、RAM(RandomAccessMemory,随机存取存储器)、静态存储设备,动态存储设备等形式实现。存储器1020可以存储操作系统和其他应用程序,在通过软件或者固件来实现本说明书实施例所提供的技术方案时,相关的程序代码保存在存储器1020中,并由处理器1010来调用执行。
输入/输出接口1030用于连接输入/输出模块,以实现信息输入及输出。输入输出/模块可以作为组件配置在设备中(图中未示出),也可以外接于设备以提供相应功能。其中输入设备可以包括键盘、鼠标、触摸屏、麦克风、各类传感器等,输出设备可以包括显示器、扬声器、振动器、指示灯等。
通信接口1040用于连接通信模块(图中未示出),以实现本设备与其他设备的通信交互。其中通信模块可以通过有线方式(例如USB、网线等)实现通信,也可以通过无线方式(例如移动网络、WIFI、蓝牙等)实现通信。
总线1050包括一通路,在设备的各个组件(例如处理器1010、存储器1020、输入/输出接口1030和通信接口1040)之间传输信息。
需要说明的是,尽管上述设备仅示出了处理器1010、存储器1020、输入/输出接口1030、通信接口1040以及总线1050,但是在具体实施过程中,该设备还可以包括实现正常运行所必需的其他组件。此外,本领域的技术人员可以理解的是,上述设备中也可以仅包含实现本说明书实施例方案所必需的组件,而不必包含图中所示的全部组件。
基于同一发明构思,本申请实施例还提供了一种非暂态计算机可读存储介质,所述非暂态计算机可读存储介质存储计算机指令,所述计算机指令用于使所述计算机执行日上任意一实施例所述的路面裂缝检测方法。
本实施例的计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。
所属领域的普通技术人员应当理解:以上任何实施例的讨论仅为示例性的,并非旨在暗示本申请的范围(包括权利要求)被限于这些例子;在本申请的思路下,以上实施例或者不同实施例中的技术特征之间也可以进行组合,步骤可以以任意顺序实现,并存在如上所述的本申请实施例的不同方面的许多其它变化,为了简明它们没有在细节中提供。
另外,为简化说明和讨论,并且为了不会使本申请实施例难以理解,在所提供的附图中可以示出或可以不示出与集成电路(IC)芯片和其它部件的公知的电源/接地连接。此外,可以以框图的形式示出装置,以便避免使本申请实施例难以理解,并且这也考虑了以下事实,即关于这些框图装置的实施方式的细节是高度取决于将要实施本申请实施例的平台的(即,这些细节应当完全处于本领域技术人员的理解范围内)。在阐述了具体细节(例如,电路)以描述本申请的示例性实施例的情况下,对本领域技术人员来说显而易见的是,可以在没有这些具体细节的情况下或者这些具体细节有变化的情况下实施本申请实施例。因此,这些描述应被认为是说明性的而不是限制性的。
尽管已经结合了本申请的具体实施例对本申请进行了描述,但是根据前面的描述,这些实施例的很多替换、修改和变型对本领域普通技术人员来说将是显而易见的。例如,其它存储器架构(例如,动态RAM(DRAM))可以使用所讨论的实施例。
本申请实施例旨在涵盖落入所附权利要求的宽泛范围之内的所有这样的替换、修改和变型。因此,凡在本申请实施例的精神和原则之内,所做的任何省略、修改、等同替换、改进等,均应包含在本申请的保护范围之内。

Claims (9)

1.一种路面裂缝检测方法,其特征在于,包括:
将路面裂缝图像输入到预先构建的残差密集注意力网络;所述残差密集注意力网络包括:第一下采样模块、至少一个残差密集注意力模块、至少一个第二下采样模块、降维模块以及激活函数模块;
在所述第一下采样模块,对所述路面裂缝图像进行下采样处理,得到第一路面裂缝特征图;
在所述残差密集注意力模块,对所述第一路面裂缝特征图进行特征权重调整,得到第二路面裂缝特征图,具体包括:
残差密集注意力模块中包括至少一个残差密集注意力单元,残差密集注意力单元包括中心支路、残差支路和密集连接支路;其中,密集连接支路用于引入之前所有所述残差密集注意力模块的所述中心支路的输出与所述残差支路的输出进行元素级相加后的结果;
通过所述残差密集注意力单元中的中心支路,对所述第一路面裂缝特征图进行通道注意力权重以及空间注意力权重的调整;
通过所述残差密集注意力单元中的残差支路,对所述第一路面裂缝特征图进行维度调整,以使调整后的第一路面裂缝特征图的结果与通过所述中心支路调整后的第一路面裂缝特征图的结果维度相应;
将所述通过所述中心支路调整后的第一路面裂缝特征图的结果与所述通过所述残差支路调整后的第一路面裂缝特征图的结果进行元素级相加,引入所述之前所有所述残差密集注意力模块的所述中心支路的输出与所述残差支路的输出进行元素级相加后的结果,得到所述第二路面裂缝特征图;
在所述第二下采样模块;将所述第二路面裂缝特征图进行降维处理,得到第三路面裂缝特征图;
在所述降维模块,通过卷积层对所述第三路面裂缝特征图进行归一化处理,得到第四路面裂缝特征图;
在所述激活函数模块,根据所述第四路面裂缝特征图,得到路面裂缝预测概率矩阵,并根据所述路面裂缝预测概率矩阵,得到路面裂缝检测结果。
2.根据权利要求1所述的路面裂缝检测方法,其特征在于,当所述残差密集注意力模块和所述第二下采样模块均多于一个时,所述残差密集注意力模块与所述第二下采样模块是依次交替设置的。
3.根据权利要求1所述的路面裂缝检测方法,其特征在于,在所述第一下采样模块,对所述路面裂缝图像进行下采样处理,得到第一路面裂缝特征图,具体包括:
通过所述第一下采样模块中的卷积层和最大池化层对所述路面裂缝图像进行放缩以及提取重要特征,得到第一路面裂缝特征图。
4.根据权利要求1所述的路面裂缝检测方法,其特征在于,在所述第二下采样模块;将所述第二路面裂缝特征图进行降维处理,得到第三路面裂缝特征图,具体包括:
通过所述第二下采样模块中的卷积层和平均池化层对所述第二路面裂缝特征图进行降维处理,得到第三路面裂缝特征图。
5.根据权利要求1所述的路面裂缝检测方法,其特征在于,在所述激活函数模块,根据所述第四路面裂缝特征图,得到路面裂缝预测概率矩阵,并根据所述路面裂缝预测概率矩阵,得到路面裂缝检测结果,具体包括:
将所述第四路面裂缝特征图中的每个子图像块的特征参数值通过激活函数映射到0~1之间,得到每个子图像块的路面裂缝预测概率值,再将所述每个子图像块的路面裂缝预测概率值进行组合,得到所述路面裂缝预测概率矩阵。
6.根据权利要求5所述的路面裂缝检测方法,其特征在于,将所述第四路面裂缝特征图中的每个子图像块的特征参数值通过激活函数映射到0~1之间,得到每个子图像块的路面裂缝预测概率值,再将所述每个子图像块的路面裂缝预测概率值进行组合,得到所述路面裂缝预测概率矩阵,具体包括:
设定路面裂缝预测概率阈值;
对所述每个子图像块的路面裂缝预测概率值进行二值化判断,响应于所述子图像块的路面裂缝预测概率值大于所述路面裂缝预测概率阈值,则将所述子图像块的路面裂缝预测概率值标记为1赋予所述路面裂缝预测概率矩阵;响应于所述子图像块的路面裂缝预测概率值小于所述路面裂缝预测概率阈值,则将所述图像块的特征参数值标记为0赋予所述路面裂缝预测概率矩阵。
7.根据权利要求1所述的路面裂缝检测方法,其特征在于,根据所述路面裂缝预测概率矩阵,得到路面裂缝检测结果,具体包括:
对于所述路面裂缝预测概率矩阵中标记为1的元素,认为所述元素对应的所述路面裂缝图像中的位置存在裂缝;
对于所述路面裂缝预测概率矩阵中标记为0的元素,认为所述元素对应的所述路面裂缝图像中的位置不存在裂缝。
8.一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现如权利要求1至7任意一项所述的方法。
9.一种非暂态计算机可读存储介质,其特征在于,所述非暂态计算机可读存储介质存储计算机指令,所述计算机指令用于使计算机执行权利要求1至7任意一项所述方法。
CN202111479083.3A 2021-12-06 2021-12-06 路面裂缝检测方法以及相关设备 Active CN114418937B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111479083.3A CN114418937B (zh) 2021-12-06 2021-12-06 路面裂缝检测方法以及相关设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111479083.3A CN114418937B (zh) 2021-12-06 2021-12-06 路面裂缝检测方法以及相关设备

Publications (2)

Publication Number Publication Date
CN114418937A CN114418937A (zh) 2022-04-29
CN114418937B true CN114418937B (zh) 2022-10-14

Family

ID=81265177

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111479083.3A Active CN114418937B (zh) 2021-12-06 2021-12-06 路面裂缝检测方法以及相关设备

Country Status (1)

Country Link
CN (1) CN114418937B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117409331B (zh) * 2023-12-15 2024-03-15 四川泓宝润业工程技术有限公司 一种油气管线周边环境隐患检测方法、装置及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020046213A1 (en) * 2018-08-31 2020-03-05 Agency For Science, Technology And Research A method and apparatus for training a neural network to identify cracks
CN111127468A (zh) * 2020-04-01 2020-05-08 北京邮电大学 一种道路裂缝检测方法和装置
CN111242017A (zh) * 2020-01-10 2020-06-05 北京邮电大学 一种多标线的路面裂缝识别方法、装置、设备及存储介质
CN112465748A (zh) * 2020-11-10 2021-03-09 西南科技大学 基于神经网络的裂缝识别方法、装置、设备及存储介质
CN112819762A (zh) * 2021-01-22 2021-05-18 南京邮电大学 一种基于伪孪生密集连接注意力机制的路面裂缝检测方法
CN112884747A (zh) * 2021-02-28 2021-06-01 长安大学 一种融合循环残差卷积与上下文提取器网络的自动桥梁裂缝检测系统

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111105389B (zh) * 2019-11-21 2023-12-05 天津大学 融合Gabor滤波器与卷积神经网络的路面裂缝的检测方法
US11551344B2 (en) * 2019-12-09 2023-01-10 University Of Central Florida Research Foundation, Inc. Methods of artificial intelligence-assisted infrastructure assessment using mixed reality systems
CN112819910B (zh) * 2021-01-08 2022-12-27 上海理工大学 基于双鬼注意力机制网络的高光谱图像重建方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020046213A1 (en) * 2018-08-31 2020-03-05 Agency For Science, Technology And Research A method and apparatus for training a neural network to identify cracks
CN111242017A (zh) * 2020-01-10 2020-06-05 北京邮电大学 一种多标线的路面裂缝识别方法、装置、设备及存储介质
CN111127468A (zh) * 2020-04-01 2020-05-08 北京邮电大学 一种道路裂缝检测方法和装置
CN112465748A (zh) * 2020-11-10 2021-03-09 西南科技大学 基于神经网络的裂缝识别方法、装置、设备及存储介质
CN112819762A (zh) * 2021-01-22 2021-05-18 南京邮电大学 一种基于伪孪生密集连接注意力机制的路面裂缝检测方法
CN112884747A (zh) * 2021-02-28 2021-06-01 长安大学 一种融合循环残差卷积与上下文提取器网络的自动桥梁裂缝检测系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
"Crack Identification Algorithm Based on MASK Dodging Principle and Deep Learning";Dan Xu等;《2019 Chinese Automation Congress (CAC)》;20200213;第5770-5776页 *
"一种高精度路面裂缝检测网络结构:Crack U-Net";祝一帆等;《计算机科学》;20210820;第1-10页 *

Also Published As

Publication number Publication date
CN114418937A (zh) 2022-04-29

Similar Documents

Publication Publication Date Title
CN111127468B (zh) 一种道路裂缝检测方法和装置
CN111553406B (zh) 基于改进yolo-v3的目标检测系统、方法及终端
CN112232391B (zh) 一种基于U-net网络和SC-SAM注意力机制的大坝裂缝检测方法
US9014480B2 (en) Identifying a maximally stable extremal region (MSER) in an image by skipping comparison of pixels in the region
CN111126202A (zh) 基于空洞特征金字塔网络的光学遥感图像目标检测方法
CN110059728B (zh) 基于注意力模型的rgb-d图像视觉显著性检测方法
US10062195B2 (en) Method and device for processing a picture
CN106780727B (zh) 一种车头检测模型重建方法及装置
CN105069447A (zh) 一种人脸表情的识别方法
CN111709883A (zh) 一种图像检测方法、装置及设备
CN114418937B (zh) 路面裂缝检测方法以及相关设备
KR20210024126A (ko) 특징 맵 확대 방법, 장치, 디바이스 및 컴퓨터 판독 가능 기록 매체
KR20220018467A (ko) 목표 대상 인식 방법, 장치 및 시스템
CN114841972A (zh) 基于显著性图和语义嵌入特征金字塔的输电线路缺陷识别方法
CN104463240A (zh) 一种控制列表界面的方法及装置
CN113240623A (zh) 一种路面病害检测方法及装置
CN114283343B (zh) 基于遥感卫星图像的地图更新方法、训练方法和设备
CN103106412B (zh) 薄片类介质识别方法和识别装置
CN112862706A (zh) 路面裂缝图像预处理方法、装置、电子设备及存储介质
CN111242017B (zh) 一种多标线的路面裂缝识别方法、装置、设备及存储介质
JP7348575B2 (ja) 劣化検出装置、劣化検出システム、劣化検出方法、およびプログラム
CN112215266A (zh) 一种基于小样本学习的x光图像违禁物品检测方法
CN112634382B (zh) 一种非自然对象的图像识别、替换方法和装置
CN116129257A (zh) 基于雷视融合的移动目标识别方法、装置及存储介质
CN113643173A (zh) 水印去除方法、装置、终端设备及可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant