CN116109826A - 一种道路裂缝检测方法 - Google Patents

一种道路裂缝检测方法 Download PDF

Info

Publication number
CN116109826A
CN116109826A CN202310131049.XA CN202310131049A CN116109826A CN 116109826 A CN116109826 A CN 116109826A CN 202310131049 A CN202310131049 A CN 202310131049A CN 116109826 A CN116109826 A CN 116109826A
Authority
CN
China
Prior art keywords
model
module
road
crack detection
convolution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310131049.XA
Other languages
English (en)
Inventor
曹一冰
崔鹏雨
张政
赵鑫科
范欣华
郑景飚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Information Engineering University of PLA Strategic Support Force
Original Assignee
Information Engineering University of PLA Strategic Support Force
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Information Engineering University of PLA Strategic Support Force filed Critical Information Engineering University of PLA Strategic Support Force
Priority to CN202310131049.XA priority Critical patent/CN116109826A/zh
Publication of CN116109826A publication Critical patent/CN116109826A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/26Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • EFIXED CONSTRUCTIONS
    • E01CONSTRUCTION OF ROADS, RAILWAYS, OR BRIDGES
    • E01CCONSTRUCTION OF, OR SURFACES FOR, ROADS, SPORTS GROUNDS, OR THE LIKE; MACHINES OR AUXILIARY TOOLS FOR CONSTRUCTION OR REPAIR
    • E01C23/00Auxiliary devices or arrangements for constructing, repairing, reconditioning, or taking-up road or like surfaces
    • E01C23/01Devices or auxiliary means for setting-out or checking the configuration of new surfacing, e.g. templates, screed or reference line supports; Applications of apparatus for measuring, indicating, or recording the surface configuration of existing surfacing, e.g. profilographs
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02TCLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00Road transport of goods or passengers
    • Y02T10/10Internal combustion engine [ICE] based vehicles
    • Y02T10/40Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Architecture (AREA)
  • Civil Engineering (AREA)
  • Structural Engineering (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明属于计算机视觉技术领域,具体涉及一种道路裂缝检测方法。获取待检测道路的图片,并输入至道路裂缝检测模型中,得到待检测道路的裂缝检测结果;其中,道路裂缝检测模型为U形编码‑解码结构,U形编码‑解码结构中编码器提取的不同尺度的特征图分别通过各自的ASPP模块进行多视觉感受野的图层上下文信息捕获融合,将融合后的结果输入至解码器进行多尺度特征的融合处理,进而通过检测头得到语义分割结果。考虑到浅层的特征对用于裂缝检测的最终的语义分割具有较高的参考价值,因而本发明使用U形编码‑解码结构的模型。并在此基础上增加了ASPP模块,利用ASPP模块进行多种不同范围上下文信息的捕捉,提高了检测精度。

Description

一种道路裂缝检测方法
技术领域
本发明属于计算机视觉技术领域,具体涉及一种道路裂缝检测方法。
背景技术
随着我国公路总里程的不断增长,针对路面状况快速检测与维护的需求日益旺盛。道路裂缝是最常见的路面病害之一,也是公路早期病害的一种,主要包括横向裂缝、纵向裂缝、网状裂缝三种类型,尺寸通常为几毫米至几十毫米不等,如果不及时修复裂缝,会缩短路面的使用寿命、影响行车的安全性和舒适性。快速准确的道路裂缝检测算法可以快速、高效地获取大范围路面的裂缝信息,为路况分析,路面修复等工作提供数据参考。
早期的人工道路裂缝检测方法精度高、鲁棒性强,但是检测效率较低,不适合道路裂缝分布情况的大范围普查。随着计算机视觉技术的发展,产生了基于各种图像分析处理算法的裂缝检测方法。传统的方法有基于阈值分割的算法,如文Otsu类间方差算法、MET最小误差阈值法和熵阈值法等,这类阈值分割算法原理简单、速度较快、且具有明确的数学推导过程,但是通常只考虑了图像的颜色等信息,并未从语义特征上进行分割,故而鲁棒性较低,不能适应较为复杂的路面状况。随着机器学习的发展,许多机器学习的经典算法被应用到道路裂缝检测领域,如SVM支持向量机算法、结构化随机森林算法CrackForest等。这些算法在一定程度上解决了道路裂缝检测的问题,但是算法本身设计复杂,路径搜索非常耗时。
近年来,基于卷积神经网络的深度学习算法在图像分割、语义识别等计算机视觉任务中表现突出,很好地平衡了算法的速度、设计难度、精度和鲁棒性,越来越多的道路裂缝检测开始使用神经网络模型。目前以神经网络算法为基础的裂缝检测方法主要有裂缝目标识别算法和裂缝分割算法两类。裂缝目标识别算法是将裂缝对象用矩形框框出,如作者为肖创柏、柏鳗晏、禹晶的《基于Faste R-CNN的缝隙检测与提取算法》基于Faster R-CNN算法实现了裂缝目标的识别与计算,作者为赵一航、宋淑彩、张博的《采用YOLOv5模型的路面裂缝检测研究》基于YOLOv5算法实现了道路全景图下的裂缝目标识别,更贴近实际应用场景,作者为李鹏程、孙立双、谢志伟等的《基于改进MobileNet-SSD的路面裂缝图像检测算法》在完成裂缝目标检测的同时实现了检测模型的轻量化,提升了模型的效率,有很强的应用价值。裂缝分割算法是将图片的每一个像素点按裂缝和非裂缝进行二分类,如作者为张晋赫、秦育罗、张在岩等的《复杂场景下农村道路裂缝分割方法》在图像分割经典模型SegNet的基础上通过引入ResNet编码器等操作提升了模型的检测精度,作者为张伯树、张志华、张洋的《改进的HRNet应用于路面裂缝分割与检测》基于高分辨率网络HRNet大大提升了模型的检测效率。除上述介绍的神经网络模型外,语义分割常用基本框架中的Encoder-Decoder结构充分融合了不同尺度的特征图,对裂缝检测有一定的分割效果,例如Unet网络,但是Unet网络中每个尺度的特征均是基于一定范围内的信息提取得到,检测效果还有待提高。
发明内容
本发明的目的在于提供一种道路裂缝检测方法,用以解决使用传统的Unet网络进行道路裂缝检测造成的检测精度不高的问题。
为解决上述技术问题,本发明提供了一种道路裂缝检测方法,获取待检测道路的图片,并输入至道路裂缝检测模型中,得到待检测道路的裂缝检测结果;其中,道路裂缝检测模型为U形编码-解码结构,U形编码-解码结构中编码器提取的不同尺度的特征图分别通过各自的ASPP模块进行多视觉感受野的图层上下文信息捕获融合,将融合后的结果输入至解码器进行多尺度特征的融合处理,进而通过检测头得到语义分割结果。
其有益效果为:考虑到裂缝的形态特征通常为细长型,浅层的特征对最终的语义分割具有较高的参考价值,因而本发明所使用的道路裂缝检测模型是一种采用U形编码-解码结构的模型,是一种基于多尺度特征与上下文信息融合的模型。而且,在U形编码-解码结构的基础上增加了ASPP模块,利用ASPP模块进行多种不同范围上下文信息的捕捉,相较于传统Unet模型更适用于裂缝检测,提高了检测精度,具有较好的应用价值。
进一步地,编码器每层的特征提取模块均包括依次连接的Conv模块和残差结构模块,残差结构模块用于进行特征提取,并解决训练过程中梯度消失问题;除最深层特征提取模块外,其余特征提取模块还包括与残差结构模块连接的池化模块,除最深层特征提取模块外的各特征提取模块通过其池化模块与下一层特征提取模块连接;残差结构模块包括多层的深度可分离卷积模块。
其有益效果为:残差结构模块使用多层的深度可分离卷积模块,可以实现模型的轻量化,在保持精度的同时降低模型的运算量、提升模型的效率。
进一步地,Conv模块由标准卷积组成或者由分层卷积、批规范化层和激活函数组成。
进一步地,训练所述道路裂缝检测模型时所使用的损失函数为融合Dice与交叉熵的损失函数,公式为:
Figure BDA0004083848870000031
式中,Loss表示损失;x[j]表示输入x在j维度上的值;class表示真值的维度;α为权值,表示Dice对Loss的影响;Dice表示Dice分数值。
其有益效果为:模型训练时采用的损失函数为融合Dice与交叉熵的损失函数,兼顾了查全率与查准率,有效缓解了数据集中正负样本不均匀的问题。
进一步地,训练所述道路裂缝检测模型需对训练集进行增广处理。
其有益效果为:考虑到道路裂缝数据集需要进行像素级别的标注,制作过程复杂度高、工作量大,因此对训练集的数据进行增广处理,使得模型在小数据集上也能实现良好的检测效果。
进一步地,所述增广处理的手段包括如下手段中的至少一种手段:
手段1,取训练集中多张图片进行裁剪和拼接处理得到新图片并加入训练集中;
手段2,对训练集中各图片进行包括随机翻转、仿射变换、裁剪拉伸、填充在内的至少一种方法进行处理;
手段3,对训练集中各图片进行添加噪声、色域变换与偏置处理。
其有益效果为:手段1的处理方式可以丰富图片的背景信息,增加样本的复杂性;手段2的处理方式可以丰富图片的纹理特征和裂缝的形态特征;手段3的处理方式可以丰富了图片的颜色特征。上述这些手段均可以提升模型的学习效果。
进一步地,道路裂缝检测模型的模型宽度和模型深度是可调整的,模型宽度表示每一层卷积层中卷积核的数量,模型深度表示残差结构模块中卷积的层数。
其有益效果为:道路裂缝检测模型的模型宽度和模型深度是可调整的使得模型可以适用于不同的情况,使得模型对不同道路的裂缝检测具有较高的可塑性。
进一步地,激活函数采用LeakyReLU。
其有益效果为:激活函数采用LeakyReLU,LeakyReLU解决了ReLU输入小于0时没有梯度导致模型学习效率不高的问题,提高了模型的训练效率。
附图说明
图1(a)是语义分割常用基本框架中的Image Pyramid结构图;
图1(b)是语义分割常用基本框架中的Encoder-Decoder结构图;
图1(c)是语义分割常用基本框架中的Deeper w.Atrous Convolution结构图;
图1(d)是语义分割常用基本框架中的Spatial Pyramid Pooling结构图;
图2是本发明所使用的深度可分离卷积结构图;
图3是本发明所使用的残差块结构图;
图4是本发明所使用的ASPP模块结构图;
图5是本发明的ASPPUnet模型结构图;
图6(1a)是使用ASPPUnet训练过程中损失结果图;
图6(1b)是使用Unet训练过程中损失结果图;
图6(2a)是使用ASPPUnet训练过程中学习速率结果图;
图6(2b)是使用Unet训练过程中学习速率结果图;
图6(3a)是使用ASPPUnet训练过程中评价指标结果图;
图6(3b)是使用Unet训练过程中评价指标结果图;
图6(4a)是使用ASPPUnet训练过程中评估结果图;
图6(4b)是使用Unet训练过程中评估结果图;
图7(1a)、图7(1b)、图7(1c)、图7(1d)是四幅不同的原始图像;
图7(2a)、图7(2b)、图7(2c)、图7(2d)是分别针对图7(1a)、图7(1b)、图7(1c)、图7(1d)使用Ground Truth模型的检测效果图;
图7(3a)、图7(3b)、图7(3c)、图7(3d)是分别针对图7(1a)、图7(1b)、图7(1c)、图7(1d)使用SegNet模型的检测效果图;
图7(4a)、图7(4b)、图7(4c)、图7(4d)是分别针对图7(1a)、图7(1b)、图7(1c)、图7(1d)使用Unet模型的检测效果图;
图7(5a)、图7(5b)、图7(5c)、图7(5d)是分别针对图7(1a)、图7(1b)、图7(1c)、图7(1d)使用DeeplabV3+模型的检测效果图;
图7(6a)、图7(6b)、图7(6c)、图7(6d)是分别针对图7(1a)、图7(1b)、图7(1c)、图7(1d)使用ASPPUnet模型的检测效果图;
图7(7a)、图7(7b)、图7(7c)、图7(7d)是分别针对图7(1a)、图7(1b)、图7(1c)、图7(1d)使用ASPPUnet-s模型的检测效果图;
图7(8a)、图7(8b)、图7(8c)、图7(8d)是分别针对图7(1a)、图7(1b)、图7(1c)、图7(1d)使用ASPPUnet-tiny模型的检测效果图;
图8(1a)、图8(1b)、图8(1c)是三幅不同的原始图像;
图8(2a)、图8(2b)、图8(2c)是分别针对图8(1a)、图8(1b)、图8(1c)使用Unet模型的Encoder输出的注意力热力图;
图8(3a)、图8(3b)、图8(3c)是分别针对图8(1a)、图8(1b)、图8(1c)使用ASPPUnet模型的Encoder输出的注意力热力图;
图8(4a)、图8(4b)、图8(4c)是分别针对图8(1a)、图8(1b)、图8(1c)使用ASPPUnet-s模型的Encoder输出的注意力热力图;
图9是本发明的数据增广的主要流图;
图10(1a)、图10(1b)、图10(1c)分别三幅不同的原始图像;
图10(2a)、图10(2b)、图10(2c)是分别对10(1a)、图10(1b)、图10(1c)进行增广处理后的效果图;
图11是本发明的方法流程图。
具体实施方式
本发明的重点在于三点,分别如下:第一,提出了一种基于编码解码神经网络模型Unet的ASPPUnet模型,并将该模型应用于道路裂缝检测中。对于该ASPPUnet模型,首先引入残差结构,可以有效避免深度神经网络学习过程中梯度消失的现象,提升模型的学习能力;其次引入ASPP模块,通过空洞卷积实现不同范围的特征融合分析;最后,在ASPPUnet模型中通过调节模型宽度、深度、是否使用深度可分离卷积等参数灵活地适应不同的应用场景、需求和设备性能。第二,针对道路裂缝数据集规模较小的情况,本发明采用动态的道路裂缝数据集增广方法,可以大大丰富数据集的多样性。第三,针对裂缝检测正负样本分布不均的问题,本发明采用融合Dice分数与交叉熵的损失函数,提升了模型的训练效果。
为使上述目的、实现上述目的技术方案及优点更加清楚明了,以下结合附图及实施例,对本发明进行进一步详细说明。
方法实施例:
本发明的一种道路裂缝检测方法实施例,其整体流程如图11所示,实施过程如下:
步骤一,构建多源裂缝数据集,并进行数据清洗、数据集划分等工作。具体过程如下:
1、使用手机、相机等工具,对路面进行拍摄,挑选出含有裂缝的图片进行裂缝像素级分割标注,构成自建数据集。
2、从互联网上获取拍摄方法、裂缝特征、标注方法相似的公开道路裂缝数据集。
3、将自建数据集与公开数据集进行整合汇编、构成一套完善的道路裂缝数据集。
4、对数据集进行审核,检查出标注错误的部分进行重新标注或者舍弃。
5、对数据治理后的数据集进行划分,按照一定比例(例如可为6:1)划分为训练集和测试集。
步骤二,构建道路裂缝检测模型(本实施例具体称为ASPPUnet模型),并利用步骤一构建的训练集和测试集对该模型进行训练和测试,并在测试通过时得到训练好的ASPPUnet模型。具体过程如下:
1、设计神经网络模型,根据裂缝数据集中各种裂缝的特征,设计所需要的模型结构,最终得到ASPPUnet模型。
ASPPUnet模型的基本框架为Encoder-Decoder结构,是语义分割的常用基本框架之一,如图1(a)~图1(d)给出了几种语义分割的常用基本框架,而本发明选择Encoder-Decoder结构(即编码-解码结构),是考虑到裂缝的形态特征通常为细长型,所以浅层的特征图对于最终的语义分割具有较高的参考价值,而Encoder-Decoder结构充分融合了不同尺度的特征图,所以基于Encoder-Decoder结构设计模型。Encoder-Decoder结构有着对称的编码解码结构,被早期的语义分割模型广泛使用,经典的语义分割模型Unet、SegNet等均为Encoder-Decoder结构。Encoder主要进行卷积与下采样操作,通过卷积进行特征的提取,通过下采样进行滤波,提高学习的效率,同时下采样也可以缩小特征图的尺寸,降低运算消耗。图像通过Encoder层即可得到不同尺度的特征图。Decoder主要进行卷积与上采样,上采样的主要目的是恢复下层特征图的尺寸,使之可以和上层的特征图进行拼接,实现多尺度特征融合。
深度可分离卷积的模块结构如图2所示。深度可分离卷积在保持精度的同时可以降低模型的运算量、提升模型的效率。深度可分离卷积通过将标准的卷积分为逐层卷积与逐点卷积进行操作,逐层卷积起到特征提取与滤波的作用,逐点卷积起到特征线性组合的作用,相比于传统的标准卷积,深度可分离卷积有效地减少了模型的参数量和运算量。
神经网络模型的学习能力受到网络深度和网络宽度的影响,宽度越大、深度越深的模型理论上学习能力更强、效果更好。然而,越深的神经网络模型在误差反向传播计算梯度时,由于误差逐层衰减导致模型浅层参数更容易发生梯度消失的现象。这大大增加了深层神经网络模型的训练难度。残差结构有效地缓解了梯度消失的现象,降低了深层神经网络模型的训练难度。同时,残差结构中的短接又可以通过特征层相加实现局部的特征融合。本发明借鉴残差结构设计了残差块结构,如图3所示,残差块中包含depth层的基本卷积模块或者是depth层的深度可分离卷积模块。
ASPP(Atrous Spatial Pyramid Pooling)模块是DeepLabv2模型在SPP(SpatialPyramid Pooling)模块思想的基础上提出的。SPP为池化金字塔结构,目的是解决带有全链接层的神经网络输入数据尺寸固定的问题,是通过在特征提取网络和全链接层中增加SPP模块实现的。ASPP为空洞空间卷积池化金字塔,是通过不同空洞率的卷积来实现不同视觉感受野内的特征的提取组合。可以使用大核卷积来扩增视觉感受野,然而扩张卷积核尺寸会带来平方增长的参数和运算量。因此本发明使用不同空洞率的空洞卷积来实现低成本扩张视觉感受野的功能。通过ASPP模块,可以以多种不同的比例捕捉图像的上下文信息。本发明的ASPP模块结构如图4所示,最后通过Dropout操作,随机擦除部分信息,迫使模型使用更加多元的信息进行推理。
在上述介绍的基础上,设计如图5所示的ASPPUnet模型,该模型以U形Encoder-Decoder结构为框架,在此基础上使用基础的Conv模块实现特征图层数的扩增,通过ResBlock(称为残差结构模块)中的depth个Conv模块进行特征提取(并能解决训练过程中梯度消失问题),最后通过ASPP模块分别对Encoder初步提取的不同尺度的特征图进行多视觉感受野的图层上下文信息捕获融合,最终Encoder输出的特征图包含丰富的特征信息与特征图上下文信息。Conv模块由标准卷积或者分层卷积加上批规范化层、激活函数层组成,激活函数采用LeakyReLU,LeakyReLU解决了ReLU输入小于0时没有梯度导致模型学习效率不高的问题,提高了模型的训练效率。而且,从图5可以看出,除最后一个ResBlock外,其余ResBlock均通过Max pool(最大池化)连接下一Conv模块。Decoder的输入为Encoder输出的特征图,通过将不同尺寸尺度的特征图逐步地进行反卷积恢复尺寸、拼接、再卷积融合等操作实现多尺度特征的融合,最终输出到Detector检测头中,通过一层卷积完成像素级的语义分割。ASPPUnet模型受3个参数的控制,分别是模型宽度Width、模型深度Depth和是否使用深度可分离卷积。模型宽度表示每一个卷积层中卷积核的数量,模型深度表示ResBlock中卷积的层数,使用深度可分离卷积可以降低模型的算力资源消耗,提升模型的效率。
2、对训练集进行动态数据增广。
为了提高模型的训练精度,需要扩大数据集的规模,但是道路裂缝数据集需要进行像素级别的标注,其制作过程复杂度高、工作量大,因此需要对训练集进行增广,采用增广后的数据集对神经网络模型ASPPUnet进行训练。训练集增广采用动态的数据集增广方式,将四张图片分布于新图片的四个角上进行裁剪和拼接,丰富图片的背景信息,提升模型的学习效果。如图9所示,首先从丰富图片的角度出发,引入Mosaic数据增广与图像平移方法,丰富图片,同时,通过Mosaic数据增强模拟路面阴影、补丁、光照不均等情况,消除不同图片光照、阴影、路面颜色等方面的差异,增加样本的复杂性;在此基础上,使用随机翻转、仿射变换、随机裁剪拉伸、填充等方法,丰富图片的纹理特征和裂缝的形态特征;最后通过高斯噪声添加、色域变换与偏置等方法丰富了图片的颜色特征。采用该方法进行数据集曾广的增广效果如图10(1a)~图10(2c)所示。
3、利用增广后的数据集对神经网络模型ASPPUnet进行训练,训练过程中需根据模型与数据特点,选用合适的损失函数、学习率、优化方法等,且在数据集上进行100批次训练,当损失没有明显下降或各项指标没有明显提升时即可停止训练。
训练模型采用的梯度方法为反向传播算法,采用Adam优化器进行梯度下降优化模型,学习率采用固定步长衰减进行动态调整,使用由大到小的多尺度初始学习率使模型在由大到小不同尺度的超平面上进行梯度下降优化。模型采用的损失函数为融合Dice与交叉熵的损失函数,兼顾了查全率与查准率,有效缓解了数据集中正负样本不均匀的问题,具体公式如下式所示。
Figure BDA0004083848870000081
式中,Loss表示损失;x[j]表示输入x在j维度上的值;class表示真值的维度;α为权值,可取α=1,表示交叉熵与Dice对Loss的影响是均衡的。
4、使用测试集评价ASPPUnet的训练效果,效果满足要求的情况下得到训练好的APPUnet模型,可以进行部署和应用。
步骤三,将训练并测试完的APPUnet模型权重进行导出和保存,并根据需求,将模型代码以及其依赖库部署到移动端、主机端、服务器端,导入训练后的模型权重,完成APPUnet模型的部署。
步骤四,进行APPUnet模型应用。具体的,获取待检测道路的图片,并输入至道路裂缝检测模型中,得到待检测道路的裂缝检测结果(即可以确定图中的哪个位置为裂缝)。
至此,介绍完毕整个道路裂缝检测方法的实施过程。下面进行实验,对本发明方法的效果进行分析与验证。
1)实验环境。硬件实验环境为Intel I9-10900K CPU,专用内存32GB,显卡为NVIDIA GeForce RTX 3090GPU;软件实验环境为Win10家庭版x64操作系统,Python的版本为3.8.13,深度学习框架Pytorch的版本为1.7.1。Unet、SegNet、Deeplabv3+和本发明设计的ASPPUnet模型均在本发明动态增广的训练集上进行训练。
2)评估方法。图像分割中常采用的评价指标有查全率(Recall)、查准率(Precision)、F分数(F-Score)、精确率(Accuracy)、Dice分数和MIoU。最终裂缝的识别结果可以分为TP、FP、TN、FN四类,TP为识别正确的正样本数,FP为识别错误的正样本数,TN为识别正确的负样本数,FN为识别错误的负样本数。以上各项指标的计算公式如下:
Figure BDA0004083848870000091
Figure BDA0004083848870000092
Figure BDA0004083848870000093
Figure BDA0004083848870000094
Figure BDA0004083848870000095
Figure BDA0004083848870000096
公式(2)和(3)分别对应模型查出裂缝的能力和查准裂缝的能力;公式(4)中α通常选取为1,即称为F1分数,是查全率和查准率的调和平均数,且等于Dice分数;公式(5)反应出模型的精确率;公式(7)反应查出裂缝与Ground Truth的交并比。
3)参数设计。训练过程中选取融合Dice-交叉熵损失函数,并选取Adam作为优化方法。
4)模型配置。ASPPUnet模型通过设置配置形成如表1所示子模型,其中ASPPUnet-s是ASPPUnet模型通过缩减模型的基本宽度和深度得到的,相比于ASPPUnet模型拥有更少的参数量和更高的效率。ASPPUnet-tiny是在ASPPUnet模型的基础上将传统卷积替换为深度可分离卷积实现的,通过深度可分离卷积模块可以大大降低模型的参数量与所需的算力,但是这样会降低模型的拟合能力,可以通过保持模型的宽度、深度保证模型有较好的拟合能力。
表1 ASPPUnet及其衍生模型参数配置
Figure BDA0004083848870000097
5)实验结果。为了检验模型最终的识别效果,使用了Unet、SegNet、Deeplabv3+等模型与ASPPUnet模型进行对比实验。ASPPUnet模型与Unet模型的训练过程对比如图6(1a)~图6(4b)所示,各模型的测试结果如表2所示,各模型的检测效果如图7(1a)~图7(8d)所示。
表2各模型在测试集上的测试结果
Figure BDA0004083848870000101
6)结果分析。由表2可知,基本的ASPPUnet模型在Dice分数、精确率、MIoU三项指标中均超过了其它模型。由图7(1a)~图7(8d)也可以看出ASPPUnet模型相较于实验中的其它模型有更好的检测效果。在此基础上,本发明进行了进一步的探究,通过Grad-CAM算法,将发明的ASPPUnet模型与对照组中效果较好的Unet模型的Encoder注意力热图进行对比,如图8(1a)~图8(4c)所示,可以发现ASPPUnet模型的Encoder模块对于裂缝部分的注意力更加集中。
综上,为了实现道路裂缝的像素级语义分割,本发明在Unet框架的基础上,引入残差结构、ASPP模块和深度可分离卷积,设计了ASPPUnet模型,通过多尺度特征和多范围上下文信息融合提升了道路裂缝的检测效果,并可以根据需求灵活调整模型的参数、控制模型的资源消耗。通过在CrackForestDataset数据集上的实验结果可知,ASPPUnet在Dice分数、精确率、MIoU等指标上均优于Unet等模型。由ASPPUnet衍生出的两种轻量模型ASPPUnet-s、ASPPUnet-tiny也取得了不错的检测效果,体现出该模型对于道路裂缝检测具有较好的效果和可塑性。

Claims (8)

1.一种道路裂缝检测方法,其特征在于,获取待检测道路的图片,并输入至道路裂缝检测模型中,得到待检测道路的裂缝检测结果;其中,道路裂缝检测模型为U形编码-解码结构,U形编码-解码结构中编码器提取的不同尺度的特征图分别通过各自的ASPP模块进行多视觉感受野的图层上下文信息捕获融合,将融合后的结果输入至解码器进行多尺度特征的融合处理,进而通过检测头得到语义分割结果。
2.根据权利要求1所述的道路裂缝检测方法,其特征在于,编码器每层的特征提取模块均包括依次连接的Conv模块和残差结构模块,残差结构模块用于进行特征提取,并解决训练过程中梯度消失问题;除最深层特征提取模块外,其余特征提取模块还包括与残差结构模块连接的池化模块,除最深层特征提取模块外的各特征提取模块通过其池化模块与下一层特征提取模块连接;残差结构模块包括多层的深度可分离卷积模块。
3.根据权利要求2所述的道路裂缝检测方法,其特征在于,Conv模块由标准卷积组成或者由分层卷积、批规范化层和激活函数组成。
4.根据权利要求1所述的道路裂缝检测方法,其特征在于,训练所述道路裂缝检测模型时所使用的损失函数为融合Dice与交叉熵的损失函数,公式为:
Figure FDA0004083848860000011
式中,Loss表示损失;x[j]表示输入x在j维度上的值;class表示真值的维度;α为权值,表示Dice对Loss的影响;Dice表示Dice分数值。
5.根据权利要求1所述的道路裂缝检测方法,其特征在于,训练所述道路裂缝检测模型需对训练集进行增广处理。
6.根据权利要求5所述的道路裂缝检测方法,其特征在于,所述增广处理的手段包括如下手段中的至少一种手段:
手段1,取训练集中多张图片进行裁剪和拼接处理得到新图片并加入训练集中;
手段2,对训练集中各图片进行包括随机翻转、仿射变换、裁剪拉伸、填充在内的至少一种方法进行处理;
手段3,对训练集中各图片进行添加噪声、色域变换与偏置处理。
7.根据权利要求2所述的道路裂缝检测方法,其特征在于,道路裂缝检测模型的模型宽度和模型深度是可调整的,模型宽度表示每一层卷积层中卷积核的数量,模型深度表示残差结构模块中卷积的层数。
8.根据权利要求3所述的道路裂缝检测方法,其特征在于,激活函数采用LeakyReLU。
CN202310131049.XA 2023-02-17 2023-02-17 一种道路裂缝检测方法 Pending CN116109826A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310131049.XA CN116109826A (zh) 2023-02-17 2023-02-17 一种道路裂缝检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310131049.XA CN116109826A (zh) 2023-02-17 2023-02-17 一种道路裂缝检测方法

Publications (1)

Publication Number Publication Date
CN116109826A true CN116109826A (zh) 2023-05-12

Family

ID=86259668

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310131049.XA Pending CN116109826A (zh) 2023-02-17 2023-02-17 一种道路裂缝检测方法

Country Status (1)

Country Link
CN (1) CN116109826A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117635953A (zh) * 2024-01-26 2024-03-01 泉州装备制造研究所 一种基于多模态无人机航拍的电力系统实时语义分割方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117635953A (zh) * 2024-01-26 2024-03-01 泉州装备制造研究所 一种基于多模态无人机航拍的电力系统实时语义分割方法
CN117635953B (zh) * 2024-01-26 2024-04-26 泉州装备制造研究所 一种基于多模态无人机航拍的电力系统实时语义分割方法

Similar Documents

Publication Publication Date Title
CN113240691B (zh) 一种基于u型网络的医学图像分割方法
CN108537191B (zh) 一种基于结构光摄像头的三维人脸识别方法
CN108334847B (zh) 一种真实场景下的基于深度学习的人脸识别方法
CN110175613A (zh) 基于多尺度特征和编解码器模型的街景图像语义分割方法
CN114495029B (zh) 一种基于改进YOLOv4的交通目标检测方法及系统
CN109801232A (zh) 一种基于深度学习的单幅图像去雾方法
Delibasoglu et al. Improved U-Nets with inception blocks for building detection
CN111597920A (zh) 一种自然场景下的全卷积单阶段的人体实例分割方法
CN111008979A (zh) 一种鲁棒的夜晚图像语义分割方法
CN116109826A (zh) 一种道路裂缝检测方法
CN110826534B (zh) 一种基于局部主成分分析的人脸关键点检测方法及系统
CN112819756A (zh) Pcb板表面缺陷检测装置及方法
CN115346068A (zh) 一种铁路货运列车螺栓丢失故障图像自动生成方法
Baoyuan et al. Research on object detection method based on FF-YOLO for complex scenes
CN111199539A (zh) 一种基于集成神经网络的裂缝检测方法
CN116012709B (zh) 一种高分辨率遥感影像建筑物提取方法及系统
CN113191367B (zh) 基于密集尺度动态网络的语义分割方法
CN115601675A (zh) 一种基于Swin-transformer与yolov5模型集成的手术器械清点方法
CN114764941A (zh) 一种表情识别方法、装置以及电子设备
CN116091946A (zh) 一种基于YOLOv5的无人机航拍图像目标检测方法
CN112990213B (zh) 一种基于深度学习的数字万用表字符识别系统和方法
CN115273009A (zh) 基于深度学习的道路裂纹检测方法及系统
CN114092844A (zh) 一种基于生成对抗网络的多波段图像目标检测方法
CN112164065A (zh) 一种基于轻量化卷积神经网络的实时图像语义分割方法
CN113192009B (zh) 一种基于全局上下文卷积网络的人群计数方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination