CN113222904B - 改进PoolNet网络结构的混凝土路面裂缝检测方法 - Google Patents
改进PoolNet网络结构的混凝土路面裂缝检测方法 Download PDFInfo
- Publication number
- CN113222904B CN113222904B CN202110432301.1A CN202110432301A CN113222904B CN 113222904 B CN113222904 B CN 113222904B CN 202110432301 A CN202110432301 A CN 202110432301A CN 113222904 B CN113222904 B CN 113222904B
- Authority
- CN
- China
- Prior art keywords
- poolnet
- pavement
- network structure
- improved
- training
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 26
- 238000012549 training Methods 0.000 claims abstract description 60
- 230000009466 transformation Effects 0.000 claims abstract description 37
- 238000012360 testing method Methods 0.000 claims abstract description 16
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims abstract description 14
- 238000012545 processing Methods 0.000 claims abstract description 12
- 238000007635 classification algorithm Methods 0.000 claims abstract description 7
- 238000012216 screening Methods 0.000 claims abstract description 7
- 238000011176 pooling Methods 0.000 claims description 20
- 238000000034 method Methods 0.000 claims description 19
- 230000006870 function Effects 0.000 claims description 15
- 230000010354 integration Effects 0.000 claims description 15
- 230000007246 mechanism Effects 0.000 claims description 9
- 238000000844 transformation Methods 0.000 claims description 7
- 238000004422 calculation algorithm Methods 0.000 claims description 6
- 238000010586 diagram Methods 0.000 claims description 6
- 230000004927 fusion Effects 0.000 claims description 5
- 239000003550 marker Substances 0.000 claims description 4
- 238000005070 sampling Methods 0.000 claims description 4
- 238000013519 translation Methods 0.000 claims description 4
- 238000007499 fusion processing Methods 0.000 claims description 3
- 238000009499 grossing Methods 0.000 claims description 3
- 230000001902 propagating effect Effects 0.000 claims description 3
- 230000004913 activation Effects 0.000 claims description 2
- 238000013507 mapping Methods 0.000 claims description 2
- 238000010606 normalization Methods 0.000 claims description 2
- 238000011156 evaluation Methods 0.000 description 6
- 238000012733 comparative method Methods 0.000 description 3
- 238000013501 data transformation Methods 0.000 description 3
- 238000007689 inspection Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000003708 edge detection Methods 0.000 description 2
- 238000003709 image segmentation Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000007670 refining Methods 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
- G06T7/0008—Industrial image inspection checking presence/absence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/40—Filling a planar surface by adding surface attributes, e.g. colour or texture
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/02—Affine transformations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30132—Masonry; Concrete
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Health & Medical Sciences (AREA)
- Quality & Reliability (AREA)
- Probability & Statistics with Applications (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种改进PoolNet网络结构的混凝土路面裂缝检测方法，获取路面图像集，并筛选出具有裂缝的路面图像；基于仿射变换和非刚体变换，对所述路面图像以及对应的标注进行数据增强处理；将数据增强后的训练集输入改进PoolNet网络结构进行训练，直至迭代次数达到指定阈值或者性能指标满足应用要求，完成训练；基于测试集判断改进PoolNet网络结构是否满足应用要求，若满足，则保存改进PoolNet网络结构，若不满足，则修改数据增强和训练环境的超参数重新进行训练；使用训练好的模型进行路面裂缝检测，并对提取得到的路面裂缝使用基于连通域标记分类算法，对裂缝进行分类和严重程度的评估，准确地检测路面裂缝。
Description
技术领域
本发明涉及路面裂缝检测技术领域，尤其涉及一种改进PoolNet网络结构的混凝土路面裂缝检测方法。
背景技术
路面裂缝检测是道路巡检养护的主要工作之一，及时地检测出路面裂缝有利于及早地修补路面缺陷，保证行车安全。以人工方式去巡查路面状况不仅巡检人员存在生命危险，而且工作效率较低。自动地路面裂缝检测技术能够提高检测效率，将人员从繁重的、乏味的重复性工作解脱出来。目前，已经有许多学者在路面裂缝检测算法领域做了大量研究。
当前，越来越多的基于深度学习的路面裂缝检测方法被提出，这些方法不再是人工设计的特征外加分类器的算法流程，而是精心设计一个端到端的卷积神经网络模型实现单阶段检测裂缝。但是深度学习方法的性能依赖于标记的训练数据、设计的网络模型以及模型训练策略。目前，裂缝检测方法能够对干净的、少噪声的路面准确地提取裂缝，而在含有阴影、污点、水渍、车道线等噪声以及不均匀光照条件地复杂路面环境下，容易受到噪声影响，将与裂缝相似的噪声(比如阴影、车道线)误检测为裂缝，不能够从复杂环境中提取路面图像中鲁棒性的裂缝特征，准确地检测路面裂缝。
发明内容
本发明的目的在于提供一种改进PoolNet网络结构的混凝土路面裂缝检测方法，能够从复杂环境中提取路面图像中鲁棒性的裂缝特征，准确地检测路面裂缝。
为实现上述目的，本发明提供了一种改进PoolNet网络结构的混凝土路面裂缝检测方法，包括以下步骤：
获取路面图像集，并从所述路面图像集中筛选出具有裂缝的路面图像，同时划分为训练集和测试集；
基于仿射变换和非刚体变换，对所述路面图像以及对应的标注进行数据增强处理；
将数据增强后的所述训练集输入改进PoolNet网络结构进行训练，直至迭代次数达到指定阈值或者性能指标满足应用要求，完成训练；
基于所述测试集判断所述改进PoolNet网络结构是否满足应用要求，若满足，则保存所述改进PoolNet网络结构，若不满足，则修改数据增强和训练环境的超参数重新进行训练；
使用训练好的模型进行路面裂缝检测，并对提取得到的路面裂缝使用基于连通域标记分类算法，对裂缝进行分类和严重程度的评估。
其中，基于仿射变换和非刚体变换，对所述路面图像以及对应的标注进行数据增强处理，包括：
获取随机生成的一个随机数，并判断所述随机数是否大于执行数据增强的阈值；
若大于执行数据增强的阈值，则以反射方式取所述路面图像较长边填充图像，并以多种设定的概率值进行数据增强处理。
其中，若大于执行数据增强的阈值，则以反射方式取所述路面图像较长边填充图像，并以多种设定的概率值进行数据增强处理，包括：
大于执行数据增强的阈值，则以反射方式取所述路面图像较长边填充图像，得到一个正方形图像；
以0.2的概率添加高斯噪声；
以0.5的概率进行水平翻转；
以0.5的概率随机仿射变换，包括以32个像素内随机平移，在放缩倍数区间[-0.1,0.1]内随机放缩以及旋转角区间[-30°,30°]内随机旋转；
以0.5的概率从三种非刚体变换中随机选择执行，三种非刚体变换包括随机调整亮度和对比度、弹性变换和打乱通道。
其中，将数据增强后的所述训练集输入改进PoolNet网络结构进行训练，直至迭代次数达到指定阈值或者性能指标满足应用要求，完成训练，包括：
将数据增强后的所述训练集输入改进PoolNet网络结构，正向推理得到预测结果；
使用改进加权交叉熵损失函数计算所述预测结果与标记之间的损失值；
使用随机梯度下降算法以当前所述损失值对所述改进PoolNet网络结构权重求导，反向传播梯度，更新所述改进PoolNet网络结构权重；
直到迭代次数达到指定阈值或者性能指标满足应用要求，完成训练。
其中，将数据增强后的所述训练集输入改进PoolNet网络结构，正向推理得到预测结果，包括：
使用基于VGG-FPN作为骨干网络，提取分别缩小2倍、4倍、8倍的多尺度卷积特征图；
使用改进的金字塔池化模块提取所述训练集中的所述路面图像的底层卷积特征，再分别2倍、4倍、8倍上采样后与相同尺度的浅层特征融合；
每次多尺度特征融合过程中，使用结合注意力机制的特征整合模块来平滑不同尺度特征的差距，整合不同尺度的特征融合；
使用整合后精炼卷积特征来预测路面裂缝。
本发明的一种改进PoolNet网络结构的混凝土路面裂缝检测方法，获取路面图像集，并从所述路面图像集中筛选出具有裂缝的路面图像，同时划分为训练集和测试集；基于仿射变换和非刚体变换，对所述路面图像以及对应的标注进行数据增强处理；将数据增强后的所述训练集输入改进PoolNet网络结构进行训练，直至迭代次数达到指定阈值或者性能指标满足应用要求，完成训练；基于所述测试集判断所述改进PoolNet网络结构是否满足应用要求，若满足，则保存所述改进PoolNet网络结构，若不满足，则修改数据增强和训练环境的超参数重新进行训练；使用训练好的模型进行路面裂缝检测，并对提取得到的路面裂缝使用基于连通域标记分类算法，对裂缝进行分类和严重程度的评估，能够从复杂环境中提取路面图像中鲁棒性的裂缝特征，准确地检测路面裂缝。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的一种改进PoolNet网络结构的混凝土路面裂缝检测方法的步骤示意图。
图2是本发明提供的一种改进PoolNet网络结构的混凝土路面裂缝检测方法的流程示意图。
图3是本发明提供的改进的PoolNet网络结构。
图4是本发明提供的结合注意力机制的金字塔池化模块。
图5是本发明提供的结合注意力机制的特征整合模块。
图6是本发明提供的数据增强方法流程示意图。
图7是本发明提供的权重与样本数目占比的关系。
图8是本发明提供的图像数据变换后的结果。
图9是本发明提供的在DeepCrack、CRACK500和GAPS384数据集上检测结果图像。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
请参阅图1和图2，本发明提供一种改进PoolNet网络结构的混凝土路面裂缝检测方法，包括以下步骤：
S101、获取路面图像集，并从所述路面图像集中筛选出具有裂缝的路面图像，同时划分为训练集和测试集。
具体的，使用车载或者机载数字相机，朝着路面连续拍摄，采集路面图像集；筛选路面图像集中含有裂缝的路面图像，为了便于训练深度学习模型，将路面裂缝图像裁剪成小分辨率图像块，以多边形的形式标注路面裂缝图像并得到GroundTrue数据，构建训练数据集和测试数据集。
S102、基于仿射变换和非刚体变换，对所述路面图像以及对应的标注进行数据增强处理。
具体的，对输入训练模型的图像和标注进行同样的数据增强方法，增加训练数据的多样性，缓解模型因过拟合而降低性能。如图6所示，数据增强流程如下：
步骤2.1：生成一个0到1之间的随机小数r；
步骤2.2：如果r大于执行数据增强的阈值p，进入下一步进行数据增强操作；否则，跳过数据增强，保持输入图像。一般地，取p＝0.8；
步骤2.3：以反射方式取图像较长边填充图像，使其填充成一个正方形图像；
步骤2.4：以0.2的概率添加高斯噪声；
步骤2.5：以0.5的概率进行水平翻转；
步骤2.6：以0.5的概率随机仿射变换，包括以32个像素内随机平移，在放缩倍数区间[-0.1,0.1]内随机放缩以及旋转角区间[-30°,30°]内随机旋转；
步骤2.7：以0.5的概率从三种非刚体变换中随机选择执行，三种非刚体变换包括随机调整亮度和对比度、弹性变换和打乱通道。
数据增强是为了缓解网络模型过拟合，在训练模型阶段对训练图像进行变换，以提升模型的泛化能力。当前，路面裂缝图像较少，并且在图像中像素级地标注裂缝工作量大，公开数据集中数据量少。CNN模型直接在该数据集上训练容易发生过拟合现象，泛化性不强。因此，采用数据增强在路面裂缝检测领域是一种必要的步骤。
结合路面裂缝几何形状的特点，设计了一种图像数据增强方法，有机地组合仿射变换和非刚体变换。以反射的方式填充原图像较短边，使原图像成正方形，见图8(b)；以0.5概率对图像进行水平翻转，见图8(c)；对图像平移、放缩和旋转等仿射变换，见图8(d)；给图像加入高斯噪声；采用弹性变换、随机改变亮度和对比度、打乱通道三种非刚体变换，变换效果见图8(e),(f),(g)。最后经过变换后的图像明显与原图像不同，但具有高相似性的图像，有效地扩增训练图像，见图8(h)。
图像数据增强的一般流程为：让训练图像和对应标注图像执行同样的数据变换，再输入网络模型进行训练。改进的数据变换见表1。
表1数据增强算法
S103、将数据增强后的所述训练集输入改进PoolNet网络结构进行训练，直至迭代次数达到指定阈值或者性能指标满足应用要求，完成训练。
具体的，步骤3.1：将数据增强后原图像输入改进PoolNet网络结构；
步骤3.2：改进的PoolNet网络结构正向推理得到预测结果；
步骤3.3：以改进加权交叉熵损失函数计算预测结果与标记之间的损失值；
步骤3.4：使用随机梯度下降算法以当前损失值对改进PoolNet网络结构权重求导，反向传播梯度，更新改进PoolNet网络结构权重；
步骤3.5：迭代从步骤3.1-步骤3.4的过程，直到迭代次数达到指定次数或者性能指标满足应用要求。
步骤3.2中改进PoolNet网络结构(如图3所示)包含以下步骤：
步骤3.2.1：使用基于VGG-FPN作为骨干网络，提取分别缩小2倍、4倍、8倍的多尺度卷积特征图；
步骤3.2.2：单独引入一条由底层特征到不同尺度的浅层卷积特征的全局导向模块(Global Guide Module)，具体地，改进的金字塔池化模块(Pyramid Pooling Module)提取底层卷积特征，再分别2倍、4倍、8倍上采样后与相同尺度的浅层特征整合；
步骤3.2.3：每次多尺度特征融合过程中使用结合注意力机制的特征整合模块(FeatureAggregation Module)来平滑不同尺度特征的差距，整合不同尺度的特征融合；
步骤3.2.4：最后以整合后精炼卷积特征来预测输出结果。
其中，所述步骤3.2.2中结合注意力机制的金字塔池化模块(如图4所示)包括：
改进的金字塔池化模块在金字塔池化模块的基础上添加了全局上下文模块(Global Context Module)，以提取裂缝上下文特性。金字塔池化模块有三个并行池化分支，将输入特征分别降采样至分辨率为1×1、3×3和5×5的特征，再分别上采样恢复至输入特征图的分辨率，最后使用一个1×1卷积将特征图通道压缩到输入通道数。一般认为，被池化(降采样)至不同分辨率的特征具有不同的感受域，因此，金字塔池化模块具有整合不同感受域的能力，从而提升特征对裂缝表征能力。
全局上下文模块有构建全局上下文信息和非线性变换两个阶段，首先，输入特征被分成两个分支，一条分支使用1×1卷积将输入特征调整为HW×1×1，并使用Softmax函数将其数值规范至0-1之间的小数，得到注意力热力图，再与另一条恒等映射分支相点乘，得到C×1×1通道注意力向量；然后，注意力向量依次通过1×1卷积层、归一化层、Relu激活函数、1×1卷积层增加该变换的非线性。
在改进的金字塔池化模块中具有最小尺度的深层特征被分别引入多个较大尺度的浅层特征，为了让不同尺度特征融合更加“平滑”，在每个特征融合后接上一个结合全局上下文的特征整合模块。
其中，所述步骤3.2.3中结合注意力机制的特征整合模块(如图5所示)包括：
改进的特征整合模块在原始特征整合模块的基础上添加全局上下文模块。原始的特征整合模块有三个不同下采样倍率的并行分支，每个分支是一个平均池化、3×3卷积层和双线性插值上采样操作序列，再将三个并行分支特征以求和方式进行整合。此外，采用上述的全局上下文模块提取特征的全局信息，再与特征整合模块的结果求和，并使用3×3卷积获得最后整合特征图。
其中，所述步骤3.3中改进加权交叉熵损失函数包括：
在一张裂缝图像中裂缝像素(正样本)往往占整个图像的3％-5％，非裂缝像素(负样本)往往占95％-97％，存在着正负样本数目不平衡的问题，使用标准二值交叉熵函数(Binary Cross Entropy Function)训练改进PoolNet网络结构，计算得到损失值往往被非裂缝样本主导，难以学习到标注的裂缝样本的先验，我们在分别在正、负样本项添加权重来纠正这种不平衡，正、负样本项的权重为样本数目占比的负对数，样本数目与权重的关系如图7所示，正样本(裂缝)项的损失值因裂缝像素数目占比接近于0而拥有较大的权重，负样本(背景)项损失值因背景像素数目占比接近于1,而拥有较小的权重，实现了自适应地平衡正负样本损失值，改进的加权交叉熵损失函数如下：
其中，
y分别表示预测概率图和Ground True；
y(i)分别表示像素位置预测概率值和对应像素位置Ground True；|Y+|,|Y-|,N分别表示裂缝样本的数目，非裂缝样本的数目和概率图中样本总数。
S104、基于所述测试集判断所述改进PoolNet网络结构是否满足应用要求，若满足，则保存所述改进PoolNet网络结构，若不满足，则修改数据增强和训练环境的超参数重新进行训练。
具体的，在测试集上计算改进PoolNet网络结构的Precision、Recall和F1-score来评价其准确性；计算改进PoolNet网络结构的FLOPs和Params来评估其运行效率，如果改进PoolNet网络结构满足应用要求，则保存改进PoolNet网络结构用于提取路面裂缝，否则，修改数据增强和训练改进PoolNet网络结构的超参数重新训练。
S105、使用训练好的模型进行路面裂缝检测，并对提取得到的路面裂缝使用基于连通域标记分类算法，对裂缝进行分类和严重程度的评估。
具体的，使用训练好的模型进行路面裂缝检测，提取路面裂缝位置，并对提取的路面裂缝使用基于连通域标记分类算法，对裂缝进行分类和严重程度的评估。
为了验证提出的路面裂缝检测方法在混凝土路面图像中准确性，本发明在三个公开裂缝数据集DeepCrack、CRACK500和GAPS384上分别训练、测试本发明的方法。本发明选择了边缘检测方法HED和RCF、图像分割方法SegNet和U-Net、裂缝检测方法DeepCrack、CrackSeg作为对比方法，并分别计算了常用于边缘检测的Precise、Recall、F1-score和常用于图像分割的GlobalAcc、AP、mIoU客观评价指标，以此来综合对比所有方法准确性的优劣。在三个数据集上的测试结果图像如图9所示，(a)原图、(b)标记、(c)HED、(d)RCF、(e)SegNet、(f)U-Net、(g)CrackSeg、(h)DeepCrack、(i)本发明，图中第一、二、三行分别表示DeepCrack、CRACK500、GAPS384数据集测试结果图像。此外，三个数据集上测试结果图像的评价指标结果如表2-4所示。
从图9中第三行(c),(e),(g),(h),(i)可以看出，本发明具有很强的提取裂缝特征能力，能够鲁棒地检测裂缝，抵抗灰暗噪声。从图9中第二行(c),(d),(g),(h),(i)可以看出，与对比方法相比，本发明减少漏检的情况，裂缝断裂较少，连续性较好。此外，从图9中第一行可以看出，尽管所有方法在DeepCrack数据集上能够较好地检测，仍然可以看出，较对比方法，本发明的结果有更少的噪声，提取的裂缝更加清晰而连续。从表2-4中结果印证对结果图像的分析，在三个数据集中本发明几乎在所有指标上优于对比方法。
表2在DeepCrack数据集上评价指标结果
表3在CRACK500数据集上评价指标结果
表4在GAPS384数据集上评价指标结果
本发明的有益效果为：
1.改进的PoolNet网络结构，将注意力机制分别引入到金字塔池化模块和特征整合模块，使得改进PoolNet网络结构提取的裂缝特征更具有全局上下文信息。
2.改进的数据增强方法，结合仿射变换和三种非刚体变换(弹性变换、随机调整亮度和对比度和打乱通道)来扩增裂缝数据集，缓解改进PoolNet网络结构因路面裂缝训练图像少而过拟合。
3.改进的加权二值交叉熵损失函数，使用样本数目百分比和负对数函数来平衡训练样本数目不平衡问题。
本发明的一种改进PoolNet网络结构的混凝土路面裂缝检测方法，获取路面图像集，并从所述路面图像集中筛选出具有裂缝的路面图像，同时划分为训练集和测试集；基于仿射变换和非刚体变换，对所述路面图像以及对应的标注进行数据增强处理；将数据增强后的所述训练集输入改进PoolNet网络结构进行训练，直至迭代次数达到指定阈值或者性能指标满足应用要求，完成训练；基于所述测试集判断所述改进PoolNet网络结构是否满足应用要求，若满足，则保存所述改进PoolNet网络结构，若不满足，则修改数据增强重新进行训练；使用训练好的模型进行路面裂缝检测，提取路面裂缝位置，并对提取得到的路面裂缝使用基于连通域标记分类算法，对裂缝进行分类和严重程度的评估，能够从复杂环境中提取路面图像中鲁棒性的裂缝特征，准确地检测路面裂缝。
以上所揭露的仅为本发明一种较佳实施例而已，当然不能以此来限定本发明之权利范围，本领域普通技术人员可以理解实现上述实施例的全部或部分流程，并依本发明权利要求所作的等同变化，仍属于发明所涵盖的范围。
Claims (3)
1.一种改进PoolNet网络结构的混凝土路面裂缝检测方法，其特征在于，包括以下步骤：
获取路面图像集，并从所述路面图像集中筛选出具有裂缝的路面图像，同时划分为训练集和测试集；
基于仿射变换和非刚体变换，对所述路面图像以及对应的标注进行数据增强处理；
将数据增强后的所述训练集输入改进PoolNet网络结构进行训练，直至迭代次数达到指定阈值或者性能指标满足应用要求，完成训练；
基于所述测试集判断所述改进PoolNet网络结构是否满足应用要求，若满足，则保存所述改进PoolNet网络结构，若不满足，则修改数据增强和训练环境的超参数重新进行训练；
使用训练好的模型进行路面裂缝检测，并对提取得到的路面裂缝使用基于连通域标记分类算法，对裂缝进行分类和严重程度的评估；
将数据增强后的所述训练集输入改进PoolNet网络结构进行训练，直至迭代次数达到指定阈值或者性能指标满足应用要求，完成训练，包括：
将数据增强后的所述训练集输入改进PoolNet网络结构，正向推理得到预测结果；
使用改进加权交叉熵损失函数计算所述预测结果与标记之间的损失值；
使用随机梯度下降算法以当前所述损失值对所述改进PoolNet网络结构权重求导，反向传播梯度，更新所述改进PoolNet网络结构权重；
直到迭代次数达到指定阈值或者性能指标满足应用要求，完成训练；
将数据增强后的所述训练集输入改进PoolNet网络结构，正向推理得到预测结果，包括：
使用基于VGG-FPN作为骨干网络，提取分别缩小2倍、4倍、8倍的多尺度卷积特征图；
使用改进的金字塔池化模块提取所述训练集中的所述路面图像的底层卷积特征，再分别2倍、4倍、8倍上采样后与相同尺度的浅层特征融合；
每次多尺度特征融合过程中，使用结合注意力机制的特征整合模块来平滑不同尺度特征的差距，整合不同尺度的特征融合；
使用整合后精炼卷积特征来预测路面裂缝；
其中，改进的金字塔池化模块在金字塔池化模块的基础上添加了全局上下文模块，金字塔池化模块有三个并行池化分支，将输入特征分别降采样至分辨率为1×1、3×3和5×5的特征，再分别上采样恢复至输入特征图的分辨率，最后使用一个1×1卷积将特征图通道压缩到输入通道数；
全局上下文模块有构建全局上下文信息和非线性变换两个阶段，首先，输入特征被分成两个分支，一条分支使用1×1卷积将输入特征调整为HW×1×1，并使用Softmax函数将其数值规范至0-1之间的小数，得到注意力热力图，再与另一条恒等映射分支相点乘，得到C×1×1通道注意力向量；然后，注意力向量依次通过1×1卷积层、归一化层、Relu激活函数、1×1卷积层增加该变换的非线性；
在改进的金字塔池化模块中具有最小尺度的深层特征被分别引入浅层特征，在每个特征融合后接上一个结合全局上下文的特征整合模块；
结合注意力机制的特征整合模块包括：
原始的特征整合模块有三个不同下采样倍率的并行分支，每个分支是一个平均池化、3×3卷积层和双线性插值上采样操作序列，再将三个并行分支特征以求和方式进行整合，采用全局上下文模块提取特征的全局信息，再与特征整合模块的结果求和，并使用3×3卷积获得最后整合特征图；
改进加权交叉熵损失函数包括：
其中，
y分别表示预测概率图和Ground True；
y(i)分别表示像素位置预测概率值和对应像素位置Ground True；|Y+|,|Y-|,N分别表示裂缝样本的数目，非裂缝样本的数目和概率图中样本总数。
2.如权利要求1所述的改进PoolNet网络结构的混凝土路面裂缝检测方法，其特征在于，基于仿射变换和非刚体变换，对所述路面图像以及对应的标注进行数据增强处理，包括：
获取随机生成的一个随机数，并判断所述随机数是否大于执行数据增强的阈值；
若大于执行数据增强的阈值，则以反射方式取所述路面图像较长边填充图像，并以多种设定的概率值进行数据增强处理。
3.如权利要求2所述的改进PoolNet网络结构的混凝土路面裂缝检测方法，其特征在于，若大于执行数据增强的阈值，则以反射方式取所述路面图像较长边填充图像，并以多种设定的概率值进行数据增强处理，包括：
大于执行数据增强的阈值，则以反射方式取所述路面图像较长边填充图像，得到一个正方形图像；
以0.2的概率添加高斯噪声；
以0.5的概率进行水平翻转；
以0.5的概率随机仿射变换，包括以32个像素内随机平移，在放缩倍数区间[-0.1,0.1]内随机放缩以及旋转角区间[-30°,30°]内随机旋转；
以0.5的概率从三种非刚体变换中随机选择执行，三种非刚体变换包括弹性变换、随机调整亮度和对比度、打乱通道。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110432301.1A CN113222904B (zh) | 2021-04-21 | 2021-04-21 | 改进PoolNet网络结构的混凝土路面裂缝检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110432301.1A CN113222904B (zh) | 2021-04-21 | 2021-04-21 | 改进PoolNet网络结构的混凝土路面裂缝检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113222904A CN113222904A (zh) | 2021-08-06 |
| CN113222904B true CN113222904B (zh) | 2023-04-07 |
Family
ID=77088340
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110432301.1A Active CN113222904B (zh) | 2021-04-21 | 2021-04-21 | 改进PoolNet网络结构的混凝土路面裂缝检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113222904B (zh) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US12051229B2 (en) | 2021-01-14 | 2024-07-30 | Tata Consultancy Services Limited | System and method for attention-based surface crack segmentation |
| CN114219773B (zh) * | 2021-11-30 | 2024-03-05 | 西北工业大学 | 一种桥梁裂缝检测数据集预筛选与标定方法 |
| CN114638802B (zh) * | 2022-03-15 | 2024-09-13 | 重庆邮电大学 | 一种改进fphbn网络结构的路面裂缝检测方法 |
| CN115919231B (zh) * | 2022-10-24 | 2023-09-19 | 广州艾普凌智技术有限公司 | 一种基于内镜图像深度卷积网络模型的训练方法，应用及装置 |
| CN117333733B (zh) * | 2023-09-06 | 2024-09-17 | 中移数智科技有限公司 | 裂缝检测模型训练方法、装置、电子设备及存储介质 |
Family Cites Families (24)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108520516A (zh) * | 2018-04-09 | 2018-09-11 | 陕西师范大学 | 一种基于语义分割的桥梁路面裂缝检测和分割方法 |
| CN109902693A (zh) * | 2019-02-16 | 2019-06-18 | 太原理工大学 | 一种基于多注意力空间金字塔特征图像识别方法 |
| US10839543B2 (en) * | 2019-02-26 | 2020-11-17 | Baidu Usa Llc | Systems and methods for depth estimation using convolutional spatial propagation networks |
| CN110084299B (zh) * | 2019-04-24 | 2021-08-06 | 中国人民解放军国防科技大学 | 基于多头融合注意力的目标检测方法和装置 |
| CN110378484A (zh) * | 2019-04-28 | 2019-10-25 | 清华大学 | 一种基于注意力机制的空洞卷积空间金字塔池化上下文学习方法 |
| US11604981B2 (en) * | 2019-07-01 | 2023-03-14 | Adobe Inc. | Training digital content classification models utilizing batchwise weighted loss functions and scaled padding based on source density |
| US10937143B1 (en) * | 2019-08-21 | 2021-03-02 | Ping An Technology (Shenzhen) Co., Ltd. | Fracture detection method, electronic device and storage medium |
| CN111031315B (zh) * | 2019-11-18 | 2023-05-30 | 复旦大学 | 基于注意力机制和时间依赖性的压缩视频质量增强方法 |
| CN111275044A (zh) * | 2020-02-21 | 2020-06-12 | 西北工业大学 | 基于样本选择和自适应难例挖掘的弱监督目标检测方法 |
| CN111339917B (zh) * | 2020-02-24 | 2022-08-09 | 大连理工大学 | 一种真实场景下玻璃检测的方法 |
| CN111709304B (zh) * | 2020-05-21 | 2023-05-05 | 江南大学 | 一种基于时空注意力增强特征融合网络的行为识别方法 |
| CN112381083A (zh) * | 2020-06-12 | 2021-02-19 | 杭州喔影网络科技有限公司 | 一种基于潜在区域对的显著性感知图像裁剪方法 |
| CN111755131A (zh) * | 2020-06-22 | 2020-10-09 | 武汉大学 | 一种基于注意力引导的covid-19早筛和严重程度评估方法和系统 |
| CN111898458B (zh) * | 2020-07-07 | 2024-07-12 | 中国传媒大学 | 基于注意力机制的双模态任务学习的暴力视频识别方法 |
| CN111833386A (zh) * | 2020-07-22 | 2020-10-27 | 中国石油大学(华东) | 一种基于多尺度信息和注意力机制的金字塔双目立体匹配方法 |
| CN111860683B (zh) * | 2020-07-30 | 2021-04-27 | 中国人民解放军国防科技大学 | 一种基于特征融合的目标检测方法 |
| CN112070043B (zh) * | 2020-09-15 | 2023-11-10 | 常熟理工学院 | 基于特征融合的安全帽佩戴卷积网络、训练及检测方法 |
| CN112287940B (zh) * | 2020-10-30 | 2024-07-02 | 深圳市守卫者智能科技有限公司 | 一种基于深度学习的注意力机制的语义分割的方法 |
| CN112258529A (zh) * | 2020-11-02 | 2021-01-22 | 郑州大学 | 一种基于实例分割算法的路面裂缝像素级别检测方法 |
| CN112560895B (zh) * | 2020-11-20 | 2024-08-02 | 陕西师范大学 | 一种基于改进PSPNet网络的桥梁裂缝检测方法 |
| CN112418176A (zh) * | 2020-12-09 | 2021-02-26 | 江西师范大学 | 一种基于金字塔池化多级特征融合网络的遥感图像语义分割方法 |
| CN112651973B (zh) * | 2020-12-14 | 2022-10-28 | 南京理工大学 | 基于特征金字塔注意力和混合注意力级联的语义分割方法 |
| CN112651892A (zh) * | 2020-12-22 | 2021-04-13 | 中国科学技术大学 | 一种基于图像样本的自动数据增强策略选择方法 |
| CN112562741B (zh) * | 2021-02-20 | 2021-05-04 | 金陵科技学院 | 一种基于点积自注意力卷积神经网络的歌声检测方法 |
-
2021
- 2021-04-21 CN CN202110432301.1A patent/CN113222904B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN113222904A (zh) | 2021-08-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113222904B (zh) | 改进PoolNet网络结构的混凝土路面裂缝检测方法 | |
| CN110570396B (zh) | 一种基于深度学习的工业产品缺陷检测方法 | |
| CN110503112B (zh) | 一种增强特征学习的小目标检测及识别方法 | |
| CN108961235B (zh) | 一种基于YOLOv3网络和粒子滤波算法的缺陷绝缘子识别方法 | |
| CN112348770B (zh) | 一种基于多分辨率卷积网络的桥梁裂缝检测方法 | |
| Chen et al. | A self organizing map optimization based image recognition and processing model for bridge crack inspection | |
| CN113421263B (zh) | 零件缺陷检测方法、设备、介质及计算机程序产品 | |
| CN114841972A (zh) | 基于显著性图和语义嵌入特征金字塔的输电线路缺陷识别方法 | |
| CN113505865B (zh) | 一种基于卷积神经网络的片材表面缺陷图像识别处理方法 | |
| CN112102229A (zh) | 一种基于深度学习的工业ct检测缺陷的智能识别方法 | |
| CN112488025B (zh) | 基于多模态特征融合的双时相遥感影像语义变化检测方法 | |
| CN113409314A (zh) | 高空钢结构腐蚀的无人机视觉检测与评价方法及系统 | |
| CN113469951B (zh) | 一种基于级联区域卷积神经网络的轮毂缺陷检测方法 | |
| CN113177456B (zh) | 基于单阶段全卷积网络和多特征融合的遥感目标检测方法 | |
| JP2020085546A (ja) | 構造物の点検・補修支援システム | |
| CN112465759A (zh) | 一种基于卷积神经网络的航空发动机叶片缺陷检测方法 | |
| CN116012291A (zh) | 工业零件图像缺陷检测方法及系统、电子设备和存储介质 | |
| CN115294541A (zh) | 一种局部特征增强Transformer道路裂缝检测方法 | |
| CN110956092A (zh) | 一种基于深度学习的智能金相检测评级方法及系统 | |
| CN113673556A (zh) | 一种基于多尺度密集卷积网络的高光谱图像分类方法 | |
| CN112396580B (zh) | 一种圆形零件缺陷检测方法 | |
| CN113988222A (zh) | 一种基于Faster-RCNN的森林火灾检测与识别方法 | |
| CN115797914B (zh) | 冶金起重机小车轨道表面缺陷检测系统 | |
| CN115937205A (zh) | 表面缺陷瓷砖图像生成方法、装置、设备及存储介质 | |
| CN115223033A (zh) | 一种合成孔径声呐图像目标分类方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20240808 Address after: 230000 B-1015, wo Yuan Garden, 81 Ganquan Road, Shushan District, Hefei, Anhui. Patentee after: HEFEI MINGLONG ELECTRONIC TECHNOLOGY Co.,Ltd. Country or region after: China Address before: 400065 Chongwen Road, Nanshan Street, Nanan District, Chongqing Patentee before: CHONGQING University OF POSTS AND TELECOMMUNICATIONS Country or region before: China |