CN115170479A - 一种沥青路面修补病害自动提取方法 - Google Patents

一种沥青路面修补病害自动提取方法 Download PDF

Info

Publication number
CN115170479A
CN115170479A CN202210675554.6A CN202210675554A CN115170479A CN 115170479 A CN115170479 A CN 115170479A CN 202210675554 A CN202210675554 A CN 202210675554A CN 115170479 A CN115170479 A CN 115170479A
Authority
CN
China
Prior art keywords
image
repairing
feature map
disease
diseases
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210675554.6A
Other languages
English (en)
Inventor
张志华
邓砚学
张新秀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Lanzhou Jiaotong University
Original Assignee
Lanzhou Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Lanzhou Jiaotong University filed Critical Lanzhou Jiaotong University
Priority to CN202210675554.6A priority Critical patent/CN115170479A/zh
Publication of CN115170479A publication Critical patent/CN115170479A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Abstract

本发明属于路面病害识别检测领域，涉及一种沥青路面修补病害自动提取方法。包括步骤为：图像对比度增强，构建数据集，改进SegNet和模型训练，修补病害自动提取。效果：标线去除+MSRCR方法改善图像质量，减弱强度不均匀性和亮度不均匀性对病害图像识别检测方法的影响。运用空洞卷积层和1×1卷积层的组合，有效增大了感受野范围，能获取更多更详细的特征信息，改善原网络因卷积和池化引起的信息丢失而导致精度下降的问题。运用试验所得到阈值(50<L<75，2500<A<5000)剔除分割结果中的假阳性，得到较为精确分割结果。

Description

一种沥青路面修补病害自动提取方法
技术领域
本发明属于交通领域公路行业路面病害识别检测领域，尤其涉及一种新的沥青路面修补病害自动提取方法。
背景技术
截止2020年末，我国公路总里程已达519.81万公里。公路路面病害检测是保持道路稳定性的重要步骤之一，同时也是公路管养部门的主要任务之一。路面病害自动化识别检测方法一直是交通运输领域的研究热点。传统的路面病害提取方法，常利用病害图像的灰度、纹理、形状等特征，通过人工设计特征器，如自适应阈值分割法、边缘检测法、形态法、小波分析等算法实现沥青路面病害提取。但这些算法存在以下问题：1）难以应对丰富多样的路面病害场景；2）光照不均匀导致识别精度低；3）算法参数多，需要人工介入，效率低；4）车道路面病害单张图片分辨率高、图片处理数据量大，以上方法难以实现路面病害的快速和精准识别。
近年来，得益于深度学习强大的非线性拟合能力和高效的图像处理能力，基于深度学习的路面病害识别、分类、分割、检测等方法已大幅提高病害检测效率。但仍然存在以下问题：1）强度不均匀性和亮度不均匀使得图像总体质量较差；2)复杂的路面纹理在不同尺度下与完好路面的纹理差异很大，大多数分割方法都难以取得较好的分割结果。路面修补病害作为最常见的病害之一，但现有技术对其研究较少，同时，现存的语义分割方法对其分割效果不佳。
发明内容
本发明的目的在于提供一种新的沥青路面修补病害自动提取方法，从而解决现有技术中存在的前述问题。
本发明的技术方案：一种沥青路面修补病害自动提取方法，包括步骤为：
1）图像对比度增强
S1、由道路检测车采集沥青路面修补病害图像，图像数量和分辨率满足数据构建最低要求，利用白色道路标线形状规则、整体像素值远大于其周围路面的特点，取白色道路标线附近三点或四点（不在标线内）的像素值均值逐一填充标线，达到去除标线的效果；
白色道路标线去除的计算方法：读取像素点P(i，j)处的像素值VP(i，j)，其中i、j分别为行坐标与列坐标；
如果VP(i，j)>125，则按以下方式处理：
①当j<100，VP(i，j)等于P(i，j+100)、P(i-100，j+100)、P(i+100，j+100)三者的平均值；
②当100<j<1700，VP(i，j)等于P(i，j-100)、P(i-100，j-100)、P(i，j+200)、P(i+200，j+200)四者的平均值；
③当j>1700，VP(i，j)等于P(i，j-100)，P(i-100，j-100)和P(i+100，j-100)三者的平均值；
如果VP(i，j)小于等于125，则像素点P(i，j)处的像素值VP(i，j)不变，
将获得的去除白色道路标线的图像通过对比度增强软件增强图像对比度。
2）构建数据集
S2、通过数据标注软件制作样本标签，得到图像和对应的标签，修补病害的标签赋值（128，0，0）；
S3、将S1中已处理的图像裁剪得到裁剪图像，裁剪分辨率为256×256像素；
S4、将S3所得图像经旋转90°、旋转180°、上下翻转、左右翻转，得到数量是S3图像数量倍数的图像，按6:3:1构建训练集、测试集、验证集。
3）改进SegNet和模型训练
S5、在SegNet基础上，用ResNet50作为编码器，网络输入层的图像分辨率为256×256×3，分别代表宽度、长度和通道数，通过一个池化层、49个卷积层进行下采样，编码器网络最终输出特征图的宽度、高度和卷积核数量为8×8×2048；
S6、在解码过程中，用空洞率为4、8、12、16，卷积核为3×3的卷积层，分别对16×16×2、32×32×2、64×64×2、128×128×2的特征图进行空洞卷积，依次得到D1:8×8×2、D2:16×16×2、D3:32×32×2、D4:64×64×2的特征图；用卷积核为1×1的卷积层对8×8×2的特征图进行卷积，与D1融合并进行两倍上采样，得到E1: 16×16×2；用卷积核为1×1的卷积层对E1进行卷积，将得到的特征图与D2融合并进行两倍上采样，得到E2: 32×32×2；用卷积核为1×1的卷积层对E2进行卷积，将得到的特征图与D3融合并进行两倍上采样，得到E3: 64×64×2；用卷积核为1×1的卷积层对E3进行卷积，将得到的特征图与D4融合并进行两倍上采样，得到E4: 128×128×2；对E4进行二倍上采样，得到与输入图像尺寸相同的特征图，通过Softmax层生成特征图的分辨率为256×256×2，代表其宽度、高度和类别数；
S7、使用MIoU和F1作为评价指标，以交叉熵作为损失函数，采用自适应距估计优化算法作为优化器对网络进行训练；
S8、运用训练好的模型预测某个地区的路面修补图像，挑选出预测结果较差（预测精度小于90%）的修补图像，通过人工对其进行病害标注，将标注后的标签和图像放入训练集对模型重新训练，逐步提高模型的预测精度。
4）修补病害自动提取
S9、用已建立的数据集训练改进的网络，应用已训练的模型自动提取修补病害，生成裂缝修补病害图像分割数据集，分割数据集包括修补和假阳性；
S10、对S9中的分割结果进行统计分析，并进行实验，得到同时运用面积A和长、宽的绝对值L作为阈值，其中50<L<75、2500<A<5000，即可剔除结果中的假阳性，得到修补病害较为精确分割结果。
优选的，S1采集沥青路面修补病害图像的数量和分辨率为890幅、1688×1874。
优选的，S1的去除白色道路标线的图像增强图像对比度的方法为MSRCR方法。
优选的，S2的数据标注软件选用Labelme。
本发明的有益效果：上述方法在S1中，标线去除+MSRCR方法可以改善图像质量，减弱强度不均匀性和亮度不均匀性对病害图像识别检测方法的影响。
在S6中，空洞率为4、8、12、16的四个空洞卷积层对不同尺度的特征图进行卷积，获得多尺度特征图；卷积核为1×1的卷积层对每一步特征融合后两倍上采样的特征图进行卷积。运用空洞卷积层和1×1卷积层的组合，有效增大了感受野范围，能获取更多更详细的特征信息，改善原网络因卷积和池化引起的信息丢失而导致精度下降的问题。
在S10中，运用试验所得到阈值(50<L<75，2500<A<5000)剔除分割结果中的假阳性，得到较为精确分割结果，完成沥青路面修补病害自动提取。
附图说明
图1是本发明的步骤流程图；
图2是图像增强处理效果对比图；
图3是S4样本扩增结果图；
图4是改进的编解码网络结构图；
图5是分割结果示意图。
具体实施方式
一种沥青路面修补病害自动提取方法，包括步骤为：图像对比度增强，构建数据集，改进SegNet和模型训练，修补病害自动提取。
1）图像对比度增强
S1、由道路检测车采集沥青路面修补病害图像，图像数量为890幅和分辨率为1688×1874，利用白色道路标线形状规则、整体像素值远大于其周围路面的特点，取白色道路标线附近三点或四点（不在标线内）的像素值均值逐一填充标线，达到去除标线的效果；
白色道路标线去除的计算方法：读取像素点P(i，j)处的像素值VP(i，j)，其中i、j分别为行坐标与列坐标；
如果VP(i，j)>125，则按以下方式处理：
①当j<100，VP(i，j)等于P(i，j+100)、P(i-100，j+100)、P(i+100，j+100)三者的平均值；
②当100<j<1700，VP(i，j)等于P(i，j-100)、P(i-100，j-100)、P(i，j+200)、P(i+200，j+200)四者的平均值；
③当j>1700，VP(i，j)等于P(i，j-100)，P(i-100，j-100)和P(i+100，j-100)三者的平均值；
如果VP(i，j)小于等于125，则像素点P(i，j)处的像素值VP(i，j)不变，
将获得的去除白色道路标线的图像利用MSRCR方法增强图像对比度。如图2所示图像增强处理效果的前后对比，c图标线区域已去除白色，对比度得到提升。
2）构建数据集
S2、运用Labelme制作样本标签，得到图像和对应的标签，修补病害的标签赋值（128，0，0）；
S3、将S1中已处理的图像裁剪得到3000幅图像，其分辨率为256×256；
S4、将S3所得图像经旋转90°、旋转180°、上下翻转、左右翻转，得到15000张图像，按6:3:1构建训练集、测试集、验证集。样本图扩增展示如图3所示。
3）改进SegNet和模型训练
S5、在SegNet基础上，用ResNet50作为编码器，网络输入层的图像分辨率为256×256×3，分别代表宽度、长度和通道数，通过一个池化层、49个卷积层进行下采样，编码器网络最终输出特征图的宽度、高度和卷积核数量为8×8×2048；
S6、在解码过程中，用空洞率为4、8、12、16，卷积核为3×3的卷积层，分别对16×16×2、32×32×2、64×64×2、128×128×2的特征图进行空洞卷积，依次得到D1:8×8×2、D2:16×16×2、D3:32×32×2、D4:64×64×2的特征图；用卷积核为1×1的卷积层对8×8×2的特征图进行卷积，与D1融合并进行两倍上采样，得到E1: 16×16×2；用卷积核为1×1的卷积层对E1进行卷积，将得到的特征图与D2融合并进行两倍上采样，得到E2: 32×32×2；用卷积核为1×1的卷积层对E2进行卷积，将得到的特征图与D3融合并进行两倍上采样，得到E3: 64×64×2；用卷积核为1×1的卷积层对E3进行卷积，将得到的特征图与D4融合并进行两倍上采样，得到E4: 128×128×2；对E4进行二倍上采样，得到与输入图像尺寸相同的特征图，通过Softmax层生成特征图的分辨率为256×256×2，代表其宽度、高度和类别数；
S7、使用MIoU和F1作为评价指标，以交叉熵作为损失函数，采用自适应距估计优化算法作为优化器对网络进行训练；
S8、运用训练好的模型预测某个地区的路面修补图像，挑选出预测结果较差（预测精度小于90%）的修补图像，通过人工对其进行病害标注，将标注后的标签和图像放入训练集对模型重新训练，逐步提高模型的预测精度。
4）修补病害自动提取
S9、用已建立的数据集训练改进的网络，应用已训练的模型自动提取修补病害，生成裂缝修补病害图像分割数据集，分割数据集包括修补和假阳性；
S10、对S9中的分割结果（包括修补和假阳性）进行统计分析，并进行实验，得到同时运用面积A和长、宽的绝对值L作为阈值，其中50<L<75、2500<A<5000，即可剔除结果中的假阳性，得到修补病害较为精确分割结果。

Claims (4)

1.一种沥青路面修补病害自动提取方法，其特征在于包括步骤为：
1）图像对比度增强
S1、由道路检测车采集沥青路面修补病害图像，图像数量和分辨率满足数据构建最低要求，利用白色道路标线形状规则、整体像素值远大于其周围路面的特点，取白色道路标线附近三点或四点的像素值均值逐一填充标线，达到去除标线的效果；
白色道路标线去除的计算方法：读取像素点P(i，j)处的像素值VP(i，j)，其中i、j分别为行坐标与列坐标；
如果VP(i，j)>125，则按以下方式处理：
①当j<100，VP(i，j)等于P(i，j+100)、P(i-100，j+100)、P(i+100，j+100)三者的平均值；
②当100<j<1700，VP(i，j)等于P(i，j-100)、P(i-100，j-100)、P(i，j+200)、P(i+200，j+200)四者的平均值；
③当j>1700，VP(i，j)等于P(i，j-100)，P(i-100，j-100)和P(i+100，j-100)三者的平均值；
如果VP(i，j)小于等于125，则像素点P(i，j)处的像素值VP(i，j)不变，
将获得的去除白色道路标线的图像通过对比度增强软件增强图像对比度；
2）构建数据集
S2、通过数据标注软件制作样本标签，得到图像和对应的标签，修补病害的标签赋值（128，0，0）；
S3、将S1中已处理的图像裁剪得到裁剪图像，裁剪图像的分辨率为256×256像素；
S4、将S3所得裁剪图像经旋转90°、旋转180°、上下翻转、左右翻转，得到数量是S3图像数量倍数的图像，按6:3:1构建训练集、测试集、验证集；
3）改进SegNet和模型训练
S5、在SegNet基础上，用ResNet50作为编码器，网络输入层的图像分辨率为256×256×3，分别代表宽度、长度和通道数，通过一个池化层、49个卷积层进行下采样，编码器网络最终输出特征图的宽度、高度和卷积核数量为8×8×2048；
S6、在解码过程中，用空洞率为4、8、12、16，卷积核为3×3的卷积层，分别对16×16×2、32×32×2、64×64×2、128×128×2的特征图进行空洞卷积，依次得到D1:8×8×2、D2:16×16×2、D3:32×32×2、D4:64×64×2的特征图；用卷积核为1×1的卷积层对8×8×2的特征图进行卷积，与D1融合并进行两倍上采样，得到E1: 16×16×2；用卷积核为1×1的卷积层对E1进行卷积，将得到的特征图与D2融合并进行两倍上采样，得到E2: 32×32×2；用卷积核为1×1的卷积层对E2进行卷积，将得到的特征图与D3融合并进行两倍上采样，得到E3:64×64×2；用卷积核为1×1的卷积层对E3进行卷积，将得到的特征图与D4融合并进行两倍上采样，得到E4: 128×128×2；对E4进行二倍上采样，得到与输入图像尺寸相同的特征图，通过Softmax层生成特征图的分辨率为256×256×2，代表其宽度、高度和类别数；
S7、使用MIoU和F1作为评价指标，以交叉熵作为损失函数，采用自适应距估计优化算法作为优化器对网络进行训练；
S8、运用训练好的模型预测某个地区的路面修补图像，挑选出预测结果较差的修补图像，通过人工对其进行病害标注，将标注后的标签和图像放入训练集对模型重新训练，逐步提高模型的预测精度；
4）修补病害自动提取
S9、用已建立的数据集训练改进的网络，应用已训练的模型自动提取修补病害，生成裂缝修补病害图像分割数据集，分割数据集包括修补和假阳性；
S10、对S9中的分割结果进行统计分析，并进行实验，得到同时运用面积A和长、宽的绝对值L作为阈值，其中50<L<75、2500<A<5000，即可剔除结果中的假阳性，得到修补病害较为精确分割结果。
2.根据权利要求1所述的一种沥青路面修补病害自动提取方法，其特征是：S1采集沥青路面修补病害图像的数量和分辨率为890幅、1688×1874。
3.根据权利要求1所述的一种沥青路面修补病害自动提取方法，其特征是：S1的去除白色道路标线的图像增强图像对比度的方法为MSRCR方法。
4.根据权利要求1所述的一种沥青路面修补病害自动提取方法，其特征是：S2的数据标注软件选用Labelme。
CN202210675554.6A 2022-06-15 2022-06-15 一种沥青路面修补病害自动提取方法 Pending CN115170479A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210675554.6A CN115170479A (zh) 2022-06-15 2022-06-15 一种沥青路面修补病害自动提取方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210675554.6A CN115170479A (zh) 2022-06-15 2022-06-15 一种沥青路面修补病害自动提取方法

Publications (1)

Publication Number Publication Date
CN115170479A true CN115170479A (zh) 2022-10-11

Family

ID=83485421

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210675554.6A Pending CN115170479A (zh) 2022-06-15 2022-06-15 一种沥青路面修补病害自动提取方法

Country Status (1)

Country Link
CN (1) CN115170479A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115861324A (zh) * 2023-03-01 2023-03-28 长沙城市发展集团有限公司 一种路面病害维修成本预测方法及系统
CN116758507A (zh) * 2023-07-03 2023-09-15 中铁建设集团有限公司 基于病害图像采集、分割的道面质量分析方法、装置及程序

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115861324A (zh) * 2023-03-01 2023-03-28 长沙城市发展集团有限公司 一种路面病害维修成本预测方法及系统
CN116758507A (zh) * 2023-07-03 2023-09-15 中铁建设集团有限公司 基于病害图像采集、分割的道面质量分析方法、装置及程序
CN116758507B (zh) * 2023-07-03 2023-12-19 中铁建设集团有限公司 基于病害图像采集、分割的道面质量分析方法、装置及程序

Similar Documents

Publication Publication Date Title
CN115170479A (zh) 一种沥青路面修补病害自动提取方法
CN110889398B (zh) 一种基于相似度网络的多模态图像能见度检测方法
CN109840483B (zh) 一种滑坡裂缝检测与识别的方法及装置
CN113205051B (zh) 基于高空间分辨率遥感影像的储油罐提取方法
CN108876805B (zh) 一种端对端无监督场景可通行区域认知与理解方法
CN115546768B (zh) 基于多尺度机制和注意力机制的路面标线识别方法及系统
CN112818775B (zh) 基于区域边界像素交换的林区道路快速识别方法及系统
CN114331869B (zh) 一种坝面裂缝语义分割方法
CN112330593A (zh) 基于深度学习网络的建筑物表面裂缝检测方法
CN113313031B (zh) 一种基于深度学习的车道线检测和车辆横向定位方法
CN113240623B (zh) 一种路面病害检测方法及装置
CN112149535B (zh) 一种结合SegNet和U-Net的车道线检测方法和装置
CN116597270A (zh) 基于注意力机制集成学习网络的道路损毁目标检测方法
CN113205107A (zh) 一种基于改进高效率网络的车型识别方法
CN116052110B (zh) 一种路面标线缺损智能定位方法及系统
CN113326846A (zh) 一种基于机器视觉的桥梁表观病害快速检测方法
CN112967271A (zh) 一种基于改进DeepLabv3+网络模型的铸件表面缺陷识别方法
CN116434054A (zh) 一种基于线面结合的密集遥感地物提取方法
CN115512324A (zh) 一种基于边缘对称填充和大感受野的路面病害检测方法
CN115294066A (zh) 一种砂石粒径检测方法
CN109086774B (zh) 基于朴素贝叶斯的彩色图像二值化方法和系统
CN117078737B (zh) 一种线性裂缝长度计算方法
CN112329603B (zh) 一种基于图像级联的坝面裂纹缺陷定位方法
CN117670855A (zh) 基于RoadU-Net的沥青路面病害智能识别及分类方法
CN117291881A (zh) 基于机器视觉的水泥混凝土路面病害识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination