CN115294541A - 一种局部特征增强Transformer道路裂缝检测方法 - Google Patents

一种局部特征增强Transformer道路裂缝检测方法 Download PDF

Info

Publication number
CN115294541A
CN115294541A CN202210767292.6A CN202210767292A CN115294541A CN 115294541 A CN115294541 A CN 115294541A CN 202210767292 A CN202210767292 A CN 202210767292A CN 115294541 A CN115294541 A CN 115294541A
Authority
CN
China
Prior art keywords
crack
road
image
transform
local
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210767292.6A
Other languages
English (en)
Inventor
许正森
管海燕
柯福阳
曹爽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuxi Research Institute Of Nanjing University Of Information Engineering
Original Assignee
Wuxi Research Institute Of Nanjing University Of Information Engineering
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuxi Research Institute Of Nanjing University Of Information Engineering filed Critical Wuxi Research Institute Of Nanjing University Of Information Engineering
Priority to CN202210767292.6A priority Critical patent/CN115294541A/zh
Publication of CN115294541A publication Critical patent/CN115294541A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/26Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/36Applying a local operator, i.e. means to operate on image points situated in the vicinity of a given point; Non-linear local filtering operations, e.g. median filtering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Nonlinear Science (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种局部特征增强Transformer道路裂缝检测方法,该方法包括:创建像素级标记强噪声干扰道路裂缝数据集,用于深度学习语义分割模型训练;设计包含局部和全局尺度裂缝语义特征提取路径、多尺度跨越连接和高效上采样模块的局部特征增强Transformer道路裂缝检测模型;基于创建的强噪声干扰道路裂缝数据集,使用最佳超参数迭代训练检测模型;定量计算裂缝长度与宽度,并在系统界面评价并显示道路路面状况;本发明以高分辨率CCD光学裂缝遥感数据为基础,提出了局部特征增强Transformer道路表面裂缝检测方法,能在背景噪声干扰严重的道路遥感图像中更快、更智能、更准确检测与提取道路裂缝。

Description

一种局部特征增强Transformer道路裂缝检测方法
技术领域
本发明涉及智能交通和遥感科学领域,尤其涉及一种局部特征增强Transformer道路裂缝检测方法。
背景技术
经济建设的不断发展对公路货运和客运提出更高要求,因而公路建设与维护仍是我国基础设施建设的重要组成部分。根据统计资料显示,截止到目前,公路总里程至2020年末已达519.8万公里,公路密度也达到54.15公里/百平方公里且仍保持快速增长趋势。另一方面,随着人民消费习惯变化,网购业务进一步增长催生快递业蓬勃发展。由于快递业务对时效性的高要求,我国载货汽车保有量和载重汽车吨位数也同样保持高位或逐年增加。尤其是近几年,载货汽车吨位数的快速增加。载重汽车尤其是超载汽车的货物运输加之各种自然因素作用,如雨雪侵蚀等使道路养护机构检测和修复道路病害的效率面临更严峻挑战。路面裂缝是道路损坏的早期迹象,快速准确的路面裂缝检测对于道路养护部门降低维护成本、提升驾驶安全、减少汽车能源消耗以及延长道路使用寿命等必不可少。
传统人工检测方法,以长度为50公里的道路为例,需要10人左右的工作组,经过两个月调查才能完成。以每名工人最低时薪18.5元人民币计算,上述工程量需要71000余元人民币。若使用搭载价格为数千元人民币的CCD相机的道路智能检测车只需要1个小时,而且获得的数据更加丰富、更加准确,工作效率提升的同时,成本更加低廉。目前己有许多自动化的路面裂缝数据采集和检测方法,数据采集方法有检测车采集、无人机采集等;路面裂缝检测方法则有数字图像处理、超声波检测、射线扫描等。这些在自动化路面病害检测方法中,最常用方法是基于数字图像处理的检测方法。这种方法主要分为两个环节,首先通过在车辆底部安装车载相机对路面进行拍摄,得到高分辨率路面图像,之后通过图像识别技术对路面裂缝进行检测。这样不需对相关路段进行封闭,从而快速、全面获得道路表面全部情况,避免人工检测方法造成的诸多效率低下、高危险性和高成本等问题。
虽然基于传统图像处理方法的自动化道路裂缝检测系统效率较人工检测更高且成本更低,但是由于裂缝图像噪声强,前景和背景边界有时不太清晰的特点,导致该系统提取出来的裂缝经常断裂并且会将非裂缝区域误分类为裂缝,无法满足准确高效的裂缝检测要求。由于深度学习极佳的抗噪和自动特征提取能力,基于深度学习的道路裂缝检测已成为学界和产业界研究的主流方法。但是,仅基于2D光学影像的道路裂缝检测系统,由于所获取的路面图像受到照条件差异、路面材质不均、车道线等因素的影响,可能会导致采集的图像灰度不均匀,进而使后期图像处理、分析和识别等操作的难度加大,并使相关检测算法难以处理等问题,道路裂缝检测仍面临巨大挑战。
为了弥补这些系统的不足,一些裂缝检测设备除了使用CCD光学传感器外,还搭载激光传感器、热红外传感器或者深度相机等。比如加拿大INO公司开发的激光数据采集系统已逐渐被Fugro,Pavemetrics,ROMDAS,Optech等专业公司采纳用于北美和欧洲道路裂缝、车辙、纹理等缺陷的精密测量和实时处理。但是该类设备昂贵,其处理算法随设备绑定而难以更新。Transformer提供了一个有效的解决传统卷积神经网络全局特征建模不足的方法,可以有效克服传统卷积神经网络在强噪声干扰下的性能退化,从而实现仅依靠廉价CCD传感器采集的图像进行高精度道路裂缝快速检测。这种长距离依赖建模,可以有效突出图像前景和背景差异,从而降低背景噪声对检测结果的影响并提升检测结果的完整性。本发明除了解决传统卷积神经网络全局特征建模能力不足问题,还针对目前仅使用Transformer模块导致的局部特征建模不足问题,提出局部特征增强的Transformer道路裂缝检测网络。通过交替局部特征增强模块和Transformer模块提取低级特征并通过交替上采样模块和Transformer模块提取高级语义信息。最终通过将两个路径使用跨越连接横向连接在一起,实现道路裂缝高阶特征表达,从而达到快速、准确的道路裂缝检测。
发明内容
发明目的:本发明的目的是提供一种局部特征增强Transformer道路裂缝检测方法,实现快速、准确且低成本的道路裂缝检测,减轻道路养护机构的成本。
技术方案:本发明提出一种局部特征增强Transformer道路裂缝检测方法,该方法包括以下步骤:
S1、利用车载CCD传感器采集高分辨率道路影像数据;
S2、将采集影像裁剪为512×512大小图像块,并初步筛选出含有裂缝的图像;
S3、通过人工目视解译,逐像素标注道路裂缝图像并划分训练集与测试集;
S4、建立局部特征增强Transformer道路裂缝检测模型;
S5、搭建训练和测试环境并通过实验挑选最佳超参数和模型大小;
S6、通过开源数据集训练、验证模型性能,并使用该模型对S3建立的测试集分割预测;
S7、根据S6的分割结果,计算裂缝宽度和长度信息,估算道路病害程度。
进一步的,所述步骤S1具体包括以下分步骤:
S11、将CCD相机放置于倒车雷达位置,并调试相机视场与角度,确保获取数据清晰且覆盖范围广;
S12、采集不同材质和病害程度的路面原始影像。
进一步的,所述步骤S2具体包括以下分步骤:
S21、以5%交叠比将采集到的原始影像的不同帧保存为图像;
S22、将S21保存的图像使用滑动窗口方法分割为512×512大小图像块;
S23、使用基于Swin-Transformer初步筛选含有裂缝的图像块。
进一步的,所述步骤S3具体包括以下分步骤:
S31、将通过标注软件输入的信息生成逐像素标注标签;
S32、通过背靠背方法测试不同标注人标注质量,并对标注差异值小于第一阈值的样本取标注区域公共部分,对标签差异值大于第二阈值的样本重新标注,生成真实标签数据集;
S33、将真实标签数据集以8:2的比例划分为训练集和验证集。
进一步的,所述步骤S4具体包括以下分步骤:
S41、搭建局部特征增强Transformer道路裂缝检测模型,该模型通过编码路径和解码路径提取低等级和高等级道路裂缝语义特征,并通过多尺度跨越连接将编码路径特征输入解码路径中,补充细节特征,通过预测模块检测路面图像中的裂缝;
S42、编码路径包括初始卷积模块、局部特征增强模块和Transformer模块,首先,初始卷积块使用两层步长分别为2的3×3卷积降低输入裂缝图像块的空间尺寸、提升其特征通道数量,初步提取低等级道路裂缝局部特征,对于X∈R512×512×3大小的输入图像,经初始卷积块处理后,生成特征图Y∈R96×128×128,其次,通过1个由空洞卷积、残差连接和Sigmoid激活函数构成的空间注意力模块位置编码道路裂缝特征图,通过步长为2的深度卷积将输入特征图下采样2倍并将其通道数提升2倍,将位置编码并下采样后的特征图输入Transformer模块,即通过投影、变形和相乘以及相加操作提取全局道路裂缝语义特征;之后,使用由两层3×3卷积构成的局部特征增强模块在保持特征图空间尺寸和通道数不变的情况下补充裂缝细节信息,通过以交替方式串联运行的4组不同空间尺寸和通道维数的局部特征增强模块和Transformer模块构成低等级语义特征提取的编码路径,提取不同尺度的局部和全局裂缝语义特征,经过4组Transformer模块和局部特征增强模块操作后,特征图尺寸分别为{R192×128×128,R192×64×64,R384×32×32,R768×16×16};
S43、解码路径由上采样模块和Transformer模块构成,首先,使用低级语义特征提取编码路径的最后一级输出特征图作为高级语义特征提取解码路径的输入数据;其次,使用双线性插值上采样、步长为1的3×3卷积和空间注意力块构成的上采样模块对该输入特征图进行两倍上采样,初步恢复裂缝图像分辨率,之后,将恢复分辨率后的特征图输入Transformer模块中,进一步提取高等级裂缝全局语义特征,通过构建由4个上述上采样模块和Transformer模块构成的高级特征提取路径,逐步恢复特征图的空间分辨率并提取高等级道路裂缝语义特征,上述4组上采样模块和Transformer模块输出的特征图大小分别为{R384×32×32,R192×64×64,R96×128×128,R48×512×512};
S44、将上述每个阶段低级语义特征提取路径提取出的低等级特征和相应层级的高级语义特征提取路径提取出的高级特征图以逐元素相加的方式合并,补充高级语义特征缺乏的道路裂缝空间细节信息;
S45、通过一个3×3卷积块将解码路径输出的高等级道路裂缝语义特征图维度数降为1,即Y∈R1×512×512,之后,使用Sigmoid激活函数将该特征图的像元值大小映射至(0,1)区间,得到该图像中每个像元属于裂缝类别的概率图,最后,使用经验阈值,将该图像中所有像元分类为裂缝或非裂缝,从而完成道路裂缝检测任务。
进一步的,所述的步骤S5具体包括以下分步骤:
S51、使用Pytorch和CUDA搭建基于GPU的模型训练和测试环境,并测试不同学习率、小批次大小和Transformer模块深度对模型性能的影响,选择最优超参数;
S52、使用枚举法,在[0.0005,0.005]区间中,以0.0005为间隔并分别使用4、8和16三种批次大小,测试不同学习率和批次大小下模型性能,通过横向比较检测结果,最终0.001和8作为学习率和小批次大小的最优超参数;
S53、固定超参数设定,选择不同的Transformer模块深度下的模型,即Transformer_T,Transformer_S,Transformer_B和Transformer_L,通过比较不同模型检测性能和训练、预测效率,最终使用Transformer_T作为最终模型。
进一步的,所述的步骤S6具体包括以下分步骤:
S61、使用开源数据集ConcreteCrack、CrackWH100、BridgeCrack、CrackTree260作为训练集与验证集,使用S3构建的数据集作为测试集;
S62、将Focal Loss作为损失函数解决裂缝图像中裂缝像元和道路背景像元数量差异大导致的类别不均衡问题,并迭代训练模型,Focal Loss公式表达如下:
Figure BDA0003722648840000041
Figure BDA0003722648840000042
其中,h和w分别表示输入图像的高和宽;Pij表示预测概率图;Mij表示标签数据,Mij=1表示该像元为裂缝像元,否则为背景像元;
Figure BDA0003722648840000043
表示调职因子;α和γ表示平衡变量和可调聚焦参数;
S63、使用迭代训练后的模型对测试集数据预测以得到测试集道路裂缝检测结果。
进一步的,所述步骤S7具体包括以下分步骤:
S71、使用中轴变换法计算S63中提取出裂缝的骨架线并使用德劳内三角网提取裂缝边缘线,在任意裂缝像元位置,计算此位置骨架线的方向向量,并将其作为局部笛卡尔坐标系的y轴方向,在该坐标系中,找到边缘线一侧离坐标原点最近的一个点并计算该点至骨架线的距离,通过分别计算左右边缘线点距骨架线距离,得到该点处裂缝宽度;
S72、计算骨架线中所有裂缝像元的连接长度得到该图像样本中道路裂缝长度并构建道路裂缝检测显示平台,显示检测结果分割图以及裂缝长度和宽度信息。
有益效果:以现有技术方案相比,本发明的技术方案具有如下优点:
(1)将Transformer应用到基于CCD传感器获取到高分辨率道路影像检测中,可以有效提取并利用全局尺度的裂缝语义信息,从而解决传统神经网络全局特征建模不足导致的易受噪声干扰以及检测结果连续性不佳等问题;
(2)通过局部特征增强模块解决Transformer全局特征建模能力不足问题,从而抽象出更多裂缝细节特征,提升模型的特征表达能力,进一步提升模型道路裂缝检测性能。
附图说明
图1为本发明的流程图;
图2为局部特征增强Transformer模型的基本搭建示意图;
图3是本发明的整体方法框图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。实施例
请参阅图1,本发明提出一种局部特征增强Transformer道路裂缝检测方法,该方法包括以下步骤:
S1、利用车载CCD传感器采集高分辨率道路影像数据;
S2、将采集影像裁剪为512×512大小图像块,并初步筛选出含有裂缝的图像;
S3、通过人工目视解译,逐像素标注道路裂缝图像并划分训练集与测试集;
S4、建立局部特征增强Transformer道路裂缝检测模型;
S5、搭建训练和测试环境并通过实验挑选最佳超参数和模型大小;
S6、通过开源数据集训练、验证模型性能,并使用该模型对S3建立的测试集分割预测;
S7、根据S6的分割结果,计算裂缝宽度和长度信息,估算道路病害程度。
进一步的,所述步骤S1具体包括以下分步骤:
S11、将CCD相机放置于倒车雷达位置,并调试相机视场与角度,确保获取数据清晰且覆盖范围广;
S12、采集不同材质和病害程度的路面原始影像。
进一步的,所述步骤S2具体包括以下分步骤:
S21、以5%交叠比将采集到的原始影像的不同帧保存为图像;
S22、将S21保存的图像使用滑动窗口方法分割为512×512大小图像块;
S23、使用基于Swin-Transformer初步筛选含有裂缝的图像块。
进一步的,所述步骤S3具体包括以下分步骤:
S31、将通过标注软件输入的信息生成逐像素标注标签;
S32、通过背靠背方法测试不同标注人标注质量,并对标注差异值小于第一阈值的样本取标注区域公共部分,对标签差异值大于第二阈值的样本重新标注,生成真实标签数据集;
S33、将真实标签数据集以8:2的比例划分为训练集和验证集。
进一步的,所述步骤S4具体包括以下分步骤:
S41、搭建局部特征增强Transformer道路裂缝检测模型,该模型通过编码路径和解码路径提取低等级和高等级道路裂缝语义特征,并通过多尺度跨越连接将编码路径特征输入解码路径中,补充细节特征,通过预测模块检测路面图像中的裂缝;
S42、编码路径包括初始卷积模块、局部特征增强模块和Transformer模块,首先,初始卷积块使用两层步长分别为2的3×3卷积降低输入裂缝图像块的空间尺寸、提升其特征通道数量,初步提取低等级道路裂缝局部特征,对于X∈R512×512×3大小的输入图像,经初始卷积块处理后,生成特征图Y∈R96×128×128,其次,通过1个由空洞卷积、残差连接和Sigmoid激活函数构成的空间注意力模块位置编码道路裂缝特征图,通过步长为2的深度卷积将输入特征图下采样2倍并将其通道数提升2倍,将位置编码并下采样后的特征图输入Transformer模块,即通过投影、变形和相乘以及相加操作提取全局道路裂缝语义特征;之后,使用由两层3×3卷积构成的局部特征增强模块在保持特征图空间尺寸和通道数不变的情况下补充裂缝细节信息,通过以交替方式串联运行的4组不同空间尺寸和通道维数的局部特征增强模块和Transformer模块构成低等级语义特征提取的编码路径,提取不同尺度的局部和全局裂缝语义特征,经过4组Transformer模块和局部特征增强模块操作后,特征图尺寸分别为{R192×128×128,R192×64×64,R384×32×32,R768×16×16};
S43、解码路径由上采样模块和Transformer模块构成,首先,使用低级语义特征提取编码路径的最后一级输出特征图作为高级语义特征提取解码路径的输入数据;其次,使用双线性插值上采样、步长为1的3×3卷积和空间注意力块构成的上采样模块对该输入特征图进行两倍上采样,初步恢复裂缝图像分辨率,之后,将恢复分辨率后的特征图输入Transformer模块中,进一步提取高等级裂缝全局语义特征,通过构建由4个上述上采样模块和Transformer模块构成的高级特征提取路径,逐步恢复特征图的空间分辨率并提取高等级道路裂缝语义特征,上述4组上采样模块和Transformer模块输出的特征图大小分别为{R384×32×32,R192×64×64,R96×128×128,R48×512×512};
S44、将上述每个阶段低级语义特征提取路径提取出的低等级特征和相应层级的高级语义特征提取路径提取出的高级特征图以逐元素相加的方式合并,补充高级语义特征缺乏的道路裂缝空间细节信息;
S45、通过一个3×3卷积块将解码路径输出的高等级道路裂缝语义特征图维度数降为1,即Y∈R1×512×512,之后,使用Sigmoid激活函数将该特征图的像元值大小映射至(0,1)区间,得到该图像中每个像元属于裂缝类别的概率图,最后,使用经验阈值,将该图像中所有像元分类为裂缝或非裂缝,从而完成道路裂缝检测任务。
进一步的,所述的步骤S5具体包括以下分步骤:
S51、使用Pytorch和CUDA搭建基于GPU的模型训练和测试环境,并测试不同学习率、小批次大小和Transformer模块深度对模型性能的影响,选择最优超参数;
S52、使用枚举法,在[0.0005,0.005]区间中,以0.0005为间隔并分别使用4、8和16三种批次大小,测试不同学习率和批次大小下模型性能,通过横向比较检测结果,最终0.001和8作为学习率和小批次大小的最优超参数;
S53、固定超参数设定,选择不同的Transformer模块深度下的模型,即Transformer_T,Transformer_S,Transformer_B和Transformer_L,通过比较不同模型检测性能和训练、预测效率,最终使用Transformer_T作为最终模型。
进一步的,所述的步骤S6具体包括以下分步骤:
S61、使用开源数据集ConcreteCrack、CrackWH100、BridgeCrack、CrackTree260作为训练集与验证集,使用S3构建的数据集作为测试集;
S62、将Focal Loss作为损失函数解决裂缝图像中裂缝像元和道路背景像元数量差异大导致的类别不均衡问题,并迭代训练模型,Focal Loss公式表达如下:
Figure BDA0003722648840000071
Figure BDA0003722648840000072
其中,h和w分别表示输入图像的高和宽;Pij表示预测概率图;Mij表示标签数据,Mij=1表示该像元为裂缝像元,否则为背景像元;
Figure BDA0003722648840000081
表示调职因子;α和γ表示平衡变量和可调聚焦参数;
S63、使用迭代训练后的模型对测试集数据预测以得到测试集道路裂缝检测结果。
进一步的,所述步骤S7具体包括以下分步骤:
S71、使用中轴变换法计算S63中提取出裂缝的骨架线并使用德劳内三角网提取裂缝边缘线,在任意裂缝像元位置,计算此位置骨架线的方向向量,并将其作为局部笛卡尔坐标系的y轴方向,在该坐标系中,找到边缘线一侧离坐标原点最近的一个点并计算该点至骨架线的距离,通过分别计算左右边缘线点距骨架线距离,得到该点处裂缝宽度;
S72、计算骨架线中所有裂缝像元的连接长度得到该图像样本中道路裂缝长度并构建道路裂缝检测显示平台,显示检测结果分割图以及裂缝长度和宽度信息。
以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明技术原理的前提下,还可以做出若干改进和变形,这些改进和变形也应视为本发明的保护范围。

Claims (8)

1.一种局部特征增强Transformer道路裂缝检测方法,其特征在于,包括以下步骤:
S1、利用车载CCD传感器采集高分辨率道路影像数据;
S2、将采集影像裁剪为512×512大小图像块,并初步筛选出含有裂缝的图像;
S3、通过人工目视解译,逐像素标注道路裂缝图像并划分训练集与测试集;
S4、建立局部特征增强Transformer道路裂缝检测模型;
S5、搭建训练和测试环境以选择最佳超参数和模型大小;
S6、通过开源数据集训练、验证模型性能,并使用该模型对S3建立的测试集分割预测;
S7、根据S6的分割结果,计算裂缝宽度和长度信息,计算道路病害程度。
2.根据权利要求1所述的一种局部特征增强Transformer道路裂缝检测方法,其特征在于,所述步骤S1具体包括以下分步骤:
S11、将CCD相机放置于倒车雷达位置,并调试相机视场与角度;
S12、采集不同材质和病害程度的路面原始影像。
3.根据权利要求1所述的一种局部特征增强Transformer道路裂缝检测方法,其特征在于,所述步骤S2具体包括以下分步骤:
S21、以5%交叠比将采集到的原始影像的不同帧保存为图像;
S22、将S21保存的图像使用滑动窗口方法分割为512×512大小图像块;
S23、使用基于Swin-Transformer初步筛选含有裂缝的图像块。
4.根据权利要求1所述的一种局部特征增强Transformer道路裂缝检测方法,其特征在于,所述步骤S3具体包括以下分步骤:
S31、将通过标注软件输入的信息生成逐像素标注标签;
S32、通过背靠背方法测试不同标注人标注质量,并对标注差异值小于第一阈值的样本取标注区域公共部分,对标签差异值大于第二阈值的样本重新标注,生成真实标签数据集;
S33、将真实标签数据集以8:2的比例划分为训练集和验证集。
5.根据权利要求1所述的一种局部特征增强Transformer道路裂缝检测方法,其特征在于,所述步骤S4中,建立局部特征增强Transformer道路裂缝检测模型的方法如下:
S41、搭建局部特征增强Transformer道路裂缝检测模型,该模型通过编码路径和解码路径提取低等级和高等级道路裂缝语义特征,并通过多尺度跨越连接将编码路径特征输入解码路径中以补充细节特征,通过预测模块检测路面图像中的裂缝;
S42、编码路径包括初始卷积模块、局部特征增强模块和Transformer模块,首先,初始卷积块使用两层步长分别为2的3×3卷积降低输入裂缝图像块的空间尺寸、提升其特征通道数量,初步提取低等级道路裂缝局部特征,对于X∈R512×512×3大小的输入图像,经初始卷积块处理后,生成特征图Y∈R96×128×128,其次,通过1个由空洞卷积、残差连接和Sigmoid激活函数构成的空间注意力模块位置编码道路裂缝特征图,通过步长为2的深度卷积将输入特征图下采样2倍并将其通道数提升2倍,将位置编码并下采样后的特征图输入Transformer模块,即通过投影、变形和相乘以及相加操作提取全局道路裂缝语义特征;之后,使用由两层3×3卷积构成的局部特征增强模块在保持特征图空间尺寸和通道数不变的情况下补充裂缝细节信息,通过以交替方式串联运行的4组不同空间尺寸和通道维数的局部特征增强模块和Transformer模块构成低等级语义特征提取的编码路径以提取不同尺度的局部和全局裂缝语义特征,经过4组Transformer模块和局部特征增强模块操作后,特征图尺寸分别为{R192×128×128,R192×64×64,R384×32×32,R768×16×16};
S43、解码路径由上采样模块和Transformer模块构成,首先,使用低级语义特征提取编码路径的最后一级输出特征图作为高级语义特征提取解码路径的输入数据;其次,使用双线性插值上采样、步长为1的3×3卷积和空间注意力块构成的上采样模块对该输入特征图进行两倍上采样,初步恢复裂缝图像分辨率,之后,将恢复分辨率后的特征图输入Transformer模块中,进一步提取高等级裂缝全局语义特征,通过构建由4个上述上采样模块和Transformer模块构成的高级特征提取路径,逐步恢复特征图的空间分辨率,并提取高等级道路裂缝语义特征,上述4组上采样模块和Transformer模块输出的特征图大小分别为{R384×32×32,R192×64×64,R96×128×128,R48×512×512};
S44、将上述每个阶段低级语义特征提取路径提取出的低等级特征和相应层级的高级语义特征提取路径提取出的高级特征图以逐元素相加的方式合并,补充高级语义特征缺乏的道路裂缝空间细节信息;
S45、通过一个3×3卷积块将解码路径输出的高等级道路裂缝语义特征图维度数降为1,即Y∈R1×512×512,之后,使用Sigmoid激活函数将该特征图的像元值大小映射至(0,1)区间以得到该图像中每个像元属于裂缝类别的概率图,最后,使用预设的阈值,将该图像中所有像元分类为裂缝或非裂缝,从而完成道路裂缝检测任务。
6.根据权利要求1所述的一种局部特征增强Transformer道路裂缝检测方法,其特征在于,所述的步骤S5具体包括以下分步骤:
S51、使用Pytorch和CUDA搭建基于GPU的模型训练和测试环境,并测试不同学习率、小批次大小和Transformer模块深度对模型性能的影响,选择最优超参数;
S52、使用枚举法,在[0.0005,0.005]区间中,以0.0005为间隔并分别使用4、8和16三种批次大小,测试不同学习率和批次大小下模型性能,通过横向比较检测结果,最终0.001和8作为学习率和小批次大小的最优超参数;
S53、固定超参数设定,选择不同的Transformer模块深度下的模型,即Transformer_T,Transformer_S,Transformer_B和Transformer_L,通过比较不同模型检测性能和训练、预测效率,最终使用Transformer_T作为最终模型。
7.根据权利要求1所述的一种局部特征增强Transformer道路裂缝检测方法,其特征在于,所述的步骤S6具体包括以下分步骤:
S61、使用开源数据集ConcreteCrack、CrackWH100、BridgeCrack、CrackTree260作为训练集与验证集,使用S3构建的数据集作为测试集;
S62、将Focal Loss作为损失函数解决裂缝图像中裂缝像元和道路背景像元数量差异大导致的类别不均衡问题,并迭代训练模型,Focal Loss公式表达如下:
Figure FDA0003722648830000031
Figure FDA0003722648830000032
其中,h和w分别表示输入图像的高和宽;Pij表示预测概率图;Mij表示标签数据,Mij=1,表示该像元为裂缝像元,否则为背景像元;
Figure FDA0003722648830000041
表示调职因子;α和γ表示平衡变量和可调聚焦参数;
S63、使用迭代训练后的模型对测试集数据预测以得到测试集道路裂缝检测结果。
8.根据权利要求7所述的一种局部特征增强Transformer道路裂缝检测方法,其特征在于,所述步骤S7具体包括以下分步骤:
S71、使用中轴变换法计算S63中提取出裂缝的骨架线,并使用德劳内三角网提取裂缝边缘线,在任意裂缝像元位置,计算此位置骨架线的方向向量,并将其作为局部笛卡尔坐标系的y轴方向,在该坐标系中,找到边缘线一侧离坐标原点最近的一个点并计算该点至骨架线的距离,通过分别计算左右边缘线点距骨架线距离以得到该点处裂缝宽度;
S72、计算骨架线中所有裂缝像元的连接长度得到该图像样本中道路裂缝长度,并构建道路裂缝检测显示平台,显示检测结果分割图以及裂缝长度和宽度信息。
CN202210767292.6A 2022-06-30 2022-06-30 一种局部特征增强Transformer道路裂缝检测方法 Pending CN115294541A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210767292.6A CN115294541A (zh) 2022-06-30 2022-06-30 一种局部特征增强Transformer道路裂缝检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210767292.6A CN115294541A (zh) 2022-06-30 2022-06-30 一种局部特征增强Transformer道路裂缝检测方法

Publications (1)

Publication Number Publication Date
CN115294541A true CN115294541A (zh) 2022-11-04

Family

ID=83822678

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210767292.6A Pending CN115294541A (zh) 2022-06-30 2022-06-30 一种局部特征增强Transformer道路裂缝检测方法

Country Status (1)

Country Link
CN (1) CN115294541A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115984584A (zh) * 2023-03-20 2023-04-18 广东石油化工学院 基于交替图像注意力机制的油罐商标颜色纯正检测方法
CN117291902A (zh) * 2023-10-17 2023-12-26 南京工业大学 一种基于深度学习用于像素级混凝土裂缝的检测方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115984584A (zh) * 2023-03-20 2023-04-18 广东石油化工学院 基于交替图像注意力机制的油罐商标颜色纯正检测方法
CN115984584B (zh) * 2023-03-20 2023-07-07 广东石油化工学院 基于交替图像注意力机制的油罐商标颜色纯正检测方法
CN117291902A (zh) * 2023-10-17 2023-12-26 南京工业大学 一种基于深度学习用于像素级混凝土裂缝的检测方法
CN117291902B (zh) * 2023-10-17 2024-05-10 南京工业大学 一种基于深度学习用于像素级混凝土裂缝的检测方法

Similar Documents

Publication Publication Date Title
Sony et al. A systematic review of convolutional neural network-based structural condition assessment techniques
CN111222474B (zh) 一种任意尺度的高分辨率图像小目标检测方法
Akagic et al. Pavement crack detection using Otsu thresholding for image segmentation
CN113516660B (zh) 适用于列车的视觉定位与缺陷检测方法和装置
CN108596055B (zh) 一种复杂背景下高分辨遥感图像的机场目标检测方法
Serna et al. Detection, segmentation and classification of 3D urban objects using mathematical morphology and supervised learning
Tan et al. Automatic detection of sewer defects based on improved you only look once algorithm
Li et al. Automatic crack recognition for concrete bridges using a fully convolutional neural network and naive Bayes data fusion based on a visual detection system
Radopoulou et al. Patch detection for pavement assessment
CN103020605B (zh) 基于决策层融合的桥梁识别方法
CN115294541A (zh) 一种局部特征增强Transformer道路裂缝检测方法
CN113436157B (zh) 一种用于受电弓故障的车载图像识别方法
CN111461083A (zh) 基于深度学习的快速车辆检测方法
CN111598098B (zh) 一种基于全卷积神经网络的水尺水位线检测及有效性识别方法
CN113269040A (zh) 结合图象识别与激光雷达点云分割的驾驶环境感知方法
Chatterjee et al. Intelligent Road Maintenance: a Machine Learning Approach for surface Defect Detection.
CN116797787B (zh) 基于跨模态融合与图神经网络的遥感影像语义分割方法
CN104376303A (zh) 一种低分辨率情况下的车辆成像方法
CN104881661A (zh) 基于结构相似度的车辆检测方法
Chen et al. A deep region-based pyramid neural network for automatic detection and multi-classification of various surface defects of aluminum alloys
CN113379737A (zh) 基于图像处理及深度学习的管道缺陷智能检测方法及应用
Saisree et al. Pothole detection using deep learning classification method
CN113111875A (zh) 一种基于深度学习的无缝钢轨焊缝缺陷识别装置及方法
CN116597270A (zh) 基于注意力机制集成学习网络的道路损毁目标检测方法
Guerrieri et al. Flexible and stone pavements distress detection and measurement by deep learning and low-cost detection devices

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination