CN112926669B - 一种基于特征增强的隧道裂缝快速检测方法 - Google Patents

一种基于特征增强的隧道裂缝快速检测方法 Download PDF

Info

Publication number
CN112926669B
CN112926669B CN202110259286.5A CN202110259286A CN112926669B CN 112926669 B CN112926669 B CN 112926669B CN 202110259286 A CN202110259286 A CN 202110259286A CN 112926669 B CN112926669 B CN 112926669B
Authority
CN
China
Prior art keywords
crack
feature map
feature
lfdnet
tunnel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110259286.5A
Other languages
English (en)
Other versions
CN112926669A (zh
Inventor
姜明
何利飞
张旻
李鹏飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Dianzi University
Original Assignee
Hangzhou Dianzi University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Dianzi University filed Critical Hangzhou Dianzi University
Priority to CN202110259286.5A priority Critical patent/CN112926669B/zh
Publication of CN112926669A publication Critical patent/CN112926669A/zh
Application granted granted Critical
Publication of CN112926669B publication Critical patent/CN112926669B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于特征增强的隧道裂缝快速检测方法。本发明步骤：(1)使用特征提取模块、特征融合模块和注意力机制模块，构建初始卷积神经网络LFDNet；(2)在MSCOCO数据集上对初始卷积神经网络LFDNet进行预训练得到基础检测模型；(3)收集多种场景下的隧道裂缝图片，标注所有收集的裂缝图片中的裂缝，从而形成一个专门的隧道裂缝数据集；使用隧道裂缝数据集对基础检测模型进行训练得到最终的裂缝检测网络LFDNet；(4)将测试裂缝图片输入最终的裂缝检测网络LFDNet，检测出该裂缝图片中是否存在裂缝以及裂缝的位置信息。本发明能够较为快速、准确的检测出隧道内的裂缝，可用性强。

Description

一种基于特征增强的隧道裂缝快速检测方法
技术领域
本发明属于人工智能和目标检测技术领域。涉及一种基于特征增强的隧道裂缝快速检测方法，具体是一种使用特征增强网络的隧道裂缝快速检测方法，
背景技术
随着我国轨道交通的飞速发展，隧道的数目与日俱增，随之而来隧道病害也日益增多，尤其是隧道裂缝病害。这些裂缝如果不能够及时有效的修复，会对交通安全造成巨大隐患。裂缝作为隧道病害的一种，影响着轨道交通的运营安全，因此对隧道裂缝的有效检测十分重要。隧道裂缝图像普遍存在着低对比度、光照不均匀、噪声污染严重等问题。目前在对隧道情况进行检测时，大部分还是使用传统的人工检测方法。人工的方法效率低、误差大，而且对交通有较大的影响，检测人员的人身安全也不能完全保证。借助于人工智能的发展，使用卷积神经网络进行目标检测，也已经得到了广泛的应用。
发明内容
本发明的目的是针对人工检测隧道病害的不足，提供一种基于特征增强的隧道裂缝快速检测方法，一种使用基于人工智能领域的特征增强卷积神经网络，进行隧道裂缝检测任务。
本发明解决其技术问题所采用的技术方案如下：
步骤(1)使用特征提取模块、特征融合模块和注意力机制模块，构建初始卷积神经网络LFDNet；
步骤(2)在MS COCO数据集上对初始卷积神经网络LFDNet进行预训练，得到基础检测模型；
步骤(3)收集多种场景下的隧道裂缝图片，标注所有收集的裂缝图片中的裂缝，从而形成一个专门的隧道裂缝数据集；收集的多种场景下的隧道裂缝图片包括：高对比度/低对比度、强光照/弱光照、图片有噪点污染/图片无噪点污染；
使用隧道裂缝数据集对步骤(2)中的基础检测模型进行进一步训练，得到最终的裂缝检测网络LFDNet；
步骤(4)将测试裂缝图片输入最终的裂缝检测网络LFDNet，检测出该裂缝图片中是否存在裂缝以及裂缝的位置信息。
针对网络LFDNet的训练：先在MS COCO数据集上进行预训练，得到含有基础目标检测能力的预训练网络模型。然后通过收集多种场景下的裂缝图片，标注所有收集的裂缝图片中的裂缝，从而形成一个专门的隧道裂缝数据集。最后将预训练网络模型，进一步在隧道裂缝数据集上进一步训练，得到最终的裂缝检测网络LFDNet进行裂缝检测测试。
本发明优点如下：
本发明方法具有更好的鲁棒性能检测各种场景下的隧道裂缝；而且本发明使用人工智能领域的目标检测技术，能够节省人工，提高效率，减少误差，而且对交通影响也小。
本发明采集了多种场景下的隧道裂缝整体特征，而且通过特征融合和注意力机制的增强方式，能够较为快熟、准确的检测出隧道内的裂缝，可用性强。
本发明建立在目标检测技术基础上的隧道裂缝检测，具有一定先进性，卷积神经网络可以自己学习目标整体特征，而且通过多个样本的学习，就能够较为准确的检测出隧道裂缝，适用性较强。
附图说明
图1是本发明的整体实施方案流程图；
图2是本发明的特征融合模块示意图；
图3是本发明的注意力机制示意图；
图4是本发明的LFDNet网络结构示意图；
具体实施方式
下面结合附图对本发明作进一步描述。
本发明提供了一种基于特征增强卷积神经网络的裂缝检测网络LFDNet。该裂缝检测网络LFDNet包括三部分：特征提取模块、特征融合模块以及注意力机制模块。首先，特征提取模块通过基本卷积神经网络提取目标浅层特征信息、深层特征信息；然后特征融合模块将提取的特征信息中的浅层特征和深层特征融合，形成包含上下文信息的融合特征，用于解决浅层特征图中目标语义信息弱、检测精度低的问题；再然后注意力机制模块通过融合全局像素关联空间注意力，增强对关键目标信息贡献大的区域，来增强网络LFDNet对特定目标的检测能力。
参照图1是本发明的整体实施方案流程图，一种基于特征增强的隧道裂缝快速检测方法，按照如下步骤进行：
步骤(1)使用特征提取模块、特征融合模块和注意力机制模块，构建初始卷积神经网络LFDNet；
步骤(2)在MS COCO数据集上对初始卷积神经网络LFDNet进行预训练，得到基础检测模型。
步骤(3)收集多种场景下的隧道裂缝图片，标注所有收集的裂缝图片中的裂缝，从而形成一个专门的隧道裂缝数据集。收集的多种场景下的隧道裂缝图片包括：高对比度/低对比度、强光照/弱光照、图片有噪点污染/图片无噪点污染。使用隧道裂缝数据集对步骤(2)中的基础检测模型进行进一步训练，得到最终的裂缝检测网络LFDNet。
步骤(4)将测试裂缝图片输入最终的裂缝检测网络LFDNet，检测出该裂缝图片中是否存在裂缝以及裂缝的位置信息。
步骤(1)所述构建卷积神经网络LFDNet，具体实现过程如下：
1.1构建特征提取模块，使用ResNet-101作为主干网络用于提取隧道裂缝特征图信息；
1.2提取到特征图(记为特征图1、特征图2、特征图3、特征图4和特征图5)之后。构建特征融合模块：从特征图5开始，使用1*1的卷积核来降维深层特征图的通道，使得深层特征图和浅层特征图的通道数一致；然后对降维的深层特征图上采样放大到和浅层特征图的尺寸一致；最后利用矩阵multi操作将具有相同通道和尺寸的浅层特征图和深层特征图融合，得到融合特征图。
具体过程如图2所示：特征图1是由卷积层1的输出，特征图尺寸最大，语义最浅；依次特征图2、特征图3、特征图4、是分别由卷积层2、卷积层3和卷积层4输出，而由卷积层5输出的特征图5尺寸最小，语义最强。将特征图5上采样到与特征图4相同的尺寸，然后与特征图4进行第1次融合得到融合特征图1，此时的融合特征图相比与原先的特征图4具有了更强的语义。再然后将融合特征图1上采样得到与特征图3相同的尺寸，进行第，2次融合得到融合特征图2，重复多次融合得到融合特征图1、融合特征图2、融合特征图3和融合特征图4。
1.3将步骤1.2得到的融合特征图1、融合特征图2、融合特征图3和融合特征图4送入注意力机制模块，提取不同维度信息，得到包含关键信息的特征图，具体流程如图3所示：
其中，输入融合特征图为X∈Rh*w*c，首先，通过横向卷积和纵向卷积操作，沿通道维度得到两个新的特征描述分别为：
Fc∈Rhwc*1，Fl∈R1*hwc，
并通过矩阵multi操作融合新的特征描述：
Xnew＝Fc×Fl
然后，通过一个标准的卷积激活函数ReLU对融合后新的特征描述进行激活，获得最终的注意力图A(x)，整个注意力图提取过程描述如下所示：
Figure BDA0002968212600000041
其中：γ∈[0，1).
进一步步骤1.3的操作可以描述为：首先，空间注意力机制通过计算不同维度(横向和纵向)的特征信息寻找隧道裂缝在图片中的位置；然后，通过卷积激活函数对特定区域进行注意力学习，得到包含特定区域上下文信息的注意力特征图。
如图4所示，所述步骤(2)具体实现过程如下：
2.1将步骤(1)构成的卷积神经网络LFDNet，设置多个步长的学习批次，批处理数设置为64。动量设为0.8，初始权值设置为0.01，每1000次学习后衰减为原来的1/10。
2.2网上下载MS COCO数据集，使用MS COCO数据集对卷积神经网络LFDNet进行训练，获得基础检测模型。
所述步骤(3)具体实现过程如下：
3.1收集多种场景下的隧道裂缝图片，标注所有收集的裂缝图片中的裂缝，从而形成一个专门的隧道裂缝数据集。收集的多种场景下的隧道裂缝图片包括：高对比度/低对比度、强光照/弱光照、图片有噪点污染/图片无噪点污染。
3.2使用隧道裂缝数据集对步骤(2)中的基础检测模型进行进一步训练，得到最终的裂缝检测网络LFDNet。
所述步骤(4)具体实现过程如下：
将测试图像输入到卷积神经网络检测模型LFDNet中，获得裂缝检测结果。若输入的隧道图片中包含裂缝，则能够得到图片中的裂缝位置等信息将测试裂缝图片输入最终的裂缝检测网络LFDNet，获得裂缝检测结果,若输入的测试裂缝图片中包含裂缝，则能够检测出该测试裂缝图片中裂缝的位置信息。

Claims (3)

1.一种基于特征增强的隧道裂缝快速检测方法，其特征在于包括如下步骤：
步骤(1)使用特征提取模块、特征融合模块和注意力机制模块，构建初始卷积神经网络LFDNet；
步骤(2)在MS COCO数据集上对初始卷积神经网络LFDNet进行预训练，得到基础检测模型；
步骤(3)收集多种场景下的隧道裂缝图片，标注所有收集的裂缝图片中的裂缝，从而形成一个专门的隧道裂缝数据集；收集的多种场景下的隧道裂缝图片包括：高对比度/低对比度、强光照/弱光照、图片有噪点污染/图片无噪点污染；
使用隧道裂缝数据集对步骤(2)中的基础检测模型进行进一步训练，得到最终的裂缝检测网络LFDNet；
步骤(4)将测试裂缝图片输入最终的裂缝检测网络LFDNet，检测出该裂缝图片中是否存在裂缝以及裂缝的位置信息；
步骤(1)所述构建初始卷积神经网络LFDNet，具体实现过程如下：
1.1构建特征提取模块，使用ResNet-101作为主干网络用于提取隧道裂缝特征图信息，包括特征图1、特征图2、特征图3、特征图4和特征图5；
1.2构建特征融合模块：从特征图5开始，使用1*1的卷积核来降维深层特征图的通道，使得深层特征图和浅层特征图的通道数一致；然后对降维的深层特征图上采样放大到和浅层特征图的尺寸一致；最后利用矩阵multi操作将具有相同通道和尺寸的浅层特征图和深层特征图融合，得到融合特征图；具体的：特征图1是由卷积层1的输出，特征图尺寸最大，语义最浅；依次特征图2、特征图3、特征图4、是分别由卷积层2、卷积层3和卷积层4输出，而由卷积层5输出的特征图5尺寸最小，语义最强；将特征图5上采样到与特征图4相同的尺寸，然后与特征图4进行第1次融合得到融合特征图1，此时的融合特征图相比与原先的特征图4具有了更强的语义；再然后将融合特征图1上采样得到与特征图3相同的尺寸，进行第,2次融合得到融合特征图2，重复多次融合得到融合特征图1、融合特征图2、融合特征图3和融合特征图4；
1.3将步骤1.2得到的融合特征图1、融合特征图2、融合特征图3和融合特征图4送入注意力机制模块，提取不同维度信息，得到包含关键信息的特征图：
其中，输入融合特征图为X∈Rh*w*c；首先通过横向卷积和纵向卷积操作，沿通道维度得到两个新的特征描述分别为:
Fc∈Rhwc*1，Fl∈R1*hwc，
并通过矩阵multi操作融合新的特征描述:
Xnew＝Fc×Fl
然后，通过一个标准的卷积激活函数ReLU对融合后新的特征描述进行激活，获得最终的注意力图A(x)，整个注意力图提取过程描述如下所示：
Figure FDA0003391055310000021
其中：γ∈[0,1)。
2.根据权利要求1所述的一种基于特征增强的隧道裂缝快速检测方法，其特征在于所述步骤(2)具体实现过程如下：
2.1将步骤(1)构成的卷积神经网络LFDNet，设置多个步长的学习批次，批处理数设置为64；动量设为0.8，初始权值设置为0.01，每1000次学习后衰减为原来的1/10；
2.2网上下载MS COCO数据集，使用MS COCO数据集对卷积神经网络LFDNet进行训练，获得基础检测模型。
3.根据权利要求2所述的一种基于特征增强的隧道裂缝快速检测方法，其特征在于所述步骤(4)具体实现过程如下：
将测试图像输入到卷积神经网络检测模型LFDNet中，获得裂缝检测结果；若输入的隧道图片中包含裂缝，则能够得到图片中的裂缝位置等信息将测试裂缝图片输入最终的裂缝检测网络LFDNet，获得裂缝检测结果,若输入的测试裂缝图片中包含裂缝，则能够检测出该测试裂缝图片中裂缝的位置信息。
CN202110259286.5A 2021-03-09 2021-03-09 一种基于特征增强的隧道裂缝快速检测方法 Active CN112926669B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110259286.5A CN112926669B (zh) 2021-03-09 2021-03-09 一种基于特征增强的隧道裂缝快速检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110259286.5A CN112926669B (zh) 2021-03-09 2021-03-09 一种基于特征增强的隧道裂缝快速检测方法

Publications (2)

Publication Number Publication Date
CN112926669A CN112926669A (zh) 2021-06-08
CN112926669B true CN112926669B (zh) 2022-03-08

Family

ID=76172349

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110259286.5A Active CN112926669B (zh) 2021-03-09 2021-03-09 一种基于特征增强的隧道裂缝快速检测方法

Country Status (1)

Country Link
CN (1) CN112926669B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101896406B1 (ko) * 2018-03-13 2018-10-22 연세대학교 산학협력단 블랙박스 영상을 이용한 딥러닝 기반의 픽셀 단위 도로 크랙 검출 장치 및 그 방법, 그리고 이 방법을 실행시키기 위해 컴퓨터가 판독 가능한 기록매체에 저장된 컴퓨터 프로그램
CN110378252A (zh) * 2019-06-28 2019-10-25 浙江大学 一种基于深度迁移学习的混凝土裂缝识别方法
CN111597932A (zh) * 2020-04-30 2020-08-28 汕头大学 基于卷积神经网络的道路裂缝图像识别方法、装置及系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110147772B (zh) * 2019-05-23 2022-09-20 河海大学常州校区 一种基于迁移学习的水下坝体表面裂缝识别方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101896406B1 (ko) * 2018-03-13 2018-10-22 연세대학교 산학협력단 블랙박스 영상을 이용한 딥러닝 기반의 픽셀 단위 도로 크랙 검출 장치 및 그 방법, 그리고 이 방법을 실행시키기 위해 컴퓨터가 판독 가능한 기록매체에 저장된 컴퓨터 프로그램
CN110378252A (zh) * 2019-06-28 2019-10-25 浙江大学 一种基于深度迁移学习的混凝土裂缝识别方法
CN111597932A (zh) * 2020-04-30 2020-08-28 汕头大学 基于卷积神经网络的道路裂缝图像识别方法、装置及系统

Also Published As

Publication number Publication date
CN112926669A (zh) 2021-06-08

Similar Documents

Publication Publication Date Title
US20210319561A1 (en) Image segmentation method and system for pavement disease based on deep learning
CN111222580A (zh) 一种高精度的裂缝检测方法
CN114898352A (zh) 一种同时实现图像去雾与车牌检测的方法
CN108171175B (zh) 一种深度学习样本增强系统及其运行方法
CN116310785B (zh) 基于YOLO v4的无人机影像路面病害检测方法
CN113486886B (zh) 一种自然场景下的车牌识别方法和装置
CN114973032A (zh) 一种基于深度卷积神经网络的光伏板热斑检测方法及装置
NL2030315B1 (en) Computer-implemented ai method for detecting surface defects of electroluminescent semiconductor panel
US20220315243A1 (en) Method for identification and recognition of aircraft take-off and landing runway based on pspnet network
CN111178282A (zh) 一种道路交通限速标志定位识别方法及装置
CN114092815A (zh) 一种大范围光伏发电设施遥感智能提取方法
CN114049538A (zh) 基于udwgan++网络的机场裂缝图像对抗生成方法
CN116206112A (zh) 基于多尺度特征融合和sam的遥感图像语义分割方法
CN112926669B (zh) 一种基于特征增强的隧道裂缝快速检测方法
CN114612803A (zh) 一种改进CenterNet的输电线路绝缘子缺陷检测方法
CN111881914B (zh) 一种基于自学习阈值的车牌字符分割方法及系统
CN116778346B (zh) 一种基于改进自注意力机制的管线识别方法及系统
CN113506281A (zh) 一种基于深度学习框架的桥梁裂缝检测方法
CN117788950A (zh) 基于改进YOLOv8模型的路面病害检测方法
CN111179278B (zh) 一种图像检测的方法、装置、设备和存储介质
CN113762247A (zh) 一种基于显著实例分割算法的道路裂缝自动检测方法
CN116958073A (zh) 基于注意力特征金字塔机制的小样本钢材缺陷检测方法
CN115661681B (zh) 一种基于深度学习的滑坡灾害自动识别方法及系统
CN111612803A (zh) 一种基于图像清晰度的车辆图像语义分割方法
CN114998866A (zh) 一种基于改进YOLOv4的交通标志识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant