CN112700429A - 基于深度学习的机场道面地下结构病害自动检测方法 - Google Patents

基于深度学习的机场道面地下结构病害自动检测方法 Download PDF

Info

Publication number
CN112700429A
CN112700429A CN202110024616.2A CN202110024616A CN112700429A CN 112700429 A CN112700429 A CN 112700429A CN 202110024616 A CN202110024616 A CN 202110024616A CN 112700429 A CN112700429 A CN 112700429A
Authority
CN
China
Prior art keywords
dimensional
convolution
sub
scan
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110024616.2A
Other languages
English (en)
Other versions
CN112700429B (zh
Inventor
李海丰
李南莎
王怀超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Guimu Robot Co ltd
Original Assignee
Civil Aviation University of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Civil Aviation University of China filed Critical Civil Aviation University of China
Priority to CN202110024616.2A priority Critical patent/CN112700429B/zh
Publication of CN112700429A publication Critical patent/CN112700429A/zh
Priority to PCT/CN2021/101775 priority patent/WO2022147969A1/zh
Application granted granted Critical
Publication of CN112700429B publication Critical patent/CN112700429B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30132—Masonry; Concrete

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

一种基于深度学习的机场道面地下结构病害自动检测方法。其构造了由二维卷积和三维卷积组成的卷积神经网络，可提取GPR B‑scan和C‑scan中的二维和三维特征并进行融合，充分考虑到了地下病害的空间性质和不同病害间的特征差异；接下来构造了反卷积子网络对融合特征进行反卷积，实现对地下病害目标的三维语义分割，将属于病害区域的前景像素点分割出来，然后通过聚类生成三维外接框，避免了对三维空间的大量搜索；将得到的三维外接框略微进行扩大作为感兴趣区域映射到已获得的三维特征图对应位置，然后进行池化操作，得到固定大小的感兴趣区域对应的特征图，本发明最后构造了全连接层对初始的三维预测框进行位置修正和分类，使得定位更加精确，可有效用于机场道面地下结构病害检测，且平均检测精度较现有公知方法高。

Description

基于深度学习的机场道面地下结构病害自动检测方法
技术领域
本发明属于探地雷达目标识别技术领域，特别是涉及一种基于深度学习的机场道面地下结构病害自动检测方法。
背景技术
由于飞机起降所产生的压力，许多机场跑道中都存在地下缺陷。尽早发现地下缺陷，例如脱空和裂缝，可以显著降低维护成本并确保安全。探地雷达(GPR)作为地下物体检测的重要工具，近年来在跑道检查任务中越来越受欢迎。
探地雷达不会直接为扫描的对象提供3D位置，而是提供一组回旋且嘈杂的雷达反射图像，这些图像也称为B-scan图像。图1为目前探地雷达采集到的四种机场道面地下典型病害B-scan图像示意图。因此，当前的方法仍然需依靠专家来解释探地雷达数据，这种方法存在的问题是主观性强，容易出错，成本高昂且费时。
运输基础设施的地下无损评估(NDE)对于安全是必不可少的。执行地下基础设施检查的NDE技术，例如超声波检测、振动声学、低频电磁场(LFEM)、无源磁场(PMF)和GPR，可以提供可靠的诊断，而不会损坏被检查的结构。在不同的传感器形式中，GPR已被广泛用于地下检测。但是，从GPR信号自动识别地下目标并非易事，因为GPR无法提供3D位置，而是具有杂乱信号的反射图像。因此，基于探地雷达的自动目标检测仍然是一个具有挑战性的问题。
标准信号处理方法，包括模板匹配、超分辨率谱估计、S变换和小波变换，已被广泛研究用于自动GPR数据分析。但是，这些方法对噪声很敏感，导致检测结果不可靠，尤其是对于在应用中信号杂波明显的现场GPR数据而言。
机器学习技术已在GPR数据解释中变得流行，包括基于支持向量机、遗传优化和聚类等技术的方法。但是，这些传统方法的性能取决于所提取的特征，这限制了它们在非常杂乱的现场GPR数据上的应用。
基于卷积神经网络(CNN)的方法直接从输入数据中学习特征表示，并在近年来变得越来越流行。研究人员已经开发出基于CNN的方法从GPR数据中自动检测物体。Singh等人简化了在GPR B-scan图像中发现的双曲线模式的解释，并使用神经网络和曲线拟合技术估计出圆柱物体的位置。Almaimani等人专注于使用四种不同的CNN结构，根据GPR圆柱体的深度，大小和基础介质的介电常数对其B-scan进行分类。但是，与圆柱形管道相比，自然缺陷检测更具挑战性。刘等人提出了一种DNN架构(即GPRInvNet)来应对将GPR B扫描数据映射到地下结构的复杂介电常数图的挑战。Besaw等人使用深层的CNN从2D GPR B-scan中提取有意义的特征，并对威胁进行分类。最近，已经提出了众所周知的成功2D对象检测算法，例如Faster R-CNN和YOLO，并且进一步用于从GPR B-scan图像进行缺陷检测。尽管这些基于CNN的技术已经取得了良好的初步效果，但它们仍然不能满足现场应用的需求。现有的基于CNN的方法的主要问题是仅采用2D B-scan图像，而没有考虑跨多个B-scan的3D特征信息以进行3D缺陷检测。
发明内容
为了解决上述问题，本发明的目的在于提供一种基于深度学习的机场道面地下结构病害自动检测方法，以解决地下结构病害检测问题。
为了达到上述目的，本发明提供的基于深度学习的机场道面地下结构病害自动检测方法包括按顺序进行的下列步骤：
步骤一：使用多通道探地雷达采集机场道面地下结构的B-scan图像和C-scan；
步骤二：构造一个由三维卷积和二维卷积两个子网络组成的卷积神经网络，并利用三维卷积和二维卷积子网络分别提取上述C-scan中包含地下病害多通道之间关联性的三维特征图和B-scan图像中地下病害的二维特征图；
步骤三：将步骤二中得到的三维特征图和二维特征图进行融合，得到包含地下病害丰富信息的融合特征图；
步骤四：构造一个三维反卷积子网络对步骤三得到的融合特征图进行上采样，得到与输入的体素相同尺寸的分割图，以实现对采集的雷达图像中目标的像素级分割；
步骤五：将步骤四中获得的分割图中的前景像素点聚类成不同大小的簇，然后由生成的所有簇分别获得三维外接矩形框作为初始预测框；
步骤六：将步骤五生成的所有初始预测框分别映射到步骤二中获得的三维特征图的对应位置，得到固定大小的三维特征图；
步骤七：构造修正子网络，并利用该子网络和步骤六生成的固定大小的三维特征图对步骤五得到的初始预测框进行边框修正和分类，获得定位更加精确的三维预测框。
在步骤二中，所述的构造一个由三维卷积和二维卷积两个子网络组成的卷积神经网络，并利用三维卷积和二维卷积子网络分别提取上述C-scan中包含地下病害多通道之间关联性的三维特征图和B-scan图像中地下病害的二维特征图的方法是：
将整个C-scan细分为等距的体素，每个体素的大小为mv×mv×nv，其中mv表示体素中包含的每个B-scan图像的尺寸，nv是包含在一个体素中的B-scan图像的总数，通常设置为探地雷达阵列通道的总数；获得C-scan后，根据其驻留的B-scan图像将每个体素进一步拆分为nv个平面；将得到的这些体素及平面分别输入到三维卷积和二维卷积两个子网络中提取出相应的三维特征和二维特征；三维卷积子网络由六个模块组成，每个模块中的卷积块都分别包含一个卷积层，BN层和RELU层，卷积层中提供的三维卷积核尺寸为5×5×5；前四个模块中都分别包含一个尺寸为2×2×2的最大池化层，步长设置为2，用于将得到的三维特征图进行下采样为原来尺寸的一半；最后一个卷积模块中的卷积核尺寸为1×1×1，用于预测三维特征图中的每个像素点属于前景或背景的概率；二维卷积子网络的结构和每个模块的功能都与三维卷积子网络一致，区别是每个模块中提供的均为二维的卷积核和池化操作。
在步骤三中，所述的将步骤二中得到的三维特征图和二维特征图进行融合，得到包含地下病害丰富信息的融合特征图的方法是：
将步骤二中获得的nv个平面对应的二维特征图按其在体素中的排列顺序组合成三维特征图，然后与对应的步骤二中得到的从体素中提取出的三维特征图按对应位置逐个相加，形成与三维特征图相同尺寸的融合特征图。
在步骤四中，所述的构造一个三维反卷积子网络对步骤三得到的融合特征图进行上采样，得到与输入的体素相同尺寸的分割图，以实现对采集的雷达图像中目标的像素级分割的方法是：
构造的三维反卷积子网络由四个模块组成，每个模块分别包含一个可将输入的融合特征图尺寸扩大2倍的上采样层，其中的卷积核尺寸为4×4×4，和一个BN层；训练阶段采用的真值分割图由人工标注的3D真值框提供，分割损失为可解决类别不平衡的焦点损失，定义为：
Figure BDA0002889955580000051
其中
Figure BDA0002889955580000052
是预测值，α∈[0,1]是加权因子，γ∈[0,5]是聚焦参数；经过对步骤三得到的融合特征图进行逐层反卷积，即可得到与输入的体素相同尺寸的分割图，分割图中前景像素值设置为1，背景像素值设置为0。
在步骤五中，所述的将步骤四中获得的分割图中的前景像素点聚类成不同大小的簇，然后由生成的所有簇分别获得三维外接矩形框作为初始预测框的方法是：
将来自相邻通道B-scan图像中的两个前景像素点看作邻近点并进行聚类，C-scan中任意的两个三维像素点Xm,i＝[um,i,vm,i,zm]T和Xn,j＝[un,j,vn,j,zn]T之间的距离定义如下：
Figure BDA0002889955580000053
其中，dm,n表示探地雷达两个相邻通道间的实际距离，λ是一个参数，其值取决于探地雷达的配置，m和n分别是两张B-scan图像Bm和Bn的下标；然后用DBSCAN算法将前景像素点聚类成多个簇，并去掉孤立点；DBSCAN算法首先随机选取一个像素点Xm,i，然后从所有前景像素点中找出与像素点Xm,i邻近的前景像素点，这些像素点形成的簇定义如下：
Figure BDA0002889955580000054
其中，Nε(Xm,i)包含至少MinPts个前景像素点；
然后在每个体素中也进行聚类，对所有体素中形成的簇进行编号，定义为Cg，g＝1,2,…,ng，Yg,i∈Cg表示簇Cg中的一个像素点，将两个簇Cg和Ch进行合并的条件如下：
Figure BDA0002889955580000061
其中，Tm是一个特定的阈值；得到所有的簇后，计算出每个簇的三维边界框作为初始预测框。
在步骤六中，所述的将步骤五生成的所有初始预测框分别映射到步骤二中获得的三维特征图的对应位置，得到固定大小的三维特征图的方法是：
首先略微扩大每个初始预测框以创建新的三维框作为感兴趣区域，以便引入一些上下文信息，并将这些感兴趣区域映射到三维特征图的对应位置；然后将映射后的区域划分为相同大小的子区域；接下来对每个子区域进行最大池化操作，这样就可以由不同大小的初始预测框得到固定大小的相应的三维特征图。
在步骤七中，所述的构造修正子网络，并利用该子网络和步骤六生成的固定大小的三维特征图对步骤五得到的初始预测框进行边框修正和分类，获得定位更加精确的三维预测框的方法是：
构造的修正子网络由三个全连接层构成，后两层分别用于获取初始预测框的类别以及位置的偏移量和缩放因子，只有当初始预测框和真值框的IoU值大于一个特定阈值Tr时，才对初始预测框进行修正；修正阶段采用的损失由分类和回归损失构成，分类损失Lc采用交叉熵损失，回归损失Lh定义如下：
Figure BDA0002889955580000062
Figure BDA0002889955580000063
Figure BDA0002889955580000071
其中，np表示外接矩形框中包含的所有像素点个数，nc表示所有的类别数，yi和
Figure BDA0002889955580000072
分别表示一个像素点属于某一类的真实值和预测值，bi是一个表示标记的三维外接矩形框的向量，
Figure BDA0002889955580000073
表示预测出的包围框，δ是参数，λ是平衡加权因子。
本发明提供的基于深度学习的机场道面地下结构病害自动检测方法是首先构造了包含二维卷积和三维卷积两个子网络的卷积神经网络，分别提取探地雷达的B-scan图像和C-scan中的二维和三维特征图并进行融合，充分考虑到了地下病害的空间性质和不同病害间的特征差异；接下来构造了反卷积子网络对融合特征图进行反卷积，以实现对地下病害目标的三维语义分割，将属于病害区域的前景像素点分割出来，然后通过聚类生成三维外接矩形框，避免了对三维空间的大量搜索；将得到的三维外接矩形框略微进行扩大作为感兴趣区域并映射到已获得的三维特征图的对应位置，然后进行池化操作，得到固定大小的感兴趣区域对应的三维特征图；最后构造修正子网络对初始预测框进行位置修正和分类，得到更加精确的三维预测框作为网络的输出。
相较于现有技术，本发明具有以下有益效果：本发明不易受杂乱信号的干扰，且通过融合探地雷达的B-scan图像和C-scan中的二维和三维特征，充分考虑了病害的空间性和差异性，采用先分割后检测的方法，避免了空间的大量搜索，并对得到的初始预测框进行了修正，使得对地下病害的定位更加精确，且准确率较现有公知的方法高。
附图说明
图1为目前探地雷达采集到的四种机场道面地下典型病害B-scan图像示意图。
图2为本发明提供的基于深度学习的机场道面地下结构病害自动检测方法流程图。
图3为本发明中包含的四个子网络结构示意图，其中图3(a)为三维卷积子网络；图3(b)为二维卷积子网络；图3(c)为反卷积子网络；图3(d)为修正子网络。
图4为本发明提供的AUD数据集上的四项实验结果示例。
具体实施方式
为使本领域技术人员更加清楚和明确本发明的技术方案，下面参照附图和具体实施例对本发明作进一步详细的描述，但本发明的实施方式不限于此。
如图2所示，本发明提供的基于深度学习的机场道面地下结构病害自动检测方法包括按顺序进行的下列步骤：
步骤一：使用多通道探地雷达采集机场道面地下结构的B-scan图像和C-scan；
步骤二：构造一个由三维卷积和二维卷积两个子网络组成的卷积神经网络，并利用三维卷积和二维卷积子网络分别提取上述C-scan中包含地下病害多通道之间关联性的三维特征图和B-scan图像中地下病害的二维特征图；
将整个C-scan细分为等距的体素，每个体素的大小为mv×mv×nv，其中mv表示体素中包含的每个B-scan图像的尺寸，nv是包含在一个体素中的B-scan图像的总数。通常，nv设置为探地雷达阵列通道的总数，这样仅通过一次扫描就将数据保留在体素中，以避免不同扫描之间的C-scan对齐错误。获得C-scan后，根据其驻留的B-scan图像将每个体素进一步拆分为nv个平面。将得到的这些体素及平面分别输入到三维卷积和二维卷积两个子网络中提取出相应的三维特征和二维特征。如图3(a)所示，三维卷积子网络由六个模块组成，每个模块中的卷积块都分别包含一个卷积层，BN层和RELU层，卷积层中提供的三维卷积核尺寸为5×5×5；前四个模块中都分别包含一个尺寸为2×2×2的最大池化层，步长设置为2，用于将得到的三维特征图进行下采样为原来尺寸的一半；最后一个卷积模块中的卷积核尺寸为1×1×1，用于预测三维特征图中的每个像素点属于前景或背景的概率；用于提取二维特征的二维卷积子网络如图3(b)所示，结构和每个模块的功能都与三维卷积子网络一致，区别是每个模块中提供的均为二维的卷积核和池化操作。
步骤三：将步骤二中得到的三维特征图和二维特征图进行融合，得到包含地下病害丰富信息的融合特征图；
由步骤二可知，每个体素被划分成nv个平面，将这nv个平面对应的二维特征图按其在体素中的排列顺序组合成三维特征图，然后与对应的步骤二中得到的从体素中提取出的三维特征图按对应位置逐个相加，形成与三维特征图相同尺寸的融合特征图。
步骤四：构造一个三维反卷积子网络对步骤三得到的融合特征图进行上采样，得到与输入的体素相同尺寸的分割图，以实现对采集的雷达图像中目标的像素级分割；
如图3(c)所示，构造的三维反卷积子网络由四个模块组成，每个模块分别包含一个可将输入的融合特征图尺寸扩大2倍的上采样层，其中的卷积核尺寸为4×4×4，和一个BN层；训练阶段采用的真值分割图由人工标注的3D真值框提供，分割损失为可解决类别不平衡的焦点损失，定义为：
Figure BDA0002889955580000101
其中
Figure BDA0002889955580000102
是预测值，α∈[0,1]是加权因子，γ∈[0,5]是聚焦参数；经过对步骤三得到的融合特征图进行逐层反卷积，即可得到与输入的体素相同尺寸的分割图，分割图中前景像素值设置为1，背景像素值设置为0。
步骤五：将步骤四中获得的分割图中的前景像素点聚类成不同大小的簇，然后由生成的所有簇分别获得三维外接矩形框作为初始预测框；
将来自相邻通道B-scan图像中的两个前景像素点看作邻近点并进行聚类，C-scan中任意的两个三维像素点Xm,i＝[um,i,vm,i,zm]T和Xn,j＝[un,j,vn,j,zn]T之间的距离定义如下：
Figure BDA0002889955580000103
其中，dm,n表示探地雷达两个相邻通道间的实际距离，λ是一个参数，其值取决于探地雷达的配置，m和n分别是两张B-scan图像Bm和Bn的下标；然后用DBSCAN算法将前景像素点聚类成多个簇，并去掉孤立点；DBSCAN算法首先随机选取一个像素点Xm,i，然后从所有前景像素点中找出与像素点Xm,i邻近的前景像素点，这些像素点形成的簇定义如下：
Figure BDA0002889955580000104
其中，Nε(Xm,i)包含至少MinPts个前景像素点；
然后在每个体素中也进行聚类，对所有体素中形成的簇进行编号，定义为Cg，g＝1,2,…,ng，Yg,i∈Cg表示簇Cg中的一个像素点，将两个簇Cg和Ch进行合并的条件如下：
Figure BDA0002889955580000105
其中，Tm是一个特定的阈值；得到所有的簇后，计算出每个簇的三维边界框作为初始预测框。
步骤六：将步骤五生成的所有初始预测框分别映射到步骤二中获得的三维特征图的对应位置，得到固定大小的三维特征图；
首先略微扩大每个初始预测框以创建新的三维框作为感兴趣区域，以便引入一些上下文信息，并将这些感兴趣区域映射到三维特征图的对应位置；然后将映射后的区域划分为相同大小的子区域；接下来对每个子区域进行最大池化操作，这样就可以由不同大小的初始预测框得到固定大小的相应的三维特征图。
步骤七：构造修正子网络，并利用该子网络和步骤六生成的固定大小的三维特征图对步骤五得到的初始预测框进行边框修正和分类，获得定位更加精确的三维预测框；
如图3(d)所示，构造的修正子网络由三个全连接层构成，后两层分别用于获取初始预测框的类别以及位置的偏移量和缩放因子，只有当初始预测框和真值框的IoU值大于一个特定阈值Tr时，才对初始预测框进行修正；修正阶段采用的损失由分类和回归损失构成，分类损失Lc采用交叉熵损失，回归损失Lh定义如下：
Figure BDA0002889955580000111
Figure BDA0002889955580000112
Figure BDA0002889955580000113
其中，np表示外接矩形框中包含的所有像素点个数，nc表示所有的类别数，yi和
Figure BDA0002889955580000121
分别表示一个像素点属于某一类的真实值和预测值，bi是一个表示标记的三维外接矩形框的向量，
Figure BDA0002889955580000122
表示预测出的包围框，δ是参数，λ是平衡加权因子。
本发明提供的基于深度学习的机场道面地下结构病害自动检测方法的效果可以通过以下实验结果进一步说明。实验数据描述：所采用的GPR数据由配备了GPR的机场跑道检查机器人在机场跑道上采集得到。机器人对计划的规则网格轨迹执行自动扫描，以收集多个并行的B-scan图像。扫描任务完成后，被调查区域的C-scan也被记录下来。该机器人系统为本发明提供了在国内三个机场跑道上采集到的真实数据，覆盖面积为21083平方米，地下深度是1.53米，数据集命名为AUD。两位人类专家分别对数据中的地下病害进行了标记，标记了四种典型的地下缺陷或物体，包括脱空、沉降、裂缝和管道。将AUD数据集分为训练集(占所有数据的70％)和测试集(占所有数据的30％)。
深度神经网络训练参数选择：本发明一共训练35epochs，其中batch size设置为1，学习率0.00001，利用梯度裁剪算法避免梯度爆炸，使用动量系数(momentum)来加速梯度下降，设为0.9。计算公式中用到的参数设置分别为：α＝0.25，γ＝2，Tr＝0.3，δ＝1和λ＝1。
评测指标描述：为了定量评估不同方法的性能，采用了准确率(Precision)，召回率(Recall)和F1-measure三个指标。这三个指标是基于交并比(IoU)阈值确定的，该阈值表示预测框与原始标签框之间的重叠率。如果IoU值大于预设阈值TIoU，取值为0.5，认为此预测框为真正值(TP)。可以基于TP，假阴性(FN)和假阳性(FP)来计算这三个指标，如下所示：
Figure BDA0002889955580000123
Figure BDA0002889955580000131
Figure BDA0002889955580000132
对比方法描述：将本发明提供的方法与以下两种方法进行对比：
(1)YOLO算法。一种最先进的、实时的一阶段对象检测方法。参考文献见：J.Redmon,S.Divvala,etal.You Only Look Once:Unified,Real-Time Object Detection[C]//2016IEEE Conference on Computer Vision and Pattern Recognition(CVPR),LasVegas,NV,2016,pp.779-788.
(2)Faster R-CNN算法。一种目前使用最广泛的基于候选区域的目标检测算法，参考文献见：Ren S,He K,Girshick R,et al.Faster r-cnn:Towards real-time objectdetection with region proposal networks[C]//Advances in neural informationprocessing systems.2015:91-99.
将本发明方法与上述现有方法(YOLO、Faster R-CNN)进行对比后，本发明方法对于脱空、沉降、裂缝、管道这四类病害，F1-measure值分别为62％、33％、81％、87％，均优于其它两种对比算法，如表1所示。部分图像的检测结果如图4所示，通过人工观察比对，本发明方法能够更准确地检测出机场道面地下结构病害。
表1
Figure BDA0002889955580000133
以上所述，仅为本发明进一步的实施例，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明所公开的范围内，根据本发明的技术方案及其构思加以等同替换或改变，都属于本发明的保护范围。

Claims (7)

1.一种基于深度学习的机场道面地下结构病害自动检测方法，其特征在于：所述的基于深度学习的机场道面地下结构病害自动检测方法包括按顺序进行的下列步骤：
步骤一：使用多通道探地雷达采集机场道面地下结构的B-scan图像和C-scan；
步骤二：构造一个由三维卷积和二维卷积两个子网络组成的卷积神经网络，并利用三维卷积和二维卷积子网络分别提取上述C-scan中包含地下病害多通道之间关联性的三维特征图和B-scan图像中地下病害的二维特征图；
步骤三：将步骤二中得到的三维特征图和二维特征图进行融合，得到包含地下病害丰富信息的融合特征图；
步骤四：构造一个三维反卷积子网络对步骤三得到的融合特征图进行上采样，得到与输入的体素相同尺寸的分割图，以实现对采集的雷达图像中目标的像素级分割；
步骤五：将步骤四中获得的分割图中的前景像素点聚类成不同大小的簇，然后由生成的所有簇分别获得三维外接矩形框作为初始预测框；
步骤六：将步骤五生成的所有初始预测框分别映射到步骤二中获得的三维特征图的对应位置，得到固定大小的三维特征图；
步骤七：构造修正子网络，并利用该子网络和步骤六生成的固定大小的三维特征图对步骤五得到的初始预测框进行边框修正和分类，获得定位更加精确的三维预测框。
2.根据权利要求1所述的基于深度学习的机场道面地下结构病害自动检测方法，其特征在于：在步骤二中，所述的构造一个由三维卷积和二维卷积两个子网络组成的卷积神经网络，并利用三维卷积和二维卷积子网络分别提取上述C-scan中包含地下病害多通道之间关联性的三维特征图和B-scan图像中地下病害的二维特征图的方法是：
将整个C-scan细分为等距的体素，每个体素的大小为mv×mv×nv，其中mv表示体素中包含的每个B-scan图像的尺寸，nv是包含在一个体素中的B-scan图像的总数，通常设置为探地雷达阵列通道的总数；获得C-scan后，根据其驻留的B-scan图像将每个体素进一步拆分为nv个平面；将得到的这些体素及平面分别输入到三维卷积和二维卷积两个子网络中提取出相应的三维特征和二维特征；三维卷积子网络由六个模块组成，每个模块中的卷积块都分别包含一个卷积层，BN层和RELU层，卷积层中提供的三维卷积核尺寸为5×5×5；前四个模块中都分别包含一个尺寸为2×2×2的最大池化层，步长设置为2，用于将得到的三维特征图进行下采样为原来尺寸的一半；最后一个卷积模块中的卷积核尺寸为1×1×1，用于预测三维特征图中的每个像素点属于前景或背景的概率；二维卷积子网络的结构和每个模块的功能都与三维卷积子网络一致，区别是每个模块中提供的均为二维的卷积核和池化操作。
3.根据权利要求1或2所述的基于深度学习的机场道面地下结构病害自动检测方法，其特征在于：在步骤三中，所述的将步骤二中得到的三维特征图和二维特征图进行融合，得到包含地下病害丰富信息的融合特征图的方法是：
将步骤二中获得的nv个平面对应的二维特征图按其在体素中的排列顺序组合成三维特征图，然后与对应的步骤二中得到的从体素中提取出的三维特征图按对应位置逐个相加，形成与三维特征图相同尺寸的融合特征图。
4.根据权利要求1或2所述的基于深度学习的机场道面地下结构病害自动检测方法，其特征在于：在步骤四中，所述的构造一个三维反卷积子网络对步骤三得到的融合特征图进行上采样，得到与输入的体素相同尺寸的分割图，以实现对采集的雷达图像中目标的像素级分割的方法是：
构造的三维反卷积子网络由四个模块组成，每个模块分别包含一个可将输入的融合特征图尺寸扩大2倍的上采样层，其中的卷积核尺寸为4×4×4，和一个BN层；训练阶段采用的真值分割图由人工标注的3D真值框提供，分割损失为可解决类别不平衡的焦点损失，定义为：
Figure FDA0002889955570000031
其中
Figure FDA0002889955570000032
是预测值，α∈[0,1]是加权因子，γ∈[0,5]是聚焦参数；经过对步骤三得到的融合特征图进行逐层反卷积，即可得到与输入的体素相同尺寸的分割图，分割图中前景像素值设置为1，背景像素值设置为0。
5.根据权利要求1或2所述的基于深度学习的机场道面地下结构病害自动检测方法，其特征在于：在步骤五中，所述的将步骤四中获得的分割图中的前景像素点聚类成不同大小的簇，然后由生成的所有簇分别获得三维外接矩形框作为初始预测框的方法是：
将来自相邻通道B-scan图像中的两个前景像素点看作邻近点并进行聚类，C-scan中任意的两个三维像素点Xm,i＝[um,i,vm,i,zm]T和Xn,j＝[un,j,vn,j,zn]T之间的距离定义如下：
Figure FDA0002889955570000033
其中，dm,n表示探地雷达两个相邻通道间的实际距离，λ是一个参数，其值取决于探地雷达的配置，m和n分别是两张B-scan图像Bm和Bn的下标；然后用DBSCAN算法将前景像素点聚类成多个簇，并去掉孤立点；DBSCAN算法首先随机选取一个像素点Xm,i，然后从所有前景像素点中找出与像素点Xm,i邻近的前景像素点，这些像素点形成的簇定义如下：
Figure FDA0002889955570000041
其中，Nε(Xm,i)包含至少MinPts个前景像素点；
然后在每个体素中也进行聚类，对所有体素中形成的簇进行编号，定义为Cg，g＝1,2,…,ng，Yg,i∈Cg表示簇Cg中的一个像素点，将两个簇Cg和Ch进行合并的条件如下：
Figure FDA0002889955570000042
其中，Tm是一个特定的阈值；得到所有的簇后，计算出每个簇的三维边界框作为初始预测框。
6.根据权利要求1或2所述的基于深度学习的机场道面地下结构病害自动检测方法，其特征在于：在步骤六中，所述的将步骤五生成的所有初始预测框分别映射到步骤二中获得的三维特征图的对应位置，得到固定大小的三维特征图的方法是：
首先略微扩大每个初始预测框以创建新的三维框作为感兴趣区域，以便引入一些上下文信息，并将这些感兴趣区域映射到三维特征图的对应位置；然后将映射后的区域划分为相同大小的子区域；接下来对每个子区域进行最大池化操作，这样就可以由不同大小的初始预测框得到固定大小的相应的三维特征图。
7.根据权利要求1或2所述的基于深度学习的机场道面地下结构病害自动检测方法，其特征在于：在步骤七中，所述的构造修正子网络，并利用该子网络和步骤六生成的固定大小的三维特征图对步骤五得到的初始预测框进行边框修正和分类，获得定位更加精确的三维预测框的方法是：
构造的修正子网络由三个全连接层构成，后两层分别用于获取初始预测框的类别以及位置的偏移量和缩放因子，只有当初始预测框和真值框的IoU值大于一个特定阈值Tr时，才对初始预测框进行修正；修正阶段采用的损失由分类和回归损失构成，分类损失Lc采用交叉熵损失，回归损失Lh定义如下：
Figure FDA0002889955570000051
Figure FDA0002889955570000052
Figure FDA0002889955570000053
其中，np表示外接矩形框中包含的所有像素点个数，nc表示所有的类别数，yi和
Figure FDA0002889955570000054
分别表示一个像素点属于某一类的真实值和预测值，bi是一个表示标记的三维外接矩形框的向量，
Figure FDA0002889955570000055
表示预测出的包围框，δ是参数，λ是平衡加权因子。
CN202110024616.2A 2021-01-08 2021-01-08 基于深度学习的机场道面地下结构病害自动检测方法 Active CN112700429B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202110024616.2A CN112700429B (zh) 2021-01-08 2021-01-08 基于深度学习的机场道面地下结构病害自动检测方法
PCT/CN2021/101775 WO2022147969A1 (zh) 2021-01-08 2021-06-23 基于深度学习的机场道面地下结构病害自动检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110024616.2A CN112700429B (zh) 2021-01-08 2021-01-08 基于深度学习的机场道面地下结构病害自动检测方法

Publications (2)

Publication Number Publication Date
CN112700429A true CN112700429A (zh) 2021-04-23
CN112700429B CN112700429B (zh) 2022-08-26

Family

ID=75513483

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110024616.2A Active CN112700429B (zh) 2021-01-08 2021-01-08 基于深度学习的机场道面地下结构病害自动检测方法

Country Status (2)

Country Link
CN (1) CN112700429B (zh)
WO (1) WO2022147969A1 (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113298155A (zh) * 2021-05-27 2021-08-24 中国民航大学 一种基于sf-ssd算法的机场跑道地下病害检测方法
CN113655477A (zh) * 2021-06-11 2021-11-16 成都圭目机器人有限公司 一种采用浅层对地雷达自动检测地质病害的方法
WO2022147969A1 (zh) * 2021-01-08 2022-07-14 中国民航大学 基于深度学习的机场道面地下结构病害自动检测方法
CN114821346A (zh) * 2022-06-28 2022-07-29 深圳安德空间技术有限公司 一种基于嵌入式平台的雷达图像智能识别方法和系统
CN115619687A (zh) * 2022-12-20 2023-01-17 安徽数智建造研究院有限公司 一种隧道衬砌脱空雷达信号识别方法、设备及存储介质
CN116256720A (zh) * 2023-05-09 2023-06-13 武汉大学 基于三维探地雷达的地下目标探测方法、装置和电子设备
CN117496132A (zh) * 2023-12-29 2024-02-02 数据空间研究院 一种面向小尺度目标检测的尺度感知检测方法

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115630492B (zh) * 2022-10-12 2023-12-19 中交第二公路勘察设计研究院有限公司 隧道衬砌病害变化特征智能反演方法、系统及存储介质
GB2625102A (en) * 2022-12-06 2024-06-12 B Hive Innovations Ltd System and method for determining a parameter associated with a crop
CN116229057B (zh) * 2022-12-22 2023-10-27 之江实验室 一种基于深度学习的三维激光雷达点云语义分割的方法和装置
CN116050474A (zh) * 2022-12-29 2023-05-02 上海天数智芯半导体有限公司 一种卷积计算方法、soc芯片、电子设备及存储介质
CN115964360B (zh) * 2023-03-14 2023-05-16 山东省地震工程研究院 地震安全性评价数据库建设方法及其系统
CN116205921B (zh) * 2023-05-05 2023-09-26 南京航空航天大学 基于Yolov5和Drools的管道病害识别方法
CN116256722B (zh) * 2023-05-16 2023-08-01 中南大学 探地雷达B-scan图像的多次波干扰抑制方法及装置
CN116973914B (zh) * 2023-09-06 2024-06-11 哈尔滨工业大学 一种基于三维探地雷达的道路隐蔽病害三维重构方法
CN117557820B (zh) * 2024-01-08 2024-04-16 浙江锦德光电材料有限公司 一种基于机器视觉的量子点光学膜损伤检测方法及系统
CN117522175B (zh) * 2024-01-08 2024-04-02 中国公路工程咨询集团有限公司 一种道路养护决策方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110717464A (zh) * 2019-10-15 2020-01-21 中国矿业大学(北京) 一种基于雷达数据的铁路路基病害智能识别方法
RU2723368C1 (ru) * 2019-11-21 2020-06-10 федеральное государственное автономное образовательное учреждение высшего образования «Национальный исследовательский Томский политехнический университет» Способ ультразвукового контроля дефектности металлического изделия
CN111626217A (zh) * 2020-05-28 2020-09-04 宁波博登智能科技有限责任公司 一种基于二维图片和三维点云融合的目标检测和追踪方法
CN111985552A (zh) * 2020-08-17 2020-11-24 中国民航大学 复杂背景下机场道面细带状结构病害检测方法
CN112052860A (zh) * 2020-09-11 2020-12-08 中国人民解放军国防科技大学 一种三维目标检测方法及系统

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109300126B (zh) * 2018-09-21 2022-01-07 重庆建工集团股份有限公司 一种基于空间位置的桥梁病害高精度智能检测方法
CN112700429B (zh) * 2021-01-08 2022-08-26 中国民航大学 基于深度学习的机场道面地下结构病害自动检测方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110717464A (zh) * 2019-10-15 2020-01-21 中国矿业大学(北京) 一种基于雷达数据的铁路路基病害智能识别方法
RU2723368C1 (ru) * 2019-11-21 2020-06-10 федеральное государственное автономное образовательное учреждение высшего образования «Национальный исследовательский Томский политехнический университет» Способ ультразвукового контроля дефектности металлического изделия
CN111626217A (zh) * 2020-05-28 2020-09-04 宁波博登智能科技有限责任公司 一种基于二维图片和三维点云融合的目标检测和追踪方法
CN111985552A (zh) * 2020-08-17 2020-11-24 中国民航大学 复杂背景下机场道面细带状结构病害检测方法
CN112052860A (zh) * 2020-09-11 2020-12-08 中国人民解放军国防科技大学 一种三维目标检测方法及系统

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
S.SHI.ET AL: ""PointRCNN: 3D object proposal generation", 《IEEE》 *
ZHENG TONG.ET AL: ""Advances of deep learning applications in ground-penetrating radar: A survey"", 《CONSTRUCTION AND BUILDING MATERIALS》 *
万静: ""基于探地雷达的路基检测技术研究"", 《中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑》 *
吕坚: ""基于深度学习的路面裂缝检测方法研究及实现"", 《中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑》 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022147969A1 (zh) * 2021-01-08 2022-07-14 中国民航大学 基于深度学习的机场道面地下结构病害自动检测方法
CN113298155A (zh) * 2021-05-27 2021-08-24 中国民航大学 一种基于sf-ssd算法的机场跑道地下病害检测方法
CN113655477A (zh) * 2021-06-11 2021-11-16 成都圭目机器人有限公司 一种采用浅层对地雷达自动检测地质病害的方法
CN113655477B (zh) * 2021-06-11 2023-09-01 成都圭目机器人有限公司 一种采用浅层对地雷达自动检测地质病害的方法
CN114821346A (zh) * 2022-06-28 2022-07-29 深圳安德空间技术有限公司 一种基于嵌入式平台的雷达图像智能识别方法和系统
CN114821346B (zh) * 2022-06-28 2022-09-02 深圳安德空间技术有限公司 一种基于嵌入式平台的雷达图像智能识别方法和系统
CN115619687A (zh) * 2022-12-20 2023-01-17 安徽数智建造研究院有限公司 一种隧道衬砌脱空雷达信号识别方法、设备及存储介质
CN116256720A (zh) * 2023-05-09 2023-06-13 武汉大学 基于三维探地雷达的地下目标探测方法、装置和电子设备
CN116256720B (zh) * 2023-05-09 2023-10-13 武汉大学 基于三维探地雷达的地下目标探测方法、装置和电子设备
CN117496132A (zh) * 2023-12-29 2024-02-02 数据空间研究院 一种面向小尺度目标检测的尺度感知检测方法

Also Published As

Publication number Publication date
WO2022147969A1 (zh) 2022-07-14
CN112700429B (zh) 2022-08-26

Similar Documents

Publication Publication Date Title
CN112700429B (zh) 基于深度学习的机场道面地下结构病害自动检测方法
Liu et al. Automatic recognition of pavement cracks from combined GPR B-scan and C-scan images using multiscale feature fusion deep neural networks
Hou et al. Improved Mask R-CNN with distance guided intersection over union for GPR signature detection and segmentation
CN108510467B (zh) 基于深度可变形卷积神经网络的sar图像目标识别方法
Tong et al. Innovative method for recognizing subgrade defects based on a convolutional neural network
CN110111345B (zh) 一种基于注意力网络的3d点云分割方法
CN109871902B (zh) 一种基于超分辨率对抗生成级联网络的sar小样本识别方法
CN107346420A (zh) 一种基于深度学习的自然场景下文字检测定位方法
Gui et al. Automated defect detection and visualization for the robotic airport runway inspection
CN110210418A (zh) 一种基于信息交互和迁移学习的sar图像飞机目标检测方法
CN108229551A (zh) 一种基于紧凑字典稀疏表示的高光谱遥感图像分类方法
Chen et al. Agricultural remote sensing image cultivated land extraction technology based on deep learning
CN109584206B (zh) 零件表面瑕疵检测中神经网络的训练样本的合成方法
Yang et al. Semantic segmentation in architectural floor plans for detecting walls and doors
Zheng et al. Building recognition of UAV remote sensing images by deep learning
Wu et al. Asphalt pavement crack detection based on multi-scale full convolutional network
CN111091071A (zh) 基于探地雷达双曲波拟合的地下目标检测方法及系统
Song et al. A three-stage pavement image crack detection framework with positive sample augmentation
CN107564024B (zh) 基于单侧聚集线段的sar图像聚集区域提取方法
Hu et al. Defects identification and location of underground space for ground penetrating radar based on deep learning
CN111860615A (zh) 一种基于特征词典融合的遥感水体目标提取方法
CN116664823A (zh) 基于元学习和度量学习的小样本sar目标检测识别方法
Liu et al. Advances in automatic identification of road subsurface distress using ground penetrating radar: State of the art and future trends
CN116310795A (zh) 一种sar飞机检测方法、系统、装置及存储介质
CN109977892A (zh) 基于局部显著性特征和cnn-svm的舰船检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20240123

Address after: No.1, 2 / F, building 50, No.888, Section 2, Chenglong Avenue, Longquanyi District, Chengdu, Sichuan 610000

Patentee after: CHENGDU GUIMU ROBOT Co.,Ltd.

Country or region after: China

Address before: 300300 Tianjin city Dongli District North Road No. 2898

Patentee before: CIVIL AVIATION University OF CHINA

Country or region before: China

TR01 Transfer of patent right