CN117173618B - 基于多特征感知的Faster R-CNN的探地雷达空洞目标识别方法 - Google Patents
基于多特征感知的Faster R-CNN的探地雷达空洞目标识别方法 Download PDFInfo
- Publication number
- CN117173618B CN117173618B CN202311147890.4A CN202311147890A CN117173618B CN 117173618 B CN117173618 B CN 117173618B CN 202311147890 A CN202311147890 A CN 202311147890A CN 117173618 B CN117173618 B CN 117173618B
- Authority
- CN
- China
- Prior art keywords
- feature
- ground penetrating
- penetrating radar
- network
- cavity
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000000149 penetrating effect Effects 0.000 title claims abstract description 76
- 238000000034 method Methods 0.000 title claims abstract description 63
- 238000012545 processing Methods 0.000 claims abstract description 44
- 238000001514 detection method Methods 0.000 claims abstract description 39
- 230000008447 perception Effects 0.000 claims abstract description 30
- 201000010099 disease Diseases 0.000 claims abstract description 29
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 claims abstract description 29
- 238000000605 extraction Methods 0.000 claims abstract description 28
- 238000001914 filtration Methods 0.000 claims abstract description 25
- 230000004927 fusion Effects 0.000 claims abstract description 25
- 238000005520 cutting process Methods 0.000 claims abstract description 4
- 238000012549 training Methods 0.000 claims description 32
- 230000008569 process Effects 0.000 claims description 22
- 238000006243 chemical reaction Methods 0.000 claims description 21
- 230000006870 function Effects 0.000 claims description 18
- 238000011176 pooling Methods 0.000 claims description 11
- 238000005516 engineering process Methods 0.000 claims description 9
- 238000002372 labelling Methods 0.000 claims description 6
- 230000009466 transformation Effects 0.000 claims description 6
- 238000013519 translation Methods 0.000 claims description 6
- 238000004422 calculation algorithm Methods 0.000 claims description 5
- 230000004044 response Effects 0.000 claims description 4
- 238000012935 Averaging Methods 0.000 claims description 3
- 238000000611 regression analysis Methods 0.000 claims description 3
- 238000013527 convolutional neural network Methods 0.000 description 16
- 238000010586 diagram Methods 0.000 description 11
- 238000012360 testing method Methods 0.000 description 9
- 238000013135 deep learning Methods 0.000 description 5
- 238000003062 neural network model Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 230000002159 abnormal effect Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 238000012067 mathematical method Methods 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 238000012847 principal component analysis method Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 238000012216 screening Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005553 drilling Methods 0.000 description 1
- 238000002592 echocardiography Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000003703 image analysis method Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000012417 linear regression Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000009659 non-destructive testing Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000002035 prolonged effect Effects 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000011895 specific detection Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 230000003313 weakening effect Effects 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Image Analysis (AREA)
Abstract
基于多特征感知的Faster R‑CNN的探地雷达空洞目标识别方法，涉及一种探地雷达的道路空洞目标识别方法。为了解决现有技术识别检测探地雷达道路内部空洞目标时存在检测精度低的问题。本发明利用基于多特征感知的Faster R‑CNN网络模型对探地雷达图像进行空洞病害的目标识别；网络模型包括特征提取网络、多特征感知提取候选框网络和检测网络；多特征感知提取候选框网络将特征提取网络提取的特征图经过RPN网络，使用位置预测分支和形状预测分支分别对雷达图像中病害的形状及位置进行预测，将预测到的信息进行多特征融合得到空洞精确特征；多特征融合模块同时进行偏移域处理得到新特征图，对特征图进行裁剪过滤之后通过Soft‑NMS判断空洞属于前景还是后景。
Description
技术领域：
本发明属于探地雷达目标智能检测技术领域，涉及一种探地雷达道路空洞目标识别方法。
背景技术：
探地雷达是利用高频电磁波来确定地下空间体内部不同介电特性质分布规律的一种无损检测方法，它可依据反射回波信号的波形、频率、振幅等特征来推断探测物质的空间分布、几何形状及埋置深度。利用探地雷达检测技术能够有效检测道路结构内部质量状况，在路面尚未达到大修时就能检测出道路内部空洞，极大节省道路养护成本费用。
探地雷达天线发射、接收高频脉冲电磁波，通过计算机软件系统记录发射波和反射波之间的传播时间，生成记录信号强度和传播时间的单道波形。当探地雷达在路面上沿测线移动，则会在不同位置采集数个单道波形，组合形成二维剖面，被称作B-scan图像。当道路下方存在病害时，B-scan图像中将呈现特殊的几何特征，作为识别道路内部异常区域的依据，空洞是典型的道路内部病害之一。
目前实际工程中通过技术人员的个人经验来分析、判别B-scan图像，这种方法容易导致误判和漏判，并且在病害解释过程中完全依赖人工，会延长检测周期，难以满足日益增长的道路工程检测的需要。随着计算机性能的提升，深度学习等机器学习技术因其强大的特征自动提取能力，被广泛应用于图像识别与目标检测。然而目前主流的深度学习技术对道路内部空洞目标进行识别与检测存在样本图像特征不统一、图像数据匮乏、准确率较低、稳定性较差等问题，不能很好的满足现代道路检测维护的需要。
虽然现阶段深度学习技术在图像追踪、目标检测等方面取得了长足进步，但是在雷达图像的目标检测方面还有待提升，特别是针对灰度图中的微小病害目标以及检测时的实时性问题，很容易出现漏检、误检、效率低的问题。
发明内容：
本发明的目的是为了解决现有技术识别检测探地雷达道路内部空洞目标时存在检测精度低的问题。
一种基于多特征感知的Faster R-CNN的探地雷达空洞目标识别方法，将采集到的探地雷达图像作为探地雷达空洞目标识别网络模型的输入，利用探地雷达空洞目标识别网络对探地雷达图像进行空洞病害的目标识别；
探地雷达空洞目标识别网络模型采用基于多特征感知的Faster R-CNN网络，所述基于多特征感知的Faster R-CNN网络包括特征提取网络、多特征感知提取候选框网络和检测网络；
特征提取网络用于提取特征；
多特征感知提取候选框网络由RPN结构、多特征融合模块、Soft-NMS模块组成；将特征提取网络提取的特征图经过RPN网络，使用位置预测分支和形状预测分支分别对雷达图像中病害的形状及位置进行预测，将预测到的信息进行多特征融合得到空洞精确特征；多特征融合模块同时进行偏移域处理得到新特征图，对特征图进行裁剪过滤之后通过Soft-NMS判断空洞属于前景还是后景；其中，所述多特征融合模块的处理过程如下：
对经过特征提取网络获得的特征图分3条路径进行处理，第1条路径进入分类预测获取图像的位置信息；第2条路径先进行特征转换，之后分别进行非线性转换及偏移域处理；第1条路径处理得到的最终的特征图与进行偏移域处理的特征图结合形成带有区域建议的新特征图，进而将第1条路径获得的位置信息和第2条路径获得的形状信息进行多特征融合；将3条路径经过RPN网络获得的新特征图进行叠加，得到带有区域建议的特征图，导入到Soft-NMS层处理；
检测网络由ROIPooling池化层、全连接层以及回归分析模块组成，Soft-NMS层处理之后进入到ROIPooling池化层，利用全连接操作来进行目标定位，从而进行图像病害的边界框回归及分类回归，最终获得所检测地下目标空间体的精确信息。
进一步地，第2条路径进行特征转换时，基于边界框回归的方式，利用tx/ty对输入的特征图进行特征转换，其中tx为像素的横向偏移量，ty为像素的纵向偏移量。
进一步地，第2条路径进行特征转换之后的偏移域处理过程包括以下步骤：
在训练过程第2条路径的每一张特征图都进行了偏移处理，基于边界框回归的方式，确定了偏移对应的平移及尺度放缩变换，利用平移及尺度放缩变换对特征转换之后的特征图进行处理，即偏移域处理。
进一步地，所述特征提取网络采用VGG-19网络模型。
进一步地，将采集到的探地雷达图像作为探地雷达空洞目标识别网络模型的输入过程中所述的探地雷达图像为探地雷达的原始图像。
进一步地，探地雷达空洞目标识别网络模型为预先训练好的，训练过程包括以下步骤：
步骤1：对探地雷达采集的道路内部空洞目标原始图像数据进行去直流处理；
步骤2：对步骤1已去直流处理后的图像数据进行背景去除；
步骤3：对步骤2中处理后的图像数据进行滤波，过滤探地雷达脉冲信号之外的干扰信号；
步骤4：对步骤3已滤波处理后的图像数据进行反褶积，去除图像数据中一系列重复的介质分界面；
步骤5：对步骤4中处理后的图像进行标注；
步骤6：基于步骤5得到的图像数据得到探地雷达图像数据集；按一定比例将部分无目标图像和空洞图像分配给训练集；
步骤7：对步骤6中得到的数据集进行数据增强，扩充图像数据集；
步骤8：将步骤7得到的数据集中的训练集输入多特征感知的Faster R-CNN网络中，对其进行迭代训练，得到权重模型；
在训练过程中使用的损失函数包括回归损失和分类损失两个部分，其中回归损失采用损失函数，表示为：
式中，c,d均为常数，e为自然数，x表示自变量。
进一步地，步骤1采用均值相消算法对原始图像数据进行去直流。
进一步地，采用均值相消算法对原始图像数据进行去直流的过程包括以下步骤：
对所有接收脉冲信号求平均得到参考接收脉冲信号，随后利用每一束接收脉冲信号减去参考接收脉冲信号，得到去除直流偏移干扰后的图像数据。
进一步地，步骤3进行滤波的过程中，采用无限脉冲响应滤波器进行带通滤波。
进一步地，步骤4通过维纳滤波反卷积技术来对探地雷达原始图像进行反褶积处理。
有益效果：
本发明提出了一种基于多特征感知的Faster R-CNN的探地雷达空洞目标识别方法，能够在一定程度上解决目前探地雷达在目标检测中数据解译困难、目标识别分类工作量大、检测精度低、实时性差等问题。与现有技术相比，本申请的模型对RPN结构进行改进引入多特征感知融合，同时对损失函数进行优化。在更好地将更多目标特征映射到特征图上的同时，对于病害中一些微小目标的特征信息也能够进行很好的提取，丰富语义信息，从而提高检测精度；而对损失函数进行优化之后，可以有效降低困难样本与容易样本之间的不平衡问题，使模型得到更好的训练，进而提高探地雷达道路内部空洞检测的实时性与精确度。
附图说明：
图1基于多特征感知融合的Faster R-CNN的探地雷达空洞目标识别方法的流程图。
图2为改进的Faster-RCNN目标检测网络结构示意图。
图3为融合多特征感知的提取候选框网络模块结构示意图。
图4为和/>两种损失函数的梯度变化曲线图。
图5为改进的Faster-RCNN隐蔽病害目标检测网络和现有方法的可视化图比较。
具体实施方式：
为使本发明的目的、技术方案和优点更加清楚明了，下面通过附图中示出的具体实施例来描述本发明。但是应该理解，这些描述只是示例性的，而并非要限制本发明的范围。此外，在以下说明中，省略了对公知结构和技术的描述，在此，还需要说明的是，为了避免因不必要的细节而模糊了本发明，在附图中仅仅示出了与根据本发明的方案密切相关的结构和/或处理步骤，而省略了与本发明关系不大的其他细节。
具体实施方式一：结合图1说明本实施方式，
本实施方式所述的一种基于多特征感知的Faster R-CNN的探地雷达空洞目标识别方法，包括如下步骤：
步骤1：对探地雷达采集的道路内部空洞目标原始图像数据进行去直流，剔除探地雷达系统中各种元器件产生的直流偏移干扰；
本实施方式中，采用均值相消算法对原始图像数据进行去直流，具体过程：对所有接收脉冲信号求平均得到参考接收脉冲信号，随后利用每一束接收脉冲信号减去参考接收脉冲信号，得到去除直流偏移干扰后的图像数据。
步骤2：对步骤1已去直流处理后的图像数据进行背景去除，削弱地面层和结构层的回波，突出道路内部空洞的图像特征；
步骤3：对步骤2中处理后的图像数据进行滤波，过滤探地雷达脉冲信号之外的干扰信号；
对步骤2中处理后的图像数据进行滤波的过程中，采用无限脉冲响应滤波器进行带通滤波，可以有效地剔除探地雷达采集原始数据中脉冲信号的干扰。
步骤4：对步骤3已滤波处理后的图像数据进行反褶积，去除图像数据中一系列重复的介质分界面；
此过程中，通过维纳滤波反卷积技术来对探地雷达原始图像进行反褶积处理，能够更好恢复被模糊的图像细节。
步骤5：对步骤4中处理后的图像进行筛选，通过人工图像分析或专家解译方法确定图像中的空洞区域，利用Labelimg对图像中的空洞进行标注；
本实施方式中，采用Labelimg对图像中的空洞进行标注，获取有效图像数据500张。
步骤6：将步骤5得到的图像数据制成VOC格式的探地雷达图像数据集；按一定比例将部分无目标图像和空洞图像分配给训练集，剩余部分的无目标图像和空洞图像分配给测试集。
步骤7：对步骤6中得到的数据集进行反转、缩放、随机噪声、水平镜像、颜色转换、灰度等数据数理方法进行数据增强，扩充图像数据集；
步骤8：将步骤7得到的数据集中的训练集输入多特征感知的Faster R-CNN网络中，对其进行迭代训练，得到权重模型；
如图2所示，所述基于多特征感知的Faster R-CNN网络包括特征提取网络、多特征感知提取候选框网络和检测网络；
特征提取网络用于提取特征，本实施方式中特征提取网络采用VGG-19网络模型，VGG-19网络结构包含16个卷积层和3个全连接层，中间用的池化层，最后经过Softmax进行分类。尽管目前VGG-16、Resnet-50模型在显著性检测以及目标检测上已经得到了很成熟的应用，后面发展起来的VGG-19模型在网络识别深度、特征提取深度方面均有较大的提升。
多特征感知提取候选框网络由RPN结构、多特征融合模块、Soft-NMS模块组成。将特征图经过RPN网络，使用位置预测分支和形状预测分支分别对雷达图像中病害的形状及位置进行预测，将预测到的信息进行多特征融合得到空洞精确特征。多特征融合模块同时进行偏移域处理得到新特征图，对特征图进行裁剪过滤之后通过Soft-NMS判断空洞属于前景还是后景。
所述多特征融合模块的处理过程如下：
原本Faster R-CNN中的RPN结构网络计算采用的是特征提取网络最后一次的特征图，本发明通过融合多特征感知对RPN结构进行改进，如图3所示。对经过特征提取网络获得的特征图分3条路径进行处理，第1条路径进入分类预测获取图像的位置信息；第2条路径先进行特征转换，之后分别进行非线性转换及偏移域处理，对特征图进行非线性转换可获取图像的形状信息；第1条路径处理得到的最终的特征图与进行偏移域处理的特征图融合形成带有区域建议的新特征图，进而将第1条路径获得的位置信息和第2条路径获得的形状信息进行多特征融合，可以很好地适应尺寸相差较大的空洞并提高检测效率。最后将3条路径经过RPN网络获得的新特征图进行叠加，然后导入到Soft-NMS层，可以在一定程度上解决灰度图上空洞病害重叠问题。
第2条路径进行特征转换时，基于边界框回归的方式，利用tx/ty对输入的特征图进行特征转换，其中tx为像素的横向偏移量，ty为像素的纵向偏移量。在训练过程第2条路径的每一张特征图都进行了偏移处理，基于边界框回归的方式，确定了偏移对应的平移及尺度放缩变换，利用平移及尺度放缩变换对特征转换之后的特征图进行处理，即偏移域处理。
检测网络由ROIPooling池化层、全连接层以及回归分析模块组成，如图2所示，将3条路径经过RPN网络获得的新特征图进行叠加，得到带有区域建议的特征图，即将多特征融合获得的特征图与带有区域建议的新特征图导入到Soft-NMS层来进行调整阈值等优化处理，之后进入到ROIPooling池化层，并对损失函数进行优化，利用全连接操作来进行目标定位，从而进行图像病害的边界框回归及分类回归，最终获得所检测地下目标空间体的精确信息。
所述损失函数包括回归损失和分类损失两个部分，可表示为：
其中，i表示第i个候选区域；pi表示第i个目标的类别的离散型概率；表示第i个框的标定值；Lcls,Lreg,λ分别表示分类损失、回归损失及权重；ti＝{tx,ty,tw,th}表示目标位置的预测值；/>表示训练样本中人工给定的监督信息。
对于回归损失，由于参数回归时可近似于线性回归，而且没有很好的去除噪声会造成大量干扰，从而影响梯度的稳定回传，为了解决这一问题，其回归损失可用梯度平缓的损失函数来表示，其模型可假设为：
其中，P表示损失函数σ为用于控制滑动窗口中平滑区域范围的参数。
进而对式求梯度，得到
考虑到在传播过程中不同样本的损失程度不同，可将损失较大的定义为困难样本，损失较少的定义为容易样本。由梯度函数式可知，在/>函数中，困难样本相对来说可以获得更多的梯度信息，这也导致了不同样本之间学习能力的不平衡。
为了更好地解决这个问题，引入了损失函数，即由式/>得到/>损失的梯度函数，可表示为：
同时对于所提供的梯度高于1的样本取1作为其样本，以此来平衡不同样本之间的不平衡。基于此，可通过积分来求得的损失函数，表示为：
式中，c,d均为常数，可根据具体检测场景进行给定。以上两种损失函数的梯度变化如图4所示。
步骤9：将步骤7得到的数据集中的测试集输入得到的权重模型，对道路内部空洞目标探地雷达回波图像进行目标检测。
本发明能够在一定程度上解决目前探地雷达在目标检测中数据解译困难、目标识别分类工作量大、检测精度低、实时性差等问题。
实施例
本实施例提出的一种基于多特征感知融合的Faster R-CNN的探地雷达空洞目标识别方法，包括以下步骤：
步骤1：对探地雷达采集到的原始图像数据进行预处理，包括利用均值相互消化去直流、利用主元分析法实现背景去除、利用维纳滤波反卷积技术实现对雷达图像的反褶积处理；
步骤2：对步骤1处理后的图像进行筛选，通过钻芯取样、人工图像分析和专家解译方法确定空洞区域，利用Labelimg对图像中的空洞进行标注制作数据集；
步骤3：对步骤2中得到的数据集进行反转、缩放、随机噪声、水平镜像、颜色转换、灰度等数据数理方法进行数据增强，扩充图像数据集，接着按一定比例将部分无目标图像和空洞图像分配给训练集，剩余部分的无目标图像和空洞图像分配给测试集；
步骤4：利用步骤3生成的训练集对改进后融合多特征感知的Faster R-CNN神经网络模型进行训练优化，获得训练好的神经网络模型；
步骤5：利用步骤4训练好的改进Faster R-CNN模型，对探地雷达采集到的空洞病害进行准确的目标识别。
所述步骤1利用均值相消去直流、利用主元分析法实现背景去除、利用维纳滤波反卷积技术实现反褶积处理。探地雷达在进行工作过程中，在接收到反射回波信号之前会进行混频处理和采样操作，而在此过程中探地雷达系统中各种元器件的输出会产生直流偏移，会对采集到的电磁波信号产生较强的干扰，为此在进行目标检测之前要去除直流偏移；而进行背景去除可以一定程度上突显出地下空间体隐蔽病害的位置；在某些特殊情况下，如果雷达波遇到了两层介质之间存在明显的分离，此时电磁波信号则会在此界面上发生多次反射，原始信号实际上进行了反复的褶积运算，在雷达图像上则表现为一系列重复的介质分界面，为此要利用反褶积处理去除这些重复，重现原始信号。
所述步骤2对步骤1中得到的探地雷达的三维图像进行人工标注，所得数据集分成2个类别，分别为空洞以及无目标，并且训练集、测试集划分比例约为6:4。
考虑到在制作数据集时，通过人工在探地雷达三维图像中寻找异常目标时，由于原始雷达图像中包含的检测范围广，目标信号响应所占区域小，双曲线特征不明显。因此需要对原始数据集进行切片处理，即将原始图像切分成众多尺寸大小300×300的小图，再使用Labelimg软件对图像标注形成对应的xml文件，该文件包含有每个探测目标的类型、大小以及位置信息。
所述步骤3利用步骤2得到的数据集进行数据增强，扩充图像数据集，接着按一定比例将部分无目标图像和空洞图像分配给训练集，剩余部分的无目标图像和空洞图像分配给测试集。在进行深度学习过程中，充足的数据集对于模型的训练是极其重要的，数据集不足很可能导致难以收敛或者出现过拟合的现象，也就很难体现出深度学习的优点，为此需要对样本数据集进行扩增处理。通过数据增强之后，不仅可以有效增加样本数量，丰富图像的背景信息，使得网络学习到更鲁棒性、更深层次的目标特征，从而避免模型训练时出现的不能收敛、过拟合等问题，最终提高模型的检测精度和准确性。本发明在训练网络前采用添加高斯噪声、镜像、颜色变换等方法，通过这种方法可以更好的扩增数据集，也可以检测模型的性能，同时也不会影响城市道路隐患检测的准确率。同时完成对训练集、测试集的图像数据分配。
所述步骤4利用步骤3中获得的训练集对改进后融合多特征感知的Faster R-CNN神经网络模型进行训练优化，其训练结构图如图2所示。首先经过卷积特征提取网络来提取输入图像的特征图，并将该特征图依次经过RPN网络、ROIPooling池化层及全连接层。提取到特征图进入RPN网络，在原始特征图的基础上，使用位置预测分支和形状预测分支分别对雷达图像中病害的形状及位置进行预测，然后将预测到的信息进行多特征融合从而精确的得到病害；另外进行特征转换的时候，还要进行偏移域的处理进而得到新特征图，然后对特征图进行裁剪过滤之后通过Soft-NMS来判断所得到的病害属于前景还是后景。最后进入到检测网络，该区域将经过RPN网络最后一层提取优化后的特征图进行叠加，得到带有区域建议的特征图，之后进入到池化层，并对损失函数进行优化，利用全连接操作来进行目标定位，从而进行图像病害的边界框回归及分类回归，最终获得所检测地下目标空间体的精确信息。
多特征融合的RPN结构如图3所示。传统的RPN结构网络采用最后一层特征图卷积得到的信息作为特征图并进行后续操作，这也导致对于病害中一些微小目标的特征信息无法进行很好的提取，本发明对RPN结构进行改进从而进行目标信息的多特征融合。多特征感知融合是通过一定的方式来整合深层网络特征图的空间特征维度，使其与浅层网络特征图相同后，按照叠加的方式进行融合，从而使得提取出的特征图具有更加丰富的语义信息。
所述步骤5利用步骤4训练好的改进Faster R-CNN模型，对探地雷达采集到的空洞病害进行准确的目标识别。将新采集到的探地雷达原始图像作为训练好的神经网络模型的输入，使网络自动地对探地雷达图像进行空洞病害的目标识别，最终标注出带有空洞病害的探地雷达扫描图像。
使用城市道路隐患检测工程实测探地雷达，对约25km的城市道路进行地下隐蔽病害的检测，按照上述步骤对采集到的探地雷达原始图像数据进行去直流、背景去除、滤波、反褶积处理，接着进行模型设计，同时需要数据增强、图像标注来制作数据集，最后进行模型试验与对比分析。
深度学习模型的性能效果需要根据准确度(precision)、准确度(accuracy)、召回率(recall)等指标来进行评估。对于不同类型的模型和应用场景，选择客观全面、准确易测的评价指标是至关重要的。综合考虑地下目标空间的各种复杂因素的影响，本文选择召回率(R)，和精确率(P)以及综合考虑召回率与精确率的指标F-score来对本文所构建的网络性能进行评价。因此为评价所提出的改进Faster R-CNN模型对城市道路塌陷隐患智能检测的性能，具体计算模型可用下式来进行表达。
式中：
TP——预测为真实际为真的占比；
TN——预测为假实际为假的占比；
FP——预测为真实际为假的占比；
FN——预测为假实际为真的占比。
模型试验结果如下表1：
表1各模型迭代评价指标对比
各模型在测试集上识别效果对比如图5所示。
与现有技术相比，本申请的模型对RPN结构进行改进引入多特征感知融合，同时对损失函数进行优化。在更好地将更多目标特征映射到特征图上的同时，对于病害中一些微小目标的特征信息也能够进行很好的提取，丰富语义信息，从而提高检测精度；而对损失函数进行优化之后，可以有效降低困难样本与容易样本之间的不平衡问题，使模型得到更好的训练，进而提高了探地雷达道路内部空洞检测的实时性与精确度。
以上显示和描述了本发明的基本原理和主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。
Claims (10)
1.一种基于多特征感知的Faster R-CNN的探地雷达空洞目标识别方法，其特征在于，将采集到的探地雷达图像作为探地雷达空洞目标识别网络模型的输入，利用探地雷达空洞目标识别网络对探地雷达图像进行空洞病害的目标识别；
探地雷达空洞目标识别网络模型采用基于多特征感知的Faster R-CNN网络，所述基于多特征感知的Faster R-CNN网络包括特征提取网络、多特征感知提取候选框网络和检测网络；
特征提取网络用于提取特征；
多特征感知提取候选框网络由RPN结构、多特征融合模块、Soft-NMS模块组成；将特征提取网络提取的特征图经过RPN网络，使用位置预测分支和形状预测分支分别对雷达图像中病害的形状及位置进行预测，将预测到的信息进行多特征融合得到空洞精确特征；多特征融合模块同时进行偏移域处理得到新特征图，对特征图进行裁剪过滤之后通过Soft-NMS判断空洞属于前景还是后景；其中，所述多特征融合模块的处理过程如下：
对经过特征提取网络获得的特征图分3条路径进行处理，第1条路径进入分类预测获取图像的位置信息；第2条路径先进行特征转换，之后分别进行非线性转换及偏移域处理；第3条路径处理得到的最终的特征图与进行偏移域处理的特征图结合形成带有区域建议的新特征图，进而将第1条路径获得的位置信息和第2条路径获得的形状信息进行多特征融合；将3条路径经过RPN 网络获得的新特征图进行叠加，得到带有区域建议的特征图，导入到Soft-NMS层处理；
检测网络由ROI Pooling 池化层、全连接层以及回归分析模块组成，Soft-NMS层处理之后进入到ROI Pooling池化层，利用全连接操作来进行目标定位，从而进行图像病害的边界框回归及分类回归，最终获得所检测地下目标空间体的精确信息。
2.根据权利要求1所述的一种基于多特征感知的Faster R-CNN的探地雷达空洞目标识别方法，其特征在于，第2条路径进行特征转换时，基于边界框回归的方式，利用tx/ty对输入的特征图进行特征转换，其中tx为像素的横向偏移量，ty为像素的纵向偏移量。
3.根据权利要求2所述的一种基于多特征感知的Faster R-CNN的探地雷达空洞目标识别方法，其特征在于，第2条路径进行特征转换之后的偏移域处理过程包括以下步骤：
在训练过程第2条路径的每一张特征图都进行了偏移处理，基于边界框回归的方式，确定了偏移对应的平移及尺度放缩变换，利用平移及尺度放缩变换对特征转换之后的特征图进行处理，即偏移域处理。
4.根据权利要求3所述的一种基于多特征感知的Faster R-CNN的探地雷达空洞目标识别方法，其特征在于，所述特征提取网络采用VGG-19网络模型。
5.根据权利要求4所述的一种基于多特征感知的Faster R-CNN的探地雷达空洞目标识别方法，其特征在于，将采集到的探地雷达图像作为探地雷达空洞目标识别网络模型的输入过程中所述的探地雷达图像为探地雷达的原始图像。
6.根据权利要求1至5任意一项所述的一种基于多特征感知的Faster R-CNN的探地雷达空洞目标识别方法，其特征在于，探地雷达空洞目标识别网络模型为预先训练好的，训练过程包括以下步骤：
步骤1：对探地雷达采集的道路内部空洞目标原始图像数据进行去直流处理；
步骤2：对步骤1已去直流处理后的图像数据进行背景去除；
步骤3：对步骤2中处理后的图像数据进行滤波，过滤探地雷达脉冲信号之外的干扰信号；
步骤4：对步骤3已滤波处理后的图像数据进行反褶积，去除图像数据中一系列重复的介质分界面；
步骤5：对步骤4中处理后的图像进行标注；
步骤6：基于步骤5得到的图像数据得到探地雷达图像数据集；按一定比例将部分无目标图像和空洞图像分配给训练集；
步骤7：对步骤6中得到的数据集进行数据增强，扩充图像数据集；
步骤8：将步骤7得到的数据集中的训练集输入多特征感知的Faster R-CNN网络中，对其进行迭代训练，得到权重模型；
在训练过程中使用的损失函数包括回归损失和分类损失两个部分，其中回归损失采用损失函数，表示为：
式中，/>均为常数，e为自然数，x表示自变量。
7.根据权利要求6所述的一种基于多特征感知的Faster R-CNN的探地雷达空洞目标识别方法，其特征在于，步骤1采用均值相消算法对原始图像数据进行去直流。
8.根据权利要求7所述的一种基于多特征感知的Faster R-CNN的探地雷达空洞目标识别方法，其特征在于，采用均值相消算法对原始图像数据进行去直流的过程包括以下步骤：
对所有接收脉冲信号求平均得到参考接收脉冲信号，随后利用每一束接收脉冲信号减去参考接收脉冲信号，得到去除直流偏移干扰后的图像数据。
9.根据权利要求8所述的一种基于多特征感知的Faster R-CNN的探地雷达空洞目标识别方法，其特征在于，步骤3进行滤波的过程中，采用无限脉冲响应滤波器进行带通滤波。
10.根据权利要求9所述的一种基于多特征感知的Faster R-CNN的探地雷达空洞目标识别方法，其特征在于，步骤4通过维纳滤波反卷积技术来对探地雷达原始图像进行反褶积处理。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311147890.4A CN117173618B (zh) | 2023-09-06 | 2023-09-06 | 基于多特征感知的Faster R-CNN的探地雷达空洞目标识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311147890.4A CN117173618B (zh) | 2023-09-06 | 2023-09-06 | 基于多特征感知的Faster R-CNN的探地雷达空洞目标识别方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117173618A CN117173618A (zh) | 2023-12-05 |
| CN117173618B true CN117173618B (zh) | 2024-04-30 |
Family
ID=88935993
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311147890.4A Active CN117173618B (zh) | 2023-09-06 | 2023-09-06 | 基于多特征感知的Faster R-CNN的探地雷达空洞目标识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117173618B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118334591B (zh) * | 2024-06-13 | 2024-08-06 | 成都理工大学 | 基于探地雷达和深度学习的道路坍塌隐患智能识别方法 |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112215819A (zh) * | 2020-10-13 | 2021-01-12 | 中国民航大学 | 基于深度特征融合的机场道面裂缝检测方法 |
| CN112462346A (zh) * | 2020-11-26 | 2021-03-09 | 西安交通大学 | 一种基于卷积神经网络的探地雷达路基病害目标检测方法 |
| CN113191391A (zh) * | 2021-04-07 | 2021-07-30 | 浙江省交通运输科学研究院 | 一种针对三维探地雷达图谱的道路病害分类方法 |
| CN114723709A (zh) * | 2022-04-11 | 2022-07-08 | 武汉汉宁轨道交通技术有限公司 | 隧道病害检测方法、装置和电子设备 |
| CN115311531A (zh) * | 2022-07-26 | 2022-11-08 | 哈尔滨工业大学 | 一种RefineDet网络模型的探地雷达地下空洞目标自动检测方法 |
| CN115311532A (zh) * | 2022-07-26 | 2022-11-08 | 哈尔滨工业大学 | 一种基于ResNet网络模型的探地雷达地下空洞目标自动识别方法 |
| CN115345790A (zh) * | 2022-08-02 | 2022-11-15 | 上海应用技术大学 | 基于窗口的自注意力神经网络的探地雷达图像增强方法 |
| CN115565043A (zh) * | 2022-10-18 | 2023-01-03 | 哈尔滨石油学院 | 结合多表征特征以及目标预测法进行目标检测的方法 |
| CN115761736A (zh) * | 2022-11-29 | 2023-03-07 | 长安大学 | 基于多维探地雷达图像的地下空洞智能检测方法与系统 |
| CN115937879A (zh) * | 2022-12-31 | 2023-04-07 | 山东女子学院 | 基于多尺度特征融合网络的学术内容目标检测方法及系统 |
| WO2023123568A1 (zh) * | 2021-12-29 | 2023-07-06 | 中路交科科技股份有限公司 | 一种探地雷达图像人工智能识别方法及装置 |
| CN116597365A (zh) * | 2023-05-24 | 2023-08-15 | 筑升科技有限公司 | 一种基于神经网络的地下病害体目标识别方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114119582B (zh) * | 2021-12-01 | 2024-04-26 | 安徽大学 | 一种合成孔径雷达图像目标检测方法 |
-
2023
- 2023-09-06 CN CN202311147890.4A patent/CN117173618B/zh active Active
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112215819A (zh) * | 2020-10-13 | 2021-01-12 | 中国民航大学 | 基于深度特征融合的机场道面裂缝检测方法 |
| CN112462346A (zh) * | 2020-11-26 | 2021-03-09 | 西安交通大学 | 一种基于卷积神经网络的探地雷达路基病害目标检测方法 |
| CN113191391A (zh) * | 2021-04-07 | 2021-07-30 | 浙江省交通运输科学研究院 | 一种针对三维探地雷达图谱的道路病害分类方法 |
| WO2023123568A1 (zh) * | 2021-12-29 | 2023-07-06 | 中路交科科技股份有限公司 | 一种探地雷达图像人工智能识别方法及装置 |
| CN114723709A (zh) * | 2022-04-11 | 2022-07-08 | 武汉汉宁轨道交通技术有限公司 | 隧道病害检测方法、装置和电子设备 |
| CN115311531A (zh) * | 2022-07-26 | 2022-11-08 | 哈尔滨工业大学 | 一种RefineDet网络模型的探地雷达地下空洞目标自动检测方法 |
| CN115311532A (zh) * | 2022-07-26 | 2022-11-08 | 哈尔滨工业大学 | 一种基于ResNet网络模型的探地雷达地下空洞目标自动识别方法 |
| CN115345790A (zh) * | 2022-08-02 | 2022-11-15 | 上海应用技术大学 | 基于窗口的自注意力神经网络的探地雷达图像增强方法 |
| CN115565043A (zh) * | 2022-10-18 | 2023-01-03 | 哈尔滨石油学院 | 结合多表征特征以及目标预测法进行目标检测的方法 |
| CN115761736A (zh) * | 2022-11-29 | 2023-03-07 | 长安大学 | 基于多维探地雷达图像的地下空洞智能检测方法与系统 |
| CN115937879A (zh) * | 2022-12-31 | 2023-04-07 | 山东女子学院 | 基于多尺度特征融合网络的学术内容目标检测方法及系统 |
| CN116597365A (zh) * | 2023-05-24 | 2023-08-15 | 筑升科技有限公司 | 一种基于神经网络的地下病害体目标识别方法 |
Non-Patent Citations (6)
| Title |
|---|
| Faster R-CNN：Towards Real-Time Object Detection with Region Proposal Networks;Ren S et al;IEEE Transactions on Pattern Analysis and Machine Intelligence;20160606;全文 * |
| 基于Faster R-CNN算法的探地雷达管线目标智能识别;胡浩帮;方宏远;王复明;董家修;;城市勘测;20200630(第03期);全文 * |
| 基于压缩感知的混沌探地雷达空洞检测;师哲;刘丽;徐航;王冰洁;李静霞;;电子器件;20201020(第05期);全文 * |
| 基于密集连接的FPN多尺度目标检测算法;张宽;滕国伟;范涛;李聪;;计算机应用与软件;20200112(第01期);全文 * |
| 多尺度空洞卷积的无人机影像目标检测方法;张瑞倩;邵振峰;Aleksei Portnov;汪家明;;武汉大学学报(信息科学版);20200605(第06期);全文 * |
| 探地雷达多特征融合的城市空洞自动识别方法;杜豫川等;中国公路学报;20230315;全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117173618A (zh) | 2023-12-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109685011A (zh) | 一种基于深度学习的地下管线检测识别方法 | |
| CN117173618B (zh) | 基于多特征感知的Faster R-CNN的探地雷达空洞目标识别方法 | |
| CN110866545A (zh) | 一种探地雷达资料中管线目标的自动识别方法及系统 | |
| CN112508901B (zh) | 一种水下结构病害识别方法、系统、装置及存储介质 | |
| CN112131447B (zh) | 一种雷达信号侦测数据样本标注方法 | |
| CN111783616B (zh) | 一种基于数据驱动自学习的无损检测方法 | |
| CN113822201B (zh) | 基于流场速度分量时程的水下物体外形识别的深度学习方法 | |
| CN114564982A (zh) | 雷达信号调制类型的自动识别方法 | |
| WO2019205725A1 (zh) | 一种基于电成像测井分形维数的火山岩岩性识别方法 | |
| CN116665095B (zh) | 一种运动舰船检测方法、系统、存储介质和电子设备 | |
| Hu et al. | Defects identification and location of underground space for ground penetrating radar based on deep learning | |
| CN114155411A (zh) | 一种弱小目标智能检测识别方法 | |
| CN117351321A (zh) | 一种单阶段轻量化的地铁衬砌空洞识别方法及相关设备 | |
| CN117214398A (zh) | 一种深层地下水体污染物检测方法及系统 | |
| CN112465821A (zh) | 一种基于边界关键点感知的多尺度害虫图像检测方法 | |
| CN113607068B (zh) | 一种光声测量信号特征的识别模型建立方法及提取方法 | |
| CN115761467A (zh) | 一种基于高低频特征差分金字塔神经网络的水下目标检测方法 | |
| CN113298155B (zh) | 一种基于sf-ssd算法的机场跑道地下病害检测方法 | |
| Lei et al. | Multi-feature fusion sonar image target detection evaluation based on particle swarm optimization algorithm | |
| CN115542278A (zh) | 一种基于探地雷达原始数据的路面病害区域判断方法 | |
| CN113392705A (zh) | 一种基于卷积神经网络的沙漠地区管道泄漏目标识别方法 | |
| CN113624759A (zh) | 一种基于机器学习的苹果无损检测方法 | |
| CN112686222A (zh) | 星载可见光探测器对船舶目标检测的方法和系统 | |
| CN115047523B (zh) | 一种基于密度聚类算法的地震数据动校正方法 | |
| Li et al. | Research on Target Recognition Method of Tunnel Lining Image Based on Deep Learning |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |