CN113256562A - 基于雷达图像和人工智能的道路地下隐患检测方法和系统 - Google Patents

基于雷达图像和人工智能的道路地下隐患检测方法和系统 Download PDF

Info

Publication number
CN113256562A
CN113256562A CN202110438520.0A CN202110438520A CN113256562A CN 113256562 A CN113256562 A CN 113256562A CN 202110438520 A CN202110438520 A CN 202110438520A CN 113256562 A CN113256562 A CN 113256562A
Authority
CN
China
Prior art keywords
target
target detection
hidden danger
underground
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110438520.0A
Other languages
English (en)
Other versions
CN113256562B (zh
Inventor
蒋晓钧
项芒
狄毅
秦竟波
严晶
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Ande Space Technology Co ltd
Original Assignee
Shenzhen Ande Space Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Ande Space Technology Co ltd filed Critical Shenzhen Ande Space Technology Co ltd
Priority to CN202110438520.0A priority Critical patent/CN113256562B/zh
Publication of CN113256562A publication Critical patent/CN113256562A/zh
Application granted granted Critical
Publication of CN113256562B publication Critical patent/CN113256562B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G06T2207/10044—Radar image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Evolutionary Biology (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种基于雷达图像和人工智能的道路地下隐患检测方法和系统，所述道路地下隐患检测方法包括：步骤S1，从三维探地雷达数据库中筛选含有地下隐患目标的B‑SCAN样本图片；步骤S2，对样本图片的每个目标进行目标检测标注，并进行数据增强处理后形成地下隐患目标检测数据集；步骤S3，分别训练两个R‑CNN目标检测神经网络，得到两个具备空洞、脱空、管线和沙井对象检测能力的目标检测模型；步骤S4，读取三维探地雷达采集的各通道待检测B‑SCAN图片，用两个目标检测模型进行多GPU的并行目标检测，生成两组推理结果；步骤S5，通过模型集成将两组推理结果进行融合和输出。本发明抗干扰性强、目标信息丰富且准确性高。

Description

基于雷达图像和人工智能的道路地下隐患检测方法和系统
技术领域
本发明涉及一种隐患检测方法，尤其涉及一种基于雷达图像和人工智能的道路地下隐患检测方法，还涉及采用了该基于雷达图像和人工智能的道路地下隐患检测方法的道路地下隐患检测系统。
背景技术
由空洞或脱空等城市道路地下隐患引发的危害巨大的道路坍塌安全事故，轻则伤及车辆和财物，重则造成人员伤亡，且呈逐年上升趋势据。由于地下隐患具备隐蔽和突发的特点，当前各主管业务部门处于疲于应付事后抢险的被动局面，因此急需新型快速无损大面积普查技术来变被动为主动，从事后抢险转变为事前预防。实践证明，探地雷达(GroundPenetrating radar, GPR)具有定位准确、速度快、使用灵活和探测精度高等特点，被广泛用于地下隐患探测。
三维探地雷达具有空间采样率高、成像准确、分辨能力强和解译技术手段丰富等优势，在地下空间探测领域取得了良好的应用效果。但也存在数据量急剧增大，人工解译工作量大，解译标准不一，解译质量不一等问题，特别是缺乏能满足工程应用要求的地下隐患辅助自动识别工具。
现有技术中也有基于模式识别的传统方法，以Hough(霍夫)变换为代表的传统模式识别方法在管线自动识别和提取等一些特定领域取得了一定进展，但高昂的算法设计成本和难以适应复杂的地下空间地质环境造成了使用范围和效果受限，难以扩展到地下隐患探测领域。而随着机器学习算法不断涌现，在 GPR图像解译方面通过神经网络对噪声信号进行分类、使用Viola-Jones(VJ)算法提取目标区域等也取得了一定的进步，但大多数应用特征需要由人工识别和提取，分类结果取决于提取的特征的质量，随着数据量的增加，难以进一步改进。
另外，也存在基于深度学习中卷积神经网络的图像类方法，这种图像分类是一种用于对图像中特定对象的类别进行分类或预测的技术，该技术的主要目的是准确识别图像中的主要特征。通过对由B-SCAN和C-SCAN组合而成的图像进行分类后输出整体置信度来确定是否含有异常体，比传统的模式识别和机器学习方法在准确性指标上有了很大提升，作为一种工程可行的人工智能技术取得了一定的应用效果，但在实际使用中发现也存在不足之处，包括：
使用范围受限，只适合在高速公路等地质情况较好的路段使用，对于危害和需求最大的市政道路、老旧小区周边和重点区域等典型场景，由于道路地下遍布沙井、管线、管廊、碎石、层分界面等异常体和各类桥梁涵洞、道路周边灯杆、电线、龙门架、机动车护栏等路面干扰物体，一个分段内常常存在多种多个异常体互相干扰，导致虚警过多、召回率过低而无法使用。
无目标信息，检出的地下隐患通常需要根据大小、深度和类别等进行进一步处理（实地勘察、二维雷达复检和开井盖直至钻孔验证等），而基于图像分类的方法无法给出目标位置、深度以及大小等相关信息，需要解译人员人工进行分析，在大量的重复工作中，不但可能错标漏标，而且由于一张组合图对应的是一个较大的立方体（例如10m x 1.8m x 2m大小的），会再加上定位误差，常常会错过真正的目标。
难以继续改进：出现的问题是由于受到图像分类原理限制的，继续改进收效甚微，必须根据实际情况从技术路线上进行创新才能满足工程实践的需求。
发明内容
本发明所要解决的技术问题是需要提供一种抗干扰性强、目标信息丰富、准确性高的道路地下隐患自动检测方法，还能够进一步实现可持续改进，在此基础上，还进一步提供采用了该道路地下隐患自动检测方法的系统。
对此，本发明提供一种基于雷达图像和人工智能的道路地下隐患检测方法，包括以下步骤：
步骤S1，从三维探地雷达数据库中筛选含有地下隐患目标的B-SCAN样本图片；
步骤S2，对样本图片中的每个目标进行目标检测标注，并进行数据增强处理后形成地下隐患目标检测数据集；
步骤S3，通过所述地下隐患目标数据集分别训练两个R-CNN目标检测神经网络，得到两个具备空洞、脱空、管线和沙井对象检测能力的目标检测模型；
步骤S4，读取三维探地雷达采集的各通道待检测B-SCAN图片，用两个所述目标检测模型分别进行多GPU的并行目标检测，以生成两组推理结果；
步骤S5，通过模型集成将两组推理结果进行融合以输出多目标检测结果。
本发明的进一步改进在于，所述步骤S1包括以下步骤：
步骤S101，对三维探地雷达数据库中的所有测线的B-SCAN数据，以测道为单位建立B-SCAN数据段；
步骤S102，按照已知的地下隐患目标位置从三维探地雷达数据库中查找对应B-SCAN数据段；
步骤S103，提取B-SCAN数据，该B-SCAN数据包括所述步骤S102获取的B-SCAN数据段以及测线前后各一个B-SCAN数据段所对应的所有测线的B-SCAN数据；
步骤S104，将步骤S103提取的B-SCAN数据转为灰度图像；
步骤S105，将所述灰度图像中所有含有空洞、脱空、管线和沙井这四类地下异常体的灰度图像筛选出来，以此作为样本；
本发明的进一步改进在于，所述步骤S2包括以下步骤：
步骤S201，根据已知地下隐患对样本中所有的地下隐患目标进行标注，将图片上每个地下隐患目标通过包含该地下隐患目标的最小目标矩形框进行标注，并记录目标类别，所述地下隐患目标包括空洞、疏松、管道和沙井；
步骤S202，通过随机几何变换增强和随机混合类增强方法扩大样本数量，使空洞、疏松、管道和沙井的目标矩形框数量比接近1:1:1:1，以形成数据增强后的样本库；
步骤S203，按照K折交叉验证方法，将数据集平均分为K份，训练时每次用一份数据做测试集，用K-1份数据做训练集训练K个模型，挑选出性能最佳的模型后，用该模型的参数在全部数据再训练一次，以获得最佳模型，K为自然数；
步骤S204，输出两种格式的地下隐患目标检测数据集。
本发明的进一步改进在于，所述步骤S201对地下隐患目标进行标注的过程中，若多个地下隐患目标互相重叠或遮挡时均对每一个地下隐患目标进行独立标注；目标矩形框贴合目标轮廓，与目标轮廓的最大间距不超过2像素，且不侵入目标体内部；对于小于10个像素的地下隐患目标则不进行标注。
本发明的进一步改进在于，所述步骤S3包括以下子步骤：
步骤S301，基于Pytorch深度学习框架实现Faster R-CNN神经网络和YOLO神经网络；
步骤S302，在Faster R-CNN神经网络中采用50个卷积层的残差网络Resnet50作为骨干网络，并添加特征金字塔结构以增强小目标检测能力；
步骤S303，在YOLO神经网络中采用53个卷积层的跨阶段局部网络CSPDarknet53作为骨干网络，并添加路径聚合网络和空间金字塔池化结构以增强目标检测能力；
步骤S304，采用K-means聚类方法确定Anchor参数，以全部样本为目标计算Mean参数和STD参数，采用K-Fold交叉验证方法分别训练Faster R-CNN神经网络和YOLO神经网络，并分别保存最优解为PTH模型。
本发明的进一步改进在于，所述步骤S304中，采用K-Fold交叉验证方法的训练时，先从最初的小学习率0.001开始，每个步骤增大一个步长，直到达到最初设置的学习率，然后再采用最初设置的学习率进行训练10次，并使用余弦学习率衰训练10次。
本发明的进一步改进在于，所述步骤S4包括以下子步骤：
步骤S401，在内存中建立B-SCAN图像读取环形缓冲区，采用多线程方式批量读取待检测B-SCAN图像，采用先进先出策略输出待检测图像；
步骤S402，为每个GPU加载一个Faster R-CNN神经网络模型，从上述缓冲区获取图像进行目标检测并输出结果；
步骤S403，为每个GPU加载一个YOLO神经网络模型，从上述缓冲区获取图像进行目标检测并输出结果；
当环形缓冲区中缓存的图像数量小于预设阈值时，多线程批量读取待处理图像并做预处理后存放至所述环形缓冲区。
本发明的进一步改进在于，所述步骤S5包括以下子步骤：
步骤S501，获取两组推理结果，按照模型集成中的目标框加权融合方法进行目标检测结果融合；,
步骤S502，根据目标矩形框在雷达图像上对应的位置和大小反算目标物理位置，包括GPS坐标、桩号、长宽以及深度；
步骤S503，将测线、测道、通道号、目标物理位置、目标类别、坐标框和置信度输出到JSON格式完成自动检测任务。
本发明的进一步改进在于，所述步骤S501按照模型集成中的目标框加权融合方法进行目标检测结果融合的过程如下：
步骤S5011，逐个将每个模型的每个预测框BBox添加到列表B，并按照置信度C倒序排列，并创建列表L和列表F；
步骤S5012，遍历列表B在列表F中查找匹配预测框BBox；
步骤S5013，若没找到匹配预测框BBox就将其添加到列表L和列表F；若找到了匹配的预测框BBox，则将在列表F中的匹配位置Fpos及其内容添加至列表L中；
步骤S5014，列表L中的所有预测框BBox重新计算列表F的坐标和置信度；
步骤S5015，遍历结束后，重新调整一次列表F中的置信度。
本发明还提供一种基于雷达图像和人工智能的道路地下隐患检测系统，采用了如上所述的基于雷达图像和人工智能的道路地下隐患检测方法，并包括：
探地雷达数据库管理模块，从三维探地雷达数据库中筛选含有地下隐患目标的B-SCAN样本图片，并进行浏览、索引、查看以及导出灰度图片的管理任务；
地下隐患目标检测数据集管理模块，对样本图片中的每个目标进行管理和目标检测标注，并进行数据增强处理后形成地下隐患目标检测数据集；
目标检测模型训练模块，通过所述地下隐患目标数据集分别训练两个R-CNN目标检测神经网络，得到两个具备空洞、脱空、管线和沙井对象检测能力的目标检测模型；
探地雷达地下隐患目标自动检测模块，读取三维探地雷达采集的各通道待检测B-SCAN图片，用两个所述目标检测模型分别进行多GPU的并行目标检测，并输出两组推理结果；
处理模块，通过模型集成将两组推理结果进行融合以输出多目标检测结果。
与现有技术相比，本发明的有益效果在于：针对性地引入了深度学习中的目标检测算法, 并针对工程应用要求通过数据增强、网络结构和模型结构融合等新技术，进而有效地提升目标检测召回率和精度，能够快速处理复杂的城市道路三维探地雷达数据，及时高效的在以单张B-SCAN雷达图像为单位的细粒度上检出多个异常体并给出目标信息，极大的提升了人工智能在地下隐患自动化探测领域的应用范围和智能化程度，为城市级周期性全覆盖式的城市道路定期体检提供了很好的基础，有效改变了地面坍塌防治的被动局面，本发明能够通过预防工作有效地将地面坍塌等隐患发生的可能性降到最低，抗干扰性强，准确性高，并且还满足可持续改进的要求。
附图说明
图1是本发明一种实施例的工作流程示意图；
图2是三维探地雷达的工作原理图；
图3是标准16通道探地雷达天线布置示意图；
图4是典型三维探地雷达地下隐患目标波形图；
图5是标注道路地下隐患数据集界面图；
图6是本发明一种实施例的Faster R-CNN目标检测神经网络的目标检测模型图；
图7是本发明一种实施例的YOLO目标检测神经网络的目标检测模型图；
图8是本发明一种实施例的道路地下隐患目标检测结果示意图。
具体实施方式
下面结合附图，对本发明的较优的实施例作进一步的详细说明。
如图1所示，本发明提供一种基于雷达图像和人工智能的道路地下隐患检测方法，包括以下步骤：
步骤S1，从三维探地雷达数据库中筛选含有地下隐患目标的B-SCAN样本图片；
步骤S2，对样本图片中的每个目标进行目标检测标注，并进行数据增强处理后形成地下隐患目标检测数据集；
步骤S3，通过所述地下隐患目标数据集分别训练两个R-CNN目标检测神经网络，得到两个具备空洞、脱空、管线和沙井对象检测能力的目标检测模型；
步骤S4，读取三维探地雷达采集的各通道待检测B-SCAN图片，用两个所述目标检测模型分别进行多GPU的并行目标检测，以生成两组推理结果；
步骤S5，通过模型集成将两组推理结果进行融合以输出多目标检测结果。
本例通过采用基于深度学习中区域卷积神经网络(R-CNN)的目标检测方法，能够从每张B-SCAN图像上检出多个地下隐患并给出目标信息，从根本上解决了图像分类方案存在的问题，经测试证明，本例抗干扰性强，准确性高，可有效应用于市政道路等复杂地质环境道路地下隐患检测，整体检测效率提升数十倍以上。
三维探地雷达可以快速无损的提取城市道路地下空间雷达数据，在传统的基于图像分类的识别方法辅助下依靠人工识别和探查也产生了大量经过验证的地下隐患目标数据记录。
本例所述步骤S1根据数据库中记录的雷达数据、隐患数据和提供的管理工具，可以快速获得300张以上的样本。所述步骤S2按照目标检测的要求对每个目标进行标注，数据增强后可以形成1000张以上样本用于训练。所述步骤S3利用地下隐患目标检测数据集训练目标检测网络，最终得到最优的两个空洞、脱空、管线、沙井目标检测模型。所述步骤S4建立多GPU图像推理流水线，对所有测线的B-SCAN图片逐张进行目标检测。所述步骤S5按照加权方式融合各模型检测结果，并计算和叠加高精度定位数据和目标几何信息数据后输出最终检测结果。
更为具体的，本例所述步骤S1优选包括步骤S101至步骤S105。
本例所述步骤S101，对三维探地雷达数据库中的所有测线的B-SCAN数据，以测道为单位，优选按照段长200测道和步长100测道建立B-SCAN数据段；所述B-SCAN数据也称探地雷达B-scan数据或B-scan雷达数据；
如图2所示，三维探地雷达发射天线将高频短脉冲电磁波定向送入地下，电磁波在传播过程中遇到存在电性差异的地层或目标体就会发生反射和透射，接收天线收到反射波信号并将其数字化，然后由电脑以反射波波形的形式记录下来。对所采集的数据进行相应的处理后，可根据反射波的旅行时间、幅度和波形，判断地下目标体的空间位置、结构及其分布。具体的，识别出B-SCAN图片中的目标即可获得地下隐患的类别和位置。
如图3所示,典型的三维探地雷达布设了16个通道，可同时获取16条测线数据(B-SCAN)，一个目标可以同时出现在不同的通道上，对全部通道的B-SCAN进行目标检测可以最大限度提升召回率。如图4所示，三维探地雷达获取的典型目标B-SCAN图像。各类型目标通常存在一定的差异可以用来区分。
具体的，每条测线划分的每个数据段对应沿测线方向长度10米，深度2.56米的高精度定位（测道及测距轮、RTK）数据和雷达数据(接收时间及信号相位强度等)组成的二维矩阵，测道间距0.05米，相邻的数据段段之间有5米重叠区；各测线之间距离0.08米；一共16条测线。
B-SCAN雷达数据的高精度定位数据为测道，对应的物理量为距离，计算公式为：
Figure DEST_PATH_IMAGE002
。其中：
Figure DEST_PATH_IMAGE004
为从零点桩号计算的米数，
Figure DEST_PATH_IMAGE006
为测道间距，
Figure DEST_PATH_IMAGE008
为测道编号。
B-SCAN雷达数据的接收时间T单位为纳秒(ns)，与深度的换算公式如下：
Figure DEST_PATH_IMAGE010
，
Figure DEST_PATH_IMAGE012
。其中：
Figure DEST_PATH_IMAGE014
为目标深度，单位为米；
Figure DEST_PATH_IMAGE016
为时差，单位为纳秒；
Figure DEST_PATH_IMAGE018
为介质中的速度，单位为m/s；c为电磁波空气传播速度，
Figure DEST_PATH_IMAGE020
为介质中的相对介电常数。
本例所述步骤S102，按照已知的地下隐患目标位置从三维探地雷达数据库中查找对应B-SCAN数据段，地下隐患目标位置包括测线和测道编号；值得一提的是，本例中获取的数据是采用图像分类辅助+复核+现场验证方法在高分辨率的三维探地雷达上形成的，具有较高的样本量、真实性、代表性和准确性，其效果远非通过GPRMax等仿真软件仿真而成的模拟样本能比拟，也非传统纯手工方式在采集效率和样本量上能够比拟。
本例所述步骤S103，提取B-SCAN数据，该B-SCAN数据包括所述步骤S102获取的B-SCAN数据段以及测线前后各一个B-SCAN数据段共三个B-SCAN数据段所对应的所有测线的B-SCAN数据；三维探地雷达有16个通道，本例在每个通道取三个数据段，则一共可以提取48个数据段，本例能够最大限度利用了样本数据，效果比简单的几何数据增强要好很多。
本例所述步骤S104，将步骤S103提取的B-SCAN数据转为灰度图像；对每个已知地下隐患目标，从步骤S103生成的48个B-SCAN数据段可以转换成48张256阶灰度JPG图像。
其中，步骤S104通过灰度变换归一化将雷达振幅数据均匀地扩展到256个灰度级别上并完成雷达振幅到图像灰度的映射：公式为：
Figure DEST_PATH_IMAGE022
。
Figure DEST_PATH_IMAGE024
为原始的第
Figure DEST_PATH_IMAGE026
个回波值，
Figure DEST_PATH_IMAGE028
为滤波函数,
Figure DEST_PATH_IMAGE030
为滤波函数的最大值，
Figure DEST_PATH_IMAGE032
为滤波函数的最小值，
Figure DEST_PATH_IMAGE034
为转换到灰度值值域为[0 ,
Figure DEST_PATH_IMAGE036
]的图像域中的对应值，
Figure 8724DEST_PATH_IMAGE026
为自然数，用于表示序号；
Figure DEST_PATH_IMAGE038
为灰度值值域的上限值。
本例所述步骤S105，将所述灰度图像中所有含有空洞、脱空、管线和沙井这四类地下异常体的灰度图像筛选出来，以此作为样本；空洞、脱空、管线和沙井是最容易造成地面坍塌也是最常见的且很容易混淆的地下目标，所以本例主要针对这些目标进行挑选。
本例所述步骤S2优选包括步骤S201至步骤S204。
本例所述步骤S201，根据已知地下隐患对样本中所有的地下隐患目标进行标注，将图片上每个地下隐患目标通过包含该地下隐患目标的最小目标矩形框进行标注，并记录目标类别，所述地下隐患目标包括空洞、疏松、管道和沙井；
如图5界面所示，通过标注工具将图片上每个地下隐患目标(包括空洞、疏松、管道和沙井)都用包含目标的最小目标矩形框（也称最小外接矩形框）进行标注，并记录目标类别。本例所述步骤S201对地下隐患目标进行标注的过程中，若多个地下隐患目标互相重叠或遮挡时均对每一个地下隐患目标进行独立标注；目标矩形框贴合目标轮廓，与目标轮廓的最大间距不超过2像素，且不侵入目标体内部；对于小于10个像素的地下隐患目标则不进行标注。对于人工无法分辨的地下隐患目标也不进行标注。
由于地下样本获取困难，且各类别样本数量极不平衡，因此，本例所述步骤S202中，通过随机几何变换增强和随机混合类增强方法扩大样本数量，使空洞、疏松、管道和沙井的目标矩形框数量比接近1:1:1:1，以形成数据增强后的样本库；所述随机几何变换增强包括随机水平翻转(RandomHFlip)、随机亮度(RandomBrightness)以及随机裁剪(RandomCrop)等方法，空洞、疏松、管道和沙井的目标矩形框数量比接近1:1:1:1，指的是实际的比例与1:1:1:1之间的差值小于预先设定的比例差阈值即可，该比例差阈值可以根据实际情况进行调整和修改。
本例所述步骤S203，按照K折交叉验证(K-fold cross validation)方法，将数据集平均分为K份，训练时每次用一份数据做测试集，用K-1份数据做训练集训练K个模型，挑选出性能最佳的模型后，用该模型的参数在全部数据再训练一次，以获得最佳模型，K为自然数；本例通过K折交叉验证方法能充分且合理地利用所有的样本，可在样本数量不足的情况下提升模型性能。
本例所述步骤S204，输出两种格式的地下隐患目标检测数据集。两种格式指的是Faster R-CNN神经网络的COCO格式和YOLO神经网络的YOLO格式，这是最常用的两种目标检测数据集格式，分别对应Faster R-CNN神经网络和YOLO神经网络这两种目标检测模型，故分别保存为COCO2017和YOLO V3格式。
本例所述步骤S3优选包括步骤S301至S304。
本例所述步骤S301，基于Pytorch深度学习框架实现Faster R-CNN神经网络和YOLO神经网络。
按照深度学习算法是否需要中间产生候选区域(region proposals)，可以分为一阶段和两阶段两大类。一阶段检测算法不需要产生候选区域阶段，直接产生物体的类别概率和位置坐标值，经过单次检测即可直接得到最终的检测结果，因此有着更快的检测速度，但是一般识别精度和准确度上比two-stage的算法要差一些。two-stage检测算法将检测问题划分为两个阶段，首先产生候选区域，然后对位置精修后进行候选区域分类。two-stage检测算法识别错误率低，漏识别率也较低，但速度较慢。Faster R-CNN神经网络和YOLO神经网络分别是一阶段目标检测和两阶段目标检测算法。YOLO神经网络速度快且泛化能力强，但对某些小目标检测不足，Faster R-CNN神经网络在小目标检测和精度方面有一定优势。本例采用这两种算法集成和融合后有较好效果，特别是召回率有提升。
图6和图7所示的分别是Faster R-CNN神经网络和YOLO神经网络的网络模型参考图。
本例所述步骤S302，在Faster R-CNN神经网络中采用50个卷积层的残差网络Resnet50作为骨干网络，并添加特征金字塔结构以增强小目标检测能力；残差网络Resnet50有较强的特征提取能力，特征金字塔(FPN)能以极小的计算量解决多尺度检测问题，使得模型具备较强的小目标识别能力和较高的精度。在本例中采用了ROIAlign结构，相对于标准的ROI Pooling进一步提升了小目标的检测精度。
本例所述步骤S303，在YOLO神经网络中采用53个卷积层的跨阶段局部网络CSPDarknet53作为骨干网络，并添加路径聚合网络PANET和空间金字塔池化SPP结构以增强目标检测能力；新一代的CSPDarknet53骨干网借鉴了残差网络结构，形成更深的网络层次，PANET(路径聚合网络)和SPP(空间金字塔池化) 提升了模型的尺度不变(scale-invariance)性和降低了过拟合(over-fitting)，有较强的的泛化能力和较快的推理速度。在本例中网络参数取深度=0.33，宽度0.5以获得较快的检测速度。
本例所述步骤S304，采用K-means聚类方法确定Anchor参数，以全部样本为目标计算Mean参数和STD参数，采用K-Fold交叉验证方法分别训练Faster R-CNN神经网络和YOLO神经网络，并分别保存最优解为PTH模型。
训练时Anchor参数是YOLO神经网络的重要参数，如Anchor参数的尺寸和目标的尺寸差异较大，则会影响模型的检测效果。K-means聚类方法可以准确确定Anchor参数。K-means聚类方法采用的IoU度量计算公式为：
Figure DEST_PATH_IMAGE040
。其中：
Figure DEST_PATH_IMAGE042
为IoU度量值，IoU 全称是Intersection over Union，是一种测量在特定数据集中检测相应物体准确度的一个标准；
Figure DEST_PATH_IMAGE044
为真值框与Anchor框的IoU值。
K-means聚类方法的计算步骤为：第一步，随机选取K个box作为初始Anchor，K为自定义的自然数；第二步，使用IoU度量，将每个box分配给与其距离最近的Anchor；第三步，计算每个簇中所有box宽和高的均值，更新Anchor；第四步，重复第二步和第三步，直到Anchor不再变化，或者达到了最大迭代次数。
训练时，学习率采用带预热（Gradual warm up）的余弦学习率衰减(CosineLearning rate decay)方式。本例所述步骤S304中，采用K-Fold交叉验证方法的训练时，在Gradual Warm up预热阶段，先从最初的小学习率0.001开始，每个step步骤增大一个步长，直到达到最初设置的学习率0.01（该最初设置的学习率可以根据实际需要进行自定义设置和调整），然后再采用最初设置的学习率进行训练10次（10个epoch），并使用余弦学习率衰训练10次（10个epoch）；1个epoch等于使用训练集中的全部样本训练一次，即epoch的值就是整个数据集被训练几次。本例所述学习率0.01和epoch均可根据实际的样本量、loss和mAP等实际情况和训练时指标变化情况来进行调整。
Gradual warm up预热阶段的计算公式如下：设预热的迭代次数为T，初始学习率为
Figure DEST_PATH_IMAGE046
，每次更新的学习率
Figure DEST_PATH_IMAGE048
为：
Figure DEST_PATH_IMAGE050
，
Figure DEST_PATH_IMAGE052
为当前的迭代次数；余弦学习率衰减Cosine Learning rate decay的计算公式如下：
Figure DEST_PATH_IMAGE054
,
Figure DEST_PATH_IMAGE056
为总迭代次数。
因为是多类别目标检测，且对误识别和召回率都有要求，故各模型评估指标采用Accuracy和mAP(mean Average Precision)指标加权的方式：
Figure DEST_PATH_IMAGE058
，
Figure DEST_PATH_IMAGE060
；
Figure DEST_PATH_IMAGE062
为模型评估指标，
Figure DEST_PATH_IMAGE064
为目标检出率，即在总样本图片中有多少样本图片被检出(至少含有一个目标检测框)；
Figure DEST_PATH_IMAGE066
为检测框和真实框的交并比(IOU)的计算均值，
Figure 464546DEST_PATH_IMAGE066
(mean AveragePrecision)为分别在检测框和真实框的交并比(IOU)在阈值0.5、0.7和0.9下计算的各
Figure DEST_PATH_IMAGE068
均值；
Figure 447545DEST_PATH_IMAGE068
为PASCALVOC数据集标准的精度。
本例所述步骤S4优选包括步骤S401至步骤S403。
本例所述步骤S401，在内存中建立B-SCAN图像读取环形缓冲区，采用多线程方式批量读取待检测B-SCAN图像，采用先进先出策略输出待检测图像；
在内存中采用环形缓冲区（ringr buffer）解决磁盘访问延迟问题。环形缓冲区是一种高效的先进先出的循环缓冲区，可以提供对缓冲区的互斥访问。当一个数据元素被用掉后，其余数据元素不需要移动其存储位置。相反，一个非圆形缓冲区（例如一个普通的队列）在用掉一个数据元素后，其余数据元素需要向前搬移。因此，本例优选当环形缓冲区中缓存的图像数量小于预设阈值的时候，多线程批量读取待处理图像并做预处理后存放入至所述环形缓冲区，这样的设计相比每次推理时逐张读取处理的方式，能够大大提升其效率；所述预设阈值可以根据实际情况和需求进行调整和自定义设置，用于作为环形缓冲区中缓存图像数量的低限值。
本例所述步骤S402，为每个GPU加载一个Faster R-CNN神经网络模型，从上述缓冲区获取图像进行目标检测并输出结果；步骤S403，为每个GPU加载一个YOLO神经网络模型，从上述缓冲区获取图像进行目标检测并输出结果。
为降低参数量和每秒浮点计算Flops，降低显存占用，提升推理速度，所有的推理模型内的参数均需要转为半精度FP16并保存。推理时除加载半精度FP16类型的推理模型外，所有的输入张量Tensor均需要采用半精度FP16的数据类型进行运算。输出结果保存在独立的目录下，优选分别以*resnet.csv、*yolo.csv结尾，采用csv格式以逗号分隔分别输出图片文件名、目标类别、目标坐标（左上角x,y坐标、长、宽）和置信度，每个目标一行，多个目标重复多行。
本例所述步骤S5优选包括步骤S501至步骤S503。
本例所述步骤S501，获取两组推理结果，按照模型集成中的目标框加权融合方法进行目标检测结果融合。
传统的NMS和Soft-NMS方法会移除预测结果中的一部分预测框，而目标框加权融合WBF使用全部的预测框，通过进行组合来获得更加准确的预测框，从而实现精度的提升。
本例所述步骤S501按照模型集成中的目标框加权融合方法进行目标检测结果融合的过程如下：
步骤S5011，逐个将每个模型的每个预测框BBox添加到列表B，并按照置信度C倒序排列，并创建列表L和列表F；初始时，列表L和列表F为空列表；
步骤S5012，遍历列表B在列表F中查找匹配预测框BBox，优选的，同类别IoU > THR即判断为查找到匹配预测框BBox，THR为预设的匹配阈值，匹配阈值THR优选0.6，在实际应用中，还可以设置为其他的匹配阈值；
步骤S5013，若没找到匹配预测框BBox就将其添加到列表L和列表F；若找到了匹配的预测框BBox，则将在列表F中的匹配位置Fpos及其内容添加至列表L中，即将内容Bbox添加到L[Fpos]，L[Fpos]指的是列表L中的第Fpos个元素；
步骤S5014，列表L中的所有预测框BBox重新计算F[Fpos]的坐标和置信度，F[Fpos]指的是列表F中的第Fpos个元素；计算公式如下：
Figure DEST_PATH_IMAGE070
、
Figure DEST_PATH_IMAGE072
以及
Figure DEST_PATH_IMAGE074
，其中
Figure DEST_PATH_IMAGE076
是预测框BBox的数量，
Figure DEST_PATH_IMAGE078
是置信度，
Figure DEST_PATH_IMAGE080
和
Figure DEST_PATH_IMAGE082
是计算出的目标矩形框的坐标，
Figure DEST_PATH_IMAGE084
为第
Figure 465924DEST_PATH_IMAGE026
个内容Bbox的置信度；
步骤S5015，遍历结束后，通过公式
Figure DEST_PATH_IMAGE086
重新调整一次列表F中的置信度，
Figure DEST_PATH_IMAGE088
为模型数量，在本例中模型数量
Figure 890083DEST_PATH_IMAGE088
优选为2。
本例所述步骤S502，根据目标矩形框在雷达图像上对应的位置和大小反算（即反向计算）目标物理位置，所述目标物理位置包括其GPS坐标、桩号、长宽以及深度；步骤S503，将测线、测道、通道号、目标物理位置、目标类别、坐标框和置信度输出到JSON格式完成自动检测任务。
图8即为最终输出的目标检测效果图，由此图可以看到本例明显已经具备了在雷达B-SCAN图像上精确检出多个类别的地下隐患目标的能力。
本例还提供一种基于雷达图像和人工智能的道路地下隐患检测系统，采用了如上所述的基于雷达图像和人工智能的道路地下隐患检测方法，并包括：
探地雷达数据库管理模块，从三维探地雷达数据库中筛选含有地下隐患目标的B-SCAN样本图片，并进行浏览、索引、查看以及导出灰度图片的管理任务；
地下隐患目标检测数据集管理模块，对样本图片中的每个目标进行管理和目标检测标注，并进行数据增强处理后形成地下隐患目标检测数据集；
目标检测模型训练模块，通过所述地下隐患目标数据集分别训练两个R-CNN目标检测神经网络，得到两个具备空洞、脱空、管线和沙井对象检测能力的目标检测模型；
探地雷达地下隐患目标自动检测模块，读取三维探地雷达采集的各通道待检测B-SCAN图片，用两个所述目标检测模型分别进行多GPU的并行目标检测，并输出两组推理结果；
处理模块，通过模型集成将两组推理结果进行融合以输出多目标检测结果。
值得一体的是，本发明提出的采用Faster R-CNN目标检测神经网络和YOLO目标检测神经网络集成技术的地下隐患自动目标识别方法和系统，所述目标检测神经网络也称目标检测模型，在三维探地雷达城市地下道路隐患智能识别领域上并没有先例应用。
本例通过采用以真实地下隐患目标数据为主，补充标注形成的数据集，采用最新目标检测算法、两种目标检测神经网络的模型集成以及多GPU并行推理加速等方法，与传统技术方案相比，能够大幅度提升了抗干扰性和准确率，满足了工程应用需求；在此基础上，随着样本量的扩大和更新的目标检测算法引入，各项指标都能够得到进一步的提升，可扩展性能和升级性能都很强。
综上所述，本例针对性地引入了深度学习中的目标检测算法, 并针对工程应用要求通过数据增强、网络结构和模型结构融合等新技术，进而有效地提升目标检测召回率和精度，能够快速处理复杂的城市道路三维探地雷达数据，及时高效的在以单张B-SCAN雷达图像为单位的细粒度上检出多个异常体并给出目标信息，极大的提升了人工智能在地下隐患自动化探测领域的应用范围和智能化程度，为城市级周期性全覆盖式的城市道路定期体检提供了很好的基础，有效改变了地面坍塌防治的被动局面，本发明能够通过预防工作有效地将地面坍塌等隐患发生的可能性降到最低，抗干扰性强，准确性高，并且还满足可持续改进的要求。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims (10)

1.一种基于雷达图像和人工智能的道路地下隐患检测方法，其特征在于，包括以下步骤：
步骤S1，从三维探地雷达数据库中筛选含有地下隐患目标的B-SCAN样本图片；
步骤S2，对样本图片中的每个目标进行目标检测标注，并进行数据增强处理后形成地下隐患目标检测数据集；
步骤S3，通过所述地下隐患目标数据集分别训练两个R-CNN目标检测神经网络，得到两个具备空洞、脱空、管线和沙井对象检测能力的目标检测模型；
步骤S4，读取三维探地雷达采集的各通道待检测B-SCAN图片，用两个所述目标检测模型分别进行多GPU的并行目标检测，以生成两组推理结果；
步骤S5，通过模型集成将两组推理结果进行融合以输出多目标检测结果。
2.根据权利要求1所述的基于雷达图像和人工智能的道路地下隐患检测方法，其特征在于，所述步骤S1包括以下步骤：
步骤S101，对三维探地雷达数据库中的所有测线的B-SCAN数据，以测道为单位建立B-SCAN数据段；
步骤S102，按照已知的地下隐患目标位置从三维探地雷达数据库中查找对应B-SCAN数据段；
步骤S103，提取B-SCAN数据，该B-SCAN数据包括所述步骤S102获取的B-SCAN数据段以及测线前后各一个B-SCAN数据段所对应的所有测线的B-SCAN数据；
步骤S104，将步骤S103提取的B-SCAN数据转为灰度图像；
步骤S105，将所述灰度图像中所有含有空洞、脱空、管线和沙井这四类地下异常体的灰度图像筛选出来，以此作为样本。
3.根据权利要求1所述的基于雷达图像和人工智能的道路地下隐患检测方法，其特征在于，所述步骤S2包括以下步骤：
步骤S201，根据已知地下隐患对样本中所有的地下隐患目标进行标注，将图片上每个地下隐患目标通过包含该地下隐患目标的最小目标矩形框进行标注，并记录目标类别，所述地下隐患目标包括空洞、疏松、管道和沙井；
步骤S202，通过随机几何变换增强和随机混合类增强方法扩大样本数量，使空洞、疏松、管道和沙井的目标矩形框数量比接近1:1:1:1，以形成数据增强后的样本库；
步骤S203，按照K折交叉验证方法，将数据集平均分为K份，训练时每次用一份数据做测试集，用K-1份数据做训练集训练K个模型，挑选出性能最佳的模型后，用该模型的参数在全部数据再训练一次，以获得最佳模型，K为自然数；
步骤S204，输出两种格式的地下隐患目标检测数据集。
4.根据权利要求3所述的基于雷达图像和人工智能的道路地下隐患检测方法，其特征在于，所述步骤S201对地下隐患目标进行标注的过程中，若多个地下隐患目标互相重叠或遮挡时均对每一个地下隐患目标进行独立标注；目标矩形框贴合目标轮廓，与目标轮廓的最大间距不超过2像素，且不侵入目标体内部；对于小于10个像素的地下隐患目标则不进行标注。
5.根据权利要求1至4任意一项所述的基于雷达图像和人工智能的道路地下隐患检测方法，其特征在于，所述步骤S3包括以下子步骤：
步骤S301，基于Pytorch深度学习框架实现Faster R-CNN神经网络和YOLO神经网络；
步骤S302，在Faster R-CNN神经网络中采用50个卷积层的残差网络Resnet50作为骨干网络，并添加特征金字塔结构以增强小目标检测能力；
步骤S303，在YOLO神经网络中采用53个卷积层的跨阶段局部网络CSPDarknet53作为骨干网络，并添加路径聚合网络和空间金字塔池化结构以增强目标检测能力；
步骤S304，采用K-means聚类方法确定Anchor参数，以全部样本为目标计算Mean参数和STD参数，采用K-Fold交叉验证方法分别训练Faster R-CNN神经网络和YOLO神经网络，并分别保存最优解为PTH模型。
6.根据权利要求5所述的基于雷达图像和人工智能的道路地下隐患检测方法，其特征在于，所述步骤S304中，采用K-Fold交叉验证方法的训练时，先从最初的小学习率0.001开始，每个步骤增大一个步长，直到达到最初设置的学习率，然后再采用最初设置的学习率进行训练10次，并使用余弦学习率衰训练10次。
7.根据权利要求1至4任意一项所述的基于雷达图像和人工智能的道路地下隐患检测方法，其特征在于，所述步骤S4包括以下子步骤：
步骤S401，在内存中建立B-SCAN图像读取环形缓冲区，采用多线程方式批量读取待检测B-SCAN图像，采用先进先出策略输出待检测图像；
步骤S402，为每个GPU加载一个Faster R-CNN神经网络模型，从上述缓冲区获取图像进行目标检测并输出结果；
步骤S403，为每个GPU加载一个YOLO神经网络模型，从上述缓冲区获取图像进行目标检测并输出结果；
当环形缓冲区中缓存的图像数量小于预设阈值时，多线程批量读取待处理图像并做预处理后存放至所述环形缓冲区。
8.根据权利要求1至4任意一项所述的基于雷达图像和人工智能的道路地下隐患检测方法，其特征在于，所述步骤S5包括以下子步骤：
步骤S501，获取两组推理结果，按照模型集成中的目标框加权融合方法进行目标检测结果融合；,
步骤S502，根据目标矩形框在雷达图像上对应的位置和大小反算目标物理位置，包括GPS坐标、桩号、长宽以及深度；
步骤S503，将测线、测道、通道号、目标物理位置、目标类别、坐标框和置信度输出到JSON格式完成自动检测任务。
9.根据权利要求8所述的基于雷达图像和人工智能的道路地下隐患检测方法，其特征在于，所述步骤S501按照模型集成中的目标框加权融合方法进行目标检测结果融合的过程如下：
步骤S5011，逐个将每个模型的每个预测框BBox添加到列表B，并按照置信度C倒序排列，并创建列表L和列表F；
步骤S5012，遍历列表B在列表F中查找匹配预测框BBox；
步骤S5013，若没找到匹配预测框BBox就将其添加到列表L和列表F；若找到了匹配的预测框BBox，则将在列表F中的匹配位置Fpos及其内容添加至列表L中；
步骤S5014，列表L中的所有预测框BBox重新计算列表F的坐标和置信度；
步骤S5015，遍历结束后，重新调整一次列表F中的置信度。
10.一种基于雷达图像和人工智能的道路地下隐患检测系统，其特征在于，采用了如权利要求1至9任意一项所述的基于雷达图像和人工智能的道路地下隐患检测方法，并包括：
探地雷达数据库管理模块，从三维探地雷达数据库中筛选含有地下隐患目标的B-SCAN样本图片，并进行浏览、索引、查看以及导出灰度图片的管理任务；
地下隐患目标检测数据集管理模块，对样本图片中的每个目标进行管理和目标检测标注，并进行数据增强处理后形成地下隐患目标检测数据集；
目标检测模型训练模块，通过所述地下隐患目标数据集分别训练两个R-CNN目标检测神经网络，得到两个具备空洞、脱空、管线和沙井对象检测能力的目标检测模型；
探地雷达地下隐患目标自动检测模块，读取三维探地雷达采集的各通道待检测B-SCAN图片，用两个所述目标检测模型分别进行多GPU的并行目标检测，并输出两组推理结果；
处理模块，通过模型集成将两组推理结果进行融合以输出多目标检测结果。
CN202110438520.0A 2021-04-22 2021-04-22 基于雷达图像和人工智能的道路地下隐患检测方法和系统 Active CN113256562B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110438520.0A CN113256562B (zh) 2021-04-22 2021-04-22 基于雷达图像和人工智能的道路地下隐患检测方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110438520.0A CN113256562B (zh) 2021-04-22 2021-04-22 基于雷达图像和人工智能的道路地下隐患检测方法和系统

Publications (2)

Publication Number Publication Date
CN113256562A true CN113256562A (zh) 2021-08-13
CN113256562B CN113256562B (zh) 2021-12-14

Family

ID=77221510

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110438520.0A Active CN113256562B (zh) 2021-04-22 2021-04-22 基于雷达图像和人工智能的道路地下隐患检测方法和系统

Country Status (1)

Country Link
CN (1) CN113256562B (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113759337A (zh) * 2021-11-09 2021-12-07 深圳安德空间技术有限公司 针对地下空间数据的三维探地雷达实时解译方法及系统
CN114331890A (zh) * 2021-12-27 2022-04-12 中南大学 基于深度学习的探地雷达B-scan图像特征增强方法及系统
CN114694051A (zh) * 2022-03-16 2022-07-01 哈尔滨工业大学水资源国家工程研究中心有限公司 一种基于改进CapsNet网络的电磁法管道病害识别与定位方法
CN114821346A (zh) * 2022-06-28 2022-07-29 深圳安德空间技术有限公司 一种基于嵌入式平台的雷达图像智能识别方法和系统
CN115015911A (zh) * 2022-08-03 2022-09-06 深圳安德空间技术有限公司 一种基于雷达图像的导航地图制作和使用方法及系统
CN115097446A (zh) * 2022-06-21 2022-09-23 水利部交通运输部国家能源局南京水利科学研究院 一种堤坝结构隐患的快速诊断装置以及诊断方法
CN115496917A (zh) * 2022-11-01 2022-12-20 中南大学 一种GPR B-Scan图像中的多目标检测方法及装置
CN117092631A (zh) * 2023-10-19 2023-11-21 江苏翰林正川工程技术有限公司 一种输电通道施工机械目标定位与测距方法及系统
CN117784264A (zh) * 2024-02-28 2024-03-29 山东大学 基于探地雷达数据的输电塔间地下病害定位方法及系统

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170147905A1 (en) * 2015-11-25 2017-05-25 Baidu Usa Llc Systems and methods for end-to-end object detection
CN110245644A (zh) * 2019-06-22 2019-09-17 福州大学 一种基于深度学习的无人机图像输电杆塔倒伏识别的方法
CN111126202A (zh) * 2019-12-12 2020-05-08 天津大学 基于空洞特征金字塔网络的光学遥感图像目标检测方法
CN111191739A (zh) * 2020-01-09 2020-05-22 电子科技大学 一种基于注意力机制的墙面缺陷检测方法
CN111563557A (zh) * 2020-05-12 2020-08-21 山东科华电力技术有限公司 一种电力电缆隧道内目标检测的方法
CN112232392A (zh) * 2020-09-29 2021-01-15 深圳安德空间技术有限公司 一种用于三维探地雷达的数据解译和识别方法
CN112380952A (zh) * 2020-11-10 2021-02-19 广西大学 基于人工智能的电力设备红外图像实时检测及识别方法
CN112462346A (zh) * 2020-11-26 2021-03-09 西安交通大学 一种基于卷积神经网络的探地雷达路基病害目标检测方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170147905A1 (en) * 2015-11-25 2017-05-25 Baidu Usa Llc Systems and methods for end-to-end object detection
CN110245644A (zh) * 2019-06-22 2019-09-17 福州大学 一种基于深度学习的无人机图像输电杆塔倒伏识别的方法
CN111126202A (zh) * 2019-12-12 2020-05-08 天津大学 基于空洞特征金字塔网络的光学遥感图像目标检测方法
CN111191739A (zh) * 2020-01-09 2020-05-22 电子科技大学 一种基于注意力机制的墙面缺陷检测方法
CN111563557A (zh) * 2020-05-12 2020-08-21 山东科华电力技术有限公司 一种电力电缆隧道内目标检测的方法
CN112232392A (zh) * 2020-09-29 2021-01-15 深圳安德空间技术有限公司 一种用于三维探地雷达的数据解译和识别方法
CN112380952A (zh) * 2020-11-10 2021-02-19 广西大学 基于人工智能的电力设备红外图像实时检测及识别方法
CN112462346A (zh) * 2020-11-26 2021-03-09 西安交通大学 一种基于卷积神经网络的探地雷达路基病害目标检测方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
IVAN V. SAETCHNIKOV 等: "Object Detection for Unmanned Aerial Vehicle Camera via Convolutional Neural Networks", 《IEEE JOURNAL ON MINIATURIZATION FOR AIR AND SPACE SYSTEMS》 *
ROMAN SOLOVYEV 等: "Weighted boxes fusion: Ensembling boxes from different object detection models", 《HTTPS://ARXIV.ORG/ABS/1910.13302》 *
麻哲旭 等: "铁路路基病害智能检测方法", 《计算机工程与应用》 *

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113759337A (zh) * 2021-11-09 2021-12-07 深圳安德空间技术有限公司 针对地下空间数据的三维探地雷达实时解译方法及系统
CN114331890A (zh) * 2021-12-27 2022-04-12 中南大学 基于深度学习的探地雷达B-scan图像特征增强方法及系统
CN114331890B (zh) * 2021-12-27 2022-09-23 中南大学 基于深度学习的探地雷达B-scan图像特征增强方法及系统
CN114694051A (zh) * 2022-03-16 2022-07-01 哈尔滨工业大学水资源国家工程研究中心有限公司 一种基于改进CapsNet网络的电磁法管道病害识别与定位方法
CN115097446B (zh) * 2022-06-21 2023-07-21 水利部交通运输部国家能源局南京水利科学研究院 一种堤坝结构隐患的快速诊断装置以及诊断方法
CN115097446A (zh) * 2022-06-21 2022-09-23 水利部交通运输部国家能源局南京水利科学研究院 一种堤坝结构隐患的快速诊断装置以及诊断方法
CN114821346A (zh) * 2022-06-28 2022-07-29 深圳安德空间技术有限公司 一种基于嵌入式平台的雷达图像智能识别方法和系统
CN114821346B (zh) * 2022-06-28 2022-09-02 深圳安德空间技术有限公司 一种基于嵌入式平台的雷达图像智能识别方法和系统
CN115015911B (zh) * 2022-08-03 2022-10-25 深圳安德空间技术有限公司 一种基于雷达图像的导航地图制作和使用方法及系统
CN115015911A (zh) * 2022-08-03 2022-09-06 深圳安德空间技术有限公司 一种基于雷达图像的导航地图制作和使用方法及系统
CN115496917A (zh) * 2022-11-01 2022-12-20 中南大学 一种GPR B-Scan图像中的多目标检测方法及装置
CN115496917B (zh) * 2022-11-01 2023-09-26 中南大学 一种GPR B-Scan图像中的多目标检测方法及装置
CN117092631A (zh) * 2023-10-19 2023-11-21 江苏翰林正川工程技术有限公司 一种输电通道施工机械目标定位与测距方法及系统
CN117092631B (zh) * 2023-10-19 2024-04-19 江苏翰林正川工程技术有限公司 一种输电通道施工机械目标定位与测距方法及系统
CN117784264A (zh) * 2024-02-28 2024-03-29 山东大学 基于探地雷达数据的输电塔间地下病害定位方法及系统
CN117784264B (zh) * 2024-02-28 2024-05-24 山东大学 基于探地雷达数据的输电塔间地下病害定位方法及系统

Also Published As

Publication number Publication date
CN113256562B (zh) 2021-12-14

Similar Documents

Publication Publication Date Title
CN113256562B (zh) 基于雷达图像和人工智能的道路地下隐患检测方法和系统
Wu et al. Road pothole extraction and safety evaluation by integration of point cloud and images derived from mobile mapping sensors
Liu et al. Automatic recognition of pavement cracks from combined GPR B-scan and C-scan images using multiscale feature fusion deep neural networks
Tong et al. Innovative method for recognizing subgrade defects based on a convolutional neural network
Chen et al. Machine learning-based classification of rock discontinuity trace: SMOTE oversampling integrated with GBT ensemble learning
Liu et al. Novel YOLOv3 model with structure and hyperparameter optimization for detection of pavement concealed cracks in GPR images
US20050288863A1 (en) Method and system for utilizing string-length ratio in seismic analysis
CN105160309A (zh) 基于图像形态学分割及区域生长的三车道检测方法
CN103236063A (zh) 基于多尺度谱聚类及决策级融合的sar图像溢油检测方法
Ye et al. Automatic pixel‐level crack detection with multi‐scale feature fusion for slab tracks
Zong et al. A deep learning approach for urban underground objects detection from vehicle-borne ground penetrating radar data in real-time
CN116597365A (zh) 一种基于神经网络的地下病害体目标识别方法
Chen et al. A novel image-based approach for interactive characterization of rock fracture spacing in a tunnel face
Ma et al. Virtual analysis of urban road visibility using mobile laser scanning data and deep learning
CN116203559A (zh) 一种地下岩土病害体智能化识别预警系统及方法
CN116778329A (zh) 城市道路地下浅层病害检测方法、装置、设备及介质
Yue et al. Automatic recognition of defects behind railway tunnel linings in GPR images using transfer learning
Che et al. Vo-SmoG: A versatile, smooth segment-based ground filter for point clouds via multi-scale voxelization
Liu et al. Advances in automatic identification of road subsurface distress using ground penetrating radar: State of the art and future trends
Lincy et al. Road Pothole Detection System
CN112634447B (zh) 一种露头岩层分层方法、装置、设备及存储介质
CN114972906A (zh) 一种土压平衡盾构开挖面土质类型识别方法
JP2023152480A (ja) 地図データ生成方法、地図データ生成装置及び地図データ生成プログラム
Wang et al. Underground infrastructure detection and localization using deep learning enabled radargram inversion and vision based mapping
Guo et al. Research on tunnel lining image target recognition method based on YOLOv3

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant