CN115015911A - 一种基于雷达图像的导航地图制作和使用方法及系统 - Google Patents

一种基于雷达图像的导航地图制作和使用方法及系统 Download PDF

Info

Publication number
CN115015911A
CN115015911A CN202210924713.1A CN202210924713A CN115015911A CN 115015911 A CN115015911 A CN 115015911A CN 202210924713 A CN202210924713 A CN 202210924713A CN 115015911 A CN115015911 A CN 115015911A
Authority
CN
China
Prior art keywords
ground penetrating
navigation
radar
data
penetrating radar
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210924713.1A
Other languages
English (en)
Other versions
CN115015911B (zh
Inventor
蒋晓钧
秦竟波
吴俊峰
石玉柱
李炫昊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Ande Space Technology Co ltd
Original Assignee
Shenzhen Ande Space Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Ande Space Technology Co ltd filed Critical Shenzhen Ande Space Technology Co ltd
Priority to CN202210924713.1A priority Critical patent/CN115015911B/zh
Publication of CN115015911A publication Critical patent/CN115015911A/zh
Application granted granted Critical
Publication of CN115015911B publication Critical patent/CN115015911B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/005—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 with correlation of navigation data from several sources, e.g. map or contour matching
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/165—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
    • G01C21/1652—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments with ranging devices, e.g. LIDAR or RADAR
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Geometry (AREA)
  • Mathematical Physics (AREA)
  • Automation & Control Theory (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Multimedia (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar Systems Or Details Thereof (AREA)
  • Navigation (AREA)

Abstract

本发明提供一种基于雷达图像的导航地图制作和使用方法及系统，包括：步骤S1，同步采集多源定位传感器数据，并利用多源定位传感器数据制作特征点云里程计训练数据和特征图匹配里程计训练数据；步骤S2，基于特征点云里程计训练数据和特征图匹配里程计训练数据，分别实现探地雷达特征点云提取模型和探地雷达特征图匹配模型；步骤S3，采用因子图技术实现基于探地雷达图像的组合导航。本发明能够将探地雷达机器人自动引导到隐患位置，为长隧道、跨江通道以及大型地下交通设施等无GPS场景下的地下隐患探测作业所需要的高精度自主定位提供了一种新型的技术方案，能够大幅度降低作业成本，提高作业效率以及作业的可靠性能。

Description

一种基于雷达图像的导航地图制作和使用方法及系统
技术领域
本发明涉及一种导航地图的制作和使用方法，尤其涉及一种基于雷达图像的导航地图制作和使用方法，并进一步涉及采用了该基于雷达图像的导航地图制作和使用方法的系统。
背景技术
全球卫星导航系统GNSS，包括GPS全球定位系统和北斗卫星导航系统；实时差分技术RTK，实时差分技术RTK包括多频载波相位差分(厘米级)和单频载波相位差分(亚米级))；惯性导航技术(INS，IMU惯性导航单元)，如果能结合这三种导航方式可以获得分米级甚至厘米级定位精度，不足之处在于复杂环境下由于覆盖范围不足、信号弱以及多路径等问题造成无固定解甚至无法工作。并且，在长达数公里甚至数十公里的长隧道、跨江通道等无全球定位系统(GNSS)场景下，常用的定位方法如GPS/RTK无法使用，且视觉特征匮乏，即使加入激光雷达、惯导、视觉导航、WIFI定位等方法均存在累计误差大、需要第三方辅助系统配合等不利因素，难以满足定位需求，因此，复杂环境下探地雷达作业时的高精度定位问题仍然是长期困扰工程作业实际的一个难题，常规的改进方法由于各子系统特性限制改进余地有限，如常规民用惯性导航累计误差可达里程的0.5~1%左右，高精度的惯性导航过于昂贵无法使用。激光雷达(Lidar)和视觉定位方案在此场景下也因为外界特征不足而难以获得满意的应用效果。
发明内容
本发明所要解决的技术问题是需要提供一种在无GNSS场景下，基于雷达图像的导航地图制作和使用方法及系统，进而实现导航地图的制作和融合定位，具有充分挖掘现有探地雷达设备潜力、无需其它外界系统配合且鲁棒性强等优点。
对此，本发明提供一种基于雷达图像的导航地图制作和使用方法，包括以下步骤：
步骤S1，同步采集多源定位传感器数据，并利用多源定位传感器数据制作特征点云里程计训练数据和特征图匹配里程计训练数据；
步骤S2，基于特征点云里程计训练数据和特征图匹配里程计训练数据，分别实现探地雷达特征点云提取模型和探地雷达特征图匹配模型；
步骤S3，采用因子图技术实现基于探地雷达图像的组合导航。
本发明的进一步改进在于，所述步骤S1包括以下步骤：
步骤S101，同步采集多源定位传感器数据，所述多源定位传感器数据包括探地雷达数据、组合式惯性导航数据以及编码器数据；
步骤S102，将所有通道数据组合起来沿前进方向形成一个雷达数据立方体，通过多次扫描和对齐获取测线雷达数据立方体，并进行预处理，所述预处理包括且不限于直达波过滤处理以及面层跟踪与消除的预处理；
步骤S103，制作特征点云里程计训练数据；
步骤S104，制作特征图匹配里程计训练数据。
本发明的进一步改进在于，所述步骤S101中，探地雷达设置为随编码器距离触发模式，按照预先设置的固定间隔触发并采集全部通道数据，以此作为探地雷达数据；实时差分和惯性导航采用组合式设备，按照同步触发模式与探地雷达同步触发并采集定位数据，采集的数据与测距轮数据对齐后统一存储，采集的数据集为
Figure 29675DEST_PATH_IMAGE001
，其中，n为总道数，
Figure 415657DEST_PATH_IMAGE002
为实时差分和惯性导航的组合导航输出的位姿数据，TRACE n 为各通道同步采集的多通道雷达数据矩阵，每个TRACE由m个A-SCAN记录组成，m为雷达通道数，A-SCAN为N个采样点对应的振幅数组，N为单次扫描中的采样数目(SAMPLES)；W n 为测距轮触发记录，所述测距轮触发记录包括触发次数、距离以及触发时间；Wn、
Figure 913503DEST_PATH_IMAGE002
、Trace n 组成同步采集并对齐的数据集。
本发明的进一步改进在于，所述步骤S103包括以下子步骤：
步骤S1031，通过地下目标检测模型对雷达数据进行扫描并自动标注出特征明显的目标作为导航点，特征明显的目标包括地下管廊、管线、沙井、空洞、脱空以及富水等异常体；
步骤S1032，对检测出的目标按照深度学习中实例分割的要求进行审核及轮廓标注，其中，对检测出的目标的一次波、多次波以及绕射波的轮廓进行全部标注；
步骤S1033，将标注好的轮廓按照预先设置的格式进行保存；
所述步骤S104包括以下子步骤：
步骤S1041，通过公式
Figure 574291DEST_PATH_IMAGE003
遍历数据集
Figure 857505DEST_PATH_IMAGE004
的探地雷达子集
Figure 883230DEST_PATH_IMAGE005
以固定间隔依次提取两帧数据GPR1、GPR2，其中，
Figure 619105DEST_PATH_IMAGE006
为当前道数的编号，
Figure 83584DEST_PATH_IMAGE007
为道数步长，
Figure 969107DEST_PATH_IMAGE008
为道数宽度，以此形成两幅维度为16×512×512，行进方向相互间重叠256的探地雷达3D体素；
步骤S1042，将探地雷达3D体素与数据集
Figure 165733DEST_PATH_IMAGE004
中的对应实时差分和惯性导航的组合数据以预先设置的格式进行保存。
本发明的进一步改进在于，所述步骤S2中，实现探地雷达特征点云提取模型的过程包括以下子步骤：
步骤S211，基于深度学习的全通道2D B-SCAN及C-SCAN实例分割和结果聚合的方式生成3D感兴趣区域，将异常体从背景中精确的分割出来；
步骤S212，对分割出来的图像进行轮廓处理；
步骤S213，将获得的各轮廓线按常规逐点转换为带强度的PCL格式3D点云，用于创建基于点云的导航控制点。
本发明的进一步改进在于，所述步骤S212包括以下子步骤：
步骤S2121，采用基于边界跟踪的拓扑结构分析算法从实例分割输出的Mask二值图像中提取出目标外围轮廓；
步骤S2122，通过计算轮廓线内面积是否大于指定阈值来进行判断，将轮廓线内面积小于指定阈值的小目标进行清除；
步骤S2123，通过凸包算法查找包含原轮廓点的最小凸多边形来代替直接使用原来的轮廓点集，以进行轮廓曲线平滑处理。
本发明的进一步改进在于，所述步骤S2中，实现探地雷达特征图匹配模型的过程包括以下子步骤：
步骤S221，搭建神经网络，通过求解
Figure 388904DEST_PATH_IMAGE009
获取重叠序列雷达图像
Figure 391495DEST_PATH_IMAGE010
与对应的位姿
Figure 383722DEST_PATH_IMAGE011
之间的关联，其中
Figure 266096DEST_PATH_IMAGE012
为神经网络参数，
Figure 773301DEST_PATH_IMAGE013
为重叠序列雷达图像GPR t 对应的位姿Pose t 随时间t变化的条件概率，
Figure 517266DEST_PATH_IMAGE014
为最优的神经网络参数，
Figure 364000DEST_PATH_IMAGE015
表示获取当条件概率
Figure 168007DEST_PATH_IMAGE016
取得极大值且自变量取值为神经网络参数
Figure 162508DEST_PATH_IMAGE017
的函数；步骤S222，通过马氏距离来计算真值和网络预测值
Figure 460897DEST_PATH_IMAGE018
之间的差，并利用Huber loss损失函数进行回归来训练探地雷达特征图匹配模型的深度学习；其中，
Figure 630978DEST_PATH_IMAGE019
，
Figure 871467DEST_PATH_IMAGE011
和
Figure 540214DEST_PATH_IMAGE020
分别为t时刻和t-k时刻的序列雷达图像位姿，
Figure 891561DEST_PATH_IMAGE018
为特征图传递给下游回归网络的输出预测值， k为两帧重叠序列图像的时间间隔。
本发明的进一步改进在于，所述步骤S2中，所述探地雷达特征点云提取模型的特征提取网络中，采用yolov5s的骨干网络CSPDarknet53，并通过幻影卷积(GhostConv)模块和幻影瓶颈(GhostBottleneck)模块取代对应的常规卷积和CSP Bottleneck模块成为yolov5s-ghost，从而在不影响模型的性能的前提下有效降低了对计算资源的需求。其中，幻影卷积模块优选指的是华为Ghostnet提出的幻影卷积(GhostConv)模块，幻影瓶颈模块优选指的是华为Ghostnet提出的幻影瓶颈(GhostBottleneck)模块模块，CSP Bottleneck模块指的是yolov5原生的跨阶段局部融合瓶颈(CSP Bottleneck)模块。
本发明的进一步改进在于，所述步骤S3中，通过公式
Figure 509624DEST_PATH_IMAGE021
实现探地雷达的组合导航，其中，
Figure 921014DEST_PATH_IMAGE022
为加入探地雷达特征点云里程计和探地雷达特征图里程计之后的后验概率，
Figure 562211DEST_PATH_IMAGE023
为非线性最小二乘求解函数，gpr_c、gpr_f和imu分别对应基于探地雷达特征点云的探地雷达里程计、基于特征图的探地雷达里程计和基于惯性导航的里程计；
Figure 199472DEST_PATH_IMAGE024
、
Figure 140883DEST_PATH_IMAGE025
和
Figure 723174DEST_PATH_IMAGE026
分别为因子图中对应基于探地雷达特征点云、基于探地雷达特征图和基于惯性导航的里程计中两相邻状态节点的相对位姿变化，
Figure 913984DEST_PATH_IMAGE027
、
Figure 607134DEST_PATH_IMAGE028
和
Figure 386740DEST_PATH_IMAGE029
分别为基于探地雷达特征点云的里程计输出、基于探地雷达特征图的里程计输出和基于惯性导航的里程计测量输出。
本发明还提供一种基于雷达图像的导航地图制作和使用系统，采用了如上所述的基于雷达图像的导航地图制作和使用方法，并包括组合导航装置、三维探地雷达和编码器，所述组合导航装置、三维探地雷达和编码器安装于探测车上并校准，建立各坐标系变换矩阵；其中，所述组合导航装置为能提供惯性导航、全球定位导航以及里程计组合导航的设备；
在采集时，从实时差分的位置开始，以惯性导航单元为核心，全覆盖采集地下空间数据创建导航地图，在实时差分有效区以常规实时差分里程计为主修正惯性导航单元，在特征图里程计修正区通过所述探地雷达特征图匹配模型提取和匹配特征图对惯性导航单元进行修正，在特征点云里程计修正区通过所述探地雷达特征点云提取模型提取地下空间特征点云作为导航点并进行点云匹配定位修正惯性导航单元；在无实时差分的情况下通过连续修正惯性导航单元输出以获得导航地图；
在复测验证时，与采集一致，从实时差分的位置开始初始校准，然后按照因子图导航模式根据各子系统精度动态加入和解除各因子，完成复测验证导航任务。
与现有技术相比，本发明的有益效果在于：充分利用了地下隐患探测作业中探地雷达可以获取高密度地下空间探测数据的优点，在探测作业时就通过探地雷达数据构造高精度地下空间地图，并结合惯性导航实现高精度隐患定位和导航目的，可在复测验证阶段将探地雷达机器人自动引导到隐患位置；为长隧道、跨江通道以及大型地下交通设施等无GPS场景下的地下隐患探测作业所需要的高精度自主定位提供了一种新型定位和导航方式，能够大幅度降低作业成本，提高作业效率以及作业的可靠性能。本发明具有充分挖掘现有探地雷达设备潜力、无需其它外界系统配合且鲁棒性强等优点。
附图说明
图1是本发明一种实施例的工作流程结构示意图；
图2是本发明一种实施例的系统原理示意图；
图3是本发明一种实施例在步骤S102对训练数据制作前后的对比示意图；
图4是本发明一种实施例实现探地雷达特征点云提取模型的原理示意图；
图5是本发明一种实施例实现探地雷达特征图匹配模型的神经网络框图；
图6是本发明一种实施例的步骤S3的算法框图；
图7是本发明另一种实施例的作业示意图。
具体实施方式
下面结合附图，对本发明的较优的实施例作进一步的详细说明。
RTK（实时差分）+惯性导航组合导航在无RTK信号时的精度，超过10s时已经无法满足探地雷达机器人定位需求：
RTK信号中断时间(秒) 水平位置精度(米) 垂直位置精度(米)
0s 0.02 0.03
10s 0.35 0.15
60s 4.00 1.50
探地雷达作业时使用的三维探地雷达能高速采集多维数据，典型车载产品通常可以60Km/h以上速度按照道间距7.5cm采集幅宽1.6m、16通道以上高密度地下空间数据，分辨率可达5-10cm，按照全覆盖的普查作业要求可以快速形成覆盖所有车道的地下空间三维数据立方体。这些数据配合编码器等设备采集的数据可以构成高精度地下空间地图，并可以作为辅助导航定位使用，为自动驾驶等应用提供了一种新的定位手段。
探地雷达在复测验证时需要在道路中间围绕异常点反复蛇形覆盖作业具备一定危险性，引入无人驾驶自动机器人是一种可能的方案，园区、大坝、电站和油库等特殊复杂场景下 也有强烈的自动化作业需求。
近年来，基于GNSS(GPS/RTK)、Lidar（激光雷达）、IMU、里程计(测距轮)等方式在地下空间探测作业中得到了广泛的应用，基于探地雷达子系统和自动导引小车( AGV:Automatic Guided Vehicle)构建的探地雷达机器人可以自动完成复测验证作业，使得系统的安全性、适应性和鲁棒性得到了较大的提升，可以进一步增强地下空间探测行业的智能化水平。
为解决隧道、恶劣天气以及城市复杂环境等场景下无全球定位信号、视频/激光雷达特征不足导致常规导航方案不能使用的问题，本申请将探地雷达信号作为定位子系统之一，综合使用惯性导航、探地雷达以及编码器(里程计)等定位手段，自主提供持续的导航定位信息，充分发挥雷达数据密度大精度高、惯导/里程数据在地下特征较少的部分可以持续工作的特点，满足探地雷达(GPR)探测和复测验证作业特别是无人驾驶复测雷达车对导航定位的需求。
如图2所示，本申请采用在自动引导小车领域广泛应用的基于因子图的SLAM方案，通过融合采用基于探地雷达、惯导以及RTK（实时差分）、激光雷达等多源传感器融合的组合定位导航方式，提高系统自动作业时的定位精度，能够在包含环境退化(包括恶劣天气、隧道以及高大建筑物遮挡反射)、传统感知障碍(RTK/激光雷达无法精确定位)的路段情况下自动切换到以惯导为核心工作模式，分别利用基于特征点云匹配的探地雷达特征点云里程计和基于特征图匹配的探地雷达特征图里程计两种里程计对惯导进行修正以保持精度的高精度定位导航模式，完成探地雷达作业任务，提升了作业系统的智能化水平和环境适应能力。
具体的，如图1所示，本实施例提供一种基于雷达图像的导航地图制作和使用方法，包括以下步骤：
步骤S1，同步采集多源定位传感器数据，并利用多源定位传感器数据制作特征点云里程计训练数据和特征图匹配里程计训练数据；
步骤S2，基于特征点云里程计训练数据和特征图匹配里程计训练数据，分别实现探地雷达特征点云提取模型和探地雷达特征图匹配模型；
步骤S3，采用因子图技术实现基于探地雷达图像的组合导航。
本实施例所述步骤S1包括以下步骤：
步骤S101，同步采集多源定位传感器数据，所述多源定位传感器数据包括探地雷达数据、组合式惯性导航数据以及编码器数据；
步骤S102，将所有通道数据组合起来沿前进方向形成一个雷达数据立方体，通过多次扫描和对齐获取测线雷达数据立方体，并进行直达波过滤处理以及面层跟踪与消除等常规预处理；
步骤S103，制作特征点云里程计训练数据；
步骤S104，制作特征图匹配里程计训练数据。
本实施例所述步骤S101中，在RTK信号良好路段，以厘米级多频载波相位差分RTK为位姿真值（Ground Truth），同步采集探地雷达、惯性导航（IMU）以及编码器（里程计）数据。其中，探地雷达设置为随编码器距离触发模式，按照预先设置的固定间隔触发并采集全部通道数据，以此作为探地雷达数据；实时差分（RTK）和惯性导航(IMU)采用组合式设备，按照同步触发模式与探地雷达同步触发并采集定位数据，采集的数据与测距轮数据对齐后统一存储，采集的数据集为
Figure 874353DEST_PATH_IMAGE001
，其中，n为总道数Trace，
Figure 755721DEST_PATH_IMAGE002
为实时差分和惯性导航的组合导航（RTK+IMU）输出的位姿数据，位姿数据的格式优选为GPCHC格式，TRACE n 为各通道同步采集的多通道雷达数据矩阵，每个TRACE由m个A-SCAN记录组成，m为雷达通道数，A-SCAN为N个采样点对应的振幅数组，N为单次扫描中的采样数目(SAMPLES)；W n 为测距轮触发记录，所述测距轮触发记录包括触发次数、距离以及触发时间；Wn、
Figure 49299DEST_PATH_IMAGE002
、Trace n 组成同步采集并对齐的数据集。
本实施例步骤S102用于对训练数据进行制作。所有通道数据组合起来沿前进方向形成一个雷达数据立方体。即
Figure 434144DEST_PATH_IMAGE030
，其中
Figure 843391DEST_PATH_IMAGE031
为一条测线(Swath)的雷达数据立方体,
Figure 8793DEST_PATH_IMAGE032
为三维探地雷达通道号，
Figure 43746DEST_PATH_IMAGE033
为各通道对应A-SCAN数据。
Figure 548676DEST_PATH_IMAGE034
为对应通道号的由各Trace的A-SCAN数据按照常规进行标准的数据处理后处理后转换到图像域形成的二维B-SCAN图像。
多次扫描可以对齐为更大的立方体如下：
Figure 378092DEST_PATH_IMAGE035
；其中，
Figure 30790DEST_PATH_IMAGE036
为多测线雷达数据立方体，Swath为测线编号，
Figure 118701DEST_PATH_IMAGE037
为第n条测线对应的雷达数据立方体。
以16通道雷达为例，Δd触发= 5cm，表示前进方向每5cm触发一次；深度方向转换为512像素点，总测线长度为1000m, 则一次扫描可以形成一个维度为16×512×20000(宽×深×长) 的图像域雷达数据立方体，长度方向每一点对应一组定位信息，定位信息包括RTK、惯性导航以及里程计，可以通过对起点的相对距离计算得到。
作为定位系统，沥青层和面层等浅表层连续重复目标对定位作用不大甚至有副作用，故通过直达波过滤、面层跟踪与消除等技术将这些因素消除。图3所示的左边为因素切除前的示意图，右边为因素切除后的示意图。
本实施例所述步骤S103用于实现特征点云里程计训练数据制作；所述步骤S103优选包括以下子步骤：
步骤S1031，通过地下目标检测模型对雷达数据进行扫描并自动标注出特征明显的目标作为导航点，特征明显的目标包括地下管廊、管线、沙井、空洞、脱空以及富水等常见异常体；所述地下目标检测模型可以直接采用现有的地下目标检测模型；
步骤S1032，对检测出的目标按照深度学习中实例分割的要求进行审核及轮廓标注，其中，对检测出的目标的一次波、多次波以及绕射波的轮廓进行全部标注；
步骤S1033，将标注好的轮廓按照预先设置的格式进行保存；所述预先设置的格式可以根据实际情况和需求进行调整，默认为coco格式。
本实施例所述步骤S104用于实现特征图匹配里程计训练数据制作；所述步骤S104优选包括以下子步骤：
步骤S1041，通过公式
Figure 212559DEST_PATH_IMAGE003
遍历数据集
Figure 275193DEST_PATH_IMAGE004
的探地雷达子集
Figure 352870DEST_PATH_IMAGE005
以固定间隔依次提取两帧数据GPR1、GPR2，其中，
Figure 729625DEST_PATH_IMAGE006
为当前道数的编号；
Figure 956950DEST_PATH_IMAGE007
为道数步长，优选为256；
Figure 190486DEST_PATH_IMAGE008
为道数宽度，优选为512；以此形成两幅维度为16×512×512，行进方向相互间重叠256的探地雷达3D体素；所述固定间隔可以根据实际情况进行自定义设置和调整，所述探地雷达3D体素也称重叠序列图像，推理时按照同样方式即可形成重叠序列图像；
步骤S1042，将探地雷达3D体素与数据集
Figure 755459DEST_PATH_IMAGE038
中的对应实时差分和惯性导航的组合数据（RTK-IMU数据）以预先设置的格式进行保存，比如通过coco 格式进行保存。其中，探地雷达3D体素默认以多帧tiff格式保存，轮廓标注信息默认以json点形式保存。
本实施例所述步骤S2用于实现基于特征点云和特征图匹配的探地雷达里程计，需要用到两种探地雷达里程计，即基于特征点云和特征图匹配的探地雷达里程计，分别对应两种基于深度学习的辅助定位模型，即探地雷达特征点云提取和探地雷达特征图匹配模型。
本实施例所述步骤S2实现探地雷达特征点云提取模型的过程包括以下子步骤：
步骤S211，基于深度学习的全通道2D B-SCAN及C-SCAN实例分割和结果聚合的方式生成3D感兴趣区域，将异常体从背景中精确的分割出来；
步骤S212，对分割出来的图像进行轮廓处理；
步骤S213，将获得的各轮廓线按常规逐点转换为带强度的PCL格式3D点云，用于创建基于点云的导航控制点。
本实施例所述步骤S211用于实现所述探地雷达特征点云提取模型。现有技术中，基于激光点云的导航地图制作与应用已经比较成熟。一般说来点云地图的精度依赖于高质量的点云特征，但由于探地雷达的信噪比远低于激光雷达等高精度传感设备，存在大量的噪声，传统的图像处理采用的各类阈值分割由于地下空间各类干扰信号的存在效果并不理想，只能作为辅助手段。而基于2D图像做对比的方案，如直接比较B-SCAN间欧式距离/余弦距离等算法、以及改进的基于从B-SCAN中利用深度神经网络提取的特征进行匹配的算法，由于2D图像自身信息量较少，常常无法达到精确匹配的目的。
基于3D卷积神经网络的实例分割可以高精度的将地下异常体从背景中分离，然而高昂的数据标注及三维卷积操作对人力和计算资源的巨大消耗导致此方案难以实行。因此，本实施例采用简化的基于深度学习的全通道2D B-SCAN及C-SCAN实例分割和结果聚合的方式替代3D实例分割生成3D ROI（region of interest），将异常体从背景中精确的分割出来，并通过后处理转换为用于点云定位算法的3D地下特征点云，其原理图如图4所示。
在探地雷达图像中，B-SCAN（xy轴）的目标特征最为明显，C-SCAN(xz轴)有助于确定一些管线等目标的轮廓，而D-SCAN（yz轴）目标特征较为不明显，为节约资源，本实施例优选采用B-SCAN和C-SCAN检测。
针对B-SCAN/C-SCAN中目标特征复杂程度不同的特点，Mask R-CNN分别采用Resnet50/18骨干网，并添加FPN以及采用了SyncBN和ROIAlignV2结构增强的实例分割头(Mask head)进行实例分割，该网络以Mask的形式逐像素点输出实例分割结果，需要通过对Mask进行后处理获得最终的点云。
本实施例所述步骤S212用于实现轮廓处理；所述步骤S212包括以下子步骤：
步骤S2121，采用基于边界跟踪的拓扑结构分析算法(Suzuki, S. and Abe, K.,Topological Structural Analysis of Digitized Binary Images by BorderFollowing.CVGIP 30 1, pp 32-46 (1985))从实例分割输出的Mask二值图像中提取出目标外围轮廓；值得说明的是，本实施例只提取最外层轮廓，并且采用Teh-Chin 链近似方法进行轮廓近似；
步骤S2122，通过计算轮廓线内面积是否大于指定阈值来进行判断，将轮廓线内面积小于指定阈值的小目标进行清除，进而实现清除小目标以最大限度去掉干扰；本实施例所述指定阈值可以根据实际情况进行自定义设置和调整，优选为宽度大于20像素，总面积大于20×10像素，否则判断为小于指定阈值，进行清除；
步骤S2123，通过凸包算法查找包含原轮廓点的最小凸多边形来代替直接使用原来的轮廓点集，以进行轮廓曲线平滑处理。本实施例这样设计的原因在于模型输出的Mask经常带有大量的细小的随机锯齿结构，转换为点云后不但增大了数据量而且客观上形成了噪点影响点云匹配精度，通过轮廓曲线平滑处理进而旨在达到平滑轮廓曲线降低噪声的目的。
轮廓处理后，分别将获得的各轮廓线按常规逐点转换为带强度(Intensity)的PCL格式3D点云用于创建基于点云的导航控制点。对于上述3D ROI无输出的路段，需要通过常规算法制作点云用于辅助定位。本实施例通过采用多阈值OSTU算法进行分割，并按照亮度Intensity阈值进一步过滤噪点，通过聚类和降采样等处理得到目标点云参与点云建图以及定位。
在实现探地雷达特征图匹配模型的过程中，在某些路段地下空间可能存在特征稀疏的情况，点云定位难以提供必要的精度，需要直接对惯导进行修正来保证必要的精度。传统的直接通过单张B-SCAN图像或扩展的B-SCAN特征图像计算欧式距离等算法进行匹配定位的方法在某些场景下鲁棒性不强，本例通过建立重叠序列雷达图像与对应的位姿之间的关联，连续计算定位损失进行回归来训练深度学习模型，达到对惯导数据进行修正的目的，详细描述如下：重叠序列雷达图像由雷达数据GPRt=(GPR1,…GPRt)组成，其中各元素按照固定间隔（宽度width=512，步长stride=256， 两帧间重叠256）依次
Figure 670326DEST_PATH_IMAGE039
中获得。
序列雷达图像对应的位姿Poset = (Pose1,…Poset)，其中Pose = (p, v, q)， p、v、q分别为为位置，速度，角速度分量。则问题可以化为计算重叠序列雷达图像GPRt的位姿Poset随 时间t变化的条件概率问题：
Figure 801093DEST_PATH_IMAGE040
采用利用神经网络来拟合p，则转化为寻找最优的神经网络参数θ*问题：
Figure 408791DEST_PATH_IMAGE041
。
利用均方误差来作为损失函数（mean-square error, MSE loss），其中N为总样本数，
Figure 710329DEST_PATH_IMAGE042
为马氏距离(Mahalanobis distance)二范数，
Figure 428886DEST_PATH_IMAGE011
和
Figure 617422DEST_PATH_IMAGE043
分别为位姿真值和网络预测值，计算公式为：
Figure 396022DEST_PATH_IMAGE044
。
因此，本实施例所述步骤S2中，实现探地雷达特征图匹配模型的过程包括以下子步骤：
步骤S221，搭建神经网络，通过求解
Figure 732325DEST_PATH_IMAGE009
获取重叠序列雷达图像
Figure 5306DEST_PATH_IMAGE010
与对应的位姿
Figure 48348DEST_PATH_IMAGE011
之间的关联，其中
Figure 997850DEST_PATH_IMAGE012
为神经网络参数，为重叠序列雷达图像GPR t 对应的位姿Pose t 随时间t变化的条件概率，
Figure 759132DEST_PATH_IMAGE014
为最优的神经网络参数，
Figure 881809DEST_PATH_IMAGE015
表示获取当条件概率
Figure 28626DEST_PATH_IMAGE016
取得极大值且自变量取值为神经网络参数
Figure 149028DEST_PATH_IMAGE017
的值的函数；
步骤S222，通过马氏距离来计算真值
Figure 459924DEST_PATH_IMAGE045
和网络预测值
Figure 323975DEST_PATH_IMAGE018
之间的差，并利用Huber loss损失函数进行回归来训练探地雷达特征图匹配模型的深度学习；其中，
Figure 76030DEST_PATH_IMAGE019
，
Figure 380716DEST_PATH_IMAGE011
和
Figure 116591DEST_PATH_IMAGE020
分别为t时刻和t-k时刻的序列雷达图像位姿，
Figure 581070DEST_PATH_IMAGE018
为特征图传递给下游回归网络的输出预测值， k为两帧重叠序列图像的时间间隔。
在本实施例步骤S222所使用的神经网络框图如图5所示，骨干网输出的特征图的个数为n。利用皮尔森积矩(Pearson product-moment )来计算特征图对[Pt-k,1, Pt,1],[Pt-k,n, Pt,n]之间的相关系数并传递给下游回归网络输出预测值
Figure 187632DEST_PATH_IMAGE046
)。
t时刻和t-k时刻的相对位姿变化值利用公式
Figure 915417DEST_PATH_IMAGE019
计算而得。利用马氏距离(Mahalanobis distance)来计算真值
Figure 935325DEST_PATH_IMAGE045
和网络预测值
Figure 390446DEST_PATH_IMAGE018
之间的差，并利用Huber loss损失函数进行回归。
值得说明的是，为加速特征提取，本实施例所述步骤S2中，所述探地雷达特征点云提取模型的特征提取网络中，采用yolov5s的骨干网络CSPDarknet53，并借鉴华为Ghostnet(GhostNet: More Features from Cheap Operations. Han, Kai and Wang, Yunhe andTian, Qi and Guo, Jianyuan and Xu, Chunjing and Xu, Chang. CVPR 2020)用幻影卷积(GhostConv)模块和幻影瓶颈(GhostBottleneck)模块取代了对应的常规卷积和CSPBottleneck模块成为yolov5s-ghost，从而在不影响模型的性能的前提下有效降低了对计算资源的需求。
本实施例所述步骤S3用于实现基于因子图的探地雷达机器人组合应用。本实施例提供基于因子图的一个实施例：基于超级里程计的融合定位SLAM。相对于传统的基于卡尔曼滤波和粒子群优化等导航方式，基于因子图(Factor Graph)优化的多传感器融合定位与导航可以实现各感知子系统的动态加入与退出，特别是以IMU为核心的超级里程计算法（Super Odometry: IMU-centric LiDAR-Visual-Inertial Estimator for ChallengingEnvironments）提供了一种简单而有效的方法来融合多个传感器, 可在极端和感知挑战的环境中实现准确的实时状态估计。本实施例在此算法基础上，通过加入基于探地雷达特征点云的和基于特征图的GPR里程计来构成SLAM算法完成探地雷达机器人导航任务。
高斯噪声下的因子图组合导航可以转化为求解各参数最大后验概率(Maximum aposteriori)问题：
Figure 382673DEST_PATH_IMAGE047
；其中，i为因子图组合导航中第i个因子， 是根据状态x给出预测值的量测函数，
Figure 281359DEST_PATH_IMAGE048
是实际测量值，
Figure 726247DEST_PATH_IMAGE049
为马氏距离(Mahalanobis distance)二范数。
加入GPR特征点云里程计和GPR特征图里程计后，本实施例所述步骤S3中，通过公式
Figure 486524DEST_PATH_IMAGE021
实现探地雷达的组合导航，其中，
Figure 802098DEST_PATH_IMAGE022
为加入探地雷达特征点云里程计和探地雷达特征图里程计之后的后验概率，
Figure 606106DEST_PATH_IMAGE023
为非线性最小二乘求解函数，gpr_c、gpr_f和imu分别对应基于探地雷达特征点云的探地雷达里程计、基于特征图的探地雷达里程计和基于惯性导航的里程计；
Figure 53137DEST_PATH_IMAGE024
、
Figure 600793DEST_PATH_IMAGE025
和
Figure 833191DEST_PATH_IMAGE026
分别为因子图中对应基于探地雷达特征点云、基于探地雷达特征图和基于惯性导航的里程计中两相邻状态节点的相对位姿变化，
Figure 808101DEST_PATH_IMAGE027
、
Figure 240963DEST_PATH_IMAGE028
和
Figure 61151DEST_PATH_IMAGE029
分别为基于探地雷达特征点云的里程计输出、基于探地雷达特征图的里程计输出和基于惯性导航的里程计测量输出，算法框图如图6所示。
在图6中，惯性导航里程计按照预积分因子连续修正位姿，并利用GPR特征点云里程计和GPR特征图里程计对惯导累计误差进行修订，同时在各里程计约束下的惯性导航里程计也将预测值输出给各里程计。各节点可以根据实际情况动态调整，由惯性导航里程计输出最终结果。
在本申请的另一种实施例中，探地雷达机器人由安装在车辆前部的探地雷达以及辅助定位及视频等相关设备组成，作业示意图如7所示。
本实施例还提供一种基于雷达图像的导航地图制作和使用系统，采用了如上所述的基于雷达图像的导航地图制作和使用方法，并包括组合导航装置、三维探地雷达和编码器，所述组合导航装置、三维探地雷达和编码器安装于探测车上并校准，建立各坐标系变换矩阵；其中，所述组合导航装置为能提供惯性导航、全球定位导航以及里程计组合导航的设备；
在采集时，从有实时差分RTK精确解的位置开始，以惯性导航单元IMU为核心，全覆盖采集地下空间数据创建导航地图，创建导航地图优选基于SLAM，在实时差分有效区以常规实时差分里程计为主修正惯性导航单元，在特征图里程计修正区通过所述探地雷达特征图匹配模型提取和匹配特征图对惯性导航单元进行修正，在特征点云里程计修正区通过所述探地雷达特征点云提取模型提取地下空间特征点云作为导航点并进行点云匹配定位修正惯性导航单元；在无实时差分的情况下通过连续修正惯性导航单元输出以获得高精度的导航地图；
在复测验证时，与采集一致，从有实时差分RTK的位置开始初始校准，然后按照因子图导航模式根据各子系统精度动态加入和解除各因子，完成复测验证导航任务。
综上所述，本实施例充分利用了地下隐患探测作业中探地雷达可以获取高密度地下空间探测数据的优点，在探测作业时就通过探地雷达数据构造高精度地下空间地图，并结合惯性导航实现高精度隐患定位和导航目的，可在复测验证阶段将探地雷达机器人自动引导到隐患位置；为长隧道、跨江通道以及大型地下交通设施等无GPS场景下的地下隐患探测作业所需要的高精度自主定位提供了一种新型定位和导航方式，能够大幅度降低作业成本，提高作业效率以及作业的可靠性能。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims (10)

1.一种基于雷达图像的导航地图制作和使用方法，其特征在于，包括以下步骤：
步骤S1，同步采集多源定位传感器数据，并利用多源定位传感器数据制作特征点云里程计训练数据和特征图匹配里程计训练数据；
步骤S2，基于特征点云里程计训练数据和特征图匹配里程计训练数据，分别实现探地雷达特征点云提取模型和探地雷达特征图匹配模型；
步骤S3，采用因子图技术实现基于探地雷达图像的组合导航。
2.根据权利要求1所述的基于雷达图像的导航地图制作和使用方法，其特征在于，所述步骤S1包括以下步骤：
步骤S101，同步采集多源定位传感器数据，所述多源定位传感器数据包括探地雷达数据、组合式惯性导航数据以及编码器数据；
步骤S102，将所有通道数据组合起来沿前进方向形成一个雷达数据立方体，通过多次扫描和对齐获取测线雷达数据立方体，并进行预处理，所述预处理包括直达波过滤处理以及面层跟踪与消除的预处理；
步骤S103，制作特征点云里程计训练数据；
步骤S104，制作特征图匹配里程计训练数据。
3.根据权利要求2所述的基于雷达图像的导航地图制作和使用方法，其特征在于，所述 步骤S101中，探地雷达设置为随编码器距离触发模式，按照预先设置的固定间隔触发并采 集全部通道数据，以此作为探地雷达数据；实时差分和惯性导航采用组合式设备，按照同步 触发模式与探地雷达同步触发并采集定位数据，采集的数据与测距轮数据对齐后统一存 储，采集的数据集为
Figure 882748DEST_PATH_IMAGE001
，其中，n为总道数，
Figure 862205DEST_PATH_IMAGE002
为实时 差分和惯性导航的组合导航输出的位姿数据，TRACE n 为各通道同步采集的多通道雷达数据 矩阵，每个TRACE由m个A-SCAN记录组成，m为雷达通道数，A-SCAN为N个采样点对应的振幅数 组，N为单次扫描中的采样数目；W n 为测距轮触发记录，所述测距轮触发记录包括触发次数、 距离以及触发时间；W n 、
Figure 953527DEST_PATH_IMAGE002
、Trace n 组成同步采集并对齐的数据集。
4.根据权利要求3所述的基于雷达图像的导航地图制作和使用方法，其特征在于，所述步骤S103包括以下子步骤：
步骤S1031，通过地下目标检测模型对雷达数据进行扫描并自动标注出特征明显的目标作为导航点，特征明显的目标包括地下管廊、管线、沙井、空洞、脱空以及富水的异常体；
步骤S1032，对检测出的目标按照深度学习中实例分割的要求进行审核及轮廓标注，其中，对检测出的目标的一次波、多次波以及绕射波的轮廓进行全部标注；
步骤S1033，将标注好的轮廓按照预先设置的格式进行保存；
所述步骤S104包括以下子步骤：
步骤S1041，通过公式
Figure 145474DEST_PATH_IMAGE003
遍历数据集
Figure 772895DEST_PATH_IMAGE004
的 探地雷达子集
Figure 392095DEST_PATH_IMAGE005
以固定间隔依次提取两帧数据GPR1、GPR2，其中，
Figure 239222DEST_PATH_IMAGE006
为当前道数的 编号，
Figure 500439DEST_PATH_IMAGE007
为道数步长，
Figure 966056DEST_PATH_IMAGE008
为道数宽度，以此形成两幅维度为16×512×512，行进方向 相互间重叠256的探地雷达3D体素；
步骤S1042，将探地雷达3D体素与数据集
Figure 38048DEST_PATH_IMAGE004
中的对应实时差分和惯性导航的组合数 据以预先设置的格式进行保存。
5.根据权利要求1至4任意一项所述的基于雷达图像的导航地图制作和使用方法，其特征在于，所述步骤S2中，实现探地雷达特征点云提取模型的过程包括以下子步骤：
步骤S211，基于深度学习的全通道2D B-SCAN及C-SCAN实例分割和结果聚合的方式生成3D感兴趣区域，将异常体从背景中精确的分割出来；
步骤S212，对分割出来的图像进行轮廓处理；
步骤S213，将获得的各轮廓线按常规逐点转换为带强度的PCL格式3D点云，用于创建基于点云的导航控制点。
6.根据权利要求5所述的基于雷达图像的导航地图制作和使用方法，其特征在于，所述步骤S212包括以下子步骤：
步骤S2121，采用基于边界跟踪的拓扑结构分析算法从实例分割输出的Mask二值图像中提取出目标外围轮廓；
步骤S2122，通过计算轮廓线内面积是否大于指定阈值来进行判断，将轮廓线内面积小于指定阈值的小目标进行清除；
步骤S2123，通过凸包算法查找包含原轮廓点的最小凸多边形来代替直接使用原来的轮廓点集，以进行轮廓曲线平滑处理。
7.根据权利要求1至4任意一项所述的基于雷达图像的导航地图制作和使用方法，其特征在于，所述步骤S2中，实现探地雷达特征图匹配模型的过程包括以下子步骤：
步骤S221，搭建神经网络，通过求解
Figure 589115DEST_PATH_IMAGE009
获取重叠序列雷达 图像
Figure 372132DEST_PATH_IMAGE010
与对应的位姿
Figure 692255DEST_PATH_IMAGE011
之间的关联，其中
Figure 669569DEST_PATH_IMAGE012
为神经网络参数，
Figure 973512DEST_PATH_IMAGE013
为重 叠序列雷达图像GPR t 对应的位姿Pose t 随时间t变化的条件概率，
Figure 846307DEST_PATH_IMAGE014
为最优的神经网络参数，
Figure 817674DEST_PATH_IMAGE015
表示获取当条件概率
Figure 700310DEST_PATH_IMAGE016
取得极大值且自变量取值为神经网络参数
Figure 225970DEST_PATH_IMAGE017
的函数；
步骤S222，通过马氏距离来计算真值
Figure 101522DEST_PATH_IMAGE018
和网络预测值
Figure 645504DEST_PATH_IMAGE019
之间的差，并利用Huber loss损失函数进行回归来训练探地雷达特征图匹配模型的深度学 习；其中，
Figure 213889DEST_PATH_IMAGE020
，
Figure 711998DEST_PATH_IMAGE011
和分别为t时刻和t-k时刻的序列雷 达图像位姿，
Figure 391241DEST_PATH_IMAGE019
为特征图传递给下游回归网络的输出预测值，k为两帧重叠 序列图像的时间间隔。
8.根据权利要求5所述的基于雷达图像的导航地图制作和使用方法，其特征在于，所述步骤S2中，所述探地雷达特征点云提取模型的特征提取网络中，采用yolov5s的骨干网络CSPDarknet53，并通过幻影卷积模块和幻影瓶颈模块取代对应的常规卷积和CSPBottleneck模块成为yolov5s-ghost。
9.根据权利要求1至4任意一项所述的基于雷达图像的导航地图制作和使用方法，其特征在于，所述步骤S3中，通过公式
Figure 540462DEST_PATH_IMAGE021
实现探地雷达的组合导航，其中，
Figure 531945DEST_PATH_IMAGE022
为加入探地雷达特征点云里程计和探地雷达特征 图里程计之后的后验概率，
Figure 766618DEST_PATH_IMAGE023
为非线性最小二乘求解函数，gpr_c、gpr_f和imu分别对 应基于探地雷达特征点云的探地雷达里程计、基于特征图的探地雷达里程计和基于惯性导 航的里程计；
Figure 983972DEST_PATH_IMAGE024
、
Figure 269591DEST_PATH_IMAGE025
和
Figure 445358DEST_PATH_IMAGE026
分别为因子图中对应基于探 地雷达特征点云、基于探地雷达特征图和基于惯性导航的里程计中两相邻状态节点的相对 位姿变化，
Figure 416594DEST_PATH_IMAGE027
、
Figure 437639DEST_PATH_IMAGE028
和
Figure 46606DEST_PATH_IMAGE029
分别为基于探地雷达特征点云的里程计输出、基于探地 雷达特征图的里程计输出和基于惯性导航的里程计测量输出。
10.一种基于雷达图像的导航地图制作和使用系统，其特征在于，采用了如权利要求1至9任意一项所述的基于雷达图像的导航地图制作和使用方法， 并包括组合导航装置、三维探地雷达和编码器，所述组合导航装置、三维探地雷达和编码器安装于探测车上并校准，建立各坐标系变换矩阵；其中，所述组合导航装置为能提供惯性导航、全球定位导航以及里程计组合导航的设备；
在采集时，从实时差分的位置开始，以惯性导航单元为核心，全覆盖采集地下空间数据创建导航地图，在实时差分有效区以常规实时差分里程计为主修正惯性导航单元，在特征图里程计修正区通过所述探地雷达特征图匹配模型提取和匹配特征图对惯性导航单元进行修正，在特征点云里程计修正区通过所述探地雷达特征点云提取模型提取地下空间特征点云作为导航点并进行点云匹配定位修正惯性导航单元；在无实时差分的情况下通过连续修正惯性导航单元输出以获得导航地图；
在复测验证时，与采集一致，从实时差分的位置开始初始校准，然后按照因子图导航模式根据各子系统精度动态加入和解除各因子，完成复测验证导航任务。
CN202210924713.1A 2022-08-03 2022-08-03 一种基于雷达图像的导航地图制作和使用方法及系统 Active CN115015911B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210924713.1A CN115015911B (zh) 2022-08-03 2022-08-03 一种基于雷达图像的导航地图制作和使用方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210924713.1A CN115015911B (zh) 2022-08-03 2022-08-03 一种基于雷达图像的导航地图制作和使用方法及系统

Publications (2)

Publication Number Publication Date
CN115015911A true CN115015911A (zh) 2022-09-06
CN115015911B CN115015911B (zh) 2022-10-25

Family

ID=83065304

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210924713.1A Active CN115015911B (zh) 2022-08-03 2022-08-03 一种基于雷达图像的导航地图制作和使用方法及系统

Country Status (1)

Country Link
CN (1) CN115015911B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116203557A (zh) * 2023-03-06 2023-06-02 北京交通大学 一种基于探地雷达的传统石砌墙体内部残损及异常物无损辨识方法
CN117237993A (zh) * 2023-11-10 2023-12-15 四川泓宝润业工程技术有限公司 作业现场违规行为检测方法、装置、存储介质及电子设备

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109886312A (zh) * 2019-01-28 2019-06-14 同济大学 一种基于多层特征融合神经网络模型的桥梁车辆车轮检测方法
CN110069985A (zh) * 2019-03-12 2019-07-30 北京三快在线科技有限公司 基于图像的目标点位置检测方法、装置、电子设备
CN110174136A (zh) * 2019-05-07 2019-08-27 武汉大学 一种地下管道智能检测机器人及智能检测方法
CN110188696A (zh) * 2019-05-31 2019-08-30 华南理工大学 一种水面无人装备多源感知方法及系统
CN112200846A (zh) * 2020-10-23 2021-01-08 东北林业大学 融合无人机影像与地基雷达点云的林分因子提取方法
CN113256562A (zh) * 2021-04-22 2021-08-13 深圳安德空间技术有限公司 基于雷达图像和人工智能的道路地下隐患检测方法和系统
CN113917547A (zh) * 2021-10-08 2022-01-11 深圳安德空间技术有限公司 一种基于融合定位的探地雷达地下隐患定位方法及系统
CN114821346A (zh) * 2022-06-28 2022-07-29 深圳安德空间技术有限公司 一种基于嵌入式平台的雷达图像智能识别方法和系统

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109886312A (zh) * 2019-01-28 2019-06-14 同济大学 一种基于多层特征融合神经网络模型的桥梁车辆车轮检测方法
CN110069985A (zh) * 2019-03-12 2019-07-30 北京三快在线科技有限公司 基于图像的目标点位置检测方法、装置、电子设备
CN110174136A (zh) * 2019-05-07 2019-08-27 武汉大学 一种地下管道智能检测机器人及智能检测方法
CN110188696A (zh) * 2019-05-31 2019-08-30 华南理工大学 一种水面无人装备多源感知方法及系统
CN112200846A (zh) * 2020-10-23 2021-01-08 东北林业大学 融合无人机影像与地基雷达点云的林分因子提取方法
CN113256562A (zh) * 2021-04-22 2021-08-13 深圳安德空间技术有限公司 基于雷达图像和人工智能的道路地下隐患检测方法和系统
CN113917547A (zh) * 2021-10-08 2022-01-11 深圳安德空间技术有限公司 一种基于融合定位的探地雷达地下隐患定位方法及系统
CN114821346A (zh) * 2022-06-28 2022-07-29 深圳安德空间技术有限公司 一种基于嵌入式平台的雷达图像智能识别方法和系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
任世恒: "基于深度学习的多目标自适应机动跟踪技术研究", 《中国优秀硕士学位论文全文数据库 工程科技II辑》 *
李柯蒙: "微惯导自主定位融合算法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116203557A (zh) * 2023-03-06 2023-06-02 北京交通大学 一种基于探地雷达的传统石砌墙体内部残损及异常物无损辨识方法
CN116203557B (zh) * 2023-03-06 2024-03-05 北京交通大学 一种基于探地雷达的传统石砌墙体内部残损及异常物无损辨识方法
CN117237993A (zh) * 2023-11-10 2023-12-15 四川泓宝润业工程技术有限公司 作业现场违规行为检测方法、装置、存储介质及电子设备
CN117237993B (zh) * 2023-11-10 2024-01-26 四川泓宝润业工程技术有限公司 作业现场违规行为检测方法、装置、存储介质及电子设备

Also Published As

Publication number Publication date
CN115015911B (zh) 2022-10-25

Similar Documents

Publication Publication Date Title
CN115015911B (zh) 一种基于雷达图像的导航地图制作和使用方法及系统
Ma et al. Exploiting sparse semantic HD maps for self-driving vehicle localization
CN110411462B (zh) 一种gnss/惯导/车道线约束/里程计多源融合方法
Sun et al. A 3D LiDAR data-based dedicated road boundary detection algorithm for autonomous vehicles
CN110738121A (zh) 一种前方车辆检测方法及检测系统
CN111551958A (zh) 一种面向矿区无人驾驶的高精地图制作方法
CN101509782B (zh) 一种小型地标捕获定位方法
Hervieu et al. Road side detection and reconstruction using LIDAR sensor
WO2019204800A1 (en) Method and system for generating high definition map
US11295521B2 (en) Ground map generation
CN104677361A (zh) 一种综合定位的方法
Jang et al. Road lane semantic segmentation for high definition map
Eltner et al. Hydro‐morphological mapping of river reaches using videos captured with UAS
Rasmussen et al. On-vehicle and aerial texture analysis for vision-based desert road following
Li et al. Lane marking quality assessment for autonomous driving
Xiong et al. Road-Model-Based road boundary extraction for high definition map via LIDAR
Zhou et al. Lane information extraction for high definition maps using crowdsourced data
Kaya et al. Car Detection from Very High-Resolution UAV Images Using Deep Learning Algorithms
Xu et al. A localization algorithm based on pose graph using Forward-looking sonar for deep-sea mining vehicle
Suganuma et al. Map based localization of autonomous vehicle and its public urban road driving evaluation
CN110927765B (zh) 激光雷达与卫星导航融合的目标在线定位方法
CN114641701A (zh) 使用表面穿透雷达和深度学习的改进的导航和定位
Gu et al. SLAM with 3dimensional-GNSS
Chen et al. High-Precision Positioning, Perception and Safe Navigation for Automated Heavy-duty Mining Trucks
Deusch et al. Improving localization in digital maps with grid maps

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant