CN115166764A - 一种毫米波雷达辅助的激光雷达运动目标实时去除方法 - Google Patents

一种毫米波雷达辅助的激光雷达运动目标实时去除方法 Download PDF

Info

Publication number
CN115166764A
CN115166764A CN202210930435.0A CN202210930435A CN115166764A CN 115166764 A CN115166764 A CN 115166764A CN 202210930435 A CN202210930435 A CN 202210930435A CN 115166764 A CN115166764 A CN 115166764A
Authority
CN
China
Prior art keywords
point cloud
millimeter wave
moving target
laser
radar
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210930435.0A
Other languages
English (en)
Inventor
王文光
李鑫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beihang University
Original Assignee
Beihang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beihang University filed Critical Beihang University
Priority to CN202210930435.0A priority Critical patent/CN115166764A/zh
Publication of CN115166764A publication Critical patent/CN115166764A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/865—Combination of radar systems with lidar systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/50—Systems of measurement based on relative movement of target

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • General Physics & Mathematics (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

本发明公开了一种毫米波雷达辅助的激光雷达运动目标实时去除方法。具体的实现步骤如下：1)毫米波点云聚类；2)激光点云地面点去除与地上点云聚类；3)基于激光点云配准的方法估计平台运动；4)毫米波点云运动目标检测；5)毫米波点云运动目标映射；6)激光点云运动目标检测与去除。该方法充分利用了两种传感器的特性，通过毫米波雷达提取的多普勒频率检测场景中的运动目标，利用两种传感器间的几何关系进行坐标映射，检测并去除激光点云中的运动目标，为后续的激光点云三维重建等应用奠定基础。

Description

一种毫米波雷达辅助的激光雷达运动目标实时去除方法
技术领域：
本发明涉及场景的三维建模领域，具体为三维激光雷达运动目标的实时与检测与去除方法。
背景技术：
激光雷达是以激光为光源进行测距的传感器，它通过向周围发射激光，然后根据发射到接收的时间间隔确定物体的距离。然后，根据距离及激光束的角度，计算出物体的位置。激光雷达的波长范围较宽，典型应用一般在600nm～1600nm，所以激光雷达的测距精度很高，能够精确地将实际环境的场景数字化，这使得激光雷达逐渐替代视觉成为同时定位与地图构建(Simultaneous Localization and Mapping，SLAM)系统的主要传感器。激光SLAM依据场景中的显著物体，如建筑物、树干、灯杆等的几何特征进行位姿估计，前提是场景中物体为静止的，但实际应用场景中往往存在行人、车辆等运动目标，直接影响到三维重建的精度，甚至会导致重建的失败。
通过实时去除激光雷达场景中的运动目标，可以减少运动目标对激光点云三维重建中位姿估计过程的干扰，提高位姿估计的鲁棒性。现有的激光点云运动目标检测算法基本分为帧差法、变化检测、卷积神经网络目标检测三类，但是帧差法容易出现“拖影”和“空洞”，变化检测需要通过多帧积累而难以到达实时处理的目的，卷积神经网络方法由于复杂度高、运行效率低而难以达到实时处理的目的。为此，本发明通过引入毫米波雷达来辅助激光雷达的运动目标检测。
发明内容：
本发明的目的是针对激光雷达点云中的运动目标，提供一种实时检测方法，其关键是在传感器时空配准的基础上将毫米波雷达与激光雷达获取的信息有效融合，以实现激光点云中运动目标的实时去除。
本发明遵循了以下的技术方案：一种毫米波雷达辅助的激光雷达运动目标实时去除方法，包括以下步骤：
步骤1：毫米波点云聚类，得到毫米波雷达坐标系下各点云簇的点数、中心位置和平均速度；
步骤2：激光点云地面点去除与地上点云聚类，得到激光雷达坐标系下各点云簇的点数、中心位置；
步骤3：基于激光点云配准方法估计平台运动，得到平台速度vx；
步骤4：毫米波点云运动目标检测；
步骤5：毫米波点云运动目标映射；
步骤6：激光点云运动目标检测与去除。
本发明与现有技术相比的优点在于：
(1)本发明综合利用毫米波雷达和激光雷达检测运动目标，利用毫米波雷达数据实时计算多普勒频率，并基于激光雷达数据估计传感器平台运动速度，两者结合实现场景中的运动目标检测。这种方法既具有高的灵敏度，又具有实时性。
(2)基于预先计算的激光雷达与毫米波雷达间的空间几何关系，即外参数矩阵实现两种传感器间的点云坐标转换，实现过程中不涉及复杂的运算，简单易行。
附图说明：
图1：方法实现流程图。
图2：运动目标与平台间的几何关系。
图3：包含运动目标的单帧激光点云。
图4：毫米波点云运动目标实时检测结果。
图5：去除运动目标后的单帧激光点云。
具体实施方式：
本发明的实现流程如图1所示，具体实施步骤如下：
1.毫米波点云聚类
通过点云间的欧式距离将毫米波点云聚类为NM个具有不同中心的点云簇，每个点云簇可以用簇内点数mi、簇中心位置
Figure BDA0003781085050000031
和簇平均速度vi来描述，有1≤i≤NM，上标M表示毫米波雷达坐标系。中心位置和平均速度的计算如下：
Figure BDA0003781085050000032
Figure BDA0003781085050000033
式中
Figure BDA0003781085050000034
为第i个点云簇中第j个点的三维坐标，
Figure BDA0003781085050000035
为第i个点云簇中第j个点的速度，1≤j≤mi。速度的计算可采用相参积累方法，利用FFT得到多普勒频率，然后将多普勒频率转换为速度。为消除噪声影响，对点数小于一定数量的点云簇进行滤除，保留下来的点云簇即为场景中的潜在运动目标。
2.激光点云地面点去除与地上点云聚类
激光点云中任意一点的坐标为
Figure BDA0003781085050000036
上标L表示激光雷达坐标系。对激光点云分别进行地面点去除和地上点云聚类。地面点去除可利用点云的高度信息，对于高度小于设定阈值的点直接作为地面点去除，如下式(3)，式中的thheight即为设置的地面点高度门限，可根据场景起伏程度设置。
Figure BDA0003781085050000037
去除地面点后，采用区域增长算法将地上点云聚类为NL个非重叠的点云簇，其中，第k个激光点云簇为Rk＝{nk,(xk,yk,zk)}，nk为第k个点云簇包含的点的数量，(xk,yk,zk)为该点云簇的中心位置，且1≤k≤NL。
3.基于激光点云配准的平台运动估计
实际观测中，搭载毫米波雷达和激光雷达的平台也处于运动中，通过对相邻两帧激光点云数据的配准，可以估计平台自身的运动，包括运动速度和运动方向。假定两帧激光点云配准结果为R,t，R为平台的旋转量，t＝(tx,ty,tz)为平台的平移量。具体的配准算法可以采用ICP算法或基于特征点的非线性优化方法，如LM优化算法。
根据X方向平移量tx和帧间时间差ΔT，可以估计得到平台的运动速度vx。
Figure BDA0003781085050000041
4.毫米波点云运动目标检测
毫米波雷达运动目标检测的依据是多普勒频率，但由于平台和目标的同时运动，以及目标位置可能偏离X轴方向，使得位于不同位置的目标具有不同的多普勒频率，基于步骤1中得到的各点云簇的中心位置
Figure BDA0003781085050000042
平均速度vi和步骤3中得到的平台速度vx，可以通过门限检测判断场景中的运动目标。如图2所示的场景中，对于步骤1中的第i个点云簇，当满足下式(5)时，第i个点云簇为运动目标。
|vx cosθ-vi|＞vth (5)
其中vth为运动目标检测门限，θ＝a tan(yi/xi)。
5.毫米波点云运动目标映射
在毫米波点云运动目标检测的基础上，利用毫米波雷达和激光雷达间的几何关系，将毫米波雷达检测到的运动目标映射至激光雷达坐标系，两种传感器间的几何关系可以表示为外参数矩阵
Figure BDA0003781085050000044
及
Figure BDA0003781085050000045
Figure BDA0003781085050000046
表示从毫米波雷达坐标系到激光雷达坐标系的旋转矩阵，
Figure BDA0003781085050000047
表示从毫米波雷达坐标系到激光雷达坐标系的平移矩阵。对毫米波雷达坐标系中的任一运动目标，假定中心位置为
Figure BDA0003781085050000048
映射到激光雷达坐标系中的位置为：
Figure BDA0003781085050000049
6.激光点云运动目标检测与去除
基于毫米波点云运动目标检测的结果，实现激光点云中运动目标的检测和去除。尽管毫米波雷达和激光雷达得到回波点云的机理不同，但在理论上，毫米波雷达点云映射到激光雷达坐标系后，与激光雷达中的目标具有接近的中心位置，另外，由于毫米波雷达具有高距离分辨率和低方位分辨率，会导致来自同一目标的激光雷达点云数量远多于毫米波雷达点云数量，但距离向目标尺寸具有一致性。根据这些先验信息，可以设计激光雷达点云中运动目标的检测规则。对于毫米雷达中的运动目标，按照公式(6)的映射关系，得到其在激光雷达中的映射位置
Figure BDA0003781085050000051
映射只改变点云簇中心坐标，不该表所包含的点的数量mi，对于第二步得到的激光点云簇Rk，包含的点的数量为nk，点云簇中心位置为
Figure BDA0003781085050000052
当满足下式(7)的条件时，该激光点云簇Rk为运动目标。
Figure BDA0003781085050000053
上式中的|·|表示两点间的距离，d为距离阈值，取值不大于目标几何尺寸的一半。ΔxL和ΔxM分别为点云簇在激光雷达坐标系和毫米波雷达坐标系中沿X方向的尺寸，λ和μ为比例系数，λ取值范围为0.1-0.5，μ取值范围为0.3-0.5。
对激光点云中检测到的运动目标，直接从回波点云中去除，完成激光雷达运动目标的检测和抑制，得到不包含运动目标的静态点云。
为验证激光雷达和毫米波雷达融合去除运动目标的效果，开展了实际设备的数据采集和运动目标去除实验，图3为实验中得到的激光点云，场景中包含了道路、行人、墙体、建筑物、树木等，其中行人为运动目标。图4为毫米波雷达检测到的运动目标，包含了两个目标，将毫米波雷达检测到的运动目标投影到激光雷达坐标系后，检测并去除激光点云中的运动目标后的结果如图5所示。实验结果与预期一致，成功检测出并去除了场景中的两个行人所形成的点云，表明本发明给出的运动目标去除方法的有效性。
总之，本发明通过毫米波雷达的多普勒频移实时检测场景中的运动目标，进而辅助激光雷达消除点云中的运动目标，实验结果也验证了本发明提出的方法的良好效果。
本发明说明书中未作详细描述的内容属于本领域专业技术人员公知的现有技术。

Claims (3)

1.一种毫米波雷达辅助的激光雷达运动目标实时去除方法，其特征在于包括以下步骤：
步骤1：毫米波点云聚类，得到毫米波雷达坐标系下各点云簇的点数、中心位置和平均速度；
步骤2：激光点云地面点去除与地上点云聚类，得到激光雷达坐标系下点云簇的点数、中心位置；
步骤3：基于激光点云配准的方法估计平台运动，得到平台速度vx；
步骤4：毫米波点云运动目标检测；
步骤5：毫米波点云运动目标映射；
步骤6：激光点云运动目标检测与去除。
2.如权利要求1所述的一种毫米波雷达辅助的激光雷达运动目标实时去除方法，其特征在于：步骤4中，综合利用了毫米波雷达和激光雷达信息实现毫米波雷达坐标系下的运动目标检测，运动目标判断公式如下式(1)，其中：vx为激光雷达估计的平台运动速度，vi为毫米波雷达估计的第i个点云簇的平均速度，θ为第i个点云簇相对于X轴方向的夹角，vth为检测门限。
|vxcosθ-vi|＞vth (1)。
3.如权利要求1所述的一种毫米波雷达辅助的激光雷达运动目标实时去除方法，其特征在于：步骤6中，通过对毫米波点云运动目标检测结果与激光雷达坐标系下点云簇的对比来检测激光点云中的运动目标。对于毫米波雷达检测到的运动目标，映射到激光雷达坐标系下的位置记为
Figure FDA0003781085040000011
所包含的点云数量为mi，与激光点云中的点云簇Rk＝{nk,(xk,yk,zk)}进行比较，其中nk为该点云簇包含的点的数量，
Figure FDA0003781085040000012
为激光点云簇的中心，该点云簇为运动目标的条件为：
Figure FDA0003781085040000021
式中的|·|表示两点间的距离，d为距离阈值，取值不大于目标几何尺寸的一半。ΔxL和ΔxM分别为点云簇在激光雷达坐标系和毫米波雷达坐标系中沿X方向的尺寸，λ和μ为比例系数，λ取值范围为0.1-0.5，μ取值范围为0.3-0.5。
CN202210930435.0A 2022-08-04 2022-08-04 一种毫米波雷达辅助的激光雷达运动目标实时去除方法 Pending CN115166764A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210930435.0A CN115166764A (zh) 2022-08-04 2022-08-04 一种毫米波雷达辅助的激光雷达运动目标实时去除方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210930435.0A CN115166764A (zh) 2022-08-04 2022-08-04 一种毫米波雷达辅助的激光雷达运动目标实时去除方法

Publications (1)

Publication Number Publication Date
CN115166764A true CN115166764A (zh) 2022-10-11

Family

ID=83476912

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210930435.0A Pending CN115166764A (zh) 2022-08-04 2022-08-04 一种毫米波雷达辅助的激光雷达运动目标实时去除方法

Country Status (1)

Country Link
CN (1) CN115166764A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116859360A (zh) * 2023-09-04 2023-10-10 深圳安智杰科技有限公司 一种基于单帧毫米波雷达点云的运动估计方法及系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116859360A (zh) * 2023-09-04 2023-10-10 深圳安智杰科技有限公司 一种基于单帧毫米波雷达点云的运动估计方法及系统
CN116859360B (zh) * 2023-09-04 2023-11-24 深圳安智杰科技有限公司 一种基于单帧毫米波雷达点云的运动估计方法及系统

Similar Documents

Publication Publication Date Title
CN103064086B (zh) 一种基于深度信息的车辆跟踪方法
US11908203B2 (en) Analysis of point cloud data using depth maps
CN104197928B (zh) 多摄像机协同的无人机检测、定位及跟踪方法
CN102999759B (zh) 一种基于光流的车辆运动状态估计方法
CN109633664B (zh) 基于rgb-d与激光里程计的联合定位方法
CN111781608B (zh) 一种基于fmcw激光雷达的运动目标检测方法及系统
CN105974412B (zh) 一种用于合成孔径雷达的目标特征提取方法
CN102778680B (zh) 基于参数化的匀加速运动刚体群目标成像方法
CN114549549B (zh) 一种动态环境下基于实例分割的动态目标建模跟踪方法
CN112711027B (zh) 一种基于激光雷达点云数据的隧道内横向定位方法
CN116449384A (zh) 基于固态激光雷达的雷达惯性紧耦合定位建图方法
WO2022021661A1 (zh) 一种基于高斯过程的视觉定位方法、系统及存储介质
CN115166764A (zh) 一种毫米波雷达辅助的激光雷达运动目标实时去除方法
CN113759364A (zh) 一种基于激光地图的毫米波雷达连续定位方法及装置
CN114137562B (zh) 一种基于改进全局最邻近的多目标跟踪方法
Zhu et al. Deepego: Deep instantaneous ego-motion estimation using automotive radar
CN112581610B (zh) 从多波束声呐数据中建立地图的鲁棒优化方法和系统
CN112180396B (zh) 一种激光雷达定位及地图创建方法
CN117406234A (zh) 基于单线激光雷达与视觉融合的目标测距和追踪的方法
CN115407282B (zh) 一种短基线下基于干涉相位的sar有源欺骗干扰检测方法
CN112731335B (zh) 一种基于全区域激光扫描的多无人机协作定位方法
Chen et al. 3d map building based on stereo vision
CN113702941B (zh) 一种基于改进icp的点云测速方法
CN115047460A (zh) 一种毫米波雷达的多径假目标判断方法
CN114089376A (zh) 一种基于单激光雷达的负障碍物检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination