CN116381674B - 一种水面激光雷达点云与毫米波雷达点云的融合方法 - Google Patents
一种水面激光雷达点云与毫米波雷达点云的融合方法 Download PDFInfo
- Publication number
- CN116381674B CN116381674B CN202310648201.1A CN202310648201A CN116381674B CN 116381674 B CN116381674 B CN 116381674B CN 202310648201 A CN202310648201 A CN 202310648201A CN 116381674 B CN116381674 B CN 116381674B
- Authority
- CN
- China
- Prior art keywords
- point cloud
- laser radar
- cloud
- millimeter wave
- dadian
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 title claims abstract description 48
- 238000007500 overflow downdraw method Methods 0.000 title claims abstract description 22
- 239000012535 impurity Substances 0.000 claims abstract description 171
- 238000001914 filtration Methods 0.000 claims abstract description 30
- 230000004927 fusion Effects 0.000 claims abstract description 18
- 238000000034 method Methods 0.000 claims description 9
- 238000001514 detection method Methods 0.000 claims description 8
- 238000000746 purification Methods 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 abstract description 7
- 238000010586 diagram Methods 0.000 description 5
- 230000008447 perception Effects 0.000 description 4
- 238000007781 pre-processing Methods 0.000 description 4
- 230000001360 synchronised effect Effects 0.000 description 3
- 230000007613 environmental effect Effects 0.000 description 2
- 238000012216 screening Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
- G01S13/865—Combination of radar systems with lidar systems
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/803—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of input or preprocessed data
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/30—Assessment of water resources
Abstract
本发明实施例公开了一种水面激光雷达点云与毫米波雷达点云的融合方法,包括:点云同步与配准:将激光雷达点云和毫米波雷达点云于时间域同步并于空间域配准;毫米波雷达点云处理:去除毫米波雷达点云中的杂点,获得除杂后毫米波雷达点云;激光雷达点云处理:滤除激光雷达点云中的水杂波点,获得除杂后激光雷达点云;多模态点云置信度计算:根据除杂后毫米波雷达点云的方向角设置除杂后的毫米波雷达的点云置信度;对比分析除杂后毫米波雷达点云和除杂后激光雷达点云,获得除杂后的激光雷达的点云置信度;点云融合:根据多模态点云置信度,融合除杂后激光雷达点云和除杂后毫米波雷达点云,获得融合点云。
Description
技术领域
本发明涉及无人船感知与规划技术领域,尤其涉及一种水面激光雷达点云与毫米波雷达点云的融合方法。
背景技术
在目前的自动驾驶技术中,激光雷达与毫米波雷达是两种最常使用的传感器。而在水面场景下,由于天气情况较为复杂,更易出现雨天、雾天等恶劣天气,水面也更易产生强反光,导致激光雷达的点云中杂波点较多,点云置信度下降,并且激光雷达在观测中可能存在被物体遮挡而导致无法完整观测物体的状况;而毫米波雷达的抗恶劣环境干扰能力强,且具备一定的穿透性,可以检测空间上被遮挡的物体,但存在探测物体的分辨力较弱的缺点。因此,在水面场景中,将毫米波雷达与激光雷达点云进行融合,能够反映更真实、全面的环境信息,从而更好地辅助水面自动驾驶的感知任务。
发明内容
本发明所要解决的技术问题是提供一种水面激光雷达点云与毫米波雷达点云的融合方法,以通过融合激光雷达点云和毫米波雷达点云获取高质量点云。
为解决上述技术问题,本发明的目的是通过以下技术方案实现的:提供一种水面激光雷达点云与毫米波雷达点云的融合方法,包括:步骤A、点云同步与配准:将激光雷达点云和毫米波雷达点云于时间域同步并于空间域配准;步骤B、毫米波雷达点云处理:去除毫米波雷达点云中的杂点,获得除杂后毫米波雷达点云;步骤C、激光雷达点云处理:滤除激光雷达点云中的水杂波点,获得除杂后激光雷达点云;步骤D、多模态点云置信度计算:根据除杂后毫米波雷达点云的方向角设置所述除杂后毫米波雷达点云的点云置信度;对比分析除杂后毫米波雷达点云和除杂后激光雷达点云,获得所述除杂后激光雷达点云的点云置信度;所述除杂后毫米波雷达点云的点云置信度和所述除杂后激光雷达点云的点云置信度组成多模态点云置信度;步骤E、点云融合:根据计算获得的多模态点云置信度,融合除杂后激光雷达点云和除杂后毫米波雷达点云,获得融合点云。
本发明的有益技术效果在于:本发明水面激光雷达点云与毫米波雷达点云的融合方法通过在对激光雷达点云和毫米波雷达点云进行处理前,先对激光雷达点云和毫米波雷达点云在时间域同步和在空间域进行配准,便于后续对激光雷达点云和毫米波雷达点云进行融合;通过对毫米波雷达点云进行预处理可滤除毫米波雷达点云的杂波点;此外,由于水面场景中激光雷达点云中存在一定水杂波,滤除这些杂波会使得激光雷达点云更准确。本发明根据毫米波雷达角度越大对应的角度分辨率越差的特点,利用角计算毫米波雷达点云的点云置信度,以更好地进行毫米波雷达和激光雷达的融合,最终通过预设的置信度阈值筛选出最终的融合点云,使得融合点云的质量更高。通过本发明,可以在水面场景中有效融合激光雷达点云和毫米波雷达点云,在水面恶劣场景下,也可以得到质量较高的融合点云,更好地辅助水面自动驾驶感知任务。
附图说明
为了更清楚地说明本发明实施例技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的水面激光雷达点云与毫米波雷达点云的融合方法的流程示意图。
图2为本发明实施例提供的水面激光雷达点云与毫米波雷达点云的融合方法的第一子流程示意图。
图3为本发明实施例水面激光雷达点云与毫米波雷达点云的融合方法的第二子流程示意图。
图4为本发明实施例水面激光雷达点云与毫米波雷达点云的融合方法的第三子流程示意图。
图5为本发明实施例水面激光雷达点云与毫米波雷达点云的融合方法的第四子流程示意图。
图6为本发明实施例水面激光雷达点云与毫米波雷达点云的融合方法的第五子流程示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
请参阅图1,图1为本发明实施例提供的水面激光雷达点云与毫米波雷达点云的融合方法的流程示意图,所述水面激光雷达点云与毫米波雷达点云的融合方法主要应用在无人船上,以为无人船的自主航行提供高质量的感知数据。该方法包括步骤S110-S150,具体如下:
步骤S110、点云同步与配准:将激光雷达点云和毫米波雷达点云于时间域同步并于空间域配准。其中,激光雷达点云是指激光雷达检测获得的点云数据,毫米波雷达点云是指毫米波雷达检测获得的点云数据。通过在对激光雷达点云和毫米波雷达点云进行处理前先对激光雷达点云和毫米波雷达点云在时间域和空间域进行配准,便于后续对激光雷达点云和毫米波雷达点云进行融合。
步骤S120、毫米波雷达点云处理:去除毫米波雷达点云中的杂点,获得除杂后毫米波雷达点云。毫米波雷达点云中存在离散的杂波点,通过对毫米波雷达点云进行预处理可滤除毫米波雷达点云的杂波点。
步骤S130、激光雷达点云处理:滤除激光雷达点云中的水杂波点,获得除杂后激光雷达点云。由于激光雷达在水面上工作时会存在水杂波,滤除水杂波会使得激光雷达点云更准确。
步骤S140、多模态点云置信度计算:根据除杂后毫米波雷达点云的方向角设置所述除杂后毫米波雷达点云的点云置信度;对比分析除杂后毫米波雷达点云和除杂后激光雷达点云,获得所述除杂后激光雷达点云的点云置信度;所述除杂后毫米波雷达点云的点云置信度和所述除杂后激光雷达点云的点云置信度组成多模态点云置信度。
步骤S150、点云融合:根据计算获得的多模态点云置信度,融合除杂后激光雷达点云和除杂后毫米波雷达点云,获得融合点云。其中,根据计算获得的多模态点云置信度即根据当前帧的除杂后毫米波雷达点云的点云置信度和除杂后激光雷达点云的点云置信度,通过对比分析所述除杂后毫米波雷达点云和所述除杂后激光雷达点云可获得融合后的附带点云置信度的点云,可通过预设的置信度阈值筛选出最终的融合点云。
其中,所述水面激光雷达点云与毫米波雷达点云的融合方法通过在对激光雷达点云和毫米波雷达点云进行处理前,先对激光雷达点云和毫米波雷达点云在时间域同步和在空间域进行配准,便于后续对激光雷达点云和毫米波雷达点云进行融合;通过对毫米波雷达点云进行预处理可滤除毫米波雷达点云的杂波点;此外,由于水面场景中激光雷达点云中存在一定水杂波,滤除这些杂波会使得激光雷达点云更准确;多模态点云置信度计算,对毫米波雷达点云,根据毫米波雷达角度越大对应的角度分辨率越差的特点,根据角度可更直观准确地设置毫米波雷达点云的点云置信度;对激光雷达点云,通过对比分析所述除杂后毫米波雷达点云和所述除杂后激光雷达点云可判别当前帧的激光雷达的置信度;通过预设的置信度阈值筛选出最终的融合点云,使得融合点云的质量更高。
具体地,所述步骤S110前还可包括:获取毫米波雷达点云与激光雷达点云。
结合图2,所述步骤S110具体包括:
步骤S111、时间域同步:对所述激光雷达点云和所述毫米波雷达点云进行时间域同步。
其中,激光雷达和毫米波雷达输出一帧数据的时间可均为0.1s,具体地,所述步骤S111可为:以激光雷达点云为基准,选取与当前帧的激光雷达的时间差值在0.05s以内的毫米波雷达点云进行同步。
步骤S112、空间域配准:对所述激光雷达点云及与所述激光雷达点云时间域同步后的所述毫米波雷达点云进行空间域配准。
其中,所述步骤S112具体为:测量激光雷达与毫米波雷达安装的相对位置关系,以激光雷达为坐标原点、正前方为轴、激光雷达中心沿水平面向右为/>轴、垂直水平面向上为/>轴,形成激光雷达点云坐标系,在激光雷达点云坐标系下测量毫米波雷达相对于激光雷达的位置与角度偏移,然后将毫米波雷达点云转换到激光雷达点云坐标系下。
优选地,所述步骤S120具体为:
离散杂波点滤除:先采用DBSCAN聚类算法初步滤除毫米波雷达点云中的离散杂波点,将毫米波雷达点云分成多个类,然后遍历各类毫米波雷达点云,计算各类毫米波雷达点云与毫米波雷达之间的相对速度的平均值,将与该相对速度的平均值的差值大于预设的速度偏离阈值的点作为杂波点并滤除,最后获得除杂后毫米波雷达点云。
其中,通过设置DBSCAN聚类算法中的半径与最小点云数对毫米波雷达点云进行分类,以将毫米波雷达点云中无类别的点云当作离散杂波点滤除。毫米波雷达点云为四维,且由于进行了空间域配准,则每个毫米波雷达点云包含在激光雷达点云坐标系下的轴、/>轴和/>轴的坐标信息以及该毫米波雷达点云与毫米波雷达之间的相对速度。通过将与该相对速度的平均值的差值大于预设的速度偏离阈值的点作为杂波点并滤除可将偏离该相对速度的平均值过大的点作为杂波点进行滤除,速度偏离阈值可设置为1,滤除后,只保留各类毫米波雷达点云中相对速度与平均值的差值小于预设的速度偏离阈值的毫米波雷达点云,作为除杂后毫米波雷达点云。
各类毫米波雷达点云与毫米波雷达之间的相对速度的平均值采用公式(1)表示:
(1)
式中,表示第/>个类别的毫米波雷达点云与毫米波雷达之间的相对速度的平均值,/>表示第/>个类别的毫米波雷达点云中的点云数目,/>表示第/>个类别的毫米波雷达点云中第/>个毫米波雷达点云与毫米波雷达之间的相对速度。
结合图3,具体地,所述步骤S130可包括:
步骤S131、采用体素滤波算法对激光雷达点云进行下采样以减少激光雷达点云的数量。其中,由于激光雷达的固有特性,使得激光雷达每次接收到的激光雷达点云的数量多且稠密,通过体素滤波算法进行下采样,以利用体素化方法减少点云的数量,采用体素格中接近中心点的点替代体素内的所有点云,这种方法比直接使用中心点更加精确,既可减少点云数据,并同时保持点云的形状特征。
步骤S132、采用强度滤波算法滤除下采样后的激光雷达点云中的水杂波点及离散点,获得除杂后激光雷达点云。
其中,离激光雷达较近的水杂波点通常回波强度较大,并且杂波的密度较高;而离激光雷达较远的水杂波点通常回波强度较小,并且杂波的密度非常小。同时,当目标离激光雷达较近时,目标的回波强度非常强;当目标较远时回波强度会随距离增加而变弱。则可设置按照距离分段式的强度滤波算法,所述按照距离分段式的强度滤波算法具体可为:
获取回波强度大于2且不大于10的激光雷达点云,作为第一类激光雷达点云;
获取回波强度大于10而不大于20且在以所述激光雷达坐标系的轴为基准中距离所述激光雷达小于10m的激光雷达点云,作为第二类激光雷达点云;
获取回波强度大于20且在以所述激光雷达坐标系的轴为基准中距离所述激光雷达小于5m的激光雷达点云,作为第三类激光雷达点云;
整合所述第一类激光雷达点云、所述第二类激光雷达点云和所述第三类激光雷达点云,获得所述除杂后激光雷达点云。
结合图4,具体地,所述步骤S140具体包括:
步骤S141、毫米波雷达点云置信度设置:将所述除杂后毫米波雷达点云从空间域配准直角坐标系(即配准使用的激光雷达点云坐标系)转换到极坐标系下,获取所述除杂后毫米波雷达点云相对于所述毫米波雷达的角度,根据获得的角度设置所述除杂后毫米波雷达点云的点云置信度。
其中,由于毫米波雷达探测物体时,物体与毫米波雷达的角度越大,毫米波雷达发射波的功率越小、探测的角度分辨率就越低,则可通过点云在毫米波雷达中的角度大小判别点云的置信系数。所述步骤S141具体为:
将所述除杂后毫米波雷达点云以所述激光雷达点云坐标系的轴为基准,根据公式(2)计算所有的所述除杂后毫米波雷达点云相对于所述毫米波雷达的角度:
(2)
其中,表示除杂后毫米波雷达点云的序号,/>表示第/>个除杂后毫米波雷达点云相对于毫米波雷达的角度,/>和/>为第/>个除杂后毫米波雷达点云在激光雷达点云坐标系下的/>轴和/>轴的坐标信息;
根据获得的所述除杂后毫米波雷达点云相对于所述毫米波雷达的角度,设置该角度的余弦值为对应的所述除杂后毫米波雷达点云的点云置信度。
则可根据公式(3)计算除杂后毫米波雷达点云的置信系数:
(3)
其中,表示第/>个除杂后毫米波雷达点云的点云置信度,/>表示第/>个除杂后毫米波雷达点云相对于毫米波雷达的角度。则当获得的所述除杂后毫米波雷达点云相对于所述毫米波雷达的角度为60°时,所述除杂后毫米波雷达点云的置信系数为0.5。
步骤S142、激光雷达点云置信度设置:将所述除杂后激光雷达点云从空间域配准直角坐标系(即配准使用的激光雷达点云坐标系)转换到极坐标系下,再对比同角度下所述除杂后激光雷达点云与所述除杂后毫米波雷达点云的分布,获得所述除杂后激光雷达点云的点云置信度。
结合图5,优选地,所述步骤S142具体包括:
步骤S1421、将所述除杂后激光雷达点云转换至极坐标系下。
其中,在对比除杂后毫米波雷达点云与除杂后激光雷达点云时,由于激光雷达点云数量庞大,遍历式地与除杂后毫米波雷达点云进行对比,则一方面无法准确的获取到差异,另一方面计算复杂度过高。同时,由于除杂后毫米波雷达点云在轴方向的角度分辨率很低,因此,可以只在/>平面下对比除杂后激光雷达点云与除杂后毫米波雷达点云,并且在极坐标系下可以显著降低比较算法的复杂度。
具体地,所述步骤S142中除杂后激光雷达点云转换至极坐标系下后的点云可采用公式(4)计算获得:
(4)
其中,表示极坐标系下的第/>个点云的横坐标,为点云到极坐标原点的距离,表示极坐标系下的第/>个点云的纵坐标,为点云到极坐标原点与极轴之间的角度,/>和/>分别为第/>个点云在激光雷达点云坐标系下的/>平面中的横坐标信息和纵坐标信息。
步骤S1422、计算获得除杂后激光雷达点云的点云置信度。
其中,所述步骤S1422具体包括:
将所述除杂后激光雷达点云与除杂后毫米波雷达点云在极坐标系中的角度维度四舍五入为整数;极坐标系的建立是以雷达自身为坐标原点,以雷达的正前方为极轴(零度轴),以逆时针方向为正方向。
设置毫米波雷达选取了在±75°范围内的毫米波雷达点云,遍历从-75°到75°的范围,计算除杂后毫米波雷达点云在极坐标系中的分布;通过计算除杂后毫米波雷达点云在极坐标系中从-75°到75°的范围的分布,以找到从-75°到75°的范围的各个角度下毫米波雷达点云与毫米波雷达之间的最小距离,其中,当某个角度下没有对应的除杂后毫米波雷达点云,则设置该角度下的除杂后毫米波雷达点云在极坐标系中的分布为15,单位为m;
遍历所有除杂后激光雷达点云,根据公式(5)计算当前的除杂后激光雷达点云的点云置信度:
(5)
式中,表示除杂后激光雷达点云的点云置信度,/>表示置信度的比例常数,可根据不同的激光雷达和场景设置,/>可设置为4,/>表示除杂后激光雷达点云的点云数量,/>表示可信的除杂后激光雷达点云的总数。可信的除杂后激光雷达点云可指与除杂后毫米波雷达点云角度相同的除杂后激光雷达点云到极坐标原点的距离小于除杂后毫米波雷达点云在极坐标系中的分布和预设的雷达探测距离误差阈值之间的差值时的点云。通过计算除杂后毫米波雷达点云在极坐标系中的分布和预设的雷达探测距离误差阈值之间的差值,可避免除杂后毫米波雷达点云计算获得的分布过于严格,以通过减去预设的雷达探测距离误差阈值来控制误删除的除杂后毫米波雷达点云的数量,预设的雷达探测距离误差阈值可为1。通过公式(5)即可计算得到除杂后激光雷达点云的点云置信度/>。
其中,判断除杂后激光雷达点云是否可信包括以下步骤:
获取取整后极坐标角度相同的除杂后激光雷达点云和除杂后毫米波雷达点云;
根据获得的取整后极坐标角度相同的除杂后激光雷达点云和除杂后毫米波雷达点云,将满足公式(6)的除杂后激光雷达点云判断为可信:
(6)
式中,表示绝对值函数,/>表示与除杂后毫米波雷达点云的取整后极坐标角度相同的除杂后激光雷达点云到极坐标原点的距离,/>表示与除杂后毫米波雷达点云的取整后极坐标角度相同的除杂后毫米波雷达点云到极坐标原点的距离,/>表示预设的雷达探测距离误差阈值。
结合图6,具体地,所述步骤S150具体包括:
步骤S151、置信度阈值设置:设置毫米波雷达的置信度阈值,记为,毫米波雷达的置信度阈值可为0.7,设置激光雷达的第一置信度阈值、激光雷达的第二置信度阈值和激光雷达的第三置信度阈值,分别记为/>、/>和/>。
步骤S152、最终除杂毫米波雷达点云获取:保留点云置信度大于毫米波雷达的置信度阈值的除杂后毫米波雷达点云作为最终除杂毫米波雷达点云;其中,所述毫米波雷达的置信度阈值可为0.7,而根据步骤S141可知,除杂后毫米波点云的点云置信度为除杂后毫米波雷达点云相对于毫米波雷达的角度的余弦值。
步骤S153、最终除杂激光雷达点云获取:根据计算获得的除杂后激光雷达点云的点云置信度,分别与激光雷达的第一置信度阈值、激光雷达的第二置信度阈值和激光雷达的第三置信度阈值进行分段比较,获得比较结果,并根据获得的比较结果获取最终除杂激光雷达点云;其中,激光雷达的第一置信度阈值、激光雷达的第二置信度阈值和激光雷达的第三置信度阈值的值依序减小。在本实施例中,激光雷达的第一置信度阈值、激光雷达的第二置信度阈值和激光雷达的第三置信度阈值的取值分别对应为0.9、0.7和0.5。除杂后激光雷达点云的点云置信度在不同的置信度区间分段内使用不同的策略来筛选要融合的除杂后激光雷达点云;
优选地,步骤S153具体包括:
当除杂后激光雷达点云的点云置信度不小于激光雷达的第一置信度阈值时,则除杂后激光雷达点云中基本无杂波,保留所有的所述除杂后激光雷达点云作为最终除杂激光雷达点云;
当除杂后激光雷达点云的点云置信度小于激光雷达的第一置信度阈值且不小于激光雷达的第二置信度阈值时,需对除杂后激光雷达点云进行滤波。此时,对除杂后激光雷达点云进行滤波的步骤具体为:遍历从-75°到75°的范围,滤除到极坐标原点的距离小于所述除杂后毫米波雷达点云在极坐标系中的分布的与所述除杂后毫米波雷达点云角度相同的所述除杂后激光雷达点云,获得最终除杂激光雷达点云;即保留与所述除杂后毫米波雷达点云角度相同的所述除杂后激光雷达点云与极坐标原点的距离不小于所述除杂后毫米波雷达点云在极坐标系中的分布的所述除杂后激光雷达点云作为最终除杂激光雷达点云;
当除杂后激光雷达点云的置信系数小于激光雷达的第二置信度阈值而不小于激光雷达的第三置信度阈值时,需对除杂后激光雷达点云进行滤波。此时,对除杂后激光雷达点云进行滤波的步骤具体为:遍历从-75°到75°的范围,滤除到极坐标原点的距离小于所述除杂后毫米波雷达点云在极坐标系中的分布的与所述除杂后毫米波雷达点云角度相同的所述除杂后激光雷达点云;计算除杂后激光雷达点云的点云置信度与该除杂后激光雷达点云对应方向上的除杂后毫米波雷达点云的点云置信度之间的置信度均值,并将该置信度均值更新为新的除杂后激光雷达点云的点云置信度;保留点云置信度大于激光雷达的第二置信度阈值的更新后的新的除杂后激光雷达点云作为最终除杂激光雷达点云;
其中,更新后的新的除杂后激光雷达点云的点云置信度采用公式(7)计算获得:
(7)
式中,表示更新后的新的除杂后激光雷达点云的点云置信度,/>表示当前的除杂后激光雷达点云的点云置信度,可根据公式(5)计算获得,/>表示该除杂后激光雷达点云对应方向上的除杂后毫米波雷达点云的点云置信度,可根据公式(3)计算获得。
相应地,保留点云置信度大于激光雷达的第二置信度阈值的更新后的新的除杂后激光雷达点云作为最终除杂激光雷达点云,即保留的除杂后激光雷达点云作为最终除杂激光雷达点云。
当除杂后激光雷达点云的点云置信度小于激光雷达的第三置信度阈值时,则认为除杂后激光雷达点云中仍存在大量无法滤除的杂波点,删除所有激光雷达点云。
步骤S154、最终点云融合:整合所述最终除杂激光雷达点云和所述最终除杂毫米波雷达点云,获得最终的融合点云。
综上所述,本发明水面激光雷达点云与毫米波雷达点云的融合方法通过在对激光雷达点云和毫米波雷达点云进行处理前,先对激光雷达点云和毫米波雷达点云在时间域同步和在空间域配准,便于后续对激光雷达点云和毫米波雷达点云进行融合;通过对毫米波雷达点云进行预处理可滤除毫米波雷达点云的杂波点;此外,由于水面场景中激光雷达点云中存在一定水杂波,滤除这些杂波会使得激光雷达点云更准确;对毫米波雷达点云,根据毫米波雷达点云方向角设置除杂点后的毫米波雷达各点置信系数,对激光雷达点云,对比分析所述除杂后毫米波雷达点云和所述除杂后激光雷达点云,得到激光雷达点云置信度,从而获取不同模态点云的置信度;通过预设的置信系数阈值筛选出最终的融合点云,使得融合点云的质量更高。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到各种等效的修改或替换,这些修改或替换都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以权利要求的保护范围为准。
Claims (7)
1.一种水面激光雷达点云与毫米波雷达点云的融合方法,其特征在于,包括:
步骤A、点云同步与配准:将激光雷达点云和毫米波雷达点云于时间域同步并于空间域配准;
步骤B、毫米波雷达点云处理:去除毫米波雷达点云中的杂点,获得除杂后毫米波雷达点云;
步骤C、激光雷达点云处理:滤除激光雷达点云中的水杂波点,获得除杂后激光雷达点云;
步骤D、多模态点云置信度计算:根据除杂后毫米波雷达点云的方向角设置所述除杂后毫米波雷达点云的点云置信度;对比分析除杂后毫米波雷达点云和除杂后激光雷达点云,获得所述除杂后激光雷达点云的点云置信度;所述除杂后毫米波雷达点云的点云置信度和所述除杂后激光雷达点云的点云置信度组成多模态点云置信度;
步骤E、点云融合:根据计算获得的多模态点云置信度,融合除杂后激光雷达点云和除杂后毫米波雷达点云,获得融合点云;
所述步骤D具体包括:
毫米波雷达点云置信度设置:将所述除杂后毫米波雷达点云从空间域配准直角坐标系转换到极坐标系下,获取所述除杂后毫米波雷达点云相对于所述毫米波雷达的角度,根据获得的角度设置所述除杂后毫米波雷达点云的点云置信度;
激光雷达点云置信度设置:将所述除杂后激光雷达点云从空间域配准直角坐标系转换到极坐标系下,再对比同角度下所述除杂后激光雷达点云与所述除杂后毫米波雷达点云的分布,获得所述除杂后激光雷达点云的点云置信度;
所述激光雷达点云置信度设置的步骤具体包括:
将除杂后激光雷达点云与除杂后毫米波雷达点云在极坐标系中的角度维度四舍五入为整数;
设置毫米波雷达选取了在±75°范围内的毫米波雷达点云,遍历从-75°到75°的范围,计算除杂后毫米波雷达点云在极坐标系中的分布;
遍历所有除杂后激光雷达点云,根据以下公式计算当前的除杂后激光雷达点云的点云置信度:
;
式中,表示除杂后激光雷达点云的点云置信度,/>表示置信度的比例常数,/>表示除杂后激光雷达点云的点云数量,/>表示可信的除杂后激光雷达点云的总数;
其中,判断除杂后激光雷达点云是否可信包括以下步骤:
获取取整后极坐标角度相同的除杂后激光雷达点云和除杂后毫米波雷达点云;
根据获得的取整后极坐标角度相同的除杂后激光雷达点云和除杂后毫米波雷达点云,将满足以下公式的除杂后激光雷达点云判断为可信:
;
式中,表示绝对值函数,/>表示与除杂后毫米波雷达点云的取整后极坐标角度相同的除杂后激光雷达点云到极坐标原点的距离,/>表示与除杂后毫米波雷达点云的取整后极坐标角度相同的除杂后毫米波雷达点云到极坐标原点的距离,/>表示预设的雷达探测距离误差阈值。
2.根据权利要求1所述的水面激光雷达点云与毫米波雷达点云的融合方法,其特征在于,所述步骤A具体包括:
时间域同步:对所述激光雷达点云和所述毫米波雷达点云进行时间域同步;
空间域配准:对所述激光雷达点云及与所述激光雷达点云时间域同步后的所述毫米波雷达点云进行空间域配准。
3.根据权利要求1所述的水面激光雷达点云与毫米波雷达点云的融合方法,其特征在于,所述步骤B具体为:
采用DBSCAN聚类算法滤除毫米波雷达点云中的离散杂波点,遍历毫米波雷达点云,计算毫米波雷达点云与毫米波雷达之间的相对速度的平均值,将与该相对速度的平均值的差值大于预设的速度偏离阈值的点作为杂波点并滤除,获得除杂后毫米波雷达点云。
4.根据权利要求1所述的水面激光雷达点云与毫米波雷达点云的融合方法,其特征在于,所述步骤C具体包括:
采用体素滤波算法对激光雷达点云进行下采样以减少激光雷达点云的数量;
采用强度滤波算法滤除下采样后的激光雷达点云中的水杂波点及离散点,获得除杂后激光雷达点云。
5.根据权利要求1所述的水面激光雷达点云与毫米波雷达点云的融合方法,其特征在于,所述毫米波雷达点云置信度设置的步骤具体包括:
将所述除杂后毫米波雷达点云以所述激光雷达点云坐标系的轴为基准,根据以下公式计算所有的所述除杂后毫米波雷达点云相对于所述毫米波雷达的角度:
;
其中,表示除杂后毫米波雷达点云的序号,/>表示第/>个除杂后毫米波雷达点云相对于毫米波雷达的角度,/>和/>为第/>个除杂后毫米波雷达点云在激光雷达点云坐标系下的/>轴和/>轴的坐标信息;
根据获得的所述除杂后毫米波雷达点云相对于所述毫米波雷达的角度,设置该角度的余弦值为对应的所述除杂后毫米波雷达点云的点云置信度。
6.根据权利要求1所述的水面激光雷达点云与毫米波雷达点云的融合方法,其特征在于,所述步骤E具体为:
置信度阈值设置:设置毫米波雷达的置信度阈值、激光雷达的第一置信度阈值、激光雷达的第二置信度阈值和激光雷达的第三置信度阈值;其中,激光雷达的第一置信度阈值、激光雷达的第二置信度阈值和激光雷达的第三置信度阈值依序减小;
最终除杂毫米波雷达点云获取:保留点云置信度大于毫米波雷达的置信度阈值的除杂后毫米波雷达点云作为最终除杂毫米波雷达点云;
最终除杂激光雷达点云获取:根据计算获得的除杂后激光雷达点云的点云置信度,分别与激光雷达的第一置信度阈值、激光雷达的第二置信度阈值和激光雷达的第三置信度阈值进行分段比较,获得比较结果,并根据获得的比较结果获取最终除杂激光雷达点云;
最终点云融合:整合所述最终除杂激光雷达点云和所述最终除杂毫米波雷达点云,获得最终的融合点云。
7.根据权利要求6所述的水面激光雷达点云与毫米波雷达点云的融合方法,其特征在于,所述最终除杂激光雷达点云获取的步骤具体为:
当除杂后激光雷达点云的点云置信度不小于激光雷达的第一置信度阈值时,则保留所有的所述除杂后激光雷达点云作为最终除杂激光雷达点云;
当除杂后激光雷达点云的点云置信度小于激光雷达的第一置信度阈值且不小于激光雷达的第二置信度阈值时,遍历从-75°到75°的范围,滤除到极坐标原点的距离小于所述除杂后毫米波雷达点云在极坐标系中的分布的与所述除杂后毫米波雷达点云角度相同的所述除杂后激光雷达点云,获得最终除杂激光雷达点云;
当除杂后激光雷达点云的置信系数小于激光雷达的第二置信度阈值而不小于激光雷达的第三置信度阈值时,遍历从-75°到75°的范围,滤除到极坐标原点的距离小于所述除杂后毫米波雷达点云在极坐标系中的分布的与所述除杂后毫米波雷达点云角度相同的所述除杂后激光雷达点云;计算除杂后激光雷达点云的点云置信度与该除杂后激光雷达点云对应方向上的除杂后毫米波雷达点云的点云置信度之间的置信度均值,并将该置信度均值更新为新的除杂后激光雷达点云的点云置信度;保留点云置信度大于激光雷达的第二置信度阈值的更新后的新的除杂后激光雷达点云作为最终除杂激光雷达点云;
其中,更新后的新的除杂后激光雷达点云的点云置信度采用以下公式计算获得:
;
式中,表示更新后的新的除杂后激光雷达点云的点云置信度,/>表示当前的除杂后激光雷达点云的点云置信度,/>表示该除杂后激光雷达点云对应方向上的除杂后毫米波雷达点云的点云置信度;
当除杂后激光雷达点云的点云置信度小于激光雷达的第三置信度阈值时,则删除所有激光雷达点云。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310648201.1A CN116381674B (zh) | 2023-06-02 | 2023-06-02 | 一种水面激光雷达点云与毫米波雷达点云的融合方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310648201.1A CN116381674B (zh) | 2023-06-02 | 2023-06-02 | 一种水面激光雷达点云与毫米波雷达点云的融合方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116381674A CN116381674A (zh) | 2023-07-04 |
CN116381674B true CN116381674B (zh) | 2023-08-22 |
Family
ID=86971425
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310648201.1A Active CN116381674B (zh) | 2023-06-02 | 2023-06-02 | 一种水面激光雷达点云与毫米波雷达点云的融合方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116381674B (zh) |
Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108509972A (zh) * | 2018-01-16 | 2018-09-07 | 天津大学 | 一种基于毫米波和激光雷达的障碍物特征提取方法 |
CN114463736A (zh) * | 2021-12-28 | 2022-05-10 | 天津大学 | 一种基于多模态信息融合的多目标检测方法及装置 |
CN114545400A (zh) * | 2022-04-27 | 2022-05-27 | 陕西欧卡电子智能科技有限公司 | 基于毫米波雷达的水面机器人的全局重定位方法 |
CN114670852A (zh) * | 2022-02-28 | 2022-06-28 | 高新兴科技集团股份有限公司 | 异常行驶行为的识别方法、装置、设备及介质 |
CN114763997A (zh) * | 2022-04-14 | 2022-07-19 | 中国第一汽车股份有限公司 | 车辆采集到的雷达点云数据的处理方法、装置及电子设备 |
CN115079168A (zh) * | 2022-07-19 | 2022-09-20 | 陕西欧卡电子智能科技有限公司 | 基于激光雷达与毫米波雷达融合的建图方法、装置及设备 |
CN115424233A (zh) * | 2022-04-21 | 2022-12-02 | 中国第一汽车股份有限公司 | 基于信息融合的目标检测方法以及目标检测装置 |
CN115792891A (zh) * | 2021-09-09 | 2023-03-14 | 北京机械设备研究所 | 基于多毫米波雷达与激光雷达融合的目标航迹跟踪方法 |
CN116027288A (zh) * | 2021-10-26 | 2023-04-28 | 北京万集科技股份有限公司 | 生成数据的方法、装置、电子设备及存储介质 |
WO2023071992A1 (zh) * | 2021-10-26 | 2023-05-04 | 北京万集科技股份有限公司 | 多传感器信号融合的方法、装置、电子设备及存储介质 |
CN116106864A (zh) * | 2021-11-09 | 2023-05-12 | 深圳市速腾聚创科技有限公司 | 点云的运动补偿方法、装置、存储介质及激光雷达 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10181895B2 (en) * | 2014-09-04 | 2019-01-15 | Honeywell International Inc. | Free space laser and millimetre wave(MMW) network for airborne relay networks |
-
2023
- 2023-06-02 CN CN202310648201.1A patent/CN116381674B/zh active Active
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108509972A (zh) * | 2018-01-16 | 2018-09-07 | 天津大学 | 一种基于毫米波和激光雷达的障碍物特征提取方法 |
CN115792891A (zh) * | 2021-09-09 | 2023-03-14 | 北京机械设备研究所 | 基于多毫米波雷达与激光雷达融合的目标航迹跟踪方法 |
CN116027288A (zh) * | 2021-10-26 | 2023-04-28 | 北京万集科技股份有限公司 | 生成数据的方法、装置、电子设备及存储介质 |
WO2023071992A1 (zh) * | 2021-10-26 | 2023-05-04 | 北京万集科技股份有限公司 | 多传感器信号融合的方法、装置、电子设备及存储介质 |
CN116106864A (zh) * | 2021-11-09 | 2023-05-12 | 深圳市速腾聚创科技有限公司 | 点云的运动补偿方法、装置、存储介质及激光雷达 |
CN114463736A (zh) * | 2021-12-28 | 2022-05-10 | 天津大学 | 一种基于多模态信息融合的多目标检测方法及装置 |
CN114670852A (zh) * | 2022-02-28 | 2022-06-28 | 高新兴科技集团股份有限公司 | 异常行驶行为的识别方法、装置、设备及介质 |
CN114763997A (zh) * | 2022-04-14 | 2022-07-19 | 中国第一汽车股份有限公司 | 车辆采集到的雷达点云数据的处理方法、装置及电子设备 |
CN115424233A (zh) * | 2022-04-21 | 2022-12-02 | 中国第一汽车股份有限公司 | 基于信息融合的目标检测方法以及目标检测装置 |
CN114545400A (zh) * | 2022-04-27 | 2022-05-27 | 陕西欧卡电子智能科技有限公司 | 基于毫米波雷达的水面机器人的全局重定位方法 |
CN115079168A (zh) * | 2022-07-19 | 2022-09-20 | 陕西欧卡电子智能科技有限公司 | 基于激光雷达与毫米波雷达融合的建图方法、装置及设备 |
Non-Patent Citations (1)
Title |
---|
无人水面艇感知技术发展综述;朱建楠 等;哈尔滨工程大学学报;第41卷(第10期);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN116381674A (zh) | 2023-07-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111337941B (zh) | 一种基于稀疏激光雷达数据的动态障碍物追踪方法 | |
CN111553859B (zh) | 一种激光雷达点云反射强度补全方法及系统 | |
WO2022022694A1 (zh) | 自动驾驶环境感知方法及系统 | |
CN109444911B (zh) | 一种单目相机和激光雷达信息融合的无人艇水面目标检测识别与定位方法 | |
WO2021223368A1 (zh) | 基于视觉、激光雷达和毫米波雷达的目标检测方法 | |
CN110275153B (zh) | 一种基于激光雷达的水面目标检测与跟踪方法 | |
WO2018177026A1 (zh) | 确定道路边沿的装置和方法 | |
CN108132675B (zh) | 一种工厂巡视无人机自主路径巡航以及智能避障方法 | |
CN112001958B (zh) | 基于有监督单目深度估计的虚拟点云三维目标检测方法 | |
CN108229342B (zh) | 一种海面舰船目标自动检测方法 | |
CN115761550A (zh) | 一种基于激光雷达点云和相机图像融合的水面目标检测方法 | |
CN113205604A (zh) | 一种基于摄像机和激光雷达的可行区域检测方法 | |
CN116168028B (zh) | 低可见度下基于边缘滤波的高铁原始图像处理方法和系统 | |
CN115631116B (zh) | 基于双目视觉的飞行器电力巡检系统 | |
CN116520353B (zh) | 基于激光点云的地面检测方法、装置、存储介质及设备 | |
CN115097419A (zh) | 一种激光雷达到imu的外参标定方法及装置 | |
CN115187941A (zh) | 目标检测定位方法、系统、设备及存储介质 | |
CN116381674B (zh) | 一种水面激光雷达点云与毫米波雷达点云的融合方法 | |
CN115436966A (zh) | 一种激光雷达参考水深控制点批量提取方法 | |
Jiang et al. | Real-time container truck speed measurement at container port gates based on the binocular vision technology | |
CN110827257B (zh) | 一种嵌入式机载红外图像视觉导航定位方法 | |
CN114821499A (zh) | 目标分类方法 | |
CN114879180A (zh) | 一种无人艇载多元多尺度雷达实时融合的无缝态势感知方法 | |
CN114037968A (zh) | 基于深度雷达点云和图像数据融合的车道线检测方法 | |
CN117523568B (zh) | 一种基于无人船的桥高检测方法、装置、设备及介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |