CN114763997A - 车辆采集到的雷达点云数据的处理方法、装置及电子设备 - Google Patents

车辆采集到的雷达点云数据的处理方法、装置及电子设备 Download PDF

Info

Publication number
CN114763997A
CN114763997A CN202210391973.7A CN202210391973A CN114763997A CN 114763997 A CN114763997 A CN 114763997A CN 202210391973 A CN202210391973 A CN 202210391973A CN 114763997 A CN114763997 A CN 114763997A
Authority
CN
China
Prior art keywords
point cloud
point
radar
millimeter wave
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210391973.7A
Other languages
English (en)
Inventor
王宇
林崇浩
庞伟凇
周琳
张林灿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
FAW Group Corp
Original Assignee
FAW Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by FAW Group Corp filed Critical FAW Group Corp
Priority to CN202210391973.7A priority Critical patent/CN114763997A/zh
Publication of CN114763997A publication Critical patent/CN114763997A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/28Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/865Combination of radar systems with lidar systems
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88Radar or analogous systems specially adapted for specific applications
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88Radar or analogous systems specially adapted for specific applications
    • G01S13/89Radar or analogous systems specially adapted for specific applications for mapping or imaging
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88Radar or analogous systems specially adapted for specific applications
    • G01S13/93Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/93Lidar systems specially adapted for specific applications for anti-collision purposes

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Automation & Control Theory (AREA)
  • Radar Systems Or Details Thereof (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明公开了一种车辆采集到的雷达点云数据的处理方法、装置及电子设备。其中,车辆上部署有雷达感知系统,该方法包括:获取雷达感知系统采集到的原始点云数据,其中,原始点云数据至少包括:毫米波雷达采集到的2D点云集合,以及激光雷达采集到的3D点云集合;将毫米波雷达采集到的2D点云集合与激光雷达采集到的3D点云集合中的点云进行逐点匹配,输出至少一组匹配成功的目标点云集,其中,每组目标点云集中包括:采集时间同步的两帧点云;将目标点云集分别输入至点云融合器,对目标点云集中的两帧点云进行前融合得到融合点云;将融合点云输入至检测器。本发明解决了相关技术中对目标对象的检测准确度较低的技术问题。

Description

车辆采集到的雷达点云数据的处理方法、装置及电子设备
技术领域
本发明涉及智能网联汽车领域,具体而言,涉及一种车辆采集到的雷达点云数据的处理方法、装置及电子设备。
背景技术
在L3及以上级别的自动驾驶系统中,雷达感知系统是重要的组成部分。当今汽车及航空行业的顶级标准制定组织将自动驾驶等级从L0到L5共分了六个等级,其中L3级代表条件自动化,车辆在特定环境中可以实现自动加减速和转向,不需要驾驶者的操作。其中雷达感知技术又由激光雷达,毫米波雷达,超声波雷达感知技术构成。传统的激光雷达和毫米波雷达的融合方式都是通过后融合的方式。毫米波雷达的2D点云集合和激光雷达的3D点云集合经过了各自的检测算法,将检测的结果进行后融合的方式,在融合层应景丢失了原始信息,导致对目标对象的检测准确率较低。
针对上述的问题,目前尚未提出有效的解决方案。
发明内容
本发明实施例提供了一种车辆采集到的雷达点云数据的处理方法、装置及电子设备,以至少解决相关技术中对目标对象的检测准确度较低的技术问题。
根据本发明实施例的一个方面,提供了一种车辆采集到的雷达点云数据的处理方法,车辆上部署有雷达感知系统,其中,包括:获取雷达感知系统采集到的原始点云数据,其中原始点云数据至少包括:毫米波雷达采集到的2D点云集合,以及激光雷达采集到的3D点云集合;将2D点云集合与3D点云集合中的点云进行逐点匹配,输出至少一组匹配成功的目标点云集,其中每组目标点云集中包括:采集时间同步的两帧点云;将目标点云集分别输入至点云融合器,对目标点云集中的两帧点云进行前融合,得到融合点云,其中前融合对两帧点云进行信息互补,并保留原始信息;将融合点云输入至检测器,其中,检测器用于从融合点云中识别出目标对象。
可选地,在将2D点云集合与3D点云集合中的点云进行逐点匹配之前,该方法还包括:通过滤波降噪算法,对毫米波雷达采集到的2D点云集合中的点云进行噪点去除,输出置信度超过预定值的点云团;将点云团中的点云按照采集时间顺序存储至缓存区,得到毫米波雷达点云序列,其中毫米波雷达点云序列中的每个点云赋予时间戳。
可选地,将2D点云集合与3D点云集合中的点云进行逐点匹配,输出至少一组匹配成功的目标点云集,该方法包括:当激光雷达采集到一帧激光雷达点云时,根据该帧激光雷达点云的时间戳在毫米波雷达点云队列中进行匹配;如果从毫米波雷达点云队列中匹配到相同时间点的点云时,得到一组匹配成功的目标点云集。
可选地,将每组目标点云集输入至点云融合器,对目标点云集中的两帧点云进行前融合,得到融合点云包括:将所有目标点云集输入至点云融合器;点云融合器对所有目标点云集进行点云体素化,得到多个体素,其中每个体素中包括多组目标点云集;剔除每个体素中存在异常的目标点云集,得到置信度大于阈值的目标点云集,其中每组目标点云集包括:来自毫米波雷达的毫米波雷达点云的点云信息,以及来自激光雷达的激光雷达点云的点云信息;将来自毫米波雷达的点云的点云信息,以及来自激光雷达的点云的点云信息进行融合,得到每组目标点云集的融合点云,其中融合点云的点云数据至少包括:点云的空间位置信息、毫米波反射率、激光反射率、速度信息和传感器信息。
可选地,通过将毫米波雷达点云的速度信息带入激光雷达点云的点云信息中,来拓展激光雷达点云中缺失的维度,使得融合完成。
根据本发明实施例的另一方面,还提供了一种车辆采集到的雷达点云数据的处理装置,该装置包括:获取模块,用于获取雷达感知系统采集到的原始点云数据,其中,原始点云数据至少包括:毫米波雷达采集到的2D点云集合,以及激光雷达采集到的3D点云集合;处理模块,用于将2D点云集合与3D点云集合中的点云进行逐点匹配,输出至少一组匹配成功的目标点云集,其中,每组目标点云集中包括:采集时间同步的两帧点云;融合模块,用于将目标点云集分别输入至点云融合器,对目标点云集中的两帧点云进行前融合,得到融合点云,其中前融合对两帧点云进行信息互补,并保留原始信息;输出模块,用于将融合点云输入至检测器,其中,检测器用于从融合点云中识别出目标对象。
可选地,该装置还包括:滤波模块,用于通过滤波降噪算法,对毫米波雷达采集到的2D点云集合中的点云进行噪点去除,输出置信度超过预定值的点云团;缓存模块,用于将点云团中的点云按照采集时间顺序存储至缓存区,得到毫米波雷达点云序列,其中毫米波雷达点云序列中的每个点云赋予时间戳。
可选地,该处理模块包括:匹配模块,用于当激光雷达采集到一帧激光雷达点云时,根据该帧激光雷达点云的时间戳在毫米波雷达点云队列中进行匹配;得到模块,用于如果从毫米波雷达点云队列中匹配到相同时间点的点云时,得到一组匹配成功的目标点云集。
根据本发明实施例的另一个方面,还提供了一种电子设备,包括:一个或多个处理器;存储装置,用于存储一个或多个程序;当一个或多个程序被一个或多个处理器执行,使得一个或多个处理器执行上述任意一项的车辆采集到的雷达点云数据的处理方法。
根据本发明实施例的另一个方面,还提供了一种非易失性存储介质,该非易失性存储介质包括存储的程序,其中,在上述程序运行时控制所在设备的处理器中执行上述任意一项车辆采集到的雷达点云数据的处理方法。
在本发明实施例中,首先获取雷达感知系统采集到的原始点云数据,其中,原始点云数据至少包括:毫米波雷达采集到的2D点云集合,以及激光雷达采集到的3D点云集合;将2D点云集合与3D点云集合中的点云进行逐点匹配,输出至少一组匹配成功的目标点云集,其中,每组目标点云集中包括:采集时间同步的两帧点云;将目标点云集分别输入至点云融合器,对目标点云集中的两帧点云进行前融合,得到融合点云,其中,前融合对两帧点云进行信息互补,并保留原始信息;将融合点云输入至检测器,其中,检测器用于从融合点云中识别出目标对象,实现了提高检测准确度的目的。容易注意到的是,通过前融合的方式对目标点云集合中的两帧点云进行融合,能够保留原始信息,从而可以避免出现信息丢失的问题,从而可以提高对目标对象进行检测的准确度,进而解决了相关技术中对目标对象的检测准确度较低技术问题。
附图说明
此处所说明的附图用来提供对本发明的进一步理解,构成本申请的一部分,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:
图1根据本发明实施例的一种整体前融合过程的流程图;
图2是根据本发明实施例中的一种可选的整体前融合过程的示意图;
图3是根据本发明实施例中的一种可选的点云编码方式示意图;
图4是根据实施例中一种可选地后融合过程示意图;
图5是根据实施例的一种可选地后融合过程的结构框图;
图6是根据本发明实施例中的一种可选的点云同步存取过程示意图;
图7是根据本发明实施例中的一种可选的点云融合信息筛选合并过程的流程图;
图8是根据本发明实施例中的一种体素化示意图;
图9是根据本发明实施例中的一种车辆采集到的雷达点云数据的处理装置示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分的实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。
需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
实施例1
根据本发明实施例,提供了一种车辆采集到的雷达点云数据处理方法实施例,需要说明的是,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
图1是根据本发明实施例的一种整体前融合过程的流程图,如图1所示,该方法包括如下步骤:
步骤S102,获取雷达感知系统采集到的原始点云数据。
其中,原始点云数据至少包括:毫米波雷达采集到的2D点云集合,以及激光雷达采集到的3D点云集合。
图2是根据本发明实施例中的一种可选的整体前融合过程的示意图,如图2所示,首先将成像毫米波雷达点云进行点云去燥以及序列缓存,将缓存后的点云序列和激光雷达点云进行点云同步提取,之后再进行点云前融合,将融合后的点云放入检测器进行目标检测。
上述的雷达感知系统可以是L3以上级别自动驾驶汽车中的重要组成部分,L3级别已经配备了自适应巡航、车道保持、主动刹车及加速等功能。该系统可以用无线电的方法发现目标并测定目标的空间位置,因此也被称为“无线电定位”,其可以利用电磁波探测目标,可选的,在利用电磁波探测目标时,雷达可以发射电磁波对目标进行照射并接收其回波,由此获得目标至电磁波发射点的距离、距离变化率(径向速度)、方位、高度等信息。
上述的原始云数据是指雷达感知系统采集到的未经处理的原始数据信息,其特点是数据量大,并且包含的信息丰富。
上述的雷达感知系统中所使用的雷达可以为激光雷达、毫米波雷达、超声波雷达等。本申请实施例中以激光雷达和毫米波雷达为例进行说明。
在一种可选的实施例中,激光雷达在采集3D点云集合时,可以主动向待测空间区域发射激光光束,并接受返回的信号,可以将返回的信号与发射信号进行比较生成3D点云集合。在另一种可选的实施例中,毫米波雷达可以向待测空间区域发射激光光束,并接受返回的信号,可以将返回的信号与发射信号进行比较生成2D点云集合。
步骤S104,将2D点云集合与3D点云集合中的点云进行逐点匹配,输出至少一组匹配成功的目标点云集。
其中,每组目标点云集中包括:采集时间同步的两帧点云。
上述的逐点匹配指将上述采集到的2D点云集合以及3D点云集合根据采集时间进行匹配,若匹配到的时间点相同,则说明该点云匹配成功。
在一种可选的实施例中,可以获取2D点云集合和3D点云集合的采集时间,并根据2D点云集合和3D点云集合的采集时间对2D点云集合和3D点云集合进行匹配,若存在两帧点云的采集时间相同,则说明该两帧点云匹配成功,在对2D点云集合和3D点云集合全部匹配完成之后,可以输出至少一组匹配成功的目标点云集。
步骤S106,将目标点云集分别输入至点云融合器,对目标点云集中的两帧点云进行前融合,得到融合点云。
其中,前融合为对两帧点云进行信息互补,并保留原始信息。
上述的点云融合器用于将已有的点云集合进行融合,点云的融合就是配准过程,可以将激光雷达收集到的3D点云集合和毫米波雷达收集到的2D点云集合进行融合,得到融合后的信息。
上述的原始信息指两种点云未经融合前所包含的数据。
在一种可选的实施例中,由于毫米波雷达点云的帧率高,需要先存储起来用于和后续的激光雷达点云进行同步获取,因此可以通过点云融合器对目标点云集进行点云同步抽取和序列缓存。在缓存的过程中,可以先将已获取的毫米波雷达点云加入缓存队列,按照时间先后顺序给缓存队列中的点云进行排序,设备将会给每一个点云赋予一个时间戳,待获取到同步的激光雷达点云信息后,就得到相互匹配的一帧毫米波雷达点云和一帧激光雷达点云,此时可将相互匹配的信息进行融合。
在另一种可选的实施例中,为了获得更为准确的信息,在融合前可对点云进行编码,图3是根据本发明实施例中的一种可选的点云编码方式示意图,如图3所示,其中,xyz为点云的位置信息、ir为毫米波反射率、il为激光反射率、v为毫米波雷达点云速度、s为传感器来源。可以根据xyz、ir、il、v、s等信息对点云进行编码。除此之外,由于毫米波雷达点云和激光雷达点云在同一空间位置会有重复信息,在不同物体和距离上也会有不同的准确度优势,因此还需要进行信息筛选。
在另一种可选地实施例中,可采用后融合技术将毫米波雷达点云和激光雷达点云进行融合,图4是根据实施例中一种可选地后融合过程示意图,如图4所示,可以对点云和毫米波目标进行多层级自标定,可以将标定之后的数据进行深度融合检测,可选地,可以通过深度感知模型和雨雾尘感知模型,对目标存在状态进行融合,根据融合后的状态进行检测。图5是根据实施例的一种可选地后融合过程的结构框图,如图5所示,可以通过摄像头和激光雷达获取目标的图像,并对目标的图像进行特征提取,得到图像特征图,和点云鸟瞰特征图,通过毫米波雷达生成目标的感兴趣区域,根据感兴趣区域对点云鸟瞰图和图形特征图进行剪裁和调整尺寸,并进行融合,通过全连接层进行检测,基于非极大值抑制,最后输出检测结果。将毫米波雷达点云和激光雷达点云分别用各自的检测算法进行处理,处理完成后,以目标框形式输出,上述目标框为一种输出形式。
步骤S108,将融合点云输入至检测器,其中,检测器用于从融合点云中识别出目标对象。
上述的目标对象可以是待识别的对象,例如,其他车辆、障碍物、交通信号灯等,但不仅限于此。
在一种可选的实施例中,可以将融合点云输入至检测器中,由于融合后的点云精确度较高,因此,通过检测器对该融合点云进行检测,可以提高得到的目标对象的准确度。
通过上述步骤,首先获取雷达感知系统采集到的原始点云数据,其中,原始点云数据至少包括:毫米波雷达采集到的2D点云集合,以及激光雷达采集到的3D点云集合;将2D点云集合与3D点云集合中的点云进行逐点匹配,输出至少一组匹配成功的目标点云集,其中,每组目标点云集中包括:采集时间同步的两帧点云;将目标点云集分别输入至点云融合器,对目标点云集中的两帧点云进行前融合,得到融合点云,其中,前融合对两帧点云进行信息互补,并保留原始信息;将融合点云输入至检测器,其中,检测器用于从融合点云中识别出目标对象,实现了提高检测准确度的目的,容易注意到的是,通过前融合的方式对目标点云集合中的两帧点云进行融合,能够保留原始信息,从而可以避免出现信息丢失的问题,从而可以提高对目标对象进行检测的准确度,进而解决了相关技术中对目标对象的检测准确度较低技术问题。
可选地,在将2D点云集合与3D点云集合中的点云进行逐点匹配之前,该方法还包括:通过滤波降噪算法,对毫米波雷达采集到的2D点云集合中的点云进行噪点去除,输出置信度超过预定值的点云团;将点云团中的点云按照采集时间顺序存储至缓存区,得到毫米波雷达点云序列,其中,上述毫米波雷达点云序列中的每个点云赋予时间戳。
上述滤波降噪算法为一种常用算法,该算法可以去掉特定频段的信号,以达成降噪目的。
在一种可选的实施例中,可以通过成像毫米波雷达硬件设备获取原始2D点云集合,通过滤波降噪算法,对原始2D点云集合进行噪点去除。由于2D点云集合的置信度相对于3D点云集合的置信度较低,因此可以对2D点云集合进行降噪处理,得到置信度较高的点云团,此处置信度较高的点云团指可靠程度较高的一系列点云。在完成降噪过滤后,可以将置信度较高的点云存储入缓存区中。其中,由于2D点云集合中含的毫米波雷达点云帧率较高,因此需要先存储起来用于和后续的激光雷达点云来同步的获取,在获取到同步的激光雷达点云后,则可以将点云送入点云融合器中进行融合。
可选地,将2D点云集合与3D点云集合中的点云进行逐点匹配,输出至少一组匹配成功的目标点云集。
在一种可选的实施例中,当激光雷达采集到一帧激光雷达点云时,可以根据该帧毫米波雷达点云的时间戳在已经缓存好的激光雷达点云队列中进行匹配;如果可以从毫米波雷达点云队列中匹配到相同时间点的点云时,则可以得到一组匹配成功的目标点云集。
该步骤中涉及到了点云的缓存与同步,图6是根据本发明实施例中一种可选地点云同步存取过程示意图,如图6所示,将毫米波雷达采集到的毫米波雷达点云进行缓存,之后再和同一时间激光雷达采集到的激光雷达点云进行逐点匹配,最终输出匹配点云。激光雷达的帧率为10hz,毫米波雷达的帧率一般为15hz-20hz之间,因此需要对毫米波雷达采集到的2D点云集合进行缓存,可以将历史帧的消息缓存入队列中,并且以时间进行排序,给每一个点云赋予一个时间戳;其中,该时间戳由采集点云的设备产生,可选的,可以使用全球定位系统的时间或者统一的同步源产生的时间戳给每一个点云打点。当这一帧的激光雷达点云生成的时候,根据这一帧采集到的毫米波雷达点云的时间戳在毫米波雷达缓存队列匹配对应时间点的点云点,并将其加入逐点匹配点云集合中。该集合便是匹配上的点云,并且适配了不同传感器源的帧率差别。
可选地,将每组目标点云集输入至点云融合器,对目标点云集中的两帧点云进行前融合,得到融合点云包括:将所有目标点云集输入至点云融合器;点云融合器对所有目标点云集进行点云体素化,得到多个体素,其中,每个体素中包括多组目标点云集;剔除每个体素中存在异常的目标点云集,得到置信度大于阈值的目标点云集,其中,每组目标点云集包括:来自毫米波雷达的毫米波雷达点云的点云信息,以及来自激光雷达的激光雷达点云的点云信息;将来自毫米波雷达的点云的点云信息,以及来自激光雷达的点云的点云信息进行融合,得到每组目标点云集的融合点云,其中,融合点云的点云数据至少包括:点云的空间位置信息、毫米波反射率、激光反射率、速度信息和传感器信息。
在一种可选的实施例中,可以将所有的已经匹配好的目标点云集输入至点云融合器;点云融合器可以对所有目标点云集进行点云体素化,得到多个体素。其中,体素化是指将物体的几何形式表示转换成最接近该物体的体素表示形式产生体数据集,该体数据集不仅包含模型的表面信息,而且能描述模型的内部属性。图7是根据本发明实施例中的一种可选的点云融合信息筛选合并过程的流程图,如图7所示,先将点云进行体素化,求出信息均值,将每个点与均值点进行比较并剔除掉异常点,此处异常点可理解为该点与均值相差较大,之后进行维度泛化,并通过距离、反射率、点数比例等进行信息筛选,最终输出融合点云。图8是根据本发明实施例中的一种体素化示意图。如图8所示,通过体素化将激光雷达点云和毫米波雷达点云分配到边长为d的立方体中,其中,小方点代表毫米波雷达点云,小圆点代表激光雷达点云。求取这个体素中的xyz,ir,il,v的均值,其中xyz表示位置信息,ir表示毫米波反射率,il表示激光反射率,v表示速度。通过将每个点与均值点进行比较,剔除离群点,此处离群点可理解为参数与均值相差较大的点。最后根据距离、反射率信息、点数比例确定每一个点数的置信度,若置信度大于阈值的点得到保留。此处,置信度可理解为可靠程度,阈值为设定好的参考值。筛选完成后可将一帧2D点云和一帧3D点云进行前融合,得到融合点云。融合点云的点云数据至少包括:点云的空间位置信息、毫米波反射率、激光反射率、速度信息和传感器信息。
以下为信息筛选过程中的置信度的测算方法:
confidence=dis·wd+intensity·wi+(ptsradar/ptslidar+radar)·wrr·s+(ptslidar/ptslidar+radar)·wrl·(1-s)
其中,confidec为置信度;dis为距离;wd为距离权重;intensity为反射率;wi为反射率权重;ptsradar为毫米波点云点数;ptslidar为激光雷达点云点数;ptslidar+radar为总点数;wrr为毫米波雷达电云比例权重;wrl为激光雷达点云比例权重;s为传感器感染源0:激光雷达1:毫米波雷达。
在一种可选地实施例中,通过利用成像2D点云毫米波雷达的3D成像能力,将其和3D点云进行点云级别融合的方式,通过同步过滤保留了点云的原始信息,给后端的检测算法提供的信息更加全面的,从而使特征提取和目标检测更加准确。
可选地,通过将毫米波雷达点云的速度信息带入激光雷达点云的点云信息中,来拓展所述激光雷达点云中缺失的维度,使得所述融合完成。
由于激光雷达点云点云没有速度信息,因此,可以使用毫米波雷达点云求取得速度均值带入激光雷达点云中,来拓展激光雷达点云的缺失的维度。
实施例2
根据本发明实施例,提供了一种车辆采集到的雷达点云数据的处理装置,该装置用于实现上述实施例及优选实施方式,已经进行过说明的不再赘述。如图9所示,该装置包括:获取模块902,用于获取雷达感知系统采集到的原始点云数据,其中,原始点云数据至少包括:毫米波雷达采集到的2D点云集合,以及激光雷达采集到的3D点云集合;处理模块904,用于将2D点云集合与3D点云集合中的点云进行逐点匹配,输出至少一组匹配成功的目标点云集,其中,每组目标点云集中包括:采集时间同步的两帧点云;融合模块906,用于将目标点云集分别输入至点云融合器,对目标点云集中的两帧点云进行前融合,得到融合点云,其中,前融合对两帧点云进行信息互补,并保留原始信息;输出模块908,用于将融合点云输入至检测器,其中,检测器用于从融合点云中识别出目标对象。
可选地,该装置还包括:滤波模块,用于通过滤波降噪算法,对毫米波雷达采集到的2D点云集合中的点云进行噪点去除,输出置信度超过预定值的点云团;缓存模块,用于将点云团中的点云按照采集时间顺序存储至缓存区,得到毫米波雷达点云序列,其中,毫米波雷达点云序列中的每个点云赋予时间戳。
可选地,处理模块包括:匹配模块,用于当激光雷达采集到一帧激光雷达点云时,根据该帧激光雷达点云的时间戳在毫米波雷达点云队列中进行匹配;得到模块,用于如果从毫米波雷达点云队列中匹配到相同时间点的点云时,得到一组匹配成功的目标点云集。
可选地,融合模块包括:输入模块,用于将所有目标点云集输入至点云融合器;体素化模块,用于通过点云融合器对所有目标点云集进行点云体素化,得到多个体素,其中,每个体素中包括多组目标点云集;剔除模块,用于剔除每个体素中存在异常的目标点云集,得到置信度大于阈值的目标点云集,其中,每组目标点云集包括:来自毫米波雷达的毫米波雷达点云的点云信息,以及来自激光雷达的激光雷达点云的点云信息;点云融合模块,用于将来自毫米波雷达的点云的点云信息,以及来自激光雷达的点云的点云信息进行融合,得到每组目标点云集的融合点云,其中,融合点云的点云数据至少包括:点云的空间位置信息、毫米波反射率、激光反射率、速度信息和传感器信息。
可选地,该装置还用于通过将毫米波雷达点云的速度信息带入激光雷达点云的点云信息中,来拓展激光雷达点云中缺失的维度,使得融合完成。
实施例3
根据本发明实施例,提出了一种电子设备,包括:一个或多个处理器;存储装置,用于存储一个或多个程序;当一个或多个程序被一个或多个处理器执行,使得一个或多个处理器执行上述车辆采集到的雷达点云数据的处理方法。
实施例4
根据本发明实施例,提出了一种非易性存储介质,其中非易性存储介质包括存储的程序,其中,在程序运行时控制所在设备的处理器中执行上述车辆采集到的雷达点云数据的处理方法。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
在本发明的上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中,应该理解到,所揭露的技术内容,可通过其它的方式实现。其中,以上所描述的装置实施例仅仅是示意性的,例如所述单元的划分,可以为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,单元或模块的间接耦合或通信连接,可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种车辆采集到的雷达点云数据的处理方法,其特征在于,所述车辆上部署有雷达感知系统,其中,所述方法包括:
获取所述雷达感知系统采集到的原始点云数据,其中,所述原始点云数据至少包括:毫米波雷达采集到的2D点云集合,以及激光雷达采集到的3D点云集合;
将所述2D点云集合与所述3D点云集合中的点云进行逐点匹配,输出至少一组匹配成功的目标点云集,其中,每组目标点云集中包括:采集时间同步的两帧点云;
将目标点云集分别输入至点云融合器,对所述目标点云集中的两帧点云进行前融合,得到融合点云,其中,所述前融合为对所述两帧点云进行信息互补,并保留原始信息;
将所述融合点云输入至检测器,其中,所述检测器用于从融合点云中识别出目标对象。
2.根据权利要求1所述的方法,其特征在于,在将所述2D点云集合与所述3D点云集合中的点云进行逐点匹配之前,所述方法还包括:
通过滤波降噪算法,对所述毫米波雷达采集到的2D点云集合中的点云进行噪点去除,输出置信度超过预定值的点云团;
将所述点云团中的点云按照采集时间顺序存储至缓存区,得到毫米波雷达点云序列,其中,所述毫米波雷达点云序列中的每个点云赋予时间戳。
3.根据权利要求2所述的方法,其特征在于,将所述2D点云集合与所述3D点云集合中的点云进行逐点匹配,输出至少一组匹配成功的目标点云集,包括:
当所述激光雷达采集到一帧激光雷达点云时,根据该帧激光雷达点云的时间戳在所述毫米波雷达点云队列中进行匹配;
如果从所述毫米波雷达点云队列中匹配到相同时间点的点云时,得到一组匹配成功的所述目标点云集。
4.根据权利要求3所述的方法,其特征在于,将每组目标点云集输入至点云融合器,对所述目标点云集中的两帧点云进行前融合,得到融合点云包括:
将所有目标点云集输入至所述点云融合器;
所述点云融合器对所述所有目标点云集进行点云体素化,得到多个体素,其中,每个体素中包括多组目标点云集;
剔除每个体素中存在异常的目标点云集,得到置信度大于阈值的目标点云集,其中,每组目标点云集包括:来自所述毫米波雷达的毫米波雷达点云的点云信息,以及来自所述激光雷达的激光雷达点云的点云信息;
将来自所述毫米波雷达的点云的点云信息,以及来自所述激光雷达的点云的点云信息进行融合,得到所述每组目标点云集的融合点云,其中,所述融合点云的点云数据至少包括:点云的空间位置信息、毫米波反射率、激光反射率、速度信息和传感器信息。
5.根据权利要求4所述的方法,其特征在于,通过将所述毫米波雷达点云的速度信息带入所述激光雷达点云的点云信息中,来拓展所述激光雷达点云中缺失的维度,使得所述融合完成。
6.一种车辆采集到的雷达点云数据的处理装置,其特征在于,包括:
获取模块,用于获取雷达感知系统采集到的原始点云数据,其中,所述原始点云数据至少包括:毫米波雷达采集到的2D点云集合,以及激光雷达采集到的3D点云集合;
处理模块,用于将所述2D点云集合与所述3D点云集合中的点云进行逐点匹配,输出至少一组匹配成功的目标点云集,其中,每组目标点云集中包括:采集时间同步的两帧点云;
融合模块,用于将目标点云集分别输入至点云融合器,对所述目标点云集中的两帧点云进行前融合,得到融合点云,其中,所述前融合对所述两帧点云进行信息互补,并保留原始信息;
输出模块,用于将所述融合点云输入至检测器,其中,所述检测器用于从融合点云中识别出目标对象。
7.根据权利要求6所述的装置,其特征在于,所述装置还包括:
滤波模块,用于通过滤波降噪算法,对所述毫米波雷达采集到的2D点云集合中的点云进行噪点去除,输出置信度超过预定值的点云团;
缓存模块,用于将所述点云团中的点云按照采集时间顺序存储至缓存区,得到毫米波雷达点云序列,其中,所述毫米波雷达点云序列中的每个点云赋予时间戳。
8.根据权利要求7所述的装置,其特征在于,所述处理模块包括:
匹配模块,用于当所述激光雷达采集到一帧激光雷达点云时,根据该帧激光雷达点云的时间戳在所述毫米波雷达点云队列中进行匹配;
得到模块,用于如果从所述毫米波雷达点云队列中匹配到相同时间点的点云时,得到一组匹配成功的所述目标点云集。
9.一种电子设备,其特征在于,包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序;
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器执行权利要求1-5中任意一项所述的车辆采集到的雷达点云数据的处理方法。
10.一种非易失性存储介质,其特征在于,所述非易失性存储介质包括存储的程序,其中,在所述程序运行时控制所在设备的处理器中执行权利要求1-5中任意一项所述的车辆采集到的雷达点云数据的处理方法。
CN202210391973.7A 2022-04-14 2022-04-14 车辆采集到的雷达点云数据的处理方法、装置及电子设备 Pending CN114763997A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210391973.7A CN114763997A (zh) 2022-04-14 2022-04-14 车辆采集到的雷达点云数据的处理方法、装置及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210391973.7A CN114763997A (zh) 2022-04-14 2022-04-14 车辆采集到的雷达点云数据的处理方法、装置及电子设备

Publications (1)

Publication Number Publication Date
CN114763997A true CN114763997A (zh) 2022-07-19

Family

ID=82365007

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210391973.7A Pending CN114763997A (zh) 2022-04-14 2022-04-14 车辆采集到的雷达点云数据的处理方法、装置及电子设备

Country Status (1)

Country Link
CN (1) CN114763997A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115393680A (zh) * 2022-08-08 2022-11-25 武汉理工大学 雾天场景下多模态信息时空融合的3d目标检测方法及系统
CN115407304A (zh) * 2022-08-30 2022-11-29 中国第一汽车股份有限公司 点云数据的处理方法及处理装置
KR102548786B1 (ko) * 2023-01-04 2023-06-29 영남대학교 산학협력단 라이다 센서를 이용하여 공간 모델을 생성하는 장치, 방법 및 시스템
KR102548791B1 (ko) * 2023-01-04 2023-06-29 영남대학교 산학협력단 다수의 라이다 센서를 이용하여 사각지대 정보를 제공하는 장치, 방법 및 시스템
CN116381674A (zh) * 2023-06-02 2023-07-04 陕西欧卡电子智能科技有限公司 一种水面激光雷达点云与毫米波雷达点云的融合方法

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108152831A (zh) * 2017-12-06 2018-06-12 中国农业大学 一种激光雷达障碍物识别方法及系统
CN110018470A (zh) * 2019-03-01 2019-07-16 北京纵目安驰智能科技有限公司 基于多传感器前融合的实例标注方法、模型、终端和存储介质
CN111192295A (zh) * 2020-04-14 2020-05-22 中智行科技有限公司 目标检测与跟踪方法、相关设备和计算机可读存储介质
CN112666557A (zh) * 2020-11-20 2021-04-16 芜湖格陆博智能科技有限公司 基于激光雷达和毫米波雷达获取矿区信息的方法
CN113158763A (zh) * 2021-02-23 2021-07-23 清华大学 4d毫米波和激光点云多视角特征融合的三维目标检测方法
CN113255481A (zh) * 2021-05-11 2021-08-13 北方工业大学 一种基于无人巡逻车的人群状态检测方法
CN113687349A (zh) * 2021-09-23 2021-11-23 上海大学 基于多传感器融合的无人艇海面目标追踪方法及装置
CN113866779A (zh) * 2020-06-30 2021-12-31 上海商汤智能科技有限公司 点云数据的融合方法、装置、电子设备及存储介质
CN114167407A (zh) * 2021-11-29 2022-03-11 中汽创智科技有限公司 一种多雷达融合感知处理方法、装置、车辆及存储介质
CN114169356A (zh) * 2020-08-19 2022-03-11 北京万集科技股份有限公司 信息补全方法、装置、计算机设备和存储介质

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108152831A (zh) * 2017-12-06 2018-06-12 中国农业大学 一种激光雷达障碍物识别方法及系统
CN110018470A (zh) * 2019-03-01 2019-07-16 北京纵目安驰智能科技有限公司 基于多传感器前融合的实例标注方法、模型、终端和存储介质
CN111192295A (zh) * 2020-04-14 2020-05-22 中智行科技有限公司 目标检测与跟踪方法、相关设备和计算机可读存储介质
CN113866779A (zh) * 2020-06-30 2021-12-31 上海商汤智能科技有限公司 点云数据的融合方法、装置、电子设备及存储介质
CN114169356A (zh) * 2020-08-19 2022-03-11 北京万集科技股份有限公司 信息补全方法、装置、计算机设备和存储介质
CN112666557A (zh) * 2020-11-20 2021-04-16 芜湖格陆博智能科技有限公司 基于激光雷达和毫米波雷达获取矿区信息的方法
CN113158763A (zh) * 2021-02-23 2021-07-23 清华大学 4d毫米波和激光点云多视角特征融合的三维目标检测方法
CN113255481A (zh) * 2021-05-11 2021-08-13 北方工业大学 一种基于无人巡逻车的人群状态检测方法
CN113687349A (zh) * 2021-09-23 2021-11-23 上海大学 基于多传感器融合的无人艇海面目标追踪方法及装置
CN114167407A (zh) * 2021-11-29 2022-03-11 中汽创智科技有限公司 一种多雷达融合感知处理方法、装置、车辆及存储介质

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115393680A (zh) * 2022-08-08 2022-11-25 武汉理工大学 雾天场景下多模态信息时空融合的3d目标检测方法及系统
CN115407304A (zh) * 2022-08-30 2022-11-29 中国第一汽车股份有限公司 点云数据的处理方法及处理装置
KR102548786B1 (ko) * 2023-01-04 2023-06-29 영남대학교 산학협력단 라이다 센서를 이용하여 공간 모델을 생성하는 장치, 방법 및 시스템
KR102548791B1 (ko) * 2023-01-04 2023-06-29 영남대학교 산학협력단 다수의 라이다 센서를 이용하여 사각지대 정보를 제공하는 장치, 방법 및 시스템
CN116381674A (zh) * 2023-06-02 2023-07-04 陕西欧卡电子智能科技有限公司 一种水面激光雷达点云与毫米波雷达点云的融合方法
CN116381674B (zh) * 2023-06-02 2023-08-22 陕西欧卡电子智能科技有限公司 一种水面激光雷达点云与毫米波雷达点云的融合方法

Similar Documents

Publication Publication Date Title
CN114763997A (zh) 车辆采集到的雷达点云数据的处理方法、装置及电子设备
CN110988912B (zh) 自动驾驶车辆的道路目标与距离检测方法、系统、装置
CN113412505B (zh) 用于对通过探测和测距传感器获得的点云进行有序表示和特征提取的处理单元和方法
CN111192295B (zh) 目标检测与跟踪方法、设备和计算机可读存储介质
CN110705543A (zh) 基于激光点云进行车道线识别的方法和系统
FR3020616A1 (fr) Dispositif de signalisation d'objets a un module de navigation de vehicule equipe de ce dispositif
CN112329754B (zh) 障碍物识别模型训练方法、障碍物识别方法、装置及系统
CN106080397A (zh) 自适应巡航系统及车载设备
CN115876198A (zh) 基于数据融合的目标检测及预警方法、设备、系统和介质
US11879992B2 (en) Method for identifying static radar targets using a radar sensor for motor vehicles
CN114675295A (zh) 一种障碍物判定的方法、装置、设备及存储介质
CN114706070A (zh) 一种基于4d毫米波雷达的自动泊车车位搜索方法和系统
Engelhardt et al. Occupancy grids generation using deep radar network for autonomous driving
CN116184357B (zh) 一种地面点云数据处理方法、装置、电子装置和存储介质
CN117192513A (zh) 一种雪天环境下路侧激光雷达背景过滤方法
US20230258813A1 (en) LiDAR Free Space Data Generator and LiDAR Signal Processing Method Using Multi-Modal Noise Filtering Scheme
CN114492676B (zh) 一种目标检测模型的构建方法、装置和电子设备
CN115965847A (zh) 交叉视角下多模态特征融合的三维目标检测方法和系统
CN116587978A (zh) 一种基于车载显示屏的碰撞预警方法及系统
CN115359332A (zh) 基于车路协同的数据融合方法、装置、电子设备及系统
CN114359891A (zh) 一种三维车辆检测方法、系统、装置及介质
CN114842442A (zh) 道路边界获取方法、道路边界获取装置和车辆
CN114170126B (zh) 一种点云稠密化方法、装置和电子设备
CN111414848B (zh) 一种全类别3d障碍物检测方法、系统和介质
CN115825901B (zh) 一种车载传感器感知性能评测真值系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination