CN112051575A - 一种毫米波雷达与激光雷达的调整方法及相关装置 - Google Patents

一种毫米波雷达与激光雷达的调整方法及相关装置 Download PDF

Info

Publication number
CN112051575A
CN112051575A CN202010899792.6A CN202010899792A CN112051575A CN 112051575 A CN112051575 A CN 112051575A CN 202010899792 A CN202010899792 A CN 202010899792A CN 112051575 A CN112051575 A CN 112051575A
Authority
CN
China
Prior art keywords
millimeter wave
point cloud
cloud data
yaw angle
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010899792.6A
Other languages
English (en)
Other versions
CN112051575B (zh
Inventor
蔡健
冯荻
杜杭肯
吴涤豪
韩旭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Jingqi Technology Co ltd
Guangzhou Weride Technology Co Ltd
Original Assignee
Guangzhou Jingqi Technology Co ltd
Guangzhou Weride Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Jingqi Technology Co ltd, Guangzhou Weride Technology Co Ltd filed Critical Guangzhou Jingqi Technology Co ltd
Priority to CN202010899792.6A priority Critical patent/CN112051575B/zh
Publication of CN112051575A publication Critical patent/CN112051575A/zh
Application granted granted Critical
Publication of CN112051575B publication Critical patent/CN112051575B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88Radar or analogous systems specially adapted for specific applications
    • G01S13/93Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/93Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/40Means for monitoring or calibrating
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497Means for monitoring or calibrating

Abstract

本发明公开了一种毫米波雷达与激光雷达的调整方法及相关装置,该方法包括:获取激光雷达检测的激光点云数据、毫米波雷达检测的毫米波点云数据;基于激光点云数据与毫米波点云数据之间的匹配程度,对毫米波雷达设置偏航角;在毫米波雷达应用偏航角的条件下,基于激光点云数据与毫米波点云数据之间的匹配程度,对毫米波雷达设置平移量;根据偏航角与平移量标定毫米波雷达的外参。将激光点云数据与毫米波点云数据进行匹配,以圈定偏航角的角度范围,在角度范围内基于匹配程度进一步获取平移量,最终得到标定的外参,整个标定过程无需依赖特殊外部设备,基于匹配能保证标定的准确性,提高了标定的效率,该方法具有较好的泛用性。

Description

一种毫米波雷达与激光雷达的调整方法及相关装置
技术领域
本发明实施例涉及自动驾驶技术,尤其涉及一种毫米波雷达与激光雷达的调整方法及相关装置。
背景技术
为了实现车辆自动驾驶系统,车载激光雷达和毫米波雷达作为必要的传感器,用于感知周边环境信息做障碍物的检测和识别,进而实现自动驾驶车辆的决策和控制。
为了能更好的融合各类传感器获取的环境感知数据,取长补短,相辅相成,对各传感器之间的相对位姿进行准确标定十分重要。
现有的毫米波雷达相对于激光雷达的标定技术有:(1)采用手工物理测量的方式,此方法精度差,效率低;(2)采用特殊设计的标定装置(如,角反射器)的方式,此方法依赖特殊外部设备,且大多要在特定场地内进行,通用性较差,不易扩展。
发明内容
本发明提供一种毫米波雷达与激光雷达的调整方法及相关装置,以解决毫米波雷达相对于激光雷达的标定、效率低下且标定方法通用性较差的问题。
第一方面,本发明实施例提供了一种毫米波雷达与激光雷达的调整方法,包括:
获取激光雷达检测的激光点云数据、毫米波雷达检测的毫米波点云数据;
基于所述激光点云数据与所述毫米波点云数据之间的匹配程度,对所述毫米波雷达设置偏航角;
在所述毫米波雷达应用所述偏航角的条件下,基于所述激光点云数据与所述毫米波点云数据之间的匹配程度,对所述毫米波雷达设置平移量;
根据所述偏航角与所述平移量标定所述毫米波雷达的外参。
第二方面,本发明实施例还提供了一种毫米波雷达与激光雷达的调整装置,包括:
数据获取模块,用于获取激光雷达检测的激光点云数据、毫米波雷达检测的毫米波点云数据;
偏航角获取模块,用于基于所述激光点云数据与所述毫米波点云数据之间的匹配程度,对所述毫米波雷达设置偏航角;
平移量获取模块,用于在所述毫米波雷达应用所述偏航角的条件下,基于所述激光点云数据与所述毫米波点云数据之间的匹配程度,对所述毫米波雷达设置平移量;
外参标定模块,用于根据所述偏航角与所述平移量标定所述毫米波雷达的外参。
第三方面,本发明实施例还提供了一种计算机设备,所述计算机设备包括:
一个或多个处理器;
存储器,用于存储一个或多个程序,
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如第一方面所述的毫米波雷达与激光雷达的调整方法。
第四方面,本发明实施例还提供了一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现如第一方面所述的毫米波雷达与激光雷达的调整方法。
本发明通过获取激光雷达检测的激光点云数据、毫米波雷达检测的毫米波点云数据;基于激光点云数据与毫米波点云数据之间的匹配程度,对毫米波雷达设置偏航角;在毫米波雷达应用偏航角的条件下,基于激光点云数据与毫米波点云数据之间的匹配程度,对毫米波雷达设置平移量;根据偏航角与平移量标定毫米波雷达的外参。将激光点云数据与毫米波点云数据进行匹配,根据匹配程度来圈定标定外参中偏航角的角度范围,在角度范围内确定适于标定的最优偏航角,在偏航角的基础上,基于激光点云数据与毫米波点云数据之间的匹配程度进一步获取最优平移量,结合最优偏航角与最优平移量,最终得到标定的外参,搜索最优偏航角与最优平移量的过程是一个从粗颗粒度到细颗粒度的计算过程,即先以一个较大的步长搜索整个参数空间,再在某个子空间内细化搜索粒度,不断进行直至收敛,能够提升毫米波雷达与激光雷达进行位姿调整的标定精度,无需依赖特殊外部设备对毫米波雷达进行标定,基于匹配和搜索的技术手段能保证标定的准确性,标定外参的获取无需人工干预,提高了标定的效率,该方法具有较好的泛用性,易于扩展。
附图说明
图1为本发明实施例提供的无人驾驶车辆的结构示意图;
图2为本发明实施例一提供的一种毫米波雷达与激光雷达的调整方法的流程图;
图3是本发明实施例二提供的一种毫米波雷达与激光雷达的调整方法的流程图;
图4为本发明实施例三提供的一种毫米波雷达与激光雷达的调整装置的结构示意图;
图5为本发明实施例四提供的一种计算机设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释本发明,而非对本发明的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与本发明相关的部分而非全部结构。
获取传感器间的相对位姿(包括相对位置和朝向)的过程即为传感器联合标定的过程。通过标定即可将所有传感器信息统一到同一个坐标系下做处理,从而对车辆基于环境的多传感器检测信息进行融合、感知、规划、决策、控制等等。
激光雷达因其高分辨率、360度全方位、三维立体环境感知的能力,在整个车载自动驾驶系统中发挥着重要的作用。
其中,激光雷达能够采集周围环境的三维激光点云数据,可以得到精确的三维空间点云信息。毫米波雷达可以探测出周围物体的相对距离、速度,但它得到的反射点相比于激光雷达采集的点云十分稀疏、噪点较多且缺少精确三维坐标信息。
因此,可以参考激光雷达的激光点云数据的坐标系,对毫米波雷达进行标定。标定输出的外部参数(外参)为毫米波雷达到激光雷达的相对位姿,包括三维相对位置和朝向的三维相对旋转。三维相对位置通常用三维位置坐标,即平移向量表示,朝向的三维相对旋转一般以旋转矩阵表示。
参见图1,示出了可以应用本发明实施例中毫米波雷达与激光雷达的调整方法、毫米波雷达与激光雷达的调整装置的实施例的无人驾驶车辆100。
如图1所示,无人驾驶车辆100可以包括驾驶控制设备101,车身总线102,ECU(Electronic Control Unit,电子控制单元)103、ECU 104、ECU 105,传感器106、传感器107、传感器108和执行器件109、执行器件110、执行器件111。
驾驶控制设备(又称为车载大脑)101负责整个无人驾驶车辆100的总体智能控制。驾驶控制设备101可以是单独设置的控制器,例如可编程逻辑控制器(ProgrammableLogicController,PLC)、单片机、工业控制机等;也可以是由其他具有输入/输出端口,并具有运算控制功能的电子器件组成的设备;还可以是安装有车辆驾驶控制类应用的计算机设备。驾驶控制设备可以对从车身总线102上接收到的各个ECU发来的数据和/或各个传感器发来的数据进行分析处理,作出相应的决策,并将决策对应的指令发送到车身总线。
车身总线102可以是用于连接驾驶控制设备101,ECU 103、ECU 104、ECU 105,传感器106、传感器107、传感器108以及无人驾驶车辆100的其他未示出的设备的总线。由于CAN(Controller AreaNetwork,控制器局域网络)总线的高性能和可靠性已被广泛认同,因此目前机动车中常用的车身总线为CAN总线。当然,可以理解的是车身总线也可以是其他类型的总线。
车身总线102可以将驾驶控制设备101发出的指令发送给ECU 103、ECU 104、ECU105,ECU 103、ECU 104、ECU 105再将上述指令进行分析处理后发给相应的执行器件执行。
传感器106、传感器107、传感器108包括但不限于激光雷达、相机、惯性测量单元、毫米波雷达,等等。
激光雷达作为无人驾驶领域常用的传感器,是一种使用激光对物体进行探测和测距的设备,其传感器内部具有一种旋转结构,能够每秒钟向环境发送数百万光脉冲,输出激光点云数据。
相机一般用于对无人驾驶车辆的周边环境拍摄图片,记录车辆行驶的场景。
惯性测量单元(Inertial Measurement Unit,IMU)是测量物体三轴姿态角(或角速率)以及加速度的装置,能提供车辆在世界坐标系下的精确坐标。一般的,一个惯性测量单元包含了三个单轴的加速度计和三个单轴的陀螺仪,加速度计也叫重力感应器,用于检测物体在载体坐标系统独立三轴的加速度信号,即通过测量组件在某个轴向的受力情况来得到轴向上的加速度大小和方向;而陀螺仪也叫地感器,用于检测载体相对于导航坐标系的角速度信号,测量物体在三维空间中的角速度和加速度,并以此解算出物体的姿态角,姿态角包括航向角、俯仰角和横滚角。有些惯性测量单元中还会集成有磁力计,磁力计也叫地磁、磁感器,可用于测试磁场强度和方向,定位设备的方位。
毫米波雷达(Radio detecting and ranging,Radar)是指工作在毫米波波段探测的雷达,通常毫米波是指长度在1~10mm的电磁波,对应的频率范围为30~300GHz。毫米波雷达可以实现对目标位置、速度等信息的精确测量,且具有全天时、全天候、低成本、低功耗、长寿命的特点。毫米波雷达能分辨识别很小的目标,而且能同时识别多个目标。毫米波雷达的原理是把电磁波(毫米波)发射出去,然后接收回波,根据收发的时间差测得目标的位置数据和相对距离。根据电磁波的传播速度,可以确定目标的距离公式为:s=c*t/2,其中s为目标距离,t为电磁波从雷达发射出去到接收到目标回波的时间,c为光速。毫米波雷达的基本任务是发射电磁波对目标进行照射并接收其回波,由此获得目标至电磁波发射点的探测距离、方向、速度等状态参数。毫米波雷达被广泛地应用在自适应巡航控制(ACC)、前向防撞报警(FCW)、盲点检测(BSD)、辅助停车(PA)、辅助变道(LCA)等车辆驾驶辅助系统中。
需要说明的是,本发明实施例所提供的毫米波雷达与激光雷达的调整方法可以由驾驶控制设备101执行,相应地,毫米波雷达与激光雷达的调整装置一般设置于驾驶控制设备101中。
应该理解,图1中的无人驾驶车辆、驾驶控制设备、车身总线、ECU、执行器件和传感器的数目仅仅是示意性的。根据实现需要,可以具有任意数目的无人驾驶车辆、驾驶控制设备、车身总线、ECU和传感器。
实施例一
图2为本发明实施例一提供的一种毫米波雷达与激光雷达的调整方法的流程图,本实施例可适用于对毫米波雷达与激光雷达进行联合标定、以调整毫米波雷达相对于激光雷达的位姿的情况,该方法可以由毫米波雷达与激光雷达的调整装置来执行,该装置可以由软件和/或硬件实现,可配置在计算机设备中,例如,无人驾驶车辆、机器人、无人飞行器等无人设备,以及,服务器、个人电脑等计算设备,等等,该方法具体包括如下步骤:
S101、获取激光雷达检测的激光点云数据、毫米波雷达检测的毫米波点云数据。
在本实施例中,获取激光雷达检测的多帧激光点云数据、毫米波雷达检测的多帧毫米波点云数据,针对每帧激光点云数据,计算激光点云数据与毫米波点云数据之间的第一时间间隔,若第一时间间隔小于预设的第一阈值,则确定激光点云数据与毫米波点云数据同步;或者,针对每帧毫米波点云数据,计算毫米波点云数据与激光点云数据之间的第二时间间隔;若第二时间间隔小于预设的第二阈值,则确定毫米波点云数据与激光点云数据同步。
进一步的,通过车载GPS及惯性测量单元等设备获取车辆在行驶时的位姿数据,将不同时刻下的位姿数据与激光点云数据进行数据同步,以完成对激光点云数据的运动补偿;具体的,针对每帧激光点云数据,计算激光点云数据与位姿数据之间的第三时间间隔,若第三时间间隔小于预设的第三阈值,则确定激光点云数据与位姿数据同步,将与激光点云数据同步的位姿数据,运动补偿至激光点云数据。
由于毫米波雷达在成像过程中的噪点较多,且原始激光点云数据中存在着一些冗余点并不利于标定精度的提高,因此,需要对激光雷达和毫米波雷达采集到的原始传感器数据进行清洗过滤,有利于后续标定过程的进行。
在一个示例中,可以采用高度值过滤的方法对激光点云数据进行去噪过滤,例如,基于激光点云数据在Z轴上的分布,设置上限值、下限值,若激光点云数据在Z轴上的数值大于上限值,则滤去激光点云数据,若激光点云数据在Z轴上的数值小于下限值,则滤除激光点云数据。
对激光点云数据进行过滤后,为了进一步将过滤后的激光点云数据与毫米波点云数据进行匹配,需要将三维的激光点云数据二维化,具体的,将激光点云数据从三维数据转换为二维数据,若转换完成,则按照在X轴上设置的第一精度、在Y轴设置的第二精度将激光点云数据分割为多个网格。
例如,为了使激光点云数据在二维化后便于存储,可以将三维的激光点云数据的坐标原点移动到整片点云的左上角,根据初始设定的X轴和Y轴方向的分辨率precisionx,precisiony,此时整个X-Y平面被分成了由很多不同(x,y)值组成的网格图,在内存中,这种网格图可用二维矩阵L来存储,矩阵中所有元素的初始值都设为0。对于激光点云数据中的每个点Pi进行投影,根据每个点的坐标(x,y)计算出其在以左上角为原点的坐标系下的新的坐标(x’,y’),再除以X轴和Y轴方向上的分辨率precisionx,precisiony,即可算出此点位于二维矩阵L中的位置,将矩阵对应位置上的元素值增加1;遍历激光点云数据中的每个点,可统计出激光点云数据在投影到二维X-Y平面内、网格图中被投影占据的网格的数量情况。
在本实施例中,可以采用非极大值抑制的方法剔除毫米波点云数据中存在的噪点,具体的,在预设的邻域内,若存在多个毫米波点云数据,则查询反射强度最强的毫米波点云数据,滤去除反射强度最强的毫米波点云数据之外的其他毫米波点云数据,只保留反射强度最强的点,作为有效的毫米波点云数据。
将有效的毫米波点云数据通过初始设定的外参,变换到激光雷达坐标系下。
S102、基于激光点云数据与毫米波点云数据之间的匹配程度,对毫米波雷达设置偏航角。
在本实施例中,获得在同一激光雷达坐标系下的网格化的激光点云数据与毫米波点云数据,在指定的偏航角下,计算毫米波点云数据与激光点云数据之间的匹配程度,作为目标匹配值;若目标匹配值最大,则基于目标匹配值对应的偏航角对毫米波雷达设置偏航角。
具体的,为了衡量在不同外参下的毫米波雷达与激光雷达的标定匹配情况,可以通过设计评分函数来计算当前毫米波雷达在初始标定后的位姿基础上、再旋转任意偏航角并移动任意平移量的情况下的得分,该得分可以用于衡量毫米波点云数据与激光点云数据之间的匹配程度。
在本实施例中,S102可以包括如下步骤:
S1021、针对每个毫米波点云数据,查询与毫米波点云数据相邻的激光点云数据。
在本实施例中,对毫米波点云数据进行网格化,可以按照X轴和Y轴方向上初始设定的分辨率,将整个X-Y平面划分为由很多不同(x,y)值组成的网格图,该网格图用二维矩阵进行存储,矩阵内每个元素的初始值都设为0。对于毫米波点云数据中的每个反射点Ri进行投影,将每个反射点除以X轴和Y轴方向上的分辨率得到此点位于二维矩阵中的位置,将矩阵对应位置上的元素值增加1;遍历毫米波点云数据中的每个反射点,可统计出毫米波点云数据在投影到二维X-Y平面内的网格图中的投影点数量。
针对每个单帧的毫米波点云数据,查询单帧毫米波点云数据中每个反射点的位置,基于该位置确定单个反射点的邻域,确定单帧毫米波点云数据与位于邻域中的激光点云数据相邻。
具体的,针对网格化后的毫米波点云数据,对每个(单帧)毫米波点云数据中的每个反射点构建预设半径的邻域,在邻域范围内,统计每个反射点周围的激光点云数据,记为Nneighbor,如下公式所示:
Figure BDA0002659411120000051
其中(gx,gy)=Proj(Ri)
其中,Proj(Ri)为单帧毫米波点云数据中第i个毫米波雷达反射点投影到二维矩阵上的某个网格点位置(gx,gy);常量c为邻域大小;L(m,n)为网格点(m,n)处的数值,表示该网格处激光雷达的点数;Nneighbor为单帧毫米波点云数据中的反射点投影到二维矩阵上的某个网格点位置、该网格点位置周围邻域方格内的数值之和。
S1022、针对每个毫米波点云数据,计算毫米波点云数据与相邻的激光点云数据之间的匹配程度,作为子匹配值。
在本实施例中,统计与毫米波点云数据相邻的激光点云数据的数量,测量毫米波点云数据与毫米波雷达之间的距离,基于该数量与该距离计算毫米波点云数据与相邻的激光点云数据之间的匹配程度,作为子匹配值,其中,子匹配值与该数量正相关,子匹配值与该距离负相关。
具体的,构造评分函数SP(L,Ri)用于计算子匹配值,L表示激光点云数据,Ri表示毫米波雷达的任意一个反射点,通过评分函数计算单个反射点与其相邻的激光点云数据之间的匹配得分、作为子匹配值,以衡量单帧毫米波雷达点云数据与相邻的激光点云数据之间的匹配程度,如下公式所示:
Figure BDA0002659411120000052
其中
Figure BDA0002659411120000053
其中ri为单帧毫米波点云数据中的一个反射点Ri到传感器的直线距离,即
Figure BDA0002659411120000054
式中分子log(1+Nneighbor)项是对每个反射点的匹配打分,一个反射点周围存在激光点云数据,即说明该反射点的匹配较好;但是,匹配的好坏并不取决于单个反射点周围的激光点云数据中点的数目,而是取决于单帧毫米波点云数据中的各个反射点的周围是否都存在激光点云数据,以使单帧毫米波点云数据整体匹配上单帧激光点云数据。
由于毫米波雷达本身在远处产生的噪点较多,另一方面是激光雷达在远处产生的激光点云数据较少、匹配不够精确,因此需要适当降低每个点的权重。设置1+Nneighbor可以保证评分的非负性,分母中的log(5+ri)为权重调节项,其中5+ri为权重,此处取5为经验值,随着反射点到传感器的直线距离增大,该权重降低,对权重取对数函数形式可以使权重下降不会太快。
S1023、对所有子匹配值求和,作为毫米波点云数据与激光点云数据之间的目标匹配值。
为了衡量在外参为不同的偏航角下的毫米波雷达与激光雷达的标定匹配情况,设计函数Scoreyaw,trans=S(L,Ryaw,trans)来计算在当前毫米波雷达的位姿基础上旋转任意偏航角yaw并移动任意平移量trans下的匹配情况得分,得分越高则说明此时的相对位姿越准确。
在本实施例中,为了衡量单帧毫米波点云数据与单帧激光点云数据之间的总体匹配程度,对单帧毫米波点云数据中所有反射点的子匹配值进行求和,得到目标匹配值,如下公式所示:
Figure BDA0002659411120000061
其中,S(L,Ryaw,trans)为单帧数据在对应外参(yaw,trans)下的目标匹配函数,其计算结果为目标匹配值,Ri为单帧毫米波点云数据在二维网络中第i个点(xi,yi),NR为单帧毫米波点云数据中反射点的总个数。
S1024、若目标匹配值最大,则确定目标匹配值对应的偏航角的精度。
有了目标匹配值的评分函数,即可对标定的外参中所有可能出现的偏航角的位置进行网格搜索。
在本实施例中,可以构建一个关于偏航角的Nyaw维的评分向量Vectoryaw,该评分向量代表在不同偏航角yaw的位置下的毫米波点云数据与激光点云数据的匹配情况,从该评分向量中选择得分Scoreyaw,trans最高的目标匹配值,则可以确定该目标匹配值对应的偏航角的精度。
具体地,假设毫米波雷达的某个外参中偏航角yaw在范围(Yawmin,Yawmax)内,设定偏航角yaw的搜索分辨率为Nyaw,将整个偏航角范围(Yawmin,Yawmax)划分成了Nyaw等分,此时的偏航角yaw的精度为precisionyaw=(Yawmax-Yawmin)/Nyaw。针对Nyaw中所有可能的偏航角,计算每个偏航角对应的Scoreyaw,trans=S(L,Ryaw,trans),最终得到一个Nyaw维的评分向量Vectoryaw,此评分向量中对应得分最高的偏航角即为标定外参中的最优偏航角。
S1025、在目标匹配值与精度之间的乘积的基础上,加上偏航角的最小值,作为毫米波雷达的偏航角。
由于单帧的激光点云数据与毫米波点云数据之间的匹配往往波动较大,不是特别稳定,因此,将多帧数据综合起来进行匹配评估。
在本实施例中,可以对多帧毫米波点云数据与多帧激光点云数据之间的目标匹配值计算平均值或和值,更新目标匹配值。
具体的,计算多个Nyaw维的评分向量,将这些评分向量按其各自对应的维度求取平均或求和,得到一个Nyaw维的综合评分向量SumVectoryaw,此时,毫米波雷达的最佳偏航角为Yawbest=argmax(SumVectoryaw)*precisionyaw+Yawmin,其中,argmax函数为求向量中最大值所在位置的下标的函数。
S103、在毫米波雷达应用偏航角的条件下,基于激光点云数据与毫米波点云数据之间的匹配程度,对毫米波雷达设置平移量。
在本实施例中,在指定的平移量下,计算毫米波点云数据与激光点云数据之间的匹配程度,作为目标匹配值;若目标匹配值最大,则基于目标匹配值对应的平移量对毫米波雷达设置平移量。
在本实施例中,S103可以包括如下步骤:
S1031、在每个反射点应用最佳偏航角的前提下,针对每个毫米波点云数据,查询与毫米波点云数据相邻的激光点云数据。
在已经求得最佳偏航角的条件下,将毫米波点云数据中的每个反射点都按照最佳偏航角进行位置旋转,变换到相对准确的新的位置,在新的位置坐标下对毫米波点云数据中的每个反射点查询与其相邻的激光点云数据。具体的,可以针对每个单帧的毫米波点云数据,查询单帧毫米波点云数据中每个反射点的新的位置,基于该位置确定单个反射点的邻域,确定单帧毫米波点云数据与位于邻域中的激光点云数据相邻。
具体的,针对网格化后的毫米波点云数据,对每个(单帧)毫米波点云数据中的每个反射点构建预设半径的邻域,在邻域范围内,统计每个反射点周围的激光点云数据,记为Nneighbor,如下公式所示:
Figure BDA0002659411120000071
其中(gx,gy)=Proj(Ri)
其中,Proj(Ri)为单帧毫米波点云数据中第i个毫米波雷达反射点投影到二维矩阵上的某个网格点位置(gx,gy);常量c为邻域大小;L(m,n)为网格点(m,n)处的数值,表示该网格处激光雷达的点数;Nneighbor为单帧毫米波点云数据中的反射点投影到二维矩阵上的某个网格点位置、该网格点位置周围邻域方格内的数值之和。
S1032、计算每一帧毫米波点云数据中的每个反射点与相邻的激光点云数据之间的匹配程度,作为平移量的子匹配值。
在本实施例中,每一帧毫米波点云数据中的每个反射点的坐标都是经过最佳偏航角转换后得到的新坐标。计算匹配程度的方式有很多,例如,统计与毫米波点云数据相邻的激光点云数据的数量,测量毫米波点云数据与毫米波雷达之间的距离,基于该数量与该距离计算毫米波点云数据与相邻的激光点云数据之间的匹配程度,作为子匹配值,其中,子匹配值与该数量正相关,子匹配值与该距离负相关。
具体的,构造评分函数SP(L,Ri)用于计算平移量的子匹配值,L表示激光点云数据,Ri表示毫米波雷达的任意一个反射点,通过评分函数计算单个反射点与其相邻的激光点云数据之间的匹配得分、作为子匹配值,以衡量单帧毫米波雷达点云数据与相邻的激光点云数据之间的匹配程度,如下公式所示:
Figure BDA0002659411120000072
其中
Figure BDA0002659411120000073
其中ri为经过偏航角转换后的单帧毫米波点云数据中的一个反射点Ri到传感器的直线距离,即
Figure BDA0002659411120000074
式中分子log(a+Nneighbor)项是对每个反射点的匹配打分,分母log(b+ri)为权重调节项,a和b都是权重的预设参数,可以根据测试情况或者经验值进行设置。
需要说明的是,一个反射点周围存在激光点云数据,即说明该反射点的匹配较好;但是,匹配的好坏并不取决于单个反射点周围的激光点云数据中点的数目,而是取决于单帧毫米波点云数据中的各个反射点的周围是否都存在激光点云数据,以使单帧毫米波点云数据整体匹配上单帧激光点云数据。
S1033、对所有关于平移量的子匹配值求和,得到单帧毫米波点云数据与单帧激光点云数据之间关于平移量的目标匹配值。
在本实施例中,可以通过函数Scoreyaw,trans=S(L,Ryaw,trans)来计算在当前毫米波雷达的位姿基础上仅移动平移量trans下的匹配情况得分,得分越高则说明此时的相对位姿越准确。
为了衡量单帧毫米波点云数据与单帧激光点云数据之间关于任意平移量变化时的总体匹配程度,对单帧毫米波点云数据中所有反射点关于平移量的子匹配值进行求和,得到目标匹配值,如下公式所示:
Figure BDA0002659411120000081
其中,S(L,Ryaw,trans)为单帧数据在对应外参下(最优偏航角,变化的平移量)的目标匹配函数,其计算结果为关于平移量变化的目标匹配值,Ri为单帧毫米波点云数据在二维网络中第i个点(xi,yi),NR为单帧毫米波点云数据中反射点的总个数。
S1034、若目标匹配值最大,则确定目标匹配值对应的平移量的精度。
搜索最佳平移量的过程与S102中的搜索最佳偏航角的方法类似,不同在于搜索偏航角为一维搜索,平移量为X-Y平面内的二维搜索。
在S102执行后,已经得出了一个相对准确偏航角的情况下,将得出的偏航角作用于毫米波点云数据中的每个反射点,变换到相对准确的位置,在此位置的情况下继续后续的平移量的搜索。
具体的,假设毫米波雷达的外参平移量(x,y)在范围x∈(xmin,xmax),y∈(ymin,ymax)内,设定x,y的搜索分辨率分别为Nx,Ny,即是将整个X-Y平面空间划分为Nx×Ny的离散化的二维的网格图,此时X轴方向上的平移量精度为precisionx=(xmax-xmin)/Nx,Y轴方向上的平移量精度为precisiony=(ymax-ymin)/Ny,平移精度为precisiontrans=(precisionx,precisiony)。在X-Y平面空间中Nx×Ny的网格图的每个网格位置内,计算关于不同的平移量的Scoreyaw,trans评分函数,可得一个Nx×Ny维的评分矩阵Matrixtrans,此评分矩阵最大值的位置即指明了外参的平移量(x,y)的最佳的位置。
S1025、在目标匹配值与精度之间的乘积的基础上,加上平移量的最小值,作为毫米波雷达的平移量。
在本实施例中,可以对多帧毫米波点云数据与多帧激光点云数据之间的目标匹配值计算平均值或和值,更新目标匹配值。
结合多帧的信息,可使搜索过程更稳定平滑,将多帧的平移量评分矩阵按对应位取平均或求和,得到综合评分矩阵SumMatrixtrans,最佳平移量为Transbest=argmax(SumMatrixtrans)*precisiontrans+transmin,其中,argmax(Matix)函数为求矩阵中最大值所在位置的下标的函数,得到二维下标,*为二维向量按位乘法,+为二维向量加法。
在本实施例中,采用网格搜索策略求解偏航角和平移量,在搜索过程中可以加入粗细粒度的搜索的过程,即先以一个较大的步长搜索整个参数空间,再在某个子空间内细化搜索粒度,不断进行搜索直至收敛。也可采用最优化算法得到评分函数关于外参的解析式,用梯度下降的方法求解,或用数值微分的方法逼近。还可以用其他随机优化的方法,如遗传算法、蚁群算法等方法,也能用以优化参数搜索的过程。
S104、根据偏航角与平移量标定毫米波雷达的外参。
由于偏航角的搜索与平移量的搜索是分开迭代进行的,因此最终的外参需要将每次搜索得到的参数记录下来,依次连乘得到。
在本实施例中,偏航角收敛,则停止对毫米波雷达设置偏航角,依次将偏航角相乘,获得作为毫米波雷达的偏航角的外参;若平移量收敛,则停止对毫米波雷达设置平移量,依次将平移量相乘,获得作为毫米波雷达的平移量的外参。
具体的,基于网格搜索策略获得了最佳偏航角和最佳平移量,使用该最佳偏航角和最佳平移量来标定毫米波雷达相对于激光雷达的外参(即位姿数据)。最终外参变换矩阵为
Figure BDA0002659411120000091
其中Π为矩阵连乘;
Figure BDA0002659411120000092
分别表示第i次迭代时得出的平移量trans和偏航角yaw所对应的变换矩阵;TFinit为初始设定的外参;Niter为迭代次数。
迭代有限步之后,外参会逐渐收敛,表现为新的搜索出的外参(偏航角和平移量)等于0,即说明上一次迭代获取的参数已经足够好,不需要进一步偏移。此时搜索出的偏航角为0、平移量也为0(或者0附近很小的范围内),且两者对应的变换矩阵为单位矩阵。则说明参数已经收敛,输出最终参数即可。该最终参数就是毫米波雷达相对于激光雷达所设置的标定外参。
本发明实施例通过获取激光雷达检测的激光点云数据、毫米波雷达检测的毫米波点云数据;基于激光点云数据与毫米波点云数据之间的匹配程度,对毫米波雷达设置偏航角;在毫米波雷达应用偏航角的条件下,基于激光点云数据与毫米波点云数据之间的匹配程度,对毫米波雷达设置平移量;根据偏航角与平移量标定毫米波雷达的外参。将激光点云数据与毫米波点云数据进行匹配,根据匹配程度来圈定标定外参中偏航角的角度范围,在角度范围内确定适于标定的最优偏航角,在偏航角的基础上,基于激光点云数据与毫米波点云数据之间的匹配程度进一步获取最优平移量,结合最优偏航角与最优平移量,最终得到标定的外参,搜索最优偏航角与最优平移量的过程是一个从粗颗粒度到细颗粒度的计算过程,即先以一个较大的步长搜索整个参数空间,再在某个子空间内细化搜索粒度,不断进行直至收敛,能够提升毫米波雷达与激光雷达进行位姿调整的标定精度,无需依赖特殊外部设备对毫米波雷达进行标定,基于匹配和搜索的技术手段能保证标定的准确性,标定外参的获取无需人工干预,提高了标定的效率,该方法具有较好的泛用性,易于扩展。
实施例二
图3为本发明实施例二提供的一种毫米波雷达与激光雷达的调整方法的流程图,本实施例以前述实施例为基础,对毫米波雷达与激光雷达的调整方法进行了内容的补充,增加了对毫米波雷达相对于激光雷达的标定参数的检测方法,该方法具体包括如下步骤:
S201、获取车辆在行驶时,激光雷达检测的激光点云数据、毫米波雷达检测的毫米波点云数据。
S202、基于激光点云数据与毫米波点云数据之间的匹配程度,对毫米波雷达设置偏航角。
S203、在毫米波雷达应用偏航角的条件下,基于激光点云数据与毫米波点云数据之间的匹配程度,对毫米波雷达设置平移量。
S204、根据偏航角与平移量标定毫米波雷达的外参。
S205、获取对毫米波点云数据标定的偏航角、平移量。
在本实施例中,可以预先获取毫米波雷达相对于激光雷达在某一静止时刻下进行联合标定时的初始位姿数据,或者是通过点云粗略配准的方式获得初始位姿数据,将该初始位姿数据作为毫米波雷达相对于激光雷达的初始标定外参,对该初始位姿数据进行解析可以得到旋转矩阵R和平移向量t,从旋转矩阵R中可以获取到偏航角yaw,从平移向量t可以获取到二维平面内的平移量(x,y)。
S206、计算角度偏差、平移偏差。
其中,角度偏差用于表示标定的偏航角与设置的偏航角之间的差值,平移偏差用于表示标定的平移量与设置的平移量之间的差值;可以将设置的偏航角yaw1减去初始标定的偏航角yaw2,得到角度偏差,将设置的平移量(x1,y1)减去初始标定的平移量(x2,y2),得到平移偏差。即如公式所示:Δyaw=|yaw1-yaw2|,Δx=|x1-x2|,Δy=|y1-y2|,Δyaw为角度偏差,Δx,Δy为平移偏差。
S207、根据角度偏差与平移偏差对毫米波点云数据的外参生成总质量值。
在本实施例中,将角度偏差映射为第一子质量值,第一子质量值与角度偏差负相关,记第一子质量值为Eyaw(Δyaw),如下公式所示:
Figure BDA0002659411120000101
将平移偏差映射为第二子质量值,第二子质量值与平移偏差负相关,记第二子质量值为Etrans(Δx,Δy),如下公式所示:
Etrans(Δx,Δy)=1-tanh(Δx+Δy)
其中,e为指数函数,tanh为双曲正切函数。这两个函数能够将偏移量转化为0-1之间的得分,得分越低说明此时得到的设置外参的准确度越低,可以通过分数直观地看出对毫米波雷达设置外参的好坏。外参的设置在输入值为0时,得分为1,随着输入值不断变大,无限趋近于0。其中Eyaw下降得比Etrans更快,使得质量值验证对偏航角更为严格。
基于第一子质量值与第二子质量值对毫米波点云数据的外参生成总质量值,总质量值与第一子质量值、第二子质量值均正相关。
其中,第一子质量值的下降速度大于第二子质量值的下降速度。
Figure BDA0002659411120000102
其中Eyaw(Δyaw)为俯仰角的验证评分函数,Etrans(Δx,Δy)为偏移量的验证评分,整体的外参的验证函数由这两部分的几何平均组成。几何平均可以更好地体现整体的偏移量,或者,几何平均也可由算术平均代替。
实施例三
图4为本发明实施例三提供的一种毫米波雷达与激光雷达的调整装置的结构示意图,该装置具体可以包括如下模块:
数据获取模块401,用于获取激光雷达检测的激光点云数据、毫米波雷达检测的毫米波点云数据;
偏航角获取模块402,用于基于所述激光点云数据与所述毫米波点云数据之间的匹配程度,对所述毫米波雷达设置偏航角;
平移量获取模块403,用于在所述毫米波雷达应用所述偏航角的条件下,基于所述激光点云数据与所述毫米波点云数据之间的匹配程度,对所述毫米波雷达设置平移量;
外参标定模块404,用于根据所述偏航角与所述平移量标定所述毫米波雷达的外参。
在本发明的一个实施例中,所述偏航角获取模块402包括:
第一目标匹配值获取子模块,用于在指定的偏航角下,计算所述毫米波点云数据与所述激光点云数据之间的匹配程度,作为目标匹配值;
偏航角设置子模块,用于若所述目标匹配值最大,则基于所述目标匹配值对应的偏航角对所述毫米波雷达设置偏航角。
在本发明的一个实施例中,所述平移量获取模块403包括:
第二目标匹配值获取子模块,用于在指定的平移量下,计算所述毫米波点云数据与所述激光点云数据之间的匹配程度,作为目标匹配值;
平移量设置子模块,用于若所述目标匹配值最大,则基于所述目标匹配值对应的平移量对所述毫米波雷达设置平移量。
在本发明的一个实施例中,所述第一目标匹配值获取子模块包括:
第一查询单元,用于针对每个所述毫米波点云数据,查询与所述毫米波点云数据相邻的所述激光点云数据;
第一子匹配值计算单元,用于针对每个所述毫米波点云数据,计算所述毫米波点云数据与相邻的所述激光点云数据之间的匹配程度,作为子匹配值;
第一目标匹配值获取单元,用于对所有所述子匹配值求和,作为所述毫米波点云数据与所述激光点云数据之间的目标匹配值。
在本发明的一个实施例中,所述第二目标匹配值获取子模块包括:
第二查询单元,用于针对每个所述毫米波点云数据,查询与所述毫米波点云数据相邻的所述激光点云数据;
第二子匹配值计算单元,用于针对每个所述毫米波点云数据,计算所述毫米波点云数据与相邻的所述激光点云数据之间的匹配程度,作为子匹配值;
第二目标匹配值获取单元,用于对所有所述子匹配值求和,作为所述毫米波点云数据与所述激光点云数据之间的目标匹配值。
在本发明的一个实施例中,所述第一目标匹配值获取子模块还包括:
第一目标匹配值更新单元,用于对多帧所述毫米波点云数据与多帧所述激光点云数据之间的所述目标匹配值计算平均值或和值,更新所述目标匹配值。
在本发明的一个实施例中,所述第二目标匹配值获取子模块还包括:
第二目标匹配值更新单元,用于对多帧所述毫米波点云数据与多帧所述激光点云数据之间的所述目标匹配值计算平均值或和值,更新所述目标匹配值。
在本发明的一个实施例中,所述第一查询单元包括:
第一位置查询子单元,用于针对每个所述毫米波点云数据,查询所述毫米波点云数据的位置;
第一邻域确定子单元,用于基于所述位置确定邻域;
第一相邻确定子单元,用于确定所述毫米波点云数据与位于所述邻域中的所述激光点云数据相邻。
在本发明的一个实施例中,所述第二查询单元包括:
第二位置查询子单元,用于针对每个所述毫米波点云数据,查询所述毫米波点云数据的位置;
第二邻域确定子单元,用于基于所述位置确定邻域;
第二相邻确定子单元,用于确定所述毫米波点云数据与位于所述邻域中的所述激光点云数据相邻。
在本发明的一个实施例中,所述第一子匹配值计算单元包括:
第一数量统计子单元,用于统计与所述毫米波点云数据相邻的所述激光点云数据的数量;
第一距离测量子单元,用于测量所述毫米波点云数据与所述毫米波雷达之间的距离;
第一子匹配值计算子单元,用于基于所述数量与所述距离计算所述毫米波点云数据与相邻的所述激光点云数据之间的匹配程度,作为子匹配值,所述子匹配值与所述数量正相关,所述子匹配值与所述距离负相关。
在本发明的一个实施例中,所述第二子匹配值计算单元包括:
第二数量统计子单元,用于统计与所述毫米波点云数据相邻的所述激光点云数据的数量;
第二距离测量子单元,用于测量所述毫米波点云数据与所述毫米波雷达之间的距离;
第二子匹配值计算子单元,用于基于所述数量与所述距离计算所述毫米波点云数据与相邻的所述激光点云数据之间的匹配程度,作为子匹配值,所述子匹配值与所述数量正相关,所述子匹配值与所述距离负相关。
在本发明的一个实施例中,所述偏航角设置子模块包括:
偏航角精度确定单元,用于若所述目标匹配值最大,则确定所述目标匹配值对应的偏航角的精度;
偏航角获取单元,用于在所述目标匹配值与所述精度之间的乘积的基础上,加上所述偏航角的最小值,作为所述毫米波雷达的偏航角。
在本发明的一个实施例中,所述平移量设置子模块包括:
平移量精度确定单元,用于若所述目标匹配值最大,则确定所述目标匹配值对应的平移量的精度;
平移量获取单元,用于在所述目标匹配值与所述精度之间的乘积的基础上,加上所述平移量的最小值,作为所述毫米波雷达的平移量。
在本发明的一个实施例中,所述外参标定模块404包括:
第一收敛子模块,用于若所述偏航角收敛,则停止对所述毫米波雷达设置偏航角;
第一外参获取子模块,用于依次将所述偏航角相乘,获得作为所述毫米波雷达的偏航角的外参;
第二收敛子模块,用于若所述平移量收敛,则停止对所述毫米波雷达设置平移量;
第二外参获取子模块,用于依次将所述平移量相乘,获得作为所述毫米波雷达的平移量的外参。
在本发明的一个实施例中,所述外参标定模块404还包括:
标定参数获取子模块,用于获取对所述毫米波点云数据标定的所述偏航角、所述平移量;
偏差计算子模块,用于计算角度偏差、平移偏差,所述角度偏差用于表示标定的所述偏航角与设置的所述偏航角之间的差值,所述平移偏差用于表示标定的所述平移量与设置的所述平移量之间的差值;
总质量值生成子模块,用于根据所述角度偏差与所述平移偏差对所述毫米波点云数据的外参生成总质量值。
在本发明的一个实施例中,所述总质量值生成子模块包括:
第一子质量值获取单元,用于将所述角度偏差映射为第一子质量值,所述第一子质量值与所述角度偏差负相关;
第二子质量值获取单元,用于将所述平移偏差映射为第二子质量值,所述第二子质量值与所述平移偏差负相关;
总质量值获取单元,用于基于所述第一子质量值与第二子质量值对所述毫米波点云数据的外参生成总质量值,所述总质量值与所述第一子质量值、第二子质量值均正相关。
其中,所述第一子质量值的下降速度大于所述第二子质量值的下降速度。
本发明实施例所提供的毫米波雷达与激光雷达的调整装置可执行本发明任意实施例所提供的毫米波雷达与激光雷达的调整方法,具备执行方法相应的功能模块和有益效果。
实施例四
图5为本发明实施例四提供的一种计算机设备的结构示意图。如图5所示,该计算机设备包括处理器500、存储器501、通信模块502、输入装置503和输出装置504;计算机设备中处理器500的数量可以是一个或多个,图5中以一个处理器500为例;计算机设备中的处理器500、存储器501、通信模块502、输入装置503和输出装置504可以通过总线或其他方式连接,图5中以通过总线连接为例。
存储器501作为一种计算机可读存储介质,可用于存储软件程序、计算机可执行程序以及模块,如本实施例中的毫米波雷达与激光雷达的调整方法对应的模块(例如,如图4所示的毫米波雷达与激光雷达的调整装置中的数据获取模块401、偏航角获取模块402、平移量获取模块403和外参标定模块404)。处理器500通过运行存储在存储器501中的软件程序、指令以及模块,从而执行计算机设备的各种功能应用以及数据处理,即实现上述的毫米波雷达与激光雷达的调整方法。
存储器501可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序;存储数据区可存储根据计算机设备的使用所创建的数据等。此外,存储器501可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中,存储器501可进一步包括相对于处理器500远程设置的存储器,这些远程存储器可以通过网络连接至计算机设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
通信模块502,用于与显示屏建立连接,并实现与显示屏的数据交互。
输入装置503可用于接收输入的数字或字符信息,以及产生与计算机设备的用户设置以及功能控制有关的键信号输入,还可以是用于获取图像的摄像头以及获取音频数据的拾音设备。
输出装置504可以包括扬声器等音频设备。
需要说明的是,输入装置503和输出装置504的具体组成可以根据实际情况设定。
处理器500通过运行存储在存储器501中的软件程序、指令以及模块,从而执行设备的各种功能应用以及数据处理,即实现上述的毫米波雷达与激光雷达的调整方法。
本实施例提供的计算机设备,可执行本发明任一实施例提供的毫米波雷达与激光雷达的调整方法,具备相应的功能和有益效果。
实施例五
本发明实施例五还提供一种包含计算机可执行指令的存储介质,所述计算机可执行指令在由计算机处理器执行时用于执行一种毫米波雷达与激光雷达的调整方法,该方法包括:
获取激光雷达检测的激光点云数据、毫米波雷达检测的毫米波点云数据;
基于所述激光点云数据与所述毫米波点云数据之间的匹配程度,对所述毫米波雷达设置偏航角;
在所述毫米波雷达应用所述偏航角的条件下,基于所述激光点云数据与所述毫米波点云数据之间的匹配程度,对所述毫米波雷达设置平移量;
根据所述偏航角与所述平移量标定所述毫米波雷达的外参。
当然,本发明实施例所提供的一种包含计算机可执行指令的存储介质,其计算机可执行指令不限于如上所述的方法操作,还可以执行本发明任意实施例所提供的毫米波雷达与激光雷达的调整方法中的相关操作。
通过以上关于实施方式的描述,所属领域的技术人员可以清楚地了解到,本发明可借助软件及必需的通用硬件来实现,当然也可以通过硬件实现,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如计算机的软盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(RandomAccess Memory,RAM)、闪存(FLASH)、硬盘或光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述的方法。
值得注意的是,上述毫米波雷达与激光雷达的调整装置的实施例中,所包括的各个单元和模块只是按照功能逻辑进行划分的,但并不局限于上述的划分,只要能够实现相应的功能即可;另外,各功能单元的具体名称也只是为了便于相互区分,并不用于限制本发明的保护范围。
注意,上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解,本发明不限于这里所述的特定实施例,对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此,虽然通过以上实施例对本发明进行了较为详细的说明,但是本发明不仅仅限于以上实施例,在不脱离本发明构思的情况下,还可以包括更多其他等效实施例,而本发明的范围由所附的权利要求范围决定。

Claims (16)

1.一种毫米波雷达与激光雷达的调整方法,其特征在于,包括:
获取激光雷达检测的激光点云数据、毫米波雷达检测的毫米波点云数据;
基于所述激光点云数据与所述毫米波点云数据之间的匹配程度,对所述毫米波雷达设置偏航角;
在所述毫米波雷达应用所述偏航角的条件下,基于所述激光点云数据与所述毫米波点云数据之间的匹配程度,对所述毫米波雷达设置平移量;
根据所述偏航角与所述平移量标定所述毫米波雷达的外参。
2.根据权利要求1所述的方法,其特征在于,所述基于所述激光点云数据与所述毫米波点云数据之间的匹配程度,对所述毫米波雷达设置偏航角,包括:
在指定的偏航角下,计算所述毫米波点云数据与所述激光点云数据之间的匹配程度,作为目标匹配值;
若所述目标匹配值最大,则基于所述目标匹配值对应的偏航角对所述毫米波雷达设置偏航角。
3.根据权利要求1所述的方法,其特征在于,所述基于所述激光点云数据与所述毫米波点云数据之间的匹配程度,对所述毫米波雷达设置平移量,包括:
在指定的平移量下,计算所述毫米波点云数据与所述激光点云数据之间的匹配程度,作为目标匹配值;
若所述目标匹配值最大,则基于所述目标匹配值对应的平移量对所述毫米波雷达设置平移量。
4.根据权利要求2或3所述的方法,其特征在于,所述计算所述毫米波点云数据与所述激光点云数据之间的匹配程度,作为目标匹配值,包括:
针对每个所述毫米波点云数据,查询与所述毫米波点云数据相邻的所述激光点云数据;
针对每个所述毫米波点云数据,计算所述毫米波点云数据与相邻的所述激光点云数据之间的匹配程度,作为子匹配值;
对所有所述子匹配值求和,作为所述毫米波点云数据与所述激光点云数据之间的目标匹配值。
5.根据权利要求4所述的方法,其特征在于,所述计算所述毫米波点云数据与所述激光点云数据之间的匹配程度,作为目标匹配值,还包括:
对多帧所述毫米波点云数据与多帧所述激光点云数据之间的所述目标匹配值计算平均值或和值,更新所述目标匹配值。
6.根据权利要求4所述的方法,其特征在于,所述针对每个所述毫米波点云数据,查询与所述毫米波点云数据相邻的所述激光点云数据,包括:
针对每个所述毫米波点云数据,查询所述毫米波点云数据的位置;
基于所述位置确定邻域;
确定所述毫米波点云数据与位于所述邻域中的所述激光点云数据相邻。
7.根据权利要求4所述的方法,其特征在于,所述针对每个所述毫米波点云数据,计算所述毫米波点云数据与相邻的所述激光点云数据之间的匹配程度,作为子匹配值,包括:
统计与所述毫米波点云数据相邻的所述激光点云数据的数量;
测量所述毫米波点云数据与所述毫米波雷达之间的距离;
基于所述数量与所述距离计算所述毫米波点云数据与相邻的所述激光点云数据之间的匹配程度,作为子匹配值,所述子匹配值与所述数量正相关,所述子匹配值与所述距离负相关。
8.根据权利要求2所述的方法,其特征在于,所述若所述目标匹配值最大,则基于所述目标匹配值对应的偏航角对所述毫米波雷达设置偏航角,包括:
若所述目标匹配值最大,则确定所述目标匹配值对应的偏航角的精度;
在所述目标匹配值与所述精度之间的乘积的基础上,加上所述偏航角的最小值,作为所述毫米波雷达的偏航角。
9.根据权利要求3所述的方法,其特征在于,所述若所述目标匹配值最大,则基于所述目标匹配值对应的平移量对所述毫米波雷达设置平移量,包括:
若所述目标匹配值最大,则确定所述目标匹配值对应的平移量的精度;
在所述目标匹配值与所述精度之间的乘积的基础上,加上所述平移量的最小值,作为所述毫米波雷达的平移量。
10.根据权利要求1-3,5-9中任一项所述的方法,其特征在于,所述根据所述偏航角与所述平移量标定所述毫米波雷达的外参,包括:
若所述偏航角收敛,则停止对所述毫米波雷达设置偏航角;
依次将所述偏航角相乘,获得作为所述毫米波雷达的偏航角的外参;
若所述平移量收敛,则停止对所述毫米波雷达设置平移量;
依次将所述平移量相乘,获得作为所述毫米波雷达的平移量的外参。
11.根据权利要求1-3,5-9中任一项所述的方法,其特征在于,还包括:
获取对所述毫米波点云数据标定的所述偏航角、所述平移量;
计算角度偏差、平移偏差,所述角度偏差用于表示标定的所述偏航角与设置的所述偏航角之间的差值,所述平移偏差用于表示标定的所述平移量与设置的所述平移量之间的差值;
根据所述角度偏差与所述平移偏差对所述毫米波点云数据的外参生成总质量值。
12.根据权利要求11所述的方法,其特征在于,所述根据所述角度偏差与所述平移偏差对所述毫米波点云数据的外参生成总质量值,包括:
将所述角度偏差映射为第一子质量值,所述第一子质量值与所述角度偏差负相关;
将所述平移偏差映射为第二子质量值,所述第二子质量值与所述平移偏差负相关;
基于所述第一子质量值与第二子质量值对所述毫米波点云数据的外参生成总质量值,所述总质量值与所述第一子质量值、第二子质量值均正相关。
13.根据权利要求12所述的方法,其特征在于,所述第一子质量值的下降速度大于所述第二子质量值的下降速度。
14.一种毫米波雷达与激光雷达的调整装置,其特征在于,包括:
数据获取模块,用于获取激光雷达检测的激光点云数据、毫米波雷达检测的毫米波点云数据;
偏航角获取模块,用于基于所述激光点云数据与所述毫米波点云数据之间的匹配程度,对所述毫米波雷达设置偏航角;
平移量获取模块,用于在所述毫米波雷达应用所述偏航角的条件下,基于所述激光点云数据与所述毫米波点云数据之间的匹配程度,对所述毫米波雷达设置平移量;
外参标定模块,用于根据所述偏航角与所述平移量标定所述毫米波雷达的外参。
15.一种计算机设备,其特征在于,所述计算机设备包括:
一个或多个处理器;
存储器,用于存储一个或多个程序,
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1-13中任一所述的毫米波雷达与激光雷达的调整方法。
16.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储计算机程序,所述计算机程序被处理器执行时实现如权利要求1-13中任一所述的毫米波雷达与激光雷达的调整方法。
CN202010899792.6A 2020-08-31 2020-08-31 一种毫米波雷达与激光雷达的调整方法及相关装置 Active CN112051575B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010899792.6A CN112051575B (zh) 2020-08-31 2020-08-31 一种毫米波雷达与激光雷达的调整方法及相关装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010899792.6A CN112051575B (zh) 2020-08-31 2020-08-31 一种毫米波雷达与激光雷达的调整方法及相关装置

Publications (2)

Publication Number Publication Date
CN112051575A true CN112051575A (zh) 2020-12-08
CN112051575B CN112051575B (zh) 2021-12-17

Family

ID=73608355

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010899792.6A Active CN112051575B (zh) 2020-08-31 2020-08-31 一种毫米波雷达与激光雷达的调整方法及相关装置

Country Status (1)

Country Link
CN (1) CN112051575B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022134567A1 (zh) * 2020-12-25 2022-06-30 上海商汤临港智能科技有限公司 外参标定方法、装置、计算机设备及存储介质
WO2022179094A1 (zh) * 2021-02-24 2022-09-01 长沙行深智能科技有限公司 车载激光雷达外参数联合标定方法、系统、介质及设备
WO2022206519A1 (zh) * 2021-03-31 2022-10-06 华为技术有限公司 一种车载雷达的外参标定方法与装置
CN115248428A (zh) * 2021-04-28 2022-10-28 北京航迹科技有限公司 激光雷达的标定、扫描方法、装置、电子设备及存储介质
CN115407304A (zh) * 2022-08-30 2022-11-29 中国第一汽车股份有限公司 点云数据的处理方法及处理装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070286475A1 (en) * 2006-05-19 2007-12-13 Fuji Jukogyo Kabushiki Kaisha Object recognizing apparatus
CN108226883A (zh) * 2017-11-28 2018-06-29 深圳市易成自动驾驶技术有限公司 测试毫米波雷达性能的方法、装置及计算机可读存储介质
CN109541570A (zh) * 2017-09-21 2019-03-29 腾讯科技(深圳)有限公司 毫米波扫描设备标定的方法及设备
CN109712189A (zh) * 2019-03-26 2019-05-03 深兰人工智能芯片研究院(江苏)有限公司 一种传感器联合标定的方法和装置
CN111077506A (zh) * 2019-12-12 2020-04-28 苏州智加科技有限公司 对毫米波雷达进行标定的方法、装置及系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070286475A1 (en) * 2006-05-19 2007-12-13 Fuji Jukogyo Kabushiki Kaisha Object recognizing apparatus
CN109541570A (zh) * 2017-09-21 2019-03-29 腾讯科技(深圳)有限公司 毫米波扫描设备标定的方法及设备
CN108226883A (zh) * 2017-11-28 2018-06-29 深圳市易成自动驾驶技术有限公司 测试毫米波雷达性能的方法、装置及计算机可读存储介质
CN109712189A (zh) * 2019-03-26 2019-05-03 深兰人工智能芯片研究院(江苏)有限公司 一种传感器联合标定的方法和装置
CN111077506A (zh) * 2019-12-12 2020-04-28 苏州智加科技有限公司 对毫米波雷达进行标定的方法、装置及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
王会 等: "激光雷达在无人车辆中的应用及关键技术分析", 《激光与红外》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022134567A1 (zh) * 2020-12-25 2022-06-30 上海商汤临港智能科技有限公司 外参标定方法、装置、计算机设备及存储介质
WO2022179094A1 (zh) * 2021-02-24 2022-09-01 长沙行深智能科技有限公司 车载激光雷达外参数联合标定方法、系统、介质及设备
WO2022206519A1 (zh) * 2021-03-31 2022-10-06 华为技术有限公司 一种车载雷达的外参标定方法与装置
CN115248428A (zh) * 2021-04-28 2022-10-28 北京航迹科技有限公司 激光雷达的标定、扫描方法、装置、电子设备及存储介质
CN115248428B (zh) * 2021-04-28 2023-12-22 北京航迹科技有限公司 激光雷达的标定、扫描方法、装置、电子设备及存储介质
CN115407304A (zh) * 2022-08-30 2022-11-29 中国第一汽车股份有限公司 点云数据的处理方法及处理装置

Also Published As

Publication number Publication date
CN112051575B (zh) 2021-12-17

Similar Documents

Publication Publication Date Title
CN112051575B (zh) 一种毫米波雷达与激光雷达的调整方法及相关装置
CN112051590B (zh) 激光雷达与惯性测量单元的检测方法及相关装置
CN112051591B (zh) 一种激光雷达与惯性测量单元的检测方法及相关装置
CN110988912B (zh) 自动驾驶车辆的道路目标与距离检测方法、系统、装置
CN110178048B (zh) 交通工具环境地图生成和更新的方法和系统
US11042723B2 (en) Systems and methods for depth map sampling
Zheng et al. The obstacle detection method of uav based on 2D lidar
CN110889808B (zh) 一种定位的方法、装置、设备及存储介质
CN112013877B (zh) 毫米波雷达与惯性测量单元的检测方法及相关装置
WO2018009263A1 (en) Systems and methods for mapping an environment
CN112379352B (zh) 一种激光雷达标定方法、装置、设备及存储介质
WO2018196336A1 (en) Multi-object tracking based on lidar point cloud
Eynard et al. Real time UAV altitude, attitude and motion estimation from hybrid stereovision
CN114111774B (zh) 车辆的定位方法、系统、设备及计算机可读存储介质
CN111862214A (zh) 计算机设备定位方法、装置、计算机设备和存储介质
Ivancsits et al. Visual navigation system for small unmanned aerial vehicles
CN115436920A (zh) 一种激光雷达标定方法及相关设备
CN112036274A (zh) 一种可行驶区域检测方法、装置、电子设备及存储介质
WO2021081958A1 (zh) 地形检测方法、可移动平台、控制设备、系统及存储介质
WO2023087202A1 (zh) 运动状态估计方法及装置
WO2022160879A1 (zh) 一种转换参数的确定方法和装置
CN112050829B (zh) 一种运动状态确定方法及装置
CN113093759A (zh) 基于多传感器信息融合的机器人编队构造方法及系统
WO2022160101A1 (zh) 朝向估计方法、装置、可移动平台及可读存储介质
CN117557654A (zh) 外参标定方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant