CN116721162A - 雷达和相机的外参标定方法、电子设备及存储介质 - Google Patents

雷达和相机的外参标定方法、电子设备及存储介质 Download PDF

Info

Publication number
CN116721162A
CN116721162A CN202310532193.4A CN202310532193A CN116721162A CN 116721162 A CN116721162 A CN 116721162A CN 202310532193 A CN202310532193 A CN 202310532193A CN 116721162 A CN116721162 A CN 116721162A
Authority
CN
China
Prior art keywords
object detection
point cloud
detection frame
dimensional
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310532193.4A
Other languages
English (en)
Inventor
何鹏
李兵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
DeepRoute AI Ltd
Original Assignee
DeepRoute AI Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by DeepRoute AI Ltd filed Critical DeepRoute AI Ltd
Priority to CN202310532193.4A priority Critical patent/CN116721162A/zh
Publication of CN116721162A publication Critical patent/CN116721162A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G06T2207/10044—Radar image
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本申请提供一种雷达和相机的外参标定方法、电子设备及存储介质，雷达和相机的外参标定方法包括：将三维点云物体检测框投影至二维平面得到相应的二维点云物体检测框；对二维图像物体检测框和二维点云物体检测框进行匹配得到至少一个物体匹配对；将物体匹配对中二维图像物体检测框相应的二维图像进行处理得到变换图像；将物体匹配对中二维点云物体检测框相应的点云投影至变换图像中，以获得投影结果，并进行外参优化操作得到优化结果；响应于优化结果满足预设优化条件，确定目标外参。本申请通过对原始图像进行二维感知，对原始点云进行三维感知，进行物体信息提取，耗时少，实时性强，通过至少一个物体匹配对进行外参优化，有效避免局部优化。

Description

雷达和相机的外参标定方法、电子设备及存储介质
技术领域
本申请涉及自动驾驶技术领域，特别是涉及一种雷达和相机的外参标定方法、电子设备及存储介质。
背景技术
在自动驾驶领域，在建图、定位或感知检测时，都需要用到多个传感器的原始数据，如，多摄像头、激光雷达(LiDAR)、实时动态全球定位系统(Real-Time KinematicGlobal Positioning System，RTKGPS)、惯性测量单元(Inertial Measurement Unit，IMU)等的原始数据；因此，多个传感器数据之间的融合尤为重要。
其中，激光雷达与相机之间的外参是重要的参数之一，对于激光雷达和相机之间外参的标定方式，包括出厂标定和在线标定。在线标定能够监测并更新外参，但是，一些方法通过对二维图像和三维点云进行语义分割得到外参，较为耗时，且可能无法得到全局最优解。
发明内容
本申请提供了一种雷达和相机的外参标定方法、电子设备及存储介质，以解决上述问题。
本申请第一方面提供了一种雷达和相机的外参标定方法，包括：获取当前帧原始图像和当前帧原始点云；从所述当前帧原始图像中，获取二维图像物体检测框，并从所述当前帧原始点云中，获取三维点云物体检测框；将所述三维点云物体检测框投影至二维平面，以得到相应的二维点云物体检测框；对所述二维图像物体检测框和所述二维点云物体检测框进行匹配，以得到至少一个物体匹配对；将所述至少一个物体匹配对中二维图像物体检测框相应的二维图像进行处理，以得到变换图像；将所述至少一个物体匹配对中二维点云物体检测框相应的点云投影至所述变换图像中，以获得所述点云在所述变换图像中的投影结果，基于所述投影结果，进行外参优化操作，得到优化结果；响应于所述优化结果满足预设优化条件，确定目标外参。
在一些实施例中，所述将所述三维点云物体检测框投影至二维平面，以得到相应的二维点云物体检测框，包括：将所述三维点云物体检测框投影至所述二维图像物体检测框所在坐标系中，以得到投影框；获取所述投影框在所述坐标系中的横轴方向上的最大值处的顶点和最小值处的顶点，以及纵轴方向上的最大值处的顶点和最小值处的顶点，从而得到所述二维点云物体检测框。
在一些实施例中，所述对所述二维图像物体检测框和所述二维点云物体检测框进行匹配，以得到至少一个物体匹配对，包括：利用预设匹配算法，计算所述二维图像物体检测框和所述二维点云物体检测框之间的预设语义距离，以得到距离值矩阵；对所述距离值矩阵进行匹配操作，从而得到至少一个物体匹配对。
在一些实施例中，所述计算所述二维图像物体检测框和所述二维点云物体检测框之间的预设语义距离，包括：计算所述二维图像物体检测框和所述二维点云物体检测框之间的交并比。
在一些实施例中，所述计算所述二维图像物体检测框和所述二维点云物体检测框之间的预设语义距离，包括：计算所述二维图像物体检测框和所述二维点云物体检测框之间的交并比，并计算所述二维图像物体检测框和所述二维点云物体检测框之间的面积比；其中，在计算所述面积比时，物体检测框面积大的为分母，物体检测框面积小的为分子；利用预设语义距离公式进行计算操作，其中，所述预设语义距离公式为：
D＝t*IoU+(1-t)*darea
其中，t为权重，t∈[0,1]，IoU为交并比，darea为面积比。
在一些实施例中，所述将所述至少一个物体匹配对中二维图像物体检测框相应的二维图像进行处理，以得到变换图像，包括：对所述至少一个物体匹配对中二维图像物体检测框相应的二维图像进行二值化处理，得到二值化图像；对所述二值化图像进行逆向距离变换计算，得到所述变换图像。
在一些实施例中，所述投影结果包括所述点云中的每个点对应的所述变换图像中的一个像素的像素值；所述基于所述投影结果，进行外参优化操作，得到优化结果，包括：利用预设代价函数进行优化计算，得到所述优化结果；其中，所述预设代价函数为：
其中，N为点云的点数，第i个像素的像素值为pi。
在一些实施例中，所述雷达和相机的外参标定方法，进一步包括：响应于所述优化结果不满足预设优化条件，基于预设外参范围，按照预设步长，利用所述预设代价函数进行搜索计算，得到计算结果；响应于所述计算结果满足预设搜索条件，确定目标外参。
本申请第二方面提供了一种电子设备，包括相互耦接的存储器和处理器，所述处理器用于执行所述存储器中存储的程序指令，以实现上述第一方面中的雷达和相机的外参标定方法或第二方面中的模型评估方法。
本申请第三方面提供了一种非易失性计算机可读存储介质，所述计算机可读存储介质用于存储程序指令，所述程序指令在被处理器执行时，用于实现上述第一方面中的雷达和相机的外参标定方法或第二方面中的模型评估方法。
上述方案，从当前帧原始图像获取二维图像物体检测框，并从当前帧原始点云中获取三维点云物体检测框，将三维点云物体检测框投影至二维平面，以得到相应的二维点云物体检测框，对二维图像物体检测框和二维点云物体检测框进行匹配，以得到至少一个物体匹配对，将至少一个物体匹配对中二维图像物体检测框相应的二维图像进行处理，以得到变换图像，将至少一个物体匹配对中二维点云物体检测框相应的点云投影至变换图像中，得到投影结果，基于投影结果进行外参优化操作，得到优化结果，响应于优化结果满足预设优化条件，确定目标外参；本申请中的方案，通过对原始图像进行二维感知，对原始点云进行三维感知，以进行物体信息提取，耗时少，实时性强，并通过至少一个物体匹配对进行外参优化，能够有效避免局部优化。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，而非限制本申请。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，这些附图示出了符合本申请的实施例，并与说明书一起用于说明本申请的技术方案。
图1是本申请实施例中雷达和相机的外参标定方法的一流程示意图；
图2是本申请实施例中电子设备的结构示意图；
图3是本申请实施例中非易失性计算机可读存储介质的结构示意图。
具体实施方式
下面结合附图和实施例，对本申请作进一步的详细描述。特别指出的是，以下实施例仅用于说明本申请，但不对本申请的范围进行限定。同样的，以下实施例仅为本申请的部分实施例而非全部实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。
在本申请中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。此外，本文中的“多”表示两个或者多于两个。另外，本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合，例如，包括A、B、C中的至少一种，可以表示包括从A、B和C构成的集合中选择的任意一个或多个元素。另外，本申请中的术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。
如上述，激光雷达与相机之间的外参是重要的参数之一，对于激光雷达和相机之间外参的标定方式，包括出厂标定和在线标定。在线标定能够监测并更新外参，但是，一些方法通过对二维图像和三维点云进行语义分割得到外参，较为耗时，且可能无法得到全局最优解。
为此，本申请提供一种雷达和相机的外参标定方法、电子设备及存储介质，以解决上述问题。
请参阅图1，图1是本申请实施例中雷达和相机的外参标定方法的一流程示意图，需注意的是，若有实质上相同的结果，本申请的方法并不以图1所示的流程顺序为限。本方法可以应用于具有计算等功能的电子设备，电子设备可通过接收传感器装置采集的信息，执行本方法。其中，本申请的电子设备可以为服务器，也可以为由服务器和终端设备相互配合的系统。进一步地，上述服务器可以是硬件，也可以是软件，在此不做具体限定。
电子设备可通过接收传感器装置采集的信息，执行本方法，传感器装置可以是自动驾驶车辆装备的图像传感器、雷达传感器、惯性测量单元(Inertial Measurement Unit，IMU)装置、全球导航卫星系统(Global Navigation Satellite System，GNSS)装置，传感器装置在自动驾驶车辆行驶过程中感知自动驾驶车辆的相关数据以及车辆周边真实物理世界动态场景，场景中可以有道路上的车辆、行人、建筑物等。在一些可能的实现方式中，本申请实施例的雷达和相机的外参标定方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。外参，指的是两个传感器装置坐标之间的相对关系，一般为六自由度，即三自由度的相对平移和三自由度的相对旋转。如图1所示，雷达和相机的外参标定方法包括如下步骤：
S1、获取当前帧原始图像和当前帧原始点云。
传感器包括雷达传感器和图像传感器，可以利用图像传感器对图像数据进行采集，以得到原始图像；利用雷达传感器对点云数据进行采集，以得到原始点云。例如，将图像传感器和雷达传感器安装于一可移动的设备上。其中，该可移动的设备可以是自动移动设备，如机器人、自动驾驶车辆等。
在一些实施例中，图像传感器可以是相机，雷达传感器可以激光雷达，如机械式激光雷达、半固态激光雷达或固态激光雷达。在一个实施例中，雷达可以是应用于自动驾驶并满足感知精度要求的，可提供点云数据的任何雷达设备。
在一应用场景中，自动驾驶车辆在道路上行驶，通过设置于该自动驾驶车辆上的相机采集预设时间段内的至少一帧图像数据，以得到至少一帧原始图像；利用雷达采集预设时间段内的至少一帧点云数据，以得到至少一帧原始点云。
获取预设时间段内至少一帧原始图像和至少一帧原始点云，其中，至少一帧原始图像和至少一帧原始点云的采集时刻相对应。可以理解的，预设时间段包括当前时刻以及当前时刻之前的预设数量个时刻，例如，当前时刻之前三个时刻，或其它能够实现的数量，根据实际使用需求设置即可，不作具体限定。例如，在自动驾驶车辆行驶过程中，相机实时采集图像数据，雷达实时采集点云数据，图像数据与点云数据的采集时刻相对应。
例如，相机在t1时刻采集一帧图像数据，雷达在t1时刻采集一帧点云数据，相机在t2时刻采集一帧图像数据，雷达在t2时刻采集一帧图点云数据，相机在t3时刻采集一帧图像数据，雷达在t3时刻采集一帧点云数据；当前时刻为t3，获取当前帧原始图像和当前帧原始点云，即，获取t3时刻的原始图像和t3时刻的原始点云。
S2、从当前帧原始图像中，获取二维图像物体检测框，并从当前帧原始点云中，获取三维点云物体检测框。
图像物体检测框，即，包围物体图像信息的框；点云物体检测框，即，包围物体点云信息的框；其中，物体可以为车辆、路灯、行人，或其它能够实现的物体均可，不作具体限定。
得到当前帧原始图像和当前帧原始点云后，对当前帧原始图像进行检测操作，以从当前帧原始图像中获取二维图像物体检测框；并对当前帧原始点云进行检测操作，以从当前帧原始点云中获取三维点云物体检测框。其中，对于检测操作的具体方式，根据使用需求选择即可，不做具体限定。例如，可以人工提取相应的二维图像物体检测框和三维点云物体检测框，其中，二维图像物体检测框和三维点云物体检测框的数量均可以是一个或多个。
S3、将三维点云物体检测框投影至二维平面，以得到相应的二维点云物体检测框。
得到三维点云物体检测框后，将三维点云物体检测框投影至二维平面，能够得到相应的二维点云物体检测框。
S4、对二维图像物体检测框和二维点云物体检测框进行匹配，以得到至少一个物体匹配对。
将投影得到的二维点云物体检测框与二维图像物体检测框进行匹配，能够得到至少一个物体匹配对。
可以理解的，三维点云物体检测框的数量可以为一个或多个，使得相应的二维点云物体检测框的数量为一个或多个，且二维图像物体检测框的数量也可以是一个或多个，从而将一个或多个二维图像物体检测框与一个或多个二维点云物体检测框进行匹配，能够得到至少一个物体匹配对。
S5、将至少一个物体匹配对中二维图像物体检测框相应的二维图像进行处理，以得到变换图像。
至少一个物体匹配对中的每一个物体匹配对都包括一个二维图像物体检测框，对至少一个物体匹配对中的二维图像物体检测框相应的二维图像进行处理，以得到至少一个物体匹配对中每一个物体匹配对中的变换图像。
S6、将至少一个物体匹配对中二维点云物体检测框相应的点云投影至变换图像中，以获得点云在变换图像中的投影结果。
至少一个物体匹配对中的每一个物体匹配对都包括一个二维点云物体检测框，将每一个物体匹配对中的二维点云物体检测框相应的点云投影至该物体匹配对中相应的变换图像中，以得到点云在变换图像中的投影结果。
S7、基于投影结果，进行外参优化操作，得到优化结果。
基于点云投影得到的投影结果，进行外参优化操作，能够得到优化结果。
S8、响应于优化结果满足预设优化条件，确定目标外参。
将得到的优化结果与预设优化条件进行比较，响应于优化结果满足预设优化条件，则将该优化结果相应的外参确定为目标外参。其中，预设优化条件可以根据实际使用需求进行设置，不做具体限定。
上述方案，从当前帧原始图像获取二维图像物体检测框，并从当前帧原始点云中获取三维点云物体检测框，将三维点云物体检测框投影至二维平面，以得到相应的二维点云物体检测框，对二维图像物体检测框和二维点云物体检测框进行匹配，以得到至少一个物体匹配对，将至少一个物体匹配对中二维图像物体检测框相应的二维图像进行处理，以得到变换图像，将至少一个物体匹配对中二维点云物体检测框相应的点云投影至变换图像中，得到投影结果，基于投影结果进行外参优化操作，得到优化结果，响应于优化结果满足预设优化条件，确定目标外参；本申请中的方案，通过对原始图像进行二维感知，对原始点云进行三维感知，以进行物体信息提取，耗时少，实时性强，并通过至少一个物体匹配对进行外参优化，能够有效避免局部优化。
如上述，从当前帧原始图像中获取二维图像物体检测框，并从当前帧原始点云中获取三维点云物体检测框。在本申请一实施例中，将三维点云物体检测框投影至二维平面，以得到相应的二维点云物体检测框，包括：将三维点云物体检测框投影至二维图像物体检测框所在坐标系中，以得到投影框；获取投影框在坐标系中的横轴方向上的最大值处的顶点和最小值处的顶点，以及纵轴方向上的最大值处的顶点和最小值处的顶点，从而得到二维点云物体检测框。
可以理解的，三维点云物体检测框包括八个顶点，将三维点云物体检测框投影至二维图像物体检测框所在坐标系中后，八个顶点可能出现重叠，因此得到的投影框的顶点的数量可能为四个、五个或其他数量。获取投影框在坐标系中的横轴方向上最大值处的顶点和最小值处的顶点，并获取投影框在坐标系中的纵轴方向上的最大值处的顶点和最小值处的顶点，从而基于该四个顶点得到二维点云物体检测框。
如上述，将三维点云物体检测框投影至二维平面，得到相应的二维点云物体检测框。在本申请一实施例中，对二维图像物体检测框和二维点云物体检测框进行匹配，以得到至少一个物体匹配对，包括：利用预设匹配算法，计算二维图像物体检测框和二维点云物体检测框之间的预设语义距离，以得到距离值矩阵；对距离值矩阵进行匹配操作，从而得到至少一个物体匹配对。
利用预设匹配算法，对二维图像物体检测框和二维点云物体检测框之间的预设语义距离进行计算，能够得到距离值矩阵，对距离值矩阵进行匹配操作，从而能够得到至少一个物体匹配对。
例如，预设匹配算法可以是匈牙利匹配算法，二维图像物体检测框的数量为m，二维点云物体检测框的数量为n，利用匈牙利匹配算法计算m个二维图像物体检测框与n个二维点云物体检测框中两两之间的预设语义距离，得到的距离值形成m×n的距离值矩阵。通过匈牙利匹配算法对距离值矩阵进行匹配操作，从而得到至少一个物体匹配对。
在其他实施例中，预设匹配算法还可以是其它能够实现的匹配算法，根据实际使用需求选择即可，不作具体限定。
如上述，利用预设匹配算法计算二维图像物体检测框与二维点云物体检测框之间的预设语义距离，以得到距离值矩阵。在本申请一实施例中，计算二维图像物体检测框和二维点云物体检测框之间的预设语义距离，包括：计算二维图像物体检测框和二维点云物体检测框之间的交并比。
可以理解的，计算二维图像物体检测框和二维点云物体检测框之间的交并比(Intersection of Union，loU)，以实现计算二维图像物体检测框与二维点云物体检测框之间的预设语义距离。其中，二维图像物体检测框和二维点云物体检测框之间的交并比，表征为二维图像物体检测框与二维点云物体检测框之间的交集和并集的比值。
例如，二维图像物体检测框A与二维点云物体检测框B之间的交并比IoU＝(A∩B)/(A∪B)。
如上述，利用预设匹配算法计算二维图像物体检测框与二维点云物体检测框之间的预设语义距离，以得到距离值矩阵。在本申请一实施例中，计算二维图像物体检测框和二维点云物体检测框之间的预设语义距离，包括：计算二维图像物体检测框和二维点云物体检测框之间的交并比，并计算二维图像物体检测框和二维点云物体检测框之间的面积比；其中，在计算面积比时，物体检测框面积大的为分母，物体检测框面积小的为分子；利用预设语义距离公式进行计算操作，其中，预设语义距离公式为：
D＝t*IoU+(1-t)*darea
其中，t为权重，t∈[0,1]，IoU为交并比，darea为面积比。
可以理解的，利用预设语义距离公式进行计算操作，以实现计算二维图像物体检测框与二维点云物体检测框之间的预设语义距离。其中，预设语义距离公式表征为对交并比与面积比的加权计算。二维图像物体检测框和二维点云物体检测框之间的交并比，表征为二维图像物体检测框与二维点云物体检测框之间的交集和并集的比值。二维图像物体检测框和二维点云物体检测框之间的面积比，表征为物体检测框面积小的面积值与物体检测框面积大的面积值之间的比值。
例如，分别计算二维图像物体检测框的面积值d1和二维点云物体检测框的面积值d2，并对两个面积值d1和d2进行比较，面积值d2小与面积值d1，从而面积值d2为分子，面积值d1为分母，从而得到了二维图像物体检测框与二维点云物体检测框之间的面积比darea＝d2/d1。
在本申请一实施例中，将至少一个物体匹配对中二维图像物体检测框相应的二维图像进行处理，以得到变换图像，包括：对至少一个物体匹配对中二维图像物体检测框相应的二维图像进行二值化处理，得到二值化图像；对二值化图像进行逆向距离变换计算，得到变换图像。
对于至少一个物体匹配对中每一个物体匹配对中的二维图像物体检测框，对二维图像物体检测框相应的二维图像进行二值化处理，能够得到相应的二值化图像，对得到的二值化图像进行逆向距离变换计算，得到相应的变换图像。
如上述，将至少一个物体匹配对中二维点云物体检测框相应的点云投影至变换图像中，得到点云在变换图像中的投影结果。在本申请一实施例中，投影结果包括点云中的每个点对应的变换图像中的一个像素的像素值；基于投影结果，进行外参优化操作，得到优化结果，包括：利用预设代价函数进行优化计算，得到优化结果；其中，预设代价函数为：
其中，N为点云的点数，第i个像素的像素值为pi。
可以理解的，将物体匹配对中二维点云物体检测框相应的点云投影至变换图像中得到的投影结果中，点云中每个点都对应于变换图像中的一个像素的像素值。利用预设代价函数进行优化计算，即，对点云中每个点对应的像素值进行求和计算。其中，优化计算可以是非线性优化，不作具体限定。
例如，点云中的点的数量N为3，投影结果中，3个点对应于3个像素的像素值，第1个像素的像素值为p1，第2个像素的像素值为p2，第3个像素的像素值为p3，从而优化结果e＝p1+p2+p3。
响应于优化结果满足预设优化条件，确定目标外参。其中，预设优化条件可以是优化结果e＝0，表征二维点云物体检测框中的物体信息与二维图像物体检测框中的物体信息完全吻合，进而将相应的外参确定为目标外参，从而实现外参标定。
在其他实施例中，预设优化条件还可以是其它能够实现的情况，如优化结果e小于预设数值，预设数值根据实际使用需求进行选取即可，不作具体限定。
在本申请一实施例中，雷达和相机的外参标定方法，进一步包括：响应于优化结果不满足预设优化条件，基于预设外参范围，按照预设步长，利用预设代价函数进行搜索计算，得到计算结果；响应于计算结果满足预设搜索条件，确定目标外参。
响应于优化结果不满足预设优化条件，可以理解为优化失败，则基于预设外参范围，按照预设步长，利用预设代价函数进行搜索计算，得到计算结果。
例如，预设外参范围可以是-2°至2°，步长可以是0.1°，利用预设代价函数进行搜索计算，以得到-2°至2°范围内，每一步长对应的计算值，从而得到计算结果。
响应于计算结果中任一计算值满足预设搜索条件，则将该计算值对应的外参确定为目标外参。其中，预设搜索条件可以是计算结果中的计算值小于预设数值，预设数值根据实际使用需求进行选取即可，不作具体限定。
本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
请参阅图2，图2是本申请实施例中电子设备的结构示意图。电子设备200包括相互耦接的存储器201和处理器202，处理器202用于执行存储器201中存储的程序指令，以实现上述的雷达和相机的外参标定方法实施例中的步骤。在一个具体的实施场景中，电子设备200可以包括但不限于：微型计算机、服务器，在此不做限定。
具体而言，处理器202用于控制其自身以及存储器201以实现上述的雷达和相机的外参标定方法实施例中的步骤。处理器202还可以称为CPU(Central Processing Unit，中央处理单元)，处理器202可能是一种集成电路芯片，具有信号的处理能力。处理器202还可以是通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。另外，处理器202可以由集成电路芯片共同实现。
请参阅图3，图3是本申请实施例中非易失性计算机可读存储介质的结构示意图。计算机可读存储介质300用于存储程序指令301，程序指令301在被处理器202执行时，用于实现上述的雷达和相机的外参标定方法实施例中的步骤。
上文对各个实施例的描述倾向于强调各个实施例之间的不同之处，其相同或相似之处可以互相参考，为了简洁，本文不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的方法和相关设备，可以通过其它的方式实现。例如，以上所描述的相关设备实施方式仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信断开连接可以是通过一些接口，装置或单元的间接耦合或通信断开连接，可以是电性、机械或其它的形式。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本申请各个实施方式方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

Claims (10)

1.一种雷达和相机的外参标定方法，其特征在于，包括：
获取当前帧原始图像和当前帧原始点云；
从所述当前帧原始图像中，获取二维图像物体检测框，并从所述当前帧原始点云中，获取三维点云物体检测框；
将所述三维点云物体检测框投影至二维平面，以得到相应的二维点云物体检测框；
对所述二维图像物体检测框和所述二维点云物体检测框进行匹配，以得到至少一个物体匹配对；
将所述至少一个物体匹配对中二维图像物体检测框相应的二维图像进行处理，以得到变换图像；
将所述至少一个物体匹配对中二维点云物体检测框相应的点云投影至所述变换图像中，以获得所述点云在所述变换图像中的投影结果，
基于所述投影结果，进行外参优化操作，得到优化结果；
响应于所述优化结果满足预设优化条件，确定目标外参。
2.根据权利要求1所述的方法，其特征在于，所述将所述三维点云物体检测框投影至二维平面，以得到相应的二维点云物体检测框，包括：
将所述三维点云物体检测框投影至所述二维图像物体检测框所在坐标系中，以得到投影框；
获取所述投影框在所述坐标系中的横轴方向上的最大值处的顶点和最小值处的顶点，以及纵轴方向上的最大值处的顶点和最小值处的顶点，从而得到所述二维点云物体检测框。
3.根据权利要求1所述的方法，其特征在于，所述对所述二维图像物体检测框和所述二维点云物体检测框进行匹配，以得到至少一个物体匹配对，包括：
利用预设匹配算法，计算所述二维图像物体检测框和所述二维点云物体检测框之间的预设语义距离，以得到距离值矩阵；
对所述距离值矩阵进行匹配操作，从而得到至少一个物体匹配对。
4.根据权利要求3所述的方法，其特征在于，所述计算所述二维图像物体检测框和所述二维点云物体检测框之间的预设语义距离，包括：
计算所述二维图像物体检测框和所述二维点云物体检测框之间的交并比。
5.根据权利要求3所述的方法，其特征在于，所述计算所述二维图像物体检测框和所述二维点云物体检测框之间的预设语义距离，包括：
计算所述二维图像物体检测框和所述二维点云物体检测框之间的交并比，并计算所述二维图像物体检测框和所述二维点云物体检测框之间的面积比；其中，在计算所述面积比时，物体检测框面积大的为分母，物体检测框面积小的为分子；
利用预设语义距离公式进行计算操作，其中，所述预设语义距离公式为：
D＝t*IoU+(1-t)*darea
其中，t为权重，t∈[0,1]，IoU为交并比，darea为面积比。
6.根据权利要求1所述的方法，其特征在于，所述将所述至少一个物体匹配对中二维图像物体检测框相应的二维图像进行处理，以得到变换图像，包括：
对所述至少一个物体匹配对中二维图像物体检测框相应的二维图像进行二值化处理，得到二值化图像；
对所述二值化图像进行逆向距离变换计算，得到所述变换图像。
7.根据权利要求1至6中任一项所述的方法，其特征在于，所述投影结果包括所述点云中的每个点对应的所述变换图像中的一个像素的像素值；
所述基于所述投影结果，进行外参优化操作，得到优化结果，包括：
利用预设代价函数进行优化计算，得到所述优化结果；其中，所述预设代价函数为：
其中，N为点云的点数，第i个像素的像素值为pi。
8.根据权利要求7所述的方法，其特征在于，所述雷达和相机的外参标定方法，进一步包括：
响应于所述优化结果不满足预设优化条件，基于预设外参范围，按照预设步长，利用所述预设代价函数进行搜索计算，得到计算结果；
响应于所述计算结果满足预设搜索条件，确定目标外参。
9.一种电子设备，其特征在于，包括相互耦接的存储器和处理器，所述处理器用于执行所述存储器中存储的程序指令，以实现如权利要求1-8中任一项所述的雷达和相机的外参标定方法。
10.一种非易失性计算机可读存储介质，其特征在于，所述计算机可读存储介质用于存储程序指令，所述程序指令在被处理器执行时，用于实现如权利要求1-8中任一项所述的雷达和相机的外参标定方法。
CN202310532193.4A 2023-05-11 2023-05-11 雷达和相机的外参标定方法、电子设备及存储介质 Pending CN116721162A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310532193.4A CN116721162A (zh) 2023-05-11 2023-05-11 雷达和相机的外参标定方法、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310532193.4A CN116721162A (zh) 2023-05-11 2023-05-11 雷达和相机的外参标定方法、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN116721162A true CN116721162A (zh) 2023-09-08

Family

ID=87866936

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310532193.4A Pending CN116721162A (zh) 2023-05-11 2023-05-11 雷达和相机的外参标定方法、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN116721162A (zh)

Similar Documents

Publication Publication Date Title
CN111179358B (zh) 标定方法、装置、设备及存储介质
CN110146869B (zh) 确定坐标系转换参数的方法、装置、电子设备和存储介质
CN110893617B (zh) 障碍物检测方法、装置及存储装置
US10909395B2 (en) Object detection apparatus
CN111337947A (zh) 即时建图与定位方法、装置、系统及存储介质
CN112419385B (zh) 一种3d深度信息估计方法、装置及计算机设备
CN111862180B (zh) 一种相机组位姿获取方法、装置、存储介质及电子设备
CN112106111A (zh) 一种标定方法、设备、可移动平台及存储介质
CN112802092B (zh) 一种障碍物感知方法、装置以及电子设备
CN115376109B (zh) 障碍物检测方法、障碍物检测装置以及存储介质
CN113030990B (zh) 车辆的融合测距方法、装置、测距设备及介质
CN111080784A (zh) 一种基于地面图像纹理的地面三维重建方法和装置
CN114295139A (zh) 一种协同感知定位方法及系统
CN114179788A (zh) 自动泊车方法、系统、计算机可读存储介质及车机端
CN115359130A (zh) 雷达和相机的联合标定方法、装置、电子设备及存储介质
CN114494466A (zh) 外参标定方法、装置及设备、存储介质
CN114662587A (zh) 一种基于激光雷达的三维目标感知方法、装置及系统
CN113256709A (zh) 目标检测方法、装置、计算机设备以及存储介质
CN112405526A (zh) 一种机器人的定位方法及装置、设备、存储介质
CN114648639B (zh) 一种目标车辆的检测方法、系统及装置
CN116400349A (zh) 一种低分辨率毫米波雷达与光学相机的标定方法
CN116721162A (zh) 雷达和相机的外参标定方法、电子设备及存储介质
WO2023283929A1 (zh) 双目相机外参标定的方法及装置
CN114782496A (zh) 一种对象的跟踪方法、装置、存储介质及电子装置
CN114821497A (zh) 目标物位置的确定方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination