CN117406185B - 雷达与相机间的外参标定方法、装置、设备及存储介质 - Google Patents

雷达与相机间的外参标定方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN117406185B
CN117406185B CN202311719319.5A CN202311719319A CN117406185B CN 117406185 B CN117406185 B CN 117406185B CN 202311719319 A CN202311719319 A CN 202311719319A CN 117406185 B CN117406185 B CN 117406185B
Authority
CN
China
Prior art keywords
camera
control field
radar
point
relative
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311719319.5A
Other languages
English (en)
Other versions
CN117406185A (zh
Inventor
董皓男
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Qiyu Innovation Technology Co ltd
Original Assignee
Shenzhen Qiyu Innovation Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Qiyu Innovation Technology Co ltd filed Critical Shenzhen Qiyu Innovation Technology Co ltd
Priority to CN202311719319.5A priority Critical patent/CN117406185B/zh
Publication of CN117406185A publication Critical patent/CN117406185A/zh
Application granted granted Critical
Publication of CN117406185B publication Critical patent/CN117406185B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/40—Means for monitoring or calibrating
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

本申请涉及传感器外参标定技术领域，公开了一种雷达与相机间的外参标定方法、装置、设备及计算机可读存储介质，该方法应用于在预设的控制场中标定，控制场为包含有建筑物的室外场景，雷达和相机进行远景观测标定，包括：确定特征点和像素点的坐标关系；确定像素点与控制点的关联式；确定相机相对于控制场的外参；确定特征点和三维点之间的坐标关系；确定雷达相对于控制场的外参；根据相机相对于控制场的外参以及雷达相对于控制场的外参得到雷达与相机间的外参。本申请将包含有建筑物的室外场景作为控制场，并采用远景观测的方式进行标定，使得标定场景趋近于实际工作场景，并且充分利用了标定场地的真值信息，减少了因错误匹配导致的鲁棒性影响。

Description

雷达与相机间的外参标定方法、装置、设备及存储介质
技术领域
本申请实施例涉及传感器外参标定技术领域，具体涉及一种雷达与相机间的外参标定方法、装置、设备及计算机可读存储介质。
背景技术
在多传感器系统中，雷达相机融合技术扮演着关键的角色，雷达和相机作为常用的感知设备，能够提供丰富的信息，但它们通常位于不同的位置，因此需要进行外参标定，以确定它们的数据能够准确地融合在一起。传统的标定方案对于标定板的依赖性较强，而由于标定板与实际应用场景之间的差异性，导致外参标定精度较差，鲁棒性差。
发明内容
鉴于上述问题，本申请实施例提供了一种雷达与相机间的外参标定方法、装置、设备及计算机可读存储介质，用于解决现有技术中存在的外参标定精度差和鲁棒性差的问题。
根据本申请实施例的一个方面，提供一种雷达与相机间的外参标定方法，应用于在预设的控制场中对雷达与相机间的外参进行标定，控制场为包含有建筑物的室外场景，雷达和相机用于在控制场中进行远景观测标定，该方法包括：基于控制场的世界坐标系与相机所成的图像的像素坐标系之间的转换关系，确定控制场中的特征点和相机所成的图像中与特征点对应的像素点之间的坐标关系，其中，特征点包括控制场中建筑物上的点；基于相机投影模型及相机内参确定相机所成的图像中的像素点与控制场中的控制点之间的关联式，其中，控制点的数量大于特征点的数量；将控制场中的特征点和相机所成的图像中与特征点对应的像素点之间的坐标关系代入关联式，利用直接线性变换法，确定相机相对于控制场的外参；基于控制场的世界坐标系与雷达的点云坐标系之间的转换关系，确定控制场中的特征点和雷达所成的点云中与特征点对应的三维点之间的坐标关系；根据控制场中的特征点和雷达所成的点云中与特征点对应的三维点之间的坐标关系，确定雷达相对于控制场的外参；根据相机相对于控制场的外参以及雷达相对于控制场的外参，转换得到雷达与相机间的外参。
在一种可选的方式中，雷达和相机用于在控制场中进行多站点观测标定，以得到相机位于每一站点时相对于控制场的外参以及雷达位于每一站点时相对于控制场的外参；根据相机相对于控制场的外参以及雷达相对于控制场的外参，转换得到雷达与相机间的外参，包括：通过最小化多站点间的重投影误差，优化位于每一站点时相机相对于控制场的外参；通过最小化多站点间的同名点云匹配误差，优化位于每一站点时雷达对于控制场的外参；根据优化后的位于每一站点时相机相对于控制场的外参以及优化后的位于每一站点时雷达相对于控制场的外参，转换得到雷达与相机间的外参。
在一种可选的方式中，通过最小化多站点间的重投影误差，优化位于每一站点时相机相对于控制场的外参中，重投影误差的损失函数如下：
其中，i表示站点，j表示相机位于每个站点时所成的图像中与特征点对应的像素点的序号，K表示相机内参，Pij与Pw分别表示相互匹配的像素点与特征点，Ri和ti表示相机位于站点i时相对于控制场的姿态，其中Ri表示相机位于站点i时相对于控制场的旋转，ti表示相机位于站点i时相对于控制场的平移；
通过最小化多站点间的同名点云匹配误差，优化位于每一站点时雷达对于控制场的外参中，同名点云匹配误差的损失函数如下：
其中，m表示站点，n表示雷达位于每个站点时所成的点云中与特征点对应的三维点的序号，Pmn与Pw分别表示相互匹配的三维点与特征点，Rm和tm表示雷达位于站点m时相对于控制场的姿态，其中Rm表示雷达位于站点m时相对于控制场的旋转，tm表示雷达位于站点m时相对于控制场的平移。
在一种可选的方式中，根据优化后的位于每一站点时相机相对于控制场的外参以及优化后的位于每一站点时雷达相对于控制场的外参，转换得到雷达与相机间的外参，包括：根据优化后的位于每一站点时相机相对于控制场的外参以及优化后的位于每一站点时雷达相对于控制场的外参，转换得到位于每一站点时雷达与相机间的外参；将位于每一站点时的雷达投影至相机视角下，利用位于每一站点时雷达与相机间的外参，对投影后雷达所成的点云中的三维点与相机所成图像中对应的像素点进行匹配，通过最小化重投影误差，优化得到雷达与相机间的外参。
在一种可选的方式中，将位于每一站点时的雷达投影至相机视角下，利用位于每一站点时雷达与相机间的外参，对投影后雷达所成的点云中的三维点与相机所成图像中对应的像素点进行匹配，通过最小化重投影误差，优化得到雷达与相机间的外参中，重投影误差的损失函数如下：
其中，k表示站点，l表示位于每个站点时相机所成图像中与雷达所成点云中的三维点相匹配的像素点的序号，K表示相机内参，pkl与Pkl分别表示相互匹配的像素点与三维点，Rk和tk表示位于站点k时相机相对于雷达的外参，其中Rk表示位于站点k时相机相对于雷达的旋转，tk表示位于站点k时相机相对于雷达的平移。
在一种可选的方式中，基于控制场的世界坐标系与相机所成的图像的像素坐标系之间的转换关系，确定控制场中的特征点和相机所成的图像中与特征点对应的像素点之间的坐标关系，包括：基于控制场的世界坐标系与相机的投影坐标系之间的转换关系，确定控制场中的特征点和相机中与特征点对应的投影点之间的第一坐标关系；基于相机的投影坐标系与相机所成的图像的像素坐标系之间的转换关系，确定相机中的投影点和相机所成的图像中与投影点对应的像素点之间的第二坐标关系；根据第一坐标关系和第二坐标关系，确定控制场中的特征点和相机所成的图像中与特征点对应的像素点之间的坐标关系。
在一种可选的方式中，相机为鱼眼镜头相机；
控制场中的特征点和相机中与特征点对应的投影点之间的第一坐标关系如下：
其中，B1表示投影点的坐标，B2表示特征点的坐标，R和T表示特征点与投影点的坐标转换关系参数，其中R表示旋转，t表示平移；
基于相机的投影坐标系与相机所成的图像的像素坐标系之间的转换关系，确定相机中的投影点和相机所成的图像中与投影点对应的像素点之间的第二坐标关系，包括：
基于针孔投影原理，可得特征点的坐标B2（x，y，z）在像素坐标系下对应的像素点的坐标B3（u，v）如下：
转化为极坐标系可得：
基于鱼眼成像模型，可得鱼眼镜头下的投影点的坐标B1（x’，y’）如下：
其中，k1、k2、k3及k4均为鱼眼镜头内参；
将投影点的坐标B1（x’，y’）转换为像素点的坐标B3（u，v），可得第二坐标关系如下：
其中，fx表示相机x方向焦距，cx表示相机x方向像主点坐标，fy表示相机y方向焦距，cy表示相机y方向像主点坐标；
基于相机投影模型及相机内参确定相机所成的图像中的像素点与控制场中的控制点之间的关联式，包括：
确定相机内参矩阵K如下：
基于相机投影模型及相机内参矩阵K，可得相机所成的图像中的像素点与控制场中的控制点之间的关联式如下：
其中，Zc表示像素坐标系下像素点的Z轴深度值，Ri和ti表示相机位于站点i时相对于控制场的姿态，其中Ri表示相机位于站点i时相对于控制场的旋转，ti表示相机位于站点i时相对于控制场的平移。
根据本申请实施例的另一个方面，提供一种雷达与相机间的外参标定装置，应用于在预设的控制场中对雷达与相机间的外参进行标定，控制场为包含有建筑物的室外场景，雷达和相机用于在控制场中进行远景观测标定，该装置包括：第一坐标关系确定模块，用于基于控制场的世界坐标系与相机所成的图像的像素坐标系之间的转换关系，确定控制场中的特征点和相机所成的图像中与特征点对应的像素点之间的坐标关系，其中，特征点包括控制场中建筑物上的点；关联式确定模块，用于基于相机投影模型及相机内参确定相机所成的图像中的像素点与控制场中的控制点之间的关联式，其中，控制点的数量大于特征点的数量；第一外参确定模块，用于将控制场中的特征点和相机所成的图像中与特征点对应的像素点之间的坐标关系代入关联式，利用直接线性变换法，确定相机相对于控制场的外参；第二坐标关系确定模块，用于基于控制场的世界坐标系与雷达的点云坐标系之间的转换关系，确定控制场中的特征点和雷达所成的点云中与特征点对应的三维点之间的坐标关系；第二外参确定模块，用于根据控制场中的特征点和雷达所成的点云中与特征点对应的三维点之间的坐标关系，确定雷达相对于控制场的外参；第三外参确定模块，用于根据相机相对于控制场的外参以及雷达相对于控制场的外参，转换得到雷达与相机间的外参。
根据本申请实施例的另一个方面，提供一种雷达与相机间的外参标定设备，包括：处理器、存储器、通信接口和通信总线，处理器、存储器和通信接口通过通信总线完成相互间的通信；存储器用于存储可执行指令，可执行指令使处理器执行如上任意一项中的雷达与相机间的外参标定方法的操作。
根据本申请实施例的另一个方面，提供一种计算机可读存储介质，存储介质中存储有可执行指令，可执行指令在雷达与相机间的外参标定设备上运行时，使得雷达与相机间的外参标定设备执行如上任意一项中的雷达与相机间的外参标定方法的操作。
本申请实施例提供的雷达与相机间的外参标定方法中，将包含有建筑物的室外场景作为控制场，并采用远景观测的方式进行标定，使得标定场景趋近于实际工作场景，并且充分利用了标定场地的真值信息，减少了因错误匹配导致的鲁棒性影响，在此基础上，首先对相机和雷达进行独立外参的解算，再通过转换得到雷达与相机间的外参，以提高标定的精度。
上述说明仅是本申请实施例技术方案的概述，为了能够更清楚了解本申请实施例的技术手段，而可依照说明书的内容予以实施，并且为了让本申请实施例的上述和其它目的、特征和优点能够更明显易懂，以下特举本申请的具体实施方式。
附图说明
附图仅用于示出实施方式，而并不认为是对本申请的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
图1为本申请实施例提供的雷达与相机间的外参标定方法的流程示意图；
图2为图1中步骤160的子步骤流程示意图；
图3为图2中步骤163的子步骤流程示意图；
图4为图1中步骤110的子步骤流程示意图；
图5为本申请实施例提供的雷达与相机间的外参标定装置的模块化结构示意图；
图6为本申请实施例提供的雷达与相机间的外参标定设备的结构示意图。
具体实施方式
下面将参照附图更详细地描述本申请的示例性实施例。虽然附图中显示了本申请的示例性实施例，然而应当理解，可以以各种形式实现本申请而不应被这里阐述的实施例所限制。
在自动驾驶、机器人导航和智能交通等领域当中，多传感器感知系统扮演着重要的角色，雷达和相机则是多传感器系统当中重要的感知设备。为了实现可靠的检测，需要将位于不同位置的雷达和相机的数据准确地融合在一起，外参标定则决定了数据融合的准确性和可靠性。
传统的雷达与相机间的外参标定方法一般通过利用已知几何形状的标定板来获取雷达和相机之间的关联信息，其对标定板的放置要求较高，且对于标定板的依赖性较强，而受限于标定板与实际应用环境之间的差异，导致标定精度较差，且不太适用于动态环境。
基于此，本申请将包含有建筑物的室外场景作为控制场，在采用远景观测的基础上，通过匹配建筑物上的特征点与相机成像中的像素点解算相机在控制场中外参，通过匹配建筑物上的特征点与雷达所成点云中的三维点解算雷达在控制场中外参，实现相机和雷达的独立姿态定位和解算，最后根据相机和雷达在控制场中外参，转换得到雷达与相机间的外参，整个方案当中以远景观测和室外实际环境作为标定场景，从室外实际环境当中的建筑物选取特征点进行匹配，能够确保标定结果更加适应实际应用场景，提升鲁棒性，同时先独立解算雷达和相机各自在控制场当中的外参，再通过转换得到雷达与相机间的外参，以确保标定的精度。
根据本申请实施例的一个方面，提供一种雷达与相机间的外参标定方法，具体请参阅图1，图中示出了本申请实施例提供的雷达与相机间的外参标定方法的流程，该方法可以由雷达与相机间的外参标定设备执行，该设备例如可以是计算机、服务器等。该方法应用于在预设的控制场对雷达和相机间的外参进行标定，该控制场为包含有建筑物的室外场景，雷达和相机用于在控制场中进行远景观测标定，如图1所示，该方法包括以下步骤：
步骤110：基于控制场的世界坐标系与相机所成的图像的像素坐标系之间的转换关系，确定控制场中的特征点和相机所成的图像中的特征点对应的像素点之间的坐标关系，其中，特征点包括控制场中建筑物上的点。
由于本申请实施例当中采用的是远景观测标定，因此，预定义的控制场除了包含建筑物以外，还可以包含大型标定板、反射体或其他可检测的特征物体，相应地，在这些可检测的特征物体上可以再设置相应的特征点，以提供可靠的标定参考，其中标定点可以是三维标记或其他高对比度的物体。
在实际使用环境中，采集雷达和相机的数据，包括控制场的特征物体在雷达和相机视野中的投影。在实际标定时，确保相机和雷达均被准确地安装，可以采集足够多的数据以涵盖整个场景，并且相机和雷达同时采集控制场的数据。
在本步骤中，采用预定义的控制场中建筑物上的点作为特征点来与图像当中的像素点进行匹配，得到特征点的实际坐标值与像素点的坐标值之间的对应关系，由于所采用的标定场景更加接近于实际工作场景，从而有利于提升后续标定的精度。
步骤120：基于相机投影模型及相机内参确定相机所成的图像中的像素点与控制场中的控制点之间的关联式，其中，控制点的数量大于特征点的数量。
需要说明的是，本步骤中，控制点为控制场中所有点的集合，基于相机模型及相机内参得到的像素点与控制点之间的关联式为基于相机内参和其投影成像原理推算出的控制点与像素点之间的坐标转换公式。
步骤130，将控制场中的特征点和相机所成的图像中与特征点对应的像素点之间的坐标关系代入关联式，利用直接线性变换法，确定相机相对于控制场的外参。
在本步骤中，通过将步骤110得到相对应的特征点的实际坐标值与像素点的坐标值（也即二者之间的坐标关系）代入步骤120得到的控制点与像素点之间的坐标转换公式（也即关联式）中，利用直接线性变换法，可以求得相机相对于控制场的姿态，也即相机相对于控制场的外参，具体包括旋转和平移，从而初步得到相机的独立外参。
步骤140：基于控制场的世界坐标系与雷达的点云坐标系之间的转换关系，确定控制场中的特征点和雷达所成的点云中与特征点对应的三维点之间的坐标关系。
步骤150：根据控制场中的特征点和雷达所成的点云中与特征点对应的三维点之间的坐标关系，确定雷达相对于控制场的外参。
步骤140和步骤150用于确定雷达相对于控制场的外参，与上述步骤110至步骤130同理，不过由于相机与控制场之间坐标的二维与三维的关系，而雷达与控制场之间的坐标是三维与三维的关系，因此在步骤140和步骤150中，只需要根据控制场中特征点的实际坐标值与点云中三维点的坐标值之间的对应关系，计算确定雷达相对于控制场的外参即可，由此可以得到雷达的独立外参。
步骤160：根据相机相对于控制场的外参以及雷达相对于控制场的外参，转换得到雷达与相机间的外参。
本步骤中，在得到相机相对于控制场的外参以及雷达相对于控制场的外参后，简单转换便可以得到雷达与相机间的外参。例如当相机相对于控制场的外参为Ra，ta，Ra表示旋转，ta表示平移，雷达相对于控制场的外参为Rb，tb，含义与相机相同，不多赘述。则雷达相对于相机的外参为RbRa -1，tb-RbRa -1ta。
本申请实施例提供的雷达与相机间的外参标定方法中，将包含有建筑物的室外场景作为控制场，并采用远景观测的方式进行标定，使得标定场景趋近于实际工作场景，并且充分利用了标定场地的真值信息，减少了因错误匹配导致的鲁棒性影响，在此基础上，首先对相机和雷达进行独立外参的解算，再通过转换得到雷达与相机间的外参，以提高标定的精度。
为了能够使标定精度得到进一步提高，本申请还提出一种实施方式，在本实施方式中，雷达和相机用于在控制场中进行多站点观测标定，其中多站点观测指的是同一套雷达和相机，分别在不同位置和/或不同角度对控制场进行观测成像，基于此，在上述步骤130和步骤150中可以得到相机位于每一站点时相对于控制场的外参以及雷达位于每一站点时相对于控制场的外参，具体请进一步参阅图2，图中示出了步骤160的子步骤流程。如图中所示，步骤160包括以下步骤：
步骤161：通过最小化多站点间的重投影误差，优化位于每一站点时相机相对于控制场的外参。
相机在每一站点拍摄所成的图像中均具有与控制场中的特征点对应的像素点，多站点间的重投影指的便是多张图像中与特征点对应的这部分像素点，而根据这部分像素点可以确定出多个相机相对于控制场的外参，通过这部分外参相互比对可以确定出标定误差，通过最小化误差对位于每一站点时相机相对于控制场的外参进行优化，以提高计算精度。
在本步骤中，具体可以利用Levenberg-Marquardt方法（简称L-M方法）、高斯牛顿方法或最小二乘法等来优化位于每一站点时相机相对于控制场的外参。并且重投影误差可以采用如下损失函数：
其中，i表示站点，j表示相机位于每个站点时所成的图像中与特征点对应的像素点的序号，K表示相机内参，Pij与Pw分别表示相互匹配的像素点与特征点，Ri和ti表示相机位于站点i时相对于控制场的姿态，其中Ri表示相机位于站点i时相对于控制场的旋转，ti表示相机位于站点i时相对于控制场的平移。
步骤162：通过最小化多站点间的同名点云匹配误差，优化位于每一站点时雷达相对于控制场的外参。
同理，雷达在每一站点扫描所成的点云中均具有与控制场中的特征点对应的三维点，多站点间的同名点云指的便是多个点云中与特征点对应的这部分三维点，根据这部分三维点可以确定出多个雷达相对于控制场的外参，进而通过该部分外参进行最小化误差优化，以提高位于每一站点时雷达相对于控制场的外参的计算精度。
同样地，可以利用L-M方法优化位于每一站点时雷达相对于控制场的外参，同名点云匹配误差可以采用如下损失函数：
其中，m表示站点，n表示雷达位于每个站点时所成的点云中与特征点对应的三维点的序号，Pmn与Pw分别表示相互匹配的三维点与特征点，Rm和tm表示雷达位于站点m时相对于控制场的姿态，其中Rm表示雷达位于站点m时相对于控制场的旋转，tm表示雷达位于站点m时相对于控制场的平移。
步骤163：根据优化后的位于每一站点时相机相对于控制场的外参以及优化后的位于每一站点时雷达相对于控制场的外参，转换得到雷达与相机间的外参。
在本实施例中，通过多站点观测标定的方式得到多个相机相对于控制场的外参以及多个雷达相对于控制场的外参，利用对多个相机相对于控制场的外参进行最小化误差处理，使得优化后的位于每一站点时相机相对于控制场的外参更为准确，利用对多个雷达相对于控制场的外参进行最小化误差处理，使得优化后的位于每一站点时雷达相对于控制场的误差更为准确，最后再通过优化后的位于每一站点时相机相对于控制场的外参和优化后的位于每一站点时雷达相对于控制场的外参进行转换，得到精度更高的雷达与相机间的外参。
在对相机相对于控制场的外参以及雷达相对于控制场的外参进行优化后，为了更进一步地提高标定精度，本申请还提出一种实施方式，具体请参阅图3，图中示出了步骤163的子步骤流程，如图中所示，上述步骤163以下步骤：
步骤1631：根据优化后的位于每一站点时相机相对于控制场的外参以及优化后的位于每一站点时雷达相对于控制场的外参，转换得到位于每一站点时雷达与相机间的外参。
步骤1632：将位于每一站点时的雷达投影至相机视角下，利用位于每一站点时雷达与相机间的外参，对投影后雷达所成的点云中的三维点与相机所成图像中对应的像素点进行匹配，通过最小化重投影误差，优化得到雷达与相机间的外参。
在本步骤中，重投影误差可以采用如下损失函数：
其中，k表示站点，l表示位于每个站点时相机所成图像中与雷达所成点云中的三维点相匹配的像素点的序号，K表示相机内参，pkl与Pkl分别表示相互匹配的像素点与三维点，Rk和tk表示位于站点k时相机相对于雷达的外参，其中Rk表示位于站点k时相机相对于雷达的旋转，tk表示位于站点k时相机相对于雷达的平移。
在本实施例中，利用优化后的位于每一站点时相机相对于控制场的外参以及优化后的位于每一站点时雷达相对于控制场的外参，可以转换得到位于每一站点时雷达与相机间的外参，也即得到多个雷达与相机间的外参，基于此，同样利用最小化误差的方式对多个雷达与相机间的外参进行优化，使得最终确定出的雷达与相机间的外参精度更高。
对于控制场中特征点和相机所成图像中像素点之间的坐标关系确定，本申请进一步提出一种实施方式，具体请参阅图4，图中示出了步骤110的子步骤。如图中所示，步骤110包括以下步骤：
步骤111：基于控制场的世界坐标系与相机的投影坐标系之间的转换关系，确定控制场中的特征点和相机中与特征点对应的投影点之间的第一坐标关系。
本步骤中，投影坐标系指的是相机内部成像的像面上的二维坐标系，与特征点对应的投影点即为特征点投影在像面上的点。特征点和与其对应的投影点之间的第一坐标关系为三维坐标值与二维坐标值的对应关系。
步骤112：基于相机的投影坐标系与相机所成的图像的像素坐标系之间的转换关系，确定相机中的投影点和相机所成的图像中与投影点对应的像素点之间的第二坐标关系。
本步骤中，像素坐标系指的是相机成像后输出的图像数据上的坐标，与投影点对应的像素点即为像面上的投影点形成图像数据之后所对应的像素点。像面和图像数据均为二维平面，因此投影点和像素点之间的第二坐标关系为二维坐标值与二维坐标值的对应关系。
步骤113：根据第一坐标关系和第二坐标关系，确定控制场中的特征点和相机所成的图像中与特征点对应的像素点之间的坐标关系。
在上述步骤111和步骤112中，分别得到了特征点与投影点的第一坐标关系，以及投影点与像素点之间的第二坐标关系，联立第一坐标关系和第二坐标关系，便可以确定出特征点与像素点之间的坐标关系。
进一步地，在一些实施例中，相机为鱼眼镜头相机，鱼眼镜头视角极大，非常适用于本申请中室外场景的控制场的远景观测，其有利于相机对控制场进行全方位的拍摄成像，以更好地进行特征点识别匹配。针对采用鱼眼镜头的方案而言，上述步骤111确定的第一坐标关系如下：
其中，B1表示投影点的坐标，B2表示特征点的坐标，R和T表示特征点与投影点的坐标转换关系参数，其中R表示旋转，t表示平移。
上述步骤112包括以下步骤：
步骤1121：基于针孔投影原理，可得特征点的坐标B2（x，y，z）在像素坐标系下对应的像素点的坐标B3（u，v）如下：
转化为极坐标系可得：
基于鱼眼成像模型，可得鱼眼镜头下的投影点的坐标B1（x’，y’）如下：
其中，k1、k2、k3及k4均为鱼眼镜头内参。
将投影点的坐标B1（x’，y’）转换为像素点的坐标B3（u，v），可得第二坐标关系如下：
其中，fx表示相机x方向焦距，cx表示相机x方向像主点坐标，fy表示相机y方向焦距，cy表示相机y方向像主点坐标。
在步骤113中，联立上述式（4）和式（9），便可以得到特征点的坐标值和像素点的坐标值之间的对应关系，也即二者间的坐标关系。
步骤120包括以下步骤：
确定相机内参矩阵K如下：
基于相机投影模型及相机内参矩阵K，可得相机所成的图像中的像素点与控制场中的控制点之间的关联式如下：
其中，Zc表示像素坐标系下像素点的Z轴深度值，Ri和ti表示相机位于站点i时相对于控制场的姿态，其中Ri表示相机位于站点i时相对于控制场的旋转，ti表示相机位于站点i时相对于控制场的平移。
在步骤130中，将步骤113中得到的相对应的特征点的坐标值和像素点的坐标值代入步骤120中的式（11）中，便可以求得Ri和ti的具体值，也即相机位于每一站点时相对于控制场的姿态（外参）。
通过上述方案，可以更为准确地得到相机位于每一站点时相对于控制场的外参，为后续雷达与相机间的外参确定提供准确数据支持。
在一些实施例中，在步骤160之后还可以包括以下步骤：
步骤170：通过另外的控制场或真实场景验证雷达与相机间的外参标定结果。
通过对标定的雷达与相机间的外参进行另外场景下的验证，能够快速确定标定结果的准确性和可靠性。
根据本申请实施例的另一个方面，还提供一种雷达与相机间的外参标定装置，具体请参阅图5，图中示出了该装置的模块化结构。该装置应用于在预设的控制场中对雷达与相机间的外参进行标定，控制场为包含有建筑物的室外场景，雷达和相机用于在控制场中进行远景观测标定。该雷达与相机间的外参标定装置200包括：第一坐标关系确定模块210，用于基于控制场的世界坐标系与相机所成的图像的像素坐标系之间的转换关系，确定控制场中的特征点和相机所成的图像中与特征点对应的像素点之间的坐标关系，其中，特征点包括控制场中建筑物上的点；关联式确定模块220，用于基于相机投影模型及相机内参确定相机所成的图像中的像素点与控制场中的控制点之间的关联式，其中，控制点的数量大于特征点的数量；第一外参确定模块230，用于将控制场中的特征点和相机所成的图像中与特征点对应的像素点之间的坐标关系代入关联式，利用直接线性变换法，确定相机相对于控制场的外参；第二坐标关系确定模块240，用于基于控制场的世界坐标系与雷达的点云坐标系之间的转换关系，确定控制场中的特征点和雷达所成的点云中与特征点对应的三维点之间的坐标关系；第二外参确定模块250，用于根据控制场中的特征点和雷达所成的点云中与特征点对应的三维点之间的坐标关系，确定雷达相对于控制场的外参；第三外参确定模块260，用于根据相机相对于控制场的外参以及雷达相对于控制场的外参，转换得到雷达与相机间的外参。
在一些实施例中，雷达和相机用于在控制场中进行多站点观测标定，以得到相机位于每一站点时相对于控制场的外参以及雷达位于每一站点时相对于控制场的外参；根据相机相对于控制场的外参以及雷达相对于控制场的外参，转换得到雷达与相机间的外参，包括：通过最小化多站点间的重投影误差，优化位于每一站点时相机相对于控制场的外参；通过最小化多站点间的同名点云匹配误差，优化位于每一站点时雷达对于控制场的外参；根据优化后的位于每一站点时相机相对于控制场的外参以及优化后的位于每一站点时雷达相对于控制场的外参，转换得到雷达与相机间的外参。
在一些实施例中，通过最小化多站点间的重投影误差，优化位于每一站点时相机相对于控制场的外参中，重投影误差的损失函数如下：
其中，i表示站点，j表示相机位于每个站点时所成的图像中与特征点对应的像素点，K表示相机内参，Pij与Pw分别表示相互匹配的像素点与特征点，Ri和ti表示相机位于站点i时相对于控制场的姿态，其中Ri表示相机位于站点i时相对于控制场的旋转，ti表示相机位于站点i时相对于控制场的平移；
通过最小化多站点间的同名点云匹配误差，优化位于每一站点时雷达对于控制场的外参中，同名点云匹配误差的损失函数如下：
其中，m表示站点，n表示雷达位于每个站点时所成的点云中与特征点对应的三维点，Pmn与Pw分别表示相互匹配的三维点与特征点，Rm和tm表示雷达位于站点m时相对于控制场的姿态，其中Rm表示雷达位于站点m时相对于控制场的旋转，tm表示雷达位于站点m时相对于控制场的平移。
在一些实施例中，根据优化后的位于每一站点时相机相对于控制场的外参以及优化后的位于每一站点时雷达相对于控制场的外参，转换得到雷达与相机间的外参，包括：根据优化后的位于每一站点时相机相对于控制场的外参以及优化后的位于每一站点时雷达相对于控制场的外参，转换得到位于每一站点时雷达与相机间的外参；将位于每一站点时的雷达投影至相机视角下，利用位于每一站点时雷达与相机间的外参，对投影后雷达所成的点云中的三维点与相机所成图像中对应的像素点进行匹配，通过最小化重投影误差，优化得到雷达与相机间的外参。
在一些实施例中，将位于每一站点时的雷达投影至相机视角下，利用位于每一站点时雷达与相机间的外参，对投影后雷达所成的点云中的三维点与相机所成图像中对应的像素点进行匹配，通过最小化重投影误差，优化得到雷达与相机间的外参中，重投影误差的损失函数如下：
其中，k表示站点，l表示位于每个站点时相机所成图像中与雷达所成点云中的三维点相匹配的像素点的序号，K表示相机内参，pkl与Pkl分别表示相互匹配的像素点与三维点，Rk和tk表示位于站点k时相机相对于雷达的外参，其中Rk表示位于站点k时相机相对于雷达的旋转，tk表示位于站点k时相机相对于雷达的平移。
在一些实施例中，基于控制场的世界坐标系与相机所成的图像的像素坐标系之间的转换关系，确定控制场中的特征点和相机所成的图像中与特征点对应的像素点之间的坐标关系，包括：基于控制场的世界坐标系与相机的投影坐标系之间的转换关系，确定控制场中的特征点和相机中与特征点对应的投影点之间的第一坐标关系；基于相机的投影坐标系与相机所成的图像的像素坐标系之间的转换关系，确定相机中的投影点和相机所成的图像中与投影点对应的像素点之间的第二坐标关系；根据第一坐标关系和第二坐标关系，确定控制场中的特征点和相机所成的图像中与特征点对应的像素点之间的坐标关系。
在一些实施例中，相机为鱼眼镜头相机；
控制场中的特征点和相机中与特征点对应的投影点之间的第一坐标关系如下：
其中，B1表示投影点的坐标，B2表示特征点的坐标，R和T表示特征点与投影点的坐标转换关系参数，其中R表示旋转，t表示平移；
基于相机的投影坐标系与相机所成的图像的像素坐标系之间的转换关系，确定相机中的投影点和相机所成的图像中与投影点对应的像素点之间的第二坐标关系，包括：
基于针孔投影原理，可得特征点的坐标B2（x，y，z）在像素坐标系下对应的像素点的坐标B3（u，v）如下：
转化为极坐标系可得：
基于鱼眼成像模型，可得鱼眼镜头下的投影点的坐标B1（x’，y’）如下：
其中，k1、k2、k3及k4均为鱼眼镜头内参；
将投影点的坐标B1（x’，y’）转换为像素点的坐标B3（u，v），可得第二坐标关系如下：
其中，fx表示相机x方向焦距，cx表示相机x方向像主点坐标，fy表示相机y方向焦距，cy表示相机y方向像主点坐标；
基于相机投影模型及相机内参确定相机所成的图像中的像素点与控制场中的控制点之间的关联式，包括：
确定相机内参矩阵K如下：
基于相机投影模型及相机内参矩阵K，可得相机所成的图像中的像素点与控制场中的控制点之间的关联式如下：
其中，Zc表示像素坐标系下像素点的Z轴深度值，Ri和ti表示相机位于站点i时相对于控制场的姿态，其中Ri表示相机位于站点i时相对于控制场的旋转，ti表示相机位于站点i时相对于控制场的平移。
根据本申请实施例的另一个方面，还提供一种雷达与相机间的外参标定设备，具体请参阅图6，图中示出了该标定设备的结构示意图，本申请具体实施例并不对雷达与相机间的外参标定设备的具体实现做限定。
如图6所示，该雷达与相机间的外参标定设备包括：处理器(processor)302、通信接口(Communications Interface)304、存储器(memory)306、以及通信总线308。
其中：处理器302、通信接口304、以及存储器306通过通信总线308完成相互间的通信。通信接口304，用于与其它设备比如客户端或其它服务器等的网元通信。处理器302，用于执行程序310，具体可以执行上述用于雷达与相机间的外参标定方法实施例中的相关步骤。
具体地，程序310可以包括程序代码，该程序代码包括计算机可执行指令。
处理器302可能是中央处理器CPU，或者是特定集成电路ASIC（ApplicationSpecific Integrated Circuit），或者是被配置成实施本申请实施例的一个或多个集成电路。雷达与相机间的外参标定设备包括的一个或多个处理器，可以是同一类型的处理器，如一个或多个CPU；也可以是不同类型的处理器，如一个或多个CPU以及一个或多个ASIC。
存储器306，用于存储程序310。存储器306可能包含高速RAM存储器，也可能还包括非易失性存储器（non-volatile memory），例如至少一个磁盘存储器。
程序310具体可以被处理器302调用使雷达与相机间的外参标定设备执行以下操作：
基于控制场的世界坐标系与相机所成的图像的像素坐标系之间的转换关系，确定控制场中的特征点和相机所成的图像中与特征点对应的像素点之间的坐标关系，其中，特征点包括控制场中建筑物上的点；
基于相机投影模型及相机内参确定相机所成的图像中的像素点与控制场中的控制点之间的关联式，其中，控制点的数量大于特征点的数量；
将控制场中的特征点和相机所成的图像中与特征点对应的像素点之间的坐标关系代入关联式，利用直接线性变换法，确定相机相对于控制场的外参；
基于控制场的世界坐标系与雷达的点云坐标系之间的转换关系，确定控制场中的特征点和雷达所成的点云中与特征点对应的三维点之间的坐标关系；
根据控制场中的特征点和雷达所成的点云中与特征点对应的三维点之间的坐标关系，确定雷达相对于控制场的外参；
根据相机相对于控制场的外参以及雷达相对于控制场的外参，转换得到雷达与相机间的外参。
本申请实施例还提供了一种计算机可读存储介质，所述存储介质存储有可执行指令，该可执行指令在雷达与相机间的外参标定设备上运行时，使得所述雷达与相机间的外参标定设备执行上述任意方法实施例中的雷达与相机间的外参标定方法。
可执行指令具体可以用于使得雷达与相机间的外参标定设备执行以下操作：
基于控制场的世界坐标系与相机所成的图像的像素坐标系之间的转换关系，确定控制场中的特征点和相机所成的图像中与特征点对应的像素点之间的坐标关系，其中，特征点包括控制场中建筑物上的点；
基于相机投影模型及相机内参确定相机所成的图像中的像素点与控制场中的控制点之间的关联式，其中，控制点的数量大于特征点的数量；
将控制场中的特征点和相机所成的图像中与特征点对应的像素点之间的坐标关系代入关联式，利用直接线性变换法，确定相机相对于控制场的外参；
基于控制场的世界坐标系与雷达的点云坐标系之间的转换关系，确定控制场中的特征点和雷达所成的点云中与特征点对应的三维点之间的坐标关系；
根据控制场中的特征点和雷达所成的点云中与特征点对应的三维点之间的坐标关系，确定雷达相对于控制场的外参；
根据相机相对于控制场的外参以及雷达相对于控制场的外参，转换得到雷达与相机间的外参。
本申请实施例提供了一种计算机程序，所述计算机程序可被处理器调用使雷达与相机间的外参标定设备执行上述任意方法实施例中的雷达与相机间的外参标定方法。
在此提供的算法或显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述，构造这类系统所要求的结构是显而易见的。此外，本申请实施例也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本申请的内容，并且上面对特定语言所做的描述是为了披露本申请的最佳实施方式。
在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本申请的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。
类似地，应当理解，为了精简本申请并帮助理解各个发明方面中的一个或多个，在上面对本申请的示例性实施例的描述中，本申请实施例的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。
本领域技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书（包括伴随的摘要和附图）中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书（包括伴随的摘要和附图）中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本申请可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。上述实施例中的步骤，除有特殊说明外，不应理解为对执行顺序的限定。

Claims (7)

1.一种雷达与相机间的外参标定方法，应用于在预设的控制场中对所述雷达与所述相机间的外参进行标定，其特征在于，所述控制场为包含有建筑物的室外场景，所述雷达和所述相机用于在所述控制场中进行远景观测标定，所述方法包括：
基于所述控制场的世界坐标系与所述相机所成的图像的像素坐标系之间的转换关系，确定所述控制场中的特征点和所述相机所成的图像中与所述特征点对应的像素点之间的坐标关系，其中，所述特征点包括所述控制场中建筑物上的点；
基于相机投影模型及相机内参确定所述相机所成的图像中的像素点与所述控制场中的控制点之间的关联式，其中，所述控制点的数量大于所述特征点的数量；
将所述控制场中的特征点和所述相机所成的图像中与所述特征点对应的像素点之间的坐标关系代入所述关联式，利用直接线性变换法，确定所述相机相对于所述控制场的外参；
基于所述控制场的世界坐标系与所述雷达的点云坐标系之间的转换关系，确定所述控制场中的所述特征点和所述雷达所成的点云中与所述特征点对应的三维点之间的坐标关系；
根据所述控制场中的所述特征点和所述雷达所成的点云中与所述特征点对应的三维点之间的坐标关系，确定所述雷达相对于所述控制场的外参；
根据所述相机相对于所述控制场的外参以及所述雷达相对于所述控制场的外参，转换得到所述雷达与所述相机间的外参；
所述雷达和所述相机用于在所述控制场中进行多站点观测标定，以得到所述相机位于每一站点时相对于所述控制场的外参以及所述雷达位于每一站点时相对于控制场的外参；
所述根据所述相机相对于所述控制场的外参以及所述雷达相对于所述控制场的外参，转换得到所述雷达与所述相机间的外参，包括：
通过最小化多站点间的重投影误差，优化位于每一站点时所述相机相对于所述控制场的外参；
通过最小化多站点间的同名点云匹配误差，优化位于每一站点时所述雷达对于所述控制场的外参；
根据优化后的位于每一站点时所述相机相对于所述控制场的外参以及优化后的位于每一站点时所述雷达相对于所述控制场的外参，转换得到所述雷达与所述相机间的外参；
所述基于所述控制场的世界坐标系与所述相机所成的图像的像素坐标系之间的转换关系，确定所述控制场中的特征点和所述相机所成的图像中与所述特征点对应的像素点之间的坐标关系，包括：
基于所述控制场的世界坐标系与所述相机的投影坐标系之间的转换关系，确定所述控制场中的特征点和所述相机中与所述特征点对应的投影点之间的第一坐标关系；
基于所述相机的投影坐标系与所述相机所成的图像的像素坐标系之间的转换关系，确定所述相机中的投影点和所述相机所成的图像中与所述投影点对应的像素点之间的第二坐标关系；
根据所述第一坐标关系和所述第二坐标关系，确定所述控制场中的特征点和所述相机所成的图像中与所述特征点对应的像素点之间的坐标关系；
所述相机为鱼眼镜头相机；
所述控制场中的特征点和所述相机中与所述特征点对应的投影点之间的第一坐标关系如下：
其中，B1表示投影点的坐标，B2表示特征点的坐标，R和T表示特征点与投影点的坐标转换关系参数，其中R表示旋转，t表示平移；
所述基于所述相机的投影坐标系与所述相机所成的图像的像素坐标系之间的转换关系，确定所述相机中的投影点和所述相机所成的图像中与所述投影点对应的像素点之间的第二坐标关系，包括：
基于针孔投影原理，可得所述特征点的坐标B2（x，y，z）在像素坐标系下对应的像素点的坐标B3（u，v）如下：
转化为极坐标系可得：
基于鱼眼成像模型，可得鱼眼镜头下的投影点的坐标B1（x’，y’）如下：
其中，k1、k2、k3及k4均为鱼眼镜头内参；
将投影点的坐标B1（x’，y’）转换为像素点的坐标B3（u，v），可得第二坐标关系如下：
其中，fx表示相机x方向焦距，cx表示相机x方向像主点坐标，fy表示相机y方向焦距，cy表示相机y方向像主点坐标；
所述基于相机投影模型及相机内参确定所述相机所成的图像中的像素点与所述控制场中的控制点之间的关联式，包括：
确定相机内参矩阵K如下：
基于相机投影模型及相机内参矩阵K，可得所述相机所成的图像中的像素点与所述控制场中的控制点之间的关联式如下：
其中，Zc表示像素坐标系下像素点的Z轴深度值，Ri和ti表示相机位于站点i时相对于控制场的姿态，其中Ri表示相机位于站点i时相对于控制场的旋转，ti表示相机位于站点i时相对于控制场的平移。
2.根据权利要求1所述的雷达与相机间的外参标定方法，其特征在于，所述通过最小化多站点间的重投影误差，优化位于每一站点时所述相机相对于所述控制场的外参中，重投影误差的损失函数如下：
其中，i表示站点，j表示相机位于每个站点时所成的图像中与所述特征点对应的像素点的序号，K表示相机内参，Pij与Pw分别表示相互匹配的像素点与特征点，Ri和ti表示相机位于站点i时相对于控制场的姿态，其中Ri表示相机位于站点i时相对于控制场的旋转，ti表示相机位于站点i时相对于控制场的平移；
所述通过最小化多站点间的同名点云匹配误差，优化位于每一站点时所述雷达对于所述控制场的外参中，同名点云匹配误差的损失函数如下：
其中，m表示站点，n表示雷达位于每个站点时所成的点云中与所述特征点对应的三维点的序号，Pmn与Pw分别表示相互匹配的三维点与特征点，Rm和tm表示雷达位于站点m时相对于控制场的姿态，其中Rm表示雷达位于站点m时相对于控制场的旋转，tm表示雷达位于站点m时相对于控制场的平移。
3.根据权利要求1或2所述的雷达与相机间的外参标定方法，其特征在于，所述根据优化后的位于每一站点时所述相机相对于所述控制场的外参以及优化后的位于每一站点时所述雷达相对于所述控制场的外参，转换得到所述雷达与所述相机间的外参，包括：
根据所述优化后的位于每一站点时所述相机相对于所述控制场的外参以及所述优化后的位于每一站点时所述雷达相对于所述控制场的外参，转换得到位于每一站点时所述雷达与所述相机间的外参；
将位于每一站点时的所述雷达投影至所述相机视角下，利用所述位于每一站点时所述雷达与所述相机间的外参，对投影后雷达所成的点云中的三维点与相机所成图像中对应的像素点进行匹配，通过最小化重投影误差，优化得到所述雷达与所述相机间的外参。
4.根据权利要求3所述的雷达与相机间的外参标定方法，其特征在于，所述将位于每一站点时的所述雷达投影至所述相机视角下，利用所述位于每一站点时所述雷达与所述相机间的外参，对投影后雷达所成的点云中的三维点与相机所成图像中对应的像素点进行匹配，通过最小化重投影误差，优化得到所述雷达与所述相机间的外参中，重投影误差的损失函数如下：
其中，k表示站点，l表示位于每个站点时相机所成图像中与雷达所成点云中的三维点相匹配的像素点的序号，K表示相机内参，pkl与Pkl分别表示相互匹配的像素点与三维点，Rk和tk表示位于站点k时相机相对于雷达的外参，其中Rk表示位于站点k时相机相对于雷达的旋转，tk表示位于站点k时相机相对于雷达的平移。
5.一种雷达与相机间的外参标定装置，应用于在预设的控制场中对所述雷达与所述相机间的外参进行标定，其特征在于，所述控制场为包含有建筑物的室外场景，所述雷达和所述相机用于在所述控制场中进行远景观测标定，所述装置包括：
第一坐标关系确定模块，用于基于所述控制场的世界坐标系与所述相机所成的图像的像素坐标系之间的转换关系，确定所述控制场中的特征点和所述相机所成的图像中与所述特征点对应的像素点之间的坐标关系，其中，所述特征点包括所述控制场中建筑物上的点；
关联式确定模块，用于基于相机投影模型及相机内参确定所述相机所成的图像中的像素点与所述控制场中的控制点之间的关联式，其中，所述控制点的数量大于所述特征点的数量；
第一外参确定模块，用于将所述控制场中的特征点和所述相机所成的图像中与所述特征点对应的像素点之间的坐标关系代入所述关联式，利用直接线性变换法，确定所述相机相对于所述控制场的外参；
第二坐标关系确定模块，用于基于所述控制场的世界坐标系与所述雷达的点云坐标系之间的转换关系，确定所述控制场中的所述特征点和所述雷达所成的点云中与所述特征点对应的三维点之间的坐标关系；
第二外参确定模块，用于根据所述控制场中的所述特征点和所述雷达所成的点云中与所述特征点对应的三维点之间的坐标关系，确定所述雷达相对于所述控制场的外参；
第三外参确定模块，用于根据所述相机相对于所述控制场的外参以及所述雷达相对于所述控制场的外参，转换得到所述雷达与所述相机间的外参；
所述雷达和所述相机用于在所述控制场中进行多站点观测标定，以得到所述相机位于每一站点时相对于所述控制场的外参以及所述雷达位于每一站点时相对于控制场的外参；
所述根据所述相机相对于所述控制场的外参以及所述雷达相对于所述控制场的外参，转换得到所述雷达与所述相机间的外参，包括：
通过最小化多站点间的重投影误差，优化位于每一站点时所述相机相对于所述控制场的外参；
通过最小化多站点间的同名点云匹配误差，优化位于每一站点时所述雷达对于所述控制场的外参；
根据优化后的位于每一站点时所述相机相对于所述控制场的外参以及优化后的位于每一站点时所述雷达相对于所述控制场的外参，转换得到所述雷达与所述相机间的外参；
所述基于所述控制场的世界坐标系与所述相机所成的图像的像素坐标系之间的转换关系，确定所述控制场中的特征点和所述相机所成的图像中与所述特征点对应的像素点之间的坐标关系，包括：
基于所述控制场的世界坐标系与所述相机的投影坐标系之间的转换关系，确定所述控制场中的特征点和所述相机中与所述特征点对应的投影点之间的第一坐标关系；
基于所述相机的投影坐标系与所述相机所成的图像的像素坐标系之间的转换关系，确定所述相机中的投影点和所述相机所成的图像中与所述投影点对应的像素点之间的第二坐标关系；
根据所述第一坐标关系和所述第二坐标关系，确定所述控制场中的特征点和所述相机所成的图像中与所述特征点对应的像素点之间的坐标关系；
所述相机为鱼眼镜头相机；
所述控制场中的特征点和所述相机中与所述特征点对应的投影点之间的第一坐标关系如下：
其中，B1表示投影点的坐标，B2表示特征点的坐标，R和T表示特征点与投影点的坐标转换关系参数，其中R表示旋转，t表示平移；
所述基于所述相机的投影坐标系与所述相机所成的图像的像素坐标系之间的转换关系，确定所述相机中的投影点和所述相机所成的图像中与所述投影点对应的像素点之间的第二坐标关系，包括：
基于针孔投影原理，可得所述特征点的坐标B2（x，y，z）在像素坐标系下对应的像素点的坐标B3（u，v）如下：
转化为极坐标系可得：
基于鱼眼成像模型，可得鱼眼镜头下的投影点的坐标B1（x’，y’）如下：
其中，k1、k2、k3及k4均为鱼眼镜头内参；
将投影点的坐标B1（x’，y’）转换为像素点的坐标B3（u，v），可得第二坐标关系如下：
其中，fx表示相机x方向焦距，cx表示相机x方向像主点坐标，fy表示相机y方向焦距，cy表示相机y方向像主点坐标；
所述基于相机投影模型及相机内参确定所述相机所成的图像中的像素点与所述控制场中的控制点之间的关联式，包括：
确定相机内参矩阵K如下：
基于相机投影模型及相机内参矩阵K，可得所述相机所成的图像中的像素点与所述控制场中的控制点之间的关联式如下：
其中，Zc表示像素坐标系下像素点的Z轴深度值，Ri和ti表示相机位于站点i时相对于控制场的姿态，其中Ri表示相机位于站点i时相对于控制场的旋转，ti表示相机位于站点i时相对于控制场的平移。
6.一种雷达与相机间的外参标定设备，其特征在于，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；
所述存储器用于存储可执行指令，所述可执行指令使所述处理器执行如权利要求1-4中任意一项所述的雷达与相机间的外参标定方法的操作。
7.一种计算机可读存储介质，其特征在于，所述存储介质中存储有可执行指令，所述可执行指令在雷达与相机间的外参标定设备上运行时，使得所述雷达与相机间的外参标定设备执行如权利要求1-4中任意一项所述的雷达与相机间的外参标定方法的操作。
CN202311719319.5A 2023-12-14 2023-12-14 雷达与相机间的外参标定方法、装置、设备及存储介质 Active CN117406185B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311719319.5A CN117406185B (zh) 2023-12-14 2023-12-14 雷达与相机间的外参标定方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311719319.5A CN117406185B (zh) 2023-12-14 2023-12-14 雷达与相机间的外参标定方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN117406185A CN117406185A (zh) 2024-01-16
CN117406185B true CN117406185B (zh) 2024-02-23

Family

ID=89487461

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311719319.5A Active CN117406185B (zh) 2023-12-14 2023-12-14 雷达与相机间的外参标定方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN117406185B (zh)

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110070615A (zh) * 2019-04-12 2019-07-30 北京理工大学 一种基于多相机协同的全景视觉slam方法
CN110596683A (zh) * 2019-10-25 2019-12-20 中山大学 一种多组激光雷达外参标定系统及其方法
CN111145269A (zh) * 2019-12-27 2020-05-12 武汉大学 一种鱼眼相机与单线激光雷达的外方位元素的标定方法
CN112308927A (zh) * 2020-10-26 2021-02-02 南昌智能新能源汽车研究院 一种全景相机与激光雷达的融合装置及其标定方法
CN113052903A (zh) * 2021-03-17 2021-06-29 浙江大学 一种用于移动机器人的视觉与雷达融合定位方法
CN114638909A (zh) * 2022-03-24 2022-06-17 杭州电子科技大学 基于激光slam和视觉融合的变电站语义地图构建方法
WO2022222121A1 (zh) * 2021-04-23 2022-10-27 华为技术有限公司 一种全景图像的生成方法、车载图像处理装置及车辆
CN115482295A (zh) * 2022-09-21 2022-12-16 成都航盛智行科技有限公司 一种车载全景环视系统的摄像头外参标定方法
WO2022262160A1 (zh) * 2021-06-18 2022-12-22 上海商汤临港智能科技有限公司 传感器标定方法及装置、电子设备和存储介质
CN115578468A (zh) * 2022-09-22 2023-01-06 深圳元戎启行科技有限公司 外参标定方法、装置、计算机设备、存储介质
CN115601449A (zh) * 2022-10-31 2023-01-13 上海仙途智能科技有限公司（Cn） 标定方法、环视图像生成方法、装置、设备及存储介质
CN115761009A (zh) * 2022-12-02 2023-03-07 安徽师范大学 一种基于非线性优化的无共同视野的相机外参标定方法
CN116012428A (zh) * 2022-12-23 2023-04-25 北京信息科技大学 一种雷视联合定位方法、装置及存储介质
CN116630444A (zh) * 2023-07-24 2023-08-22 中国矿业大学 一种相机与激光雷达融合校准的优化方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9916660B2 (en) * 2015-01-16 2018-03-13 Magna Electronics Inc. Vehicle vision system with calibration algorithm
JP2022551508A (ja) * 2019-10-11 2022-12-09 レオラボズ，インコーポレイテッド． レーダの較正および宇宙物体の追跡

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110070615A (zh) * 2019-04-12 2019-07-30 北京理工大学 一种基于多相机协同的全景视觉slam方法
CN110596683A (zh) * 2019-10-25 2019-12-20 中山大学 一种多组激光雷达外参标定系统及其方法
CN111145269A (zh) * 2019-12-27 2020-05-12 武汉大学 一种鱼眼相机与单线激光雷达的外方位元素的标定方法
CN112308927A (zh) * 2020-10-26 2021-02-02 南昌智能新能源汽车研究院 一种全景相机与激光雷达的融合装置及其标定方法
CN113052903A (zh) * 2021-03-17 2021-06-29 浙江大学 一种用于移动机器人的视觉与雷达融合定位方法
WO2022222121A1 (zh) * 2021-04-23 2022-10-27 华为技术有限公司 一种全景图像的生成方法、车载图像处理装置及车辆
WO2022262160A1 (zh) * 2021-06-18 2022-12-22 上海商汤临港智能科技有限公司 传感器标定方法及装置、电子设备和存储介质
CN114638909A (zh) * 2022-03-24 2022-06-17 杭州电子科技大学 基于激光slam和视觉融合的变电站语义地图构建方法
CN115482295A (zh) * 2022-09-21 2022-12-16 成都航盛智行科技有限公司 一种车载全景环视系统的摄像头外参标定方法
CN115578468A (zh) * 2022-09-22 2023-01-06 深圳元戎启行科技有限公司 外参标定方法、装置、计算机设备、存储介质
CN115601449A (zh) * 2022-10-31 2023-01-13 上海仙途智能科技有限公司（Cn） 标定方法、环视图像生成方法、装置、设备及存储介质
CN115761009A (zh) * 2022-12-02 2023-03-07 安徽师范大学 一种基于非线性优化的无共同视野的相机外参标定方法
CN116012428A (zh) * 2022-12-23 2023-04-25 北京信息科技大学 一种雷视联合定位方法、装置及存储介质
CN116630444A (zh) * 2023-07-24 2023-08-22 中国矿业大学 一种相机与激光雷达融合校准的优化方法

Also Published As

Publication number Publication date
CN117406185A (zh) 2024-01-16

Similar Documents

Publication Publication Date Title
CN112894832B (zh) 三维建模方法、装置、电子设备和存储介质
JP7300550B2 (ja) 視覚標識に基づき標識マップを構築する方法、装置
US20050185049A1 (en) Camera calibration device and method, and computer system
CN113192182A (zh) 一种基于多传感器的实景重建方法及系统
CN114022560A (zh) 标定方法及相关装置、设备
CN110243339A (zh) 一种单目摄像头定位方法、装置、可读存储介质及电子终端
CN110825079A (zh) 一种地图构建方法及装置
CN114529615B (zh) 雷达标定方法、装置及存储介质
CN114413958A (zh) 无人物流车的单目视觉测距测速方法
CN115345942A (zh) 空间标定方法、装置、计算机设备和存储介质
CN111383264B (zh) 一种定位方法、装置、终端及计算机存储介质
CN111964665B (zh) 基于车载环视图像的智能车定位方法、系统及存储介质
CN111429529B (zh) 一种坐标转换的标定方法、电子设备以及计算机存储介质
López-Nicolás et al. Unitary torus model for conical mirror based catadioptric system
CN112507755A (zh) 最小化二维码角点重投影误差的目标物体六自由度定位方法及系统
CN117406185B (zh) 雷达与相机间的外参标定方法、装置、设备及存储介质
CN115018922A (zh) 畸变参数标定方法、电子设备和计算机可读存储介质
Zhang et al. LiDAR and Camera Calibration Using Pyramid and Checkerboard Calibrators
CN116363202A (zh) 基于多类图像处理的摄像机位姿计算方法、系统及设备
CN117437289B (zh) 一种基于多源传感器的空间计算方法及相关设备
CN117611762B (zh) 一种多层级地图构建方法、系统及电子设备
CN117095131B (zh) 物体运动关键点的三维重建方法、设备及存储介质
Zhang et al. Extrinsic Calibration of LiDAR-Camera Based on Deep Convolutional Network
CN117761715A (zh) 定位融合方法、装置、架站式三维扫描设备以及存储介质
Masher Accurately scaled 3-D scene reconstruction using a moving monocular camera and a single-point depth sensor

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant