CN114782556A - 相机与激光雷达的配准方法、系统及存储介质 - Google Patents

相机与激光雷达的配准方法、系统及存储介质 Download PDF

Info

Publication number
CN114782556A
CN114782556A CN202210696008.0A CN202210696008A CN114782556A CN 114782556 A CN114782556 A CN 114782556A CN 202210696008 A CN202210696008 A CN 202210696008A CN 114782556 A CN114782556 A CN 114782556A
Authority
CN
China
Prior art keywords
camera
marker
radar
data
image data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210696008.0A
Other languages
English (en)
Other versions
CN114782556B (zh
Inventor
浣石
陶为俊
徐冲
李传荣
唐伶俐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ji Hua Laboratory
Original Assignee
Ji Hua Laboratory
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ji Hua Laboratory filed Critical Ji Hua Laboratory
Priority to CN202210696008.0A priority Critical patent/CN114782556B/zh
Publication of CN114782556A publication Critical patent/CN114782556A/zh
Application granted granted Critical
Publication of CN114782556B publication Critical patent/CN114782556B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Electromagnetism (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

本公开涉及图像数据处理技术领域，尤其涉及一种相机与激光雷达的配准方法、系统及存储介质。所述相机与激光雷达的配准方法包括：保持相机与激光雷达的相对位姿不变；通过激光雷达获取标志场至少三个方位的标志点的雷达数据；通过相机获取所述至少三个方位的包含所述标志点的标志场图像数据；获取世界坐标系下标志场中标志点的坐标；根据所述图像数据与所述世界坐标系下标志点的坐标获取得到相机的位姿信息；根据所述至少三个方位的雷达数据和对应方位的相机的位姿信息通过预设的位姿关系方程获取得到图像数据与雷达数据的位姿关系。本公开不需要提取激光点云和图像数据中特征进行匹配，因此可以更效率和更精确的完成相机与激光雷达的配准。

Description

相机与激光雷达的配准方法、系统及存储介质
技术领域
本公开涉及图像数据处理技术领域，尤其涉及一种相机与激光雷达的配准方法、系统及存储介质。
背景技术
配准是同一区域内以不同成像手段所获得的不同图像图形的地理坐标的匹配，完成配准一般需要找到一个旋转关系和平移关系使得两种图像中的地理坐标一一匹配，即找到两种不同成像手段得到的图像图形间的位姿关系。
现有技术中，对于激光雷达与相机的配准一般采用的是激光雷达获取激光点云数据，相机获取图像数据，通过提取激光点云和图像数据之间的特征，通过不断迭代尝试旋转矩阵和平移矩阵使得激光点云中的特征与图像数据中的同一特征一一对应，从而完成激光雷达和相机的配准。
但是现有技术需要先获取全局的点云图像以提取用于匹配的特征，但是点云图像往往存在特征不显著的问题，难以选取有效的用于匹配的特征，因此现有技术存在技术工作量大，精度低的问题。
发明内容
为了解决上述技术问题或者至少部分地解决上述技术问题，本公开提供了一种相机与激光雷达的配准方法及系统，可以更效率和更精确的完成相机与激光雷达的配准。
第一方面，本公开提供了一种相机与激光雷达的配准方法，所述配准方法包括：
保持相机与激光雷达的相对位姿不变；
通过激光雷达获取标志场至少三个方位的标志点的雷达数据；
通过相机获取所述至少三个方位的包含所述标志点的标志场图像数据；
获取世界坐标系下标志场中标志点的坐标；
根据所述标志场图像数据与所述世界坐标系下标志点的坐标获取得到相机的位姿信息；
根据所述至少三个方位的雷达数据和对应方位的相机的位姿信息通过预设的位姿关系方程获取得到图像数据与雷达数据的位姿关系。
可选的，所述配准方法还包括：
根据激光雷达与所述相机的安装位置，结合相机的位姿信息对所述激光雷达位姿信息进行初始估计以得到各个方位的激光雷达的位姿信息估计值；
根据所述各个方位的激光雷达的位姿信息估计值，通过预设的范围估计方程计算得到各个方位的激光雷达所扫描的标志点范围，将各个方位的雷达数据与对应方位的激光雷达所扫描的标志点范围进行比对，筛选得到各个方位的第一雷达数据，
根据至少三个方位的第一雷达数据和对应方位的相机的位姿信息通过预设的位姿关系方程获取得到图像数据与雷达数据的位姿关系。
可选的，所述相机的位姿信息通过张正友棋盘格标定算法根据所述标志场图像数据与世界坐标系下标志点的坐标获得。
可选的，所述预设位姿关系方程为：
Figure 577745DEST_PATH_IMAGE001
其中，
Figure 381753DEST_PATH_IMAGE002
为激光雷达坐标系下的激光雷达第j次测量时第i个标志点的坐标，
Figure 782778DEST_PATH_IMAGE003
为第i个标志点在世界坐标系下的标志点坐标的四元数表示，
Figure 330434DEST_PATH_IMAGE004
为相机在第j次测量时相机的旋转四元数，
Figure 421887DEST_PATH_IMAGE005
为相机在第j次测量时相机的平移四元数，q为图像数据转换至雷达数据的旋转四元数，T为图像数据转换至雷达数据的平移四元数，所述
Figure 741004DEST_PATH_IMAGE004
和
Figure 160484DEST_PATH_IMAGE005
为相机的位姿信息，
联立至少三个方位的激光雷达获取到的雷达数据
Figure 636465DEST_PATH_IMAGE002
以及对应方位的相机的位姿信息的
Figure 457790DEST_PATH_IMAGE004
和
Figure 741616DEST_PATH_IMAGE005
得到图像数据转换至雷达数据的旋转四元数q以及平移四元数T。
可选的，所述旋转四元数
Figure 445130DEST_PATH_IMAGE006
，所述平移四元数
Figure 334589DEST_PATH_IMAGE007
，得到所述雷达数据相对于图像数据的旋转矩阵
Figure 400634DEST_PATH_IMAGE008
：
Figure 982925DEST_PATH_IMAGE009
所述雷达数据相对于图像数据的平移矩阵
Figure 986784DEST_PATH_IMAGE010
为：
Figure 679934DEST_PATH_IMAGE011
。
可选的，所述相机与激光雷达在水平方向由下往上扫描以获取第一个方位的图像数据和雷达数据，所述相机与激光雷达由水平方向往左旋转第一预设角度由下往上扫描以获取第二个方位的图像数据和雷达数据，所述相机与激光雷达由水平方向往右旋转第二预设角度由下往上扫描以获取第三个方位的图像数据和雷达数据。
第二方面，本公开提供了数据采集模块，所述数据采集模块包括相机和激光雷达，所述相机和激光雷达相互固定；
标志场，包括多个标志点，所述标志点在世界坐标系下的坐标已知；
驱动模块，所述驱动模块与所述数据采集模块连接以使所述数据采集模块运动；
配准模块，包括计算机可读存储介质和处理器，所述存储介质存储有第一方面任一所述的相机与激光雷达的配准方法，所述处理器用于控制驱动模块和数据采集模块执行所述存储介质中存储的相机与激光雷达的配准方法。
可选的，所述标志场包括第一标志杆集和第二标志杆集，所述第一标志杆集和第二标志杆集相互拼合以形成夹角结构，所述第一标志杆集和第二标志杆集包括多支标志杆，每支标志杆上设置有预设范围内的标志点。
可选的，所述第一标志杆集由多支标志杆分第一预设数量的排数构成，所述第二标志杆集由多支标志杆分第二预设数量的排数构成，所述第一预设数量不等于第二预设数量。
第三方面，本公开提供了一种非暂态计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面任一项所述相机与激光雷达的配准方法的步骤。
本公开实施例提供的技术方案与现有技术相比具有如下优点：
本公开提出的一种相机与激光雷达的配准方法，通过利用激光雷达和相机相互固定的技术特征，只需要通过三个方位的相机位姿和对应方位激光雷达获取的标志点数据即可完成相机与激光雷达的配准。本公开不需要提取激光点云和图像数据中特征点进行匹配，因此可以更效率和更精确的完成相机与激光雷达的配准。
附图说明
图1为本公开实施例所述相机与激光雷达的配准方法的使用场景图；
图2为本公开实施例所述相机与激光雷达的配准方法的流程图；
图3为本公开实施例所述相机与激光雷达的配准方法的另一流程图；
图4为本公开实施例所述相机与激光雷达的配准方法的配准过程的示意图之一；
图5为本公开实施例所述相机与激光雷达的配准方法的配准过程的示意图之二；
图6为本公开实施例所述相机与激光雷达的配准方法的配准过程的示意图之三；
图7为本公开实施例所述相机与激光雷达的配准系统的结构框图；
图8为本公开实施例所述相机与激光雷达的配准系统的标志场的结构示意图。
其中，1、数据采集模块；11、激光雷达；12相机；121、第一相机；122、第二相机；2、标志场；21、第一标志杆集；22、第二标志杆集；23、标志杆；24、标志点；3、驱动模块；4、配准模块；41、计算机可读存储介质；42、处理器。
具体实施方式
为了能够更清楚地理解本公开的上述目的、特征和优点，下面将对本公开的方案进行进一步描述。需要说明的是，在不冲突的情况下，本公开的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本公开，但本公开还可以采用其他不同于在此描述的方式来实施；显然，说明书中的实施例只是本公开的一部分实施例，而不是全部的实施例。
图1为本公开实施例所述相机与激光雷达的配准方法的使用场景图。如图1所示，所述使用场景中包括数据采集模块1和标志场2，所述数据采集模块1包括激光雷达11和相机12，所述相机12为双目相机，所述双目相机包括第一相机121和第二相机122，激光雷达11固定在第一相机121和第二相机122之间。数据采集模块1对准标志场2以使得的数据采集模块1可以获取标志场2的图像数据和雷达数据。在其他实施例中，所述数据采集模块1中的相机12可以是单目相机或是多目相机。
图2为本公开实施例所述相机与激光雷达的配准方法的流程图。如图2所示，所述相机与激光雷达的配准方法包括以下步骤：
S101保持相机与激光雷达的相对位姿不变。
在本实施例中，所述第一相机、第二相机和激光雷达固定安装在一体化的平台上，图中未示出，该一体化平台作为驱动模块通过调整自身整体的旋转和平移，以实现保持双目相机和激光雷达相对位姿不变的同时改变双目相机与激光雷达的方位。在其他实施例中，所述第一相机、第二相机和激光雷达也可以固定在刚性的连杆上以保持相对位姿不变。
图4为本公开实施例所述相机与激光雷达的配准方法的配准过程的示意图之一；图5为本公开实施例所述相机与激光雷达的配准方法的配准过程的示意图之二；图6为本公开实施例所述相机与激光雷达的配准方法的配准过程的示意图之三。
S102通过激光雷达获取标志场至少三个方位的标志点的雷达数据。
S103通过相机获取所述至少三个方位的包含所述标志点的标志场图像数据。
结合图4所示，保持水平方向控制安装了双目相机和激光雷达的一体化平台由下往上扫描，使得激光雷达得以获取第一个方位的标志点的雷达数据。
具体的，所述激光雷达向标志场发出多根激光线束，标志场具有多个标志点，激光线束在遇到所述标志点后反射信号会加强，激光雷达会收到强反射信号。当由下往上的逐渐扫描的过程中，当有任一线束出现了两个或以上的强反射信号后，根据两点确定一线的原理可得到激光雷达坐标系下该强反射信号出现时该标志点的俯仰角和方向角，结合激光雷达探测得到的深度信息，得到了该方向和位置的激光雷达坐标系下的标志点的坐标，即得到了第一个方位的标志点的雷达数据。
然后通过相机拍摄标志场的图像获取所述第一个方位的包含该激光雷达所记录的标志点的标志场图像数据。
在水平方向上，控制安装了双目相机和激光雷达的一体化平台由下往上扫描过程中，在完成一次方位的记录后，可以继续往上扫描以获取第一个方向上其他位置的标志点的雷达数据和包含该标志点的标志场图像数据以作为第一方位的备用雷达数据和备用图像数据。
结合图5所示，所述相机与激光雷达由水平方向往左旋转第一预设角度由下往上扫描获取第二个方位的图像数据和雷达数据。具体的，所述第一预设角度为30度。同样的，当激光雷达发出的任一激光线束出现了两个或以上的强反射信号后，记录第二个方位的标志点的雷达数据和包含该激光雷达所记录的标志点的标志场的图像数据。
在向左旋转的第一预设角度的方向上，控制安装了双目相机和激光雷达的一体化平台由下往上扫描过程中，在完成一次方位的记录后，可以继续往上扫描以获取第二个方向上其他位置的标志点的雷达数据和包含该标志点的标志场图像数据以作为第二方位的备用雷达数据和备用图像数据。
结合图6所示，所述相机与激光雷达由水平方向往右旋转第二预设角度由下往上扫描以获取第三个方位的图像数据和雷达数据。具体的，所述第二预设角度为30度。同样的，当激光雷达发出的任一激光线束出现了两个或以上的强反射信号后，记录第三个方位的标志点的雷达数据和包含该激光雷达所记录的标志点的标志场的图像数据。
在向右旋转的第二预设角度的方向上，控制安装了双目相机和激光雷达的一体化平台由下往上扫描过程中，在完成一次方位的记录后，可以继续往上扫描以获取第三个方向上其他位置的标志点的雷达数据和包含所述其他位置的标志点的标志场图像数据以作为第三方位的备用雷达数据和备用图像数据。
在其他实施例中，可以通过上述方法来改变不同的旋转角度以获取更多方位的雷达数据和图像数据，以在后续获得更多的联立方程进行联立，达到减少运算误差的效果。
S104获取世界坐标系下标志点的坐标。
具体的，建立世界坐标系，并通过全站仪精确测量标志场中所有的标志点，因此各个标志点在世界坐标系下的坐标已知。
S105根据所述图像数据与世界坐标系下标志点的坐标获取得到相机的位姿信息。
根据相机的小孔成像原理，第一相机和第二相机满足以下相机方程
Figure 334906DEST_PATH_IMAGE012
Figure 884836DEST_PATH_IMAGE013
Figure 766204DEST_PATH_IMAGE014
表示第一相机第j次测量时图像中第i个标志点的像素坐标，
Figure 872832DEST_PATH_IMAGE015
表示第二相机第j次测量时图像中第i个标志点的像素坐标，
Figure 319993DEST_PATH_IMAGE016
表示第一相机的内参矩阵，
Figure 978508DEST_PATH_IMAGE017
表示第二相机的内参矩阵，
Figure 206227DEST_PATH_IMAGE018
为第i个标志点在世界坐标系下的齐次坐标
Figure 241179DEST_PATH_IMAGE019
，
Figure 808427DEST_PATH_IMAGE020
和
Figure 513209DEST_PATH_IMAGE021
为第一相机第j次测量时的旋转和平移矩阵，
Figure 103590DEST_PATH_IMAGE022
和
Figure 738971DEST_PATH_IMAGE023
为第二相机第j次测量时的旋转和平移矩阵，
Figure 223041DEST_PATH_IMAGE024
表示第一相机的外参矩阵，
Figure 223359DEST_PATH_IMAGE025
表示第二相机的外参矩阵。
在本实施例中，组成标志场的标志杆上会任意设置有6-13个标志点，而在一幅第一相机或第二相机拍摄的图像中同样会囊括6支以上的标志杆，因而对于第一相机或第二相机而言，其拍摄的图像通常会囊括大于6个以上的标志点。通过张正友棋盘格标定算法联立六组以上已知的
Figure 97774DEST_PATH_IMAGE014
和
Figure 618403DEST_PATH_IMAGE018
即可获得第j次测量时第一相机的内参和外参矩阵，即得到了第一相机的位姿信息。同样的，通过张正友棋盘格标定算法也可以得到第二相机的位姿信息。
将第一相机和第二相机的相机方程转换为四元数来表示，
Figure 832347DEST_PATH_IMAGE026
Figure 393778DEST_PATH_IMAGE027
其中
Figure 755490DEST_PATH_IMAGE028
Figure 670356DEST_PATH_IMAGE029
Figure 879752DEST_PATH_IMAGE030
Figure 284188DEST_PATH_IMAGE031
Figure 70879DEST_PATH_IMAGE032
Figure 914070DEST_PATH_IMAGE033
Figure 164922DEST_PATH_IMAGE034
所述
Figure 943523DEST_PATH_IMAGE035
为第一相机第j次测量时的平移四元数，
Figure 92875DEST_PATH_IMAGE036
为第二相机第j次测量时的平移四元数，
Figure 615124DEST_PATH_IMAGE037
为第一相机第j次测量时的旋转四元数，
Figure 48379DEST_PATH_IMAGE038
为第二相机第j次测量时的旋转四元数，
Figure 794618DEST_PATH_IMAGE039
为第一相机第j次测量时的旋转四元数的转置，
Figure 555901DEST_PATH_IMAGE040
为第二相机第j次测量时的旋转四元数的转置。其中，
Figure 491627DEST_PATH_IMAGE041
、
Figure 654755DEST_PATH_IMAGE042
、
Figure 571895DEST_PATH_IMAGE043
、
Figure 945108DEST_PATH_IMAGE044
、
Figure 809159DEST_PATH_IMAGE045
、
Figure 623531DEST_PATH_IMAGE046
、
Figure 52851DEST_PATH_IMAGE047
、
Figure 523146DEST_PATH_IMAGE048
、
Figure 315522DEST_PATH_IMAGE049
、
Figure 187663DEST_PATH_IMAGE050
、
Figure 712185DEST_PATH_IMAGE051
、
Figure 810722DEST_PATH_IMAGE052
、
Figure 16576DEST_PATH_IMAGE053
、
Figure 867857DEST_PATH_IMAGE054
为构成四元数的变量，用于指代不同的数据以构成四元数的常规表示方法。
S106根据所述至少三个方位的雷达数据和对应方位相机的位姿信息获取得到图像数据与雷达数据的位姿关系。
建立雷达数据与图像数据间的位姿关系方程
Figure 766543DEST_PATH_IMAGE001
其中，
Figure 8168DEST_PATH_IMAGE002
为激光雷达坐标系下的激光雷达第j次测量时第i个标志点的坐标，
Figure 627500DEST_PATH_IMAGE003
为第i个标志点在世界坐标系下的齐次坐标的四元数表示，
Figure 739812DEST_PATH_IMAGE004
为第j次测量时相机的旋转四元数，
Figure 340558DEST_PATH_IMAGE005
为第j次测量时相机的平移四元数，q为图像数据转换至雷达数据的旋转四元数，T为图像数据转换至雷达数据的平移四元数，所述
Figure 662955DEST_PATH_IMAGE004
和
Figure 945031DEST_PATH_IMAGE005
为相机的位姿信息，联立至少三个方位的激光雷达获取到的雷达数据
Figure 787217DEST_PATH_IMAGE002
以及对应方位的相机的位姿信息的
Figure 558864DEST_PATH_IMAGE004
和
Figure 978344DEST_PATH_IMAGE005
得到图像数据转换至雷达数据的旋转四元数q以及平移四元数T。
具体的，对于第一相机而言，所述雷达数据与第一相机获取到的图像数据间的位姿关系方程为：
Figure 454324DEST_PATH_IMAGE055
将第一个方位的标志点的雷达数据记为
Figure 72387DEST_PATH_IMAGE056
，并根据步骤S105得到第一个方位的第一相机的位姿信息
Figure 553617DEST_PATH_IMAGE057
和
Figure 460393DEST_PATH_IMAGE058
，代入激光雷达与第一相机的位姿关系方程得到第一位姿关系方程：
Figure 146589DEST_PATH_IMAGE059
。
同样的，将第二个方位的标志点的雷达数据记为
Figure 212634DEST_PATH_IMAGE060
，并根据步骤S105得到第二个方位的第一相机的位姿信息
Figure 263767DEST_PATH_IMAGE061
和
Figure 533205DEST_PATH_IMAGE062
，代入激光雷达与第一相机的位姿关系方程得到第二位姿关系方程：
Figure 23092DEST_PATH_IMAGE063
。
同样的，将第三个方位的标志点的雷达数据记为
Figure 553431DEST_PATH_IMAGE064
，并根据步骤S105得到第三个方位的第一相机的位姿信息
Figure 431257DEST_PATH_IMAGE065
和
Figure 109363DEST_PATH_IMAGE066
，代入激光雷达与第一相机的位姿关系方程得到第三位姿关系方程：
Figure 340624DEST_PATH_IMAGE067
。
联立上述第一位姿关系方程、第二位姿关系方程和第三位姿关系方程即可得到第一相机的图像数据转换至雷达数据的旋转四元数q以及平移四元数T。
在其他实施例中，所述联立的方程组可以大于三组以上，以减少计算误差。应当知道的是，对于不同的位姿关系方程组而言，其各自描述的标志点可以不是同一个，但在同一位姿关系方程中
Figure 600835DEST_PATH_IMAGE002
和
Figure 524929DEST_PATH_IMAGE003
需描述同一标志点。
最后可以将第一相机的图像数据转换至雷达数据的旋转四元数q以及平移四元数T转换回常规的旋转矩阵以及平移矩阵表示，以方便转化应用在其他的外部程序中。
所述第一相机的图像数据转换至雷达数据的旋转矩阵为
Figure 690331DEST_PATH_IMAGE008
：
Figure 584338DEST_PATH_IMAGE068
所述第一相机的图像数据转换至雷达数据的平移矩阵
Figure 89268DEST_PATH_IMAGE010
为：
Figure 981001DEST_PATH_IMAGE011
。
对于第二相机而言，可以通过重复上述步骤获得第二相机的图像数据转换至雷达数据的位姿关系，也可以通过张正友棋盘格标定算法完成第二相机与第一相机间的标定，然后通过第一相机的图像数据与雷达数据的关系，完成第二相机与激光雷达的标定。
在另一个实施例中，如图3所示，提供了相机与激光雷达的配准方法的另一流程。
其中S201~S205与上一实施例所述的S101~S105的流程相同。
S206根据激光雷达与所述相机的相对安装位置得到激光雷达的位姿信息估计值；
由于激光雷达与相机的相对安装位置保持不变，因此对于激光雷达而言其自身的旋转四元数可以估计为相机的旋转四元数。
则雷达的旋转四元数估计值
Figure 712328DEST_PATH_IMAGE069
可以估计为
Figure 19812DEST_PATH_IMAGE070
具体的，对于本实施例中第一相机与激光雷达刚性固定的配合组合而言，所述激光雷达的旋转四元数估计值可以估计为
Figure 769463DEST_PATH_IMAGE071
S207根据所述激光雷达的位姿信息估计值，筛选出符合范围的雷达数据得到第一雷达数据。
在S202~S203的流程中，对于雷达坐标系而言其采用（距离，俯仰角，方位角）的表示方法来表示标志点，对于世界坐标系和像素坐标系而言其采用的空间坐标系（x,y,z）的表示方法来表示标志点。而在标志场中有许多标志点，由于此时激光雷达与标志点之间的相对关系并未精确确定，因此存在不能完全确定雷达坐标系和像素坐标系下描述的标志点是否是同一标志点。
而对于雷达数据与图像数据间的位姿关系方程而言，需要满足
Figure 832096DEST_PATH_IMAGE002
和
Figure 909774DEST_PATH_IMAGE003
应当描述的是标志场中的同一标志点。
本实施例根据所述激光雷达的位姿信息估计值估算出激光雷达所应扫描的标志点范围，并根据所述标志点范围验算筛选出S202~S203中的不同的标志点表述是否代表同一标志点。
具体的，建立范围估计方程
Figure 158965DEST_PATH_IMAGE072
其中
Figure 638488DEST_PATH_IMAGE073
为激光雷达搜索角的四元数表示，所述
Figure 872023DEST_PATH_IMAGE074
，所述搜索角为光线波动的范围角度，
Figure 561631DEST_PATH_IMAGE073
的取值范围由人为进行设置，
Figure 210918DEST_PATH_IMAGE073
的取值越大代表标志点应当出现的区域就越大。
将S202获取到的每个方位的标志点的激光雷达坐标系下的坐标与其对应方位的标志点范围进行比较，若该方位的标志点的雷达数据符合该方位的标志点范围则将符合的标志点的雷达数据记为第一雷达数据。
S208根据至少三个方向第一雷达数据和对应方位相机的位姿信息得到雷达数据与图像数据的位姿关系。
所述S208的具体步骤与上述实施例中S106一致，但其使用的雷达数据经过了S207的步骤进行了验算筛选，可以减小不同的标志点表述不是代表同一标志点的概率，使得配准速度更加快捷。
在一个实施例中，如图7所示，提供了一种激光雷达与相机的配准系统，包括：
数据采集模块1，所述数据采集模块1包括相机12和激光雷达11，所述相机12和激光雷达11相互固定；
标志场2，包括多个标志点，所述标志点在世界坐标系下的坐标已知；
驱动模块3，所述驱动模块3与所述数据采集模块1连接以使所述数据采集模块1运动；
配准模块4，包括计算机可读存储介质41和处理器42，所述存储介质存储有上述各实施例所述相机与激光雷达的配准方法，所述处理器42用于控制驱动模块3和数据采集模块1执行所述存储介质中存储的相机与激光雷达的配准方法。
具体的，所述相机12为双目相机，包括第一相机121和第二相机122，所述驱动模块3为一体化平台，所述激光雷达11与双目相机固定安装在一体化平台上。配准模块4的处理器42连接至该一体化平台，通过控制旋转与平移整个一体化平台使得数据采集模块1发生运动以完成任一上述实施例所述的配准方法。
如图8所示，在本实施例中，所述标志场2包括第一标志杆集21和第二标志杆集22，所述第一标志杆集21和第二标志杆集22相互拼合以形成一个L型的夹角结构。一侧薄，另一侧厚的标志场2可以提供更多距离深度不一的标志点情况，可以增加测量时的效率。
在其他实施例中，所述标志场2可以是V型的夹角结构。
多支标志杆23分第一预设数量的排数成排构成第一标志杆集21，多支标志杆23分第二预设数量的排数成排构成第二标志杆集22，所述第一预设数量不等于第二预设数量。在优选的实施例中所述第一预设数量为5支，所述第二预设数量为7支。每个标志杆23上设置有预设范围内的标志点24，在优选的实施例中所述预设范围为6-13个。在其他实施例中，所述第一预设数量和第二预设数量可以根据场地大小进行自由设置，所述标志点24的数量也可以根据标志杆23的长短自由设置。
在另一实施例中，还提供了一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各实施例提供的相机与激光雷达的配准方法。
需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅是本公开的具体实施方式，使本领域技术人员能够理解或实现本公开。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本公开的精神或范围的情况下，在其它实施例中实现。因此，本公开将不会被限制于本文所述的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.相机与激光雷达的配准方法，其特征在于，所述配准方法包括：
保持相机与激光雷达的相对位姿不变；
通过激光雷达获取标志场至少三个方位的标志点的雷达数据；
通过相机获取所述至少三个方位的包含所述标志点的标志场图像数据；
获取世界坐标系下标志场中标志点的坐标；
根据所述标志场图像数据与所述世界坐标系下标志点的坐标获取得到相机的位姿信息；
根据所述至少三个方位的雷达数据和对应方位的相机的位姿信息通过预设的位姿关系方程获取得到图像数据与雷达数据的位姿关系。
2.根据权利要求1所述的相机与激光雷达的配准方法，其特征在于，所述配准方法还包括：
根据激光雷达与所述相机的安装位置，结合相机的位姿信息对所述激光雷达位姿信息进行初始估计以得到各个方位的激光雷达的位姿信息估计值；
根据所述各个方位的激光雷达的位姿信息估计值，通过预设的范围估计方程计算得到各个方位的激光雷达所扫描的标志点范围，将各个方位的雷达数据与对应方位的激光雷达所扫描的标志点范围进行比对，筛选得到各个方位的第一雷达数据，
根据至少三个方位的第一雷达数据和对应方位的相机的位姿信息通过预设的位姿关系方程获取得到图像数据与雷达数据的位姿关系。
3.根据权利要求1所述的相机与激光雷达的配准方法，其特征在于，所述相机的位姿信息通过张正友棋盘格标定算法根据所述标志场图像数据与世界坐标系下标志点的坐标获得。
4.根据权利要求1所述的相机与激光雷达的配准方法，其特征在于，所述预设位姿关系方程为：
Figure 365780DEST_PATH_IMAGE001
其中，
Figure 876396DEST_PATH_IMAGE002
为激光雷达坐标系下的激光雷达第j次测量时第i个标志点的坐标，
Figure 859395DEST_PATH_IMAGE003
为第i个标志点在世界坐标系下的标志点坐标的四元数表示，
Figure 520184DEST_PATH_IMAGE004
为相机在第j次测量时相机的旋转四元数，
Figure 678764DEST_PATH_IMAGE005
为相机在第j次测量时相机的平移四元数，q为图像数据转换至雷达数据的旋转四元数，T为图像数据转换至雷达数据的平移四元数，所述
Figure 704489DEST_PATH_IMAGE004
和
Figure 237101DEST_PATH_IMAGE005
为相机的位姿信息，
联立至少三个方位的激光雷达获取到的雷达数据
Figure 29477DEST_PATH_IMAGE002
以及对应方位的相机的位姿信息的
Figure 901618DEST_PATH_IMAGE004
和
Figure 160561DEST_PATH_IMAGE005
得到图像数据转换至雷达数据的旋转四元数q以及平移四元数T。
5.根据权利要求4所述的相机与激光雷达的配准方法，其特征在于，所述旋转四元数
Figure 86246DEST_PATH_IMAGE006
，所述平移四元数
Figure 292100DEST_PATH_IMAGE007
，得到所述雷达数据相对于图像数据的旋转矩阵
Figure 143381DEST_PATH_IMAGE008
：
Figure 838805DEST_PATH_IMAGE009
所述雷达数据相对于图像数据的平移矩阵
Figure 549272DEST_PATH_IMAGE010
为：
Figure 903024DEST_PATH_IMAGE011
。
6.根据权利要求1所述的相机与激光雷达的配准方法，其特征在于，所述相机与激光雷达在水平方向由下往上扫描以获取第一个方位的图像数据和雷达数据，所述相机与激光雷达由水平方向往左旋转第一预设角度由下往上扫描以获取第二个方位的图像数据和雷达数据，所述相机与激光雷达由水平方向往右旋转第二预设角度由下往上扫描以获取第三个方位的图像数据和雷达数据。
7.相机与激光雷达的配准系统，其特征在于，包括：
数据采集模块，所述数据采集模块包括相机和激光雷达，所述相机和激光雷达相互固定；
标志场，包括多个标志点，所述标志点在世界坐标系下的坐标已知；
驱动模块，所述驱动模块与所述数据采集模块连接以使所述数据采集模块运动；
配准模块，包括计算机可读存储介质和处理器，所述存储介质存储有权利要求1-6任一所述的相机与激光雷达的配准方法，所述处理器用于控制驱动模块和数据采集模块执行所述存储介质中存储的相机与激光雷达的配准方法。
8.根据权利要求7所述的相机与激光雷达的配准系统，其特征在于，所述标志场包括第一标志杆集和第二标志杆集，所述第一标志杆集和第二标志杆集相互拼合以形成夹角结构，所述第一标志杆集和第二标志杆集包括多支标志杆，每支标志杆上设置有预设范围内的标志点。
9.根据权利要求8所述的相机与激光雷达的配准系统，其特征在于，所述第一标志杆集由多支标志杆分第一预设数量的排数构成，所述第二标志杆集由多支标志杆分第二预设数量的排数构成，所述第一预设数量不等于第二预设数量。
10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-6任一项所述相机与激光雷达的配准方法的步骤。
CN202210696008.0A 2022-06-20 2022-06-20 相机与激光雷达的配准方法、系统及存储介质 Active CN114782556B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210696008.0A CN114782556B (zh) 2022-06-20 2022-06-20 相机与激光雷达的配准方法、系统及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210696008.0A CN114782556B (zh) 2022-06-20 2022-06-20 相机与激光雷达的配准方法、系统及存储介质

Publications (2)

Publication Number Publication Date
CN114782556A true CN114782556A (zh) 2022-07-22
CN114782556B CN114782556B (zh) 2022-09-09

Family

ID=82421772

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210696008.0A Active CN114782556B (zh) 2022-06-20 2022-06-20 相机与激光雷达的配准方法、系统及存储介质

Country Status (1)

Country Link
CN (1) CN114782556B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115856849A (zh) * 2023-02-28 2023-03-28 季华实验室 一种深度相机与2d激光雷达标定方法及相关设备

Citations (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100204964A1 (en) * 2009-02-09 2010-08-12 Utah State University Lidar-assisted multi-image matching for 3-d model and sensor pose refinement
WO2018100230A1 (en) * 2016-11-30 2018-06-07 Nokia Technologies Oy Method and apparatuses for determining positions of multi-directional image capture apparatuses
CN109035309A (zh) * 2018-07-20 2018-12-18 清华大学苏州汽车研究院（吴江） 基于立体视觉的双目摄像头与激光雷达间的位姿配准方法
CN109360228A (zh) * 2018-10-18 2019-02-19 清华大学苏州汽车研究院（吴江） 单目摄像头与毫米波雷达间的位姿配准方法
CN109920011A (zh) * 2019-05-16 2019-06-21 长沙智能驾驶研究院有限公司 激光雷达与双目摄像头的外参标定方法、装置及设备
US20200018852A1 (en) * 2018-07-12 2020-01-16 Toyota Research Institute, Inc. System and method for calibrating a lidar and a camera together using semantic segmentation
CN111965624A (zh) * 2020-08-06 2020-11-20 北京百度网讯科技有限公司 激光雷达与相机的标定方法、装置、设备和可读存储介质
CN112330756A (zh) * 2021-01-04 2021-02-05 中智行科技有限公司 一种相机标定方法、装置、智能车辆和存储介质
CN112654886A (zh) * 2020-05-27 2021-04-13 华为技术有限公司 外参标定方法、装置、设备及存储介质
CN112734857A (zh) * 2021-01-08 2021-04-30 香港理工大学深圳研究院 相机内参和相机相对激光雷达外参的标定方法及电子设备
CN112816949A (zh) * 2019-11-18 2021-05-18 商汤集团有限公司 传感器的标定方法及装置、存储介质、标定系统
WO2021098448A1 (zh) * 2019-11-18 2021-05-27 商汤集团有限公司 传感器标定方法及装置、存储介质、标定系统和程序产品
CN112907676A (zh) * 2019-11-19 2021-06-04 浙江商汤科技开发有限公司 传感器的标定方法、装置、系统、车辆、设备及存储介质
CN113281723A (zh) * 2021-05-07 2021-08-20 北京航空航天大学 一种基于AR tag的3D激光雷达与相机间结构参数的标定方法
KR102309608B1 (ko) * 2020-10-21 2021-10-06 주식회사 노바테크 라이다(Lidar)와 스테레오-카메라(Stereo-Camera) 간의 좌표계 정합 방법
CN113625288A (zh) * 2021-06-15 2021-11-09 中国科学院自动化研究所 基于点云配准的相机与激光雷达位姿标定方法和装置
US20220083841A1 (en) * 2020-09-15 2022-03-17 Dr. Ing. H.C. F. Porsche Aktiengesellschaft Method and system for automatically labeling radar data
CN114200430A (zh) * 2021-12-10 2022-03-18 上海西井信息科技有限公司 激光雷达与相机的标定方法、系统、设备及存储介质
CN114371472A (zh) * 2021-12-15 2022-04-19 中电海康集团有限公司 一种激光雷达和相机的自动化联合标定装置及方法
WO2022077190A1 (zh) * 2020-10-12 2022-04-21 深圳市大疆创新科技有限公司 数据处理方法、控制设备及存储介质
CN114578329A (zh) * 2022-03-01 2022-06-03 亿咖通(湖北)技术有限公司 多传感器联合标定方法、设备、存储介质及程序产品
CN114612348A (zh) * 2022-05-11 2022-06-10 季华实验室 激光点云运动畸变校正方法、装置、电子设备及存储介质

Patent Citations (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100204964A1 (en) * 2009-02-09 2010-08-12 Utah State University Lidar-assisted multi-image matching for 3-d model and sensor pose refinement
WO2018100230A1 (en) * 2016-11-30 2018-06-07 Nokia Technologies Oy Method and apparatuses for determining positions of multi-directional image capture apparatuses
US20200018852A1 (en) * 2018-07-12 2020-01-16 Toyota Research Institute, Inc. System and method for calibrating a lidar and a camera together using semantic segmentation
CN109035309A (zh) * 2018-07-20 2018-12-18 清华大学苏州汽车研究院（吴江） 基于立体视觉的双目摄像头与激光雷达间的位姿配准方法
CN109360228A (zh) * 2018-10-18 2019-02-19 清华大学苏州汽车研究院（吴江） 单目摄像头与毫米波雷达间的位姿配准方法
CN109920011A (zh) * 2019-05-16 2019-06-21 长沙智能驾驶研究院有限公司 激光雷达与双目摄像头的外参标定方法、装置及设备
CN112816949A (zh) * 2019-11-18 2021-05-18 商汤集团有限公司 传感器的标定方法及装置、存储介质、标定系统
WO2021098448A1 (zh) * 2019-11-18 2021-05-27 商汤集团有限公司 传感器标定方法及装置、存储介质、标定系统和程序产品
CN112907676A (zh) * 2019-11-19 2021-06-04 浙江商汤科技开发有限公司 传感器的标定方法、装置、系统、车辆、设备及存储介质
CN112654886A (zh) * 2020-05-27 2021-04-13 华为技术有限公司 外参标定方法、装置、设备及存储介质
CN111965624A (zh) * 2020-08-06 2020-11-20 北京百度网讯科技有限公司 激光雷达与相机的标定方法、装置、设备和可读存储介质
US20220083841A1 (en) * 2020-09-15 2022-03-17 Dr. Ing. H.C. F. Porsche Aktiengesellschaft Method and system for automatically labeling radar data
WO2022077190A1 (zh) * 2020-10-12 2022-04-21 深圳市大疆创新科技有限公司 数据处理方法、控制设备及存储介质
KR102309608B1 (ko) * 2020-10-21 2021-10-06 주식회사 노바테크 라이다(Lidar)와 스테레오-카메라(Stereo-Camera) 간의 좌표계 정합 방법
CN112330756A (zh) * 2021-01-04 2021-02-05 中智行科技有限公司 一种相机标定方法、装置、智能车辆和存储介质
CN112734857A (zh) * 2021-01-08 2021-04-30 香港理工大学深圳研究院 相机内参和相机相对激光雷达外参的标定方法及电子设备
CN113281723A (zh) * 2021-05-07 2021-08-20 北京航空航天大学 一种基于AR tag的3D激光雷达与相机间结构参数的标定方法
CN113625288A (zh) * 2021-06-15 2021-11-09 中国科学院自动化研究所 基于点云配准的相机与激光雷达位姿标定方法和装置
CN114200430A (zh) * 2021-12-10 2022-03-18 上海西井信息科技有限公司 激光雷达与相机的标定方法、系统、设备及存储介质
CN114371472A (zh) * 2021-12-15 2022-04-19 中电海康集团有限公司 一种激光雷达和相机的自动化联合标定装置及方法
CN114578329A (zh) * 2022-03-01 2022-06-03 亿咖通(湖北)技术有限公司 多传感器联合标定方法、设备、存储介质及程序产品
CN114612348A (zh) * 2022-05-11 2022-06-10 季华实验室 激光点云运动畸变校正方法、装置、电子设备及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
WANG ZHEN ET AL: "Recent development of hyperspectral LiDAR using supercontinuum laser", 《PROCEEDINGS OF SPIE》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115856849A (zh) * 2023-02-28 2023-03-28 季华实验室 一种深度相机与2d激光雷达标定方法及相关设备
CN115856849B (zh) * 2023-02-28 2023-05-05 季华实验室 一种深度相机与2d激光雷达标定方法及相关设备

Also Published As

Publication number Publication date
CN114782556B (zh) 2022-09-09

Similar Documents

Publication Publication Date Title
US10060739B2 (en) Method for determining a position and orientation offset of a geodetic surveying device and such a surveying device
CN108765328B (zh) 一种高精度多特征平面模板及其畸变优化和标定方法
CN111627072B (zh) 一种对多传感器进行标定的方法、装置和存储介质
JP4926127B2 (ja) 移動体搭載用前方撮像制御装置
JP4885584B2 (ja) レンジファインダ校正方法及び装置
CN113137920B (zh) 一种水下测量的设备与水下测量方法
CN112132908B (zh) 一种基于智能检测技术的相机外参数标定方法及设备
JP2012533222A (ja) 画像ベースの表面トラッキング
CN111220120B (zh) 一种动平台双目测距自校准方法及装置
CN112132874B (zh) 无标定板异源图像配准方法、装置、电子设备及存储介质
CN112785655A (zh) 一种基于车道线检测的环视相机外参自动标定方法、装置、设备及计算机存储介质
CN113096183B (zh) 一种基于激光雷达与单目相机的障碍物检测与测量方法
CN111123242B (zh) 一种基于激光雷达和相机的联合标定方法及计算机可读存储介质
CN110779491A (zh) 一种水平面上目标测距的方法、装置、设备及存储介质
CN108362205B (zh) 基于条纹投影的空间测距方法
CN111524174B (zh) 一种动平台动目标双目视觉三维构建方法
CN111127613A (zh) 基于扫描电子显微镜的图像序列三维重构方法及系统
CN114782556B (zh) 相机与激光雷达的配准方法、系统及存储介质
JP6411188B2 (ja) ステレオマッチング装置とステレオマッチングプログラムとステレオマッチング方法
CN104504691A (zh) 基于低秩纹理的摄像机位置和姿态测量方法
CN113658279A (zh) 相机内参和外参估算方法、装置、计算机设备及存储介质
CN111598956A (zh) 标定方法、装置和系统
CN115511961A (zh) 三维空间定位方法、系统及存储介质
CN114037768A (zh) 一种多套跟踪式扫描仪联合标定的方法和装置
RU2692970C2 (ru) Способ калибровки видеодатчиков многоспектральной системы технического зрения

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant