CN112785649A - 激光雷达和相机的标定方法、装置、电子设备及介质 - Google Patents

激光雷达和相机的标定方法、装置、电子设备及介质 Download PDF

Info

Publication number
CN112785649A
CN112785649A CN201911095753.4A CN201911095753A CN112785649A CN 112785649 A CN112785649 A CN 112785649A CN 201911095753 A CN201911095753 A CN 201911095753A CN 112785649 A CN112785649 A CN 112785649A
Authority
CN
China
Prior art keywords
camera
target
coordinate transformation
laser radar
coordinate system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911095753.4A
Other languages
English (en)
Inventor
崔伟
黄玉玺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Jingbangda Trade Co Ltd
Beijing Jingdong Qianshi Technology Co Ltd
Original Assignee
Beijing Jingbangda Trade Co Ltd
Beijing Jingdong Qianshi Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Jingbangda Trade Co Ltd, Beijing Jingdong Qianshi Technology Co Ltd filed Critical Beijing Jingbangda Trade Co Ltd
Priority to CN201911095753.4A priority Critical patent/CN112785649A/zh
Publication of CN112785649A publication Critical patent/CN112785649A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

本申请提供一种激光雷达和相机的标定方法、装置、电子设备及介质，该方法包括：确定辅助相机和激光雷达的第一坐标变换关系式；确定目标相机和辅助相机的第二坐标变换关系式；通过第一坐标变换关系式以及第二坐标变换关系式确定目标坐标变换关系式；以及基于目标坐标变换关系式确定目标相机与激光雷达的外参数据。本申请的激光雷达和相机的标定方法、装置、电子设备及介质，能够在激光雷达和相机相距较远时保证标定结果的高精度。

Description

激光雷达和相机的标定方法、装置、电子设备及介质
技术领域
本申请涉及自动驾驶领域，尤其涉及一种激光雷达和相机的标定方法、装置、电子设备及计算机可读介质。
背景技术
在自动驾驶领域，利用多种传感器获取路上行人、车辆的准确信息，包括速度，位置等，已是不可或缺的技术部分。为实现上述功能，通常是通过相机获取图像信息，即目标物体的二维信息；并通过激光雷达获取深度距离信息，即目标物体的三维信息。若想同时获取目标物体的二维信息和三维信息，则需要将两种传感器进行校准以及数据融合，或可使用双目传感器以同时获取二维信息以及三维信息。而在上述两种方法中，前者的使用距离更远，因此更加适合自动驾驶设备在复杂环境下的运行。在这一背景下，如何准确标定距离较远的相机和激光雷达成为了技术人员必须解决的技术问题。为解决该技术问题，现有技术采用的是手动标定的方法，获取激光雷达和相机的外参数据。其中，外参数据描述了如何把点从相机坐标系转换到激光雷达坐标系。例如，现有技术可使用MATLAB工具箱，并手动提取标定板在图像和三维信息上的几何平面，以获得其在相机坐标系和激光雷达坐标系下的外参数据，通过手动提取的方式采集多组数据，进而得到相机和激光雷达的外参。或一次性采集多个标定板的图像和三维信息，统一进行标定。
在激光雷达和相机距离很近时，现有技术的标定结果具有很高的精度。然而，当激光雷达和相机距离较远时，利用现有技术获得的标定结果却很难达到精度要求。
发明内容
有鉴于此，本申请提供一种激光雷达和相机的标定方法、装置、电子设备及介质，能够在激光雷达和相机相距较远时保证标定结果的高精度。
本申请的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本申请的实践而习得。
根据本申请实施例的第一方面，提供一种激光雷达和相机的标定方法，其中，包括：确定辅助相机和激光雷达的第一坐标变换关系式；确定目标相机和辅助相机的第二坐标变换关系式；通过第一坐标变换关系式以及第二坐标变换关系式确定目标坐标变换关系式；以及基于目标坐标变换关系式确定目标相机与激光雷达的外参数据。
在本申请的一种示例性实施例中，外参数据包括：旋转矩阵以及平移矩阵。
在本申请的一种示例性实施例中，确定辅助相机和激光雷达的第一坐标变换关系式，包括：以辅助相机坐标系为参考坐标系，确定辅助相机和激光雷达的外参数据；基于所述外参数据获取第一坐标变换关系式。
在本申请的一种示例性实施例中，以辅助相机坐标系为参考坐标系，确定辅助相机和激光雷达的外参数据，包括：以辅助相机坐标系为参考坐标系，通过目标标定方法确定辅助相机和激光雷达的外参数据。
在本申请的一种示例性实施例中，确定目标相机和辅助相机的第二坐标变换关系式，包括：以目标相机坐标系为参考坐标系，确定目标相机和辅助相机的外参数据；基于所述外参数据获取第二坐标变换关系式。
在本申请的一种示例性实施例中，以目标相机坐标系为参考坐标系，确定目标相机和辅助相机的外参数据，包括：以目标相机坐标系为参考坐标系，使用stereo标定方法确定确定目标相机和辅助相机的外参数据。
在本申请的一种示例性实施例中，辅助相机与激光雷达之间的距离小于目标相机与激光雷达之间的距离。
根据本申请实施例的第二方面，提出一种激光雷达和相机的标定装置，其中，所述装置包括：第一确定模块，配置为确定辅助相机和激光雷达的第一坐标变换关系式；第二确定模块，配置为确定目标相机和辅助相机的第二坐标变换关系式；第三确定模块，配置为通过所述第一坐标变换关系式以及所述第二坐标变换关系式确定目标坐标变换关系式；以及第四确定模块，配置为基于所述目标坐标变换关系式确定所述目标相机与所述激光雷达的外参数据。
在本申请的一种示例性实施例中，外参数据包括：旋转矩阵以及平移矩阵。
在本申请的一种示例性实施例中，所述第一确定模块，配置为以辅助相机坐标系为参考坐标系，确定辅助相机和激光雷达的外参数据；基于所述外参数据获取第一坐标变换关系式。
在本申请的一种示例性实施例中，所述第一确定模块，配置为以辅助相机坐标系为参考坐标系，通过目标标定方法确定辅助相机和激光雷达的外参数据。
在本申请的一种示例性实施例中，所述第二确定模块，配置为以目标相机坐标系为参考坐标系，确定目标相机和辅助相机的外参数据；基于所述外参数据获取第二坐标变换关系式。
在本申请的一种示例性实施例中，所述第二确定模块，配置为以目标相机坐标系为参考坐标系，使用stereo标定方法确定确定目标相机和辅助相机的外参数据。
在本申请的一种示例性实施例中，辅助相机与激光雷达之间的距离小于目标相机与激光雷达之间的距离。
根据本申请实施例的第三方面，提出一种电子设备，该电子设备包括：一个或多个处理器；存储系统，用于存储一个或多个程序；当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现上述任一项所述的激光雷达和相机的标定方法。
根据本申请实施例的第四方面，提出一种计算机可读介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如上述任一项所述的激光雷达和相机的标定方法。
根据本申请的激光雷达和相机的标定方法、系统、电子设备及计算机可读介质，能够在激光雷达和相机相距较远时保证标定结果的高精度。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。下面描述的附图仅仅是本申请的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是根据一示例性实施例示出的一种激光雷达和相机的标定方法的流程图。
图2是根据一示例性实施例示出的一种激光雷达和相机的标定方法的流程图。
图3是根据一示例性实施例示出的一种激光雷达和相机的标定系统的框图。
图4是根据一示例性实施例示出的一一种激光雷达和相机的标定装置的框图；
图5是根据一示例性实施例示出的一种用于激光雷达和相机的标定的电子设备的框图。
具体实施方式
现在将参考附图更全面地描述示例实施例。然而，示例实施例能够以多种形式实施，且不应被理解为限于在此阐述的实施例；相反，提供这些实施例使得本发明将全面和完整，并将示例实施例的构思全面地传达给本领域的技术人员。在图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。
所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。在下面的描述中，提供许多具体细节从而给出对本发明的实施方式的充分理解。然而，本领域技术人员将意识到，可以实践本发明的技术方案而省略特定细节中的一个或更多，或者可以采用其它的方法、组元、系统、步骤等。在其它情况下，不详细示出或描述公知方法、系统、实现或者操作以避免模糊本发明的各方面。
附图仅为本发明的示意性图解，图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器系统和/或微控制器系统中实现这些功能实体。
附图中所示的流程图仅是示例性说明，不是必须包括所有的内容和步骤，也不是必须按所描述的顺序执行。例如，有的步骤还可以分解，而有的步骤可以合并或部分合并，因此实际执行的顺序有可能根据实际情况改变。
下面结合附图对本发明示例实施方式进行详细说明。
图1是根据一示例性实施例示出的一种激光雷达和相机的标定方法的流程图。根据图1示出的激光雷达和相机的标定方法，能够在激光雷达和相机相距较远时保证标定结果的高精度。下面，将参照图1，对本申请示例性实施例中的激光雷达和相机的标定方法进行说明。
在步骤S110中，确定辅助相机和激光雷达的第一坐标变换关系式。
根据本发明实施例，可以以辅助相机坐标系为参考坐标系，确定辅助相机和激光雷达的外参数据，并基于所述外参数据获取第一坐标变换关系式。
本发明实施例中，辅助相机与激光雷达之间的距离小于目标相机与激光雷达之间的距离，保证辅助相机和激光雷达相距较近，以使辅助相机和激光雷达的外参数据以及第一坐标变换式具有较高的精度。例如，可将辅助相机放置在激光雷达上方，以保证辅助相机和激光雷达具有较小的相对距离。
根据示例实施例，还可获取辅助相机坐标系、目标相机坐标系以及激光雷达坐标系。其中，辅助相机(或者目标相机)坐标系可例如包括其相机光心以及X、Y、Z轴，X、Y轴可与相机成像平面平行，Z轴也称为光轴，其与相机成像平面垂直；相机光心到相机成像平面的距离即为相机的焦距。在获取到上述坐标系后，以第一坐标变换关系式为例，通过该关系式可得到辅助相机坐标系和激光雷达坐标系之间的关系。
根据示例实施例，可以辅助相机坐标系为参考坐标系，确定辅助相机和激光雷达的第一坐标变换关系式。其中，以辅助相机坐标系为参考坐标系时，可获得由辅助相机坐标系到激光雷达坐标系的转换关系。即在第一坐标变换关系式中，辅助相机坐标系为初始坐标系，激光雷达坐标系为目标坐标系。
根据示例实施例，可通过目标标定方法确定辅助相机和激光雷达的第一外参数据。其中，目标标定方法可为手动标定方法。例如，目标标定方法可以通过MATLAB的标定工具箱实现。MATLAB是美国MathWorks公司出品的商业数学软件，用于算法开发、数据可视化、数据分析以及数值计算的高级技术计算语言和交互式环境。MATLAB中包含有CameraCalibration Toolbox，即标定工具箱。例如，可通过手动提取标定板在图像和三维信息上的几何平面，获得其在辅助相机坐标系和激光雷达坐标系的外参数据，并通过采集多组数据的方式获得辅助相机和激光雷达的外参数据与第一坐标变换关系式。
在步骤S120中，确定目标相机和辅助相机的第二坐标变换关系式。
根据本发明实施例，目标相机和辅助相机可采用同类型的相机，以保证其内参数据相同。内参数据描述了相机从三维空间到二维图像的投影关系，其可通过相机的参数确定。
根据本发明实施例，可以以目标相机坐标系为参考坐标系，确定目标相机和辅助相机的外参数据，并基于所述外参数据获取第二坐标变换关系式。其中，第二坐标变换关系式可描述辅助相机坐标系和目标相机坐标系之间的关系。
根据示例实施例，以目标相机坐标系为参考坐标系时，可获得由目标相机坐标系到辅助相机坐标系的转换关系。即在第二坐标变换关系式中，目标相机坐标系为初始坐标系，辅助相机坐标系为目标坐标系。
根据示例本发明实施例，可使用立体标定方法stereo确定辅助相机和目标相机，目标相机和辅助相机的第二外参数据与第二坐标变换关系式。其中，stereo标定方法可用于双目传感器的标定。例如，可在MATLAB的命令行中输入stereo Camera Calibrator(立体标定方法)，可调取stereo标定工具箱界面，通过参数设置对辅助相机和目标相机进行标定，以获得目标相机和辅助相机的外参数据，从而获取第二坐标变换关系式。
在步骤S130中，通过所述第一坐标变换关系式、所述第二坐标变换关系式确定目标坐标变换关系式。其中，第一坐标变换关系式可以描述由辅助相机坐标系到激光雷达坐标系的坐标变换方法，第二坐标变换关系式可以描述由目标相机坐标系到辅助相机坐标系的坐标变换方法，通过对其进行代入运算，可以获得目标坐标变换关系式，其可描述由目标相机坐标系到激光雷达坐标系的坐标变换方法。
根据示例实施例，外参数据可包括：旋转矩阵以及平移矩阵。其中，旋转矩阵可描述坐标变换关系式中初始坐标系的坐标轴相对于目标坐标系的坐标轴的方向，平移矩阵可描述坐标变换关系式中在初始坐标系下，目标坐标系原点的位置。
以第一坐标变换关系式为例，其关系式可表示为
L1＝R1×O2+T1 (1)
其中，L1为激光雷达坐标系，O2为辅助相机坐标系，R1为第一外参数据中的旋转矩阵，T1为第一外参数据中的平移矩阵。
通过第一坐标变换关系式，可以获得辅助相机坐标系到激光雷达坐标系的相互转换关系。
同理，第二坐标变换关系式可表示为：
O2＝R2×O1+T2 (2)
其中，O2为辅助相机坐标系，O1为目标相机坐标系，R2为第二外参数据中的旋转矩阵，T2为第二外参数据中的平移矩阵。通过第二坐标变换关系式，可以获得目标相机坐标系到辅助相机坐标系的相互转换关系。
最后，通过将第二坐标变换关系式(2)代入第一坐标变换关系式(1)中并进行联立，利用第二坐标变化关系式替代第一坐标关系式中的O2，即可得到目标坐标变换关系式。以上述举例为依据，目标坐标变换关系式可以表示为：
L1＝R1×R2×O1+R1×R2+T1 (3)
通过目标坐标变换关系式，可以获得目标相机坐标系到辅助相机坐标系的相互转换关系。
在步骤S140中，基于所述目标坐标变换关系式确定所述目标相机与所述激光雷达的外参数据。
根据本发明实施例，目标坐标变换关系式可描述所述目标相机与所述激光雷达的坐标转换关系，从而可据此确定目标相机与目标相机与激光雷达的外参数据。确定目标相机与目标相机与激光雷达的外参数据，即是对目标相机与激光雷达进行标定。
根据示例实施例，基于目标坐标变换关系式中的外参数据，可以确定目标相机与激光雷达的外参数据，从而实现对目标相机与激光雷达的标定。其中，目标相机与激光雷达的外参数据可包含所述目标相机坐标系到所述激光雷达坐标系的旋转矩阵以及平移矩阵。
根据本申请的激光雷达和相机的标定方法，通过引入一辅助相机，并以辅助相机为中间桥梁，对距离较远的目标相机和激光雷达进行标定。相比于现有技术中对距离较远的目标相机和激光雷达直接进行标定而言，本申请中，设置辅助相机与激光雷达之间的距离小于目标相机与激光雷达之间的距离，基于辅助相机和激光雷达较小距离相较于目标相机与激光雷达的较大距离标定的外参数据以及第一坐标变换关系式更准确，而基于双目相机标定的外参数据相较于目标相机与激光雷达的较大距离标定的外参数据以及第二坐标变换关系式也更准确，从而使得最后利用第一坐标变换关系式和第二关系式得到的目标相机与激光雷达的外参数据相较于直接对目标相机与激光雷达的较大距离标定的外参数据更准确，从而能够在激光雷达和相机相距较远时保证标定结果的高精度。
图2是根据一示例性实施例示出的一种激光雷达和相机的标定方法的流程图。参照图2，激光雷达和相机的标定方法可包括：
在步骤S210中，选择两款同类型的相机，分别为目标相机和辅助相机。其中，辅助相机放在激光雷达上面，以保证其与激光雷达具有较小的相对距离，而目标相机可放在其目标安装位置。在本示例性实施例中，可首先获取辅助相机、目标相机以及激光雷达的坐标系。坐标系的组成在前述示例性实施例中已进行了相关解释，此处不再赘述。为便于表述，辅助相机、目标相机以及激光雷达的坐标系可分别表示为O1、O2以及L1。
在步骤S220中，标定辅助相机和激光雷达。其中，可以选择MATLAB的标定工具箱进行手动选取标定。以辅助相机坐标系为参考坐标系，通过MATLAB手动选取标定标定出辅助相机和激光雷达的外参数据(R1，T1)，从而获取到第一坐标变换关系式。第一坐标变换关系式可表示为：
L1＝R1×O2+T1 (1)
在步骤S230中，标定目标相机和辅助相机。其中，可选择MATLAB的stereo标定方法，以目标相机坐标系为参考坐标系，MATLAB的stereo标定得到双目相机的外参数据(R2，T2)，从而获取到第二坐标变换关系式。第二坐标变换关系式可表示为：
O2＝R2×O1+T2 (2)
在步骤S240中，通过坐标转换计算目标相机和激光雷达的外参。其中，可将第一坐标变换关系式与第二坐标变换关系式进行联立，以得到目标坐标变换关系式。目标坐标变换关系式可描述所述目标相机和所述激光雷达的坐标转换关系。目标坐标变换关系式可表示为：
L1＝R1×R2×O1+R1×R2+T1 (3)
其中，通过对目标坐标变换关系式进行分解，可以得到目标外参数据(R3，T3)，其具体分解方式如下：
R3＝R1×R2 (4)
T3＝R1×R2+T1 (5)
其中，R3为目标外参数据中的旋转矩阵，T3为目标外参数据中的平移矩阵，确定目标相机和激光雷达的外参数据，实现了目标相机与所述激光雷达的标定。
根据本申请的激光雷达和相机的标定方法，通过引入一辅助相机，并以辅助相机为中间桥梁，对距离较远的目标相机和激光雷达进行标定。相比于现有技术中对距离较远的目标相机和激光雷达直接进行标定而言，本申请中，设置辅助相机与激光雷达之间的距离小于目标相机与激光雷达之间的距离，基于辅助相机和激光雷达较小距离相较于目标相机与激光雷达的较大距离标定的外参数据以及第一坐标变换关系式更准确，而基于双目相机标定的外参数据相较于目标相机与激光雷达的较大距离标定的外参数据以及第二坐标变换关系式也更准确，从而使得最后利用第一坐标变换关系式和第二关系式得到的目标相机与激光雷达的外参数据相较于直接对目标相机与激光雷达的较大距离标定的外参数据更准确，从而提升目标相机和激光雷达相距较远情况下的标定结果的准确度。
图3是根据一示例性实施例示出的一种激光雷达和相机的标定系统的框图。参照图3，激光雷达和相机的标定系统可以包括：目标相机310、激光雷达320、辅助相机330。
在激光雷达和相机的标定系统中，目标相机310具有目标相机坐标系，例如以O1表示。激光雷达320具有激光雷达坐标系例如以O2表示。其中，目标相机310与激光雷达320之间相距的距离可根据实际情况确定，只要辅助相机330与激光雷达320之间的距离小于目标相机310与激光雷达320之间的距离即可，本发明的技术方案对此并不作特殊限定。
辅助相机330具有辅助相机坐标系，例如以L1表示。辅助相机330可用于确定所述辅助相机和所述激光雷达的外参数据与第一坐标变换关系式；以及确定所述辅助相机和所述目标相机的外参数据与第二坐标变换关系式。其中，应保证辅助相机330和激光雷达320相距较近，以保证其标定结果即辅助相机和激光雷达的外参数据与第一坐标变换式具有较高的精度。例如，可将辅助相机330放置在激光雷达320上方，以保证辅助相机330和激光雷达320具有较小的相对距离。
根据示例实施例，辅助相机330可用于以辅助相机坐标系为参考坐标系，确定辅助相机330和激光雷达320的外参数据与第一坐标变换关系式。其中，可通过目标标定方法确定辅助相机330和激光雷达320的第一外参数据与第一坐标变换关系式。例如，可通过手动提取标定板在图像和三维信息上的几何平面，获得其在辅助相机坐标系和激光雷达坐标系下的外参数据，并通过采集多组数据的方式获得辅助相机330和激光雷达320的外参数据与第一坐标变换关系式。
根据示例实施例，辅助相机330可用于以目标相机坐标系为参考坐标系，确定目标相机310和辅助相机330的外参数据与第二坐标变换关系式。其中，可使用stereo标定方法确定目标相机310和辅助相机330的外参数据与第二坐标变换关系式。其中，stereo标定方法可用于双目传感器的标定。例如，可在MATLAB的命令行中输入stereo CameraCalibrator命令，以调取stereo标定工具箱界面，通过参数设置对目标相机310和辅助相机330进行标定，以获得第二外参数据与第二坐标变换关系式。
根据示例实施例，激光雷达和相机的标定系统还可包括标定模块，用于通过所述第一坐标变换关系式、所述第二坐标变换关系式确定目标坐标变换关系式；以及通过所述目标坐标变换关系式确定所述目标相机与所述激光雷达的外参数据，以对目标相机和激光雷达进行标定。其中，目标外参数据可包含所述目标相机坐标系到所述激光雷达坐标系的旋转矩阵以及平移矩阵。通过旋转矩阵与平移矩阵，可以描述所述目标相机坐标系与所述激光雷达坐标系之间的关系，从而可对所述目标相机与所述激光雷达进行标定。
根据本申请的激光雷达和相机的标定系统，通过引入一辅助相机，并以辅助相机为中间桥梁，对距离较远的目标相机和激光雷达进行标定。本申请的激光雷达和相机的标定系统能够在激光雷达和相机相距较远时保证标定结果的高精度。
图4是根据一示例性实施例示出的一一种激光雷达和相机的标定装置的框图。参照图4，所述装置500包括：
第一确定模块410，配置为确定辅助相机和激光雷达的第一坐标变换关系式。
第二确定模块420，配置为确定目标相机和辅助相机的第二坐标变换关系式。
第三确定模块430，配置为通过所述第一坐标变换关系式以及所述第二坐标变换关系式确定目标坐标变换关系式。以及
第四确定模块440，配置为基于所述目标坐标变换关系式确定所述目标相机与所述激光雷达的外参数据。
根据本申请的激光雷达和相机的标定方法，通过引入一辅助相机，并以辅助相机为中间桥梁，对距离较远的目标相机和激光雷达进行标定。相比于现有技术中对距离较远的目标相机和激光雷达直接进行标定而言，本申请中，设置辅助相机与激光雷达之间的距离小于目标相机与激光雷达之间的距离，基于辅助相机和激光雷达较小距离相较于目标相机与激光雷达的较大距离标定的外参数据以及第一坐标变换关系式更准确，而基于双目相机标定的外参数据相较于目标相机与激光雷达的较大距离标定的外参数据以及第二坐标变换关系式也更准确，从而使得最后利用第一坐标变换关系式和第二关系式得到的目标相机与激光雷达的外参数据相较于直接对目标相机与激光雷达的较大距离标定的外参数据更准确，从而提升目标相机和激光雷达相距较远情况下的标定结果的准确度。
图5是根据一示例性实施例示出的一种用于激光雷达和相机的标定的电子设备的框图。
下面参照图5来描述根据本申请的这种实施方式的电子设备500。图5显示的电子设备500仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。
如图5所示，计算机系统500包括中央处理单元(CPU)501，其可以根据存储在只读存储器(ROM)502中的程序或者从储存部分508加载到随机访问存储器(RAM)503中的程序而执行各种适当的动作和处理。例如，中央处理单元501可以执行如图1、图2中的一个或多个所示的步骤。
在RAM 503中，还存储有系统操作所需的各种程序和数据，例如辅助相机坐标系、目标相机坐标系以及外参数据等。CPU 501、ROM 502以及RAM 503通过总线504彼此相连。输入/输出(I/O)接口505也连接至总线504。
以下部件连接至I/O接口505：包括触摸屏、键盘等的输入部分506；包括诸如液晶显示器(LCD)等以及扬声器等的输出部分507；包括闪存等的储存部分508；以及包括诸如无线网卡、高速网卡等的通信部分509。通信部分509经由诸如因特网的网络执行通信处理。驱动器510也根据需要连接至I/O接口505。可拆卸介质411，诸如半导体存储器、磁盘等，根据需要安装在驱动器510上，以便于从其上读出的计算机程序根据需要被安装入储存部分508。
通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，本发明实施例的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中，包括若干指令用以使得一台计算设备(可以是个人计算机、服务器、移动终端、或者智能设备等)执行根据本发明实施例的方法，例如图1、图2中的一个或多个所示的步骤。
此外，上述附图仅是根据本发明示例性实施例的方法所包括的处理的示意性说明，而不是限制目的。易于理解，上述附图所示的处理并不表明或限制这些处理的时间顺序。另外，也易于理解，这些处理可以是例如在多个模块中同步或异步执行的。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本申请的其他实施例。本申请旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本发明未申请的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由权利要求指出。
应当理解的是，本发明并不限于这里已经示出的详细结构、附图方式或实现方法，相反，本发明意图涵盖包含在所附权利要求的精神和范围内的各种修改和等效设置。

Claims (10)

1.一种激光雷达和相机的标定方法，其特征在于，包括：
确定辅助相机和激光雷达的第一坐标变换关系式；
确定目标相机和辅助相机的第二坐标变换关系式；
通过第一坐标变换关系式以及第二坐标变换关系式确定目标坐标变换关系式；以及
基于目标坐标变换关系式确定目标相机与激光雷达的外参数据。
2.如权利要求1所述的方法，其特征在于，外参数据包括：旋转矩阵以及平移矩阵。
3.如权利要求1所述的方法，其特征在于，确定辅助相机和激光雷达的第一坐标变换关系式，包括：
以辅助相机坐标系为参考坐标系，确定辅助相机和激光雷达的外参数据；
基于所述外参数据获取第一坐标变换关系式。
4.如权利要求3所述的方法，其特征在于，以辅助相机坐标系为参考坐标系，确定辅助相机和激光雷达的外参数据，包括：
以辅助相机坐标系为参考坐标系，通过目标标定方法确定辅助相机和激光雷达的外参数据。
5.如权利要求1所述的方法，其特征在于，确定目标相机和辅助相机的第二坐标变换关系式，包括：
以目标相机坐标系为参考坐标系，确定目标相机和辅助相机的外参数据；
基于所述外参数据获取第二坐标变换关系式。
6.如权利要求5所述的方法，其特征在于，以目标相机坐标系为参考坐标系，确定目标相机和辅助相机的外参数据，包括：
以目标相机坐标系为参考坐标系，使用stereo标定方法确定确定目标相机和辅助相机的外参数据。
7.如权利要求1-6任意一项权利要求所述的方法，其特征在于，辅助相机与激光雷达之间的距离小于目标相机与激光雷达之间的距离。
8.一种激光雷达和相机的标定装置，其特征在于，所述装置包括：
第一确定模块，配置为确定辅助相机和激光雷达的第一坐标变换关系式；
第二确定模块，配置为确定目标相机和辅助相机的第二坐标变换关系式；
第三确定模块，配置为通过所述第一坐标变换关系式以及所述第二坐标变换关系式确定目标坐标变换关系式；以及
第四确定模块，配置为基于所述目标坐标变换关系式确定所述目标相机与所述激光雷达的外参数据。
9.一种电子设备，其特征在于，包括：
一个或多个处理器；
存储系统，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-7中任一所述的方法。
10.一种计算机可读介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1-7中任一所述的方法。
CN201911095753.4A 2019-11-11 2019-11-11 激光雷达和相机的标定方法、装置、电子设备及介质 Pending CN112785649A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911095753.4A CN112785649A (zh) 2019-11-11 2019-11-11 激光雷达和相机的标定方法、装置、电子设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911095753.4A CN112785649A (zh) 2019-11-11 2019-11-11 激光雷达和相机的标定方法、装置、电子设备及介质

Publications (1)

Publication Number Publication Date
CN112785649A true CN112785649A (zh) 2021-05-11

Family

ID=75749767

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911095753.4A Pending CN112785649A (zh) 2019-11-11 2019-11-11 激光雷达和相机的标定方法、装置、电子设备及介质

Country Status (1)

Country Link
CN (1) CN112785649A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113436233A (zh) * 2021-06-29 2021-09-24 阿波罗智能技术(北京)有限公司 自动驾驶车辆的配准方法、装置、电子设备和车辆
WO2023086559A3 (en) * 2021-11-15 2023-06-22 Bear Robotics, Inc. Method, system, and non-transitory computer-readable recording medium for controlling a robot

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105758426A (zh) * 2016-02-19 2016-07-13 深圳杉川科技有限公司 移动机器人的多传感器的联合标定方法
CN108805910A (zh) * 2018-06-01 2018-11-13 海信集团有限公司 多目车载记录仪、目标检测方法、智能驾驶系统及汽车
CN108828606A (zh) * 2018-03-22 2018-11-16 中国科学院西安光学精密机械研究所 一种基于激光雷达和双目可见光相机联合测量方法
CN110021046A (zh) * 2019-03-05 2019-07-16 中国科学院计算技术研究所 相机与激光雷达组合传感器的外参数标定方法及系统
KR102014097B1 (ko) * 2019-01-16 2019-08-26 주식회사 나노시스템즈 스캐너와 카메라의 캘리브레이션 시스템
CN110221275A (zh) * 2019-05-21 2019-09-10 菜鸟智能物流控股有限公司 一种激光雷达与相机之间的标定方法和装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105758426A (zh) * 2016-02-19 2016-07-13 深圳杉川科技有限公司 移动机器人的多传感器的联合标定方法
CN108828606A (zh) * 2018-03-22 2018-11-16 中国科学院西安光学精密机械研究所 一种基于激光雷达和双目可见光相机联合测量方法
CN108805910A (zh) * 2018-06-01 2018-11-13 海信集团有限公司 多目车载记录仪、目标检测方法、智能驾驶系统及汽车
KR102014097B1 (ko) * 2019-01-16 2019-08-26 주식회사 나노시스템즈 스캐너와 카메라의 캘리브레이션 시스템
CN110021046A (zh) * 2019-03-05 2019-07-16 中国科学院计算技术研究所 相机与激光雷达组合传感器的外参数标定方法及系统
CN110221275A (zh) * 2019-05-21 2019-09-10 菜鸟智能物流控股有限公司 一种激光雷达与相机之间的标定方法和装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Z. CHEN等: "Extrinsic calibration of a laser range finder and a camera based on the automatic detection of line feature", 《2016 9TH INTERNATIONAL CONGRESS ON IMAGE AND SIGNAL PROCESSING》, 16 February 2017 (2017-02-16), pages 448 - 453 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113436233A (zh) * 2021-06-29 2021-09-24 阿波罗智能技术(北京)有限公司 自动驾驶车辆的配准方法、装置、电子设备和车辆
WO2023086559A3 (en) * 2021-11-15 2023-06-22 Bear Robotics, Inc. Method, system, and non-transitory computer-readable recording medium for controlling a robot

Similar Documents

Publication Publication Date Title
CN109544629B (zh) 摄像头位姿确定方法和装置以及电子设备
EP3506161A1 (en) Method and apparatus for recovering point cloud data
US7768534B2 (en) Method of and system for determining inaccuracy information in an augmented reality system
CN109946680B (zh) 探测系统的外参数标定方法、装置、存储介质及标定系统
CN112336342B (zh) 手部关键点检测方法、装置及终端设备
CN113030990B (zh) 车辆的融合测距方法、装置、测距设备及介质
CN109918977A (zh) 确定空闲车位的方法、装置及设备
CN112146682B (zh) 智能汽车的传感器标定方法、装置、电子设备及介质
US20230237683A1 (en) Model generation method and apparatus based on multi-view panoramic image
CN111753605A (zh) 车道线定位方法、装置、电子设备及可读介质
CN114004882A (zh) 一种二维地图生成方法、装置、终端设备及存储介质
CN112785649A (zh) 激光雷达和相机的标定方法、装置、电子设备及介质
CN116977671A (zh) 基于图像空间定位的目标跟踪方法、装置、设备及存储介质
Ajjah et al. Modelling and Estimation of Interior Orientation of Non-Metric Cameras using Artificial Intelligence
CN113420604B (zh) 多人姿态估计方法、装置和电子设备
CN108805121B (zh) 一种车牌检测定位方法、装置、设备及计算机可读介质
CN115856874A (zh) 毫米波雷达点云降噪方法、装置、设备及存储介质
US20230316460A1 (en) Binocular image quick processing method and apparatus and corresponding storage medium
CN115115709A (zh) 车内场景构建方法、终端设备及计算机可读存储介质
CN112016571B (zh) 一种基于注意力机制的特征提取方法、装置及电子设备
CN114852096A (zh) 域控制器变量的管理方法、装置、电子设备及存储介质
JP2006085270A (ja) 画像分析システム及び画像分析方法
CN114565681B (zh) 一种相机标定方法、装置、设备、介质及产品
CN117078752B (zh) 车辆位姿估计方法、装置、车辆及存储介质
CN115222799B (zh) 图像重力方向的获取方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination