CN114693802A - 相机和三维设备的联合标定方法、装置及存储介质 - Google Patents

相机和三维设备的联合标定方法、装置及存储介质 Download PDF

Info

Publication number
CN114693802A
CN114693802A CN202210211891.XA CN202210211891A CN114693802A CN 114693802 A CN114693802 A CN 114693802A CN 202210211891 A CN202210211891 A CN 202210211891A CN 114693802 A CN114693802 A CN 114693802A
Authority
CN
China
Prior art keywords
camera
dimensional
calibration
actual
coordinates
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210211891.XA
Other languages
English (en)
Inventor
李怡康
闫国行
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai AI Innovation Center
Original Assignee
Shanghai AI Innovation Center
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai AI Innovation Center filed Critical Shanghai AI Innovation Center
Priority to CN202210211891.XA priority Critical patent/CN114693802A/zh
Publication of CN114693802A publication Critical patent/CN114693802A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本申请适用于传感器技术领域，提供了一种相机和三维设备的联合标定方法、装置及存储介质。本申请实施例中基于三维设备和相机获取标定板数据；根据所述标定板数据确定所述相机的第一内参和第一畸变系数；以所述第一内参和所述第一畸变系数为优化初值，根据所述标定板数据进行非线性优化，得到所述相机的第二内参和第二畸变系数，以及所述三维设备和所述相机之间的外参。本申请通过同时标定内参、畸变系数以及外参，避免由于内参不准确而导致外参不准确的问题，从而提高相机与三维设备之间参数标定的准确性。

Description

相机和三维设备的联合标定方法、装置及存储介质
技术领域
本申请属于传感器技术领域，尤其涉及一种相机和三维设备的联合标定方法、装置及存储介质。
背景技术
雷达和相机的组合是自动驾驶设备最常用的环境感知系统之一。雷达可以提供包含准确的深度信息和反射强度信息的3D点云数据，相机捕捉场景中的丰富语义信息。雷达和相机之间的信息融合，能够获得足够的环境信息，且抗天气干扰能力强，因此能够适应现实世界中多种多样的驾驶环境。
信息融合的关键在于对雷达和相机的标定，即确定两个传感器之间的相对位置关系，以将两个传感器采集到的信息变换到统一的时空坐标系。标定的准确性决定了信息融合、环境感知的准确性。传统的标定方法是先标定相机的内参，然后根据标定好的相机的内参标定雷达和相机的之间的外参。然而，由于相机结构的缺陷和非线性函数优化的不确定性，使得标定得到的内参可能是出现不准确的情况，从而导致基于内参标定得到的外参也不准确。
发明内容
本申请实施例提供了一种相机和三维设备的联合标定方法、装置及存储介质，可以提高相机与三维设备之间参数标定的准确性。
第一方面，本申请实施例提供了一种相机和三维设备的联合标定方法，包括：
基于三维设备和相机获取标定板数据；
根据所述标定板数据确定所述相机的第一内参和第一畸变系数；
以所述第一内参和所述第一畸变系数为优化初值，根据所述标定板数据进行非线性优化，得到所述相机的第二内参和第二畸变系数，以及所述三维设备和所述相机之间的外参。
其中，三维设备可以是雷达、深度相机等能够采集视野范围内三维坐标信息的传感器。
在一种可能的实现方式中，所述标定板包括棋盘格图像和多个圆孔，所述标定板数据包括所述棋盘格图像上的多个角点的坐标数据和所述圆孔的圆心的坐标数据，所述角点的坐标数据包括所述角点的实际像素坐标和实际三维坐标，所述圆心的坐标数据包括所述圆心的实际像素坐标、实际三维坐标和所述三维设备检测到的预测三维坐标。
在一种可能的实现方式中，所述圆心的实际像素坐标的获取方式为：
根据所述圆心所在的标定板上的多个所述角点的坐标数据计算与所述标定板对应的单硬性矩阵；
根据所述圆心的实际三维坐标和所述单硬性矩阵确定所述圆心的实际像素坐标。
在一种可能的实现方式中，所述非线性优化的约束条件为使得优化目标Jsum最小，其中，Jsum＝λ1Jboard+λ2Jlidar，λ1和λ2表示权重系数，Jboard表示所述标定板中所有所述角点的预测像素坐标与实际像素坐标之间的欧式距离之和，Jlidar表示所述标定板中所有所述圆心的预测像素坐标与实际像素坐标之间的欧式距离之和，所述角点的预测像素坐标是根据所述角点的实际三维坐标、所述第二内参和所述第二畸变系数确定的，所述圆心的预测像素坐标是根据所述圆心的预测三维坐标、所述第二内参、所述第二畸变系数以及所述外参确定。
在一种可能的实现方式中，λ1小于λ2。
第二方面，本申请实施例提供一种联合标定装置，包括：
获取单元，用于基于三维设备和相机获取标定板数据；
确定单元，用于根据所述标定板数据确定所述相机的第一内参和第一畸变系数；
优化单元，用于以所述第一内参和所述第一畸变系数为优化初值，根据所述标定板数据进行非线性优化，得到所述相机的第二内参和第二畸变系数，以及所述三维设备和所述相机之间的外参。
在一种可能的实现方式中，所述标定板包括棋盘格图像和多个圆孔，所述标定板数据包括所述棋盘格图像上的多个角点的坐标数据和所述圆孔的圆心的坐标数据，所述角点的坐标数据包括所述角点的实际像素坐标和实际三维坐标，所述圆心的坐标数据包括所述圆心的实际像素坐标、实际三维坐标和所述三维设备检测到的预测三维坐标。
在一种可能的实现方式中，所述获取单元获取所述圆心的实际像素坐标的方式为：
根据所述圆心所在的标定板上的多个所述角点的坐标数据计算与所述标定板对应的单硬性矩阵；
根据所述圆心的实际三维坐标和所述单硬性矩阵确定所述圆心的实际像素坐标。
在一种可能的实现方式中，所述非线性优化的约束条件为使得优化目标Jsum最小，其中，Jsum＝λ1Jboard+λ2Jlidar，λ1和λ2表示权重系数，Jboard表示所述标定板中所有所述角点的预测像素坐标与实际像素坐标之间的欧式距离之和，Jlidar表示所述标定板中所有所述圆心的预测像素坐标与实际像素坐标之间的欧式距离之和，所述角点的预测像素坐标是根据所述角点的实际三维坐标、所述第二内参和所述第二畸变系数确定的，所述圆心的预测像素坐标是根据所述圆心的预测三维坐标、所述第二内参、所述第二畸变系数以及所述外参确定。
在一种可能的实现方式中，λ1小于λ2。
第三方面，本申请实施例提供了一种终端设备，包括存储器、处理器以及存储在上述存储器中并可在上述处理器上运行的计算机程序，上述处理器执行上述计算机程序时实现上述任一种相机和三维设备的联合标定方法的步骤。
第四方面，本申请实施例提供了一种计算机可读存储介质，上述计算机可读存储介质存储有计算机程序，上述的计算机程序被处理器执行时实现上述任一种相机和三维设备的联合标定方法的步骤。
第五方面，本申请实施例提供了一种计算机程序产品，当计算机程序产品在终端设备上运行时，使得终端设备执行上述第一方面中任一种相机和三维设备的联合标定方法。
本申请实施例提供的相机和三维设备的联合标定方法，在获取标定板数据之后，首先根据标定板数据计算相机的第一内参和第一畸变系数，作为非线性优化的优化初值，然后根据采集到的所有标定板数据建立联立方程，进行非线性优化，同时计算相机的第二内参和第二畸变系数，以及三维设备和相机之间的外参。也就是说，在非线性优化过程中，计算第二内参和第二畸变系数的同时考虑了针对外参的约束，在计算外参的同时也考虑内参和畸变系数的约束，因此提高第二内参、第二畸变系数以及外参的准确性，避免由于内参的不准确导致外参不准确的情况。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的相机和三维设备的联合标定方法的第一种流程示意图；
图2是本申请实施例提供的标定板的示意图一；
图3是本申请实施例提供的标定板的示意图二；
图4是本申请实施例提供的圆心点识别示意图；
图5是本申请实施例提供的联合标定装置的结构示意图；
图6是本申请实施例提供的终端设备的结构示意图。
具体实施方式
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。
应当理解，当在本申请说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
如在本申请说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。
另外，在本申请说明书和所附权利要求书的描述中，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
本申请提供的三维设备和相机的联合标定方法，适用于任何以三维设备和相机作为环境感知系统的场景，例如，自动驾驶(或者无人驾驶)、机器人、监控、机械自动化等应用场景。其中，三维设备可以是能够获得视野范围内实际三维坐标数据的传感器，例如雷达、深度相机等。
通过对相机和三维设备的标定，能够获得这两种拥有不同特性和不同观测范围的传感器之间的相对位置，以将两个传感器变换到统一的时空坐标系，从而实现后续流程中的信息融合，完成准确的环境感知。
本申请实施例中，对相机和三维设备的标定，包括对相机的内参、相机的外参、标定板相对于相机的外参、相机和三维设备之间的外参进行联合标定。
其中，相机的内参用于反映相机自身特性，可以包括不限于像素坐标系的原点和相机所在的相机坐标系的原点投影到像素坐标系上对应像素点的坐标(即图像上中心点的坐标)，相机的焦距，由于图像畸变造成的像素点距离成像仪中心的距离值等。一般在相机出厂后，相机的内参理论上是保持不变的，但随着使用(例如，随着自动驾驶设备在行驶过程中的震动)，相机内部的个零件之间的位置关系可能会产生偏移，从而导致相机的内参发生变化。因此，每间隔一定的使用时长，需要对相机的内参进行标定。
相机的外参可以包括相机采集到的图像的畸变参数。畸变参数包括径向畸变参数和切向畸变系数。径向畸变和切向畸变分别是图像像素点以畸变中心为中心点，沿着长度方向或切线产生的位置偏差，从而导致图像发生形变。
标定板相对于相机的外参是指处于世界坐标系的标定板转换到相机坐标系所需的位置和/或姿态的变化参数，可以包括旋转矩阵R和平移矩阵T。其中，旋转矩阵R是处于世界坐标系的标定板转换到相机坐标系的情况下分别相对于三个坐标轴的旋转角度参数，平移矩阵T是在处于世界坐标系的标定板转换到相机坐标系的情况下原点的平移参数。
相机和三维设备之间的外参，是指用于反映三维设备坐标系与相机坐标系之间转换关系的参数，相机和三维设备之间的外参可以反映三维设备坐标系相对于相机坐标系在位置和姿态上的变化等。
下面结合具体实施例，对本申请提供的相机和三维设备的联合标定方法进行示例性的说明。
参见图1，为本申请实施例中一种相机和三维设备的联合标定方法的流程示意图，该方法的执行主体可以是终端设备，该终端设备可以是自动驾驶设备、机器人、监控设备、机械自动化设备等；也可以是车载设备、手机、服务器等用于对相机和三维设备采集的信息进行信息融合以执行相应控制的设备。如图1所示，上述相机和三维设备的联合标定方法可以包括如下步骤：
步骤101，基于三维设备和相机获取标定板数据。
在本申请实施例中，可以在待标定的三维设备和相机的共同视野范围内放置标定板进行数据采集。其中，三维设备的视野范围是指发射的激光束或电磁波等可以覆盖的范围。三维设备通过对视野范围中的标定板进行扫描，获得对应的三维数据。相机的视野范围指的是相机的摄像头所能拍摄到的范围。相机可以对视野范围内的标定板进行拍摄，获得对应的标定板图像。
在数据采集时，可以将同一标定板在共同视野范围内进行移动，也可以将不同的标定板均匀分布在共同视野范围内。例如，如图2所示，在共同视野范围内，每将标定板移动至一处，相机和三维设备进行一次数据采集，即三维设备采集标定板的三维数据，相机采集标定板的标定板图像。直至完成共同视野范围内的数据采集，获得多张标定板图像和对应的三维数据。
完成数据采集后，根据三维数据和标定板图像获取标定板数据。
示例性的，以图3所示标定板为例。该标定板包括棋盘格图像和多个圆孔，棋盘格图像分布在标定板的中间区域，圆孔围绕在棋盘格图像四周。标定板数据包括棋盘格图像上的多个角点的坐标数据和圆孔的圆心的坐标数据，角点的坐标数据包括角点的实际像素坐标(u，v)和实际三维坐标。圆心的坐标数据包括圆心的实际像素坐标、实际三维坐标和三维设备检测到的预测三维坐标。
其中，角点和圆心的实际三维坐标是以标定板上预设的原点建立坐标系确定的。例如，图3中，以棋盘格上第1个角点为原点W建立坐标系W-XYZ，其中，Z轴垂直于标定板所在平面，X轴和Y轴平行于标定板所在平面，且相互垂直。角点和圆心的实际三维坐标可以表示为(X，Y，Z)，其中，Z取值为0，X和Y的取值根据标定板上距离原点W的实际物理距离确定。在一个实施例中，角点和圆心的实际三维坐标是根据标定板上棋盘格的规格预先确定的，例如，测量每个点(角点或圆心)距离棋盘格上原点的实际距离，得到各个点的实际三维坐标。
角点和圆心的实际像素坐标是指角点和圆心指投影到图像上对应的像素点的坐标(u，v)，以原点W投影到该图像上对应的像素点o建立像素坐标系o-uv确定的，像素坐标系o-uv中u轴平行于X轴，v轴平行于Y轴平。其中，角点的像素坐标可以通过对相机采集到的标定板图像进行角点检测确定。例如，采用opencv自动检测库对标定板图像进行检测，得到角点的实际像素坐标。圆心的实际像素坐标，可以根据角点的坐标数据和圆心的实际三维坐标确定。
示例性的，以一个圆心为例，可以先根据该圆心坐在标定板上的多个角点的坐标数据计算与该标定板对应的单硬性(Homography)矩阵。单硬性(Homography)矩阵即H矩阵，是一个3*3的矩阵，可以表示为
Figure BDA0003532456880000081
用于描述一个平面到另一个平面的映射。在本申请实施例中，与标定板对应的H矩阵是用于描述相机拍摄到的图像平面与标定板上棋盘格图像所在平面(即坐标系W-XYZ中，Z＝0的平面)的之间的映射关系。
例如，如图3所示标定板上共17*7＝119个角点，4个圆心点(即圆心)。那么，针对这4个圆心，可以将每个角点的实际像素坐标(u，v)和实际三维坐标(X，Y，Z)代入如下公式(1)，建立119个联立方程，计算H矩阵：
Figure BDA0003532456880000082
其中，s表示尺度因子。
在得到H矩阵后，将H矩阵和每个圆心的实际三维坐标(X，Y，Z)代入上述公式(1)，得到圆心的实际像素坐标(u，v)。
可以理解的是，每个标定板图像对应一个H矩阵，每个标定板上的圆心根据其所在标定板对应的H矩阵确定实际像素坐标。
可选的，圆心的实际像素坐标(u，v)也可以通过投影检测得到。
圆心的预测三维坐标，是通过三维设备检测到的三维数据识别确定的。
示例性的，以一个标定板上个圆心，三维设备为雷达为例，雷达获得的每个标定板对应的三维数据为三维点云数据。如图4所示，首先设置感兴趣区域(region of interest，ROI)对三维设备扫描得到三维点云数据进行粗过滤，确定得到标定板所在区域的点云数据。例如，可以手动选择ROI。然后基于平面提取算法，对标定板所在区域的点云数据进行平面提取，得到标定板所在平面的点云，提取到的平面平行于坐标系M-XYZ的Y轴。例如，可以采用基于随机采样一致(RAndom SAmple Consensus，RANSAC)算法提取。
提取到的标定板所在平面后，可以根据相邻点云点之间的深度差来识别圆孔所在位置。基于识别到的圆孔确定圆心所在位置，得到圆心的预测三维坐标。
可以理解的是，所谓标定即是通过标定得到的各个参数使得三维设备测量到的点的预测三维坐标与该点的实际三维坐标对齐。
步骤102，根据标定板数据确定相机的第一内参和第一畸变系数。
在本申请实施例中，可以先基于常规的标定方法计算相机的内参和畸变系数，作为后续联合优化的初值。例如，可以使用张正友标定法，首先根据多个角点的坐标数据计算H矩阵(可以直接获得步骤S101中计算得到的H矩阵)。根据每个标定板图像对应的H矩阵计算得到相机的第一内参。之后根据第一内参、H矩阵和多个圆心的坐标数据计算得到三维设备与相机之间的第一外参。最后根据第一内参和第一外参计算相机的第一畸变系数。具体计算流程可以参见现有的张正友标定法的相关描述，此处不在赘述。
步骤103，以第一内参和第一畸变系数为优化初值，根据标定板数据进行非线性优化，得到相机的第二内参和第二畸变系数，以及三维设备和相机之间的外参。
在本申请实施例中，可以将标定板数据数据和优化处置输入优化器中进行非线性优化，得到相机的第二内参和第二畸变系数，以及三维设备和相机之间的外参。
示例性的，假设相机和三维设备在共同视野范围内采集了20个处于不同位置的标定板图像和三维数据，标定板为如图3所示标定板，包括119个角点和4个圆心，因此获得的标定板数据包括(119+4)*20＝2460组对应的像素坐标(u，v)与实际三维坐标(X，Y，Z)。将2460组对应的像素坐标与实际三维坐标输入到优化器中后，优化器则根据如下公式(2)建立2460个联立方程：
Figure BDA0003532456880000101
其中，
Figure BDA0003532456880000102
为相机的内参矩阵，第二内参包括fx、fy、cx和cy，fx和fy表示水平与垂直方向上的有效焦距长度，(cx，cy)为图像中心点的像素坐标。
Figure BDA0003532456880000103
为外参矩阵，其中，
Figure BDA0003532456880000104
为旋转矩阵，
Figure BDA0003532456880000105
为平移旋转矩阵。第二畸变系数包括k1、k2、k3、p1和p2，其中，k1、k2和k3为相机的径向畸变系数，p1和p2为相机的切向畸变系数。
示例性的，基于函数J，公式(2)可以拆分为如下公式(3)至公式(6)：
Figure BDA0003532456880000106
u＝x(1+k1r2+k2r4+k3r6)+2p1xy+p2(r2+2x2)(4)
v＝y(1+k1r2+k2r4+k3r6)+p1(r2+2y2)+2p2xy(5)
其中，r表示相机的径向长度，r2＝x*x+y*y，r4＝r2*r2，r6＝r4*r2。
公式(3)表示世界坐标系(即实际三维坐标系W-XYZ)中的三维点(X，Y，Z)，通过外参矩阵转换到相机坐标系下，在经过相机的内参矩阵可以转换为理想状态(即相机不发生畸变)下像素坐标中对应的像素点(x，y)。通过公式(4)和公式(5)可以利用相机的畸变系数将理想状态下的像素点的坐标(x，y)矫正为趋近于相机实际拍摄到的像素点的坐标(u，v)。
值得说明的是，第二内参是以第一内参作为初值，采用梯度下降法，由2460个联立方程进行线性优化得到的，同理，第二畸变系数以第一畸变系数作为初值，采用梯度下降法，由2460个联立方程进行线性优化得到的。该2460个联立方程中，采用4*20＝80个圆心的坐标数据的联立方程得到的外参R和T为相机和三维设备之间的外参。相应的，采用每个标定板上117个角点的坐标数据的联立方程得到的外参R和T，为对应标定板与相机之间的外参。
在一个示例中，优化器输出相机和三维设备之间的外参、第二内参以及第二畸变系数时，也可以同时输出各个标定板与相机之间的外参。
在一个示例中，优化器执行非线性优化时的约束条件可以为使得优化目标Jsum最小，其中，Jsum＝λ1Jboard+λ2Jlidar，λ1和λ2表示权重系数，Jboard表示所有角点的预测像素坐标与实际像素坐标之间的欧式距离之和，Jlidar表示所有圆心的预测像素坐标与实际像素坐标之间的欧式距离之和。
其中，角点的预测像素坐标是根据角点的实际三维坐标、第二内参和第二畸变系数确定的。即将计算得到的第二内参、第二畸变系数、该角点所在标定板与相机之间的外参，以及该角点的实际三维坐标带入公式(2)中，反向求角点的像素坐标。也就是利用计算得到的数学模型(第二内参、第二畸变系数、该角点所在标定板与相机之间的外参构成的模型)，预测将该角点的实际三维坐标(X，Y，Z)投影至像素坐标系中所对应像素点的坐标，得到该角点的预测像素坐标(udet，vdet)。
对应的，圆心的预测像素坐标是根据圆心的预测三维坐标、第二内参和第二畸变系数以及三维设备和相机之间的外参确定的。也就是利用计算得到的数学模型(第二内参和第二畸变系数以及三维设备和相机之间的外参构成的模型)，预测将圆心的预测三维坐标(X，Y，Z)投影至像素坐标系中所对应像素点的坐标，得到该圆心的预测像素坐标(udet，vdet)。
上述预测像素做坐标(udet，vdet)与实际检测到的实际像素做坐标(u，v)之间的欧式距离为||u-udet||2+||u-vdet||2。
可选的，在本申请实施例中，可以通过调节λ1和λ2的大小来调节第二内参和相机与三维设备之间外参的准确性。例如，为了获得更精确的相机与三维设备之间外参，可以设置λ2大于λ1。示例性的，设置λ2/λ1≥3时，可以获得更精确的相机与三维设备之间外参。
值得说明的是，采用本申请提供的相机和三维设备的联合标定方法，在获取标定板数据之后，首先根据标定板数据计算相机的第一内参和第一畸变系数，作为非线性优化的优化初值，然后根据所有标定板数据建立联立方程，进行非线性优化，同时计算相机的第二内参和第二畸变系数，以及三维设备和相机之间的外参。也就是说，在非线性优化过程中，计算第二内参和第二畸变系数的同时考虑了针对外参的约束，在计算外参的同时也考虑内参和畸变系数的约束，因此提高第二内参、第二畸变系数以及外参的准确性，避免由于内参的不准确导致外参不准确的情况。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。
对应于上文所述的一种相机和三维设备的联合标定方法，图5所示为本申请实施例中一种联合标定装置的结构示意图，如图5所示，上述联合标定装置可以包括：
获取单元501，用于基于三维设备和相机获取标定板数据；
确定单元502，用于根据所述标定板数据确定所述相机的第一内参和第一畸变系数；
优化单元503，用于以所述第一内参和所述第一畸变系数为优化初值，根据所述标定板数据进行非线性优化，得到所述相机的第二内参和第二畸变系数，以及所述三维设备和所述相机之间的外参。
在一种可能的实现方式中，所述标定板包括棋盘格图像和多个圆孔，所述标定板数据包括所述棋盘格图像上的多个角点的坐标数据和所述圆孔的圆心的坐标数据，所述角点的坐标数据包括所述角点的实际像素坐标和实际三维坐标，所述圆心的坐标数据包括所述圆心的实际像素坐标、实际三维坐标和所述三维做设备测量到的预测像素坐标。
在一种可能的实现方式中，所述获取单元501获取所述圆心的实际像素坐标的方式为：
根据所述圆心所在的标定板上的多个所述角点的坐标数据计算与所述标定板对应的单硬性矩阵；
根据所述圆心的实际三维坐标和所述单硬性矩阵确定所述圆心的实际像素坐标。
在一种可能的实现方式中，所述非线性优化的约束条件为使得优化目标Jsum最小，其中，Jsum＝λ1Jboard+λ2Jlidar，λ1和λ2表示权重系数，Jboard表示所述标定板中所有所述角点的预测像素坐标与实际像素坐标之间的欧式距离之和，Jlidar表示所述标定板中所有所述圆心的预测像素坐标与实际像素坐标之间的欧式距离之和，所述角点的预测像素坐标是根据所述角点的实际三维坐标、所述第二内参和所述第二畸变系数确定的，所述圆心的预测像素坐标是根据所述圆心的预测像素坐标、所述第二内参、所述第二畸变系数以及所述外参确定。
在一种可能的实现方式中，λ1小于λ2
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的装置和模块的具体工作过程以及效果，可以参考前述方法实施例中的对应过程以及效果，在此不再赘述。
图6为本申请实施例提供的终端设备的结构示意图。为了便于说明，仅示出了与本申请实施例相关的部分。
如图6所示，该实施例的终端设备6包括：至少一个处理器600(图6中仅示出一个)，与上述处理器600连接的存储器601，以及存储在上述存储器601中并可在上述至少一个处理器600上运行的计算机程序602，例如车辆性能边界的确定程序。上述处理器600执行上述计算机程序602时实现上述各个相机和三维设备的联合标定方法实施例中的步骤，例如图1所示的步骤S101至S103。或者，上述处理器600执行上述计算机程序602时实现上述各装置实施例中各模块的功能，例如图5所示模块501至503的功能。
示例性的，上述计算机程序602可以被分割成一个或多个模块，上述一个或者多个模块被存储在上述存储器601中，并由上述处理器600执行，以完成本申请。上述一个或多个模块可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述上述计算机程序602在上述终端设备6中的执行过程。例如，上述计算机程序602可以被分割成获取单元501、确定单元502和优化单元503，各模块具体功能具体可以参见上述实施例的描述，此处不再赘述。
上述终端设备6可包括，但不仅限于，处理器600、存储器601。本领域技术人员可以理解，图6仅仅是终端设备6的举例，并不构成对终端设备6的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如还可以包括输入输出设备、网络接入设备、总线等。
所称处理器600可以是中央处理单元(Central Processing Unit，CPU)，该处理器600还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
上述存储器601在一些实施例中可以是上述终端设备6的内部存储单元，例如终端设备6的硬盘或内存。上述存储器601在另一些实施例中也可以是上述终端设备6的外部存储设备，例如上述终端设备6上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。进一步地，上述存储器601还可以既包括上述终端设备6的内部存储单元也包括外部存储设备。上述存储器601用于存储操作系统、应用程序、引导装载程序(Boot Loader)、数据以及其他程序等，例如上述计算机程序的程序代码等。上述存储器601还可以用于暂时地存储已经输出或者将要输出的数据。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将上述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
在本申请所提供的实施例中，应该理解到，所揭露的装置/终端设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/终端设备实施例仅仅是示意性的，例如，上述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。
上述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
上述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，上述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，上述计算机程序包括计算机程序代码，上述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。上述计算机可读介质至少可以包括：能够将计算机程序代码携带到拍照装置/终端设备的任何实体或装置、记录介质、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，RandomAccess Memory)、电载波信号、电信信号以及软件分发介质。例如U盘、移动硬盘、磁碟或者光盘等。在某些司法管辖区，根据立法和专利实践，计算机可读介质不可以是电载波信号和电信信号。
以上所述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。

Claims (10)

1.一种相机和三维设备的联合标定方法，其特征在于，包括：
基于三维设备和相机获取标定板数据；
根据所述标定板数据确定所述相机的第一内参和第一畸变系数；
以所述第一内参和所述第一畸变系数为优化初值，根据所述标定板数据进行非线性优化，得到所述相机的第二内参和第二畸变系数，以及所述三维设备和所述相机之间的外参。
2.根据权利要求1所述的方法，其特征在于，所述标定板包括棋盘格图像和多个圆孔，所述标定板数据包括所述棋盘格图像上的多个角点的坐标数据和所述圆孔的圆心的坐标数据，所述角点的坐标数据包括所述角点的实际像素坐标和实际三维坐标，所述圆心的坐标数据包括所述圆心的实际像素坐标、实际三维坐标和所述三维设备检测到的预测三维坐标。
3.根据权利要求2所述的方法，其特征在于，所述圆心的实际像素坐标的获取方式为：
根据所述圆心所在的标定板上的多个所述角点的坐标数据计算与所述标定板对应的单硬性矩阵；
根据所述圆心的实际三维坐标和所述单硬性矩阵确定所述圆心的实际像素坐标。
4.根据权利要求2或3所述的方法，其特征在于，所述非线性优化的约束条件为使得优化目标Jsum最小，其中，Jsum＝λ1Jboard+λ2Jlidar，λ1和λ2表示权重系数，Jboard表示所有所述角点的预测像素坐标与实际像素坐标之间的欧式距离之和，Jlidar表示所有所述圆心的预测像素坐标与实际像素坐标之间的欧式距离之和，所述角点的预测像素坐标是根据所述角点的实际三维坐标、所述第二内参和所述第二畸变系数确定的，所述圆心的预测像素坐标是根据所述圆心的预测三维坐标、所述第二内参、所述第二畸变系数以及所述外参确定。
5.根据权利要求4所述的方法，其特征在于，λ1小于λ2。
6.一种联合标定装置，其特征在于，包括：
获取单元，用于基于三维设备和相机获取标定板数据
确定单元，用于根据所述标定板数据确定所述相机的第一内参和第一畸变系数；
优化单元，用于以所述第一内参和所述第一畸变系数为优化初值，根据所述标定板数据进行非线性优化，得到所述相机的第二内参和第二畸变系数，以及所述三维设备和所述相机之间的外参。
7.根据权利要求6所述的联合标定装置，其特征在于，所述标定板包括棋盘格图像和多个圆孔，所述标定板数据包括所述棋盘格图像上的多个角点的坐标数据和所述圆孔的圆心的坐标数据，所述角点的坐标数据包括所述角点的实际像素坐标和实际三维坐标，所述圆心的坐标数据包括所述圆心的实际像素坐标、实际三维坐标和所述三维设备检测到的预测三维坐标。
8.根据权利要求7所述的联合标定装置，其特征在于，所述获取单元获取所述圆心的实际像素坐标的方式为：
根据所述圆心所在的标定板上的多个所述角点的坐标数据计算与所述标定板对应的单硬性矩阵；
根据所述圆心的实际三维坐标和所述单硬性矩阵确定所述圆心的实际像素坐标。
9.一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至5任一项所述的一种相机和三维设备的联合标定方法的步骤。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至5任一项所述的一种相机和三维设备的联合标定方法的步骤。
CN202210211891.XA 2022-03-04 2022-03-04 相机和三维设备的联合标定方法、装置及存储介质 Pending CN114693802A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210211891.XA CN114693802A (zh) 2022-03-04 2022-03-04 相机和三维设备的联合标定方法、装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210211891.XA CN114693802A (zh) 2022-03-04 2022-03-04 相机和三维设备的联合标定方法、装置及存储介质

Publications (1)

Publication Number Publication Date
CN114693802A true CN114693802A (zh) 2022-07-01

Family

ID=82137860

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210211891.XA Pending CN114693802A (zh) 2022-03-04 2022-03-04 相机和三维设备的联合标定方法、装置及存储介质

Country Status (1)

Country Link
CN (1) CN114693802A (zh)

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
GUOHANG YAN 等: "Joint Camera Intrinsic and LiDAR-Camera Extrinsic Calibration", pages 1 - 7, Retrieved from the Internet <URL:arXiv:2202.13708（https://arxiv.org/abs/2202.13708）> *

Similar Documents

Publication Publication Date Title
CN109118545B (zh) 基于旋转轴和双目摄像头的三维成像系统标定方法及系统
CN111627072B (zh) 一种对多传感器进行标定的方法、装置和存储介质
CN111383285B (zh) 一种基于毫米波雷达与摄像机传感器融合标定方法及系统
CN112686950B (zh) 位姿估计方法、装置、终端设备及计算机可读存储介质
CN111862180A (zh) 一种相机组位姿获取方法、装置、存储介质及电子设备
CN112927306B (zh) 拍摄装置的标定方法、装置及终端设备
Yan et al. Joint camera intrinsic and lidar-camera extrinsic calibration
CN113034612A (zh) 一种标定装置、方法及深度相机
CN116433737A (zh) 一种激光雷达点云与图像配准的方法、装置及智能终端
CN111383264B (zh) 一种定位方法、装置、终端及计算机存储介质
CN112967347A (zh) 位姿标定方法、装置、机器人及计算机可读存储介质
CN111336938A (zh) 一种机器人及其物体距离检测方法和装置
CN114693802A (zh) 相机和三维设备的联合标定方法、装置及存储介质
CN115018922A (zh) 畸变参数标定方法、电子设备和计算机可读存储介质
CN113763481B (zh) 一种移动场景中多相机视觉三维地图构建与自标定方法
CN111311690B (zh) 一种深度相机的标定方法、装置、终端及计算机存储介质
CN114966578A (zh) 基于拍摄设备的雷达外参标定方法、装置和计算机设备
CN112927299B (zh) 标定方法、装置及电子设备
CN114415129A (zh) 基于多项式模型的视觉与毫米波雷达联合标定方法及装置
CN110232715B (zh) 一种多深度相机自校准的方法、装置及系统
CN111145268B (zh) 一种视频注册方法及装置
CN114359400A (zh) 一种外参标定方法、装置、计算机可读存储介质及机器人
CN107741220B (zh) 影像处理方法、装置及电子设备
CN117406185B (zh) 雷达与相机间的外参标定方法、装置、设备及存储介质
CN111583317B (zh) 图像对齐方法、装置及终端设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination