CN114387347A - 确定外参标定的方法、装置、电子设备及介质 - Google Patents

确定外参标定的方法、装置、电子设备及介质 Download PDF

Info

Publication number
CN114387347A
CN114387347A CN202111248971.4A CN202111248971A CN114387347A CN 114387347 A CN114387347 A CN 114387347A CN 202111248971 A CN202111248971 A CN 202111248971A CN 114387347 A CN114387347 A CN 114387347A
Authority
CN
China
Prior art keywords
plate
edge
calibration
point cloud
calibration plate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111248971.4A
Other languages
English (en)
Other versions
CN114387347B (zh
Inventor
林欢
黄广宁
葛强
陈静
齐海兵
任鹏
靳展
张峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Smart Video Security Innovation Center Co Ltd
Original Assignee
Zhejiang Smart Video Security Innovation Center Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Smart Video Security Innovation Center Co Ltd filed Critical Zhejiang Smart Video Security Innovation Center Co Ltd
Priority to CN202111248971.4A priority Critical patent/CN114387347B/zh
Publication of CN114387347A publication Critical patent/CN114387347A/zh
Application granted granted Critical
Publication of CN114387347B publication Critical patent/CN114387347B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K19/00—Record carriers for use with machines and with at least a part designed to carry digital markings
    • G06K19/06—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code
    • G06K19/06009—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code with optically detectable marking
    • G06K19/06037—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code with optically detectable marking multi-dimensional coding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G06T2207/30208—Marker matrix

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本申请公开了一种确定外参标定的方法、装置、电子设备及介质。通过应用本申请的技术方案，可以实现利用可见光相机通过识别带有Aruco码的标定板来获取可见光相机的空间姿态，以及通过激光雷达扫描标定板的3D点云数据来得到激光雷达的空间姿态，进而可以基于激光雷达和可见光相机各自的空间姿态信息以及标定板每个板边长度对应的权重系数，计算得到激光雷达和可见光相机之间的外参信息。从而可以避免相关技术中存在的预估激光雷达和可见光相机之间的外参信息精度不高的弊端。

Description

确定外参标定的方法、装置、电子设备及介质
技术领域
本申请中涉及数据通信技术，尤其是一种确定外参标定的方法、装置、电 子设备及介质。
背景技术
相关技术中，激光雷达可以获取场景的3D结构，但是数据量较小；可见光 相机可以获取场景的高分辨率数据，但是缺乏场景的深度信息。
随着多维感知技术的发展，多线激光雷达和可见光相机之间的融合在工业 视觉和机器人领域应用的越来越广泛。但是目前多线激光雷达和可见光相机的 外参标定方法大都存在精度不足的问题，这也导致用户浏览体验不佳。
发明内容
本申请实施例提供一种确定外参标定的方法、装置、电子设备及介质，其 中，根据本申请实施例的一个方面，提供的一种确定外参标定的方法，其中：
在目标场景下获取可见光相机拍摄标定板的场景图像，以及激光雷达扫描 所述标定板的场景激光点云，所述标定板为包含有Aruco码的标定板；
根据所述场景图像，确定所述可见光相机在所述目标场景下的第一空间姿 态信息；以及，根据所述场景激光点云，确定所述激光雷达在所述目标场景下 的第二空间姿态信息；
获取所述标定板对应的各个板边长度，并根据各所述板边长度确定与其长 度相匹配的板边权重系数；
基于所述第一空间姿态信息、所述第二空间姿态信息以及所述板边权重系 数，确定所述可见光相机与所述激光雷达之间的外参信息。
可选地，在基于本申请上述方法的另一个实施例中，所述根据所述场景图 像，确定所述可见光相机在所述目标场景下的第一空间姿态信息，包括：
通过二维码识别算法，得到所述场景图像中包含的Aruco码的空间姿态信 息；
利用所述标定板的尺寸参数、特征参数以及所述Aruco码的空间姿态信息， 计算所述标定板的顶点坐标；
根据所述标定板的顶点坐标，得到所述标定板的第一空间姿态信息。
可选地，在基于本申请上述方法的另一个实施例中，所述根据所述标定板 的顶点坐标，得到所述标定板的第一空间姿态信息，包括：
根据所述标定板的顶点坐标，分别计算所述标定板的4个板边在所述可见 光相机坐标系下的空间直线方程；
将所述4个板边对应的空间直线方程作为所述标定板的第一空间姿态信息。
可选地，在基于本申请上述方法的另一个实施例中，所述根据所述场景激 光点云，确定所述激光雷达在所述目标场景下的第二空间姿态信息，包括：
在所述场景激光点云中采集得到所述标定板对应的第一标定板点云；
使用RANSAC算法拟合所述第一标定板点云，得到所述标定板对应的拟合平 面；
将所述第一标定板点云中的各个点分别投射到所述拟合平面中，得到第二 标定板点云；
根据所述第二标定板点云，得到所述第二空间姿态信息。
可选地，在基于本申请上述方法的另一个实施例中，所述根据所述第二标 定板点云，得到所述第二空间姿态信息，包括：
提取所述第二标定板点云中包含的所有边缘点；
根据所述标定板形状，将所述边缘点划分为第一数量的边缘点云集合。
可选地，在基于本申请上述方法的另一个实施例中，所述基于所述第一空 间姿态信息以及所述第二空间姿态信息，确定所述可见光相机与所述激光雷达 之间的外参信息，包括：
通过所述所述4个板边对应的空间直线方程以及所述第一数量的边缘点云 集合，确定所述可见光相机与所述激光雷达之间的外参信息。
可选地，在基于本申请上述方法的另一个实施例中，所述获取所述标定板 对应的各个板边长度，并根据各所述板边长度确定与其长度相匹配的板边权重 系数，包括：
获取所述标定板对应的各个板边长度；
若确定所述各板边长度不相同，按照各板边的长短设置与其相匹配的板边 权重系数；或，
若确定所述各板边长度均相同，获取各个板边对应的边缘点云集合，并按 照各板边对应的边缘点云数量设置与其相匹配的板边权重系数。
可选地，在基于本申请上述方法的另一个实施例中，通过如下公式确定所 述可见光相机与所述激光雷达之间的外参信息，包括：
Figure BDA0003321794490000031
Figure BDA0003321794490000032
其中，其中Dis用于计算边缘点云到对应板边直线的欧式距离，Ratioi代 表第i个板边的板边权重系数，lengthi代表第i个板边的实际长度，P_edge_i 代表第i个边缘点云集合，Lengthk为所有板边长度之和，Width为所述标定板 的宽度。
其中，根据本申请实施例的又一个方面，提供的一种确定外参标定的装置， 其中：
第一生成模块，被配置为在目标场景下获取可见光相机拍摄标定板的场景 图像，以及激光雷达扫描所述标定板的场景激光点云，所述标定板为包含有 Aruco码的标定板；
第一确定模块，被配置为根据所述场景图像，确定所述可见光相机在所述 目标场景下的第一空间姿态信息；以及，根据所述场景激光点云，确定所述激 光雷达在所述目标场景下的第二空间姿态信息；
第二确定模块，被配置为获取所述标定板对应的各个板边长度，并根据各 所述板边长度确定与其长度相匹配的板边权重系数；
第二生成模块，被配置为基于所述第一空间姿态信息、所述第二空间姿态 信息以及所述板边权重系数，确定所述可见光相机与所述激光雷达之间的外参 信息。
根据本申请实施例的又一个方面，提供的一种电子设备，包括：
存储器，用于存储可执行指令；以及
显示器，用于与所述存储器显示以执行所述可执行指令从而完成上述任一 所述确定外参标定的方法的操作。
根据本申请实施例的还一个方面，提供的一种计算机可读存储介质，用于 存储计算机可读取的指令，所述指令被执行时执行上述任一所述确定外参标定 的方法的操作。
本申请中，可以在目标场景下获取可见光相机拍摄标定板的场景图像，以 及激光雷达扫描标定板的场景激光点云，标定板为包含有Aruco码的标定板； 根据场景图像，确定可见光相机在目标场景下的第一空间姿态信息；以及，根 据场景激光点云，确定激光雷达在目标场景下的第二空间姿态信息；获取标定 板对应的各个板边长度，并根据各板边长度确定与其长度相匹配的板边权重系 数；基于第一空间姿态信息、第二空间姿态信息以及板边权重系数，确定可见 光相机与激光雷达之间的外参信息。通过应用本申请的技术方案，可以实现利 用可见光相机通过识别带有Aruco码的标定板来获取可见光相机的空间姿态，以及通过激光雷达扫描标定板的3D点云数据来得到激光雷达的空间姿态，进而 可以基于激光雷达和可见光相机各自的空间姿态信息以及标定板每个板边长度 对应的权重系数，计算得到激光雷达和可见光相机之间的外参信息。从而可以 避免相关技术中存在的预估激光雷达和可见光相机之间的外参信息精度不高的 弊端。
下面通过附图和实施例，对本申请的技术方案做进一步的详细描述。
附图说明
构成说明书的一部分的附图描述了本申请的实施例，并且连同描述一起用 于解释本申请的原理。
参照附图，根据下面的详细描述，可以更加清楚地理解本申请，其中：
图1为本申请提出的一种确定外参标定的方法示意图；
图2为本申请提出的可见光相机与激光雷达构成的目标场景示意图；
图3为本申请提出的第一标定板点云的示意图；
图4为本申请提出的第二标定板点云的示意图；
图5为本申请提出的一种确定外参标定的电子装置的结构示意图；
图6为本申请提出的一种确定外参标定的电子设备结构示意图。
具体实施方式
现在将参照附图来详细描述本申请的各种示例性实施例。应注意到：除非 另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达 式和数值不限制本申请的范围。
同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是 按照实际的比例关系绘制的。
以下对至少一个示例性实施例的描述实际上仅仅是说明性的，不作为对本 申请及其应用或使用的任何限制。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论， 但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某 一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
另外，本申请各个实施例之间的技术方案可以相互结合，但是必须是以本 领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实 现时应当认为这种技术方案的结合不存在，也不在本申请要求的保护范围之内。
需要说明的是，本申请实施例中所有方向性指示(诸如上、下、左、右、 前、后……)仅用于解释在某一特定姿态(如附图所示)下各部件之间的相对 位置关系、运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应 地随之改变。
下面结合图1-图4来描述根据本申请示例性实施方式的用于进行确定外参 标定的方法。需要注意的是，下述应用场景仅是为了便于理解本申请的精神和 原理而示出，本申请的实施方式在此方面不受任何限制。相反，本申请的实施 方式可以应用于适用的任何场景。
本申请还提出一种确定外参标定的方法、装置、电子设备及介质。
图1示意性地示出了根据本申请实施方式的一种确定外参标定的方法的流 程示意图。如图1所示，该方法包括：
S101，在目标场景下获取可见光相机拍摄标定板的场景图像，以及激光雷 达扫描标定板的场景激光点云，标定板为包含有Aruco码的标定板。
S102，根据场景图像，确定可见光相机在目标场景下的第一空间姿态信息。， 根据场景激光点云，确定激光雷达在目标场景下的第二空间姿态信息。
S103，获取标定板对应的各个板边长度，并根据各板边长度确定与其长度 相匹配的板边权重系数
S104，基于第一空间姿态信息、第二空间姿态信息以及板边权重系数，确 定可见光相机与激光雷达之间的外参信息。
现有技术中，激光雷达可以获取场景的3D结构，但是数据量较小；可见光 相机可以获取场景的高分辨率数据，但是缺乏场景的深度信息。随着多维感知 技术的发展，多线激光雷达和可见光相机之间的融合在工业视觉和机器人领域 应用的越来越广泛。
进一步的，目前多线激光雷达和可见光相机的外参标定方法大部分是用激 光雷达和相机拍摄场景中两个或更多带有Aruco码的标定板。例如，在激光雷 达扫描的点云中提取的两个标定板的角点坐标(一共8个，该角点坐标在激光 雷达坐标系下)，然后通过相机拍摄的标定板上的Aruco码信息提取两个标定 板的角点坐标(一共8个，该角点坐标在见可见光相机坐标系下)。知道了标 定板的角点坐标分别在对应两个坐标系下的坐标值，即可计算出两个坐标系之 间刚体变换关系，从而估计出激光雷达和可见光相机之间的外参。
然而，现有技术中的方法利用二维码识别技术结合标定板的平面特征和尺 寸信息来计算相机坐标系下的标定板角点坐标来计算激光雷达和可见光相机之 间的外参T，外参T的精度取决于标定板角点坐标的计算精度。但是由于分辨率 有限，因此激光雷达扫描得到的标定板点云的边缘特征与真实的边缘有一定出 路，而且扫描的点云由于误差的存在，无法保证一个标定板点云上拟合出的4 个直线方程处于在同一平面上，进而影响直线相交获得的角点坐标的准确性从 而影响整个外参标定的精度。
为了解决上述存在的问题，本申请首先需要获取一个带有Aruco码的标定 板，并进一步的得到标定板的尺寸(例如长宽高等等)以及Aruco码中心点和 标定板中心点的位置关系。
需要说明的是，本申请中的标定板由于借助了Aruco二维码可以只采集一 次即获得准确的边缘直线在相机坐标系下的3D直线方程。可以理解的，该Aruco 二维码中预先存储了标定板对应的各个边缘点和边缘直线的约束关系。这样无 需如同现有技术中存在的，一个标定板只有4个角点，如果通过构造代价函数 方法计算最终结果角点点数决定了最后标定的准确性，受限相机的视野约束一 般最多场景中放置2-3个标定板，但这样也无法保证角点的数量，所以需要采 集多组数据才能得到足够的角点数。
另外，本申请在针对激光雷达扫面的标定板点云点云做了平面拟合以及平 面投影，进一步保证了标定板点云边缘点提取的准确性，所以可以保证一次即 可完成标定。
一种方式中，如图2所示，为获取可见光相机拍摄标定板的场景图像，以 及激光雷达扫描标定板的场景激光点云的目标场景。
一种方式中，对于得到可见光相机在目标场景下的第一空间姿态信息来说， 本申请实施例需要利用二维码识别算法，从场景图像中识别出Aruco码的3D姿 态(二维码中心点与相机坐标系原点的平移量和旋转量)，结合标定板的平面 特征、实际尺寸以及二维码中心点在标定板的空间位置信息，即可获取标定板4 个角点在相机坐标系下的坐标，进而可以计算出4条边在相机坐标系下的空间 直线方程L1、L2、L3和L4，表示如下：
Figure BDA0003321794490000081
其中x,y,z是直线方程的变量，且xi、yi、zi以及mi、ni、pi为直线 方程的系数。
一种方式中，对于确定激光雷达在目标场景下的第二空间姿态信息来说， 在场景扫描的激光点云中提取并分割出标定板点云P1(如图3所示，即第一标 定板点云)，并使用RANSAC算法拟合标定板点云P1的平面方程，得到对应的 拟合平面，再将原始标定板点云P1(即第一标定板点云)中所有点投影到该拟 合平面上得到平面化标定板点云P2(如图4所示，即第二标定板点云)。
进一步的，本申请实施例中还可以提取平面化标定板点云P2(即第二标定 板点云)的所有边缘点，并根据标定板形状将边缘点进一步划分为点集P_edge1、 P_edge_2、P_edge_3和P_edge_4(即4个边缘点云集合)。其中需要说明的是， 边缘点集P_edge_1、P_edge_2、P_edge_3和P_edge_4分别与相机坐标系下的 空间直线方程L1、L2、L3、L4一一对应。
更进一步的，当本申请获取到相机坐标系下的标定板4条边的空间直线方 程(即L1、L2、L3、L4)以及激光雷达坐标系下的标定板4条边的边缘点云集 合(即点集P_edge1、P_edge_2、P_edge_3和P_edge_4)之后，即可以通过如 下最小二乘公式，计算出激光雷达和可见光相机之间外参信息。
Figure BDA0003321794490000091
Figure BDA0003321794490000092
其中，其中Dis用于计算边缘点云到对应板边直线的欧式距离，Ratioi代 表第i个板边的板边权重系数，lengthi代表第i个板边的实际长度，P_edge_i 代表第i个边缘点云集合，Lengthk为所有板边长度之和，Width为所述标定板 的宽度。
需要说明的是，由于标定板不一定是标准的正方形，每条边的长度可能不 同，因此本申请实施例中可以选择短边所占板边权重系数相对于长边所占权重 更大，从而提高最小二乘解算结果的准确性。
具体的，由于标定板长度和宽度相差较大，那么激光雷达点云中得到标定 板各边缘的边缘点的数量会相差较大，两条长边的3D边缘点数会远大于两条短 边的3D边缘点数。而如果在代价函数上每条边的边缘点计算时的权重都是一样 的话，那么最后优化得到的外标定结果作用于激光3D边缘点集(4条边上的所 有边缘点)后，即将激光3D边缘点集变换到相机坐标系中后，其长边上的激光 3D边缘点集与对应直线重合效果更优于短边。可以理解的，长边与短边3D边缘 点数相差越大，这种现象越明显。
可选的一种方式中，当标定板长和宽的长度相同时，由于在采集数据时标 定板会与激光雷达呈现一定角度，这样同样会造成不同边上得到得3D边缘点数 的不同，因此本申请也可以选择其中边缘点数较多的板边所对应的权重系数较 大，这样也会提高最小二乘解算结果的准确性。
可选的，本申请还可以多次重复上述步骤，从而在多个得到的候选变换参 数中选取其中的平均值来获得最终激光雷达和可见光相机之间的外参。
本申请中，可以在目标场景下获取可见光相机拍摄标定板的场景图像，以 及激光雷达扫描标定板的场景激光点云，标定板为包含有Aruco码的标定板； 根据场景图像，确定可见光相机在目标场景下的第一空间姿态信息；以及，根 据场景激光点云，确定激光雷达在目标场景下的第二空间姿态信息；获取标定 板对应的各个板边长度，并根据各板边长度确定与其长度相匹配的板边权重系 数；基于第一空间姿态信息、第二空间姿态信息以及板边权重系数，确定可见 光相机与激光雷达之间的外参信息。通过应用本申请的技术方案，可以实现利 用可见光相机通过识别带有Aruco码的标定板来获取可见光相机的空间姿态，以及通过激光雷达扫描标定板的3D点云数据来得到激光雷达的空间姿态，进而 可以基于激光雷达和可见光相机各自的空间姿态信息以及标定板每个板边长度 对应的权重系数，计算得到激光雷达和可见光相机之间的外参信息。从而可以 避免相关技术中存在的预估激光雷达和可见光相机之间的外参信息精度不高的 弊端。
可选地，在基于本申请上述方法的另一个实施例中，所述根据所述场景图 像，确定所述可见光相机在所述目标场景下的第一空间姿态信息，包括：
通过二维码识别算法，得到所述场景图像中包含的Aruco码的空间姿态信 息；
利用所述标定板的尺寸参数、特征参数以及所述Aruco码的空间姿态信息， 计算所述标定板的顶点坐标；
根据所述标定板的顶点坐标，得到所述标定板的第一空间姿态信息。
可选地，在基于本申请上述方法的另一个实施例中，所述根据所述标定板 的顶点坐标，得到所述标定板的第一空间姿态信息，包括：
根据所述标定板的顶点坐标，分别计算所述标定板的4个板边在所述可见 光相机坐标系下的空间直线方程；
将所述4个板边对应的空间直线方程作为所述标定板的第一空间姿态信息。
可选地，在基于本申请上述方法的另一个实施例中，所述根据所述场景激 光点云，确定所述激光雷达在所述目标场景下的第二空间姿态信息，包括：
在所述场景激光点云中采集得到所述标定板对应的第一标定板点云；
使用RANSAC算法拟合所述第一标定板点云，得到所述标定板对应的拟合平 面；
将所述第一标定板点云中的各个点分别投射到所述拟合平面中，得到第二 标定板点云；
根据所述第二标定板点云，得到所述第二空间姿态信息。
可选地，在基于本申请上述方法的另一个实施例中，所述根据所述第二标 定板点云，得到所述第二空间姿态信息，包括：
提取所述第二标定板点云中包含的所有边缘点；
根据所述标定板形状，将所述边缘点划分为第一数量的边缘点云集合。
可选地，在基于本申请上述方法的另一个实施例中，所述基于所述第一空 间姿态信息以及所述第二空间姿态信息，确定所述可见光相机与所述激光雷达 之间的外参信息，包括：
通过所述所述4个板边对应的空间直线方程以及所述第一数量的边缘点云 集合，确定所述可见光相机与所述激光雷达之间的外参信息。
可选地，在基于本申请上述方法的另一个实施例中，所述获取所述标定板 对应的各个板边长度，并根据各所述板边长度确定与其长度相匹配的板边权重 系数，包括：
获取所述标定板对应的各个板边长度；
若确定所述各板边长度不相同，按照各板边的长短设置与其相匹配的板边 权重系数；或，
若确定所述各板边长度均相同，获取各个板边对应的边缘点云集合，并按 照各板边对应的边缘点云数量设置与其相匹配的板边权重系数。
可选地，在基于本申请上述方法的另一个实施例中，通过如下公式确定所 述可见光相机与所述激光雷达之间的外参信息，包括：
Figure BDA0003321794490000121
Figure BDA0003321794490000122
其中，其中Dis用于计算边缘点云到对应板边直线的欧式距离，Ratioi代 表第i个板边的板边权重系数，lengthi代表第i个板边的实际长度，P_edge_i 代表第i个边缘点云集合，Lengthk为所有板边长度之和，Width为所述标定板 的宽度。
在本申请的另外一种实施方式中，如图5所示，本申请还提供一种确定外 参标定的装置，其中包括：
第一生成模块，被配置为在目标场景下获取可见光相机拍摄标定板的场景 图像，以及激光雷达扫描所述标定板的场景激光点云，所述标定板为包含有 Aruco码的标定板；
第一确定模块，被配置为根据所述场景图像，确定所述可见光相机在所述 目标场景下的第一空间姿态信息；以及，根据所述场景激光点云，确定所述激 光雷达在所述目标场景下的第二空间姿态信息；
第二确定模块，被配置为获取所述标定板对应的各个板边长度，并根据各 所述板边长度确定与其长度相匹配的板边权重系数；
第二生成模块，被配置为基于所述第一空间姿态信息、所述第二空间姿态 信息以及所述板边权重系数，确定所述可见光相机与所述激光雷达之间的外参 信息。
本申请中，可以在目标场景下获取可见光相机拍摄标定板的场景图像，以 及激光雷达扫描标定板的场景激光点云，标定板为包含有Aruco码的标定板； 根据场景图像，确定可见光相机在目标场景下的第一空间姿态信息；根据场景 激光点云，确定激光雷达在目标场景下的第二空间姿态信息；基于第一空间姿 态信息以及第二空间姿态信息，确定可见光相机与激光雷达之间的外参信息。 通过应用本申请的技术方案，可以实现利用可见光相机通过识别带有Aruco码 的标定板来获取可见光相机的空间姿态，以及通过激光雷达扫描标定板的3D点 云数据来得到激光雷达的空间姿态，进而可以基于激光雷达和可见光相机各自 的空间姿态信息，计算得到激光雷达和可见光相机之间的外参信息。从而可以 避免相关技术中存在的预估激光雷达和可见光相机之间的外参信息精度不高的 弊端。
在本申请的另外一种实施方式中，第一生成模块201，还包括：
第一生成模块201，被配置为通过二维码识别算法，得到所述场景图像中包 含的Aruco码的空间姿态信息；
第一生成模块201，被配置为利用所述标定板的尺寸参数、特征参数以及所 述Aruco码的空间姿态信息，计算所述标定板的顶点坐标；
第一生成模块201，被配置为根据所述标定板的顶点坐标，得到所述标定板 的第一空间姿态信息。
在本申请的另外一种实施方式中，第一生成模块201，还包括：
第一生成模块201，被配置为根据所述标定板的顶点坐标，分别计算所述标 定板的4个板边在所述可见光相机坐标系下的空间直线方程；
第一生成模块201，被配置为将所述4个板边对应的空间直线方程作为所述 标定板的第一空间姿态信息。
在本申请的另外一种实施方式中，第一生成模块201，还包括：
第一生成模块201，被配置为在所述场景激光点云中采集得到所述标定板对 应的第一标定板点云；
第一生成模块201，被配置为使用RANSAC算法拟合所述第一标定板点云， 得到所述标定板对应的拟合平面；
第一生成模块201，被配置为将所述第一标定板点云中的各个点分别投射到 所述拟合平面中，得到第二标定板点云；
第一生成模块201，被配置为根据所述第二标定板点云，得到所述第二空间 姿态信息。
在本申请的另外一种实施方式中，第一生成模块201，还包括：
第一生成模块201，被配置为提取所述第二标定板点云中包含的所有边缘 点；
第一生成模块201，被配置为根据所述标定板形状，将所述边缘点划分为第 一数量的边缘点云集合。
在本申请的另外一种实施方式中，第一生成模块201，还包括：
第一生成模块201，被配置为通过所述所述4个板边对应的空间直线方程以 及所述第一数量的边缘点云集合，确定所述可见光相机与所述激光雷达之间的 外参信息。
在本申请的另外一种实施方式中，第一生成模块201，还包括：
第一生成模块201，被配置为获取所述标定板对应的各个板边长度；
第一生成模块201，被配置为若确定所述各板边长度不相同，按照各板边的 长短设置与其相匹配的板边权重系数；或，
第一生成模块201，被配置为若确定所述各板边长度均相同，获取各个板边 对应的边缘点云集合，并按照各板边对应的边缘点云数量设置与其相匹配的板 边权重系数。
在本申请的另外一种实施方式中，还包括：通过如下公式确定所述可见光 相机与所述激光雷达之间的外参信息，包括：
Figure BDA0003321794490000141
Figure BDA0003321794490000142
其中，其中Dis用于计算边缘点云到对应板边直线的欧式距离，Ratioi代 表第i个板边的板边权重系数，lengthi代表第i个板边的实际长度，P_edge_i 代表第i个边缘点云集合，Lengthk为所有板边长度之和，Width为所述标定板 的宽度。
图6是根据一示例性实施例示出的一种电子设备的逻辑结构框图。例如， 电子设备300可以是移动电话，计算机，数字广播终端，消息收发设备，游戏 控制台，平板设备，医疗设备，健身设备，个人数字助理等。
在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介 质，例如包括指令的存储器，上述指令可由电子设备处理器执行以完成上述确 定外参标定的方法，该方法包括：在目标场景下获取可见光相机拍摄标定板的 场景图像，以及激光雷达扫描所述标定板的场景激光点云，所述标定板为包含 有Aruco码的标定板；根据所述场景图像，确定所述可见光相机在所述目标场 景下的第一空间姿态信息；以及，根据所述场景激光点云，确定所述激光雷达 在所述目标场景下的第二空间姿态信息；获取所述标定板对应的各个板边长度， 并根据各所述板边长度确定与其长度相匹配的板边权重系数；基于所述第一空 间姿态信息、所述第二空间姿态信息以及所述板边权重系数，确定所述可见光 相机与所述激光雷达之间的外参信息。可选地，上述指令还可以由电子设备的 处理器执行以完成上述示例性实施例中所涉及的其他步骤。例如，非临时性计 算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘 和光数据存储设备等。
在示例性实施例中，还提供了一种应用程序/计算机程序产品，包括一条或 多条指令，该一条或多条指令可以由电子设备的处理器执行，以完成上述确定 外参标定的方法，该方法包括：在目标场景下获取可见光相机拍摄标定板的场 景图像，以及激光雷达扫描所述标定板的场景激光点云，所述标定板为包含有 Aruco码的标定板；根据所述场景图像，确定所述可见光相机在所述目标场景下 的第一空间姿态信息；以及，根据所述场景激光点云，确定所述激光雷达在所 述目标场景下的第二空间姿态信息；获取所述标定板对应的各个板边长度，并 根据各所述板边长度确定与其长度相匹配的板边权重系数；基于所述第一空间 姿态信息、所述第二空间姿态信息以及所述板边权重系数，确定所述可见光相机与所述激光雷达之间的外参信息。可选地，上述指令还可以由电子设备的处 理器执行以完成上述示例性实施例中所涉及的其他步骤。
图6为电子设备300的示例图。本领域技术人员可以理解，示意图6仅仅 是电子设备300的示例，并不构成对电子设备300的限定，可以包括比图示更 多或更少的部件，或者组合某些部件，或者不同的部件，例如电子设备300还 可以包括输入输出设备、网络接入设备、总线等。
所称处理器301可以是中央处理单元(Central Processing Unit，CPU)， 还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、 专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编 程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、 分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或 者该处理器301也可以是任何常规的处理器等，处理器301是电子设备300的 控制中心，利用各种接口和线路连接整个电子设备300的各个部分。
存储器302可用于存储计算机可读指令，处理器301通过运行或执行存储 在存储器302内的计算机可读指令或模块，以及调用存储在存储器302内的数 据，实现电子设备300的各种功能。存储器302可主要包括存储程序区和存储 数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比 如声音播放功能、图像播放功能等)等；存储数据区可存储根据电子设备300 的使用所创建的数据等。此外，存储器302可以包括硬盘、内存、插接式硬盘， 智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital，SD) 卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、只读存储器 (Read-OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM) 或其他非易失性/易失性存储器件。
电子设备300集成的模块如果以软件功能模块的形式实现并作为独立的产 品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解， 本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机可读指令 来指令相关的硬件来完成，的计算机可读指令可存储于一计算机可读存储介质 中，该计算机可读指令在被处理器执行时，可实现上述各个方法实施例的步骤。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本申 请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化， 这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开 的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性 的，本申请的真正范围和精神由下面的权利要求指出。
应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结 构，并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的 权利要求来限制。

Claims (11)

1.一种确定外参标定的方法，其特征在于，包括：
在目标场景下获取可见光相机拍摄标定板的场景图像，以及激光雷达扫描所述标定板的场景激光点云，所述标定板为包含有Aruco码的标定板；
根据所述场景图像，确定所述可见光相机在所述目标场景下的第一空间姿态信息；以及，根据所述场景激光点云，确定所述激光雷达在所述目标场景下的第二空间姿态信息；
获取所述标定板对应的各个板边长度，并根据各所述板边长度确定与其长度相匹配的板边权重系数；
基于所述第一空间姿态信息、所述第二空间姿态信息以及所述板边权重系数，确定所述可见光相机与所述激光雷达之间的外参信息。
2.如权利要求1所述的方法，其特征在于，所述根据所述场景图像，确定所述可见光相机在所述目标场景下的第一空间姿态信息，包括：
通过二维码识别算法，得到所述场景图像中包含的Aruco码的空间姿态信息；
利用所述标定板的尺寸参数、特征参数以及所述Aruco码的空间姿态信息，计算所述标定板的顶点坐标；
根据所述标定板的顶点坐标，得到所述标定板的第一空间姿态信息。
3.如权利要求2所述的方法，其特征在于，所述根据所述标定板的顶点坐标，得到所述标定板的第一空间姿态信息，包括：
根据所述标定板的顶点坐标，分别计算所述标定板的4个板边在所述可见光相机坐标系下的空间直线方程；
将所述4个板边对应的空间直线方程作为所述标定板的第一空间姿态信息。
4.如权利要求1或3所述的方法，其特征在于，所述根据所述场景激光点云，确定所述激光雷达在所述目标场景下的第二空间姿态信息，包括：
在所述场景激光点云中采集得到所述标定板对应的第一标定板点云；
使用RANSAC算法拟合所述第一标定板点云，得到所述标定板对应的拟合平面；
将所述第一标定板点云中的各个点分别投射到所述拟合平面中，得到第二标定板点云；
根据所述第二标定板点云，得到所述第二空间姿态信息。
5.如权利要求4所述的方法，其特征在于，所述根据所述第二标定板点云，得到所述第二空间姿态信息，包括：
提取所述第二标定板点云中包含的所有边缘点；
根据所述标定板形状，将所述边缘点划分为第一数量的边缘点云集合。
6.如权利要求5所述的方法，其特征在于，所述基于所述第一空间姿态信息以及所述第二空间姿态信息，确定所述可见光相机与所述激光雷达之间的外参信息，包括：
通过所述所述4个板边对应的空间直线方程以及所述第一数量的边缘点云集合，确定所述可见光相机与所述激光雷达之间的外参信息。
7.如权利要求6所述的方法，其特征在于，所述获取所述标定板对应的各个板边长度，并根据各所述板边长度确定与其长度相匹配的板边权重系数，包括：
获取所述标定板对应的各个板边长度；
若确定所述各板边长度不相同，按照各板边的长短设置与其相匹配的板边权重系数；或，
若确定所述各板边长度均相同，获取各个板边对应的边缘点云集合，并按照各板边对应的边缘点云数量设置与其相匹配的板边权重系数。
8.如权利要求6所述的方法，其特征在于，通过如下公式确定所述可见光相机与所述激光雷达之间的外参信息，包括：
Figure FDA0003321794480000031
Figure FDA0003321794480000032
其中，其中Dis用于计算边缘点云到对应板边直线的欧式距离，Ratioi代表第i个板边的板边权重系数，lengthi代表第i个板边的实际长度，P_edge_i代表第i个边缘点云集合，Lengthk为所有板边长度之和，Width为所述标定板的宽度。
9.一种确定外参标定的装置，其特征在于，包括：
第一生成模块，被配置为在目标场景下获取可见光相机拍摄标定板的场景图像，以及激光雷达扫描所述标定板的场景激光点云，所述标定板为包含有Aruco码的标定板；
第一确定模块，被配置为根据所述场景图像，确定所述可见光相机在所述目标场景下的第一空间姿态信息；以及，根据所述场景激光点云，确定所述激光雷达在所述目标场景下的第二空间姿态信息；
第二确定模块，被配置为获取所述标定板对应的各个板边长度，并根据各所述板边长度确定与其长度相匹配的板边权重系数；
第二生成模块，被配置为基于所述第一空间姿态信息、所述第二空间姿态信息以及所述板边权重系数，确定所述可见光相机与所述激光雷达之间的外参信息。
10.一种电子设备，其特征在于，包括：
存储器，用于存储可执行指令；以及，
处理器，用于与所述存储器显示以执行所述可执行指令从而完成权利要求1-8中任一所述确定外参标定的方法的操作。
11.一种计算机可读存储介质，用于存储计算机可读取的指令，其特征在于，所述指令被执行时执行权利要求1-8中任一所述确定外参标定的方法的操作。
CN202111248971.4A 2021-10-26 2021-10-26 确定外参标定的方法、装置、电子设备及介质 Active CN114387347B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111248971.4A CN114387347B (zh) 2021-10-26 2021-10-26 确定外参标定的方法、装置、电子设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111248971.4A CN114387347B (zh) 2021-10-26 2021-10-26 确定外参标定的方法、装置、电子设备及介质

Publications (2)

Publication Number Publication Date
CN114387347A true CN114387347A (zh) 2022-04-22
CN114387347B CN114387347B (zh) 2023-09-19

Family

ID=81196272

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111248971.4A Active CN114387347B (zh) 2021-10-26 2021-10-26 确定外参标定的方法、装置、电子设备及介质

Country Status (1)

Country Link
CN (1) CN114387347B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114689046A (zh) * 2022-05-27 2022-07-01 浙江智慧视频安防创新中心有限公司 一种无人机巡检隧道的方法与系统
CN115932879A (zh) * 2022-12-16 2023-04-07 哈尔滨智兀科技有限公司 一种基于激光点云的矿井机器人姿态快速测量系统
CN115994955A (zh) * 2023-03-23 2023-04-21 深圳佑驾创新科技有限公司 相机外参标定方法、装置和车辆

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110307788A (zh) * 2019-07-12 2019-10-08 清华大学 多深度相机人体参数测量方法及装置
WO2020010945A1 (zh) * 2018-07-11 2020-01-16 Oppo广东移动通信有限公司 图像处理方法和装置、电子设备、计算机可读存储介质
CN111640158A (zh) * 2020-06-11 2020-09-08 武汉斌果科技有限公司 基于对应掩模的端到端的摄像头与激光雷达外参标定方法
CN111652937A (zh) * 2019-03-04 2020-09-11 广州汽车集团股份有限公司 车载相机标定方法和装置
CN111798521A (zh) * 2019-04-09 2020-10-20 Oppo广东移动通信有限公司 标定方法、装置、存储介质及电子设备
CN111965624A (zh) * 2020-08-06 2020-11-20 北京百度网讯科技有限公司 激光雷达与相机的标定方法、装置、设备和可读存储介质
CN112330756A (zh) * 2021-01-04 2021-02-05 中智行科技有限公司 一种相机标定方法、装置、智能车辆和存储介质
CN113256729A (zh) * 2021-03-17 2021-08-13 广西综合交通大数据研究院 激光雷达与相机的外参标定方法、装置、设备及存储介质
CN113483664A (zh) * 2021-07-20 2021-10-08 科派股份有限公司 一种基于线结构光视觉的屏风板自动上料系统及方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020010945A1 (zh) * 2018-07-11 2020-01-16 Oppo广东移动通信有限公司 图像处理方法和装置、电子设备、计算机可读存储介质
CN111652937A (zh) * 2019-03-04 2020-09-11 广州汽车集团股份有限公司 车载相机标定方法和装置
CN111798521A (zh) * 2019-04-09 2020-10-20 Oppo广东移动通信有限公司 标定方法、装置、存储介质及电子设备
CN110307788A (zh) * 2019-07-12 2019-10-08 清华大学 多深度相机人体参数测量方法及装置
CN111640158A (zh) * 2020-06-11 2020-09-08 武汉斌果科技有限公司 基于对应掩模的端到端的摄像头与激光雷达外参标定方法
CN111965624A (zh) * 2020-08-06 2020-11-20 北京百度网讯科技有限公司 激光雷达与相机的标定方法、装置、设备和可读存储介质
CN112330756A (zh) * 2021-01-04 2021-02-05 中智行科技有限公司 一种相机标定方法、装置、智能车辆和存储介质
CN113256729A (zh) * 2021-03-17 2021-08-13 广西综合交通大数据研究院 激光雷达与相机的外参标定方法、装置、设备及存储介质
CN113483664A (zh) * 2021-07-20 2021-10-08 科派股份有限公司 一种基于线结构光视觉的屏风板自动上料系统及方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
JORIS DOMHOF等: "A Joint Extrinsic Calibration Tool for Radar, Camera and Lidar", IEEE TRANSACTIONS ON INTELLIGENT VEHICLES, vol. 6, no. 3, pages 571, XP011874757, DOI: 10.1109/TIV.2021.3065208 *
刘今越;唐旭;贾晓辉;杨冬;李铁军;: "三维激光雷达-相机间外参的高效标定方法", 仪器仪表学报, no. 11, pages 67 - 75 *
彭梦;蔡自兴;: "基于多约束误差函数的2维激光雷达和摄像机标定方法", 机器人, no. 06, pages 24 - 29 *
黄海晖: "基于多传感器融合的球形机器人室内定位关键技术研究", 中国优秀硕士学位论文全文数据库 信息科技辑, pages 140 - 578 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114689046A (zh) * 2022-05-27 2022-07-01 浙江智慧视频安防创新中心有限公司 一种无人机巡检隧道的方法与系统
CN114689046B (zh) * 2022-05-27 2022-10-04 浙江智慧视频安防创新中心有限公司 一种无人机巡检隧道的方法与系统
CN115932879A (zh) * 2022-12-16 2023-04-07 哈尔滨智兀科技有限公司 一种基于激光点云的矿井机器人姿态快速测量系统
CN115932879B (zh) * 2022-12-16 2023-10-10 哈尔滨智兀科技有限公司 一种基于激光点云的矿井机器人姿态快速测量系统
CN115994955A (zh) * 2023-03-23 2023-04-21 深圳佑驾创新科技有限公司 相机外参标定方法、装置和车辆

Also Published As

Publication number Publication date
CN114387347B (zh) 2023-09-19

Similar Documents

Publication Publication Date Title
US10872439B2 (en) Method and device for verification
CN114387347B (zh) 确定外参标定的方法、装置、电子设备及介质
CN107223269B (zh) 三维场景定位方法和装置
CN110568447A (zh) 视觉定位的方法、装置及计算机可读介质
US20120314030A1 (en) Estimation of object properties in 3d world
CN111640180B (zh) 一种三维重建方法、装置及终端设备
CN108629810B (zh) 双目相机的标定方法、装置及终端
CN110956660A (zh) 定位方法、机器人以及计算机存储介质
CN111080662A (zh) 车道线的提取方法、装置及计算机设备
CN113344986B (zh) 点云配准结果的评估方法、装置、设备及存储介质
Olesen et al. Real-time extraction of surface patches with associated uncertainties by means of kinect cameras
CN112819892B (zh) 图像处理方法和装置
CN115439607A (zh) 一种三维重建方法、装置、电子设备及存储介质
CN112348909A (zh) 一种目标定位方法、装置、设备及存储介质
CN110567441A (zh) 基于粒子滤波的定位方法、定位装置、建图及定位的方法
CN113034612A (zh) 一种标定装置、方法及深度相机
CN115439558A (zh) 联合标定方法、装置、电子设备及计算机可读存储介质
CN110322539B (zh) 三维物体的三维模型切割过程显示方法、装置与电子设备
CN113763478A (zh) 无人车相机标定方法、装置、设备、存储介质及系统
CN110853094A (zh) 一种目标位置的阈值确定方法、装置、设备及存储介质
CN110197457B (zh) 图案码位置调整方法、装置及计算机可读存储介质
CN116912417A (zh) 基于人脸三维重建的纹理贴图方法、装置、设备和存储介质
CN111460937A (zh) 脸部特征点的定位方法、装置、终端设备及存储介质
CN114565683B (zh) 一种精度确定方法、装置、设备、介质及产品
CN115100287A (zh) 外参标定方法及机器人

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: 311215 unit 1, building 1, area C, Qianjiang Century Park, ningwei street, Xiaoshan District, Hangzhou City, Zhejiang Province

Applicant after: Zhejiang Visual Intelligence Innovation Center Co.,Ltd.

Address before: 311215 unit 1, building 1, area C, Qianjiang Century Park, ningwei street, Xiaoshan District, Hangzhou City, Zhejiang Province

Applicant before: Zhejiang smart video security Innovation Center Co.,Ltd.

GR01 Patent grant
GR01 Patent grant
EE01 Entry into force of recordation of patent licensing contract
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20220422

Assignee: Institute of Information Technology, Zhejiang Peking University

Assignor: Zhejiang Visual Intelligence Innovation Center Co.,Ltd.

Contract record no.: X2024330000024

Denomination of invention: Method, device, electronic equipment, and medium for determining external calibration parameters

Granted publication date: 20230919

License type: Common License

Record date: 20240401