CN115511977A - 一种基于标定模板的外参标定方法及装置 - Google Patents

一种基于标定模板的外参标定方法及装置 Download PDF

Info

Publication number
CN115511977A
CN115511977A CN202211220341.0A CN202211220341A CN115511977A CN 115511977 A CN115511977 A CN 115511977A CN 202211220341 A CN202211220341 A CN 202211220341A CN 115511977 A CN115511977 A CN 115511977A
Authority
CN
China
Prior art keywords
coordinate system
calibration
point
forklift
coordinates
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211220341.0A
Other languages
English (en)
Inventor
邢彦文
卓钟烁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Greater Bay Area Institute of Integrated Circuit and System
Original Assignee
Guangdong Greater Bay Area Institute of Integrated Circuit and System
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Greater Bay Area Institute of Integrated Circuit and System filed Critical Guangdong Greater Bay Area Institute of Integrated Circuit and System
Priority to CN202211220341.0A priority Critical patent/CN115511977A/zh
Publication of CN115511977A publication Critical patent/CN115511977A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明公开了一种基于标定模板的外参标定方法及装置，包括：采集标定模板的RGB图像和深度图；对所述RGB图像和所述深度图进行对齐，并根据角点提取算法，对所述RGB图像进行内角点提取；在所述深度图上获取所述RGB图像中提取的每个内角点所对应的深度信息，并根据每个内角点及其所对应的深度信息，计算得到每个内角点在摄像机坐标系下的坐标；根据所述标定模板的预设内角线的投影与叉车坐标系原点重合的关系，获取每个内角点在叉车坐标系下的坐标；根据每个内角点在摄像机坐标系下的坐标和在叉车坐标系下的坐标，计算得到摄像机的标定外参。本发明解决现有技术中标定模板标定过程复杂、外参标定的准确性和鲁棒性低的技术问题。

Description

一种基于标定模板的外参标定方法及装置
技术领域
本发明涉及RGBD相机标定技术领域，尤其涉及一种基于标定模板的外参标定方法及装置。
背景技术
同步定位与建图(SLAM，Simultaneous Localization and Mapping)技术的快速发展和工程化落地，使得无人驾驶技术在无人仓库、智慧工厂以及智能物流领域得到了广泛的应用，逐步实现了智能机器人取代人工进行劳动和作业。智能无人叉车作为智能机器人的一种具体形态，在工厂车间自动搬运转移货运的过程中，发挥着巨大的作用。
现有的叉车采用RGBD相机外参数标定方法进行标定，其需要三个互相垂直黑白相间的棋盘格模板，将RGBD相机采集数据并提出三个标定模板的平面，计算棋盘格的角点特征点的点集与三个平面的距离的和，通过位姿的渐变推算得到RGBD相机的外参数，但采用的标定模板数量较多，且标定模板的摆放要求需要两两垂直，要求较高，标定环境相对难以满足，同时还有检测标定板坐标系下的RGB图像上的棋盘角点，并计算在深度相机坐标系下的角点三维坐标，从而计算相机坐标系和标定板坐标系的转换关系，但仅计算出深度相机坐标系到标定板坐标系的变换关系，从标定板到机器人之间的变换关系如何计算以及如何减少标定误差没有涉及，且计算复杂度较高，无法标定结果准确性和稳定性。
因此，目前亟需一种能够简化标定模板标定过程、提高准确性和鲁棒性的外参标定方法。
发明内容
本发明提供了一种基于标定模板的外参标定方法及装置，以解决现有技术中标定模板标定过程复杂、外参标定的准确性和鲁棒性低的技术问题。
为了解决上述技术问题，本发明实施例提供了一种基于标定模板的外参标定方法，包括：
采集标定模板的RGB图像和深度图；其中，所述标定模板的预设内角线的投影与叉车坐标系原点重合；
对所述RGB图像和所述深度图进行对齐，并根据角点提取算法，对所述RGB 图像进行内角点提取；
在所述深度图上获取所述RGB图像中提取的每个内角点所对应的深度信息，并根据每个内角点及其所对应的深度信息，计算得到每个内角点在摄像机坐标系下的坐标；
根据所述标定模板的预设内角线的投影与叉车坐标系原点重合的关系，获取每个内角点在叉车坐标系下的坐标；
根据每个内角点在摄像机坐标系下的坐标和在叉车坐标系下的坐标，计算得到摄像机的标定外参。
作为优选方案，所述在所述深度图上获取所述RGB图像中提取的每个内角点所对应的深度信息，并根据每个内角点及其所对应的深度信息，计算得到每个内角点在摄像机坐标系下的坐标，具体为：
根据所述标定模板的内角点坐标，在所述深度图上获取每个内角点所对应的深度信息；
根据每个内角点所对应的深度信息以及摄像机的预设内参，计算出每个内角点在摄像机坐标系下的坐标。
作为优选方案，在所述深度图上获取每个内角点所对应的深度信息之前，还包括：
将所述标定模板所在平面的点云进行平面拟合，得到所述标定模板的点云在摄像机坐标系下拟合的平面方程。
作为优选方案，所述根据每个内角点所对应的深度信息以及摄像机的预设内参，计算出每个内角点在摄像机坐标系下的坐标，具体为：
根据摄像机的预设内参，得到摄像机的小孔成像公式；
根据所述平面方程、所述小孔成像公式、每个内角点及其所对应的深度信息，计算出每个内角点在摄像机坐标系下的坐标。
作为优选方案，所述根据所述标定模板的预设内角线的投影与叉车坐标系原点重合的关系，获取每个内角点在叉车坐标系下的坐标，具体为：
根据所述标定模板的预设内角线的投影与叉车坐标系原点重合的关系，测量得到预设角点到地面的距离；
根据预设角点到地面的距离和所述标定模板的预设尺寸，计算出所述标定模板上每个内角在叉车坐标系下的坐标。
作为优选方案，所述根据每个内角点在摄像机坐标系下的坐标和在叉车坐标系下的坐标，计算得到摄像机的标定外参，具体为：
根据每个内角点在摄像机坐标系下的坐标和在叉车坐标系下的坐标，转换得到对应点点云的最优变换矩阵模型；
根据迭代最近点算法，对所述最优变换矩阵模型进行求解，从而得到摄像机的标定外参。
作为优选方案，所述标定模板在叉车坐标系中保持俯仰角、偏航角和翻滚角均为0。
相应地，本发明还提供一种基于标定模板的外参标定装置，包括：采集模块、内角点提取模块、摄像机坐标模块、叉车坐标模块和标定外参模块；
所述采集模块，用于采集标定模板的RGB图像和深度图；其中，所述标定模板的预设内角线的投影与叉车坐标系原点重合；
所述内角点提取模块，用于对所述RGB图像和所述深度图进行对齐，并根据角点提取算法，对所述RGB图像进行内角点提取；
所述摄像机坐标模块，用于在所述深度图上获取所述RGB图像中提取的每个内角点所对应的深度信息，并根据每个内角点及其所对应的深度信息，计算得到每个内角点在摄像机坐标系下的坐标；
所述叉车坐标模块，用于根据所述标定模板的预设内角线的投影与叉车坐标系原点重合的关系，获取每个内角点在叉车坐标系下的坐标；
所述标定外参模块，用于根据每个内角点在摄像机坐标系下的坐标和在叉车坐标系下的坐标，计算得到摄像机的标定外参。
作为优选方案，所述在所述深度图上获取所述RGB图像中提取的每个内角点所对应的深度信息，并根据每个内角点及其所对应的深度信息，计算得到每个内角点在摄像机坐标系下的坐标，具体为：
根据所述标定模板的内角点坐标，在所述深度图上获取每个内角点所对应的深度信息；
根据每个内角点所对应的深度信息以及摄像机的预设内参，计算出每个内角点在摄像机坐标系下的坐标。
作为优选方案，在所述深度图上获取每个内角点所对应的深度信息之前，还包括：
将所述标定模板所在平面的点云进行平面拟合，得到所述标定模板的点云在摄像机坐标系下拟合的平面方程。
作为优选方案，所述根据每个内角点所对应的深度信息以及摄像机的预设内参，计算出每个内角点在摄像机坐标系下的坐标，具体为：
根据摄像机的预设内参，得到摄像机的小孔成像公式；
根据所述平面方程、所述小孔成像公式、每个内角点及其所对应的深度信息，计算出每个内角点在摄像机坐标系下的坐标。
作为优选方案，所述根据所述标定模板的预设内角线的投影与叉车坐标系原点重合的关系，获取每个内角点在叉车坐标系下的坐标，具体为：
根据所述标定模板的预设内角线的投影与叉车坐标系原点重合的关系，测量得到预设角点到地面的距离；
根据预设角点到地面的距离和所述标定模板的预设尺寸，计算出所述标定模板上每个内角在叉车坐标系下的坐标。
作为优选方案，所述根据每个内角点在摄像机坐标系下的坐标和在叉车坐标系下的坐标，计算得到摄像机的标定外参，具体为：
根据每个内角点在摄像机坐标系下的坐标和在叉车坐标系下的坐标，转换得到对应点点云的最优变换矩阵模型；
根据迭代最近点算法，对所述最优变换矩阵模型进行求解，从而得到摄像机的标定外参。
作为优选方案，所述标定模板在叉车坐标系中保持俯仰角、偏航角和翻滚角均为0。
相应地，本发明还提供一种终端设备，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器在执行所述计算机程序时实现如上任一项所述的基于标定模板的外参标定方法。
相应地，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质包括存储的计算机程序；其中，所述计算机程序在运行时控制所述计算机可读存储介质所在的设备执行如上任一项所述的基于标定模板的外参标定方法。
相比于现有技术，本发明实施例具有如下有益效果：
本发明的技术方案通过采集标定模板的RGB图像和深度图，并通过对RGB 图像和深度图进行对齐后，对RGB图像进行内角点提取，以使得能够准确地在所述深度图上，获取RGB图像中提取的每个内角点所对应的深度信息，并通过每个内角点及其对应的深度信息，来计算得到每个内角点在摄像机坐标系下的坐标，同时根据标定模板的预设内角线的投影与叉车坐标系原点重合的关系，获取每个内角点在叉车坐标系下的坐标，以使得能够根据每个内角点在摄像机坐标系下的坐标和在叉车坐标系下的坐标，来准确计算出摄像机的标定外参，实现了标定方法简单快速，同时使得外参标定结果准确性和鲁棒性高。
附图说明
图1为本发明实施例所提供的一种基于标定模板的外参标定方法的步骤流程图；
图2为本发明实施例所提供的叉车坐标系和摄像机坐标系的示意图；
图3为本发明实施例所提供的叉车坐标系和摄像机坐标系外参计算的原理图；
图4为本发明另一实施例所提供的基于标定模板的外参标定方法的流程图；
图5为本发明实施例所提供的一种基于标定模板的外参标定装置的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
智能叉车在整个空间工作的过程中位置不断发生变化，需要对周围不断发生变换的动态静态环境进行实时感知，从而智能叉车可以自动的进行合理正确的决策判断。安装在智能叉车上的不同的传感器，如视觉传感器、轮速计、激光雷达等，是帮助智能叉车感知外部环境的重要组成部分。
在本发明实施例中，采用RGBD传感器。RGBD传感器作为智能叉车上广泛采用的一种感知外部环境的视觉传感器，是在二维彩色图像上增加了一维深度信息，在此基础上获取智能叉车周围的环境数据。这些数据都是基于摄像机坐标系下的三维点云数据，对这些点云数据进行处理，得到的结果仍然是基于摄像机坐标系下的。如果要将RGBD传感器分析处理的结果融合到智能叉车对周围环境感知的过程中，智能叉车就需要知道这些基于摄像机坐标系的分析结果在自身坐标系的表示状况，也就是需要将摄像机坐标系的分析结果变换到智能叉车的随体坐标系中。
实施例一
请参照图1，为本发明实施例提供的一种基于标定模板的外参标定方法，包括以下步骤S101－S105：
步骤S101：采集标定模板的RGB图像和深度图；其中，所述标定模板的预设内角线的投影与叉车坐标系原点重合。
需要说明的是，优选地，标定模板为一副黑白相隔的棋盘格。在本实施例中，标定模板的RGB图像和深度图，均由安装于叉车上的RGBD传感器摄像机进行采集与获取。
在本实施例中，请参阅图2，其为对应摄像机坐标系与叉车坐标系的定义；摄像机坐标系ZC正方向为摄像机光轴正方向，XC正方向为从左向右，YC正方向满足右手定则，摄像机坐标系为(XC,YC,XC)；叉车随体坐标系的原点与叉车叉端四个轮子几何中心的地面上，XF正方向为叉车前进的方向，YF正方向为从左向右，ZF正方向满足右手定则，垂直顶面向上，叉车坐标系为(XF,YF,ZF)。
作为本实施例的优选方案，所述标定模板在叉车坐标系中保持俯仰角、偏航角和翻滚角均为0。
示例性地，请参阅图3，将标定模板的第六列内角点(优选为最靠近标定模板中心的一列内角点)在地面的投影与叉车坐标系的原点重合，且尽量保持标定模板在叉车坐标系中的俯仰角、偏航角和翻滚角均为0。
步骤S102：对所述RGB图像和所述深度图进行对齐，并根据角点提取算法，对所述RGB图像进行内角点提取。
需要说明的是，RGBD传感器在采集图像数据时，内部已经完成了RGB图像与深度图的对齐，即可直接通过角点提取算法来对RGB图像进行内角点提取，优选地，通过Harris算法在RGB图像上进行标定模板内角点的提取。
步骤S103：在所述深度图上获取所述RGB图像中提取的每个内角点所对应的深度信息，并根据每个内角点及其所对应的深度信息，计算得到每个内角点在摄像机坐标系下的坐标。
作为本实施例的优选方案，所述在所述深度图上获取所述RGB图像中提取的每个内角点所对应的深度信息，并根据每个内角点及其所对应的深度信息，计算得到每个内角点在摄像机坐标系下的坐标，具体为：
根据所述标定模板的内角点坐标，在所述深度图上获取每个内角点所对应的深度信息；根据每个内角点所对应的深度信息以及摄像机的预设内参，计算出每个内角点在摄像机坐标系下的坐标。
在本实施例中，基于标定模板中棋盘格每个内角点坐标，在深度图上获取每个内角点所对应的深度信息zci，在摄像机的内参矩阵K已知的情况下，计算出每个内角点在摄像机坐标系下的坐标(xci,yci,zci)，即通过摄像机的内参矩阵 K来得到摄像机的小孔成像公式，并通过摄像机的小孔成像公式进行每个内角点在摄像机坐标系下的坐标计算：
Figure BDA0003876087670000081
需要说明的是，在具体实施过程中，通常会发生点云存在空洞或者内角点对应点的位置深度不正确，因此会引起内角点在摄像机坐标系下点计算的错误，导致计算误差较大，对应的内角点坐标不准确的问题。
作为本实施例的优选方案，在所述深度图上获取每个内角点所对应的深度信息之前，还包括：
将所述标定模板所在平面的点云进行平面拟合，得到所述标定模板的点云在摄像机坐标系下拟合的平面方程。
具体地，根据摄像机的预设内参，得到摄像机的小孔成像公式(1)；根据所述平面方程、所述小孔成像公式、每个内角点及其所对应的深度信息，计算出每个内角点在摄像机坐标系下的坐标。
在本实施例中，标定模板点云在摄像机坐标系下拟合的平面方程为Ax+By+Cz+D＝0，而假设棋盘格在RGB图上成像后的任意一个内角点坐标为(ui,vi)，该内角点对应的深度为zi。根据公式(1)可求出棋盘格上的这个角点在摄像机坐标系下的坐标为
Figure BDA0003876087670000091
随着zi的变化即表示以摄像机坐标系原点为起点，过RGB图像对应内角点的射线，该射线与拟合平面的交点即为标定模板上对应角点在摄像机坐标系下的点(xci,yci,zci),i＝ 1,2,…,N。同理，对于标定模板上的其他角点均可采用相同的方法求取。
可以理解的是，为了解决上述内角点在摄像机坐标系下点计算错误的问题，通过该优选方案，将模板所在的平面的点云进行平面拟合，为了增加鲁棒性，采用RANSAC算法进行平面拟合，从而能够避免点云存在空洞或者直接获取的内角点对应点的位置深度不正确的问题。
步骤S104：根据所述标定模板的预设内角线的投影与叉车坐标系原点重合的关系，获取每个内角点在叉车坐标系下的坐标。
作为本实施例的优选方案，所述根据所述标定模板的预设内角线的投影与叉车坐标系原点重合的关系，获取每个内角点在叉车坐标系下的坐标，具体为：
根据所述标定模板的预设内角线的投影与叉车坐标系原点重合的关系，测量得到预设角点到地面的距离；根据预设角点到地面的距离和所述标定模板的预设尺寸，计算出所述标定模板上每个内角在叉车坐标系下的坐标。
需要说明的是，由于标定模板的预设内角线的投影与叉车坐标系原点重合，使得在标定模板中第六列的预设角点，到地面的距离即为到叉车坐标系原点的距离，通过人为进行测量，从而能够准确得到预设角点到地面的距离的参数，从而使得本发明实施例仅在该步骤S104中，只测量一个预设角点到地面距离的参数，实现了标定方法简单快速，易于操作和产品批量化生产。
在本实施例中，基于当前标定模板的摆放位置，根据标定模板棋盘格的实际物理尺寸，从而可以计算出标定模板上每一个内角点在叉车随体坐标系下的坐标(xFi,yFi,zFi),i＝1,2,…,N。
步骤S105：根据每个内角点在摄像机坐标系下的坐标和在叉车坐标系下的坐标，计算得到摄像机的标定外参。
作为本实施例的优选方案，所述根据每个内角点在摄像机坐标系下的坐标和在叉车坐标系下的坐标，计算得到摄像机的标定外参，具体为：
根据每个内角点在摄像机坐标系下的坐标和在叉车坐标系下的坐标，转换得到对应点点云的最优变换矩阵模型；根据迭代最近点算法，对所述最优变换矩阵模型进行求解，从而得到摄像机的标定外参。
基于上述步骤S103与步骤S104，得到了标定模板每一个内角点在摄像机坐标系和叉车坐标系下的表示为(xci,yci,zci)和(xFi,yFi,zFi)，相当于两组已知对应点点云求解最优变换矩阵的问题，采用迭代最近点(Iterative Closest Point，简称ICP)算法即可求解从叉车坐标系到摄像机坐标系的变换，即
Figure BDA0003876087670000101
Figure BDA0003876087670000102
进而求解上式得到最优解，作为摄像机的标定外参。
可以理解的是，采用标定模板，在合理选取摆放方式的情况下，只测量一个参数即可实现RGBD传感器到智能叉车随体坐标系的外参标定，实现了标定方法简单快速，易于操作和产品批量化生产。在计算的过程中充分利用RGBD传感器点云数据的特点进行平面拟合和点云配准算法，使得外参标定结果准确性和鲁棒性高。
在本实施例中，请参阅图4，其为本发明另一实施例中所实现的外参标定方法流程，通过对标定模板的摆放以及预设内角点到地面距离的测量，从而能够准确实现标定模板内角点在叉车坐标系下坐标的提取，同时采集RGB图像和深度图，并通过RGB图像上内角点的提取，以及对标定模板的点云平面拟合，进而实现标定模板内角点在摄像机坐标系下坐标的提取，并通过ICP算法，准确估算出RGBD传感器摄像机的外参，从而完成对摄像机外参的标定。
作为本发明实施例的另一优选方案，在标定模板的摆放过程中，可以不遵从标定模板第六列(中心线)内角点在地面的投影与叉车坐标系的原点重合的原则，也可以不遵从测量预设角点到地面距离的方式，只需要通过人工测试获得标定模板上的内角点在叉车坐标系的坐标即可，从而实现摄像机外参的标定。
实施以上实施例，具有如下效果：
本发明的技术方案通过采集标定模板的RGB图像和深度图，并通过对RGB 图像和深度图进行对齐后，对RGB图像进行内角点提取，以使得能够准确地在所述深度图上，获取RGB图像中提取的每个内角点所对应的深度信息，并通过每个内角点及其对应的深度信息，来计算得到每个内角点在摄像机坐标系下的坐标，同时根据标定模板的预设内角线的投影与叉车坐标系原点重合的关系，获取每个内角点在叉车坐标系下的坐标，以使得能够根据每个内角点在摄像机坐标系下的坐标和在叉车坐标系下的坐标，来准确计算出摄像机的标定外参，实现了标定方法简单快速，同时使得外参标定结果准确性和鲁棒性高。
实施例二
请参阅图5，其为本发明实施例所提供一种基于标定模板的外参标定装置，包括：采集模块201、内角点提取模块202、摄像机坐标模块203、叉车坐标模块204和标定外参模块205。
所述采集模块201，用于采集标定模板的RGB图像和深度图；其中，所述标定模板的预设内角线的投影与叉车坐标系原点重合；
所述内角点提取模块202，用于对所述RGB图像和所述深度图进行对齐，并根据角点提取算法，对所述RGB图像进行内角点提取；
所述摄像机坐标模块203，用于在所述深度图上获取所述RGB图像中提取的每个内角点所对应的深度信息，并根据每个内角点及其所对应的深度信息，计算得到每个内角点在摄像机坐标系下的坐标；
所述叉车坐标模块204，用于根据所述标定模板的预设内角线的投影与叉车坐标系原点重合的关系，获取每个内角点在叉车坐标系下的坐标；
所述标定外参模块205，用于根据每个内角点在摄像机坐标系下的坐标和在叉车坐标系下的坐标，计算得到摄像机的标定外参。
作为本实施例的优选方案，所述在所述深度图上获取所述RGB图像中提取的每个内角点所对应的深度信息，并根据每个内角点及其所对应的深度信息，计算得到每个内角点在摄像机坐标系下的坐标，具体为：
根据所述标定模板的内角点坐标，在所述深度图上获取每个内角点所对应的深度信息；根据每个内角点所对应的深度信息以及摄像机的预设内参，计算出每个内角点在摄像机坐标系下的坐标。
作为本实施例的优选方案，在所述深度图上获取每个内角点所对应的深度信息之前，还包括：
将所述标定模板所在平面的点云进行平面拟合，得到所述标定模板的点云在摄像机坐标系下拟合的平面方程。
作为本实施例的优选方案，所述根据每个内角点所对应的深度信息以及摄像机的预设内参，计算出每个内角点在摄像机坐标系下的坐标，具体为：
根据摄像机的预设内参，得到摄像机的小孔成像公式；根据所述平面方程、所述小孔成像公式、每个内角点及其所对应的深度信息，计算出每个内角点在摄像机坐标系下的坐标。
作为本实施例的优选方案，所述根据所述标定模板的预设内角线的投影与叉车坐标系原点重合的关系，获取每个内角点在叉车坐标系下的坐标，具体为：
根据所述标定模板的预设内角线的投影与叉车坐标系原点重合的关系，测量得到预设角点到地面的距离；根据预设角点到地面的距离和所述标定模板的预设尺寸，计算出所述标定模板上每个内角在叉车坐标系下的坐标。
作为本实施例的优选方案，所述根据每个内角点在摄像机坐标系下的坐标和在叉车坐标系下的坐标，计算得到摄像机的标定外参，具体为：
根据每个内角点在摄像机坐标系下的坐标和在叉车坐标系下的坐标，转换得到对应点点云的最优变换矩阵模型；根据迭代最近点算法，对所述最优变换矩阵模型进行求解，从而得到摄像机的标定外参。
作为本实施例的优选方案，所述标定模板在叉车坐标系中保持俯仰角、偏航角和翻滚角均为0。
所属领域的技术人员可以清楚的了解到，为描述的方便和简洁，上述描述的装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
实施以上实施例，具有如下效果：
本发明的技术方案通过采集标定模板的RGB图像和深度图，并通过对RGB 图像和深度图进行对齐后，对RGB图像进行内角点提取，以使得能够准确地在所述深度图上，获取RGB图像中提取的每个内角点所对应的深度信息，并通过每个内角点及其对应的深度信息，来计算得到每个内角点在摄像机坐标系下的坐标，同时根据标定模板的预设内角线的投影与叉车坐标系原点重合的关系，获取每个内角点在叉车坐标系下的坐标，以使得能够根据每个内角点在摄像机坐标系下的坐标和在叉车坐标系下的坐标，来准确计算出摄像机的标定外参，实现了标定方法简单快速，同时使得外参标定结果准确性和鲁棒性高。
实施例三
相应地，本发明还提供一种终端设备，包括：处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现如上任意一项实施例所述的基于标定模板的外参标定方法。
该实施例的终端设备包括：处理器、存储器以及存储在所述存储器中并可在所述处理器上运行的计算机程序、计算机指令。所述处理器执行所述计算机程序时实现上述实施例一中的各个步骤，例如图1所示的步骤S101至S105。或者，所述处理器执行所述计算机程序时实现上述装置实施例中各模块/单元的功能，例如摄像机坐标模块203。
示例性的，所述计算机程序可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器中，并由所述处理器执行，以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序在所述终端设备中的执行过程。例如，所述摄像机坐标模块203，用于在所述深度图上获取所述RGB图像中提取的每个内角点所对应的深度信息，并根据每个内角点及其所对应的深度信息，计算得到每个内角点在摄像机坐标系下的坐标。
所述终端设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述终端设备可包括，但不仅限于，处理器、存储器。本领域技术人员可以理解，示意图仅仅是终端设备的示例，并不构成对终端设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述终端设备还可以包括输入输出设备、网络接入设备、总线等。
所称处理器可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field－Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器是所述终端设备的控制中心，利用各种接口和线路连接整个终端设备的各个部分。
所述存储器可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现终端设备的各种功能。所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序等；存储数据区可存储根据移动终端的使用所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(SecureDigital， SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
其中，所述终端设备集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、 U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read－Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
实施例四
相应地，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行如上任意一项实施例所述的基于标定模板的外参标定方法。
以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步的详细说明，应当理解，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围。特别指出，对于本领域技术人员来说，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于标定模板的外参标定方法，其特征在于，包括：
采集标定模板的RGB图像和深度图；其中，所述标定模板的预设内角线的投影与叉车坐标系原点重合；
对所述RGB图像和所述深度图进行对齐，并根据角点提取算法，对所述RGB图像进行内角点提取；
在所述深度图上获取所述RGB图像中提取的每个内角点所对应的深度信息，并根据每个内角点及其所对应的深度信息，计算得到每个内角点在摄像机坐标系下的坐标；
根据所述标定模板的预设内角线的投影与叉车坐标系原点重合的关系，获取每个内角点在叉车坐标系下的坐标；
根据每个内角点在摄像机坐标系下的坐标和在叉车坐标系下的坐标，计算得到摄像机的标定外参。
2.如权利要求1所述的一种基于标定模板的外参标定方法，其特征在于，所述在所述深度图上获取所述RGB图像中提取的每个内角点所对应的深度信息，并根据每个内角点及其所对应的深度信息，计算得到每个内角点在摄像机坐标系下的坐标，具体为：
根据所述标定模板的内角点坐标，在所述深度图上获取每个内角点所对应的深度信息；
根据每个内角点所对应的深度信息以及摄像机的预设内参，计算出每个内角点在摄像机坐标系下的坐标。
3.如权利要求2所述的一种基于标定模板的外参标定方法，其特征在于，在所述深度图上获取每个内角点所对应的深度信息之前，还包括：
将所述标定模板所在平面的点云进行平面拟合，得到所述标定模板的点云在摄像机坐标系下拟合的平面方程。
4.如权利要求3所述的一种基于标定模板的外参标定方法，其特征在于，所述根据每个内角点所对应的深度信息以及摄像机的预设内参，计算出每个内角点在摄像机坐标系下的坐标，具体为：
根据摄像机的预设内参，得到摄像机的小孔成像公式；
根据所述平面方程、所述小孔成像公式、每个内角点及其所对应的深度信息，计算出每个内角点在摄像机坐标系下的坐标。
5.如权利要求1所述的一种基于标定模板的外参标定方法，其特征在于，所述根据所述标定模板的预设内角线的投影与叉车坐标系原点重合的关系，获取每个内角点在叉车坐标系下的坐标，具体为：
根据所述标定模板的预设内角线的投影与叉车坐标系原点重合的关系，测量得到预设角点到地面的距离；
根据预设角点到地面的距离和所述标定模板的预设尺寸，计算出所述标定模板上每个内角在叉车坐标系下的坐标。
6.如权利要求1所述的一种基于标定模板的外参标定方法，其特征在于，所述根据每个内角点在摄像机坐标系下的坐标和在叉车坐标系下的坐标，计算得到摄像机的标定外参，具体为：
根据每个内角点在摄像机坐标系下的坐标和在叉车坐标系下的坐标，转换得到对应点点云的最优变换矩阵模型；
根据迭代最近点算法，对所述最优变换矩阵模型进行求解，从而得到摄像机的标定外参。
7.如权利要求1－6任意一项所述的一种基于标定模板的外参标定方法，其特征在于，所述标定模板在叉车坐标系中保持俯仰角、偏航角和翻滚角均为0。
8.一种基于标定模板的外参标定装置，其特征在于，包括：采集模块、内角点提取模块、摄像机坐标模块、叉车坐标模块和标定外参模块；
所述采集模块，用于采集标定模板的RGB图像和深度图；其中，所述标定模板的预设内角线的投影与叉车坐标系原点重合；
所述内角点提取模块，用于对所述RGB图像和所述深度图进行对齐，并根据角点提取算法，对所述RGB图像进行内角点提取；
所述摄像机坐标模块，用于在所述深度图上获取所述RGB图像中提取的每个内角点所对应的深度信息，并根据每个内角点及其所对应的深度信息，计算得到每个内角点在摄像机坐标系下的坐标；
所述叉车坐标模块，用于根据所述标定模板的预设内角线的投影与叉车坐标系原点重合的关系，获取每个内角点在叉车坐标系下的坐标；
所述标定外参模块，用于根据每个内角点在摄像机坐标系下的坐标和在叉车坐标系下的坐标，计算得到摄像机的标定外参。
9.一种终端设备，其特征在于，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器在执行所述计算机程序时实现如权利要求1－7中任一项所述的基于标定模板的外参标定方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括存储的计算机程序；其中，所述计算机程序在运行时控制所述计算机可读存储介质所在的设备执行如权利要求1－7中任一项所述的基于标定模板的外参标定方法。
CN202211220341.0A 2022-09-30 2022-09-30 一种基于标定模板的外参标定方法及装置 Pending CN115511977A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211220341.0A CN115511977A (zh) 2022-09-30 2022-09-30 一种基于标定模板的外参标定方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211220341.0A CN115511977A (zh) 2022-09-30 2022-09-30 一种基于标定模板的外参标定方法及装置

Publications (1)

Publication Number Publication Date
CN115511977A true CN115511977A (zh) 2022-12-23

Family

ID=84508727

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211220341.0A Pending CN115511977A (zh) 2022-09-30 2022-09-30 一种基于标定模板的外参标定方法及装置

Country Status (1)

Country Link
CN (1) CN115511977A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116400334A (zh) * 2023-06-01 2023-07-07 未来机器人（深圳）有限公司 激光外参的标定验证方法、装置、电子设备及可存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116400334A (zh) * 2023-06-01 2023-07-07 未来机器人（深圳）有限公司 激光外参的标定验证方法、装置、电子设备及可存储介质
CN116400334B (zh) * 2023-06-01 2023-09-12 未来机器人（深圳）有限公司 激光外参的标定验证方法、装置、电子设备及可存储介质

Similar Documents

Publication Publication Date Title
EP3751519B1 (en) Method, apparatus, device and medium for calibrating pose relationship between vehicle sensor and vehicle
CN109074668B (zh) 路径导航方法、相关装置及计算机可读存储介质
CN107976669B (zh) 一种确定相机与激光雷达之间的外参数的装置
US20210319588A1 (en) Method and Apparatus for Calibrating External Parameters of Image Acquisition Device, Device and Storage Medium
CN107976668B (zh) 一种确定相机与激光雷达之间的外参数的方法
CN113657224B (zh) 车路协同中用于确定对象状态的方法、装置、设备
CN109559349B (zh) 一种用于标定的方法和装置
CN112648976B (zh) 实景影像测量方法、装置、电子设备及存储介质
WO2020132924A1 (zh) 机器人传感器的外参标定方法、装置、机器人及存储介质
CN114067001B (zh) 车载相机角度标定方法、终端及存储介质
CN109544628A (zh) 一种指针式仪表的准确读数识别系统及方法
CN112912932A (zh) 一种车载摄像头的标定方法、装置及终端设备
CN115457147A (zh) 相机标定方法、电子设备及存储介质
CN111123242A (zh) 一种基于激光雷达和相机的联合标定方法及计算机可读存储介质
CN112270320A (zh) 一种基于卫星影像校正的输电线路杆塔坐标校准方法
CN115511977A (zh) 一种基于标定模板的外参标定方法及装置
CN115830135A (zh) 一种图像处理方法、装置及电子设备
KR102023087B1 (ko) 카메라 캘리브레이션 방법
CN114037987A (zh) 一种废钢智能识别方法、装置、介质及设备
CN115546216B (zh) 一种托盘检测方法、装置、设备及存储介质
CN110458951B (zh) 一种电网杆塔的建模数据获取方法及相关装置
CN115063489A (zh) 一种外参标定方法、装置、设备和存储介质
CN115546314A (zh) 传感器外参校准方法和装置、设备及存储介质
CN115482296A (zh) 一种相机外参标定方法、系统和非易失性计算机可读存储介质
CN114004949A (zh) 机载点云辅助的移动测量系统安置参数检校方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination