CN110570477B - 一种标定相机和旋转轴相对姿态的方法、装置和存储介质 - Google Patents

Abstract

本申请公开了一种标定相机和旋转轴相对姿态的方法、装置和存储介质，具体为第一相机在每个采样位置采集采样图像，其中，采样位置为旋转轴带动第二相机旋转预设角度后停止的位置，采样图像包括整块第一标定板；在每张采样图像上提取各个第一角点，生成各个第一角点的拟合平面；将每个第一角点在每个采样位置上第一角点的坐标，分别投影在对应的拟合平面上，生成各个第一角点的拟合圆；根据拟合圆，计算第二相机与旋转轴的第一姿态标定参数，并根据第一姿态标定参数调整第二相机与旋转轴的相对姿态。本申请实施例通过设置第一相机辅助为第二相机和旋转轴进行标定，计算第二相机和旋转轴的第一姿态标定参数，实现旋转轴和相机之间的精确标定。

Description

一种标定相机和旋转轴相对姿态的方法、装置和存储介质

技术领域

本申请涉及计算机视觉领域，尤其涉及一种标定相机和旋转轴相对姿态的方法、装置和存储介质。

背景技术

在图像测量过程及其视觉应用中，为确定空间物体表面某点的三维几何位置与其在图像中对应点之间的相互关系，必须建立相机成像的几何模型，这些几何模型参数就是相机参数。在大多数条件下这些参数必须通过实验与计算才能得到，这个求解参数的过程就称之为对固定相机的旋转轴进行标定(或摄像机标定)。无论是在图像测量或者机器视觉应用中，相机参数的标定都是非常关键的环节，其标定结果的精度及算法的稳定性直接影响相机拍摄结果的准确性。而相机采集的图像一般都会存在畸变，如果不能正确的获得图像的内参和畸变参数，那么将会严重影响以图像为基础的视觉感知技术的应用。

而通过相机采集多角度的图像以实现虚拟现实的技术已经被广泛应用。在捕获丰富的纹理和鲜艳的色彩信息的同时，采集深度信息，并将深度信息和色彩信息结合在一起可以将真实世界三维重建出来，以实现自动驾驶、机器人同步定位与建图(simultaneouslocalization and mapping，SLAM)、三维视觉感知、房屋三维重建等应用。

其中，虚拟现实技术需要采集全景彩色图像和空间三维信息，但是彩色相机和深度相机的视场角普遍比较小。因此在需要采集用于虚拟现实的图片时，需要彩色相机和深度相机绕着某个固定的旋转轴做360度旋转，旋转的同时采集分别深度数据和彩色数据，并将深度数据和彩色数据融合起来，但旋转轴极大程度上不会与彩色相机或深度相机重合，不能精确的确定相机的旋转轴心。

发明内容

本申请实施例提供了一种标定相机和旋转轴相对姿态的方法，克服了旋转轴和相机之间标定不精确的问题，提升了在旋转轴和相机之间进行标定的准确性。

该方法包括：

第一相机在每个采样位置采集采样图像，其中，所述采样位置为旋转轴带动第二相机旋转预设角度后停止的位置，所述采样图像包括整块第一标定板；

在每张所述采样图像上提取各个第一角点，根据所述第一角点在每个所述采样位置上的所述第一角点的坐标，生成各个所述第一角点的拟合平面；

将每个所述第一角点在每个所述采样位置上的所述第一角点的坐标，分别投影在对应的所述拟合平面上，生成所述各个第一角点的拟合圆；

根据各个所述第一角点的所述拟合圆，计算所述第二相机与旋转轴的第一姿态标定参数，并根据所述第一姿态标定参数调整所述第二相机与所述旋转轴的相对姿态。

可选地，选取多个第一采样点和多个第二采样点；

所述第一相机在所述第一采样点上采集第一待处理图像，所述第二相机在所述第二采样点上采集第二待处理图像，其中，所述第一待处理图像和所述第二待处理图像均包含设置在第二标定板上设置的定位码；

根据所述定位码，在所述第一待处理图像和所述第二待处理图像中分别检测第二角点和第三角点；

并根据所述定位码，对所述第二角点和所述第三角点进行配对，生成角点对；

根据所述角点对，分别计算所述第一相机的第一相机内参和第一畸变参数以及所述第二相机的第二相机内参和第二畸变参数。

可选地，所述第一相机和所述第二相机分别采集第三待处理图像和第四待处理图像，其中，所述第三待处理图像和所述第四待处理图像中包含多个所述第二标定板，每个所述第二标定板上设置有不同的所述定位码；

根据所述第一相机内参和第一畸变参数，对所述第三待处理图像进行去畸变处理，以及根据所述第二相机的第二相机内参和第二畸变参数对所述第四待处理图像进行去畸变处理；

在去畸变后的所述第三待处理图像和所述第四待处理图像中分别检测第四角点和第五角点，并根据所述定位码，对所述第四角点和所述第五角点进行配对，生成角点对；

基于所述角点对，计算第二姿态标定参数，并根据所述第二姿态标定参数调整所述第一相机和所述第二相机之间的相对姿态。

可选地，按照所述第二姿态标定参数，将所述第四待处理图像中的各个所述第五角点的坐标进行变换，并投影至所述第一相机的相机坐标系中，生成在所述第一相机的相机坐标系中的投影坐标；

计算所述各个第五角点的所述投影坐标与对应的在所述第三待处理图像上的所述第四角点的坐标的投影误差，并将各个所述投影误差的均值确定为重投影误差；

当所述重投影误差不满足预设阈值时，将对应的所述第二姿态标定参数删除，并重新执行所述第一相机和所述第二相机分别采集第三待处理图像和第四待处理图像至所述计算第二姿态标定参数的步骤，以使所述第二姿态标定参数满足所述预设阈值。

可选地，分别计算所述各个第一角点的所述拟合圆的圆心坐标，并将每个所述圆心坐标拟合成空间直线；

对所述空间直线进行转化，生成在所述第二相机的相机坐标系中的表示所述旋转轴的第一旋转矩阵；

根据所述第二姿态标定参数，将所述在第二相机的相机坐标系中的所述第一旋转矩阵变换至所述第一相机的相机坐标系中，生成在所述第一相机的相机坐标系中的表示旋转轴的第二旋转矩阵；

基于所述第二旋转矩阵，计算所述第一姿态标定参数。

可选地，计算各个所述拟合圆的所述圆心坐标到所述空间直线的距离，并在当所述距离的数值超过第一预设阈值时，返回重新执行所述第一相机在每个采样位置采集采样图像的步骤，以至所述距离的数值满足所述第一预设阈值。

在本发明的另一个实施例中，提供了一种标定相机和旋转轴相对姿态的系统，该系统包括第一相机、第二相机、第一标定板、第二标定板、处理单元、电机和与电机连接的旋转轴，其中，所述第二相机与所述旋转轴套接，所述第二相机上固定连接所述第一标定板，以使所述第二相机和所述第一标定板可以跟随所述旋转轴旋转，所述第二相机的拍摄范围内包括整块所述第一标定板；

所述第一标定板包含定位码和角点，用于为所述第一相机和所述第二相机提供进行识别的目标；

所述第二标定板包含所述定位码和角点，用于为所述第一相机提供进行识别的目标；

所述处理单元用于控制所述电机带动所述旋转轴进行旋转，以及对所述第一相机和所述第二相机识别的数据进行分析，并计算所述第二相机与所述旋转轴之间的第一姿态标定参数，以及所述第一相机与所述第二相机之间的第二姿态标定参数。

在本发明的另一个实施例中，提供了一种标定相机和旋转轴相对姿态的装置，该装置包括：

采集模块，用于第一相机在每个采样位置采集采样图像，其中，所述采样位置为旋转轴带动第二相机旋转预设角度后停止的位置，所述采样图像包括整块第一标定板；

提取模块，用于在每张所述采样图像上提取各个第一角点，根据所述第一角点在每个所述采样位置上的所述第一角点的坐标，生成各个所述第一角点的拟合平面；

投影模块，用于将每个所述第一角点在每个所述采样位置上的所述第一角点的坐标，分别投影在对应的所述拟合平面上，生成所述各个第一角点的拟合圆；

计算模块，用于根据各个所述第一角点的所述拟合圆，计算所述第二相机与旋转轴的第一姿态标定参数，并根据所述第一姿态标定参数调整所述第二相机与所述旋转轴的相对姿态。

在本发明的另一个实施例中，提供了一种非瞬时计算机可读存储介质，所述非瞬时计算机可读存储介质存储指令，所述指令在由处理器执行时使得所述处理器执行上述一种标定相机和旋转轴相对姿态的方法中的各个步骤。

在本发明的另一个实施例中，提供了一种终端设备，包括处理器，所述处理器用于执行上述一种标定相机和旋转轴相对姿态的方法中的各个步骤。

如上可见，基于上述实施例，首先第一相机在每个采样位置采集采样图像，其中，采样位置为旋转轴带动第二相机旋转预设角度后停止的位置，采样图像包括整块第一标定板，其次，在每张采样图像上提取各个第一角点，根据第一角点在每个采样位置上的第一角点的坐标，生成各个第一角点的拟合平面，然后，将每个第一角点在每个采样位置上的第一角点的坐标，分别投影在对应的拟合平面上，生成各个第一角点的拟合圆，最后，根据各个第一角点的拟合圆，计算第一相机与旋转轴的第一姿态标定参数，并根据第一姿态标定参数调整第一相机与旋转轴的相对姿态。本申请实施例通过设置第一相机辅助为第二相机和旋转轴进行标定，计算第二相机和旋转轴的第一姿态标定参数，实现旋转轴和相机之间的精确标定。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1示出了本申请实施例100所提供的一种标定相机和旋转轴相对姿态的方法的流程示意图；

图2示出了本申请实施例200提供的一种定制化的第一标定板的示意图；

图3示出了本申请提供的实施例300提供的一种标定相机和旋转轴相对姿态的方法的具体流程的示意图；

图4示出了本申请实施例400提供的第二标定板的示意图；

图5示出了本申请实施例500提供的一种编号后的第一标定板的示意图；

图6示出了本申请实施例600提供的标定较好的三维点云图的示意图；

图7示出了本申请实施例700提供的一种标定相机和旋转轴相对姿态的系统的示意图；

图8示出了本申请实施例800还提供一种标定相机和旋转轴相对姿态的装置的示意图；

图9示出了本申请实施例900所提供的一种终端设备的示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例如能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含。例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其他步骤或单元。

基于现有技术中的问题，本申请实施例提供了一种标定相机和旋转轴相对姿态的方法，主要适用于计算机视觉和三维重建领域。通过控制相机进行转动的旋转轴带动相机进行旋转，围绕旋转轴采集采样照片，并对采样照片进行分析，以对相机和控制相机进行旋转的旋转轴之间的相对姿态进行标定，实现一种标定相机和旋转轴相对姿态的方法。

下面以具体实施例对本发明的技术方案进行详细说明。下面几个具体实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。如图1所示，为本申请实施例100提供的一种标定相机和旋转轴相对姿态的方法的流程示意图。其中，详细步骤如下：

S11，第一相机在每个采样位置采集采样图像，其中，采样位置为旋转轴带动第二相机旋转预设角度后停止的位置，采样图像包括整块第一标定板。

本步骤中，第二相机与旋转轴连接，使得旋转轴可以带动第二相机旋转。同时，第二相机与第一标定板固定设置，第二相机的相机视野中可以包括整块第一标定板。第一相机与第二相机相隔一定距离，第一相机的相机视野可以包括整块第一标定板。

旋转轴带动第二相机旋转，每当旋转预设角度时停止旋转，并将停止的位置确定为采样位置。当在采样位置时，第一相机采集包含第一标定板的采样图像。可选地，当预设角度为10°时，每旋转轴带动第二相机旋转10°时停止，由第一相机采集包括第一标定板的采样图像。

S12，在每张采样图像上提取各个第一角点，根据第一角点在每个采样位置上的第一角点的坐标，生成各个第一角点的拟合平面。

本步骤中，第一标定板上设置有定位码，通过设置定位码使得第一标定板具备方向性和定位功能。其中，定位码的设置位置可以在第一标定板几何中心的位置。第一标定板上的将每个黑色单元格作为独立的元素，检测每个黑色单元格的边，并将黑色单元格的几何中心作为第一角点的位置。如图2所述，为本申请实施例200示出的一种定制化的第一标定板的示意图。其中，定位码可以是二维码的形式，通过识别二维码可以准确地判断各个第一角点相对于第一标定板的方位信息。

进一步地，在每张采样图像中提取各个第一角点。每张采样图像中均包含整块第一标定板。同时，采用霍夫直线检测算法提取感兴趣的线段，在每张采样图像中拟合直线并检测出方形单元格，提取方形单元格的几何中心作为第一角点的位置并进行亚像素处理。

进一步地，当旋转轴在经历了N个采样位置并停止旋转后，第一相机采集的N张采样照片中的每个第一角点都对应有N组坐标数据。其中，N为大于等于1的整数。而每个第一角点都是以旋转轴为圆心进行旋转，因此每个第一角点在不同的采样位置的坐标应当在同一个平面上。采用线性回归算法拟合每个第一角点的N组坐标数据，生成各个第一角点的拟合平面。

S13，将每个第一角点在每个采样位置上的第一角点的坐标，分别投影在对应的拟合平面上，生成各个第一角点的拟合圆。

本步骤中，在生成每个第一角点的坐标数据拟合的拟合平面后，将每个第一角点的N组坐标数据投影在对应的拟合平面上，并得到每个第一角点在N个采样位置上的坐标对应的散点。因为每个第一角点都是以旋转轴为圆心进行旋转，将每个第一角点的在每个采样位置上对应的散点进行拟合，生成各个第一角点的拟合圆。

S14，根据各个第一角点的拟合圆，计算第二相机与旋转轴的第一姿态标定参数，并根据第一姿态标定参数调整第二相机与旋转轴的相对姿态。

本步骤中，根据各个第一角点的拟合圆，计算每个拟合圆的圆心坐标。可选地，每个第一角点的N组坐标数据均分布在拟合圆的圆周上，当第一标定板上有M个第一角点时，则M个第一角点会对应生成M个圆心坐标，其中，M为大于等于1的整数。由于旋转轴是固定的，一般M个第一角点的圆心会分布在旋转轴上，可以将M个圆心拟合成一条空间直线，并基于空间直线的直线方程得出旋转轴在第一相机中的姿态标定参数。进一步地，根据第一相机和第二相机之间的第二姿态标定参数，将第一相机中确定的旋转轴在第一相机中的姿态标定参数转化为第二相机与旋转轴的第一姿态标定参数。其中，第一姿态标定参数和第二姿态标定参数均包括平移关系和旋转关系。在确定了第一姿态标定参数后，根据第一姿态标定参数调整第二相机与旋转轴的相对姿态，以实现相机与旋转轴之间的标定。

首先第一相机在每个采样位置采集采样图像，其中，采样位置为旋转轴带动第二相机旋转预设角度后停止的位置，采样图像包括整块第一标定板，其次，在每张采样图像上提取各个第一角点，根据第一角点在每个采样位置上的第一角点的坐标，生成各个第一角点的拟合平面，然后，将每个第一角点在每个采样位置上的第一角点的坐标，分别投影在对应的拟合平面上，生成各个第一角点的拟合圆，最后，根据各个第一角点的拟合圆，计算第一相机与旋转轴的第一姿态标定参数，并根据第一姿态标定参数调整第一相机与旋转轴的相对姿态。本申请实施例通过设置第一相机辅助为第二相机和旋转轴进行标定，计算第二相机和旋转轴的第一姿态标定参数，实现旋转轴和相机之间的精确标定。

如图3所示，为本申请实施例300提供的一种标定相机和旋转轴相对姿态的方法的具体流程的示意图。其中，该具体流程的详细过程如下：

S301，选取多个第一采样点和多个第二采样点。

这里，第一采样点为第一相机进行采样的位置，第二采样点为第二相机进行采样的位置。具体的，第一相机和第二相机分别在第一采样点和第二采样点进行采样时，拍摄范围均包括多块第二标定板。

S302，第一相机在第一采样点采集第一待处理图像。

这里，在每个第一采样点，第一相机采集第一待处理图像。其中，保持第二标定板不动，在每个第一采样点采集第一待处理图像看，第一待处理图像中包括第二标定板的定位码。其中，第二标定板与传统的标定板的形式不同。如图4所示，为本申请实施例400所示出的第二标定板的示意图，每个圆形单元格的几何中心作为角点的位置。进一步地，在确定了第二标定板的角点的位置后，在第二标定板上设置定位码。定位码一般为二维码形式，通过添加定位码表使得标定板具备方向性和定位功能。处理器可以通过识别二维码准确地判断第一相机相对于第二标定板的方位信息。第一待处理图像中包括第二标定板上设置的定位码。

S303，第二相机在第二采样点采集第二待处理图像。

这里，第二相机主要为彩色相机。第二相机在第二采样点上采集的第二待处理图像中也包括第二标定板的定位码。可选地，第二待处理图像中不一定包括第二标定板的全部角点，但包括每一个第二标定板上设置的定位码。

步骤S303与步骤S302同时执行，无先后执行顺序。

S304，根据定位码，计算第一相机的第一相机内参和第一畸变参数，以及第二相机的第二相机内参和第二畸变参数。

本步骤中，首先，根据定位码，在第一待处理图像和第二待处理图像中分别检测第二角点和第三角点。具体的，利用角点提取算法分别提取第一待处理图像和第二待处理图像中采集的第二标定板的第二角点和第三角点。其次，根据定位码，对第二角点和第三角点进行配对，生成角点对。可选地，根据每个定位码，确定第二角点与对应的第三角点的位置。最后，根据角点对，分别计算第一相机的第一相机内参和第一畸变参数以及第二相机的第二相机内参和第二畸变参数。可选地，通过张氏标定算法，N点透视(Perspect ive-n-point,PNP)算法来优化结果并得到第一相机的第一相机内参和第一畸变参数，以及第二相机的第二相机内参和第二畸变参数。其中，在提取了第二角点或第三角点的图像坐标后，为了获取更高的精度，可以将提取到的第二角点或第三角点的像素精确到亚像素精度。

进一步地，第一相机内参和第二相机内参为与相机自身相关的参数，第一相机内参

其中，f_x1为第一相机的摄像头在X轴上的焦距，f_y1为在Y轴上的焦距，c_x1为相对光轴而言x方向上的偏移量和相对光轴而言Y方向上的偏移量c_y1。相应的，第二相机内参

其中，f_x2为第一相机的摄像头在X轴上的焦距，f_y2为在Y轴上的焦距，c_x2为相对光轴而言x方向上的偏移量和相对光轴而言Y方向上的偏移量c_y2。第一相机的第一畸变参数D₁＝[k₁₁,k₂₁,p₁₁,p₂₁,k₃₁]，其中，k₁₁,k₂₁,k₃₁为感光元平面跟透镜不平行所导致的径向畸变系数，p₁₁,p₂₁为相机制作工艺导致的切向畸变系数。以及，第二相机的第二畸变参数D₂＝[k₁₂,k₂₂,p₁₂,p₂₂,k₃₂]，其中，k₁₂,k₂₂,k₃₂为感光元平面跟透镜不平行所导致的径向畸变系数，p₁₂,p₂₂为相机制作工艺导致的切向畸变系数。

S305，第一相机采集第三待处理图像。

本步骤中，保持第一相机的采样位置不动，采集第三待处理图像。其中，第三待处理图像中包括多个第二标定板的定位码。其中，第一相机的前方设置有多个第二标定板。第三待处理图像中包括设置的每一个第二标定板上设置的定位码。具体的，第一待处理图像中不一定包括每一个第二标定板的全部角点，但包括每一个第二标定板上设置的定位码。

S306，第二相机采集第四待处理图像。

这里，与第一相机采集第三待处理图像的步骤一致，第二相机采集第四待处理图像。步骤S305和S306没有先后执行顺序，可以同时执行。

S307，根据第一相机内参和第一畸变参数对第三待处理图像进行去畸变处理，以及根据第二相机内参和第二畸变参数，对第四待处理图像进行去畸变处理。

本步骤中，根据第一相机内参和第一畸变参数对第三待处理图像进行去畸变处理，以及根据第二相机内参和所述第二畸变参数对第四待处理图像进行去畸变处理。可选地，根据内参数和畸变参数，分别对第三待处理图像和第四待处理图像进行去畸变处理。其中，对第三待处理图像进行去畸变处理的具体过程如下：

r＝x²+y²，

x′＝x×(1+k₁₁×r+k₂₁×r²+k₃₁×r³)+2×p₁₁×x×y+p₂₁×(r+2×x²),

y′＝y×(1+k₁₁×r+k₂₁×r²+k₃₁×r³)+2×p₂₁×x×y+p₁₁×(r+2×y²),其中，u₀和v₀是深度摄像头的中心点位置，u和v表示第一待处理图像上任意数据点的像素坐标，r为归一像素半径的平方，x和y是归一化像素坐标。对第四待处理图像进行去畸变的过程与上过程类似，在此不再赘述。

S308，根据去畸变后的第三待处理图像和第四待处理图像，计算第二姿态标定参数。

本步骤中，在去畸变后的第三待处理图像和第四待处理图像中分别检测第四角点和第五角点，并根据定位码，对第四角点和第五角点进行配对，生成角点对。进一步地，基于角点对，计算第二姿态标定参数，并根据第二姿态标定参数调整第一相机和第二相机之间的相对姿态。可选地，采用霍夫直线检测算法提取感兴趣的圆形，在第三待处理图像和第四待处理图像中检测出圆形单元格，提取圆形单元格的几何中心作为第四角点和第五角点的位置并进行亚像素处理。

进一步地，以定位码的位置为位置基准，将在第三待处理图像中检测出的多个第四角点与在第四待处理图像中检测出的第五角点进行配对，得到多个角点对。可选地，以第四待处理图像和第五待处理图像中采集到的同一个定位码为基准，将分别在第三待处理图像和第四待处理图像中检测到的第四角点和第五角点以确定的同一个定位码为基准进行配对。若第一相机相对于第二相机的第二姿态标定参数为

其中，R₂表示第一相机与第二相机之间的旋转关系，t₂表示第一相机和第二相机之间的平移关系。则根据多组角点对，计算第一相机相对于第二相机的第二姿态标定参数，即R₂和t₂的值。

S309，计算第二姿态参数的重投影误差。

本步骤中，按照第二姿态标定参数，将第四待处理图像中的各个第五角点的坐标进行变换，并投影至第一相机的相机坐标系中，生成在第一相机的相机坐标系中的投影坐标。可选地，根据第二姿态标定参数，将进行去畸变处理后的第三待处理图像和第四待处理图像进行像素点对齐，并将第三待处理图像投影在第四待处理图像上，生成在第一相机的相机坐标系中的投影坐标。可选地，根据计算出的第二姿态标定参数

将第四待处理图像投影至第三待处理图像中，生成各个第五角点在第一相机的坐标系中的投影坐标。将第四待处理图像投影至第三待处理图像中的方法如下：

其中，x和y是第四待处理图像中某个第五角点的像素坐标位置，而x’和y’是是第四待处理图像投影在第三待处理图像中的投影坐标。

进一步地，计算各个第五角点的投影坐标与对应的在第三待处理图像上的第四角点的坐标的投影误差，并将各个投影误差的均值确定为重投影误差。

S310，判断重投影误差是否满足第二预设阈值。

S311，将不满足第二预设阈值的重投影误差对应的第二姿态标定参数删除。

这里，当重投影误差不满足第二预设阈值时，将对应的第二姿态标定参数删除，并重新执行步骤是305至步骤S311，第一相机和第二相机分别采集第三待处理图像和第四待处理图像至计算第二姿态标定参数的步骤，以使第二姿态标定参数满足预设阈值。

S312，第一相机在每个采样位置采集采样图像。

这里，采样位置为旋转轴带动第二相机进行旋转并在预设角度时停止旋转的位置。旋转轴的设置位置与地面垂直，旋转时带动第二相机进行转动。第一标定板与第二相机固定连接，第二相机可以拍摄到整块第一标定板。每张采样图像中包括整块第一标定板。采样位置根据设定的预设角度的数量一致。进一步地，根据第一标定板上设置的定位码，为第一标定板上的每个黑色单元格编号。如图5所示，为本申请实施例500提供的一种编号后的第一标定板的示意图。

S313，提取每张采样图像上的第一角点，并生成每个第一角点的拟合圆。

这里，采用霍夫直线检测算法在每张采样图像中检测出四边形单元格，并确定每个黑色单元格的角点位置，以在采集的每张采样图片上提取第一角点。进一步地，若采样位置为N个，电机在经历了N次旋转停止后，第一标定板上的每个第一角点会有N个空间旋转数据，其中，N为大于等于1的整数。而每个第一角点均是绕旋转轴做旋转运动，因此每个第一角点在不同的N个采样位置的N个空间旋转数据对应的坐标应当在同一个平面上。采用线性回归算法拟合每个第一角点绕旋转轴旋转一周的平面，形成每个第一角点的拟合平面，并通过随机抽样一致算法(Random Sample Consensus，RANSAC)剔除离群点，生成较为精确的平面方程Ax+By+Cz+D＝0，其中，A,B,C是平面方程的法线向量的三轴坐标，D是坐标系原点到拟合平面的距离。

进一步地，将每个第一角点在N个采样位置的坐标投影至对应的拟合平面上，生成每个第一角点在拟合平面上的投影坐标。利用如下公式生成每个第一角点在拟合平面上的投影坐标：

其中，A,B,C,D是拟合平面的平面方程的四个参数，x_p,y_p,z_p是拟合平面外的每个第一角点在N个采样位置的坐标x₀,y₀,z₀在对应的拟合平面上的投影坐标。每个第一角点都是绕固定的旋转轴旋转的，因此每个第一角点的N个投影坐标一般会分布在一个圆上，形成每个第一角点对应的拟合圆。

S314，根据各个第一角点的拟合圆，生成各个角点拟合的空间直线。

这里，分别计算各个第一角点的拟合圆的圆心坐标，并将每个圆心坐标拟合成空间直线。可选地，可以采用最小二乘法将N个投影坐标拟合成一个圆形，并求出圆心坐标。若每个第一角点的N个投影坐标分布在对应的拟合圆的圆周上时，则每个第一角点(x_i,y_i,z_i)到拟合圆的圆心(x_c,y_c,z_c)的距离基本满足与拟合圆的半径R相等的条件，故拟合圆的过程相当于使每个投影坐标到圆心的距离均等于R的过程。则可以利用科学计算库(GNUScientific Library，GSL)中的多维函数求极值的算法计算拟合圆的圆心坐标，可选地，通过公式

而当第一标定板上有M个第一角点时，则通过上述步骤可以得到M个第一角点的M个圆心，由于旋转轴是固定的，M个第一角点的圆心一般会分布在旋转轴上，故可以将M个圆心拟合成一条空间直线。可选的，若空间直线方程经过点(x₀,y₀,z₀),方向向量为(a,b,c),则空间直线方程为

S315，计算各个拟合圆的圆心坐标到拟合的空间直线的距离。

这里，为了验证M(x_i,y_i,z_i)个圆心是否分布在拟合的空间直线上，计算M个圆心坐标到空间直线的距离。可选地，通过公式

计算距离。

S316，判断距离的数值是否超过预设阈值。

S317，当超过第一预设阈值时，重新进行标定。

这里，计算各个拟合圆的圆心坐标到空间直线的距离，并在当距离的数值超过第一预设阈值时，返回重新执行步骤S312第一相机在每个采样位置采集采样图像的步骤至S317的步骤，以至距离的数值满足第一预设阈值。若圆心到空间直线的距离误差超过设定的阈值，就认为对旋转轴的标定误差过大，需要重新进行标定。

S318，计算第一姿态标定参数。

本步骤中，对空间直线进行转化，生成在第二相机的相机坐标系中的表示旋转轴的第一旋转矩阵。通过旋转向量描述表示旋转轴的第一旋转矩阵。可选地，旋转向量的长度(模)表示绕轴逆时针旋转的角度(弧度)，旋转向量与旋转矩阵可以通过罗德里格斯(Rodrigues)变换算法进行转换。进一步地，可以将空间直线当作旋转向量并转化成第一旋转矩阵。以(a,b,c)作为旋转向量，同时假设旋转角度为θ，基于罗德里格斯变换算法中的旋转公式(Rodrigues'rotation formula)进行变换，可以将旋转向量和旋转角度转化成第一旋转矩阵，假设坐标原点在空间直线上的垂足交点假设是(x₀,y₀,z₀)，T₀满足如下约束

和ax₀+by₀+cz₀＝0，可得第一旋转矩阵

其中，R₀为旋转量，t₀为平移量。根据第二姿态标定参数，将在第二相机的相机坐标系中的第一旋转矩阵变换至第一相机的相机坐标系中，生成在第一相机的相机坐标系中的表示旋转轴的第二旋转矩阵。可选地，根据T₁＝R₂×T₀+t₂，生成第二旋转矩阵

基于第二旋转矩阵，计算第一姿态标定参数。可选地，然后基于罗德里格斯变换算法中的旋转公式(Rodrigues'rotation formula)的逆变换：

计算生成旋转轴相对于第一相机的第一姿态标定参数r_x,r_y,r_z，其中R₁是第二变换矩阵中的旋转量，r_x,r_y,r_z是旋转轴在第一相机内的旋转向量，θ是旋转角度，旋转轴在第一相机内的偏移量是第二变换矩阵中的平移量t₁。

S319，根据第一姿态标定参数，调整旋转轴和第一相机之间的相对姿态，并通过调整后的第一相机采集三维点云图。

这里，基于调整后的第一相机和旋转轴，在一个地面平整的空间同时旋转一周采集深度数据和彩色数据，得到旋转一周的三维点云图。

S320，判断三维点云图是否符合预设标准。

这里，基于采集的三维点云图，提取其中的地面，并检测地面的平度是否符合预设标准，并在不满足预设标准时，返回步骤S301至步骤S320，重新进行标定。一般当旋转轴与第一相机的标定效果较好时，提取的地面相对会较平，否则可能会呈现锥形。如图6所示，为本申请实施例600提供的标定较好的三维点云图的示意图。

S321，满足预设标准时，则确定标定成功。

本申请基于上述步骤实现上述一种标定相机和旋转轴相对姿态的方法。

基于同一发明构思，本申请实施例700还提供一种标定相机和旋转轴相对姿态的系统，其中，如图7所示，该系统包括第一相机701、第二相机702、第一标定板703、第二标定板704、处理单元705、电机706和与电机连接的旋转轴707，其中，第二相机702与旋转轴707套接，第二相机702上固定连接第一标定板703，以使第二相机702和第一标定板703可以跟随旋转轴707旋转，第二相机702的拍摄范围内包括整块第一标定板703；

第一标定板703包含定位码和角点，用于为第一相机701和第二相机702提供进行识别的目标；

第二标定板704包含定位码和角点，用于为第一相机701提供进行识别的目标；

处理单元705用于控制电机706带动旋转轴707进行旋转，以及对第一相机701和第二相机702识别的数据进行分析，并计算第二相机702与旋转轴707之间的第一姿态标定参数，以及第一相机701与第二相机702之间的第二姿态标定参数。

标定相机和旋转轴相对姿态的系统主要由第一相机701、第二相机702、第一标定板703、第二标定板704、处理单元705、电机706和与电机连接的旋转轴707等组成。其中，处理单元705主要用于采集和识别第一相机701和第二相机702采集的数据。第一标定板703主要用于第二相机701与旋转轴707之间的第一姿态标定参数的标定，且第一标定板703与地面的法向量的夹角为预设角度，预设角度优选为20°。第二标定板704主要用于第一相机701和第二相机702的相机内参的标定，以及第一相机701和第二相机702之间的第二姿态标定参数的标定。旋转轴707与地面垂直，与设置在第二相机702内部的电机706连接，以跟随电机706进行旋转。

基于同一发明构思，本申请实施例800还提供一种标定相机和旋转轴相对姿态的装置，其中，如图8所示，该装置包括：

采集模块801，用于第一相机在每个采样位置采集采样图像，其中，采样位置为旋转轴带动第二相机旋转预设角度后停止的位置，采样图像包括整块第一标定板；

提取模块802，用于在每张采样图像上提取各个第一角点，根据第一角点在每个采样位置上的第一角点的坐标，生成各个第一角点的拟合平面；

投影模块803，用于将每个第一角点在每个采样位置上的所述第一角点的坐标，分别投影在对应的拟合平面上，生成各个第一角点的拟合圆；

计算模块804，用于根据各个第一角点的所述拟合圆，计算第二相机与旋转轴的第一姿态标定参数，并根据第一姿态标定参数调整第二相机与旋转轴的相对姿态。

本实施例中，采集模块801、提取模块802、投影模块803和计算模块804的具体功能和交互方式，可参见图1对应的实施例的记载，在此不再赘述。

如图9所示，本申请的又一实施例900还提供一种终端设备，包括处理器901，其中，处理器901用于执行上述一种标定相机和旋转轴相对姿态的方法的步骤。从图9中还可以看出，上述实施例提供的终端设备还包括非瞬时计算机可读存储介质902，该非瞬时计算机可读存储介质902上存储有计算机程序，该计算机程序被处理器901运行时执行上述一种标定相机和旋转轴相对姿态的方法的步骤。实际应用中，该终端设备可以是一台或多台计算机，只要包括上述计算机可读介质和处理器即可。

具体地，该存储介质能够为通用的存储介质，如移动磁盘、硬盘和FLASH等，该存储介质上的计算机程序被运行时，能够执行上述的一种标定相机和旋转轴相对姿态的方法中的各个步骤。实际应用中，所述的计算机可读介质可以是上述实施例中描述的设备/装置/系统中所包含的，也可以是单独存在，而未装配入该设备/装置/系统中。上述计算机可读存储介质承载有一个或者多个程序，当上述一个或多个程序被执行时，能够执行上述的一种标定相机和旋转轴相对姿态的方法中的各个步骤。

根据本申请公开的实施例，计算机可读存储介质可以是非易失性的计算机可读存储介质，例如可以包括但不限于：便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件，或者上述的任意合适的组合，但不用于限制本申请保护的范围。在本申请公开的实施例中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

本申请附图中的流程图和框图，示出了按照本申请公开的各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或者代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应该注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同附图中所标准的顺序发生。例如，两个连接地表示的方框实际上可以基本并行地执行，它们有时也可以按照相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或者流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

本领域技术人员可以理解，本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合，即使这样的组合或结合没有明确记载于本申请中。特别地，在不脱离本申请精神和教导的情况下，本申请的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合，所有这些组合和/或结合均落入本申请公开的范围。

最后应说明的是：以上所述实施例，仅为本申请的具体实施方式，用以说明本申请的技术方案，而非对其限制，本申请的保护范围并不局限于此，尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本申请实施例技术方案的精神和范围，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应所述以权利要求的保护范围为准。

Claims (8)

1.一种标定相机和旋转轴相对姿态的方法，其特征在于，包括：

第一相机和第二相机分别采集第三待处理图像和第四待处理图像，其中，所述第三待处理图像和所述第四待处理图像中包含多个第二标定板，每个所述第二标定板上设置有不同的定位码；

根据所述第一相机的第一相机内参和第一畸变参数，对所述第三待处理图像进行去畸变处理，以及根据所述第二相机的第二相机内参和第二畸变参数对所述第四待处理图像进行去畸变处理；

在去畸变后的所述第三待处理图像和所述第四待处理图像中分别检测第四角点和第五角点，并根据所述定位码，对所述第四角点和所述第五角点进行配对，生成角点对；

基于所述角点对，计算第二姿态标定参数，并根据所述第二姿态标定参数调整所述第一相机和所述第二相机之间的相对姿态；

所述第一相机在每个采样位置采集采样图像，其中，所述采样位置为旋转轴带动第二相机旋转预设角度后停止的位置，所述采样图像包括整块第一标定板；

在每张所述采样图像上提取各个第一角点，根据所述第一角点在每个所述采样位置上的所述第一角点的坐标，生成各个所述第一角点的拟合平面；

将每个所述第一角点在每个所述采样位置上的所述第一角点的坐标，分别投影在对应的所述拟合平面上，生成所述各个第一角点的拟合圆；

根据各个所述第一角点的所述拟合圆，计算所述第二相机与旋转轴的第一姿态标定参数，并根据所述第一姿态标定参数调整所述第二相机与所述旋转轴的相对姿态；所述计算所述第二相机与旋转轴的第一姿态标定参数的步骤包括：分别计算所述各个第一角点的所述拟合圆的圆心坐标，并将每个所述圆心坐标拟合成空间直线；对所述空间直线进行转化，生成在所述第二相机的相机坐标系中的表示所述旋转轴的第一旋转矩阵；根据所述第二姿态标定参数，将所述在第二相机的相机坐标系中的所述第一旋转矩阵变换至所述第一相机的相机坐标系中，生成在所述第一相机的相机坐标系中的表示旋转轴的第二旋转矩阵；基于所述第二旋转矩阵，计算所述第一姿态标定参数。

2.根据权利要求1所述的方法，其特征在于，在所述第一相机在每个采样位置采集采样图像的步骤之前，所述方法进一步包括：

选取多个第一采样点和多个第二采样点；

所述第一相机在所述第一采样点上采集第一待处理图像，所述第二相机在所述第二采样点上采集第二待处理图像，其中，所述第一待处理图像和所述第二待处理图像均包含设置在第二标定板上设置的定位码；

根据所述定位码，在所述第一待处理图像和所述第二待处理图像中分别检测第二角点和第三角点；

并根据所述定位码，对所述第二角点和所述第三角点进行配对，生成角点对；

根据所述角点对，分别计算所述第一相机的所述第一相机内参和所述第一畸变参数以及所述第二相机的所述第二相机内参和所述第二畸变参数。

3.根据权利要求2所述的方法，其特征在于，所述计算第二姿态标定参数的步骤和所述根据所述第二姿态标定参数调整所述第一相机和所述第二相机之间的相对姿态的步骤，所述方法进一步包括：

按照所述第二姿态标定参数，将所述第四待处理图像中的各个所述第五角点的坐标进行变换，并投影至所述第一相机的相机坐标系中，生成在所述第一相机的相机坐标系中的投影坐标；

计算所述各个第五角点的所述投影坐标与对应的在所述第三待处理图像上的所述第四角点的坐标的投影误差，并将各个所述投影误差的均值确定为重投影误差；

当所述重投影误差不满足预设阈值时，将对应的所述第二姿态标定参数删除，并重新执行所述第一相机和所述第二相机分别采集第三待处理图像和第四待处理图像至所述计算第二姿态标定参数的步骤，以使所述第二姿态标定参数满足所述预设阈值。

4.根据权利要求1所述的方法，其特征在于，所述将每个圆心坐标拟合成空间直线的步骤和所述对空间直线进行转化的步骤之间，所述方法进一步包括：

计算各个所述拟合圆的所述圆心坐标到所述空间直线的距离，并在当所述距离的数值超过第一预设阈值时，返回重新执行所述第一相机在每个采样位置采集采样图像的步骤，以至所述距离的数值满足所述第一预设阈值。

5.一种标定相机和旋转轴相对姿态的系统，其特征在于，包括第一相机、第二相机、第一标定板、第二标定板、处理单元、电机和与电机连接的旋转轴，其中，所述第二相机与所述旋转轴套接，所述第二相机上固定连接所述第一标定板，以使所述第二相机和所述第一标定板可以跟随所述旋转轴旋转，所述第二相机的拍摄范围内包括整块所述第一标定板；

所述第一标定板包含定位码和角点，用于为所述第一相机和所述第二相机提供进行识别的目标；

所述第二标定板包含所述定位码和角点，用于为所述第一相机提供进行识别的目标；

所述处理单元用于控制所述电机带动所述旋转轴进行旋转，以及对所述第一相机和所述第二相机识别的数据进行分析，并计算所述第二相机与所述旋转轴之间的第一姿态标定参数，以及所述第一相机与所述第二相机之间的第二姿态标定参数；所述第一相机与所述第二相机之间的第二姿态标定参数的计算步骤包括：所述第一相机和所述第二相机分别采集第三待处理图像和第四待处理图像，其中，所述第三待处理图像和所述第四待处理图像中包含多个所述第二标定板，每个所述第二标定板上设置有不同的定位码；根据所述第一相机的第一相机内参和第一畸变参数，对所述第三待处理图像进行去畸变处理，以及根据所述第二相机的第二相机内参和第二畸变参数对所述第四待处理图像进行去畸变处理；在去畸变后的所述第三待处理图像和所述第四待处理图像中分别检测第四角点和第五角点，并根据所述定位码，对所述第四角点和所述第五角点进行配对，生成角点对；基于所述角点对，计算第二姿态标定参数，并根据所述第二姿态标定参数调整所述第一相机和所述第二相机之间的相对姿态；

所述计算所述第二相机与旋转轴之间的第一姿态标定参数的步骤包括：分别计算所述各个第一角点的拟合圆的圆心坐标，并将每个所述圆心坐标拟合成空间直线；对所述空间直线进行转化，生成在所述第二相机的相机坐标系中的表示所述旋转轴的第一旋转矩阵；根据所述第二姿态标定参数，将所述在第二相机的相机坐标系中的所述第一旋转矩阵变换至所述第一相机的相机坐标系中，生成在所述第一相机的相机坐标系中的表示旋转轴的第二旋转矩阵；基于所述第二旋转矩阵，计算所述第一姿态标定参数。

6.一种标定相机和旋转轴相对姿态的装置，其特征在于，包括：

采集模块，用于第一相机在每个采样位置采集采样图像，其中，所述采样位置为旋转轴带动第二相机旋转预设角度后停止的位置，所述采样图像包括整块第一标定板；

提取模块，用于在每张所述采样图像上提取各个第一角点，根据所述第一角点在每个所述采样位置上的所述第一角点的坐标，生成各个所述第一角点的拟合平面；

投影模块，用于将每个所述第一角点在每个所述采样位置上的所述第一角点的坐标，分别投影在对应的所述拟合平面上，生成所述各个第一角点的拟合圆；

计算模块，用于根据各个所述第一角点的所述拟合圆，计算所述第二相机与旋转轴的第一姿态标定参数，并根据所述第一姿态标定参数调整所述第二相机与所述旋转轴的相对姿态；所述第一相机与所述第二相机之间的第二姿态标定参数的计算步骤包括：所述第一相机和所述第二相机分别采集第三待处理图像和第四待处理图像，其中，所述第三待处理图像和所述第四待处理图像中包含多个第二标定板，每个所述第二标定板上设置有不同的定位码；根据所述第一相机的第一相机内参和第一畸变参数，对所述第三待处理图像进行去畸变处理，以及根据所述第二相机的第二相机内参和第二畸变参数对所述第四待处理图像进行去畸变处理；在去畸变后的所述第三待处理图像和所述第四待处理图像中分别检测第四角点和第五角点，并根据所述定位码，对所述第四角点和所述第五角点进行配对，生成角点对；基于所述角点对，计算第二姿态标定参数，并根据所述第二姿态标定参数调整所述第一相机和所述第二相机之间的相对姿态；所述计算所述第二相机与旋转轴的第一姿态标定参数的步骤包括：分别计算所述各个第一角点的所述拟合圆的圆心坐标，并将每个所述圆心坐标拟合成空间直线；对所述空间直线进行转化，生成在所述第二相机的相机坐标系中的表示所述旋转轴的第一旋转矩阵；根据所述第二姿态标定参数，将所述在第二相机的相机坐标系中的所述第一旋转矩阵变换至所述第一相机的相机坐标系中，生成在所述第一相机的相机坐标系中的表示旋转轴的第二旋转矩阵；基于所述第二旋转矩阵，计算所述第一姿态标定参数。

7.一种非瞬时计算机可读存储介质，其特征在于，所述非瞬时计算机可读存储介质存储指令，所述指令在由处理器执行时使得所述处理器执行如权利要求1至4任一项所述的一种标定相机和旋转轴相对姿态的方法中的各个步骤。

8.一种终端设备，其特征在于，包括处理器，所述处理器用于执行如权利要求1至4中任一项所述的一种标定相机和旋转轴相对姿态的方法中的各个步骤。

Images