CN112819899A - 基于混联机构的相机自动标定系统及其相机自动标定方法 - Google Patents

Abstract

本发明涉及一种基于混联机构的相机自动标定系统及其相机自动标定方法，混联机构通过3PRRR三移动并联机构和3RRR三转动并联机构串联而成，将混联机构运动过程中的运动参数带入到标定算法过程实现标定。安装于混联机构动平台的标定板可进行六自由度运动，用混联机构实现标定图像完成自动采集过程，同时利用混联机构自身的高精度和稳定性的特点，获取每张标定板运动之间的变换矩阵，带入到标定过程中，来使得相机标定算法中的参数更加精准。同时对标定结果误差进行评估，设定阈值，自动剔除误差较大图像，直到标定结果满足要求，才会停止标定，实现相机标定的全自动过程。

Description

基于混联机构的相机自动标定系统及其相机自动标定方法

技术领域

本发明属于相机标定领域，具体地，涉及一种基于混联机构的相机自动标定系统及其相机自动标定方法。

背景技术

物体表面某点的三维场景信息与其在图像中对应点之间的映射关系是由摄像机成像的几何模型决定的，几何模型参数就是摄像机标定过程中的内部参数。这些参数必须通过实验与计算才能得到，这个过程称为摄像机标定。摄像机标定在理论和实践应用中都具有重要价值，学术界对其进行了广泛的研究。

相机标定是图像测量和三维重建的重要步骤，也一直是计算机视觉、虚拟现实、人工智能等领域的研究难点与热点。它广泛地应用于物体尺寸测量、空间定位、视觉导航等领域。根据标定方式的不同，相机标定方法主要分为传统标定方法、自标定方法和基于主动视觉的标定方法。传统的标定方法虽然精度高，但标定过程复杂，需要借助棋盘等辅助工具实现；自标定方法在其推广应用的过程中因精度问题而有待研究与讨论；基于主动视觉的标定方法鲁棒性较高、计算简单，但系统成本高。

发明内容

针对现有传统标定方法操作过于复杂，且自动化程度较低，本发明提供一种基于混联机构的相机自动标定系统及其相机自动标定方法，采用三移并联机构与三转并联机构相结合的混联机构作为执行机构，实现末端动平台在空间中的三移动和三转动，在动平台末端安装相机标定板，使用相机对标定板进行标定，并且在相机标定过程中，使用一种新的标定方法：根据相机的初步标定参数规划标定板运动轨迹，之后将标定机构平移矩阵和旋转矩阵加入标定过程中，获得更准确的标定参数。从而全自动的实现相机的标定过程。

本发明是这样实现的：一种基于混联机构的相机自动标定系统，其包括3PRRR并联机构、控制器终端、3RRR并联机构、型材框架、相机、相机支架和相机标定板，所述3PRRR并联机构中三条PRRR分支的两端分别与型材框架、3PRRR并联平台相连，3RRR并联机构中三条RRR分支的两端分别与3PRRR并联平台、3RRR并联平台相连，两个并联机构以串联形式构成六自由度混联机构；所述3PRRR分支包括滑轨、滑块、转动副A、连杆A、转动副B和连杆B，滑块的第一端与丝杠相连且能与滑轨构成移动副，滑块的第二端通过转动副A与连杆A的第一端相连，连杆A的第二端通过转动副B与连杆B的第一端相连，连杆B的第二端通过转动副C与3PRRR并联平台相连；所述RRR分支包括连杆C、转动副E、连杆D和转动副F，所述连杆C的第一端与转动副D相连，连杆C的第二端通过转动副E与连杆D的第一端相连，所述连杆D的第二端通过转动副F与3RRR并联平台相连，相机标定板固定于3RRR并联平台；所述转动副D内嵌套有多层圆管与滑动轴承，其与三个从动齿轮同轴线装配，三个从动齿轮分别与三个主动齿轮啮合，三个齿轮分别通过三个舵机驱动；所述相机支架两侧对称设置有两个旋转螺栓，旋转螺栓与胶皮垫同轴线相连，胶皮垫的第一端与旋转螺栓固连，胶皮垫的第二端与相机弹性接触。

优选地，所述型材框架为长方体，其包括十二个型材，且相邻的三个型材间互相垂直，相邻型材间通过型材上的条形凹槽和螺丝螺母连接进行固定；所述控制器终端固连于型材框架上。

优选地，三组滑轨、丝杠分别安装于型材框架的长边、宽边和高边上，丝杠与电机同轴线相连，型材框架的长边、宽边和高边相互垂直。

优选地，X’Y’Z’为3PRRR并联平台的坐标系，X”Y”Z”为3RRR并联平台的坐标系，通过控制器终端控制三个电机，3PRRR并联平台能实现沿X’方向移动、沿Y’方向移动和沿Z’方向移动，3RRR并联平台能实现绕X”轴的转动、绕Y”轴的转动和绕Z”轴的转动。

本发明的第二方面提供一种基于前述混联机构的相机自动标定系统的相机自动标定方法，其包括以下步骤：

第一步：将标定板安装于SRRR并联平台上，调整相机支架上的螺栓，使相机的视角正对SRRR并联平台；

第二步：对控制器终端手动输入相机标定所需的标定板的棋盘格数量、棋盘格大小、相机视角和目标的误差阈值；

第三步：将SRRR并联平台从第一位置移动至第二位置处，通过SRRR并联平台的移动和旋转，使相机采集6张以上的图像，同时记录每张图像间的平移矩阵t和旋转矩阵R，排除各图像中误差较大的棋盘格角点；

第四步：使用代价函数

对相机参数进行拟合，其中，α和β为权重参数、N为总共采集到的图像总数、loss1为世界坐标系下的角点映射到相机的像素坐标系下的重映射误差、loss2为使用第p张标定图和第q张标定图间对应角点映射误差，

其中，u和v为像素点坐标，f为焦距，dx和dy为单个像素点大小单位，u₀和v₀为图像中心，

和

为相机相对于标定板的旋转矩阵和平移矩阵，X_w、Y_w、Z_w是标定板上的世界坐标，P(u,v)为图像中角点的像素坐标，

为重映射以后角点的像素坐标，Z_c为标定板在相机中的深度，0^T为零向量，Z_cp为第p张图像的相机坐标系下角点的深度，u_q和v_q为第q张图像中角点的像素坐标，

和

为第q张图像中角点的世界坐标系到相机坐标系下的旋转矩阵和平移矩阵，

和

为第p张图像和第q张图像间的旋转矩阵和平移矩阵由混联六自由度平台反馈得到；

第五步：将标定结果的误差阈值与步骤2中设定的误差阈值进行比较，若大于该误差阈值则执行继续执行步骤3，若小于该误差阈值则结束标定过程，输出标定参数：相机的焦距、像素大小、畸变系数。

优选地，所述步骤三中，角点挑选过程原理：对每张图像的角点处进行划分为N×N的区域，并分析每个区域的质心[X_cij，Y_cij]，求得角点坐标和质心的欧式距离，并求得整张图像的所有角点的欧式距离的平均值，剔除出大于平均值的，将小于平均值的角点保留下来作为标定数据。

优选地，所述loss2的计算过程为：通过使用机构移动过程中记录的第p张和第q张标定板图像的变换矩阵

对每张图像的标定板坐标到相机坐标变换：

得到第p张和第q张标定板图像在相机坐标系下的变换关系：

代入相机的数学模型，将角点通过图像像素坐标系投影到相机坐标系：

再对该点投影进行评估组成loss2，其中，

为标定板相对于相机的三维坐标，

为第p张标定板图像中标定板相对于相机的三维坐标。

与现有技术相比，本发明具有以下有益效果：

(1)该混联机构相对于串联六自由度机构具有运动平稳、反应快的特点，能保证图像采集过程中的稳定性；相对于并联六自由度机构，该机构具有更大的工作空间，保证能够采集更多的姿态的标定板、并适用于视角较小的相机进行标定；

(2)本发明使用三移并联机构与三转并联机构结合实现的相机标定系统，实现了对相机标定板的精密移动与转动，将移动与转动数据传输给处理终端，实现了标定过程中图像采集的自动化；

(3)本发明通过能够实现标定过程中的实时计算，自动剔除掉误差较大图像，保留误差较小图像提高标定精度；

(4)本发明通过结合并联机构运动的高精度和高稳定性的特点，在相机标定过程中结合机构运动的平移矩阵t和旋转矩阵R使得相机标定具有较高精度。

附图说明

图1为本发明的混联机构整体的结构示意图；

图2为本发明的混联机构整体的结构示意图的正视图；

图3为本发明的混联机构整体的的结构示意图的附视图；

图4为本发明的3PRRR并联机构第一位置时的结构示意图；

图5为本发明的3RRR并联机构的结构示意图；

图6为本发明的相机以及相机支架的结构示意图；

图7为本发明的3PRRR并联机构第二位置时的结构示意图。

附图标记：

1、3PRRR并联机构；2、控制器终端；3、3RRR并联机构；4、相机组件；5标定板；6、型材；7、滑轨；8、丝杠；9、电机；10、机械臂；11、滑块；12、3PRRR并联平台；13、第一位置；14、3RRR并联平台；15、齿轮16、舵机；17、相机支架；18、相机；19、第二位置；20、长边；21、宽边；22、高边；23、转动副A；24、连杆A；25、转动副B；26、连杆B；27、转动副C；28、转动副D；29、连杆C；30、转动副E；31、连杆D；32、转动副F；33、旋转螺栓；34、胶皮垫。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要注意的为，除非另有说明，本申请使用的技术术语或者科学术语应当为本发明所属领域技术人员所理解的通常意义。

下面结合附图对发明做进一步详细描述：

如图1～图7所示，一种基于混联机构的相机自动标定系统及方法，其包括3PRRR并联机构1、控制器终端2、3RRR并联机构3、相机组件4和相机标定板5，3PRRR并联机构1为三移动并联机构，其三条PRRR分支分别与型材框架上三条方向相互垂直的型材间接相连，3RRR并联机构3为三转动并联机构，其三条RRR分支都连接于3PRRR并联平台12上，3PRRR并联机构1与3RRR并联机构3为串联关系，从而组成构成六自由度混联机构；该混联机构相对于串联六自由度机构具有运动平稳、反应快的特点，能保证图像采集过程中的稳定性；相对于并联六自由度机构，该机构具有更大的工作空间，保证能够采集更多的姿态的标定板、并适用于视角较小的相机进行标定。相机标定板5固定于3RRR并联平台14上；相机通过相机支架17固定于型材框架上。

每两个相邻的型材6互相垂直，且通过型材6上的条形凹槽和螺丝螺母连接进行固定，十二个型材6构成长方体的型材框架，三组滑轨7、丝杠8分别安装于型材框架的长边20、宽边21和高边22上，丝杠8两端固定并由电机9驱动。3PRRR并联机构1的各分支中机械臂10的连接关系为：滑块11的第一端与丝杠8相连且能在滑轨7上滑动，滑块11的第二端与连杆A24通过转动副A23相连，连杆A24可绕转动副A23转动，而连杆A24与连杆B26通过转动副B25相连，连杆B26可绕转动副B25转动，3PRRR并联平台12又与连杆B26通过转动副C27相连。X’Y’Z’为3PRRR并联平台12的坐标系，经电机9驱动、机械臂10传动，3PRRR并联平台12能实现运动，而通过控制器终端2控制三个分支中的电机9，3PRRR并联平台12能按设定值实现沿X’方向移动、沿Y’方向移动和沿Z’方向移动。

3RRR并联机构3安装于3PRRR并联平台12上，其中3RRR并联机构3包括三个舵机16、三个齿轮15和一个3RRR并联平台14，三个舵机16用以驱动三个齿轮15，三个齿轮15分别与转动副D28上的三个从动齿轮进行啮合，进而实现与三个连杆C29的连接。三个舵机16进行驱动，经齿轮组、转动副D28传动，可带动连杆C29转动，而连杆D31与连杆C29通过转动副E30相连，故连杆D31也会转动，而3RRR并联平台14与连杆D31通过转动副F32相连，因此3RRR并联平台14会随之转动，X’Y’Z’为3RRR并联机构3的静坐标系，与3PRRR并联平台12的坐标系重合，X”Y”Z”为3RRR并联机构3的动坐标系，3RRR并联平台14可实现绕X”轴的转动、绕Y”轴的转动和绕Z”轴的转动。

相机支架17两侧对称设置有两个旋转螺栓33，旋转螺栓33与胶皮垫34同轴线相连，胶皮垫34的第一端与旋转螺栓33固连，胶皮垫34的第二端与相机18弹性接触。通过旋转螺栓33、胶皮垫34，方便调整相机18的视角范围为混联机构内部，并正对标定板。控制器终端2固连于型材框架上，用于输入标定板参数、控制电机9、舵机16运动。

对相机进行标定：

第一步：将十二个型材6、三个滑轨7、三个丝杠8、三个电机9、三个机械臂10、三个滑块11、一个3PRRR并联平台12、一个3RRR并联平台14、三个齿轮15、三个舵机16、一个相机支架17以及一个相机18以及一个控制器终端2组装为一个如图1的混联机构，并在相机支架17上对相机18进行安装，最后再将相机18标定所需的标定板安装于3RRR并联平台14，调整相机18视角，使相机18的视角包括了3RRR并联平台14的大部分活动范围。

第二步：对控制器终端2手动输入相机18标定所需的标定板的棋盘格数量、棋盘格大小、相机视角和目标的误差阈值。

第三步：移动平台从第一位置12至第二位置19处，记录移动过程中的图像和各个图像间的平移矩阵t和旋转矩阵R，通过3RRR并联平台14的移动和旋转，使相机18采集更多的图像，获得的图像至少大于等于6张，进行标定，并且同时记录每张图像间的平移矩阵t和旋转矩阵R。该数据由混联机构运动反馈获得，并且对每张图像的棋盘格角点进行挑选排除掉误差较大的角点。

首先提取角点附近的像素组成一个N×N的区域，其中N由用户设定，一般取值在3～9之间，对于不同角点的N×N区域的像素值用V_ij(I，J)来表示，其中i、j为采集到的图像中角点的序号，为第i行和j列的角点；而I、J为N×N这个区域中的第几行第几列，所以V_ij(I，J)表达意思为在以第i行和j列的角点为中心的N×N区域中的第I行J列点的像素值。之后计算不同角点N×N区域内的零阶矩和1阶矩如下：

零阶矩：

一阶矩：

质心：

表达式(2)中的[X_cij，Y_cij]为这个N×N区域的质心坐标，检测出的角点在图像的像素坐标为[X_ij，Y_ij]。

计算整张图像中的每个角点像素坐标相对于质心坐标的欧式距离：

之后求出一张图像所有欧式距离的均值，如图对于棋盘图角点处应当是高度对称的，但因为存在角点检测误差，所以实际计算检测出的角点区域的质心不会完全处于该区域质心位置处，所以通过计算欧式距离可以得知该检测出的角点实际与质心偏差距离，使用表达式(4)求得一张图像中所有偏差距离的平均值means，剔除出大于均值的点，保留下均值以内的点，再将保留下来的点带入到相机标定过程中。

第四步：将步骤3提取到的角点带入相机标定过程，对于相机标定主要标定相机的焦距f，像素在x方向和y方向的大小dx和dy，图像中心u₀、v₀，根据相机的数学模型：

其中，X_w，Y_w，Z_w是标定板上的世界坐标，

和

为相机相对于标定板的旋转矩阵和平移矩阵，所以可以得到标定板相对于相机的变换矩阵为，而u和v为像素点坐标，所以通过提取标定板角点，计算角点到相机的投影，从而可以求得

f、dx、dy、u₀、v₀：

其中，u和v为像素点坐标，f为焦距，dx和dy为单个像素点大小单位，u₀和v₀为图像中心，

和

为相机相对于标定板的旋转矩阵和平移矩阵，X_w、Y_w、Z_w是标定板上的世界坐标，Z_c为标定板在相机中的深度，0^T为零向量，P(u,v)为图像中角点的像素坐标，

为重映射以后角点的像素坐标。

获得标定板相对于相机的坐标

第p张标定板图像中标定板相对于相机的三维坐标

为

设第q张标定图相对于相机坐标：

其中第p张和第q张标定板间的变换矩阵

由混联机构反馈获得。

可以得到：

所以可以得到：

所以可以推出：

loss2代表使用第p张标定图和第q张标定图间的对应角点映射误差，通过使用他们之间的变换矩阵

进行进一步拟合，在传统的标定拟合基础上加入该函数进行评估，可以提高拟合精度和稳定性。

构建所有的代价函数L为：

之后在控制器终端2使用牛顿法进行数值求解，其中α和β为权重参数用户设定，α+β＝1，且α＞0β＞0。

第五步：将标定结果的误差阈值与步骤2中设定的误差阈值进行比较，若大于该误差阈值则执行继续执行步骤3，若小于该误差阈值则结束标定过程，输出标定参数：相机的焦距、像素大小、畸变系数。

以上所述的实施例仅是对本发明的优选实施方式进行描述，并非对本发明的范围进行限定，在不脱离本发明设计精神的前提下，本领域普通技术人员对本发明的技术方案做出的各种变形和改进，均应落入本发明权利要求书确定的保护范围内。

Claims (7)

1.一种基于混联机构的相机自动标定系统，其包括3PRRR并联机构、控制器终端、3RRR并联机构、型材框架、相机、相机支架和相机标定板，其特征在于，

所述3PRRR并联机构中三条PRRR分支的两端分别与型材框架、3PRRR并联平台相连，3RRR并联机构中三条RRR分支的两端分别与3PRRR并联平台、3RRR并联平台相连，两个并联机构以串联形式构成六自由度混联机构；

所述3PRRR分支包括滑轨、滑块、转动副A、连杆A、转动副B和连杆B，滑块的第一端与丝杠相连且能与滑轨构成移动副，滑块的第二端通过转动副A与连杆A的第一端相连，连杆A的第二端通过转动副B与连杆B的第一端相连，连杆B的第二端通过转动副C与3PRRR并联平台相连；

所述RRR分支包括连杆C、转动副E、连杆D和转动副F，所述连杆C的第一端与转动副D相连，连杆C的第二端通过转动副E与连杆D的第一端相连，所述连杆D的第二端通过转动副F与3RRR并联平台相连，相机标定板固定于3RRR并联平台；

所述转动副D内嵌套有多层圆管与滑动轴承，其与三个从动齿轮同轴线装配，三个从动齿轮分别与三个主动齿轮啮合，三个齿轮分别通过三个舵机驱动；

所述相机支架两侧对称设置有两个旋转螺栓，旋转螺栓与胶皮垫同轴线相连，胶皮垫的第一端与旋转螺栓固连，胶皮垫的第二端与相机弹性接触。

2.根据权利要求1所述的基于混联机构的相机自动标定系统，其特征在于，所述型材框架为长方体，其包括十二个型材，且相邻的三个型材间互相垂直，相邻型材间通过型材上的条形凹槽和螺丝螺母连接进行固定；所述控制器终端固连于型材框架上。

3.根据权利要求1所述的基于混联机构的相机自动标定系统，其特征在于，三组滑轨、丝杠分别安装于型材框架的长边、宽边和高边上，丝杠与电机同轴线相连，型材框架的长边、宽边和高边相互垂直。

4.根据权利要求1所述的基于混联机构的相机自动标定系统，其特征在于，X’Y’Z’为3PRRR并联平台的坐标系，X”Y”Z”为3RRR并联平台的坐标系，通过控制器终端控制三个电机，3PRRR并联平台能实现沿X’方向移动、沿Y’方向移动和沿Z’方向移动，3RRR并联平台能实现绕X”轴的转动、绕Y”轴的转动和绕Z”轴的转动。

5.一种根据权利要求1至4任一项所述基于混联机构的相机自动标定系统的相机自动标定方法，其特征在于，其包括以下步骤：

第一步：将标定板安装于SRRR并联平台上，调整相机支架上的螺栓，使相机的视角正对SRRR并联平台；

第二步：对控制器终端手动输入相机标定所需的标定板的棋盘格数量、棋盘格大小、相机视角和目标的误差阈值；

第三步：将SRRR并联平台从第一位置移动至第二位置处，通过SRRR并联平台的移动和旋转，使相机采集6张以上的图像，同时记录每张图像间的平移矩阵t和旋转矩阵R，排除各图像中误差较大的棋盘格角点；

第四步：使用代价函数

对相机参数进行拟合，其中，α和β为权重参数、N为总共采集到的图像总数、loss1为世界坐标系下的角点映射到相机的像素坐标系下的重映射误差、loss2为使用第p张标定图和第q张标定图间对应角点映射误差，

其中，u和v为像素点坐标，f为焦距，dx和dy为单个像素点大小单位，u₀和v₀为图像中心，

和

为相机相对于标定板的旋转矩阵和平移矩阵，X_w、Y_w、Z_w是标定板上的世界坐标，Z_c为标定板在相机中的深度，0^T为零向量，P(u,v)为图像中角点的像素坐标，

为重映射以后角点的像素坐标，Z_cp为第p张图像在相机坐标系下角点的深度，u_q和v_q为第q张图像中角点的像素坐标，

和

为第q张图像中角点的世界坐标系到相机坐标系下的旋转矩阵和平移矩阵，

和

为第p张图像和第q张图像间的旋转矩阵和平移矩阵由混联六自由度平台反馈得到；

第五步：将标定结果的误差阈值与步骤2中设定的误差阈值进行比较，若大于该误差阈值则执行继续执行步骤3，若小于该误差阈值则结束标定过程，输出标定参数：相机的焦距、像素大小、畸变系数。

6.根据权利要求5所述的相机自动标定方法，其特征在于，所述步骤三中，角点挑选过程原理：对每张图像的角点处进行划分为N×N的区域，并分析每个区域的质心[X_cij，Y_cij]，求得角点坐标和质心的欧式距离，并求得整张图像的所有角点的欧式距离的平均值，剔除出大于平均值的，将小于平均值的角点保留下来作为标定数据。

7.根据权利要求5所述的相机自动标定方法，其特征在于，所述loss2的计算过程为：通过使用机构移动过程中记录的第p张和第q张标定板图像的变换矩阵

对每张图像的标定板坐标到相机坐标变换：

得到第p张和第q张标定板图像在相机坐标系下的变换关系：

代入相机的数学模型，将角点通过图像像素坐标系投影到相机坐标系：

再对该点投影进行评估组成loss2，其中，

为标定板相对于相机的三维坐标，

为第p张标定板图像中标定板相对于相机的三维坐标。

Images