CN109102546A

CN109102546A - 一种基于多标定板的机器人相机的标定方法

Info

Publication number: CN109102546A
Application number: CN201810774620.9A
Authority: CN
Inventors: 赖钦伟
Original assignee: Zhuhai Amicro Semiconductor Co Ltd
Current assignee: Zhuhai Amicro Semiconductor Co Ltd
Priority date: 2018-07-16
Filing date: 2018-07-16
Publication date: 2018-12-28

Abstract

本发明公开一种基于多标定板的机器人相机的标定方法，用于实现机器人相机的内参的校准，包括：S1、在各个预置方向上放置一个标定板；S2、控制机器人从初始位置出发，运动到当前预置方向上的标定板前方，预设位置处自转让机器人相机从不同角度拍摄该标定板；S3、判断机器人相机是否拍摄完所述预设数量的标定板不同位姿的图像，是则进入S5，否则进入S4；S4、控制机器人运动到下一个预置方向上的标定板前，然后在原位置自转使得机器人相机拍摄得到完整的位姿不同的标定板图像；S5、计算出相机内参实现校准；相对于现有技术，本发明通过机器人自身运动拍摄标定板的不同位姿的图像，完成机器人相机的内参的校准，减少了人力参与调节标定板。

Description

一种基于多标定板的机器人相机的标定方法

技术领域

本发明涉及一种摄像机的标定方法，尤其涉及一种基于多标定板的机器人相机的标定方法。

背景技术

基于视觉的导航技术，一个很重要的部分是摄像头的校准，只有参数校准的摄像头，外部景物投影到图像传感器上面图像才能做精确的导航计算。相机的参数分为内参和外参，内参指相机的焦距、畸变、中心点等这几个内容；外参主要指相机相对于机器的空间位移和旋转角度。由于相机本身的参数不能保证一致性，同时安装也存在一致性问题，因此，为了保证视觉计算的精确度，每个机器人都需要进行相机的内外参的校准。然而，现有的机器人视觉系统标定方法普遍存在先决条件多、复杂程度高、计算量大的缺点，在实际生产应用中不能实现简便快捷标定的要求，费事费力。

发明内容

一种基于多标定板的机器人相机的标定方法，用于实现机器人相机的内参的校准，该标定方法包括：

步骤一、以机器人初始位置为参考点设置预设数量的预置方向，并在各个预置方向上放置一个标定板，使得机器人相机在拍摄其中一个预置方向上的标定板的过程中图像不出现其他方向上的标定板，然后进入步骤二；其中各个标定板相对机器人相机的高度不同，但各个标定板使用完全相同的棋盘格；

步骤二、控制机器人从初始位置出发，运动到当前预置方向的标定板前方的预设位置处自转让机器人相机从不同角度拍摄该标定板，使得所拍摄的图像覆盖到机器人相机的成像平面的有效区域且不同图像中出现完整的位姿不同的标定板，再返回初始位置，然后进入步骤三；

步骤三、判断机器人相机是否拍摄完所述预设数量的标定板不同位姿的图像，是则进入步骤五，否则进入步骤四；

步骤四、控制机器人运动到下一个预置方向上的标定板前方的预设位置处自转让机器人相机从不同角度拍摄该标定板，使得所拍摄的图像覆盖到机器人相机的成像平面的有效区域且不同图像中出现完整的位姿不同的标定板，再返回初始位置，并进入步骤三；

步骤五、根据前述步骤机器人相机拍摄的图像信息计算出相机内参，从而实现校准；

其中每次进入步骤四中，所述下一个预置方向都是以机器人初始位置为参考点设置的不同方向；所述有效区域是机器人相机的成像平面有效的接收投影图像的成像平面区域；所述机器人相机与机器人的机身保持刚体连接关系。

进一步地，步骤一中，所述机器人初始位置与所述标定板的距离的数值设置为1400mm、1500mm或1800mm，其中所述距离数值的设置与所述标定板相对机器人相机的高度相关。

进一步地，步骤一中，所述预设数量的数值设定为2或大于4。

进一步地，步骤二中的所述标定板所在平面与所述机器人相机的成像平面的夹角，与步骤四中的所述标定板所在平面与所述机器人相机的成像平面的夹角不同。

进一步地，步骤二和步骤四中，所述自转是机器人在所述预设位置处先顺时针转动使得机器人相机的成像平面上对应投影区域出现完整的不同位姿的标定板，再逆时针转动使得机器人相机的成像平面上对应投影区域出现完整的不同位姿的标定板；或者所述旋转是机器人在所述预设位置处先逆时针转动使得机器人相机的成像平面上对应投影区域出现完整的不同位姿的标定板，再顺时针转动使得机器人相机的成像平面上对应投影区域出现完整的不同位姿的标定板。

进一步地，步骤五中，机器人相机所拍摄的图像通过所述机器人内置的算法模型计算出相机内参；或者通过无线或者有线传输的方式发送给电脑主机中进行运算。

进一步地，步骤五中，所述计算出相机内参的过程包括：检测提取每一张机器人相机所拍摄的图像的角点；计算机器人相机的内参矩阵；通过非线性优化机器人相机的内参矩阵。

相对于现有技术，本发明在标定板固定不动的情况下，通过机器人自身运动拍摄标定板的不同位姿的图像，完成机器人相机的内参的校准，减少了人力参与调节标定板，具有简单快捷、灵活性强的优点。

附图说明

图1为本发明实施提供的一种基于多标定板的机器人相机的标定方法流程图；

图2为本发明实施例中标定板与机器人的相对位置的示意图；

图3为本发明实施例中各坐标系的定义的示意图；

图4为本发明实施例中机器人相机采集的标定板的不同位姿的图像。

具体实施方式

下面结合附图对本发明的具体实施方式作进一步说明：

一种基于多标定板的机器人相机的标定方法，用于实现机器人相机的内参的校准，如图1所示，该标定方法包括：

S1、以机器人初始位置为参考点设置预设数量的预置方向，并在各个预置方向上放置一个标定板，使得机器人相机在拍摄其中一个预置方向上的标定板的过程中，其图像不出现其他方向上的标定板，然后进入步骤S2；其中各个标定板相对机器人相机的高度不同，但各个标定板使用完全相同的棋盘格。在本发明实施例中，如图2所示，机器人的初始位置标记为105，在位置105的四个方向上的分别放置高度不同而表面棋盘格相同的标定板，这四个放设标定板的位置分别标记为101、102、103和104。机器人在拍摄其中一个预置方向上的标定板的过程中进行自转，使得机器人相机拍摄到该标定板在相应高度下的不同位姿图像。

具体地，本发明实施所使用的标定板如图2所示，黑白方格数为9*8，边长为10mm。这里不限于黑白格标定板，具有一定明显图形模式，且易于识别的平面物体均可，因为黑白格标定板比较常见，对黑白格顶点的定位精度较高，有助于提高后续测量的精度。如图3所示，定义相关坐标系：定义相机坐标系OC、位置103世界坐标系OW，其中OC、OW均为右手坐标系。OW坐标系的原点定义为标定板的左上角顶点，X轴方向为由原点沿着棋盘格的边向下（此处的棋盘格为了简化说明仅画成白色的表格块），Y轴方向为由原点沿着棋盘格的边向右，Z轴方向为垂直于XOY平面指向机器人相机。

S2、控制机器人从初始位置出发，运动到当前预置方向的标定板前方的预设位置处自转让机器人相机从不同角度拍摄该标定板，使得所拍摄的图像覆盖到机器人相机的成像平面的有效区域且不同图像中出现完整的位姿不同的标定板，再返回初始位置。如图2所示，作为本发明实施的一种实施例，位置102作为当前预置方向上的标定板的放设位置，控制机器人从初始位置105出发沿着路线20，运动到位置103处的标定板前方的位置106，此时机器人相机正对标定板，然后机器人朝方向21自转角度a1，机器人机身在自转过程中机器人相机拍摄位置102的标定板的不同位姿，投影到机器人成像平面对应一侧的有效区域上；接着机器人自转使得机器人相机重新正对标定板，然后朝方向22转动角度a2，机器人机身在自转过程中机器人相机拍摄位置102的标定板的不同位姿，投影到机器人成像平面对应的另一侧的有效区域上；从而实现不同角度拍摄该标定板的目的，从而采集到该标定板不同位姿的图像，使得所拍摄的图像覆盖到机器人相机的成像平面的各个方向上的有效区域内，并确保不同图像中出现完整的位姿不同的标定板。然后沿着路线23返回初始位置105，并进入步骤S3。

S3、判断机器人相机是否拍摄完所述预设数量的标定板不同位姿的图像，是则进入步骤五，否则进入步骤四；

具体地，当存在有N个角点和K个棋盘图像（不同位置），K个棋盘，可以提供2NK的约束，即2NK的方程。（乘以2是因为每个点都由x和y两个坐标值组成）忽略每次的畸变，那么需要求解4个内参数和6K个外参数。（因为对于不同的视场，6个外参数是不同的）那么有解的前提是方程的总数应该大于等于未知参数的总数即2NK>=6K+4,或者写成(N-3)K>=2。

在本发明实施中，令N=4,K=4，代入到上述不等式，是满足不等式，这就是意味着4个视场和仅带有5个内角点的棋盘就可以求解出10个参数。为了描述投影视场的所有目标只需要4个点，即一次性在四个方向上延展正方形的边，把它变成任意四边形。因此，无论一个平面上检测到多少个角点，只能得到4个有用的角点信息。当机器人相机拍摄一个3×3大小的棋盘，有4个内角点。对于每一个视场，仅能给出4个有用的角点信息，那么上述的公式中N就约束为4，即公式变为(4-3)K>=2，即K>=2，即要求解10个参数最少需要两个视场。考虑到噪声和数值稳定性要求，对大棋盘需求收集更多的图像。为了得到高质量结果，至少需要4幅9×8或者更大棋盘的图像（而且只在移动棋盘在不同图像中足够大以从视场图像中得到更加丰富的信息）。所以所述预设数量的数值设定为2或大于4。

S4、控制机器人运动到下一个预置方向上的标定板前方的预设位置处自转让机器人相机从不同角度拍摄该标定板，使得所拍摄的图像覆盖到机器人相机的成像平面的有效区域且不同图像中出现完整的位姿不同的标定板，再返回初始位置，并进入步骤三；如图2所示，结束位置102的拍摄任务后，机器人从初始位置105出发，沿着路线30运动到达的下一个预置方向上的标定板的放设位置103；依此类推，离开位置103后返回初始位置105，然后运动到达下一个预置方向上的标定板的放设位置101前方的预设位置进行拍摄；离开位置101后返回初始位置105，再运动到达的下一个预置方向上的标定板的放设位置104前方的预设位置进行拍摄，直到机器人相机拍摄完所述预设数量的标定板不同位姿的图像。具体地，其中，每次进入步骤四中，所述下一个预置方向都是以机器人初始位置105为参考点设置的不同的所述预置方向；所述有效区域是机器人相机的成像平面有效的接收投影图像的成像平面区域；所述机器人相机与机器人的机身保持刚体连接关系，机器人的机身自转过程中，所述机器人相机也发生相应的转动，实现从不同角度拍摄固定在同一位置的标定板，从而获得同一标定板的不同位姿图像。

如图2所示，当控制机器人运动到位置103处的标定板前方的预设位置107处，此时机器人相机正对标定板，然后机器人机身朝方向31自转角度a3，机器人机身在自转过程中机器人相机拍摄位置103的标定板的不同位姿，投影到机器人成像平面对应一侧的有效区域上；接着机器人自转使得机器人相机重新正对标定板，然后朝方向32转动角度a4，机器人机身在自转过程中机器人相机拍摄位置103的标定板的不同位姿，投影到机器人成像平面对应的另一侧的有效区域上；从而实现不同角度拍摄该标定板的目的，从而采集到该标定板不同位姿的图像，使得所拍摄的图像覆盖到机器人相机的成像平面的各个方向上的有效区域内，并确保不同图像中出现完整的位姿不同的标定板。然后沿着路线33返回初始位置105，并进入步骤S3。

S5、根据前述步骤机器人相机拍摄的图像信息，依次计算单应性矩阵、内参矩阵、最后非线性优化，从而实现校准。上述计算方法皆为机器人视觉领域技术人员惯用的计算参数方法，作为本发明的一种实施例，可以调用MATLAB的MATLAB的相机标定箱完成角点提取后，点击校正工具箱上的Calibration按钮来运行主要校正步骤，最优化完成后，保存校正的结果，得到的相机参数。

优选地，步骤S1中，所述机器人初始位置105与位置101、102、103、104处的所述标定板的距离数值可设置为1400mm、1500mm或1800mm，其中所述距离数值的设置与所述标定板相对所述机器人相机的高度相对应，使得所述机器人相机的视角能拍摄到所述标定板的完整图像，同时也避免机器人从初始位置105运动时与所述标定板发生碰撞。

所述步骤S2中的所述标定板所在平面与所述机器人相机的成像平面的夹角，与步骤四中的所述标定板所在平面与所述机器人相机的成像平面的夹角不同。在本发明实施例中，结合图2和图3可知，位置101、位置102、位置103和位置104这四个放设标定板的视场位置处，各个位置上的标定板所在平面与移动到对应标定板位置处的所述机器人相机的成像平面的夹角不同，这是由位置101、位置102、位置103和位置104处的标定板设定的高度所限定的，以满足移动到对应标定板位置处的所述机器人相机的拍摄视角的对标定板的完整覆盖的要求，同时从不同视场图像中得到更加丰富的信息，如图4所示。其中上述四个位置上标定板相对于相机的外参[Rc Tc]也是不同的。

优选地，步骤二和步骤四中，所述自转是机器人在所述预设位置处先顺时针转动使得机器人相机的成像平面上对应投影区域出现完整的不同位姿的标定板，再逆时针转动使得机器人相机的成像平面上对应投影区域出现完整的不同位姿的标定板；或者所述旋转是机器人在所述预设位置处先逆时针转动使得机器人相机的成像平面上对应投影区域出现完整的不同位姿的标定板，再顺时针转动使得机器人相机的成像平面上对应投影区域出现完整的不同位姿的标定板。结合图2和图3可知，所述机器人相机拍摄处于位置103的标定板时，机器人从位置106开始自转运动，先朝着方向21自转角度a1，再朝着方向22自转角度a1+a2,边拍摄边转动,所述机器人相机拍摄位置103处标定板的角度在所述机器人自转而发生变化，则投影到所述机器人相机的成像平面上的区域也不同，则得到位置103的标定板的不同位姿的图像信息。依次类推，控制机器人在位置102、位置103和位置104这三个放设标定板的视场位置处按照上述方法边自转边拍摄过程中也存在类似的成像变化规律，只是对应的标定板的高度不同，但使得最后所拍摄到的所有的标定板图像能覆盖到所述机器人相机成像平面的各个方向的有效区域，且不同图像中出现完整的位姿不同的标定板，如图4所示。从而进一步提高相机标定的精度，减少拍摄的标定板图像受其他噪声因素的影响。

优选地，步骤五中，机器人相机所拍摄的图像通过所述机器人内置的算法模型计算出相机内参；或者通过无线或有线传输的方式发送给电脑主机中，调用MATLAB的相机标定箱计算出相机内参；其中所述算法模型由MATLAB的相机标定箱生成的嵌入式C/C++算法函数，集成到所述机器人主控内置的工程项目中。

优选地，所述计算出相机内参的过程包括：

检测提取每一张机器人相机所拍摄的图像的角点，获取每一个标定板视场的相应角点的坐标信息；

计算机器人相机的内参矩阵；对于每一个棋盘视场，在相应的标定板平面上的点和其像点之间建立得到一个单应性映射矩阵H。单应性映射矩阵H是物理变换（旋转、平移）和相机内参数组成。求解机器人相机的内参，首先分解这个H，能够从中分解出这些成分。根据获取的角点个数构成的方程组，结合旋转矩阵的正交性和一致性，求解出相机的内参数，可以通过最小二乘法求解；当然可以直接采用MATLAB 软件计算。

由于得到的机器人相机的内参数矩阵都只是一个粗糙解，没有具体的物理意义，可以通过建立代价函数求解相关参数的最优解的结果，从而实现机器人相机的内参数非线性优化。

以上计算实施的具体方程及其求解过程皆为常规的方法，在这里不再赘述。

以上实施例仅为充分公开而非限制本发明，凡基于本发明的创作主旨、未经创造性劳动的等效技术特征的替换，应当视为本申请揭露的范围。

Claims

1.一种基于多标定板的机器人相机的标定方法，用于实现机器人相机的内参的校准，其特征在于，该标定方法包括：

2.根据权利要求1所述标定方法，其特征在于，步骤一中，所述机器人初始位置与所述标定板的距离的数值设置为1400mm、1500mm或1800mm，其中所述距离数值的设置与所述标定板相对机器人相机的高度相关。

3.根据权利要求1所述标定方法，其特征在于，步骤一中，所述预设数量的数值设定为2或大于4。

4.根据权利要求1所述标定方法，其特征在于，步骤二中的所述标定板所在平面与所述机器人相机的成像平面的夹角，与步骤四中的所述标定板所在平面与所述机器人相机的成像平面的夹角不同。

5.根据权利要求1所述标定方法，其特征在于，步骤二和步骤四中，所述自转是机器人在所述预设位置处先顺时针转动使得机器人相机的成像平面上对应投影区域出现完整的不同位姿的标定板，再逆时针转动使得机器人相机的成像平面上对应投影区域出现完整的不同位姿的标定板；或者所述旋转是机器人在所述预设位置处先逆时针转动使得机器人相机的成像平面上对应投影区域出现完整的不同位姿的标定板，再顺时针转动使得机器人相机的成像平面上对应投影区域出现完整的不同位姿的标定板。

6.根据权利要求1所述标定方法，其特征在于，步骤五中，机器人相机所拍摄的图像通过所述机器人内置的算法模型计算出相机内参；或者通过无线或者有线传输的方式发送给电脑主机中进行运算。

7.根据权利要求1所述标定方法，其特征在于，步骤五中，所述计算出相机内参的过程包括：检测提取每一张机器人相机所拍摄的图像的角点；计算机器人相机的内参矩阵；通过非线性优化机器人相机的内参矩阵。