CN1292878C - 一种基于机器人运动的摄像机自标定方法 - Google Patents

Abstract

一种基于机器人运动的摄像机自标定方法，采用单特征点，基于机器人的运动对摄像机进行自标定。摄像机装在工业机器人的末端，选择摄像机视野中的一点作为特征原点，在不改变末端姿态的情况下任意移动机器人末端。末端多次运动后，相当于机器人不动但有了多个特征点。利用最小二乘法得摄像机的内参数和相对特征原点的外参数。然后改变机器人的末端姿态，由摄像机光轴中心和成像平面上的成像点，得到一条空间直线。在机器人处在不同位姿时，可以获得多条空间直线，利用这些直线的交点标定出特征原点在机器人基坐标系中位置，从而计算出摄像机相对于机器人末端的外参数。本发明能降低对摄像机主动运动轨迹的限制，实现对摄像机较高精度的标定。

Description

一种基于机器人运动的摄像机自标定方法

技术领域

本发明涉及机器人视觉控制领域中的摄像机标定技术，具体地说是用于获得摄像机内外参数的一种方法。

背景技术

传统上利用标定参照物-靶标对摄像机进行标定，具体而言是在摄像机前放置一个已知形状与尺寸的标定参照物，通过测量参照物在图像平面的成像位置，计算摄像机的内、外参数。在实际应用中，许多情况下不允许在环境中放置特定的标定参照物，因此，不需要特定的标定参照物的摄像机标定技术(即自定标技术)越来越受到重视，该技术在机器人手-眼系统和头-手系统中具有广泛地应用前景。

目前的摄像机自标定技术，存在的缺陷是对摄像机运动的限制比较严格。如Ma提出的方法，通过摄像机在三维空间内作两组平移运动，其中包括三次两两正交的平移运动，并控制摄像机的姿态进行自定标(参见“Ma S D.A Self-calibration Technique for Active Vision System.IEEE Transaction on Robotics & Automation，第12卷，第1期，第114~120页，1996年。”)。该方法避免了借助于固定参照物，并且实现了线性求解摄像机内参数。又如Hartley等采用了摄像机围绕特定轴转动的方法，实现摄像机的自定标(参见“Hartley R.Self-calibration ofStationary Cameras.International Journal of Computer Vision.第229卷，第1期，第2~5页，1997年。”)。

发明内容

本发明的目的在于提供一种能够克服上述不足、提高可用性的摄像机自标定技术。

为达到上述目的，本发明的技术解决方案是提供一种基于机器人运动的摄像机自标定方法，其特征在于，采用单特征点，基于机器人的运动对摄像机进行自标定。

所述的方法，其包括下列步骤：

a)首先标定出摄像机的内参数和相对于特征原点的外参数；b)然后标定出特征原点在机器人基坐标系中位置；c)从而计算出摄像机相对于机器人末端的外参数。

所述的方法，其所述a)步中，在不改变末端姿态的情况下任意移动机器人末端，带动摄像机移动，标定出摄像机的内参数和相对于特征原点的外参数。

所述的方法，其所述b)步中，任意改变机器人的末端姿态，标定出特征原点在机器人基坐标系中位置。

所述的方法，其摄像机安装在工业机器人的末端。

所述的方法，其可以同时对多个摄像机进行标定。

本发明的突出特点是采用单特征点，基于机器人的运动对摄像机进行自标定。本发明的另一个突出特点是首先标定出摄像机内参数和相对于特征原点的外参数，然后标定特征原点在机器人基坐标系中位置，计算出摄像机相对于机器人末端的外参数。

本发明与已有的摄像机自标定技术的不同在于：

摄像机安装在工业机器人的末端，选择摄像机视野中的一点作为特征原点，在不改变末端姿态的情况下任意移动机器人末端，带动摄像机移动。记录机器人末端的运动量，采集特征原点的图像并记录其图像坐标，这些数据构成一个特征点的特征参数。当机器人末端多次运动后，相当于机器人不动但具有了多个特征点。利用公知的最小二乘法可以获得摄像机的内参数M₁和相对于特征原点的外参数M₂。

然后，改变机器人的末端姿态，采集特征原点的图像并记录其图像坐标，记录机器人的末端位姿。重新设定机器人的末端姿态，使之与前一次的姿态有较大变化，采集图像，记录机器人的末端位姿。至少采集三组图像，记录三组末端姿态。由摄像机光轴中心和成像平面上的成像点，可以得到一条空间直线，而特征原点必然在该直线的延长线上。在机器人处在不同位姿时，可以获得多条这样的空间直线，这些直线的交点即为特征原点。

$\left\{\begin{array}{c}x=x_{\mathrm{ci}0}+(x_{\mathrm{ci}1}-x_{c10})t_i\\ y=y_{\mathrm{ci}0}+(y_{\mathrm{ci}1}-y_{c10})t_i\\ z=z_{\mathrm{ci}0}+(z_{\mathrm{ci}1}-z_{c10})t_i\end{array}\right.\⇒\left\{\begin{array}{c}x-t_{i11}{b}_x-t_{i12}{b}_y-t_{i13}{b}_z-b_{i1}{t}_i=c_{i14}\\ y-t_{i21}{b}_x-t_{i22}{b}_y-t_{i23}{b}_z-b_{i2}{t}_i=c_{i24}\\ z-t_{i31}{b}_x-t_{i32}{b}_y-t_{i33}{b}_z-b_{i3}{t}_i=c_{i34}\end{array}\right.$

其中，t_i为第i条直线方程的自变量，t_i11~t_i33为机器人的末端姿态所决定的参数，b_i1~b_i3和c_i14~c_i34为由特征原点的图像坐标、摄像机的内参数和相对于特征原点的外参数所决定的参数，(b_x，b_y，b_z)为特征原点在基坐标系下的坐标。可以将(x，y，z)和(b_x，b_y，b_z)等价，也可以分别对待。

利用摄像机的内参数、特征原点的图像坐标和机器人的末端姿态，计算出特征原点在机器人基坐标系中位置后，通过平移变换容易计算出摄像机相对于机器人末端的外参数：

$T_m=T_{60}^{-1}{T}_b{T}_{p0}$

其中， $T_{p0}=M_2^{-1},$ T₆₀为首次采集特征原点图像时机器人末端的位姿，T_b为特征原点的平移变换矩阵， $T_b=\left[\begin{array}{cc}I& b\\ 0& 1\end{array}\right],$ b＝[b_x b_y b_z]^T。

由于外参数矩阵的姿态部分R不是正交矩阵，导致外参数具有较大误差。以获得的内外参数作为初值，利用梯度下降法，只需要几十次迭代即可精确求取摄像机的内外参数。

本发明减少了对摄像机主动运动轨迹的限制，更具有普遍性。标定摄像机的内参数和相对于特征原点的外参数时，不限定为正交运动；标定特征原点在机器人基坐标系中的位置时，只要运动姿态变化较大即可，对运动没有其它限制。

实验证明，本发明能够实现对摄像机较高精度的标定，可以满足机器人视觉测量的需要。

附图说明

图1为摄像机在工业机器人末端的安装示意图。

具体实施方式

请参阅图1。在实施例1中，两台摄像机安装在Yaskawa K10的末端，摄像机为WATEC505黑白工业摄像机。实验时，计算机采用工业控制计算机ADVANTECH-610，加装图像采集卡MC-30。按照本发明对摄像机进行了标定，标定结果如下：

摄像机1的内参数和相对于机器人末端的外参数

$T_{r1}=\left[\begin{array}{ccc}2642.2& 0& 335.4\\ 0& 2676.6& 354.6\\ 0& 0& 1\end{array}\right],T_{m1}=\left[\begin{array}{cccc}-0.9840& -0.0565& 0.1691& -89.1795\\ 0.0579& -0.9983& 0.0032& 154.9566\\ 0.1686& 0.0129& 0.9856& -6.5680\\ 0& 0& 0& 1\end{array}\right]$

摄像机2的内参数和相对于机器人末端的外参数

$T_{r1}=\left[\begin{array}{ccc}2657.3& 0& 398.2\\ 0& 2665.6& 404.8\\ 0& 0& 1\end{array}\right],T_{m1}=\left[\begin{array}{cccc}-0.9476& -0.0021& -0.3194& 109.7743\\ 0.0140& -0.9993& -0.0353& 147.1714\\ -0.3191& -0.0379& 0.9470& 9.4085\\ 0& 0& 0& 1\end{array}\right]$

外参数中的位置以mm为单位。

在实施例2中，摄像机为MINTRON彩色摄像机，计算机采用工业控制计算机ADVANTECH-610，加装图像采集卡MC-30。按照本发明对摄像机进行了标定，标定结果如下：

摄像机内参数为 $T_r=\left[\begin{array}{ccc}2030.0& 0& 809.6\\ 0& 2083.4& 279.3\\ 0& 0& 1\end{array}\right],$

摄像机外参数为 $T_m=\left[\begin{array}{cccc}0.9087& 0.0069& 0.4175& 10.0097\\ -0.0215& 0.9993& 0.0302& -410.5238\\ -0.4170& -0.0364& 0.9082& 169.7820\\ 0& 0& 0& 1\end{array}\right]$

外参数中的位置以mm为单位。

实施例1标定的摄像机已应用于弧焊机器人的焊缝跟踪。实施例2标定的摄像机已应用于移动机器人的定位导航。

Claims (3)

1.一种基于机器人运动的摄像机自标定方法，其特征在于，采用单特征点，基于机器人的运动对摄像机进行自标定；其包括下列步骤：

a)首先标定出摄像机的内参数和相对于特征原点的外参数，在不改变末端姿态的情况下任意移动机器人末端，带动摄像机移动，标定出摄像机的内参数和相对于特征原点的外参数；

b)然后标定出特征原点在机器人基坐标系中位置，任意改变机器人的末端姿态，标定出特征原点在机器人基坐标系中位置；

c)从而计算出摄像机相对于机器人末端的外参数。

2.如权利要求1所述的方法，其特征在于，摄像机安装在工业机器人的末端。

3.如权利要求1所述的方法，其特征在于，可以同时对多个摄像机进行标定。