CN103020957A - 移动机器人机载摄像机位置标定方法 - Google Patents

Abstract

本发明提出了一种移动机器人机载摄像机位置标定方法，此方法属于摄像机位置标定技术。该方法通过设置天花板标志点，旋转移动机器人固定的角度并拍摄标志点图像，提取标志点像素坐标，从而准确的标定出机载摄像机相对于移动机器人的位置。

Description

移动机器人机载摄像机位置标定方法

技术领域

本发明属于摄像机的位置标定技术，用于精确标定机载摄像机相对于移动机器人的位置。

背景技术

移动机器人安装有各种传感器，如声纳、激光测距、GPS、摄像机等。所有的这些传感器中，摄像机具有环境感知信息丰富，价格低廉的优势，因此被广泛应用。通过提取视觉图像中感兴趣的特征，可以利用摄像机实现移动机器人的目标跟踪、地图构建、避障、定位等功能。由图像提取获得的特征信息的描述都是基于摄像机坐标系。为了更准确的控制移动机器人，需要将获得的特征信息由摄像机坐标系转化到机器人坐标系。

在当前的研究中，一般都假设摄像机坐标系与机器人坐标系重合，或者粗略的测量得到摄像机坐标系与机器人坐标系变换的估计值。这种假设或者粗略测量减低了移动机器人地图构建或者自身定位精度，从而降低了移动机器人的控制精度。因此，对于需要精确控制移动机器人运动的场合，如障碍物很多的运动空间，需要得到摄像机坐标系与机器人坐标系相对位置关系的准确值。事实上，摄像机坐标系的原点设置在光轴的中心，机器人坐标系原点设置在驱动轮公共轴的中心上。这两个点的相对位置是无法直接测量的。为了得到这两点的相对位置的精确值，本发明提供了一个标准的标定方法，能准确的获得机载摄像机相对于移动机器人的位置。

发明内容

本发明提供的移动机器人机载摄像机位置的标定方法能准确的标定安装在移动机人上的摄像机相对于移动机器人的位置。摄像机在移动机器人上的安装如图1所示，调整摄像机的光轴使其垂直指向天花板。如果实际应用中需要的是水平视觉，可以在摄像机位置标定完毕后在不改变摄像机位置的前提下将摄像机调整为水平视觉。图2是图1的俯视图。由图2可以看出，摄像机坐标系X_cO_cY_C相对于机器人坐标系的位置X_rO_rY_r由两个参数d₁和d₂决定。因此，如果能确定d₁和d₂的值，也就知道了摄像机相对于移动机器人的位置。本发明提供的标定方法通过以下六个步骤实现对参数d₁和d₂的标定：

步骤1，利用张正友摄像机标定法，获得摄像机的内部参数γ_u、γ_v、u₀和v₀。其中，γ_u和γ_v是像素放大因子，(u₀，v₀)是摄像机光轴与摄像机成像平面交点在图像坐标系下的像素坐标。

步骤2，在天花板上设置相对于背景颜色显著的标志点组，该标志点包含两个标志点和B，已知他们之间的距离为

步骤3，如图1所示，调整摄像机使其光轴垂直与天花板。

步骤4，将机器人移动到标志点下方，使标志点出现在摄像机视野的中心附近。移动机器人原地旋转180度，保存旋转前和旋转后摄像机拍摄的两张图像。

步骤5，提取保存图像中的标志点A和B的像素坐标。两张图像中任取一张，设该图像中标志点A和B的像素坐标分别为(u₁，v₁)和(u₂，v₂)，利用如下公式计算出摄像机光心相对于天花板的距离

$z_f^c=\sqrt{\frac{{d_0}^2}{(u_2-u_1{)}^2/{{\mathrm{\γ}}_u}^2+{(v_2-v_1)}^2/{{\mathrm{\γ}}_v}^2}}.---\left(1\right)$

步骤6，假设另一张图像中标志点A的像素坐标为(u′1，v′1)，利用公式

$d_1=\frac{z_f^c}{{\mathrm{\γ}}_v}(\frac{v_1+{v^{\′}}_1}{2}-v_0)$

                                   (2)

$d_2=-\frac{z_f^c}{{\mathrm{\γ}}_u}(\frac{u_1+{u^{\′}}_1}{2}-u_0)$

可以计算摄像机相对于移动机器人的位置参数d₁和d₂。同理，利用两张图像中标志点B的像素坐标通过式(2)也可以计算出摄像机的位置参数。

附图说明

图1摄像机在移动机器人上的安装示意图

图2移动机器人俯视图

具体实施方式

本发明利用公式(1)和(2)标定摄像机的位置参数d₁和d₂，现在具体说明公式(1)和公式(2)是如何得来的。如图2所示，X_wO_wY_w、X_rO_rY_r和X_cO_cY_c分别是世界坐标系、机器人坐标系和摄像机坐标系。设移动机器人在世界坐标系下的坐标和方位角分别为(x，y)和θ，天花板标志点在世界坐标系、机器人坐标系、摄像机坐标系以及图像坐标系中的坐标分别为(x_f，y_f)、

和(u，v )。(x_f，y_f)和

的坐标关系满足

$x_f=x_f^r\cos \mathrm{\θ}-y_f^r\sin \mathrm{\θ}+x$

                                    (3)

$y_f=x_f^r\sin \mathrm{\θ}+y_f^r\cos \mathrm{\θ}+y.$

和

之间的坐标关系满足

$x_f^r=-y_f^c+d_1$

                                    (4)

$y_f^r=x_f^c+d_2.$

和(u，v)之间的坐标关系满足

$u={\mathrm{\γ}}_u\frac{x_f^c}{z_f^c}+u_0$

                。    (5)

$v={\mathrm{\γ}}_v\frac{y_f^c}{z_f^c}+v_0$

γ_u、，γ_v、u₀、v₀和

的含义在前面己经提到。综合式(3)、(4)和(5)，可以得到

$u=\frac{{\mathrm{\γ}}_u}{z_f^c}[-(x_f-x)\sin \mathrm{\θ}+(y_f-y)\cos \mathrm{\θ}-d_2]+u_0$

                                        。    (6)

$v=\frac{{\mathrm{\γ}}_v}{z_f^c}[-(x_f-x)\cos \mathrm{\θ}+(y_f-y)\sin \mathrm{\θ}-d_1]+v_0$

设天花板标志点A和B的世界坐标和图像坐标分别为(u_l，v₁)和(u₂，v₂)，由式(6)可得

$u_1=\frac{{\mathrm{\γ}}_u}{z_f^c}[-(x_{f_1}-x)\sin \mathrm{\θ}+(y_{f_1}-y)\cos \mathrm{\θ}-d_2]+u_0$

$v_1=\frac{{\mathrm{\γ}}_v}{z_f^c}[-(x_{f_1}-x)\cos \mathrm{\θ}+(y_{f_1}-y)\sin \mathrm{\θ}-d_1]+v_0$

                                        ，    (7)

$u_2=\frac{{\mathrm{\γ}}_u}{z_f^c}[-(x_{f_2}-x)\sin \mathrm{\θ}+(y_{f_2}-y)\cos \mathrm{\θ}-d_2]+u_0$

$v_2=\frac{{\mathrm{\γ}}_v}{z_f^c}[-(x_{f_2}-x)\cos \mathrm{\θ}+(y_{f_2}-y)\sin \mathrm{\θ}-d_1]+v_0$

消去式(7)中的θ，可以得到

${\left(\frac{u_2-u_1}{{\mathrm{\γ}}_u}\right)}^2+{\left(\frac{v_2-v_1}{{\mathrm{\γ}}_v}\right)}^2={\left(\frac{{x_f}_2-{x_f}_1}{z_f^c}\right)}^2+{\left(\frac{{y_f}_2-{y_f}_1}{z_f^c}\right)}^2,$

接着，可得到

$z_f^c=\sqrt{\frac{{({x_f}_2-{x_f}_1)}^2+{({y_f}_2-{y_f}_1)}^2}{{(u_2-u_1)}^2/{\mathrm{\γ}}_u^2+{(v_2-v_1)}^2/{\mathrm{\γ}}_v^2}}.---\left(8\right)$

由于

因此我们可由式(1)得到摄像机光心相对于天花板的距离

进一步，根据

的值计算摄像机位置参数d_l和d₂。标记u_v和v_v分别为

$u_v=-\frac{{\mathrm{\γ}}_u{d}_2}{z_f^c}+u_0$

                。    (9)

$v_v=-\frac{{\mathrm{\γ}}_v{d}_1}{z_f^c}+v_0$

由式(6)消去θ可得

${\left(\frac{u-u_v}{{\mathrm{\γ}}_u}\right)}^2+{\left(\frac{v-v_v}{{\mathrm{\γ}}_v}\right)}^2={\left(\frac{x_f-x}{z_f^c}\right)}^2+{\left(\frac{y_f-y}{z_f^c}\right)}^2.---\left(10\right)$

式(10)表明如果移动机器人原地旋转，机器人的位置(x，y)不变，式(10)等号右边为常数，相应的标志点在图像平面内轨迹是一个以(u_v，v_v)为中心的椭圆。移动机器人原地旋转180度，分别保存移动机器人旋转前和旋转后摄像机采集到的图像。假设其中一个标志点旋转前的像素坐标为(u₁，v₁)，旋转后的像素坐标为(u′₁，v′₁)，根据椭圆轨迹的对称性，椭圆中心为

$u_v=\frac{u_1+{u^{\′}}_1}{2}$

                         (11)

$v_v=\frac{v_1+{v^{\′}}_1}{2}.$

将由式(11)得到的(u_v，v_v)代入式(9)可得式(2)，根据式(2)即可计算出摄像机位置参数d₁和d₂。

应该注意到，我们在推导摄像机位置参数标定公式(1)和(2)时使用了摄像机的针孔成像模型(5)。在实际应用中，摄像机始终存在着图像畸变，为了使摄像机成像满足针孔投影模型，可以通过摄像机内部参数标定提取摄像机畸变参数，从而构建一个畸变映射关系表。通过查询该畸变映射关系表，可以知道每个像素应该被重置到的发生图像畸变之前的位置。通过重置每个像素点，使得去畸变图像满足针孔投影模型。

标定方法步骤2中需要在天花板上设置标志点组，标志点组包含两个标志点。两个标志点的距离要合适。标志点之间距离太大可能出现移动机器人旋转180度之后标志点不在摄像机视野范围之内。标志点之间距离太小则使得标志点在旋转前后两张图像中的像素坐标相差不大，从而导致摄像机位置参数的标定误差增大。因此，标志点之间的距离要合适。实际应用中，如果设置的两天花板标志点在图像中的像素坐标的距离是图像宽的一半左右，此时设置的两标志点的距离合适。标定方法步骤4中，只旋转了一次移动机器人，并利用采集到的图像计算摄像机位置参数。事实上，地面和天花板的不平整，或者移动机器人旋转偏差都会影响摄像机位置参数的标定精度。为此，可以在天花板的不同位置设置标志点组，在每个标志点组对应的地面位置旋转移动机器人，将多次实验的值平均得到摄像机位置参数。标定方法步骤5中，需要提取标志点的像素坐标，可以通过图像分割的方法自动提取，也可以手动提取。一种简单可靠的方法是通过MATLAB图像处理工具箱手动提取。

为了进一步说明本发明提出的移动机器人机载摄像机位置参数标定方法的有效性，我们提供一个具体的实施例。首先由张正友标定法获得摄像机的内部参数为

表1摄像机内部参数

然后设置标志点。我们在天花板上五个不同的地方设置了五组标志点，每组标志点包含两个标志点，两个标志点之间的距离为0.6m。在每组标志点下原地旋转移动机器人180度，并保存相应图像。从保存的图像中提取的标志点像素坐标为

表2标志点像素坐标

注意，表2中A和A′分别表示旋转前和旋转后的同一个标志点。同理B和B′也表示同一个点。根据表2中的数据，计算出的摄像机位置参数值为d₁＝0.1107m和d₂＝0.0013m。

Claims (3)

1.移动机器人机载摄像机位置标定方法，该方法通过设置天花板标志点，调整摄像机光轴使其垂直与天花板，原地旋转移动机器人固定角度并保存旋转前后摄像机拍摄的图像，提取标志点像素坐标，通过标定公式计算出机载摄像机相对于移动机器人的位置参数值，该方法的特征是：在天花板上设置标志点组，标志点组包含两个标志点，设置的标志点之间的距离满足标志点在图像中的像素距离是图像宽的一半左右。

2.移动机器人机载摄像机位置标定方法，该方法通过设置天花板标志点，调整摄像机光轴使其垂直与天花板，原地旋转移动机器人固定角度并保存旋转前后摄像机拍摄的图像，提取标志点像素坐标，通过标定公式计算出机载摄像机相对于移动机器人的位置参数值，该方法的特征是：调整摄像机光轴使其垂直天花板，在标志点的下方原地旋转移动机器人180度，保存旋转前后摄像机拍摄的图像。

3.移动机器人机载摄像机位置标定方法，该方法通过设置天花板标志点，调整摄像机光轴使其垂直与天花板，原地旋转移动机器人固定角度并保存旋转前后摄像机拍摄的图像，提取标志点像素坐标，通过标定公式计算出机载摄像机相对于移动机器人的位置参数值，该方法的特征是：提取移动机器人旋转前后摄像机拍摄图像中的标志点像素坐标，利用同一张图像中两个标志点的像素坐标计算出摄像机光心相对于天花板的距离，利用旋转前后两张图像中的同一个标志点的像素坐标和得到的摄像机光心相对天花板的距离标定出摄像机相对于移动机器人的位置参数。

Images