CN105606025A - 一种使用激光器和单目相机测量球状目标几何参数的方法 - Google Patents

Abstract

一种使用激光器和单目相机测量球状目标几何参数的方法，包括设置相机与三个以上的激光器，使激光器射出的激光束照射到目标上并且不共面，相机朝向与激光束的方向相同；定义世界坐标系Ow与相机坐标系Oc，确定相机的内部参数矩阵以及相机坐标系与世界坐标系的转换关系；定义图像二维坐标系，使相机采集激光束照射到目标上的点，得到激光点在图像坐标系下的坐标以及目标在图像上的圆心坐标；通过几何关系和相机图像转换关系计算出目标的几何参数。本方法与单目测量方法相比，无需提前获取目标信息，适用于无纹理非合作目标的测量，与双目测量方法相比，效率、稳定性更高，且具备较好的容错性和鲁棒性。

Description

一种使用激光器和单目相机测量球状目标几何参数的方法

技术领域

本发明涉及计算机视觉与图像处理领域，具体涉及一种使用激光器和单目相机测量球状目标几何参数的方法。

背景技术

三维空间中的球状目标或类球状目标是现实环境中的一种常见目标，使用机器视觉的方法准确测量球状目标的大小和位置在工程中有着重要应用。当前解决这一问题的方法是通过双目视觉对三维目标进行重建或单目相机直接观测。这两种方法都存在着各自的弊端：双目视觉的方法由于受视场角限制，无法近距离测量半径较大的球状目标；而单目相机能够在很大范围内对球状目标进行观测，但是当球状目标大小未知时，无法对目标位置进行准确测量。

发明内容

本发明的目的在于针对上述现有技术中的缺陷，提供一种使用激光器和单目相机测量球状目标几何参数的方法，无论在较远距离和较近距离都能精确测量球状目标的位姿参数。

为了实现上述目的，本发明采用的技术方案包括以下步骤：

步骤一、设置相机与激光器，使激光器射出的激光束照射到目标上，相机朝向与激光束的方向相同；所述的激光器设置三个以上，且射出的激光束不共面；

步骤二、定义世界坐标系Ow与相机坐标系Oc；标定激光器在世界坐标系Ow下的坐标，确定激光束在世界坐标系Ow中的俯仰角以及偏航角；相机的内部参数矩阵为 $A=\left[\begin{array}{ccc}{f}_x& 0& u_0\\ 0& f_y& v_0\\ 0& 0& 1\end{array}\right],$ 其中(f_x,f_y)为相机的等效焦距，(u₀,v₀)为相机的光心坐标；

步骤三、定义图像二维坐标系，采集相机图像，通过图像处理得到激光点在图像坐标系下的坐标以及目标在图像上的圆心坐标；

步骤四、通过标定得到激光器在世界坐标系下的坐标以及激光束与世界坐标系的夹角，确定世界坐标系Ow下的激光直线方程，使之联立目标球体方程x₀ ²+y₀ ²+z₀ ²＝r²，其中x₀，y₀，z₀为球心的坐标，r是球体的半径，得到世界坐标系Ow下球面上的激光点坐标，并以此用x₀，y₀，z₀，r表示目标的球心在世界坐标系Ow下的坐标；

步骤五、相机坐标系Oc下的点坐标Sc表示为：S_c＝R·S_w+T，其中Sw是世界坐标系Ow下的坐标，R、T为相机坐标系Oc与世界坐标系Ow之间的转换关系参数，由此将世界坐标系Ow下目标球面上的激光点、球心的坐标表示为相机坐标系Oc下的坐标；

步骤六、根据相机成像模型，确定相机坐标系Oc下的激光点在图像坐标系下的坐标，将相机坐标系Oc下球面上的激光点、球心坐标与图像上激光点、球心坐标建立对应关系；

步骤七、根据对应关系，列出每个激光点的方程组，求解该方程组得到目标的几何参数。

所述世界坐标系Ow选择其中一个激光器的安装位置为原点，以地平面为标准，水平向前为Zw轴正方向，与Zw轴垂直，水平向右为Xw轴正方向，垂直地面向下为Yw轴正方向；所述相机坐标系Oc以相机的光心为原点，Zc为相机光轴指向相机前方，Xc轴与Yc轴分别平行于图像坐标系的U、V，向右为Xc轴正方向，向下为Yc轴正方向；所述图像坐标系原点位于图像左上方，以像素为单位，U、V分别代表像素点在图像上的列数和行数。

激光束在世界坐标系Ow中的俯仰角即与世界坐标系XwOwZw平面的夹角，偏航角即激光束在世界坐标系XwOwZw平面的投影与世界坐标系YwOwZw平面的夹角。

由世界坐标系Ow下的激光直线方程与目标球体方程联立，得到世界坐标系Ow下球面上的激光点坐标，P(P_x,P_y,P_z)表示为：

$\left\{\begin{array}{c}{P}_z=\frac{(-B-\sqrt{B^2-4\×A\×C})}{2\×A}\\ P_x=x+(P_z-z)\×tan\mathrm{\β}\\ P_y=y-(P_z-z)\×tan\mathrm{\α}\end{array}\right.;$

其中：A、B、C为中间变量：

$A={\tan }^2\mathrm{\α}+{\left(\frac{tan\mathrm{\β}}{cos\mathrm{\α}}\right)}^2+1$

$B=2\×\left(\right(x-z\frac{tan\mathrm{\β}}{cos\mathrm{\α}}-x_0)\×\frac{tan\mathrm{\β}}{cos\mathrm{\α}}-(y+z\×tan\mathrm{\α}-y_0)\×tan\mathrm{\α}-z_0);$

$C={x_0}^2+{(x-z\×\frac{tan\mathrm{\β}}{cos\mathrm{\α}}-x_0)}^2+{(y+z\×tan\mathrm{\α}-y_0)}^2-r^2$

(x,y,z)为激光器在世界坐标系下的坐标，α为激光束与世界坐标系XwOwZw平面的夹角，β为激光束在世界坐标系XwOwZw平面的投影与世界坐标系YwOwZw平面的夹角，(x₀,y₀,z₀)为目标球心在世界坐标系下的坐标，r为目标半径。

相机坐标系Oc下的激光点在图像坐标系下的坐标(u,v)表示为：

$\left\{\begin{array}{c}u=f_x\frac{P_{\mathrm{\α}}}{P_{cz}}+u_0\\ v=f_y\frac{P_{cy}}{P_{cz}}+v_0\end{array}\right.;$

其中，P_c(P_cx,P_cy,P_cz)为激光点在相机坐标系下的坐标。

所述球心对应在图像上的坐标为图像上目标对应的圆形轮廓的圆心。

所述的步骤一中使所有激光器排列成规则的几何形状，激光束平行于相机光轴射出，以其中一个激光器坐标为世界坐标系的原点。

与现有技术相比，本发明将激光束照射在球状目标上，相机通过观测球状目标和照射到目标上的高亮激光点，便能够确定球状目标的几何参数(x₀,y₀,z₀,r)，其中(x₀,y₀,z₀)为目标在世界坐标系下的球心坐标，即目标的位置，r是目标的半径，即目标的大小。本发明仅使用单目相机和若干个激光器即能够测量球状目标的位姿，成本低廉、设备简单，在精确设定激光器位置或保证光束平行的情况下还能够简化运算。本方法与传统的单目测量方法相比，无需提前获取目标信息，适用于无纹理非合作目标的测量。与双目测量方法相比，该方法效率更高、稳定性更高，且能够对近距离大半径球状目标进行测量。并且，本方法在增加激光器的情况下，图像上丢失若干激光点依然能准确测量目标参数，具备较高的容错性和鲁棒性。最后，本方法能够在DSP或FPGA等小型嵌入式平台上实时在线运行，硬件上实施容易。

进一步的，本发明使所有激光器排列成规则的几何形状，激光束平行于相机光轴射出，以其中一个激光器坐标为世界坐标系的原点，这样设置能够使一些中间变量归零，简化运算。

附图说明

图1本发明方法的整体流程图；

图2实施本发明的装置结构示意图；

图3(a)本方法中世界坐标系和相机坐标系定义示意图；

图3(b)本方法中图像坐标系定义示意图；

图4本方法中激光束与世界坐标系之间的夹角定义示意图；

图5(a)本方法采集图像正常时的示意图；

图5(b)本方法采集图像缺失一个激光点的示意图。

具体实施方式

下面结合附图对本发明做进一步的详细说明。

此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

参见图1，本实施例中使用激光器的数目为四个，实施步骤如下：

1、如图2所示，将相机和四个激光器固定在一起，令四个激光器射出的激光束方向大致与相机朝向相同，每三条激光束均不共面。可以使光束方向稍内聚使光束容易照射到目标。如图3(a)所示，定义世界坐标系Ow，Ow为右手坐标系。Ow的定义由实际应用场景决定，以便于确定激光器坐标以及激光束与坐标轴之间的夹角为原则。本实施例选择其中一个激光器的安装位置为原点，以地平面为标准水平向前为Zw轴正方向，与Zw轴垂直，水平向右为Xw轴正方向，垂直于地面向下为Yw轴正方向；定义相机坐标系Oc，原点为相机光心，Zc为相机光轴指向相机前方，Xc轴与Yc轴分别平行于图像坐标系的U、V，向右为Xc轴正方向，向下为Yc轴正方向，通过标定得到相机坐标系Oc与世界坐标系Ow之间的旋转平移矩阵为R、T，世界坐标系中的点Sw在相机中的坐标为Sc，则：S_c＝R·S_w+T(1)

如图3(b)，定义图像二维坐标系，原点为图像左上角，以像素为单位，U、V分别代表像素点在图像上的列数和行数。

2、通过标定得到四个激光器在世界坐标系下的坐标分别为(xa,ya,za)，(xb,yb,zb)，(xc,yc,zc)，(xd,yd,zd)，如图4所示，激光束在世界坐标系内的俯仰角即激光束与世界坐标系XwOwZw平面的夹角分别为α_a,α_b,α_c,α_d，转向Yw轴正方向一侧为正；激光束在世界坐标系内的偏航角即激光束在世界坐标系XwOwZw平面的投影与世界坐标系YwOwZw平面的夹角分别为β_a,β_b,β_c,β_d，转向Xw轴正方向一侧为正。通过标定得到相机内参矩阵为 $A=\left[\begin{array}{ccc}{f}_x& 0& u_0\\ 0& f_y& v_0\\ 0& 0& 1\end{array}\right],$ 其中(f_x,f_y)为相机的等效焦距，(u₀,v₀)为相机光心坐标；

3、将四条激光束照射在球状目标上，使目标和激光束照射在目标上的四个点能够被相机完整捕捉，采集相机图像。通过图像处理的方法得到相机采集到的图像上激光点在图像坐标系下的坐标P_ai(u_a,v_a)，P_bi(u_b,v_b)，P_ci(u_c,v_c)，P_di(u_d,v_d)，目标在图像上圆心的坐标P_o’i(u_o’,v_o’)；

4、根据图像上的激光点坐标、目标在图像上的圆心坐标、光束与球体之间的几何关系和相机成像模型，即可求得目标的几何参数(x₀,y₀,z₀,r)。公式推导如下：

球状目标在世界坐标系下的方程为：

(x-x₀)²+(y-y0)²+(z-z₀)²＝r²(2)

如图2所示，(x₀,y₀,z₀)为目标球心在世界坐标系下的坐标，r是目标的半径。用P_a＝(P_ax,P_ay,P_az)、P_b＝(P_bx,P_by,P_bz)、P_c＝(P_cx,P_cy,P_cz)、P_d＝(P_dx,P_dy,P_dz)分别表示激光束与球的交点在世界坐标系下的坐标，P_ac＝(P_acx,P_acy,P_acz)^T、P_bc＝(P_bcx,P_bcy,P_bcz)^T、P_cc＝(P_ccx,P_ccy,P_ccz)^T、P_dc＝(P_dcx,P_dcy,P_dcz)^T分别表示激光束与球的交点在相机坐标系下的坐标，则由激光点与球状目标间的几何关系，Pa在世界坐标系下的坐标满足方程：

(P_ax-x₀)²+(P_ay-y₀)²+(P_az-z₀)²＝r²(3)

由光束直线方程与球体方程，用激光器坐标表示激光点坐标，可得：

${(x_a+(P_{az}-z_a)\frac{tan\mathrm{\β}}{cos\mathrm{\α}}-x_0)}^2+{(y_a-(P_{az}-z_a)tan\mathrm{\α}-y_a)}^2+{(P_{az}-z_a)}^2=r^2---\left(4\right)$

求解这个方程，则Pa可表示为：

$\begin{array}{c}{P}_{az}=\frac{\left(-B-\sqrt{B^2-4\×A\×C}\right)}{2\×A}\\ P_{ax}=x_a+(P_{az}-z_a)\×{\mathrm{tan\β}}_a\\ P_{ay}=y_a-(P_{az}-z_a)\×{\mathrm{tan\α}}_a\end{array}---\left(5\right)$

其中：

$\begin{array}{c}A={\tan }^2{\mathrm{\α}}_a+{\left(\frac{{\mathrm{tan\β}}_a}{{\mathrm{cos\α}}_a}\right)}^2+1\\ B=2\×\left(\left(x_a-z_a\frac{{\mathrm{tan\β}}_a}{{\mathrm{cos\α}}_a}-x_0\right)\×\frac{{\mathrm{tan\β}}_a}{{\mathrm{cos\α}}_a}-\left(y_a+z_a\×{\mathrm{tan\α}}_a-y_0\right)\×{\mathrm{tan\α}}_a-z_0\right)\\ C={x_0}^2+{\left(x_a-z_a\×\frac{{\mathrm{tan\β}}_a}{{\mathrm{cos\α}}_a}-x_0\right)}^2+{\left(y_a+z_a\×{\mathrm{tan\α}}_a-y_0\right)}^2-r^2\end{array}---\left(6\right)$

同理可得Pb、Pc、Pd。

根据相机的成像原理，目标球心对应在图像上的点P_oi(u_o,v_o)为图像上目标的圆心，即P_oi(u_o,v_o)＝P_o’i(u_o’,v_o’)，

又由世界坐标系与相机坐标系间的旋转平移关系可得：

P_ac＝R×P_a+T

P_bc＝R×P_b+T

P_cc＝R×P_c+T(7)

P_dc＝R×P_d+T

P_oc＝R×P_o+T

根据相机的投影透视模型可得：

$\left\{\begin{array}{c}{u}_a=f_x\frac{P_{acx}}{P_{acz}}+u_0\\ v_a=f_y\frac{P_{acy}}{P_{acz}}+v_0\end{array}\right.---\left(8\right)$

$\left\{\begin{array}{c}{u}_b=f_x\frac{P_{bcx}}{P_{bcz}}+u_0\\ u_b=f_y\frac{P_{bcy}}{P_{bcz}}+v_0\end{array}\right.---\left(9\right)$

$\left\{\begin{array}{c}{u}_c=f_x\frac{P_{ccx}}{P_{ccz}}+u_0\\ v_c=f_y\frac{P_{ccy}}{P_{ccz}}+v_0\end{array}\right.---\left(10\right)$

$\left\{\begin{array}{c}{u}_d=f_x\frac{P_{dcx}}{P_{dcz}}+u_0\\ v_d=f_y\frac{P_{dcy}}{P_{dcz}}+v_0\end{array}\right.---\left(11\right)$

$\left\{\begin{array}{c}{u}_o=f_x\frac{P_{ocx}}{P_{ocz}}+u_0\\ v_0=f_y\frac{P_{ocy}}{P_{ocz}}+v_0\end{array}\right.---\left(12\right)$

上述方程中只有(x₀,y₀,z₀,r)四个未知量，求解这十个方程，可以求得可得目标半径r和目标在世界坐标系下的球心坐标(x₀,y₀,z₀)，从而完成目标大小和位置的测量。

由于三维空间中四个非共面的点能够唯一确定一个球体，而任意三个激光点与目标球心必然不共面，因此该方程组有唯一解，并且在图像上有一个激光点缺失的情况下不影响方程求解，增加了本方法的容错性和鲁棒性。图5为其中一种情况的示意图。

若能精确设定激光器位置并保证激光器射出的光束平行，如本例中可令四个激光器排列成正方形，四束激光平行于相机光轴平行射出，以其中一个激光器坐标为世界坐标系原点，四个激光器组成世界坐标系，四个激光器在世界坐标系中的坐标分别为(0,0,0)，(0,yb,0)，(0,yc,zc)，(0,0,zd)，α_a,α_b,α_c,α_d与β_a,β_b,β_c,β_d均为0，则可以简化运算。同理，激光器能排列成其他规则几何形状或保证激光束的平行均可以简化运算过程。

本发明对球体的内接多边形，如正26面体等类球体目标，也具备足够的计算精度。

Claims (7)

1.一种使用激光器和单目相机测量球状目标几何参数的方法，其特征在于：

步骤一、设置相机与激光器，使激光器射出的激光束照射到目标上，相机朝向与激光束的方向相同；所述的激光器设置三个以上，且射出的激光束不共面；

步骤二、定义世界坐标系Ow与相机坐标系Oc；标定激光器在世界坐标系Ow下的坐标，确定激光束在世界坐标系Ow中的俯仰角以及偏航角；相机的内部参数矩阵为 $A=\left[\begin{array}{ccc}{f}_x& 0& u_0\\ 0& f_y& v_0\\ 0& 0& 1\end{array}\right],$ 其中(f_x,f_y)为相机的等效焦距，(u₀,v₀)为相机的光心坐标；

步骤三、定义图像二维坐标系，采集相机图像，通过图像处理得到激光点在图像坐标系下的坐标以及目标在图像上的圆心坐标；

步骤四、通过标定得到激光器在世界坐标系下的坐标以及激光束与世界坐标系的夹角，确定世界坐标系Ow下的激光直线方程，使之联立目标球体方程x₀ ²+y₀ ²+z₀ ²＝r²，其中x₀，y₀，z₀为球心的坐标，r是球体的半径，得到世界坐标系Ow下球面上的激光点坐标，并以此用x₀，y₀，z₀，r表示目标的球心在世界坐标系Ow下的坐标；

步骤五、相机坐标系Oc下的点坐标Sc表示为：S_c＝R·S_w+T，其中Sw是世界坐标系Ow下的坐标，R、T为相机坐标系Oc与世界坐标系Ow之间的转换关系参数，由此将世界坐标系Ow下目标球面上的激光点、球心的坐标表示为相机坐标系Oc下的坐标；

步骤六、根据相机成像模型，确定相机坐标系Oc下的激光点在图像坐标系下的坐标，将相机坐标系Oc下球面上的激光点、球心坐标与图像上激光点、球心坐标建立对应关系；

步骤七、根据对应关系，列出每个激光点的方程组，求解该方程组得到目标的几何参数。

2.根据权利要求1所述的使用激光器和单目相机测量球状目标几何参数的方法，其特征在于：所述世界坐标系Ow选择其中一个激光器的安装位置为原点，以地平面为标准，水平向前为Zw轴正方向，与Zw轴垂直，水平向右为Xw轴正方向，垂直地面向下为Yw轴正方向；所述相机坐标系Oc以相机的光心为原点，Zc为相机光轴指向相机前方，Xc轴与Yc轴分别平行于图像坐标系的U、V，向右为Xc轴正方向，向下为Yc轴正方向；所述图像坐标系原点位于图像左上方，以像素为单位，U、V分别代表像素点在图像上的列数和行数。

3.根据权利要求2所述的使用激光器和单目相机测量球状目标几何参数的方法，其特征在于：激光束在世界坐标系Ow中的俯仰角即与世界坐标系XwOwZw平面的夹角，偏航角即激光束在世界坐标系XwOwZw平面的投影与世界坐标系YwOwZw平面的夹角。

4.根据权利要求2所述的使用激光器和单目相机测量球状目标几何参数的方法，其特征在于，由世界坐标系Ow下的激光直线方程与目标球体方程联立，得到世界坐标系Ow下球面上的激光点坐标，P(P_x,P_y,P_z)表示为：

$\left\{\begin{array}{c}{P}_z=\frac{(-B-\sqrt{B^2-4\×A\×C})}{2\×A}\\ P_x=x+(P_z-z)\×tan\mathrm{\β}\\ P_y=y-(P_z-z)\×tan\mathrm{\α}\end{array}\right.;$

其中：A、B、C为中间变量：

$A={\tan }^2\mathrm{\α}+{\left(\frac{tan\mathrm{\β}}{cos\mathrm{\α}}\right)}^2+1$

$B=2\×\left(\right(x-z\frac{tan\mathrm{\β}}{cos\mathrm{\α}}-x_0)\×\frac{tan\mathrm{\β}}{cos\mathrm{\α}}-(y+z\×tan\mathrm{\α}-y_0)\×tan\mathrm{\α}-z_0);$

$C={x_0}^2+{(x-z\×\frac{tan\mathrm{\β}}{cos\mathrm{\α}}-x_0)}^2+{(y+z\×tan\mathrm{\α}-y_0)}^2-r^2$

(x,y,z)为激光器在世界坐标系下的坐标，α为激光束与世界坐标系XwOwZw平面的夹角，β为激光束在世界坐标系XwOwZw平面的投影与世界坐标系YwOwZw平面的夹角，(x₀,y₀,z₀)为目标球心在世界坐标系下的坐标，r为目标半径。

5.根据权利要求2所述的使用激光器和单目相机测量球状目标几何参数的方法，其特征在于，相机坐标系Oc下的激光点在图像坐标系下的坐标(u,v)表示为：

$\left\{\begin{array}{c}u=f_x\frac{P_{cx}}{P_{cz}}+u_0\\ v=f_y\frac{P_{cy}}{P_{cz}}+v_0\end{array}\right.;$

其中，P_c(P_cx,P_cy,P_cz)为激光点在相机坐标系下的坐标。

6.根据权利要求2所述的使用激光器和单目相机测量球状目标几何参数的方法，其特征在于，球心对应在图像上的坐标为图像上目标对应的圆形轮廓的圆心。

7.根据权利要求1所述的使用激光器和单目相机测量球状目标几何参数的方法，其特征在于：所述的步骤一中使所有激光器排列成规则的几何形状，激光束平行于相机光轴射出，以其中一个激光器坐标为世界坐标系的原点。