CN101377404B

CN101377404B - 一种基于角度约束的空间圆姿态识别二义性消除方法

Info

Publication number: CN101377404B
Application number: CN2008101677803A
Authority: CN
Inventors: 魏振忠; 赵征; 张广军; 王巍
Original assignee: Beihang University
Current assignee: Beihang University
Priority date: 2008-07-11
Filing date: 2008-10-07
Publication date: 2010-04-14
Anticipated expiration: 2028-10-07
Also published as: CN101377404A

Abstract

本发明公开了一种基于角度约束的空间圆姿态识别二义性消除方法，包括：通过标定得到摄像机的内部参数；获取摄像机拍摄空间圆得到的测量图像，处理得到测量图像中的椭圆边缘点和几何元素的特征点，并计算得到在摄像机坐标系下空间圆的圆心坐标和空间圆所在平面的法向量，进而得到与测量图像上的几何元素所对应的空间几何元素的表达式；根据空间几何元素的表达式，以及已知的空间角度约束，确定空间圆所在平面的真实法向量。本发明通过引入与空间圆所在的平面共面的几何元素，基于角度约束，有效的消除了空间圆姿态识别中的二义性问题，提高了空间圆姿态识别的实用性和可靠性。

Description

一种基于角度约束的空间圆姿态识别二义性消除方法

技术领域

本发明涉及空间物体的位姿测量技术，尤其涉及一种基于角度约束的空间圆姿态识别二义性消除方法。

背景技术

通过单幅图像进行空间物体位姿测量的问题是机器视觉领域中一个基本而重要的问题，在视觉导航、机器人定位、物体识别、视觉监控和工业测量等方面都有着广泛而重要的应用。所谓位姿测量指的是，在摄像机已标定的条件下，通过空间三维基元(如点和直线等)与图像二维基元之间的对应关系，求得摄像机坐标系与物体坐标系之间的刚体变换关系，从而能够得到物体在摄像机坐标系中的位置和姿态。

目前常用的位姿定位方法主要包括：基于空间点到图像点对应的定位方法和基于空间直线到图像直线对应的定位方法。相比较而言，基于空间直线到图像直线对应的定位方法抗噪声能力较强，从而具有更好的鲁棒性。所谓鲁棒性就是指系统的健壮性，鲁棒性是在异常和危险情况下系统生存的关键。

由于圆是物体的基本几何形状，在许多自然景物和人造物体中大量存在，如各种工件、零部件的定位孔等。基于单个圆进行空间位姿测量的视觉检测技术，综合运用了电子学，光电探测，图像处理和计算机技术，实现对物体的空间定位，具有非接触，速度快，柔性好以及自动化程度高等优点，具有广泛而重要的应用前景。另外，基于圆特征的空间位姿测量方法较点、线等特征，具有抗遮挡、鲁棒性强的特点，并且可以得到空间物体位姿的闭式解，避免了基于点、线定位过程中复杂、耗时的非线性优化过程，使得测量简单快速。

现有技术中存在一种基于虚圆点的方式利用单个空间圆进行空间物体定位的方法，但是该方法需要求解高次二元方程组，在计算上复杂且易于受到噪声的影响；并且基于圆特征的空间位姿测量方法，由于圆提供的约束太少，从而无法消除在空间物体定位过程中产生的二义性问题。

发明内容

有鉴于此，本发明的主要目的在于提供一种基于角度约束的空间圆姿态识别二义性消除方法，以解决现有的空间单个圆姿态识别方法存在二义性的问题。

为达到上述目的，本发明的技术方案是这样实现的：

本发明提供了一种基于角度约束的空间圆姿态识别二义性消除方法，包括：

对摄像机进行标定，得到摄像机的内部参数；

获取所述摄像机拍摄空间圆得到的测量图像，并对所述测量图像进行处理，获取所述测量图像中的椭圆边缘点和几何元素的特征点；

根据得到的所述摄像机内部参数、测量图像中的椭圆边缘点，拟合椭圆曲线的方程，计算得到在摄像机坐标系下空间圆的圆心坐标和空间圆所在平面的法向量；

根据所述空间圆的圆心在摄像机坐标系下的坐标、空间圆所在平面在摄像机坐标系下的法向量，以及测量图像中几何元素的特征点，计算得到与所述几何元素对应的空间几何元素的表达式；

根据空间几何元素的表达式得到空间几何元素的方向系数，并根据所述方向系数得到空间几何元素的夹角；根据空间角度约束，从空间几何元素的夹角中选取得到真实夹角，并确定空间圆所在平面的真实法向量。

所述几何元素为与所述空间圆所在平面共面的两条不重合直线。

根据张正友平面法对所述摄像机进行标定。

通过Hessian矩阵法对所述测量图像进行处理，得到所述测量图像中的椭圆边缘点和几何元素的特征点。

所述计算得到与几何元素对应的空间几何元素的表达式，具体包括：

根据所述几何元素的表达式得到所述几何元素的投影平面的方程；

根据所述空间圆的圆心在摄像机坐标系下的坐标，以及所述空间圆所在平面在摄像机坐标系下的法向量，确定空间中的两个平面；

根据所确定的两个平面的方程，以及所述投影平面的方程，分别得到两组空间几何元素的表达式。

本发明所提供的基于形状特征的空间圆姿态识别二义性消除方法，通过标定得到摄像机的内部参数；获取摄像机拍摄空间圆得到的测量图像，处理得到测量图像中的椭圆边缘点和几何元素的特征点，并计算得到在摄像机坐标系下空间圆的圆心坐标和空间圆所在平面的法向量，进而得到与测量图像上的几何元素所对应的空间几何元素的表达式；根据空间几何元素的表达式，以及已知的空间角度约束，确定空间圆所在平面的真实法向量。本发明通过引入与空间圆所在的平面共面的几何元素，基于角度约束，有效的消除了空间圆姿态识别中的二义性问题，提高了空间圆姿态识别的实用性和可靠性。

附图说明

图1为本发明一种基于角度约束的空间圆姿态识别二义性消除方法的流程图；

图2为本发明中数字二维平面靶标的示意图；

图3为本发明中空间圆姿态识别的示意图；

图4为本发明中位姿角与法向量的关系示意图；

图5为本发明实施例中的第一幅标定图像；

图6为本发明实施例中的第二幅标定图像；

图7为本发明实施例中的第三幅标定图像；

图8为本发明实施例中的第四幅标定图像；

图9为本发明实施例中的第五幅标定图像；

图10为本发明实施例中生成的数字圆图像的示意图；

图11为本发明实施例中经过图像处理得到图像平面上的椭圆和直线的示意图；

图12为本发明实施例中分离出的椭圆和平行直线的示意图。

具体实施方式

下面结合附图和具体实施例对本发明的技术方案进一步详细阐述。

本发明所提供的一种基于角度约束的空间圆姿态识别二义性消除方法，如图1所示，分为标定阶段和测量阶段。

标定阶段：

步骤101，对摄像机进行标定，得到摄像机的内部参数。

具体操作为：1)设定靶标，靶标为计算机生成的数字二维平面靶标，如图2所示，靶标上具有棋盘状黑白相间的方块，且靶标上有预先设置的特征点。

选取图2中靠近中心的白色方块顶点为特征点，共14×18个特征点，当然，特征点的行列数可以根据实际需要进行选取，并且在对摄像机进行标定时也可以自由选取所需的特征点数量，选择的特征点尽量均匀分布在整个标定图像中。图2中，黑白方块的边长均为50像素，当然，黑白方块的边长均可根据实际需要进行设定。

2)固定好单目视觉传感器，打开摄像机的电源。

3)在摄像机的视场范围内，自由移动靶标至少5个位置，每移动一个位置，由摄像机拍摄一幅图像并存储到计算机中，本发明中将标定过程中摄像机拍摄的图像称为标定图像，并且要求标定图像含有尽可能多的靶标特征点，移动过程中平面靶标的位置之间尽量不要平行。

4)提取所有标定图像中黑色方块顶点的图像坐标，并将其与靶标的世界坐标存储到计算机中。

5)根据张正友平面法(具体实现步骤见：Zhangzhengyou.“A flexible newtechnique for camera calibration.”MS Technical Report.Dec.21998)标定摄像机，得到摄像机的内部参数，并存储到计算机中。

需要指出的是，对摄像机的标定操作只需进行一次即可，但是需要保证在测量过程中，摄像机的位置固定，并且没有明显的震动，否则，需要重新进行摄像机标定。同时，若两次测量时间间隔过长，则也有必要对摄像机进行重新标定。

测量阶段：

步骤102，获取摄像机拍摄空间圆得到的测量图像，并通过Hessian矩阵法(具体实现步骤见：Steger C.Unbiased Extraction of Curvilinear Structures from2D and 3D images.Dissertation.1998)对测量图像进行处理，获取测量图像中的椭圆边缘点和几何元素的特征点。

其中，测量图像是将被测物体至于单目视觉传感器的测量空间内，并由摄像机拍摄空间圆所得到的图像。几何形状可以为共面的正交直线，也可以为共面的平行直线，当然，还可以根据实际需要，采用具备其他几何特征的几何形状。

步骤103，根据得到的摄像机内部参数、测量图像中的椭圆边缘点和几何形状的边缘点，并通过Safaree-Rad(具体实现步骤见：Reza Safaee-Rad，IvoTchoukanov，and BenHabib.“3D Location Estimation of Circular Features forMachine Vision”IEEE Transaction on Robotics and Automation，VOL.8NO.5Oct.1992)的方法，计算得到在摄像机坐标系下单个空间圆的圆心坐标和空间圆所在平面的法向量。

需要指出的是，由单个空间圆进行位姿解算时，通常计算得到空间圆所在平面的法向量存在两个解，即存在二义性的问题。本发明的目的就是从这两个法向量中确定出空间圆所在平面的真实法向量，从而消除对空间圆进行姿态识别中存在的二义性问题。

其中，Safaree-Rad方法的具体操作为：

a、根据椭圆边缘点和摄像机的内部参数，拟合得到椭圆方程；

b、根据椭圆方程的系数和摄像机的焦距，得到空间圆所在平面在摄像机坐标系下的法向量，以及空间圆的圆心在摄像机坐标系下的坐标。

具体为：首先，根据椭圆方程的系数和摄像机的焦距，建立以摄像机的光心为顶点，以椭圆为母线的空间椭圆锥方程；再根据空间椭圆锥方程的系数构造变换矩阵，并获取变换矩阵的特征值和特征向量；然后，根据变换矩阵的特征值和特征向量，得到空间圆所在平面在摄像机坐标系下的法向量，并根据变换矩阵和空间圆的半径，得到空间圆的圆心在摄像机坐标系下的坐标。

步骤104，根据空间圆的圆心在摄像机坐标系下的坐标、空间圆所在平面在摄像机坐标系下的法向量，以及测量图像中几何元素的表达式，计算得到与几何元素对应的空间几何元素的表达式。

步骤105，根据空间几何元素的表达式，以及空间角度约束，确定空间圆所在平面的真实法向量。

下面以几何元素为与空间圆共面的平行直线为例，对上述的二义性消除方法进一步详细阐述。如图3所示，o_c-X_cY_cZ_c表示摄像机坐标系，o_i-X_iY_iZ_i表示摄像机图像坐标系，C为空间圆，π_s为C所在的平面，π_i为摄像机的图像平面，E_i为C在π_i上的投影曲线，通常情况下为椭圆，L₁与L₂为π_s上的一对平行直线，

与

分别为平行直线对的投影平面，l₁与l₂为空间平行直线对在π_i上的投影线。摄像机的焦距为f。

已知空间圆C在π_i上的投影为椭圆曲线E_i，则可以确定一个以E_i为母线，以摄像机光心o_c为顶点的空间椭圆锥。要确定π_s的法向量在o_c-X_cY_cZ_c中的值，可以转化为求取空间中某平面L在o_c-X_cY_cZ_c中的平面方程，即求取了π_s的法向量，从而进一步可以求得π_s在o_c-X_cY_cZ_c下的位姿角，即俯仰角φ和方位角θ，位姿角与法向量的关系如图4所示，俯仰角为法向量n与xoy平面的夹角，方位角为n在xoy平面上的投影n_p与x轴正向的夹角。二义性消除方法的具体实施步骤包括：

步骤1，根据张正友平面法标定摄像机，得到摄像机的内部参数A_Intr，并将A_Intr存储到计算机中。具体的摄像机标定过程，前述已进行了详细说明，在此不住赘述。

步骤2，获取摄像机拍摄空间圆得到的测量图像，并通过Hessian矩阵法对测量图像进行处理，得到测量图像中的椭圆边缘点和直线边缘点坐标

并将

存储到计算机中。

步骤3，根据得到的A_Intr和

并通过Safaree-Rad的方法，计算得到在摄像机坐标系o_c-X_cY_cZ_c下，单个空间圆圆心坐标C＝(X_c0，Y_c0，Z_c0)和空间圆所在平面的法向量n₁＝(k₁，l₁，m₁)^T，n₂＝(k₂，l₂，m₂)^T。由此可以看出，由单个空间圆进行位姿解算时存在二义性，即空间圆所在平面的法向量在一般情况下存在两个解。

步骤4，空间一对平行的直线L₁和L₂，其在摄像机的图像平面π_i上的投影为

和l₁和l₂的表达式分别为：

l_{1} : \{\begin{matrix} a_{1} X_{c} + b_{1} Y_{c} + c_{1} = 0 \\ Z_{c} = f \end{matrix} - - - (1)

l_{2} : \{\begin{matrix} a_{2} X_{c} + b_{2} Y_{c} + c_{2} = 0 \\ Z_{c} = f \end{matrix} - - - (2)

根据公式(1)、(2)可以求得l₁和l₂对应的投影平面分别为：

π_{L_{1}} : a_{1} X_{c} + b_{1} Y_{c} + \frac{c_{1}}{f_{unit}} Z_{c} = 0 - - - (3)

π_{L_{2}} : a_{2} X_{c} + b_{2} Y_{c} + \frac{c_{2}}{f_{unit}} Z_{c} = 0 - - - (4)

步骤5，由得到的n₁、n₂、C可以确定空间中的两个平面π_s和π′_s：

π_s：k₁(X_c-X_c0)+l₁(Y_c-Y_c0)+m₁(Z_c-Z_c0)＝0 (5)

π′_s：k₂(X_c-X_c0)+l₂(Y_c-Y_c0)+m₂(Z_c-Z_c0)＝0 (6)

由公式(3)、(4)、(5)可以求得空间中的直线

和

的表达式分别为：

L_{1 - 1} : \frac{N_{1} X_{c} - b_{1} w_{1}}{L_{1}} = \frac{N_{1} Y_{c} + a_{1} w_{1}}{M_{1}} = Z_{c} - - - (7)

L_{2 - 1} : \frac{N_{2} X_{c} - b_{2} w_{2}}{L_{2}} = \frac{N_{2} Y_{c} + a_{2} w_{2}}{M_{2}} = Z_{c} - - - (8)

其中，

(L_{1}, M_{1}, N_{1}) = (|\begin{matrix} b_{1} & c_{1} \\ l_{1} & m_{1} \end{matrix}|, |\begin{matrix} c_{1} & a_{1} \\ m_{1} & k_{1} \end{matrix}|, |\begin{matrix} a_{1} & b_{1} \\ k_{1} & l_{1} \end{matrix}|),

w₁＝-k₁X_c0-l₁Y_c0-m₁Z_c0，

(L_{2}, M_{2}, N_{2}) = (|\begin{matrix} b_{2} & c_{2} \\ l_{1} & m_{1} \end{matrix}|, |\begin{matrix} c_{2} & a_{2} \\ m_{1} & k_{1} \end{matrix}|, |\begin{matrix} a_{2} & b_{1} \\ k_{1} & l_{1} \end{matrix}|),

w₂＝-k₁X_c0-l₁Y_c0-m₁Z_c0。

由(3)、(4)、(6)可以求得空间中的直线

和L_2-2＝c″d″的表达式为：

L_{1 - 2} : \frac{N_{1}^{'} X_{c} - b_{1} w_{1}^{'}}{L_{1}^{'}} = \frac{N_{1}^{'} Y_{c} + a_{1} w_{1}^{'}}{M_{1}^{'}} = Z_{c} - - - (9)

L_{2 - 2} : \frac{N_{2}^{'} X_{c} - b_{2} w_{2}^{'}}{L_{2}^{'}} = \frac{N_{2}^{'} Y_{c} + a_{2} w_{2}^{'}}{M_{2}^{'}} = Z_{c} - - - (10)

其中，

(L_{1}^{'}, {M^{'}}_{1}, N_{1}^{'}) = (|\begin{matrix} b_{1} & c_{1} \\ l_{2} & m_{2} \end{matrix}|, |\begin{matrix} c_{1} & a_{1} \\ m_{2} & k_{2} \end{matrix}|, |\begin{matrix} a_{1} & b_{1} \\ k_{2} & l_{2} \end{matrix}|),

w′₁＝-k₂X_c0-l₂Y_c0-m₂Z_c0，

(L_{2}^{'}, {M^{'}}_{2}, N_{2}^{'}) = (|\begin{matrix} b_{2} & c_{2} \\ l_{2} & m_{2} \end{matrix}|, |\begin{matrix} c_{2} & a_{2} \\ m_{2} & k_{2} \end{matrix}|, |\begin{matrix} a_{2} & b_{1} \\ k_{2} & l_{2} \end{matrix}|),

w′₂＝-k₂X_c0-l₂Y_c0-m₂Z_c0。

步骤6，根据计算得到的空间直线对的方向系数(L₁，M₁，N₁)和(L₂，M₂，N₂)，计算直线L_1-1和L_2-1的夹角α₁；并根据空间直线对的方向系数(L′₁，M′₁，N′₁)和(L′₂，M′₂，N′₂)计算直线L_1-1和L_2-1的夹角α₂。由于已知空间中两直线的相对关系为平行，即空间中两条直线之间的夹角α＝0，则可以通过α₁和α₂的值判断对应的真实法向量的值，即通过||α_i-0||→min，(i＝1，2)，从α₁和α₂中选取得到直线L_1-1和L_2-1的真实夹角，从而判断与真实夹角所对应的法向量为空间圆所在平面的真实法向量，进而得到真实的空间圆的位姿。

通过上面的描述可以看出，本发明通过引入与空间圆共面的几何元素，基于空间角度约束，可以有效的消除空间圆姿态识别中的二义性问题，从而可以得到真实的空间圆的位姿。需要指出的是，本发明使用的方法同样适用于与空间圆共面的正交直线，只是正交直线的实施例在通过α₁和α₂的值判断对应的真实法向量的值时，是通过||α_i-π/2||→min，(i＝1，2)来得到真实法向量的值。；实际上当共面的几何元素为任意不重合的两条直线时，若两条直线的夹角已知，那么都可以使用上述方法求解得到空间直线之间的夹角，通过已知的角度进行姿态二义性的消除，即通过||α_i-α_prc||→min，(i＝1，2)来得到真实法向量的值，其中α_pre为已知的。

下面再以具体的实施例进一步详细说明本发明的测量效果。按照前述的操作步骤，首先进行摄像机的标定，然后进行空间圆的位姿测量。

标定阶段：

采用一个Mintron-468P的CCD摄像机，16mm精工镜头组成一个单目视觉传感器。首先利用图2所示的靶标对CCD摄像机进行标定，在5个不同的位置拍摄得到5幅图像，如图5至图9所示。提取图5至图9中的特征点图像坐标，并存储到计算机中；以计算机屏幕的左上角为原点建立靶标坐标系，水平向右，竖直向下分别为靶标坐标系的x、y轴正向。

使用张正友平面法进行摄像机标定，以获得其内部参数：摄像机内部参数：

A = (\begin{matrix} 2609.050 & 0 & 380.266 \\ 0 & 2604.876 & 275.588 \\ 0 & 0 & 1 \end{matrix}) pixel,

畸变参数为：(k₁，k₂)＝(0.080996，-6.814367)；

标定结果，五幅图像的平均再投影精度为E_RMS＝0.115pixel；

测量阶段：

用摄像机拍摄计算机生成的数字圆图像，其中圆心在靶标坐标系中的坐标为(512，384)pixel，如图10所示，按照上述的步骤进行空间圆的位姿测量。

通过图像处理得到图像平面上的圆和直线，如图11所示为经过图像处理得到图像平面上的椭圆和直线，图12为分离出的椭圆和平行直线。经过畸变校正，并将图像点坐标转化到归一化坐标平面上之后，拟合得到归一化坐标平面上圆投影的方程和共面直线对的方程为：

圆方程：

{0.802 X}_{I}^{2} + 0.237 X_{I} Y_{I} + 0.549 Y_{I}^{2} - {0.008 X}_{I} + 0.0006 Y_{I} - 0.0003 = 0;

直线方程：l₁：-5.012X_I-Y_I-0.172＝0，l₂：-5.396X₁-Y_I+0.248＝0。

根据步骤3中引用的算法，可以求得在摄像机坐标系下，空间圆所在平面的法向量值为：

n₁＝(-0.590，-0.236，0.772，1)^T

n₂＝(0.598，0.233，0.767，1)^T

已知图像中的圆半径为100pixel，根据步骤3中引用的算法，可求得空间圆圆心的坐标为：

c₁＝(22.231，-6.545，3978.716)pixel

c₂＝(19.933，-7.452，3978.726)pixel

用拟合的图像平面的直线方程，通过式(7)、(8)可求得L_1-1和L_2-1的参数为：

L_1-1：(L₁，M₁，N₁)^T＝(-0.8126，3.9714，0.5922)^T

L_2-1：(L₂，M₂，N₂)^T＝(-0.7137，4.02，0.6827)^T

由此可以计算得到L_1-1和L_2-1之间的夹角为1.8934°。

同理，可通过式(9)、(10)求得L_1-2和L_2-2的参数为：

L_1-2：(L′₁，M′₁，N′₁)^T＝(-0.7266，3.7399，-0.5804)^T

L_2-2：(L′₂，M′₂，N′₂)^T＝(-0.8245，4.2851，-0.6599)^T

进而可以计算得到L_1-2和L_2-2之间的夹角为0.1327°。

由此可以判断出L_1-2和L_2-2所对应的空间圆的位姿参数为真实的空间圆位姿参数，最终得到真实的空间圆位姿参数为：n＝(0.598，0.233，0.767)^T，C＝(19.933，-7.452，3978.726)pixel。

以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。

Claims

1.一种基于角度约束的空间圆姿态识别二义性消除方法，其特征在于，包括：

对摄像机进行标定，得到摄像机的内部参数；

2.根据权利要求1所述基于角度约束的空间圆姿态识别二义性消除方法，其特征在于，所述几何元素为与所述空间圆所在平面共面的两条不重合直线。

3.根据权利要求1所述基于角度约束的空间圆姿态识别二义性消除方法，其特征在于，根据张正友平面法对所述摄像机进行标定。

4.根据权利要求1所述基于角度约束的空间圆姿态识别二义性消除方法，其特征在于，通过Hessian矩阵法对所述测量图像进行处理，得到所述测量图像中的椭圆边缘点和几何元素的特征点。

5.根据权利要求1、或2、或3、或4所述基于角度约束的空间圆姿态识别二义性消除方法，其特征在于，所述计算得到与几何元素对应的空间几何元素的表达式，具体包括：