CN104864851A - 一种基于矩形周长和面积加权约束的单目视觉位姿测量方法 - Google Patents

Abstract

本发明公开了一种基于矩形周长和面积加权约束的单目视觉位姿测量方法，步骤包括：步骤(1)、获取矩形目标图像；步骤(2)、提取图像中矩形目标特征点；步骤(3)、建立矩形周长和面积特征加权约束关系；步骤(4)、基于矩形周长和面积特征约束关系解算位姿。该方法运用图像识别手段，以目标矩形周长和面积几何特征建立加权误差约束关系，提高了目标单目视觉位姿测量精度。

Description

一种基于矩形周长和面积加权约束的单目视觉位姿测量方法

技术领域

本发明涉及一种单目视觉位姿测量方法，尤其涉及一种基于矩形周长和面积加权约束的单目视觉位姿测量方法。

背景技术

基于视觉的目标位姿(位置、姿态)测量是在空间交会对接、工业自动化、智能交通导航等方面应用十分广泛。尤其在航天领域中，精确测量空间目标的位姿是直接关系到一系列空间在轨服务任务(在装配、维修、补给、抓捕)成功的首要条件。

从目标类型上，可将视觉的位姿测量分为合作目标测量和非合作目标测量，合作目标测量由于具有精度高、测量技术成熟、可靠等优势，在空间领域广泛采用。目前已采用过的合作标志器形态多种多样，有利用特征点、特征线、特征圆等多种几何特征的，通过对合作标志器的特征识别提取，从而利用提取的特征点坐标重投影约束、特征直线斜率约束、特征圆的半径约束等解算出目标位姿。

根据秦丽娟等人的《基于矩形的三维物体位姿估计研究》(参见《计算机工程与科学》，2009年31卷(4)49-51页)，利用了矩形对边平行等条件构造了位姿解析解算方法，但未涉及利用矩形周长、面积等几何特征。根据王晓剑等人的《基于双平行线特征的位姿估计解析算法》(参见《仪器仪表学报》，2008年29卷(3)600-604页)，利用了平行四边形的面积等特征构造位姿解析解算方法，但同样未涉及矩形周长特征。专利CN201010563504.6中提出了一种基于特征线的运动目标位姿光学测量方法，方法中利用了两条相交直线上4个特征点不重合且不共线条件，解算目标位置姿态，未涉及利用四个点构成矩形的周长和面积特征。上述方法均未涉及利用矩形周长和面积的特征加权关系构造位姿迭代解算方法。

发明内容

本发明要解决的技术问题是：提供一种基于矩形周长和面积加权约束的单目视觉位姿测量方法。该方法利用4个特征点构造了矩形，并利用矩形目标在位姿变化过程中其周长和面积保持不变的几何特征建立了加权误差约束关系，在对矩形面积和周长误差约束转换为对目标位姿的约束，误差约束关系构造了迭代解算位姿方法。通过对矩形周长和面积的误差约束迭代解算目标位姿方法，有效利用了矩形刚体目标周长面积不变性特征，从而提高了位姿解算结果准确性。

本发明采用的技术方案如下：一种基于矩形周长和面积加权约束的单目视觉位姿测量方法，该方法步骤如下：

步骤(1)、对目标成像，并获取目标图像。首先设置目标由4个高反光圆形特征点构成矩形，已知4个目标特征点在目标坐标系中3维坐标集{W_i}(i＝1…n,n＝4)，根据{W_i}获取矩形周长参数C，面积参数S，

$C=2(\stackrel{\→}{W_i{W}_{i+1}}+|\stackrel{\→}{W_{i+1}{W}_{i+2}}\left|\right)$

$S=\left(\right|\stackrel{\→}{W_i{W}_{i+1}}|\·|\stackrel{\→}{W_{i+1}{W}_{i+2}}\left|\right)$

步骤(2)、识别矩形目标特征点。将步骤(1)获取的图像进行识别并提取图像中目标特征点质心坐标{a_i}(i＝1…4)；

步骤(3)、建立矩形周长和面积加权约束关系。知摄像机等效焦距为f，定义4个目标特征点在摄像机坐标系下坐标集为{A_i}，定义特征点到摄像机光心p的距离为{l_i}。由步骤(2)获取了目标特征点在图像平面成像点质心坐标a_i＝(u_i,v_i)，则成像点的3维坐标表示为(a_i,f)＝(u_i,v_i,f)。则：

$\stackrel{\→}{u_i}=\frac{\stackrel{\→}{p(a_i,f)}}{\left|\stackrel{\→}{p(a_i,f)}\right|}$

$A_i=l_i\stackrel{\→}{u_i}$

应用特征点构造周长C和面积S作为对刚体目标的约束。构成了基于周长和面积加权约束的误差项E_l。1个矩形有两条相邻边即确定面积和周长，则共形成4组面积误差项和4组周长误差项，对应形成4组加权误差约束项E_l。

$e_c=2\left\{\right[{\left(l_i\right)}^2+{\left(l_{i+1}\right)}^2-{2l}_i{l}_{i+1}(\stackrel{\→}{u_i}\·\stackrel{\→}{u_{i+1}})]+[{\left(l_{i+1}\right)}^2+{\left(l_{i+2}\right)}^2-{2l}_{i+1}{l}_{i+2}(\stackrel{\→}{u_{i+1}}\·\stackrel{\→}{u_{i+2}})\left]\right\}-C$

$e_s=[{\left(l_i\right)}^2+{\left(l_{i+1}\right)}^2-{2l}_i{l}_{i+1}(\stackrel{\→}{u_i}\·\stackrel{\→}{u_{i+1}})]\·[{\left(l_{i+1}\right)}^2+{\left(l_{i+2}\right)}^2-{2l}_{i+1}{l}_{i+2}(\stackrel{\→}{u_{i+1}}\·\stackrel{\→}{u_{i+2}})]-S$

E_l＝αe_c+βe_s

其中E为第k次迭代后由e_c和e_s形成的加权误差矩阵，加权系数α和β满足α+β＝1；

步骤(4)、基于矩形多周长和面积约束关系解算位姿。首次迭代解算出{l_i}的修正量x：

$J_l=\frac{{\∂E}_l}{\∂L}$

J_lx＝E_l

x＝(J_l ^TJ_l)^-1J_l ^-1E_l

其中J_l为雅可比(Jacobian)矩阵，在迭代中解算出{l_i}的修正量x，从而最终解算出准确的{l_i}。

L^(k+1)＝L^(k)-x

其中L^(k)是第k次迭代后的{l_i}。由于周长和面积不变性，当所有的周长和面积约束都能同时被满足，误差E_l在迭代过程中将会逐渐收敛到零，且最终解算得到最优的{l_i}。另一方面，此非线性最优化问题可以被认为是局部线性的，反复迭代可以被解算得到{l_i}。在{l_i}得到的基础上，解算得到目标特征点在摄像机坐标系中坐标{A_i}，再由最小二乘平差方法，解算得到目标姿态角度θ＝(A_x,A_y,A_z)与目标平移向量T＝(t_x,t_y,t_z)。

本发明与现有技术相比的优点在于：提供一种针对矩形目标的单目视觉位姿测量方法。该方法利用4个特征点构造了矩形，并利用矩形目标在位姿变化过程中其周长和面积保持不变的几何特征建立了加权误差约束关系，在对矩形面积和周长误差约束转换为对目标位姿的约束，误差约束关系构造了迭代解算位姿方法。通过对矩形周长和面积的误差约束迭代解算目标位姿方法，有效利用了矩形刚体目标周长面积不变性特征，从而提高了位姿解算结果准确性。

附图说明

图1为本发明具体流程图；

图2为仿真生成矩形目标模型图；

图3为第1组仿真生成矩形目标图像；

图4为第2组仿真生成矩形目标图像；

图5为第3组仿真生成矩形目标图像。

具体实施方式

下面结合附图以及具体实施例，对本发明方法进一步说明。

本发明具体流程如图1所示。一种基于矩形周长和面积加权约束的单目视觉位姿测量方法，

(1)对目标成像，并获取目标图像。共进行了三组试验，如图3～5所示，仿真生成目标在不同位姿下三组图像。首先设置目标由4个高反光圆形特征点构成矩形(如图2所示)，已知4个目标特征点在目标坐标系中3维坐标集{W_i}(i＝1…n,n＝4)，单位为mm，

W₁＝(-17.25,-11.5,11.5)

W₂＝(17.25,-11.5,11.5)

W₃＝(-17.25,11.5,11.5)

W₄＝(17.25,11.5,11.5)

根据{W_i}获取矩形周长参数C，面积参数S，

$C=2\left(\right|\stackrel{\→}{W_i{W}_{i+1}}|+|\stackrel{\→}{W_{i+1}{W}_{i+2}}\left|\right)=115\mathrm{mm}$

$S=\left(\right|\stackrel{\→}{W_i{W}_{i+1}}|\·\stackrel{\→}{W_{i+1}{W}_{i+2}}|)=793.5{\mathrm{mm}}^2$

(2)识别矩形目标特征点。将步骤(1)获取的图像进行识别并提取图像中目标特征点质心坐标{a_i}(i＝1…4)；

(3)建立矩形周长和面积加权约束关系。已知摄像机等效焦距为f＝3654.5pixel，定义4个目标特征点在摄像机坐标系下坐标集为{A_i}，定义特征点到摄像机光心p的距离为{l_i}。由步骤(2)获取了目标特征点在图像平面成像点质心坐标a_i＝(u_i,v_i)，则成像点的3维坐标表示为(a_i,f)＝(u_i,v_i,f)。则：

$\stackrel{\→}{u_i}=\frac{\stackrel{\→}{p(a_i,f)}}{\left|\stackrel{\→}{p(a_i,f)}\right|}$

$A_i=l_i\stackrel{\→}{u_i}$

应用特征点构造周长C和面积S作为对刚体目标的约束。构成了基于周长和面积加权约束的误差项E_l。1个矩形有两条相邻边即确定面积和周长，则共形成4组面积误差项和4组周长误差项，对应形成4组加权误差约束项E_l。

$e_c=2\left\{\right[{\left(l_i\right)}^2+{\left(l_{i+1}\right)}^2-{2l}_i{l}_{i+1}(\stackrel{\→}{u_i}\·\stackrel{\→}{u_{i+1}})]+[{\left(l_{i+1}\right)}^2+{\left(l_{i+2}\right)}^2-{2l}_{i+1}{l}_{i+2}(\stackrel{\→}{u_{i+1}}\·\stackrel{\→}{u_{i+2}})\left]\right\}-C$

$e_s=[{\left(l_i\right)}^2+{\left(l_{i+1}\right)}^2-{2l}_i{l}_{i+1}(\stackrel{\→}{u_i}\·\stackrel{\→}{u_{i+1}})]\·[{\left(l_{i+1}\right)}^2+{\left(l_{i+2}\right)}^2-{2l}_{i+1}{l}_{i+2}(\stackrel{\→}{u_{i+1}}\·\stackrel{\→}{u_{i+2}})]-S$

E_l＝αe_c+βe_s

其中E为第k次迭代后由e_c和e_s形成的加权误差矩阵，设置加权系数α＝0.4和β＝0.6，满足α+β＝1；

(4)基于矩形多周长和面积约束关系解算位姿。首次迭代解算出{l_i}的修正量x：

$J_l=\frac{{\∂E}_l}{\∂L}$

J_lx＝E_l

x＝(J_l ^TJ_l)^-1J_l ^-1E_l

其中J_l为雅可比(Jacobian)矩阵，在迭代中解算出{l_i}的修正量x，从而最终解算出准确的{l_i}。

L^(k+1)＝L^(k)-x

其中L^(k)是第k次迭代后的{l_i}。由于周长和面积不变性，当所有的周长和面积约束都能同时被满足，误差E_l在迭代过程中将会逐渐收敛到零，且最终解算得到最优的{l_i}。另一方面，此非线性最优化问题可以被认为是局部线性的，反复迭代可以被解算得到{l_i}。在{l_i}得到的基础上，解算得到目标特征点在摄像机坐标系中坐标{A_i}，再由最小二乘平差方法，解算得到目标姿态角度θ＝(A_x,A_y,A_z)与目标平移向量T＝(t_x,t_y,t_z)，如表1所示，分别统计3组试验位姿解算结果及平均误差。

表1仿真试验位姿解算结果及误差图表

由于充分利用了矩形目标面积和周长信息，并且将两种几何特征进行加权关联，建立起非线性最优化约束条件，使位姿解算结果更符合目标本身刚体特性，从而提高位姿解算准确性。

本发明未详述部分属于本技术领域的公知技术。以上所述仅为本发明的具体实例而已，并不用于以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (2)

1.一种基于矩形周长和面积加权约束的单目视觉位姿测量方法，其特征在于该方法包括如下步骤：

步骤(1)、对目标成像，并获取目标图像；首先设置目标由4特征点构成矩形，已知4个目标特征点在目标坐标系中3维坐标集{W_i}(i＝1…n,n＝4)，根据{W_i}获取矩形周长参数C，面积参数S，

步骤(2)、识别矩形目标特征点；将步骤(1)获取的图像进行识别并提取图像中目标特征点坐标{a_i}(i＝1…4)；

步骤(3)、建立矩形周长和面积加权约束关系；知摄像机等效焦距为f，定义4个目标特征点在摄像机坐标系下坐标集为{A_i}，定义特征点到摄像机光心p的距离为{l_i}；由步骤(2)获取了目标特征点在图像平面成像点质心坐标a_i＝(u_i,v_i)，则成像点的3维坐标表示为(a_i,f)＝(u_i,v_i,f)；则：

$A_i=l_i\stackrel{\→}{u_i}$

应用特征点构造周长C和面积S作为对刚体目标的约束；构成了基于周长和面积加权约束的误差项E_l；1个矩形有两条相邻边即确定面积和周长，则共形成4组面积误差项和4组周长误差项，对应形成4组加权误差约束项E_l；

E_l＝αe_c+βe_s

其中E为第k次迭代后由e_c和e_s形成的加权误差矩阵；

步骤(4)、基于矩形多周长和面积约束关系解算位姿；首次迭代解算出{l_i}的修正量x：

$J_l=\frac{\∂E_l}{\∂L}$

J_lx＝E_l

x＝(J_l ^TJ_l)^-1J_l ^-1E_l

其中J_l为雅可比(Jacobian)矩阵，在迭代中解算出{l_i}的修正量x，从而最终解算出准确的{l_i}；

L^(k+1)＝L^(k)-x

其中L^(k)是第k次迭代后的{l_i}；当所有的周长和面积约束都能同时被满足，误差E_l在迭代过程中将会逐渐收敛到零，且最终解算得到最优的{l_i}；另一方面，此非线性最优化问题可以被认为是局部线性的，反复迭代可以被解算得到{l_i}；在{l_i}得到的基础上，解算得到目标特征点在摄像机坐标系中坐标{A_i}，再由最小二乘平差方法，解算得到目标姿态角度θ＝(A_x,A_y,A_z)与目标平移向量T＝(t_x,t_y,t_z)。

2.根据权利要求1所述的一种基于矩形周长和面积加权约束的单目视觉位姿测量方法，其特征在于：所述步骤(3)中E为第k次迭代后由e_c和e_s形成的加权误差矩阵，具体应为：加权系数α和β满足α+β＝1。