CN102810204B - 基于平行四边形的单目视觉单幅图像定位方法 - Google Patents

Abstract

一种基于平行四边形的单目视觉单幅图像定位方法，是仅通过单幅图像上具有平行四边形几何约束的四个特征点实现物体的空间定位，具体：（1）视觉传感器采集平行四边形图像，通过图像处理算法求取平行四边形四个顶点成像点在摄像机坐标系下的坐标；（2）借助两个消隐点求取在摄像机坐标系下平行四边形所在平面的法线；（3）在步骤（2）的基础上，根据透视成像模型求取平行四边形四个顶点在摄像机坐标系下的坐标；（4）根据平行四边形四个顶点在摄像机坐标系下的坐标及四个顶点在物体坐标系下的坐标求取物体的空间位姿。本发明由一台摄像机对空间物体的定位，经济性强；对空间物体位姿进行计算时，利用平行四边形成像的两个消隐点的特性，大幅度简化计算过程。

Description

基于平行四边形的单目视觉单幅图像定位方法

技术领域

本发明涉及一种图像定位方法。特别是涉及一种对物体旋转角度识别基于平行四边形的单目视觉单幅图像定位方法。

背景技术

随着传感器技术、网络技术以及图像技术的发展，基于视觉的定位技术已成为一门快速发展的新型学科，在机器人导航、航空航天飞行器的定位于抓取、虚拟现实等技术中得到了越来越广泛的应用。

基于视觉的定位大体可以分为基于多幅图像的定位和基于单幅图像的定位，其中基于单幅图像的定位由于不需要确定图像点之间的对应关系，应用更加广泛。PnP问题是基于单幅图像对物体惊喜定位的一种有效方法，也是应用最广泛的方法。PnP问题是指给定n组空间点与图像点之间的对应关系，确定物体坐标系与摄像机坐标系刚体变换关系的一种方法，该问题自1981年提出之后，引起了国内外学者的广泛重视，针对PnP问题求解进行了大量研究与探讨，取得了很多有价值的成果，特别的在P4P问题中，如果4个空间点共面且其所在平面与摄像机光轴不平行时，则对应的共面P4P问题有唯一解。在P4P问题中，如果4个空间共面点组成平行四边形时，该P4P问题的解可以通过平行四边形的两个消隐点很方便的求解，因此通过构造具有平行四边形几何约束的4个特征点来实现通过单幅图像的物体定位操作方便，鲁棒性强，具有很高的工程应用价值。

发明内容

本发明所要解决的技术问题是，提供一种能够实现物体空间定位的基于平行四边形的单目视觉单幅图像定位方法。

本发明所采用的技术方案是：一种基于平行四边形的单目视觉单幅图像定位方法，是仅通过单幅图像上具有平行四边形几何约束的四个特征点实现物体的空间定位，具体包括如下步骤：

（1）视觉传感器采集平行四边形图像，通过图像处理算法求取平行四边形四个顶点成像点在摄像机坐标系下的坐标；

（2）借助两个消隐点求取在摄像机坐标系下平行四边形所在平面的法线；

（3）在步骤（2）的基础上，根据透视成像模型求取平行四边形四个顶点在摄像机坐标系下的坐标；

（4）根据平行四边形四个顶点在摄像机坐标系下的坐标及四个顶点在物体坐标系下的坐标求取物体的空间位姿。

步骤（2）所述的求取在摄像机坐标系下平行四边形所在平面的法线是：

设定O_c-x_cy_cz_c为摄像机坐标系，P₁P₂P₃P₄为空间平行四边形，Q₁Q₂Q₃Q₄为它们在像平面的成像点；V₁、V₂为平行四边形P₁P₂P₃P₄两组平行对边对应的消隐点，即点V₁为直线Q₁Q₂与直线Q₃Q₄的交点，点V₂为直线Q₁Q₄与直线Q₂Q₃的交点，设r_a表示V₁、O_c两点之间的矢量，r_b表示V₂、O_c两点之间的点之间的矢量，在摄像机坐标系下平行四边形所在平面的法线n=[x_n,y_n,z_n]为

n=r_a×r_b/|r_a×r_b|

当Q₁Q₂//Q₃Q₄（或Q₁Q₄//Q₂Q₃）时，V₁（或V₂）点无法得到，此时将Q₁和Q₂或Q₂和Q₃两点之间的矢量记为r_a（r_b）。

步骤（3）所述的根据透视成像模型求取平行四边形四个顶点在摄像机坐标系下的坐标具体为：

设定P_wi=(x_wi,y_wi,z_wi)^T表示点P_i在物体坐标系中坐标，P_ci=(x_ci,y_ci,z_ci)^T表示点P_i在摄像机坐标系中坐标，P₀=[00z]^T为平行四边形所在平面内的一点P₀在摄像机坐标系下的坐标，Q_ci=(x_i,y_i,f)^T表示点Q_i在摄像机坐标系中坐标；记则根据(P_ci-P₀)·n=0得

P_ci=zP'_ci

P₁P₂P₃P₄在摄像机坐标系及物体坐标系下的面积分别为

S=S_c=z(|(P′_c2-P′_c1)×(P′_c3-P′_c1)|

S=S_w=|(P_w2-P_w1)×(P_w3-P_w1)|

进而解得

$z=\frac{|(P_{w2}-P_{w1})\×(P_{w3}-P_{w1})|+|(P_{w3}-P_{w1})\×(P_{w4}-P_{w1})|}{|(P_{c2}^{\′}-P_{c1}^{\′})\×(P_{c3}^{\′}-P_{c1}^{\′})|+|(P_{c3}^{\′}-P_{c1}^{\′})\×(P_{c4}^{\′}-P_{c1}^{\′})|}$

步骤（4）所述的求取物体的空间位姿具体为：

设定表示点P_i在物体坐标系下中的坐标，表示点P_i在摄像机坐标系下齐次坐标i=1,2,3,4，物体的空间位姿[Rt]满足 ${\tilde{P}}_{\mathrm{ci}}=\left[\begin{array}{cc}R& t\end{array}\right]{\tilde{P}}_{\mathrm{wi}},$ 可通过牛顿迭代法求解。

本发明的基于平行四边形的单目视觉单幅图像定位方法，仅通过一台摄像机即可实现空间物体的定位，经济性强；对空间物体位姿进行计算时，利用平行四边形成像的两个消隐点的特性，大幅度简化计算过程，具有较强的实用价值。

附图说明

图1是本发明提供的现场示意图；

图2是本发明提供的基于平行四边形单目单幅图像定位技术的流程图；

图3是本发明提供的计算模型图。

具体实施方式

下面结合实施例和附图对本发明的基于平行四边形的单目视觉单幅图像定位方法做出详细说明。

为了方便快速、准确地实现物体的空间定位，本发明实施例提供了一种基于平行四边形的单目单幅图像定位方法，参见图1～图3，该方法内容如下：

图1包括：工业机器人（图中未示）、CCD摄像机2和空间物体1。摄像机2已标定，空间物体1固定安装在工业机器人上，其上有4个特征圆点，记为P₁P₂P₃P₄，这四个特征圆点构成平行四边形。在物体上建立物体坐标系，四个特征圆中心点物体坐标已知。应用时由摄像机采集一幅图像，四个特征圆的成像点记为Q₁Q₂Q₃Q₄，V₁、V₂为平行四边形P₁P₂P₃P₄两组平行对边对应的消隐点，以V₁、V₂为核心求取在摄像机坐标系下平行四边形所在平面的法线，然后根据透视成像模型求取四个特征点在摄像机坐标系下的坐标，进而获得物体的空间位姿。

本发明的基于平行四边形的单目视觉单幅图像定位方法，是仅通过单幅图像上具有平行四边形几何约束的四个特征点实现物体的空间定位，具体如图2所示，包括如下步骤：

（1）视觉传感器采集平行四边形图像，通过图像处理算法求取平行四边形四个顶点成像点在摄像机坐标系下的坐标；

（2）借助两个消隐点求取在摄像机坐标系下平行四边形所在平面的法线，

所述的求取在摄像机坐标系下平行四边形所在平面的法线如图3所示，是：

O_c-x_cy_cz_c为摄像机坐标系，P₁P₂P₃P₄为空间平行四边形，Q₁Q₂Q₃Q₄为它们在像平面的成像点；V₁、V₂为平行四边形P₁P₂P₃P₄两组平行对边对应的消隐点，即点V₁为直线Q₁Q₂与直线Q₃Q₄的交点，点V₂为直线Q₁Q₄与直线Q₂Q₃的交点，设r_a表示V₁、O_c两点之间的矢量，r_b表示V₂、O_c两点之间的点之间的矢量，在摄像机坐标系下平行四边形所在平面的法线n=[x_n,y_n,z_n]为

n=r_a×r_b/|r_a×r_b|

当Q₁Q₂//Q₃Q₄（或Q₁Q₄//Q₂Q₃）时，V₁（或V₂）点无法得到，此时将Q₁和Q₂或Q₂和Q₃两点之间的矢量记为r_a（r_b）；

（3）在步骤（2）的基础上，根据透视成像模型求取平行四边形四个顶点在摄像机坐标系下的坐标，

所述的根据透视成像模型求取平行四边形四个顶点在摄像机坐标系下的坐标具体为：

P_wi=(x_wi,y_wi,z_wi)^T表示点P_i在物体坐标系中坐标，P_ci=(x_ci,y_ci,z_ci)^T表示点P_i在摄像机坐标系中坐标，P₀=[00z]^T为平行四边形所在平面内的一点P₀在摄像机坐标系下的坐标，Q_ci=(x_i,y_i,f)^T表示点Q_i在摄像机坐标系中坐标；记则根据

(P_ci-P₀)·n=0得

P_ci=zP’_ci

P₁P₂P₃P₄在摄像机坐标系及物体坐标系下的面积分别为

S=S_c=z(|(P′_c2-P′_c1)×(P′_c3-P′_c1)|

S=S_w=|(P_w2-P_w1)×(P_w3-P_w1)|

进而解得

$z=\frac{|(P_{w2}-P_{w1})\×(P_{w3}-P_{w1})|+|(P_{w3}-P_{w1})\×(P_{w4}-P_{w1})|}{|(P_{c2}^{\′}-P_{c1}^{\′})\×(P_{c3}^{\′}-P_{c1}^{\′})|+|(P_{c3}^{\′}-P_{c1}^{\′})\×(P_{c4}^{\′}-P_{c1}^{\′})|};$

（4）根据平行四边形四个顶点在摄像机坐标系下的坐标及四个顶点在物体坐标系下的坐标求取物体的空间位姿，

所述的求取物体的空间位姿具体为：

设定表示点P_i在物体坐标系下中的坐标，表示点P_i在摄像机坐标系下齐次坐标i=1,2,3,4，物体的空间位姿[Rt]满足 ${\tilde{P}}_{\mathrm{ci}}=\left[\begin{array}{cc}R& t\end{array}\right]{\tilde{P}}_{\mathrm{wi}},$ 可通过牛顿迭代法求解。

本发明实施例以1个简单的试验来验证本发明提供的方法的有效性。以实物为例，控制工业机器人1运行至四个不同位置，4个位置之间的相互距离已知（四个位置为50mm的矩形），在每个位置拍摄一幅图像。按照本发明提供的方法，计算各个位置的位移见表1，各个位置平移的体积误差在0.2mm内，该方法的有效性得到了很好的验证。

表1

	位置1	位置2	位置3	位置4
					x	-23.31	26.55	27.35	-22.68
y	24.68	25.26	-24.64	-25.22
					z	852.01	851.52	852.12	852.58

通过上述实验验证，可以看出本发明实施例提供的方法的可行性，可以实际应用中对物体定位的需要。

本领域技术人员可以理解附图只是一个优选实施例的示意图，上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (4)

1.一种基于平行四边形的单目视觉单幅图像定位方法，其特征在于，是仅通过单幅图像上具有平行四边形几何约束的四个特征点实现物体的空间定位，具体包括如下步骤：

(1)视觉传感器采集平行四边形图像，通过图像处理算法求取平行四边形四个顶点成像点在摄像机坐标系下的坐标；

(2)借助两个消隐点求取在摄像机坐标系下平行四边形所在平面的法线；

(3)在步骤(2)的基础上，根据透视成像模型求取平行四边形四个顶点在摄像机坐标系下的坐标；

(4)根据平行四边形四个顶点在摄像机坐标系下的坐标及四个顶点在物体坐标系下的坐标求取物体的空间位姿。

2.根据权利要求1所述的基于平行四边形的单目视觉单幅图像定位方法，其特征在于，步骤(2)所述的求取在摄像机坐标系下平行四边形所在平面的法线是：

设定O_c-x_cy_cz_c为摄像机坐标系，P₁P₂P₃P₄为空间平行四边形，Q₁Q₂Q₃Q₄为它们在像平面的成像点；V₁、V₂为平行四边形P₁P₂P₃P₄两组平行对边对应的消隐点，即点V₁为直线Q₁Q₂与直线Q₃Q₄的交点，点V₂为直线Q₁Q₄与直线Q₂Q₃的交点，设r_a表示V₁、O_c两点之间的矢量，r_b表示V₂、O_c两点之间的矢量，在摄像机坐标系下平行四边形所在平面的法线n＝[x_n,y_n,z_n]为

n＝r_a×r_b/|r_a×r_b|

当Q₁Q₂//Q₃Q₄时，V₁点无法得到，此时将Q₁和Q₂两点之间的矢量记为r_a；当Q₁Q₄//Q₂Q₃时，V₂点无法得到，此时将Q₂和Q₃两点之间的矢量记为r_b。

3.根据权利要求2所述的基于平行四边形的单目视觉单幅图像定位方法，其特征在于，步骤(3)所述的根据透视成像模型求取平行四边形四个顶点在摄像机坐标系下的坐标具体为：

设定P_wi＝(x_wi,y_wi,z_wi)^T表示点P_i在物体坐标系中坐标，P_ci＝(x_ci,y_ci,z_ci)^T表示点P_i在摄像机坐标系中坐标，P₀＝[00z]^T为平行四边形所在平面内的一点P₀在摄像机坐标系下的坐标，Q_ci＝(x_i,y_i,f)^T表示点Q_i在摄像机坐标系中坐标；记则根据(P_ci-P₀)·n＝0得

P_ci＝zP′_ci

P₁P₂P₃P₄在摄像机坐标系及物体坐标系下的面积分别为

S＝S_c＝z(|(P′_c2-P′_c1)×(P′_c3-P′_c1)|

S＝S_w＝|(P_w2-P_w1)×(P_w3-P_w1)|

进而解得

。

4.根据权利要求1所述的基于平行四边形的单目视觉单幅图像定位方法，其特征在于，步骤(4)所述的求取物体的空间位姿具体为：

设定表示点P_i在物体坐标系下的坐标，表示点P_i在摄像机坐标系下齐次坐标，i＝1,2,3,4，物体的空间位姿[Rt]满足通过牛顿迭代法求解。