CN104091345B - 基于前方交会约束的五点相对定向方法 - Google Patents

Abstract

本发明公开了一种基于前方交会约束的五点相对定向方法，包括：步骤一、拍摄包含五个点的被测物体的两张不同视角图像；步骤二、建立五个点的共面方程；步骤三、构造前方交会约束的五点相对定向目标函数；步骤四、构造相对定向元素的迭代方程，通过建立包含前方交会约束与正交约束的同名像点共面条件方程，推导求解五点相对定向问题的无约束最优化目标函数，并采用最小二乘广义逆法求解五个相对定向元素。与现有的五点算法相比，本方法无需排解即可确保五对同名射线对对相交，并且求解精度高，鲁棒性好，有实用价值。

Description

基于前方交会约束的五点相对定向方法

技术领域

本发明涉及光学成像测量技术领域，尤其涉及一种基于前方交会约束的五点相对定向方法。

背景技术

相机标定是光学成像测量(如机器视觉、视频测量和数字近景摄影测量)研究领域的热点问题之一，是实现高精度光学成像测量的基础。目前相机标定方法可分为三类：

1)传统相机标定法，通过建立精密加工的标定块上已知三维坐标点与其像点间的对应关系，来计算摄像机的内外参数。该方法的优点在于可以获得较高的精度，但不适用于在线标定和不能使用标定块的场合。

2)基于主动视觉的标定方法，需要控制摄像机做精确的特殊运动(如绕光心旋转或纯平移等)，以计算出内外参数。该方法的优点是算法简单，往往能获得线性解，缺点是不能适用于摄像机运动未知或无法控制的场合。

3)自标定方法，利用不同角度获得的同名像点间的对极几何关系(即同名像点共面)，计算出摄像机内外参数。

自标定方法因无需加工和维护成本很高的精密标定板，也不用制作高精度摄像机运动平台，仅通过不同视角的同一场景图像即可实现摄像机标定，成为研究热点。

共面条件方程是相机自标定的理论基础，如五点算法、七点算法和八点算法等的核心均是同名像点的共面条件方程，其中“五点算法”具有以下优势而被广泛关注：

1)“五点算法”具有更少的退化形式，比如，对平面场景不退化，但“八点算法”退化；

2)当“五点算法”与RANSAC结合使用时，较“七点与八点算法”更高效；

3)“五点算法”的实现精度高于“八点算法”；

4)“五点算法”需要的设置的标记点更少。

但是，按照摄影测量学的相对定向理论：同名射线对对相交才是相对定向成功的标志。因此，仅依赖五个同名像点的共面条件方程，难以确保本质矩阵求解成功：

1)现有的“五点算法”因采用多项式求解技术，存在多个解而非唯一解，存在误解的排除问题；

2)五个同名像点的共面不能确保这五对同名射线对对相交，导致本质矩阵求解失败、相对定向失败。

五点相对定向是机器视觉、视频测量、数字近景摄影测量的经典问题，传统的五点算法采用多项式求解技术，导致了解的多异性。

发明内容

为了克服现有技术的上述缺点，本发明提供了一种基于前方交会约束的五点相对定向方法，通过建立包含前方交会约束与正交约束的同名像点共面条件方程，推导求解五点相对定向问题的无约束最优化目标函数，并采用最小二乘广义逆法求解五个相对定向元素。与现有的五点算法相比，本方法无需排解即可确保五对同名射线对对相交，并且求解精度高，鲁棒性好，有实用价值。

本发明解决其技术问题所采用的技术方案是：一种基于前方交会约束的五点相对定向方法，包括如下步骤：

步骤一、拍摄包含五个点的被测物体的两张不同视角图像；

步骤二、建立五个点的共面方程：

设两张图像分别为I'和I″，I'和I″为一个像对；将I'和I″上的五个同名点记为集合P，对于P_i在I'上的像点为p_i'，P_i在I″上的像点为p_i″；C′x′y′z′和C″x″y″z″分别为I'和I″的像空间坐标系，C′(X_s1,Y_s1,Z_s1)和C″(X_s2,Y_s2,Z_s2)分别为坐标系C′x′y′z′与坐标系C″x″y″z″的坐标原点，C″在C′x′y′z′中的坐标为(bx,by,bz)，p_i'和p_i″在C′x′y′z′中的坐标分别为(u′,v′,w′)和(u″,v″,w″)，则p_i'和p_i″的共面方程为

$f\left(P_i\right)=\left|\begin{array}{ccc}\mathrm{bx}& \mathrm{by}& \mathrm{bz}\\ u^{\′}& v^{\′}& w^{\′}\\ u^{\′\′}& v^{\′\′}& w^{\′\′}\end{array}\right|=0$

式中：

$\left\{\begin{array}{c}{[u^{\′},v^{\′},w^{\′}]}^T={[x_i^A-x_0,y_i^A-y_0,-f]}^T\\ {[u^{\′\′},v^{\′\′},w^{\′\′}]}^T=R\×{[x_i^B-x_0,y_i^B-y_0,-f]}^T\end{array}\right.$

其中：(x₀,y₀)为像片的主点坐标，f为相机的焦距，分别为同名点p_i'和p_i″的像平面坐标，R为C″x″y″z″相对于C′x′y′z′的三个角元素组成的旋转矩阵；

步骤三、构造前方交会约束的五点相对定向目标函数：

minG(x)＝|f(p_i)|

$s.t\left\{\begin{array}{cc}{H}_i<0& \\ H_i<\mathrm{bz}& i=\mathrm{0,1}\&CenterDot;\&CenterDot;\&CenterDot;,n-1\\ Q_i=0& \end{array}\right.;$

其中：

$H_i=\frac{{n_z}^{\&prime;}{n_z}^{\&prime;\&prime;}(u^{\&prime;\&prime;}+w^{\&prime;\&prime;})-{n_z}^{\&prime;}({n_y}^{\&prime;\&prime;}+{n_x}^{\&prime;\&prime;})w^{\&prime;\&prime;}}{{n_z}^{\&prime;\&prime;}{n_x}^{\&prime;}-{n_z}^{\&prime;}{n_x}^{\&prime;\&prime;}+{n_z}^{\&prime;\&prime;}{n_y}^{\&prime;}-{n_z}^{\&prime;}{n_y}^{\&prime;\&prime;}}$

$Q_i=\sqrt{Q_{\mathrm{ix}}^2+Q_{\mathrm{iy}}^2}=\sqrt{{(\frac{{n_z}^{\&prime;}{n_x}^{\&prime;\&prime;}-{n_z}^{\&prime;\&prime;}{n_x}^{\&prime;}}{{n_z}^{\&prime;}{n_z}^{\&prime;\&prime;}}{H}_i+u^{\&prime;\&prime;}-\frac{{n_x}^{\&prime;\&prime;}}{{n_z}^{\&prime;\&prime;}}{w}^{\&prime;\&prime;})}^2+{(\frac{{n_z}^{\&prime;}{n_y}^{\&prime;\&prime;}-{n_z}^{\&prime;\&prime;}{n_y}^{\&prime;}}{{n_z}^{\&prime;}{n_z}^{\&prime;\&prime;}}{H}_i+v^{\&prime;\&prime;}-\frac{{n_y}^{\&prime;\&prime;}}{{n_z}^{\&prime;\&prime;}}{w}^{\&prime;\&prime;})}^2}$

n_x'＝u′,n_y'＝v′,n_z'＝w′

n_x″＝bx-u″,n_y″＝by-v″,n_z″＝bz-w″

bx²+by²+bz²＝1，且bx只涉及相对定向模型的比例尺；

步骤四、构造相对定向元素的迭代方程：

X^(k+1)＝X^(k)-a_k[J(X^(k))]^-1F^(k)

其中：

向量

[J(X^(k))]^-1为J(X^(k))的广义逆矩阵；

F^(k)为前交约束的k次迭代值；

a_k为使

$g\left(a_k\right)=\underset{i=0}{\overset{4}{\mathrm{\&Sigma;}}}{Q_i}^{\left(k\right)}$

$s.t\left\{\begin{array}{c}{H}_i^{\left(k\right)}<0\\ H_i^{\left(k\right)}<{\mathrm{bz}}^{\left(k\right)}\end{array}\right.$

取得最小值的点。

与现有技术相比，本发明的积极效果是：

共面条件方程是相机自标定的理论基础，如现有的五点算法、七点算法和八点算法的核心均是同名点的共面条件方程，但是，按照摄影测量学的相对定向理论：同名射线对对相交才是相对定向成功的标志。因此，仅依赖五个同名像点的共面条件方程，难以确保本质矩阵求解成功；另一方面，现有的“五点算法”因采用多项式求解技术，存在多个解而非唯一解，存在误解的排除问题。

为此，本发明通过建立包含前方交会约束的同名像点共面条件方程，推导求解五点相对定向问题的最优化目标函数，并采用最小二乘广义逆法求解，得到五个相对定向元素，无需排解即可确保五对同名射线对对相交，并且求解精度高，鲁棒性好，有实用价值。

光学成像测量(机器视觉、视频测量、数字近景摄影测量)在经济建设、国防建设和科学研究中有广泛的用途，特别适用于重要工程的变形和自动生产线的监测，弹体运动轨迹、炮口冲击波等不可接触物体的量测等。

相机标定是实现高精度光学成像测量的基础。五点相对定向方法是相机自标定的理论基础。

但是，现有的五点相对定向方法仅依赖同名像点的共面条件方程，难以确保本质矩阵求解成功，另一方面，采用多项式求解技术，又导致了解的多异性。

较现有的五点相对定向方法，本发明仅利用五对同名像点即可获得两张像片的相对位置(相对定向)立体模型，与现有的五点算法相比，本发明无需排解即可确保五对同名射线对对相交，并且求解精度高，鲁棒性好，有实用价值。

附图说明

本发明将通过例子并参照附图的方式说明，其中：

图1是被测物体及其上五个点的结构示意图；图中：1是实测物体、2是五个点；

图2是同名点的对极几何关系示意图。

具体实施方式

一种基于前方交会约束的五点相对定向方法，包括如下步骤：

步骤一、拍摄包含五个点的被测物体的两张不同视角图像：

采用双目视觉系统或同一相机从不同视角拍摄包含五个点的被测物体(如图1所示)的两张图像。

步骤二、建立五个点的共面方程：

建立某个给定点共面方程的具体方法如下：

如图2所示，不妨将拍摄的第一张图像I'称为左像片，另一张图像I″称为右像片，I'和I″为一个像对；将I'和I″上的五个同名点记为集合P，对于P_i在I'上的像点为p_i'，P_i在I″上的像点为p_i″；C′x′y′z′和C″x″y″z″分别为I'和I″的像空间坐标系，C′(X_s1,Y_s1,Z_s1)和C″(X_s2,Y_s2,Z_s2)分别为坐标系C′x′y′z′与坐标系C″x″y″z″的坐标原点，C″在C′x′y′z′中的坐标为(bx,by,bz)，p_i'和p_i″在C′x′y′z′中的坐标分别为(u′,v′,w′)和(u″,v″,w″)，则pi'和p_i″的共面方程为

$f\left(P_i\right)=\left|\begin{array}{ccc}\mathrm{bx}& \mathrm{by}& \mathrm{bz}\\ u^{\&prime;}& v^{\&prime;}& w^{\&prime;}\\ u^{\&prime;\&prime;}& v^{\&prime;\&prime;}& w^{\&prime;\&prime;}\end{array}\right|=0---\left(1\right)$

式中

$\left\{\begin{array}{c}{[u^{\&prime;},v^{\&prime;},w^{\&prime;}]}^T={[x_i^A-x_0,y_i^A-y_0,-f]}^T\\ {[u^{\&prime;\&prime;},v^{\&prime;\&prime;},w^{\&prime;\&prime;}]}^T=R\&times;{[x_i^B-x_0,y_i^B-y_0,-f]}^T\end{array}\right.---\left(2\right)$

式(2)中(x₀,y₀)为像片的主点坐标，f为相机的焦距，分别为同名点p_i'和p_i″的像平面坐标，R为C″x″y″z″相对于C′x′y′z′的三个角元素组成的旋转矩阵。

步骤三、构造前方交会约束的五点相对定向目标函数。具体方法如下：

如图2所示，在C′x′y′z′坐标系中，对于给定第i对同名射线和的直线方程为

$\left\{\begin{array}{c}\frac{x}{{n_x}^{\&prime;}}=\frac{y}{{n_y}^{\&prime;}}=\frac{z}{{n_z}^{\&prime;}}\\ \frac{x-u^{\&prime;\&prime;}}{{n_x}^{\&prime;\&prime;}}=\frac{y-v^{\&prime;\&prime;}}{{n_y}^{\&prime;\&prime;}}=\frac{z-w^{\&prime;\&prime;}}{{n_z}^{\&prime;\&prime;}}\end{array}\right.---\left(3\right)$

式中

$\left\{\begin{array}{c}{n_x}^{\&prime;}=u^{\&prime;},{n_y}^{\&prime;}=v^{\&prime;},{n_z}^{\&prime;}=w^{\&prime;}\\ {n_x}^{\&prime;\&prime;}=\mathrm{bx}-u^{\&prime;\&prime;},{n_y}^{\&prime;\&prime;}=\mathrm{by}-v^{\&prime;\&prime;},{n_z}^{\&prime;\&prime;}=\mathrm{bz}-w^{\&prime;\&prime;}\end{array}\right.---\left(4\right)$

和的承影面(即为C′x′y′z′坐标系中Z＝H_i的平面)为使视差

$Q_i=\sqrt{Q_{\mathrm{ix}}^2+Q_{\mathrm{iy}}^2}=\sqrt{{(\frac{{n_z}^{\&prime;}{n_x}^{\&prime;\&prime;}-{n_z}^{\&prime;\&prime;}{n_x}^{\&prime;}}{{n_z}^{\&prime;}{n_z}^{\&prime;\&prime;}}{H}_i+u^{\&prime;\&prime;}-\frac{{n_x}^{\&prime;\&prime;}}{{n_z}^{\&prime;\&prime;}}{w}^{\&prime;\&prime;})}^2+{(\frac{{n_z}^{\&prime;}{n_y}^{\&prime;\&prime;}-{n_z}^{\&prime;\&prime;}{n_y}^{\&prime;}}{{n_z}^{\&prime;}{n_z}^{\&prime;\&prime;}}{H}_i+v^{\&prime;\&prime;}-\frac{{n_y}^{\&prime;\&prime;}}{{n_z}^{\&prime;\&prime;}}{w}^{\&prime;\&prime;})}^2}---\left(5\right)$

取得最小值的平面，则由dQ/dH_i＝0推出

$H_i=\frac{{n_z}^{\&prime;}{n_z}^{\&prime;\&prime;}(u^{\&prime;\&prime;}+w^{\&prime;\&prime;})-{n_z}^{\&prime;}({n_y}^{\&prime;\&prime;}+{n_x}^{\&prime;\&prime;})w^{\&prime;\&prime;}}{{n_z}^{\&prime;\&prime;}{n_x}^{\&prime;}-{n_z}^{\&prime;}{n_x}^{\&prime;\&prime;}+{n_z}^{\&prime;\&prime;}{n_y}^{\&prime;}-{n_z}^{\&prime;}{n_y}^{\&prime;\&prime;}}---\left(6\right)$

综上，对于给定第i对同名点p_i'和p_i″的前方交会约束的共面方程可表达如下

minG(x)＝|f(p_i)|

$s.t\left\{\begin{array}{cc}{H}_i<0& \\ H_i<\mathrm{bz}& i=\mathrm{0,1}\&CenterDot;\&CenterDot;\&CenterDot;,n-1\\ Q_i=0& \end{array}\right.;---\left(7\right)$

因bx只涉及相对定向模型的比例尺，即bx,by,bz只有两个独立参数，不妨加入一个基线长度为1的约束

bx²+by²+bz²＝1 (8)

当n＝5时，式(7)即为前方交会约束的五点相对定向目标函数。

步骤四、构造相对定向元素的迭代方程：

具体方法如下：

设向量则相对定向元素的迭代方程如下

X^(k+1)＝X^(k)-a_k[J(X^(k))]^-1F^(k) (9)

其中：

1)[J(X^(k))]^-1为J(X^(k))的广义逆矩阵，J(X^(k))的计算式如下：

首先得到式(10)关于X的雅可比矩阵

再将X的第k次迭代值X^(k)带入式(10)，即可得到J(X^(k))。

2)前交约束的k次迭代值F^(k)的计算方法如下：

F^(k)中第i个元素的计算式为

$\left\{\begin{array}{c}{F}_i^{\left(k\right)}=Q_i^{\left(k\right)}\\ H_i^{\left(k\right)}<0\\ H_i^{\left(k\right)}<{\mathrm{bz}}^{\left(k\right)}\end{array}\right.---\left(11\right)$

式中i＝1,2,…,5，是将X^(k)代入式(6)的计算值，为将X^(k)和代入式(5)的计算值。

3)a_k为使

$g\left(a_k\right)=\underset{i=0}{\overset{4}{\mathrm{\&Sigma;}}}{Q}_i^{\left(k\right)}$

$s.t\left\{\begin{array}{c}{H}_i^{\left(k\right)}<0\\ H_i^{\left(k\right)}<{\mathrm{bz}}^{\left(k\right)}\end{array}\right.---\left(12\right)$

取得最小值的点。可以采用的有理极值法计算a_k，具体可查看2009年合肥工业大学硕士论文《关于连分式中几个问题的研究》第4.1节(p21～p24)。

所述迭代方程的具体求解方法为：

Step1设置允许误差ε>0，k＝1，给定初始点X^(k)，定义和X^(k)维数相同的临时变量Y，a_k＝1；

Step2代入式(10)计算J(X^(k))和[J(X^(k))]^-1；将X^(k)代入式(5)和式(6)，分别得到F^(k)和判断F^(k)中是否有元素不满足式(11)，若是，则修改初始点X^(k),返回Step2；若否，则进入Step3；修改初始点X^(k)的具体方法可参考文献(王佩军,徐亚明.摄影测量学[M].武汉大学出版社，2005),用模拟相对定向法修改初始点X^(k)。

Step3利用有理极值法求取a_k；Y＝a_k[J(X^(k))]^-1F^(k)；

Step4X^(k+1)＝Y+X^(k)；判断是否满足若是，则令k＝k+1，转Step2；若否，则进入Step5；

Step5输出X^(k+1)，结束。

Claims (4)

1.一种基于前方交会约束的五点相对定向方法，其特征在于：包括如下步骤：

步骤一、拍摄包含五个点的被测物体的两张不同视角图像；

步骤二、建立五个点的共面方程：

设两张图像分别为I'和I”，I'和I”为一个像对；将I'和I”上的五个同名点记为集合P，对于P_i在I'上的像点为p_i'，P_i在I”上的像点为p_i”；C′x′y′z′和C″x″y″z″分别为I'和I”的像空间坐标系，C′(X_s1,Y_s1,Z_s1)和C″(X_s2,Y_s2,Z_s2)分别为坐标系C′x′y′z′与坐标系C″x″y″z″的坐标原点，C″在C′x′y′z′中的坐标为(bx,by,bz)，p_i'和p_i”在C′x′y′z′中的坐标分别为(u′,v′,w′)和(u″,v″,w″)，则p_i'和p_i”的共面方程为

$f\left(P_i\right)=\left|\begin{array}{ccc}bx& by& bz\\ u^{\&prime;}& v^{\&prime;}& w^{\&prime;}\\ u^{\&prime;\&prime;}& v^{\&prime;\&prime;}& w^{\&prime;\&prime;}\end{array}\right|=0---\left(1\right)$

式中

$\left\{\begin{array}{c}{\&lsqb;u^{\&prime;},v^{\&prime;},w^{\&prime;}\&rsqb;}^T={\&lsqb;x_i^A-x_0,y_i^A-y_0,-f\&rsqb;}^T\\ {\&lsqb;u^{\&prime;\&prime;},v^{\&prime;\&prime;},w^{\&prime;\&prime;}\&rsqb;}^T=R\&times;{\&lsqb;x_i^B-x_0,y_i^B-y_0,-f\&rsqb;}^T\end{array}\right.---\left(2\right)$

式(2)中(x₀,y₀)为像片的主点坐标，f为相机的焦距，分别为同名点p_i'和p_i”的像平面坐标，R为C″x″y″z″相对于C′x′y′z′的三个角元素组成的旋转矩阵；

步骤三、构造前方交会约束的五点相对定向目标函数：

$\begin{array}{c}\min G\left(x\right)=\left|f\left(p_i\right)\right|\\ s.t\left\{\begin{array}{c}{H}_i<0\\ H_i<bz\\ Q_i=0\end{array}\right.,i=0,1,\mathrm{...},n-1;\end{array}---\left(3\right)$

其中：

$H_i=\frac{{n_z}^{\&prime;}{n_z}^{\&prime;\&prime;}(u^{\&prime;\&prime;}+w^{\&prime;\&prime;})-{n_z}^{\&prime;}({n_y}^{\&prime;\&prime;}+{n_x}^{\&prime;\&prime;})w^{\&prime;\&prime;}}{{n_z}^{\&prime;\&prime;}{n_x}^{\&prime;}-{n_z}^{\&prime;}{n_x}^{\&prime;\&prime;}+{n_z}^{\&prime;\&prime;}{n_y}^{\&prime;}-{n_z}^{\&prime;}{n_y}^{\&prime;\&prime;}}---\left(4\right)$

$Q_i=\sqrt{Q_{ix}^2+Q_{iy}^2}=\sqrt{{(\frac{{n_z}^{\&prime;}{n_x}^{\&prime;\&prime;}-{n_z}^{\&prime;\&prime;}{n_x}^{\&prime;}}{{n_z}^{\&prime;}{n_z}^{\&prime;\&prime;}}{H}_i+u^{\&prime;\&prime;}-\frac{{n_x}^{\&prime;\&prime;}}{{n_z}^{\&prime;\&prime;}}{w}^{\&prime;\&prime;})}^2+{(\frac{{n_z}^{\&prime;}{n_y}^{\&prime;\&prime;}-{n_z}^{\&prime;\&prime;}{n_y}^{\&prime;}}{{n_z}^{\&prime;}{n_z}^{\&prime;\&prime;}}{H}_i+v^{\&prime;\&prime;}-\frac{{n_y}^{\&prime;\&prime;}}{{n_z}^{\&prime;\&prime;}}{w}^{\&prime;\&prime;})}^2}---\left(5\right)$

n_x'＝u′,n_y'＝v′,n_z'＝w′

n_x”＝bx-u″,n_y”＝by-v″,n_z”＝bz-w″

bx²+by²+bz²＝1，且bx只涉及相对定向模型的比例尺；

步骤四、构造相对定向元素的迭代方程：

X^(k+1)＝X^(k)-a_k[J(X^(k))]^-1F^(k)

其中：

向量

[J(X^(k))]^-1为J(X^(k))的广义逆矩阵；

F^(k)为前交约束的k次迭代值；

a_k为使

$g\left(a_k\right)=\underset{i=0}{\overset{4}{\&Sigma;}}{Q_i}^{\left(k\right)}$

$s.t\left\{\begin{array}{c}{H_i}^{\left(k\right)}<0\\ {H_i}^{\left(k\right)}<{\mathrm{bz}}^{\left(k\right)}\end{array}\right.---\left(6\right)$

取得最小值的点。

2.根据权利要求1所述的基于前方交会约束的五点相对定向方法，其特征在于：步骤一所述的拍摄两张图像的方法是采用双目视觉系统或同一相机从不同视角拍摄。

3.根据权利要求1所述的基于前方交会约束的五点相对定向方法，其特征在于：

1)所述J(X^(k))的计算方法如下：

首先得到如下关于X的雅可比矩阵

再将X的第k次迭代值X^(k)带入式(7)，即得到J(X^(k))；

2)所述F^(k)中第i个元素的计算方法为：

$\left\{\begin{array}{c}{F_i}^{\left(k\right)}=Q_i^{\left(k\right)}\\ {H_i}^{\left(k\right)}<0\\ {H_i}^{\left(k\right)}<{\mathrm{bz}}^{\left(k\right)}\end{array}\right.---\left(8\right)$

其中：式中i＝1,2,…,5，

H_i ^(k)是将X^(k)代入式(4)的计算值，Q_i ^(k)为将X^(k)和H_i ^(k)代入式(5)的计算值。

4.根据权利要求1所述的基于前方交会约束的五点相对定向方法，其特征在于：所述a_k采用有理极值法计算得到。