CN101986347B - 一种立体视觉的序列重构方法 - Google Patents

Abstract

一种立体视觉的序列重构方法，包括以下步骤：1）每两相邻的图片的匹配得到相邻两幅图片的特征点，然后基于所述特征点进行初步的匹配；用随机抽样一致性方法去除其中的误匹配点；2）选定与一幅图片I最合适的图片；3）设有n幅图片，每相邻两幅都做匹配并计算基本矩阵F；得到n-1个基本矩阵，也得到n-1重构与其决定的n-1个射影空间，把所有重构结果都转移到第一个射影重构。本发明能简化计算、实用性好。

Description

一种立体视觉的序列重构方法

技术领域

本发明涉及图像处理、计算机视觉、计算方法、数学、三维重建等领域，尤其是这一种立体视觉的序列重构方法。

背景技术

序列重构指直接由未标定的多幅图像确定场景结构和相机运动，序列重构一旦完成，就可通过自标定或者标定使重构达到度量重构层次。现行很多重构方法都是基于点跟踪进行重构，但点跟踪是个不容易解决的一个难题，这极大的阻碍了序列重构。

发明内容

为了克服已有立体视觉的序列重构方法的计算复杂、实用性差的不足，本发明提供一种简化计算、实用性良好的立体视觉的序列重构方法。

本发明解决其技术问题所采用的技术方案是：

一种立体视觉的序列重构方法，包括以下步骤：

1)每两相邻的图片的匹配得到相邻两幅图片的特征点，然后基于所述特征点进行初步的匹配；用随机抽样一致性方法去除其中的误匹配点；

1)每两相邻的图片的匹配得到相邻两幅图片的特征点，然后基于所述特征点进行初步的匹配；用随机抽样一致性方法去除其中的误匹配点；

2)选定与一幅图片I最合适的图片的过程如下：

(2.1)选定一幅图片I，其他m幅图片编号分别为I₁，...，I_m；

(2.2)计算图片I与其他每幅图片的匹配数目，得到I与I_j的匹配数目

j＝1，...m，由此得到向量 $S={\left(\begin{array}{ccc}{s}_{I,I_1}& \·\·\·& s_{I,I_m}\end{array}\right)}^T;$

(2.3)计算视差向量R_j，j＝1，...m $R_j=\left[\begin{array}{ccc}{\left|\right|x_{j1}-x_1\left|\right|}^2& \·\·\·& {\left|\right|x_{\mathrm{jn}}-x_n\left|\right|}^2\end{array}\right],$ x_jk与x_k为图片I_j与图片I上的匹配点，k＝1，...n；

(2.4)对于每个R_j计算其中元素的均值r_j和标准方差r′_j，j＝1，...m，得到均值向量d_mean＝[r₁ … r_m]^T和标准方差d_devi＝[r′₁…r′_m]^T；

(2.5)由

得到距离向量D，其中，符号

在这里表示两个向量的对应元素相乘；

(2.6)计算

得到最与I最合适的图片I′；

3)设有n幅图片，每相邻两幅都做匹配并计算基本矩阵F，设x和x′是任意一对匹配点，任意匹配点满足下面关系：

(x′)^T×F×x＝0

通过最小二乘法解出基本矩阵F；

得到n-1个基本矩阵，也得到n-1重构与其决定的n-1个射影空间，把所有重构结果都转移到第一个射影重构，具体步骤：

3.1)确定相邻两个射影重构之间的变换，得到n-2个变换：

H₁，H₂，H₃，...H_n-2，，H_i代表第i个重构与第i+1个重构之间的变换，i＝1，...，n-2；

设第i个射影空间与第i+1个射影空间有对应的3D空间点为Xⁱ和Xⁱ⁺¹

则有下面的方程；

Xⁱ＝H_i×Xⁱ⁺¹

通过最小二乘法计算得到H_i；

3.2)变换第i个重构到第1个射影重构中：设第i个重构中的投影矩阵为Pⁱ，3D空间点为Xⁱ，则转换到第1个射影重构中其投影矩阵变为Pⁱ×H^-1，3D空间点变为H×Xⁱ，其中H＝H_i-1×...×H₁；

3.3)重复3.2)直到所有的射影重构被转移到第1个射影重构。

进一步，所述随机抽样一致性方法的过程为：随机抽取已经匹配的点集中的任意8对匹配，用所述8对匹配计算基本矩阵F，任取以上8点以外的点x_i，计算x_i到F×x_i的距离d_i，如果距离d_i小于阈值δ，则该点x为误匹配点。

再进一步，由基本矩阵F分解得到摄像机矩阵(P，P′)，它们分别有如下的形式：P＝[E 0]，P′＝[[e₂]_×F e₂]。

其中E为三阶基本矩阵，e₂为一个极点，由F^T×e₂＝0解得到e₂，[e₂]_×表示向量e₂的反对称矩阵；

在第i个射影空间， $x=\left[\begin{array}{c}{u}_1\\ v_1\\ 1\end{array}\right]$ 和 $x^{\′}=\left[\begin{array}{c}{u}_2\\ v_2\\ 1\end{array}\right]$ 是一对匹配点(已知)， $X^i=\left[\begin{array}{c}X\\ Y\\ Z\\ 1\end{array}\right]$ 是3D空间点；，

根据摄像机矩阵(P，P′)：

$P=\left[\begin{array}{cccc}{m}_{11}^1& m_{12}^1& m_{13}^1& m_{14}^1\\ m_{21}^1& m_{22}^1& m_{23}^1& m_{24}^1\\ m_{31}^1& m_{32}^1& m_{33}^1& m_{34}^1\end{array}\right],$ $P^{\′}=\left[\begin{array}{cccc}{m}_{11}^2& m_{12}^2& m_{13}^2& m_{14}^2\\ m_{21}^2& m_{22}^2& m_{23}^2& m_{24}^2\\ m_{31}^2& m_{32}^2& m_{33}^2& m_{34}^2\end{array}\right],$

得到下面的方程组：

$Z_{c1}\left[\begin{array}{c}{u}_1\\ v_1\\ 1\end{array}\right]=\left[\begin{array}{cccc}{m}_{11}^1& m_{12}^1& m_{13}^1& m_{14}^1\\ m_{21}^1& m_{22}^1& m_{23}^1& m_{24}^1\\ m_{31}^1& m_{32}^1& m_{33}^1& m_{34}^1\end{array}\right]\left[\begin{array}{c}X\\ Y\\ Z\\ 1\end{array}\right]$ $Z_{c2}\left[\begin{array}{c}{u}_2\\ v_2\\ 1\end{array}\right]=\left[\begin{array}{cccc}{m}_{11}^2& m_{12}^2& m_{13}^2& m_{14}^2\\ m_{21}^2& m_{22}^2& m_{23}^2& m_{24}^2\\ m_{31}^2& m_{32}^2& m_{33}^2& m_{34}^2\end{array}\right]\left[\begin{array}{c}X\\ Y\\ Z\\ 1\end{array}\right]$

其中，Z_c1和Z_c2是投影深度；

得到4个线性独立的方程，采用最小二乘法估计3D空间点Xⁱ。

更进一步，用sift或Harris方法获得两个图片之间的匹配。

本发明的技术构思为：在避免跟踪的基础上达到序列图片重构，在得到射影重构后利用已知或自标定得到的相机参数信息使射影重构上升为欧式重构。

此方法避免了点跟踪而且也避免由点跟踪产生的测量矩阵的大型矩阵分解。

任选定一幅图片，然后根据上述初始重构的方法选择另一幅较好的图片组成初始重构的两幅图片。利用随机抽样一致性方法去除其中的一些误匹配。初始匹配，去除误匹配后的匹配和被去除的误匹配。

计算所相邻两幅图片的基本矩阵，并有基本矩阵分解得到射影重构。所有向量两幅图片的射影重构均采用标准分解。融合所有重构到统一的射影空间。

本发明的有益效果主要表现在：简化计算、实用性强。

附图说明

图1是两幅相邻的图片的匹配方法的流程图。

具体实施方式

下面结合附图对本发明作进一步描述。

参照图1，一种立体视觉的序列重构方法，包括以下步骤：

1)、获得每两相邻的图片的匹配和去除误匹配。获得匹配的方法可用sift或Harris方法来得到相邻两幅图片的特征点，然后基于这些特征点进行初步的匹配。

在得到初步匹配后，用随机抽样一致性算法去除其中的一些误匹配点。随机抽取已经匹配的点集中的任意8对匹配，用这8对匹配计算基本矩阵F，然后检验此8对匹配所计算得到的F是否符合条件，符合条件的话则用于剔除错误匹配，接着利用这些剔除过误匹配的匹配点计算新的F.此过程操作的流程图如图1；

2)初始化射影重构可由两幅图片完成，在去除了误匹配点后可以得到更为精确的基本矩阵F。之后就可以得到相应的投影矩阵(P，P’)，它们分别有如下的形式：P＝[I 0]，P′＝[[e₂]_×F e₂]。在这个过程中选择参考坐标系尤为重要，因为这将很大的影响到基本矩阵F的精度。如果两幅图片之间的距离很小，从而导致基线很短而使得到的F的精度很差；如果两幅图片之间的距离很大，会难以得到足够的匹配点，也会导致基本矩阵F的精度很差。

选定与一幅图片I最合适的图片的过程如下：

(2.1)选定一幅图片I，其他m幅图片编号分别为I₁，...，I_m。

(2.2)计算图片I与其他每幅图片的匹配数目。这样可以得到I与I_j的匹配数目

(j＝1，...m)，由此可以得到向量 $S={\left(\begin{array}{ccc}{s}_{I,I_1}& \·\·\·& s_{I,I_m}\end{array}\right)}^T.$

(2.3)计算视差向量R_j(j＝1，...m)。R_j＝[||x_j1-x₁||²…||x_jn-x_n||²]，x_jk与x_k(k＝1，...n)为图片I_j与图片I上的匹配点。

(2.4)对于每个R_j计算其中元素的均值r_j和标准方差r′_j(j＝1，...m)，由此可以得到均值向量d_mean＝[r₁ … r_m]^T和标准方差d_devi＝[r′₁ … r′_m]^T。

(2.5)由得到距离向量D。

(2.6)计算得到最与I最合适的图片I′。

3)、序列射影重构。

假设{P₁，P₂，X_i}和{P₃，P₄，X_j}是一个物体两个射影重构或一个物体不同部分的射影重构，这两个射影重构决定了两个不同的射影空间。这两个射影重构之间可以通过一个射影变换相联系。这个问题我们可以通过下面这个角度来理解，假设{P_1E，P_2E，X_iE}和{P_3E，P_4E，X_jE}是同一欧式空间的重构，它们对应于{P₁，P₂，X_i}and{P₃，P₄，X_j}。在{P_1E，P_2E，X_iE}和{P₁，P₂，X_i}之间，我们能够得到射影变换H₁，而在{P_3E，P_4E，X_jE}和{P₃，P₄，X_j}之间，我们能够得到射影变换H₂。通过上面我们得到{P₁，P₂，X_i}和{P₃，P₄，X_j}之间的联系为射影变换

在操作中要逐次的向前变换，以达到所用的图片信息都被融合到统一的重构之中。

设有n幅图片，每相邻两幅都做匹配并计算基本矩阵F，由匹配点计算基本矩阵。设x和x′是任意一对匹配点。任意匹配点满足下面关系：

(x′)^T×F×x＝0

如果有足够多的匹配点(最少7组匹配点)就可以通过最小二乘法解出基本矩阵F。

由基本矩阵F分解得到摄像机矩阵(P，P′)，它们分别有如下的形式：P＝[E 0]，P′＝[[e₂]_×F e₂]。

其中E为三阶基本矩阵，e₂为一个极点，由F^T×e₂＝0解得到e₂，[e₂]_×表示向量e₂的反对称矩阵；

在第i个射影空间， $x=\left[\begin{array}{c}{u}_1\\ v_1\\ 1\end{array}\right]$ 和 $x^{\′}=\left[\begin{array}{c}{u}_2\\ v_2\\ 1\end{array}\right]$ 是一对匹配点(已知)， $X^i=\left[\begin{array}{c}X\\ Y\\ Z\\ 1\end{array}\right]$ 是3D空间点；，

根据摄像机矩阵(P，P′)：

$P=\left[\begin{array}{cccc}{m}_{11}^1& m_{12}^1& m_{13}^1& m_{14}^1\\ m_{21}^1& m_{22}^1& m_{23}^1& m_{24}^1\\ m_{31}^1& m_{32}^1& m_{33}^1& m_{34}^1\end{array}\right],$ $P^{\′}=\left[\begin{array}{cccc}{m}_{11}^2& m_{12}^2& m_{13}^2& m_{14}^2\\ m_{21}^2& m_{22}^2& m_{23}^2& m_{24}^2\\ m_{31}^2& m_{32}^2& m_{33}^2& m_{34}^2\end{array}\right],$

得到下面的方程组：

$Z_{c1}\left[\begin{array}{c}{u}_1\\ v_1\\ 1\end{array}\right]=\left[\begin{array}{cccc}{m}_{11}^1& m_{12}^1& m_{13}^1& m_{14}^1\\ m_{21}^1& m_{22}^1& m_{23}^1& m_{24}^1\\ m_{31}^1& m_{32}^1& m_{33}^1& m_{34}^1\end{array}\right]\left[\begin{array}{c}X\\ Y\\ Z\\ 1\end{array}\right]$ $Z_{c2}\left[\begin{array}{c}{u}_2\\ v_2\\ 1\end{array}\right]=\left[\begin{array}{cccc}{m}_{11}^2& m_{12}^2& m_{13}^2& m_{14}^2\\ m_{21}^2& m_{22}^2& m_{23}^2& m_{24}^2\\ m_{31}^2& m_{32}^2& m_{33}^2& m_{34}^2\end{array}\right]\left[\begin{array}{c}X\\ Y\\ Z\\ 1\end{array}\right]$

其中，Z_c1和Z_c2是投影深度；得到4个线性独立的方程，采用最小二乘法估计3D空间点Xⁱ。

可以得到n-1个基本矩阵，也得到n-1重构与其决定的n-1个射影空间。我们现在把所有射影重构的结果都转移到同一个射影空间，我们不妨把所有重构结果都转移到第一个射影重构(第1和第2幅图片决定的射影空间)。步骤：

3.1)确定相邻两个射影重构之间的变换，这样我们可以得到n-2个变换：

H₁，H₂，H₃，...H_n-2，(H_i代表第i个重构与第i+1个重构之间的变换，i＝1，...，n-2)。

设第i个射影空间与第i+1个射影空间有对应的3D空间点为Xⁱ和Xⁱ⁺¹

则有下面的方程：

Xⁱ＝H_i×Xⁱ⁺¹

只要有足够的3D对应点(最少5组3D对应点且非共面)就可以通过最小二乘法计算得到H_i

3.2)变换第i个重构到第1个射影重构中。设第i个重构中的投影矩阵为Pⁱ，3D空间点为Xⁱ，则转换到第1个射影重构中其投影矩阵变为Pⁱ×H^-1，3D空间点变为H×Xⁱ，其中H＝H_i-1×...×H₁。

3.3)重复3.2)直到所有的射影重构被转移到第1个射影重构。

Claims (4)

1.一种立体视觉的序列重构方法，其特征在于：所述序列重构方法包括以下步骤：

1）每两相邻的图片的匹配得到相邻两幅图片的特征点，然后基于所述特征点进行初步的匹配；用随机抽样一致性方法去除其中的误匹配点；

2）选定与一幅图片I最合适的图片的过程如下：

(2.1)选定一幅图片I,其他m幅图片编号分别为I₁,..,I_m；

(2.2)计算图片I与其他每幅图片的匹配数目，得到I与I_j的匹配数目 

j=1,…m,由此得到向量

(2.3)计算视差向量R_j，j=1,…m，R_j＝[||x_j1-x₁||²…||x_jn-x_n||²]，x_jk与x_k为

图片I_j与图片I上的匹配点，k=1,…n；

(2.4)对于每个R_j计算其中元素的均值r_j和标准方差r'_j，j=1,…m，得到均值向量d_mean＝[r₁…r_m]^T和标准方差d_devi=[r'₁…r'_m]^T；

(2.5)由 得到距离向量D，其中，符号 

在这里表示两个向量的对应元素相乘；

(2.6)计算 

得到最与I最合适的图片I′；

3）设有N幅图片，每相邻两幅都做匹配并计算基本矩阵F，设x和x′是任意一对匹配点，任意匹配点满足下面关系：

(x')^T×F×x=0

通过最小二乘法解出基本矩阵F；

得到N-1个基本矩阵，也得到N-1重构与其决定的N-1个射影空间，把所有重构结果都转移到第一个射影重构，具体步骤：

3.1）确定相邻两个射影重构之间的变换，得到N-2个变换：

H₁，H₂，H₃,....H_N-2，H_i代表第i个重构与第i+1个重构之间的变换，i=1,..., N-2；

设第i个射影空间与第i+1个射影空间有对应的3D空间点为Xⁱ和Xⁱ⁺¹则有下面的方程;

Xⁱ=H_i×Xⁱ⁺¹

通过最小二乘法计算得到H_i；

3.2）变换第i个重构到第1个射影重构中：设第i个重构中的投影矩阵为Pⁱ，3D空间点为Xⁱ，则转换到第1个射影重构中其投影矩阵变为Pⁱ×H^-1，3D空间点变为H×Xⁱ，其中H=H_i-1×...×H₁；

3.3）重复3.2）直到所有的射影重构被转移到第1个射影重构。

2.如权利要求1所述的一种立体视觉的序列重构方法，其特征在于：所述步骤1）中，所述随机抽样一致性方法的过程为：随机抽取已经匹配的点集中的任意8对匹配，用所述8对匹配计算基本矩阵F，任取以上8点以外的点x_i，计算x_i到F×x_i的距离d_i，如果距离d_i小于阈值δ，则该点x_i为误匹配点。

3.如权利要求1或2所述的一种立体视觉的序列重构方法，其特征在于：由基本矩阵F分解得到摄像机矩阵(P,P')，它们分别有如下的形式：

P＝[E 0]，P'＝[[e₂]_×F  e₂]；

其中E为三阶基本矩阵，e₂为一个极点，由F^T×e₂=0解得到e₂，[e₂]_×表示向量e₂的反对称矩阵；

在第i个射影空间，

和

是一对已知匹配点,是3D空间点；

根据摄像机矩阵(P,P')：

得到下面的方程组： 

其中，Z_c1和Z_c2是投影深度；

得到4个线性独立的方程，采用最小二乘法估计3D空间点Xⁱ。

4.如权利要求1或2所述的一种立体视觉的序列重构方法，其特征在于：用sift或Harris方法获得两个图片之间的匹配。 

Images