CN101325724B - 一种立体图像对的极线校正方法 - Google Patents

Abstract

本发明公开了一种立体图像对的极线校正方法，利用匹配点计算出基本矩阵和两幅图像各自的极点，然后计算第二幅图像深度旋转轴的坐标以及变换比例和平移量，并与图像对极点的坐标一起作为初始值，采用非线性最小二乘法进行优化，得到它们的最优值，计算出两幅图像各自的投影变换矩阵，然后进行变换，得到校正后的立体图像对。本发明最优化的参数由传统方法的至少10个减少到了至少7个，从而节省了计算量。同时，参数的初始值是由完全基于基本矩阵的方法计算出来的，保证了初始值的精度，从而克服了最优化时对初始值敏感的缺点。由于得到参数的初始值后还要对其进行非线性最优化，相对完全基于基本矩阵的方法而言，本发明又不过分依赖基本矩阵的精度。

Description

一种立体图像对的极线校正方法

技术领域

本发明涉及计算机视觉研究领域，具体来讲，涉及一种立体图像对的极线校正方法。

背景技术

在计算机视觉研究领域，立体图像对(stereo pairs)的特征匹配点一直是一个关键问题。它的目的是从立体图像对的两幅图像中找出对应的特征点。目前大多数匹配算法都是基于这样一个假设前提：立体图像对的两幅图像对应的特征点在同一扫描线上。这样就将匹配的搜索范围从二维降到了一维，加快了匹配速度，提高了匹配精度。有些学者将满足这一假设前提称为满足扫描线特性(scanline property)。但是，现实中得到的大多数立体图像对不满足扫描线特性，对应的特征点往往存在垂直视差，并且大多数点对的垂直视差也不是一个相同的值，不能通过平移图像来达到消除垂直视差的目的。针对这种情况，有些学者提出采用极线校正(epipolar line rectification)的方法使立体图像对的两幅图像满足扫描线特性。

极线校正又被称为图像校正(image rectification)、投影校正(projectiverectification)，指的是对两幅图像各进行一次投影变换，使得两幅图像对应的极线在同一条扫描线上，从而满足扫描线特性。

1996年，SIGRAPH96会议论文集中“View morphing”一文介绍了两幅图像满足扫描线特性的充要条件，并据此给出了一种确定投影变换矩阵的方法。该方法是一种完全依赖基本矩阵的方法，其缺点是过分依赖基本矩阵的精度。如果基本矩阵的精度不够高，则该方法很容易崩溃。而到目前为止，由两幅图像的匹配点计算基本矩阵还没有较为稳定的高精度算法。

1999年，IEEE Conference on Computer Vision and Pattern Recognition会议论文集中“Projective rectification without epipolar geometry”一文公开了一种无需基本矩阵的极线校正方法，该方法只依赖于图像匹配点的坐标，利用线性最小二乘估计和非线性最优化方法来计算投影变换矩阵。该方法的不足之处是最优化时对初始值敏感，有可能陷入局部最优。

发明内容

本发明的目的在于克服现有技术的不足，提供一种能够克服最优化时对初始值敏感的缺点，同时又不过分依赖基本矩阵计算精度的立体图像对的极线校正方法。

为了达到上述发明目的，本发明立体图像对的极线校正方法，包括以下步骤：

(1)、利用立体图像对的两幅图像的匹配点计算出基本矩阵和各自的极点；

(2)、利用第一幅图像的极点计算出第一幅图像的深度旋转轴，再根据基本矩阵，计算出第二幅图像的深度旋转轴；

(3)、根据两幅图像各自的深度旋转轴计算出两幅图像各自的深度旋转变换矩阵；

(4)、根据两幅图像各自的深度旋转变换矩阵和极点计算出两幅图像经过深度旋转后的新极点，根据新极点得到两幅图像各自的极线旋转变换矩阵；

(5)、根据步骤(1)得到的基本矩阵、步骤(3)、(4)得到的两幅图像各自的深度旋转矩阵和极线旋转变换矩阵，得到两幅图像平面变成平行平面、并且极线水平后的基本矩阵，再根据该矩阵计算出变成平行平面、并且极线水平后的两幅图像的第二幅图像对于第一幅图像的变换比例和平移量；

(6)、将步骤(1)得到的两幅图像各自极点的坐标、步骤(2)得到第二幅图像深度旋转轴的坐标以及步骤(5)得到的变换比例和平移量作为初始值，采用非线性最小二乘法对初始值进行优化，得到它们的最优值；

(7)、根据得到的最优值，计算出两幅图像各自的投影变换矩阵，然后对两幅图像进行变换，得到校正后的立体图像对。

本发明由于在确定需要进行最优化的参数时引入深度旋转变换矩阵，使得在进行最优化时，用于最优化的参数的个数由传统方法的至少10个减少到了至少7个，从而节省了计算量。同时，参数的初始值是由完全基于基本矩阵的方法计算出来的，保证了初始值的精度，从而克服了最优化时对初始值敏感的缺点。由于得到参数的初始值后还要对其进行非线性最优化，因此相对完全基于基本矩阵的方法而言，本发明又不过分依赖基本矩阵的精度。

附图说明

图1是本发明一具体实施方式采用的逆向映射方法的具体流程图。

具体实施方式

为更好地理解本发明，下面结合具体实施方式对本发明进行更为详细描述。在以下的描述中，当已有的现有技术的详细描述也许会淡化本发明的主题内容时，这些描述在这儿将被忽略。

在本实施方式中，设立体图像对的两幅图像分别是I₀和I₁，F是其对应的基本矩阵。H₀、H₁分别表示I₀、I₁对应的投影变换矩阵。设I₀和I₁的极点分别是e₀和e₁，u_0j和u_1j表示一对匹配点的齐次坐标，j＝1，...，N。

(1)、根据两幅图像的匹配点u_0j和u_1j(j＝1，...，N，共N对)采用改进的八点算法计算出基本矩阵F、第一幅图像I₀的极点

和第二幅图像I₁的极点

其中e₀ ^x，e₀ ^y，e₁ ^x，e₁ ^y表示求得的齐次坐标值，上标x、y分别表示x轴上的坐标和y轴上的坐标，T表示转置。

(2)、根据第一幅图像I₀的极点e₀的坐标值，计算出其深度旋转轴的坐标为：

$d_0^x=\frac{e_0^y}{\sqrt{{\left(e_0^x\right)}^2+{\left(e_0^y\right)}^2}},$ $d_0^y=\frac{{-e}_0^x}{\sqrt{{\left(e_0^x\right)}^2+{\left(e_0^y\right)}^2}}$

将算得的d₀ ^x和d₀ ^y代入式①

$\left[\begin{array}{c}m\\ n\\ 1\end{array}\right]=F{\left[\begin{array}{ccc}{d}_0^x& d_0^y& 0\end{array}\right]}^T$ ①

根据式①得到的m、n，代入式②，计算出第二幅图像I₁的深度旋转轴的坐标。

$d_1^x=\frac{n}{\sqrt{m^2+n^2}},$ $d_1^y=\frac{-m}{\sqrt{m^2+n^2}}$ ②

在本实施例中，还进一步将算得的第二幅图像I₁的深度旋转轴的坐标d₁ ^x和d₁ ^y代入式③，得到角度参数α：

$\mathrm{\α}=\arctan \frac{d_1^y}{d_1^x}$ ③

(3)、根据步骤(1)中计算出的极点坐标和步骤(2)中计算出的两幅图像I₀、I₁各自的深度旋转轴的坐标d₀ ^x、d₀ ^y及d₁ ^x、d₁ ^y，依据式④

${\mathrm{\θ}}_i=\arctan \frac{1}{d_i^y{e}_i^x-d_i^x{e}_i^y},(i=\mathrm{0,1})$ ④

计算出两幅图像I₀、I₁各自的深度旋转角度θ₀和θ₁的值。

然后依据式⑤，

$R_{{\mathrm{\θ}}_i}^{d_i}=\left[\begin{array}{ccc}{\left(d_i^x\right)}^2+{\left(d_i^y\right)}^2\cos {\mathrm{\θ}}_i& d_i^x{d}_i^y(1-{\cos \mathrm{\θ}}_i)& d_i^y\sin {\mathrm{\θ}}_i\\ d_i^x{d}_i^y(1-\cos {\mathrm{\θ}}_i)& {\left(d_i^y\right)}^2+{\left(d_i^x\right)}^2\cos {\mathrm{\θ}}_i& -d_i^x\sin {\mathrm{\θ}}_i\\ -d_i^y\sin {\mathrm{\θ}}_i& d_i^x\sin {\mathrm{\θ}}_i& \cos {\mathrm{\θ}}_i\end{array}\right],(i=\mathrm{0,1})$ ⑤

计算出两幅图像I₀、I₁各自的深度旋转变换矩阵

和

(4)、根据两幅图像I₀、I₁各自的深度旋转变换矩阵和和极点e₀和e₁依据式⑥计算出两幅图像I₀、I₁经过深度旋转后的新极点e′₀和e′₁。

$e_i^{\′}={\left[\begin{array}{ccc}{e}_i^{\′x}& e_i^{\′y}& 0\end{array}\right]}^T=R_{{\mathrm{\θ}}_i}^{d_i}{e}_i,(i=\mathrm{0,1})$ ⑥

然后，依据式⑦

${\mathrm{\φ}}_i=-\arctan \frac{e_i^{\′y}}{e_i^{\′x}},(i=\mathrm{0,1})$ ⑦

得到两幅图像I₀、I₁的极线的旋转角度φ₀、φ₁，由式⑧：

$R_{{\mathrm{\φ}}_i}=\left[\begin{array}{ccc}{\cos \mathrm{\φ}}_i& -{\sin \mathrm{\φ}}_i& 0\\ {\sin \mathrm{\φ}}_i& {\cos \mathrm{\φ}}_i& 0\\ 0& 0& 1\end{array}\right],(i=\mathrm{0,1})$ ⑧

得两幅图像I₀、I₁的极线旋转变换矩阵

(5)、根据步骤(1)得到的基本矩阵F、步骤(3)、(4)得到的两幅图像各自的深度旋转矩阵

和

和极线旋转变换矩阵

得到两幅图像平面变成平行平面、并且极线水平后的基本矩阵F′：

$F^{\′}=R_{{\mathrm{\φ}}_1}{R}_{{\mathrm{\θ}}_1}^{d_1^{\′}}F{R}_{-{\mathrm{\θ}}_0}^{d_0}{R}_{-{\mathrm{\φ}}_0}$ ⑨

再根据该矩阵F′计算出变成平行平面、并且极线水平后的两幅图像的第二幅图像I₁对于第一副图像I₀变换比例a和平移量b。具体为：

将F′乘上一个不为0的比例因子，使它的第3行第2列的元素等于1。缩放后的矩阵的第2行第3列的元素的相反数即为变换比例a，第3行第3列的元素的相反数即为平移量b。如果a＜0时，则说明两幅图像中极线的上下顺序是相反的，也就是图像颠倒了，此时旋转角度Ф₁需增加π，即用Ф₁+π代替原来的Ф₁重新计算。

(6)、将步骤(1)得到的两幅图像各自极点的齐次坐标e₀ ^x、e₀ ^y、e₁ ^x、e₁ ^y和步骤(2)得到第二幅图像I₁深度旋转轴的坐标d₁ ^x和d₁ ^y以及步骤(5)得到的变换比例a和平移量b作为初始值，采用非线性最小二乘法对初始值进行优化，得到它们的最优值。

在本实施例中，将角度参数α代替第二幅图像I₁深度旋转轴的坐标d₁ ^x和d₁ ^y

$\mathrm{\α}=\arctan \frac{d_1^y}{d_1^x}$

这样，最终得到了7个参数的初始值，它们是α、a、b、e₀ ^x、e₀ ^y、e₁ ^x和e₁ ^y。设目标函数为：

$f(H_0,H_1)=\underset{j=1}{\overset{N}{\mathrm{\Σ}}}{\left[\begin{array}{c}{\left(H_1{u}_{1j}\right)}^T\begin{array}{c}\left[\begin{array}{ccc}0& 0& 0\\ 0& 0& -1\\ 0& 1& 0\end{array}\right]\left(H_0{u}_{0j}\right)\end{array}\end{array}\right]}^2$ ⑩

其中：

$H_0=R_{{\mathrm{\φ}}_0}{R}_{{\mathrm{\θ}}_0}^{d_0}$

$H_1={\mathrm{TR}}_{\±{\mathrm{\φ}}_1}{R}_{{\mathrm{\θ}}_1}^{d_1^{\′}}$

$T=\left[\begin{array}{ccc}1& 0& 0\\ 0& a& b\\ 0& 0& 1\end{array}\right]$

将7个参数的初始值代入式⑩采用Levenberg-Marquardt算法对f进行最小化，得到这些参数的最优值。

(7)根据得到的7个参数α、a、b、e₀ ^x、e₀ ^y、e₁ ^x和e₁ ^y的最优值，计算出两幅图像I₀、I₁各自的投影变换矩阵H₀和H₁，然后对两幅图像I₀、I₁进行变换，得到校正后的立体图像对H₀I₀、H₁I₁。

得到投影变换矩阵H₀和H₁之后，对两幅图像I₀、I₁实施变换便可得到校正后的图像对H₀I₀、H₁I₁。但是这样做会使得新图像对H₀I₀、H₁I₁中的某些点不能在原始图像I₀、I₁中找到对应的点，从而产生“空洞(holes)”现象。

在本实施例中，步骤(7)中得到的投影变换矩阵H₀和H₁对两幅图像I₀、I₁实施变换，采用逆向映射的方法得到校正后的立体图像对，从而消除空洞现象。

图1是逆向映射方法的具体流程图，步骤如下：

(a)、两幅图像I₀、I₁分别与各自的投影变换矩阵H₀、H₁相乘，得到立体图像对H₀I₀、H₁I₁；

(b)、求解相乘后得到的各自图像H₀I₀、H₁I₁的最小边界矩形Rect₀、Rect₁；

(c)、对最小边界矩形Rect₀、Rect₁分别进行平移，使其左上角的点平移到各自坐标系的原点；然后，比较两幅图像H₀I₀、H₁I₁的最小边界矩形在垂直方向的平移量Δy₀、Δy₁，平移量小的最小边界矩形，在垂直方向再平移，使其平移量与平移量大的最小边界矩形的平移量相同。即若Δy₀＜Δy₁，则Rect₀在垂直方向再平移Δy₁-Δy₀；否则Rect₁在垂直方向平移Δy₀-Δy₁。

(d)、以从左到右、从上到下的顺序，计算两幅图像的最小边界矩形中的每一个点u₀′、u₁′在各自原始图像I₀、I₁平面中的对应点u₀、u₁，检查对应点u₀、u₁是否落在原始图像I₀、I₁范围内；若在，则将原始图像I₀、I₁平面中的对应点u₀、u₁对应的像素拷贝到最小边界矩形中对应点u₀′、u₁′的位置；否则将最小边界矩形中对应点u₀′、u₁′变为黑色点，得到逆向影射校正后的立体图像对。

校正后的图像H₀I₀、H₁I₁与原始图像I₀、I₁相比，尺寸可能发生改变。

表1是本发明的极线校正方法与现有技术中的Francesco极线校正方法、Mallon极线校正方法相比的校正精度对比表。

校正方法              校正精度

Francesco Method      0.75000

Mallon Method         0.62692

本发明的极线校正方法  0.25424

表1

表1中采用校正后两幅图像H₀I₀、H₁I₁对应的特征点的垂直视差的平均值来衡量校正精度。从表1我们可以看出，与Francesco方法、Mallon方法相比，校正精度有较大提高。

尽管上面对本发明说明性的具体实施方式进行了描述，但应当清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。

Claims (5)

1.一种立体图像对的极线校正方法，其特征在于，包括以下步骤：

(1)、利用立体图像对的两幅图像的匹配点计算出基本矩阵和各自的极点；

(2)、利用第一幅图像的极点计算出第一幅图像的深度旋转轴，再根据基本矩阵，计算出第二幅图像的深度旋转轴；

(3)、根据两幅图像各自的深度旋转轴计算出两幅图像各自的深度旋转变换矩阵；

(4)、根据两幅图像各自的深度旋转变换矩阵和极点计算出两幅图像经过深度旋转后的新极点，根据新极点得到两幅图像各自的极线旋转变换矩阵；

(5)、根据步骤(1)得到的基本矩阵、步骤(3)、(4)得到的两幅图像各自的深度旋转变换矩阵和极线旋转变换矩阵，得到两幅图像平面变成平行平面、并且极线水平后的基本矩阵，再根据本步骤得到的基本矩阵计算出变成平行平面、并且极线水平后的两幅图像的第二幅图像对于第一幅图像的变换比例和平移量；

(6)、将步骤(1)得到的两幅图像各自极点的坐标、步骤(2)得到第二幅图像深度旋转轴的坐标以及步骤(5)得到的变换比例和平移量作为初始值，采用非线性最小二乘法对初始值进行优化，得到它们的最优值；

(7)、根据得到的最优值，计算出两幅图像各自的投影变换矩阵，然后对两幅图像进行变换，得到校正后的立体图像对。

2.根据权利要求1所述的立体图像对的极线校正方法，其特征在于，步骤(1)所述的由立体图像对的两幅图像的匹配点计算出基本矩阵采用的是改进的八点算法。

3.根据权利要求1所述的立体图像对的极线校正方法，其特征在于，步骤(6)所述的第二幅图像深度旋转轴的坐标进一步计算为角度参数作为初始值。

4.根据权利要求1所述的立体图像对的极线校正方法，其特征在于，步骤(6)所述的非线性最小二乘法为Levenberg-Marquardt算法。

5.根据权利要求1所述的立体图像对的极线校正方法，其特征在于，步骤(7)所述的对两幅图像进行变换，包括以下步骤：

(a)、将两幅图像分别与各自的投影变换矩阵相乘；

(b)、求解相乘后得到的各自图像的最小边界矩形；

(c)、对各自图像的最小边界矩形分别进行平移，使其左上角的点平移到各自坐标系的原点；然后，比较两幅图像的最小边界矩形在垂直方向的平移量，平移量小的最小边界矩形，在垂直方向再平移，使其平移量与平移量大的最小边界矩形的平移量相同；

(d)、以从左到右、从上到下的顺序，计算两幅图像的最小边界矩形中的每一个点在各自原始图像平面中的对应点，检查对应点是否落在原始图像范围内；若在，则将原始图像平面中的对应点对应的像素拷贝到最小边界矩形中对应点的位置；否则将最小边界矩形中对应点变为黑色点，得到校正后的立体图像对。

Images