CN103414910B - 一种低失真的立体图像外极线校正方法 - Google Patents

Abstract

本发明公开了一种低失真的立体图像外极线校正方法，本发明将外极线校正为与图像坐标系的 轴平行的过程按顺序分为将左视图和右视图的外极线校正为相互平行和将左视图和右视图的外极线校正为与图像坐标系的轴平行这二个步骤。为了降低外极线校正过程带来的投影失真，本发明将立体图像的左视图和右视图中的其中一幅图像保持不变，校正只是作用于另一幅图像，并采用了以垂直位移来代替旋转的方法。本发明还进行了视差差值优化，使得校正前和校正后立体图像的视差信息的一致性得以保证。本发明在很大程度上解决了传统立体校正算法带来的投影失真问题，能得到较小失真的校正后的立体图像，并能够保证校正前后视差信息的一致性。

Description

一种低失真的立体图像外极线校正方法

技术领域

本发明涉及一种对立体图像进行外极线校正的新方法，具体来说，涉及一种无需标定即可消除立体图像的垂直视差，并能够降低失真和保持校正前后视差信息的一致性的新方法。

背景技术

立体图像的左右视图之间满足外极线约束：对应三维空间的某个点P，其在左视图上的像点为p_L，则其在右图上的匹配点p_R（也即是三维点P在右视图上的像点）必然位于由p_L确定的在右视图上的一条外极线上。

所谓的外极线校正，就是指通过对两幅图像各进行投影变换，生成虚拟图像对，使外极线平行于坐标轴。如果拍摄时立体相机水平放置，则要求外极线平行于x轴且要求不存在垂直视差；如果立体相机垂直放置，则要求外极线平行于y轴且要求不存在水平视差。

目前立体图像外极线校正方法大致上可以分为二类：第一类是基于摄像机标定的方法。在这类方法中，需要事先对摄像机进行标定，根据标定得到的摄像机内参数以及立体相机之间的位姿信息进行校正。第二类方法是基于基本矩阵的方法。该类方法以Hartley于1999年发表在International Journal of ComputerVision期刊35卷第2期的投影校正方法为代表（见“Theory and practice ofprojective rectification”一文）。首先计算基本矩阵，然后施加一个指定的投影变换，直接将外极点（Epipoles）直接映射到无穷远(1,0,0)^T处，从而一步完成将外极线校正为与x轴平行的过程。然而，由于这个投影变换是人为指定的，而非通过立体图像所蕴含的几何信息计算得到，其缺陷是可能会带来严重的失真。为了减小失真，Hartley进一步指出这个投影变换应该是一个刚体变换。然而，对于通常的立体图像而言，只是刚体变换的约束是不够的。因为一个带不合适旋转分量的刚体变换同样会给立体图像带来视角上的严重失真。

对于立体图像而言，另一个现有的外极线校正算法所忽视的问题是校正过程所带来的视差失真。由于立体图像的深度信息主要通过视差信息来表达，如果视差改变了，那么深度信息也就会相应地发生变化。这种对视差信息的改变有时候不是必须且是十分不必要的。

为了解决这二个问题，本发明提出了一种新的基于基本矩阵的外极线校正方法，主要包括四个步骤：特征点提取和匹配、计算基本矩阵F、估计出作用于右视图的单应性矩阵H、估计仿射变换矩阵A_r，进行视差差值优化和垂直视差优化。通过本发明所述的新方法，不仅能够消除立体图像的垂直视差，而且能够有效降低校正过程带来的失真，并保持校正前后视差信息的一致性，从而得到高质量的校正结果。

发明内容

本发明的目的在于针对现有技术的不足，提供一种低失真的立体图像外极线校正方法。

本发明的目的是通过以下技术方案来实现的：

本发明的有益效果是：以往的基于基本矩阵的外极线校正方法会带来非常严重的失真，本发明提出的方法能够在很大程度上消除这种失真，同时保持校正前后视差信息的一致性，最终得到高质量的校正结果。

附图说明

图1为本发明方法的流程图；

图2为本发明方法中将左视图I_L和中间结果右视图I′_R的外极线校正为相互平行的示意图；

图3为传统校正方法中用旋转一个相同角度来将已经平行的外极线校正为与x轴平行的示意图；

图4为本发明方法中以垂直位移来代替旋转将外极线校正为与x轴平行的示意图。

具体实施方式

下面结合附图和具体实施方式对本发明作进一步详细描述，本发明的目的和效果将变得更加明显。

图1给出了依照本发明进行外极线校正的方法流程图。

本发明所述的外极线校正针对立体图像进行，一幅立体图像由分别称为左视图和右视图的二幅视图构成。立体图像一般由立体相机拍摄。立体相机一般由左相机和右相机二个相机组成，其中左相机用于拍摄左视图，右相机用于拍摄右视图。立体图像也可以由单个相机通过分时水平位移拍摄得到，这时左右相机都对应着同一个相机。对于立体视频而言，其每一个视频帧可视为一幅立体图像，同样可适用本发明提出的方法。

如图1所示，在步骤101中，输入立体图像的左视图I_L和右视图I_R，分别提取左右视图的Harris图像特征点并进行左右视图特征点之间的归一化互相关匹配（Normalized Cross Correlation），得到左右视图的特征点匹配序列。

Harris图像特征点的提取可参见参考文献：Harris,C.,Stephens,M."Acombined corner and edge detector."Alvey Vision Conference,1988,pp.147–151.

有关归一化互相关匹配可参见参考文献：Dianchao Liu;Cheng,S.,"A BriefIntroduction of Feature Matching."IEEE Region5Conference,2008,vol.,no.,pp.1-4.

如图1所示，在步骤102中，根据特征点匹配结果，结合Ransac算法，估计出左右视图之间的基本矩阵F。

有关基本矩阵的计算可参见参考文献：Hartley,R.I.,"In defense of theeight-point algorithm,"IEEE Transactions on Pattern Analysis and Machine Intelligence,1997,vol.19,no.6,pp.580-593.

有关Ransac算法可参见参考文献：Fischler,M.,Bolles,R."Random sampleconsensus:A paradigm for model fitting with applications to image analysis andautomated cartography".Communications of the ACM,1981,24（6）,381–395.

基本矩阵F满足以下关系式：

x′^TFx=0    （1）

式（1）中，x为左视图I_L上的图像点的齐次坐标，x′为x在右视图I_R上的匹配点的齐次坐标。

计算得到基本矩阵F后，可以通过SVD分解进一步求得二个外极点的位置，它们应满足下式：

Fe=F^Te′=0    （2）

式（2）中，e=(e_u,e_v,1)^T和e′=(e_u′,e_v′,1)^T分别表示左视图I_L和右视图I_R上的外极点位置的齐次坐标，分别是F和F^T的右零点。

在没有经过外极线校正的情况下，e和e′并不会同时位于无穷远处，因此左视图I_L和右视图I_R的外极线不会相互平行。

本发明将外极线校正为与图像坐标系的x轴平行的过程按顺序分为二个步骤：a）将左视图和右视图的外极线校正为相互平行；b）将左视图和右视图的外极线校正为与图像坐标系的x轴平行。

不失一般性，假设世界坐标系与拍摄左视图的左相机坐标系重合，则拍摄立体图像左右视图的左相机和右相机的投影矩阵分别为：

P=K[I|0],P′=K′[R|t]    （3）

式（3）中，I为单位矩阵，P表示左相机的投影矩阵，而P′表示右相机的投影矩阵。K和K′分别表示左相机和右相机的内参数矩阵。由上式可知，右相机相对于左相机的位姿，可通过一个旋转矩阵R和平移向量t的变换得到。

基于上述表述，可以将基本矩阵F参数化表示为以下形式：

F=[e′]_×K′RK^-1=K′^-TRK^T[e]_×    （4）

式（4）中，[ ]_×表示将向量表示成斜对称矩阵（skew-symmetric matrix）形式。

由于立体图像在拍摄时，左相机和右相机的姿态已经调整成比较合适的状态，因此无需对立体图像进行较大尺度的变换，否则将带来视角上的严重失真。在本发明的校正方法中，在立体图像的二幅图像中，将其中一幅图像保持不变，校正过程只作用于另一幅图像。不失一般性，可以将左视图保持不变，只是对右视图进行校正。

如图1所示，在步骤103中，估计出作用于右视图的单应性矩阵H，将外极点映射到无穷远。

将单应性矩阵H作用于右视图I_R，可得到中间结果右视图I′_R。I′_R上的图像点可表示为它和左视图I_L上的匹配点之间满足以下关系式：

${\hat{x}}^{\′T}\hat{F}x=0---\left(5\right)$

式（5）中，x为左视图I_L上的图像点的齐次坐标，为x在中间结果右视图I′_R上的匹配点的齐次坐标。是对应于左视图I_L和中间结果右视图I′_R的基本矩阵。

假设经过矩阵H变换后，左视图I_L和中间结果右视图I′_R之间的外极线已经平行，则它们的外极点必然同时位于无穷远处，因此应该具有以下形式：

$\hat{F}={\left[\hat{e}\right]}_{\×}---\left(6\right)$

式（6）中，ê＝(ê_u，ê_v，0)^T为经过校正后位于无穷远处的外极点位置的齐次坐标。

对照基本矩阵的参数化表示，可知待求取的单应性矩阵H可表示为：

H=K′RK^-1    （7）

对左右相机的内参数进行如下的简化：

（a）假定左右相机的主点都位于图像中心；

（b）像素呈正方形，即倾斜因子为零。

基于上述简化，并将左右图像坐标系的坐标原点都移到图像中心后，左右相机的内参数矩阵可分别简化表示为：

$K=\left[\begin{array}{ccc}f& 0& 0\\ 0& f& 0\\ 0& 0& 1\end{array}\right],$ $K^{\′}=\left[\begin{array}{ccc}{f}^{\′}& 0& 0\\ 0& f^{\′}& 0\\ 0& 0& 1\end{array}\right]---\left(8\right)$

这样，由（7）式可知，待求解的单应性矩阵H具有5个自由度，其中2个自由度分别为左右相机的焦距f和f′；另外3个自由度给旋转矩阵R，表示分别绕世界坐标系3个轴的旋转角度。

基于（4）～（6）式，左视图I_L和右视图I_R之间的基本矩阵F可表示为：

F=H^T[ê]_×    （9）

进一步可得：

(H^T)^-1F=[ê]_×    （10）

设 ${\left(H^T\right)}^{-1}=Q=\left[\begin{array}{ccc}{q}_{11}& q_{12}& q_{13}\\ q_{21}& q_{22}& q_{23}\\ q_{31}& q_{32}& q_{33}\end{array}\right]$ 且 $\left[\begin{array}{ccc}{f}_{11}& f_{12}& f_{13}\\ f_{21}& f_{22}& f_{23}\\ f_{31}& f_{32}& f_{33}\end{array}\right],$ 则上式可表示为：

$\left[\begin{array}{ccc}{q}_{11}& q_{12}& q_{13}\\ q_{21}& q_{22}& q_{23}\\ q_{31}& q_{32}& q_{33}\end{array}\right].\left[\begin{array}{ccc}{f}_{11}& f_{12}& f_{13}\\ f_{21}& f_{22}& f_{23}\\ f_{31}& f_{32}& f_{33}\end{array}\right]=\left[\begin{array}{ccc}0& 0& {\hat{e}}_v\\ 0& 0& -{\hat{e}}_u\\ -{\hat{e}}_v& {\hat{e}}_u& 0\end{array}\right]---\left(11\right)$

由此可得到关于求解Q矩阵的7个约束方程：

$\left\{\begin{array}{c}{q}_{11}{f}_{11}+q_{12}{f}_{21}+q_{13}{f}_{31}=0\\ q_{11}{f}_{12}+q_{12}{f}_{22}+q_{13}{f}_{32}=0\\ q_{11}{f}_{13}+q_{12}{f}_{23}+q_{13}{f}_{33}+q_{31}{f}_{11}+q_{32}{f}_{21}+q_{33}{f}_{31}=0\\ q_{21}{f}_{11}+q_{22}{f}_{21}+q_{23}{f}_{31}=0\\ q_{21}{f}_{12}+q_{22}{f}_{22}+q_{23}{f}_{32}=0\\ q_{21}{f}_{13}+q_{22}{f}_{23}+q_{23}{f}_{33}+q_{31}{f}_{12}+q_{32}{f}_{22}+q_{33}{f}_{32}=0\\ q_{31}{f}_{13}+q_{32}{f}_{23}+q_{33}{f}_{33}=0\end{array}\right.---\left(12\right)$

由于基本矩阵F的秩为2，因此（12）式中的7个方程中只有6个是独立。由前面分析可知，与矩阵H相同，Q矩阵中独立变量的个数只有5个，因此矩阵Q仍然是可解的。

基于（7）～（12）式，通过Levenberg-Marquardt非线性求解方法可以解得矩阵Q，并进一步得到单应性矩阵H。

有关Levenberg-Marquardt方法可参见参考文献：Nocedal,Jorge and Wright,Stephen J."Numerical Optimization",2nd Edition，2006,Springer.

求解出单应性矩阵H后，将其作用于右视图I_R，得到中间结果右视图I′_R。这时，在左视图I_L和中间结果右视图I′_R之间的外极线已经相互平行了，但还没有与图像坐标系的x轴平行，如图2所示。

接下来还要进行二个方面的优化：

（1）对中间结果右视图I′_R进行进一步变换，使变换后得到的最终结果右视图I″_R与原左视图I_L之间外极线与图像坐标系的x轴平行且没有垂直视差。

将I′_R变换到I″_R可以有二种方式：第一种方式是将左视图I_L和中间结果右视图I′_R同时旋转一个相同的角度，使它们的外极线与图像坐标系的x轴平行，如图3所示。但如果这样的旋转角度过大，则会带来观看视角上的严重失真。本发明采用的是第二种方式，如图4所示，仍旧保持左视图I_L不变，以对中间结果右视图I′_R的垂直位移来替代旋转。

（2）本发明关注的另一个重点是校正带来的视差失真问题。记左视图I_L中的某个样本点为，其在右视图I_R中的对应点为。和实际上是左右视图之间的一个匹配特征点对。在进行校正前，对于点p_L而言，它的视差值为即定义为这二点之间的欧式距离。经过本发明提出的方法校正后，左视图I_L保持不变，点在最终结果右视图I″_R上的对应点为则校正后的视差值为视差失真度定义为二个视差值之间的差值本发明对视差失真进行校正的目的是对于左视图中所有的样本点而言，经过视差差值优化，使这样的视差失真度减小，即最小化下式：

$E_d=\underset{i}{\mathrm{\Σ}}{\left(e_d^i\right)}^2---\left(13\right)$

样本点的选择可以取步骤101得到的左右视图的特征点匹配序列。

如图1所示，在步骤104中，将上面（1）、（2）这二个方面的优化结合在一起，进行视差差值优化和垂直视差优化，对中间结果右视图I′_R施加如式（14）所示的仿射变换，得到最终结果右视图I″_R。

$A_r=\left[\begin{array}{ccc}a& b& c\\ d& e& f\\ 0& 0& 1\end{array}\right]---\left(14\right)$

仿射变换矩阵中的参数a～f的选择应满足：

$\underset{\{a,b,c,d,e,f\}}{\arg \min }(\mathrm{\λ}{E}_d+(1-\mathrm{\λ})E_v)---\left(15\right)$

式（15）中，λ是一个预设的比例因子，E_d为定义在（13）式中的视差差值优化项。E_v为垂直视差优化项，定义如下：

$E_v=\underset{i}{\mathrm{\Σ}}{\left(v_d^i\right)}^2---\left(16\right)$

式（16）中，的定义如下：

$v_d^i=y_{p_L}^i-{y_{p_R}^i}^{\′\′}---\left(17\right)$

式（17）中，为左视图I_L中某个样本点的垂直坐标值，为最终结果右视图I″_R中对应于的匹配点的垂直坐标值。

采用Levenberg-Marquardt非线性优化方法求解出使（15）式最小的a～f，从而得到仿射变换矩阵A_r。

得到仿射变换矩阵A_r后，对I′_R施加仿射变换，得到I″_R。

I_L和I″_R即是本发明最终得到的经过校正的立体图像。

上述实施例用来解释说明本发明，而不是对本发明进行限制，在本发明的精神和权利要求的保护范围内，对本发明作出的任何修改和改变，都落入本发明的保护范围。

Claims (3)

1.一种低失真的立体图像外极线校正方法，其特征在于，该方法包括以下步骤：

(1)对立体图像的左视图I_L和右视图I_R进行特征点提取和匹配，得到特征点匹配序列；

(2)根据特征点匹配结果，计算出对应于左视图I_L和右视图I_R的基本矩阵F；

(3)保持左视图I_L不变，估计出作用于右视图I_R的单应性矩阵H，将外极点映射到无穷远处，得到中间结果右视图I′_R；

(4)进行视差差值优化和垂直视差优化，估计出作用于中间结果右视图I′_R的仿射变换矩阵A_r，得到最终结果右视图I″_R；左视图I_L和最终结果右视图I″_R即是校正结果。

2.根据权利要求1所述的一种低失真的立体图像外极线校正方法，其特征在于，所述的步骤(3)中估计单应性矩阵H通过以下子步骤来实现：

(3.1)将待求取的单应性矩阵H参数化表示为：H＝K′RK^-1，其中K和K′分别为左右相机的内参数矩阵，R为右相机相对于左相机的旋转矩阵；

(3.2)对左右相机的内参数进行简化并将图像坐标原点都移到图像中心后，得到左相机和右相机的内参数矩阵分别为：

$K=\left[\begin{array}{ccc}f& 0& 0\\ 0& f& 0\\ 0& 0& 1\end{array}\right]$ 和 $K^{\′}=\left[\begin{array}{ccc}{f}^{\′}& 0& 0\\ 0& f^{\′}& 0\\ 0& 0& 1\end{array}\right];$

(3.3)基于对应于左视图I_L和右视图I_R的基本矩阵F，得到关系式：[]_×表示将向量表示成斜对称矩阵形式，为经过校正后位于无穷远处的外极点位置的齐次坐标；

(3.4)设 ${\left(H^T\right)}^{-1}=Q=\left[\begin{array}{ccc}{q}_{11}& q_{12}& q_{13}\\ q_{21}& q_{22}& q_{23}\\ q_{31}& q_{32}& q_{33}\end{array}\right]$ 且 $F=\left[\begin{array}{ccc}{f}_{11}& f_{12}& f_{13}\\ f_{21}& f_{22}& f_{23}\\ f_{31}& f_{32}& f_{33}\end{array}\right],$ 可得：

$\left[\begin{array}{ccc}{q}_{11}& q_{12}& q_{13}\\ q_{21}& q_{22}& q_{23}\\ q_{31}& q_{32}& q_{33}\end{array}\right]\·\left[\begin{array}{ccc}{f}_{11}& f_{12}& f_{13}\\ f_{21}& f_{22}& f_{23}\\ f_{31}& f_{32}& f_{33}\end{array}\right]=\left[\begin{array}{ccc}0& 0& {\hat{e}}_v\\ 0& 0& -{\hat{e}}_u\\ -{\hat{e}}_v& {\hat{e}}_u& 0\end{array}\right];$

(3.5)进一步得到关于求解Q矩阵的7个约束方程：

$\left\{\begin{array}{c}{q}_{11}{f}_{11}+q_{12}{f}_{21}+q_{13}{f}_{31}=0\\ q_{11}{f}_{12}+q_{12}{f}_{22}+q_{13}{f}_{32}=0\\ q_{11}{f}_{13}+q_{12}{f}_{23}+q_{13}{f}_{33}+q_{31}{f}_{11}+q_{32}{f}_{21}+q_{33}{f}_{31}=0\\ q_{21}{f}_{11}+q_{22}{f}_{21}+q_{23}{f}_{31}=0\\ q_{21}{f}_{12}+q_{22}{f}_{22}+q_{23}{f}_{32}=0\\ q_{21}{f}_{13}+q_{22}{f}_{23}+q_{23}{f}_{33}+q_{31}{f}_{12}+q_{32}{f}_{22}+q_{33}{f}_{32}=0\\ q_{31}{f}_{13}+q_{32}{f}_{23}+q_{33}{f}_{33}=0\end{array}\right.$

(3.6)基于单应性矩阵H的参数化以及已知的基本矩阵F，在上述7个方程的约束下，用Levenberg-Marquardt方法求解出矩阵Q，并进一步得到单应性矩阵H；

(3.7)将计算得到的单应性矩阵作用于右视图I_R，得到中间结果右视图I′_R。

3.根据权利要求1所述的一种低失真的立体图像外极线校正方法，其特征在于，所述的步骤(4)具体包括以下步骤：

(4.1)将视差差值优化和垂直视差优化转化为估计出一个仿射变换矩阵：

$A_r=\left[\begin{array}{ccc}a& b& c\\ d& e& f\\ 0& 0& 1\end{array}\right]$

(4.2)采用Levenberg-Marquardt方法，通过最小化下式，计算出仿射变换矩阵的参数a～f；

$\underset{\{a,b,c,d,e,f\}}{\arg \min }(\mathrm{\λ}{E}_d+(1-\mathrm{\λ})E_v)$

其中，λ是一个预设的比例因子，E_d为视差差值优化项，E_v为垂直视差优化项， $E_v=\underset{i}{\mathrm{\Σ}}{\left(v_d^i\right)}^2;$

(4.3)将估计出的仿射变换矩阵A_r作用于中间结果右视图I′_R，得到最终结果右视图I″_R。