CN102404595A - 可提供3d节目拍摄指导的极线校正方法 - Google Patents

Abstract

本发明公开一种可提供3D节目拍摄指导的极线校正方法，该方法利用遗传一致性估计方法来消除误匹配获取一致最大内点集，将基础矩阵参数化为包含摄像机姿态信息的参量，通过匹配点对坐标建立误差方程，进而采用最小二乘法求解摄像机参量，利用所得的摄像机参量直接求解极线校正矩阵，并为现场3D拍摄提供如何调整摄像机姿态的信息。本发明既能够应用于3D节目后期处理又能够为3D节目现场拍摄提供摄像机姿态调整指导，并有效地降低了极线校正后立体图像对的扭曲变形。整个极线校正方法的实现过程简单，可广泛应用于立体匹配、深度图提取和三维跟踪等重要领域。

Description

可提供3D节目拍摄指导的极线校正方法

技术领域

本发明涉及的是一种立体视觉技术领域的极线校正方法，具体是一种既能够应用于3D节目后期处理又能够为3D节目现场拍摄提供摄像机姿态调整指导的极线校正方法。

背景技术

近几年，随着《阿凡达》等3D电影的狂热，立体视觉技术引起了国内外学者的广泛研究。在立体视觉实际应用研究中，为了能够舒适地观赏3D节目，对立体图像对进行极线校正不可避免。所谓极线校正，就是指通过对左、右视图像各进行一次射影变换，使得图像投影到一个公共的平行于两个摄像机基线的空间平面，从而使两幅图像对应的极线在同一行水平线上，并且不存在垂直视差。极线校正可以有效地将对应点搜索范围从二维空间降至一维扫描线，在立体匹配、深度提取和三维跟踪等立体视觉关键技术中得到广泛应用。

经过对现有技术文献的检索发现，John Mallon等人于2005年在《Image and VisionComputing(图像和视觉计算)》上发表的“Projective rectification from the fundamentalmatrix(基础矩阵引导的射影校正)”中给出了一种仅依赖于基本矩阵的方法，该方法根据基本矩阵求出极点，然后将极点旋转到X轴，接着将极点投影到无穷远处，最后使得两幅图像对应的极线在同一条扫描线上。这种方法必须依赖于基础矩阵，当基础矩阵估计地不够准确时，校正的精度会受到明显的影响。即使能够得到高精度的基础矩阵，也未必能够得到好的校正结果，导致校正结果出现较大的扭曲变形，原因是图像校正的评价准则与基础矩阵的准则完全不相同。而且这种方法不能够为3D节目现场拍摄提供摄像机姿态调整指导。

又经检索发现，Min Zhu等人于2007年在《IEEE International Conference onIntegration Technology(IEEE集成技术国际会议)》上发表的“Stereo Vision RectificationBased on Epipolar Lines Match and Three Variables Projective Matrix(基于极线匹配和3变量射影矩阵的立体图像校正方法)”中提出了一种简化的极线校正方法，该方法仅需要3对匹配极线既可以估计出左右相机的投影矩阵。这种方法依赖于立体图像中极线的匹配精度，当匹配中存在误匹配时候，会导致校正结果往往出现较大的扭曲变形。而且这种方法也不能够为3D节目现场拍摄提供摄像机姿态调整指导，仅适合在3D节目的后期处理中使用。

发明内容

本发明的目的在于克服现有技术中的上述不足，提出一种既能够应用于3D节目后期处理又能够为3D节目现场拍摄提供摄像机姿态调整指导的极线校正方法，并有效地降低了极线校正后立体图像对的扭曲变形。该方法利用遗传一致性估计(GCE)方法来消除误匹配获取一致最大内点集，将基础矩阵参数化为包含摄像机姿态信息的参量，通过匹配点对坐标建立误差方程进而采用最小二乘法求解摄像机参量，利用所得的摄像机参量直接求解极线校正矩阵，并为现场3D拍摄提供如何调整摄像机姿态的信息，可广泛应用于立体匹配、深度图提取和三维跟踪等领域。

本发明是通过以下技术方案实现的，本发明包括以下步骤：

第一步，分别对立体图像对中的左视图和右视图进行SIFT特征点提取，并对得到的两组SIFT特征点进行匹配，得到初始匹配点对集。

第二步，利用遗传一致性估计(GCE)算法剔除初始匹配点对集中的误匹配点对，得到满足同一基本矩阵的一致最大内点集。

所述的GCE算法剔除误匹配处理，包括以下步骤：

1)在初始匹配点对集中选择P个个体组成初始种群，得到每个个体包含的内点数，且至少有一个个体中包含的内点数大于或者等于相关阈值T_in；

所述的个体包含从初始匹配点对集中随机选择的s组非奇异匹配点对。

所述的s取值范围是：区间[7，10]上的整数。

所述的内点是Sampson误差小于内点阈值Thr的匹配点对。

所述的内点阈值Thr的取值范围是：[0.5，2]。

所述的Sampson误差，是：

$D_{\mathrm{ij}}=\frac{{\left({\left(x_{\mathrm{Li}}\right)}^T{F}_j{x}_{\mathrm{Ri}}\right)}^2}{{\left(F_j{x}_{\mathrm{Ri}}\right)}_1^2+{\left(F_j{x}_{\mathrm{Ri}}\right)}_2^2+{\left(F_j^T{x}_{\mathrm{Li}}\right)}_1^2+{\left(F_j^T{x}_{\mathrm{Li}}\right)}_2^2},$

其中：D_ij是初始匹配点对集中第i组匹配点对(x_Li，x_Ri)对于第j个个体I_j的Sampson误差，1≤i≤N，N是初始匹配点对集中匹配点对的总数目。x_Li＝(x_Li，y_Li，1)^T为第i组匹配点对中左视图匹配点的齐次坐标，其中(x_Li，y_Li)^T是以左视图左上角像素点为原点建立的坐标系中的像素坐标；x_Ri＝(x_Ri，y_Ri，1)^T为第i组匹配点对中右视图匹配点的齐次坐标，其中(x_Ri，y_Ri)^T是以右视图左上角像素点为原点建立的坐标系中的像素坐标。F_j是利用第j个个体I_j所包含的s对匹配点对进行归一化直接线性变化处理所得到的基本矩阵估计实例，1≤j≤P。

所述的相关阈值T_in的取值范围是：[2s，4s]

所述的s为个体所包含的匹配点对数

所述的P的取值范围为：[s+2，10(s+2)]。

2)将初始种群随机划分为个体数目都为s+2的子群，并在每个子群中选择内点数最大和次大的两个个体作为母体；

3)将每个子群中的两个母体随机交换q组匹配点对生成2个子体，子体与母体一起共形成4个中间个体。q为区间[1，s-1]上的随机整数。

4)保留每个子群4个中间个体中内点数最大的个体作为变异算子的候选个体。

5)对每个子群中的候选个体均按照正确数据点的可能分布执行s+1种变异处理形成变异个体，并对变异个体进行调整。经过调整后变异个体与候选个体一起组成新的种群。

所述的变异处理，是：分别在每个候选个体划分的内外点中选择由m组内点和s-m组外点组成的变异个体，0≤m≤s。每个候选个体都生成s+1个变异个体。

所述的外点是对称转移误差大于等于内点阈值Thr的匹配点对。

所述的对变异个体进行调整，是：对每个候选个体生成的变异个体，逐个与判别个体进行比较，当且仅当判别个体的内点数大于变异个体的内点数，则将变异个体置换为判别个体。

所述的判别个体包含从候选个体的内点中随机选择的s组非奇异匹配点对。

6)重复执行2)-5)共G次后，此时种群中内点数最大的个体的内点就是满足同一基本矩阵的一致最大内点集。

所述的G，是：

$G=\frac{\log (1-C)}{P\·\log (1-{\left(\frac{\mathrm{\μ}}{N}\right)}^s)},$

其中：P是种群中个体的数目，μ是第G次执行完5)后得到的内点数最大的个体的内点数，N是初始匹配点对集中匹配点对的总点对数，C是第G次执行完5)后由s个正确匹配点对组成的个体至少出现过一次的概率。

所述的概率C取值范围是：[0.9，0.99]。

第三步，基于一致最大内点集的所有匹配点对，利用Levenberg-Marquardt(LM)非线性最小二乘法，最小化总sampson误差E，估计摄像机的旋转角度和像素焦距。

设一致最大内点集中的所有匹配点对(x_INLj，x_INRj)，1≤j≤M，M为一致最大内点集中匹配点对的个数。构造总sampson误差E：

$E=\underset{j=1}{\overset{M}{\mathrm{\Σ}}}\frac{{\left({\left(x_{\mathrm{INLj}}\right)}^2{F}_{\mathrm{opt}}{x}_{\mathrm{INRj}}\right)}^2}{{\left(F_{\mathrm{opt}}{x}_{\mathrm{INRj}}\right)}_1^2+{\left(F_{\mathrm{opt}}{x}_{\mathrm{INRj}}\right)}_2^2+{\left(F_{\mathrm{opt}}{x}_{\mathrm{INLj}}\right)}_1^2+{\left(F_{\mathrm{opt}}{x}_{\mathrm{INLj}}\right)}_2^2}$ $s.t.{\left|\right|F_{\mathrm{opt}}\left|\right|}_F^2=1$

其中F_opt为优化的对象，‖·‖_F表示矩阵的Frobenius范数。F_opt与旋转角度以及像素焦距的关系如下：

$F_{\mathrm{opt}}=K_R^{-T}{R}_{\mathrm{LR}}^T{\left[t\right]}_x{K}_L^{-1}$

$K_i=\left[\begin{array}{ccc}{f}_i& 0& w_i/2\\ 0& f_i& h_i/2\\ 0& 0& 1\end{array}\right],$ f_i∈[(w_i+h_i)/3，3(w_i+h_i)]，i＝L，R

$R_{\mathrm{LR}}=\left[\begin{array}{ccc}1& 0& 0\\ 0& \cos \left(\mathrm{\θ}\right)& -\sin \left(\mathrm{\θ}\right)\\ 0& \sin \left(\mathrm{\θ}\right)& \cos \left(\mathrm{\θ}\right)\end{array}\right]\left[\begin{array}{ccc}\cos \left(\mathrm{\α}\right)& -\sin \left(\mathrm{\α}\right)& 0\\ \sin \left(\mathrm{\α}\right)& \cos \left(\mathrm{\α}\right)& 0\\ 0& 0& 1\end{array}\right]\left[\begin{array}{ccc}\cos \left(\mathrm{\β}\right)& 0& -\sin \left(\mathrm{\β}\right)\\ 0& 1& 0\\ \sin \left(\mathrm{\β}\right)& 0& \cos \left(\mathrm{\β}\right)\end{array}\right]$

其中w_L、w_R分别为左、右视图以像素为单位的宽度，h_L、h_R为左、右视图的以像素为单位的高度，f_L、f_R为左、右摄像机以像素为单位的焦距。R_LR为右摄像机相对于左摄像机的旋转矩阵，表征左摄像机绕Y轴旋转旋转β、绕Z轴旋转旋转α、绕X轴旋转旋转θ后与右摄像机平行。t为右摄像机中心相对于左摄像机的单位偏移方向，表征左摄像机绕Y轴旋转旋转

绕Z轴旋转旋转-γ后，右摄像机的中心位于左摄像机的X轴上。[t]_x为3维矢量t＝[t₁ t₂ t₃]^T确定的反对称矩阵：

${\left[t\right]}_x=\left[\begin{array}{ccc}0& -t_3& t_2\\ t_3& 0& -t_1\\ -t_2& t_1& 0\end{array}\right]$

LM优化时的初始值取为[w_L+h_L，w_R+h_R，0，0，0，0，0]，并沿着总误差E减小的方向移动，当总误差E不变时，

的值即为摄像机参数的最优估计。其中像素焦距f_L、f_R可以为立体视频拍摄现场调整两摄像机的焦距提供参考信息，而β、α、θ、

γ可以在立体视频拍摄现场提供两摄像机姿态的调整信息。如果需要在后期处理中进行极线校正，只需要继续执行第四步。

第四步，利用获得的摄像机参数信息

构造极线校正矩阵H_L、H_R，分别对左、右视图像进行极线校正。

所述的极线校正矩阵H_L、H_R的构造，是

$H_i=K_{\mathrm{Ni}}{R}_i{K}_i^{-1}$

$K_i=\left[\begin{array}{ccc}{f}_i& 0& w_i/2\\ 0& f_i& h_i/2\\ 0& 0& 1\end{array}\right],$ $K_{\mathrm{Ni}}=\left[\begin{array}{ccc}(f_L+f_R)/2& 0& w_i/2\\ 0& (f_L+f_R)/2& h_i/2\\ 0& 0& 1\end{array}\right],i=L,R$

$R_R=R_L\left[\begin{array}{ccc}1& 0& 0\\ 0& \cos \left(\mathrm{\θ}\right)& -\sin \left(\mathrm{\θ}\right)\\ 0& \sin \left(\mathrm{\θ}\right)& \cos \left(\mathrm{\θ}\right)\end{array}\right]\left[\begin{array}{ccc}\cos \left(\mathrm{\α}\right)& -\sin \left(\mathrm{\α}\right)& 0\\ \sin \left(\mathrm{\α}\right)& \cos \left(\mathrm{\α}\right)& 0\\ 0& 0& 1\end{array}\right]\left[\begin{array}{ccc}\cos \left(\mathrm{\β}\right)& 0& -\sin \left(\mathrm{\β}\right)\\ 0& 1& 0\\ \sin \left(\mathrm{\β}\right)& 0& \cos \left(\mathrm{\β}\right)\end{array}\right]$

所述的对左、右视图像进行极线校正，其过程如下：

以对左视图进行极线校正为例，右视图操作类似。设极线校正前后的图像分别为

校正后图像

中的像素点

与校正前图像

的对应像素点满足如下关系：

$x_L^{\mathrm{after}}=H_i{x}_L^{\mathrm{befor}}$

其中像素点 $x_L^{\mathrm{after}}={(x_L^{\mathrm{after}},y_L^{\mathrm{after}},1)}^T,$ 而是以校正后的图像

左上角像素点为原点建立的坐标系中的像素坐标；像素点

而

是以校正前的图像

左上角像素点为原点建立的坐标系中的像素坐标。

与现有技术相比，本发明的有益效果是能够在初始匹配点对中存在大量误匹配的情况下精确快速稳定地估计出摄像机的旋转角度以及像素焦距等信息，以为拍摄现场以及后期处理提供调整指导。本发明的主要创新点为：1)结合遗传算法的全局最优性，利用GCE算法剔除误匹配，为摄像机参数估计提供一致最大内点集数据基础；2)利用摄像机的旋转角度以及像素焦距等信息参数化基本矩阵，并利用Levenberg-Marquardt(LM)非线性最小二乘法进行最优化，从而获取旋转角度以及像素焦距等参数的最优估计。

本发明的GCE通过控制初始种群的形成并进一步采用子群的方式同时在解空间内的多个区域进行搜索，与现有技术中RANSAC等鲁棒估计方法每次只在单个区域搜索形成鲜明对比，能够在误匹配点对大量存在的情况下快速实现摄像机参数的估计；本发明的GCE利用变异算子根据内点的可能分布进行有目的的搜索，能够在全局意义上更准确地找出一致最大内点集，与现有技术中RANSAC等鲁棒估计方法每次随机选择搜索区域的盲目性形成鲜明对比，显著提高了摄像机参数估计的估计精度和鲁棒性，从而保证极线校正的结果不会出现较大扭曲变形。

本发明将基本矩阵参数化为摄像机的旋转角度以及像素焦距等参量，通过匹配点对坐标建立sampson误差方程，利用最小二乘法求解摄像机参量。本发明既可以利用所得的摄像机参量直接构造极线校正矩阵，亦可以为现场3D拍摄提供如何调整摄像机姿态指导，弥补了传统方法只能够用于后期处理的不足。

附图说明

图1为本发明实施例的方法流程图；

图2为本发明实施例尺度空间中的高斯金字塔和DOG金字塔结构图；

图3为本发明实施例尺度空间极值检测示意图；

图4为本发明实施例特征描述子示意图；

图5为本发明实施例摄像机坐标系示意图；

图6为本发明实施例GCE与RANSAC等鲁棒估计方法的估计误差对比；

图7为本发明实施例校正前的左、右视图；

图8为本发明实施例Loop and Zhang方法的校正结果；

图9为本发明实施例Hartley方法的校正结果；

图10为本发明实施例John Mallon方法的校正结果；

图11为本发明实施例的校正结果。

具体实施方式

下面对本发明的实施例作详细说明，本实施例给出了本发明技术方案详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。

如图1所示，本发明的极线校正方法包括SIFT特征点的提取与匹配并获取初始匹配点对集、利用GCE算法消除误匹配并提取一致最大内点集、非线性最小二乘法提取摄像机旋转角度和像素焦距等参数、利用摄像机参数构造极线校正矩阵这几个部分。

第一步，对输入的两幅图进行SIFT特征点的提取与匹配，生成初始匹配点对集A＝{(x_Li，x_Ri)|1≤i≤N}。N是初始匹配点对集中匹配点对的总数目。x_Li＝(x_Li，y_Li，1)^T为第i组匹配点对中左视图匹配点的齐次坐标，其中(x_Li，y_Li)^T是以左视图左上角像素点为原点建立的坐标系中的像素坐标；x_Ri＝(x_Ri，y_Ri，1)^T为第i组匹配点对中右视图匹配点的齐次坐标，其中(x_Ri，y_Ri)^T是以右视图左上角像素点为原点建立的坐标系中的像素坐标。

SIFT特征点的提取与匹配过程如下：

1)建立高斯金字塔

高斯金字塔有o阶，每一阶有l层尺度图像。以建立(o，l)＝(4，5)的高斯金字塔为例。第1阶的第1层是放大2倍的原始图像，在同一阶中相邻两层的尺度因子比例系数是k，则第1阶第2层的尺度因子是kσ，然后其它层以此类推则可；第2阶的第1层由第一阶的中间层尺度图像进行子抽样获得，其尺度因子是k²σ，然后第2阶的第2层的尺度因子是第1层的k倍即k³σ。第3阶的第1层由第2阶的中间层尺度图像进行子抽样获得。其它阶的构成以此类推。其结构如图2左半边所示。对于二维图像I(x，y)在不同尺度下的尺度空间表示L(x，y，σ)可由图像I(x，y)与高斯核G(x，y，σ)的卷积得到：

L(x，y，σ)＝G(x，y，σ)*I(x，y)

其中 $G(x,y,\mathrm{\σ})=\frac{1}{2{\mathrm{\π\σ}}^2}{e}^{-(x^2+y^2)/2{\mathrm{\σ}}^2},$ 一般取σ＝1.6。

2)建立DOG金字塔

DOG金字塔通过高斯金字塔中相邻尺度空间函数相减即可。DOG金字塔的第1层的尺度因子与高斯金字塔的第1层是一致的，其它阶也一样。如图2右半边所示。

3)DOG空间的极值检测

为了检测到DOG空间的最大值和最小值，需要比较DOG尺度空间图像中的每个像素与它邻近26个像素的值，在图3中，标记为叉号的像素若比相邻26个像素的DOG值都大或都小，则该点将作为一个SIFT特征点，记下它的位置和对应阶数和层数。

4)确定特征点的主方向

根据特征点的阶数和层数在高斯金字塔中找到对应的图像层，并以特征点的位置为中心，在9×9的正方形邻域内统计所有点的梯度的大小和方向，并用梯度直方图统计邻域像素的梯度方向。梯度直方图的范围是0°～360°，其中每10度为一个方向，总共36个方向。统计得到的直方图峰值所在的方向就代表了该特征点的主方向。其中正方形邻域内点的梯度的大小m(x，y，σ)和方向计算如下：

$m(x,y,\mathrm{\σ})=\sqrt{{(L(x+1,y,\mathrm{\σ})-L(x-1,y,\mathrm{\σ}))}^2+{(L(x,y+1,\mathrm{\σ})-L(x,y-1,\mathrm{\σ}))}^2}$

θ(x，y，σ)＝arctan((L(x，y+1，σ)-L(x，y-1，σ))/(L(x+1，y，σ)-L(x-1，y，σ)))

5)确定特征点的特征描述子

为了确保旋转不变性，首先将坐标轴旋转为关键点的方向。以关键点为中心，取8×8的窗口，将这个窗口切成2×2的子窗口，如图4所示。

图4左边部分的中心代表当前关键点的位置，每一个小格代表了与关键点同尺度，并且是在关键点邻域内的一个像素，小格中箭头的方向代表该像素的梯度方向，箭头的长度代表梯度的模的大小，圆圈代表了高斯加权的范围。图4右边部分2×2的窗口的每个子窗口由其上4×4的小块组成。在每个4×4的小块上计算8个方向的梯度方向直方图，统计每个方向的累加值，即形成一个种子点。一个特征点由2×2共4个种子点组成，每个种子点包含8个方向的信息，这样每个特征点的特征描述子就有4×8＝32个维度。

6)特征点的匹配

首先将左视图和右视图中所有特征点的特征描述子进行长度归一化，接着对左视图中的每个特征点在右视图中寻找相似性度量最大的两个特征点。如果次大的相似性度量除以最大的相似性度量少于某个比例阈值0.8，则认为左视图中的特征点与右视图中最相似的特征点为一对匹配点。两特征点间的相似性度量Sd如下：

Sd(Desc1，Desc2)＝Desc1^T·Desc2

其中Desc1和Desc2代表以32维列向量表示的特征描述子。Sd值越大表明两特征点越相似。

第二步，在初始点对集A上利用基于遗传算法的遗传一致性估计GCE算法，对初始匹配点对集进行剔除误匹配处理，得到满足同一基本矩阵的一致最大内点集。利用GCE算法提取最大内点集的具体实现如下：

1.初始化。

确定种群规模P＝20，置遗传代数G＝∞。在初始匹配点对集A中随机选择非奇异的s＝8组点对构成一个个体，并以此方法生成P个个体组成初始种群，并保证初始种群中包含有内点数大于或等于给定相关阈值T_in＝24的个体。个体的内点数按如下方法确定：

1)通过归一化直接线性变化方法求得与个体S对应的基本矩阵F。

设提供的匹配点对为

1≤i≤s， $x_{\mathrm{Li}}^{\′}={(x_{\mathrm{Li}}^{\′},y_{\mathrm{Li}}^{\′},1)}^T,$ $x_{\mathrm{Ri}}^{\′}={(x_{\mathrm{Ri}}^{\′},y_{\mathrm{Ri}}^{\′},1)}^T,$

和分别是以左视图和右视图左上角像素点为原点建立的坐标系中的像素坐标。s为提供的匹配点对数目。

a)计算左视图的归一化矩阵T_L：

$T_L=\left[\begin{array}{ccc}1/f_L& 0& -u_L/f_L\\ 0& 1/f_L& -v_L/f_L\\ 0& 0& 1\end{array}\right],$ $u_L=\frac{1}{s}\underset{i=1}{\overset{s}{\mathrm{\Σ}}}{x}_{\mathrm{Li}}^{\′},$ $v_L=\frac{1}{s}\underset{i=1}{\overset{s}{\mathrm{\Σ}}}{y}_{\mathrm{Li}}^{\′},$ f_L＝W_L+F_L/2

W_L为左视图以像素为单位的宽度，F_L为左视图的以像素为单位的长度，f_L为左视图的尺度归一化因子

b)计算右视图的归一化矩阵T_R：

$T_R=\left[\begin{array}{ccc}1/f_R& 0& -u_R/f_R\\ 0& 1/f_R& -v_R/f_R\\ 0& 0& 1\end{array}\right],$ $u_R=\frac{1}{s}\underset{i=1}{\overset{s}{\mathrm{\Σ}}}{x}_{\mathrm{Ri}}^{\′},$ $v_R=\frac{1}{s}\underset{i=1}{\overset{s}{\mathrm{\Σ}}}{y}_{\mathrm{Ri}}^{\′},$ f_R＝W_R+F_R/2

W_R为右视图以像素为单位的宽度，F_R为右视图的以像素为单位的长度，f_R为右视图的尺度归一化因子

c)归一化匹配点对：

$x_{\mathrm{NLi}}=T_L{x}_{\mathrm{Li}}^{\′},x_{\mathrm{NRi}}=T_R{x}_{\mathrm{Ri}}^{\′}$

x_NLi为左视图匹配点的归一化齐次坐标，x_NRi为右视图匹配点的归一化齐次坐标

d)奇异值分解：

设x_NLi＝(x_NLi，y_NLi，1)^T，x_NRi＝(x_NRi，y_NRi，1)^T，

并令 $A_i=\left[\begin{array}{ccc}{x}_{\mathrm{NLi}}{x}_{\mathrm{NRi}}^T& y_{\mathrm{NLi}}{x}_{\mathrm{NRi}}^T& x_{\mathrm{NRi}}^T\end{array}\right],$ 构造系数矩阵 $A=\left[\begin{array}{c}{A}_1\\ .\\ .\\ .\\ A_s\end{array}\right],$ 奇异值分解

A＝UDV^T且对角矩阵D＝diag(d1，d2，d3)的对角元素满足d1≥d2≥d3；

e)解除归一化求取基本矩阵：

令

则由提供的匹配点对所得的基本矩阵估计实例为

$F=T_L^{-1}\tilde{F}{T}_R$

2)判断匹配点对是否为个体S(或基本矩阵H)的内点。

为判断初始匹配点对集A中的第i组匹配点对(x_Li，x_Ri)是否为个体S的内点，按照下式计算对称转移误差D_i：

$D_i=\frac{{\left({\left(x_{\mathrm{Li}}\right)}^T{\mathrm{Fx}}_{\mathrm{Ri}}\right)}^2}{{\left({\mathrm{Fx}}_{\mathrm{Ri}}\right)}_1^2+{\left({\mathrm{Fx}}_{\mathrm{Ri}}\right)}_2^2+{\left({\mathrm{Fx}}_{\mathrm{Li}}\right)}_1^2+{\left({\mathrm{Fx}}_{\mathrm{Li}}\right)}_2^2}$

如果对称转移误差D_i小于内点阈值Thr＝1时，则第i组点对为个体S的内点，否则为个体S的外点。按此方法统计点对集A中个体S的内点即可获得个体S的内点数。

2.种群进化

2.1.种群中P个个体随机平均划分为P/(s+2)＝20/10＝2个子群。

2.2.对每个子群选择内点数最大的2个个体作为母体。

2.3.对每个子群的2个母体，随机交换q组匹配点对生成2个子体，子体与母体一起共形成4个中间个体。q为区间[1，7]上的随机整数。

2.4.保留每个子群4个中间个体中内点数最大的个体作为变异算子的候选个体。

2.5.每个子群中的候选个体将初始匹配点对集A划分为内点和外点。在内点和外点中分别随机选择m组点对和8-m组点对来组成变异个体。其中m的取值为区间[0，8]的整数，故变异方法共有9种，形成9个变异个体。对每个候选个体生成的变异个体，逐个与判别个体进行比较，当且仅当判别个体的内点数大于变异个体的内点数，则将变异个体置换为判别个体。其中判别个体包含从候选个体的内点中随机选择的s组非奇异匹配点对。经过调整后所有的变异个体与候选个体一起组成新一代种群。

3.根据新一代种群中内点数最大的个体S_max，按照下式更新遗传代数G。

$G=\frac{\log (1-C)}{P\·\log (1-{\left(\frac{\mathrm{\μ}}{N}\right)}^4)},$

其中P为种群的个体数，μ为个体S_max的内点数，N为初始匹配点对集A的总点对数，C为经过G代遗传后由4个正确匹配点对组成的个体至少出现过一次的概率。C值预先设置为0.99。如已执行G代种群进化，则输出个体Z的内点作为一致最大内点集。否则返回2，在新一代种群的基础上执行种群进化。

第三步，基于一致最大内点集的所有匹配点对，利用Levenberg-Marquardt(LM)非线性最小二乘法，最小化总sampson误差E，估计摄像机的旋转角度和像素焦距。

设一致最大内点集中的所有匹配点对(x_INLj，x_INRj)，1≤j≤M，M为一致最大内点集中匹配点对的个数。构造总sampson误差E：

$E=\underset{j=1}{\overset{M}{\mathrm{\Σ}}}\frac{{\left({\left(x_{\mathrm{INLj}}\right)}^2{F}_{\mathrm{opt}}{x}_{\mathrm{INRj}}\right)}^2}{{\left(F_{\mathrm{opt}}{x}_{\mathrm{INRj}}\right)}_1^2+{\left(F_{\mathrm{opt}}{x}_{\mathrm{INRj}}\right)}_2^2+{\left(F_{\mathrm{opt}}{x}_{\mathrm{INLj}}\right)}_1^2+{\left(F_{\mathrm{opt}}{x}_{\mathrm{INLj}}\right)}_2^2}$ $s.t.{\left|\right|F_{\mathrm{opt}}\left|\right|}_F^2=1$

其中F_opt为优化的对象， ‖·‖_F表示矩阵的Frobenius范数。F_opt与旋转角度以及像素焦距的关系如下：

$F_{\mathrm{opt}}=K_R^{-T}{R}_{\mathrm{LR}}^T{\left[t\right]}_x{K}_L^{-1}$

$K_i=\left[\begin{array}{ccc}{f}_i& 0& w_i/2\\ 0& f_i& h_i/2\\ 0& 0& 1\end{array}\right],$ f_i∈[(w_i+h_i)/3，3(w_i+h_i)]，i＝L，R

$R_{\mathrm{LR}}=\left[\begin{array}{ccc}1& 0& 0\\ 0& \cos \left(\mathrm{\θ}\right)& -\sin \left(\mathrm{\θ}\right)\\ 0& \sin \left(\mathrm{\θ}\right)& \cos \left(\mathrm{\θ}\right)\end{array}\right]\left[\begin{array}{ccc}\cos \left(\mathrm{\α}\right)& -\sin \left(\mathrm{\α}\right)& 0\\ \sin \left(\mathrm{\α}\right)& \cos \left(\mathrm{\α}\right)& 0\\ 0& 0& 1\end{array}\right]\left[\begin{array}{ccc}\cos \left(\mathrm{\β}\right)& 0& -\sin \left(\mathrm{\β}\right)\\ 0& 1& 0\\ \sin \left(\mathrm{\β}\right)& 0& \cos \left(\mathrm{\β}\right)\end{array}\right]$

其中w_L、w_R分别为左、右视图以像素为单位的宽度，h_L、h_R为左、右视图的以像素为单位的高度，f_L、f_R为左、右摄像机以像素为单位的焦距。R_LR为右摄像机相对于左摄像机的旋转矩阵，表征左摄像机绕Y轴旋转旋转β、绕Z轴旋转旋转α、绕X轴旋转旋转θ后与右摄像机平行(如图5)。t为右摄像机中心相对于左摄像机的单位偏移方向，表征左摄像机绕Y轴旋转旋转

绕Z轴旋转旋转-γ后，右摄像机的中心位于左摄像机的X轴上。[t]_x为3维矢量t＝[t₁ t₂ t₃]^T确定的反对称矩阵：

${\left[t\right]}_x=\left[\begin{array}{ccc}0& -t_3& t_2\\ t_3& 0& -t_1\\ {-t}_2& t_1& 0\end{array}\right]$

LM优化时

的初始值取为[w_L+h_L，w_R+h_R，0，0，0，0，0]，并沿着总误差E减小的方向移动，当总误差E不变时，

的值即为摄像机参数的的最优估计。其中像素焦距f_L、f_R可以为立体视频拍摄现场调整两摄像机的焦距提供参考信息，而β、α、θ、γ可以在立体视频拍摄现场提供两摄像机姿态的调整信息。如果需要在后期处理中进行极线校正，只需要继续执行第四步。

第四步，利用获得的摄像机参数信息

构造极线校正矩阵H_L、H_R，分别对左、右视图像进行极线校正。极线校正矩阵H_L、H_R的构造如下：

$H_i=K_{\mathrm{Ni}}{R}_i{K}_i^{-1}$

$K_i=\left[\begin{array}{ccc}{f}_i& 0& w_i/2\\ 0& f_i& h_i/2\\ 0& 0& 1\end{array}\right],$ $K_{\mathrm{Ni}}=\left[\begin{array}{ccc}(f_L+f_R)/2& 0& w_i/2\\ 0& (f_L+f_R)/2& h_i/2\\ 0& 0& 1\end{array}\right],i=L,R$

$R_R=R_L\left[\begin{array}{ccc}1& 0& 0\\ 0& \cos \left(\mathrm{\θ}\right)& -\sin \left(\mathrm{\θ}\right)\\ 0& \sin \left(\mathrm{\θ}\right)& \cos \left(\mathrm{\θ}\right)\end{array}\right]\left[\begin{array}{ccc}\cos \left(\mathrm{\α}\right)& -\sin \left(\mathrm{\α}\right)& 0\\ \sin \left(\mathrm{\α}\right)& \cos \left(\mathrm{\α}\right)& 0\\ 0& 0& 1\end{array}\right]\left[\begin{array}{ccc}\cos \left(\mathrm{\β}\right)& 0& -\sin \left(\mathrm{\β}\right)\\ 0& 1& 0\\ \sin \left(\mathrm{\β}\right)& 0& \cos \left(\mathrm{\β}\right)\end{array}\right]$

对左、右视图像进行极线校正的过程如下：

以对左视图进行极线校正为例，右视图操作类似。设极线校正前后的图像分别为

校正后图像

中的像素点

与校正前图像

的对应像素点

满足如下关系：

$x_L^{\mathrm{after}}=H_i{x}_L^{\mathrm{befor}}$

其中像素点 $x_L^{\mathrm{after}}={(x_L^{\mathrm{after}},y_L^{\mathrm{after}},1)}^T,$ 而

是以校正后的图像

左上角像素点为原点建立的坐标系中的像素坐标；像素点

而

是以校正前的图像

左上角像素点为原点建立的坐标系中的像素坐标。

利用Middlebury网站(http://vision.middlebury.edu/stereo/data/)提供的“2006datasets”数据库做实验，通过SIFT获得左右视图的匹配点对，并从中随机选择300组形成初始数据集A。由于是随机组合而成，故数据集A中包含有错误匹配点对。估计误差采用一致最大内点集的平均Sampson误差以及标准差来表征。图6显示出GCE的平均估计误差以及标准差都低于M-估计、LMedS、RANSAC、MLESAC、MAPSAC等鲁棒估计方法。这也侧面证明了本方法对摄像机旋转角度、像素焦距等参数的估计具有较高的精度，能够在3D拍摄现场提供有效的调整指导。

利用Vision Systems Group(http://www.vsg.dcu.ie/code.html)的“ProjectiveRectification”立体图像数据，比较Loop and Zhang(Computing rectifyinghomographies for stereo vision)、Hartley(Theory and practice of projectiverectification)、John Mallon三者与本方法的极线校正结果。从图7中可以看出校正前图中得极线走向相对于水平方向有较小的夹角，而从各种校正方法的结果来看，图10中John Mallon的校正结果扭曲变形尚可接受，图8和图9的中Loop and Zhang以及Hartley的校正方法给图像引入了较大的扭曲变形，本方法(图11)仅引入微小的扭曲变形。

由以上实施例可以看出，本发明方法利用遗传一致性估计(GCE)方法来消除误匹配获取一致最大内点集，将基础矩阵参数化为包含摄像机姿态信息的参量，通过匹配点对坐标建立误差方程进而采用最小二乘法求解摄像机参量，利用所得的摄像机参量直接求解极线校正矩阵，并为现场3D拍摄提供如何调整摄像机姿态的信息。遗传一致性估计(GCE)方法将遗传方法原理与基本矩阵的估计结合起来，通过利用遗传方法的内含并行性和全局最优性采用子群的方式同时搜索解空间内的多个区域，并利用变异算子根据内点的可能分布进行有目的的搜索，来快速精确地剔除误匹配，提高了摄像机参量的提取精度和稳定性，减小了极线校正带来的扭曲变形。本发明既能够应用于3D节目后期处理又能够为3D节目现场拍摄提供摄像机姿态调整指导，并有效地降低了极线校正后立体图像对的扭曲变形。可广泛应用于立体匹配、深度图提取和三维跟踪等重要领域。

Claims (10)

1.一种可提供3D节目拍摄指导的极线校正方法，其特征在于，包括以下步骤：

第一步，分别对立体图像对中的左视图和右视图进行SIFT特征点提取，并对得到的两组SIFT特征点进行匹配，得到初始匹配点对集；

第二步，利用遗传一致性估计算法剔除初始匹配点对集中的误匹配点对，得到满足同一基本矩阵的一致最大内点集；

第三步，基于一致最大内点集的所有匹配点对，利用LM非线性最小二乘法，最小化总sampson误差E，估计摄像机的旋转角度和像素焦距；

第四步，利用获得的摄像机参数信息构造极线校正矩阵H_L、H_R，分别对左、右视图像进行极线校正。

2.如权利要求1所述的可提供3D节目拍摄指导的极线校正方法，其特征在于，所述利用遗传一致性估计算法剔除初始匹配点对集中的误匹配点对，得到满足同一基本矩阵的一致最大内点集，包括以下步骤：

1)在初始匹配点对集中选择P个个体组成初始种群，每个个体由随机选择的s组匹配点对构成，利用相关阈值T_in的控制初始种群的形成，使得初始种群中包含内点数大于等于阈值T_in的个体；

2)将初始种群随机划分为个体数目都为s+2的子群，并在每个子群中选择内点数最大和次大的两个个体作为母体；

3)将每个子群中的两个母体随机交换q组匹配点对生成2个子体，子体与母体一起共形成4个中间个体，q为区间[1，s-1]上的随机整数；

4)保留每个子群4个中间个体中内点数最大的个体作为变异算子的候选个体；

5)对每个子群中的候选个体均按照正确数据点的可能分布执行s+1种变异处理形成变异个体，并对变异个体进行调整，经过调整后变异个体与候选个体一起组成新的种群；

6)重复上述的2)-5)，满足遗传代数的进化后，输出内点数最大的个体的内点作为一致最大内点集。

3.如权利要求2所述的可提供3D节目拍摄指导的极线校正方法，其特征在于，所述每个个体由随机选择的s组匹配点对构成，其中s取值范围是：区间[7，10]上的整数。

4.如权利要求2所述的可提供3D节目拍摄指导的极线校正方法，其特征在于，所述在初始匹配点对集中选择P个个体组成初始种群，其中P取值范围为[s+2，10(s+2)]，s取值范围是区间[7，10]上的整数。

5.如权利要求2所述的可提供3D节目拍摄指导的极线校正方法，其特征在于，所述利用相关阈值T_in的控制初始种群的形成，其中T_in取值范围为[2s，4s]，s取值范围是区间[7，10]上的整数。

6.如权利要求2所述的可提供3D节目拍摄指导的极线校正方法，其特征在于，所述的变异处理，是指：分别在每个候选个体划分的内外点中选择由m组内点和s-m组外点组成的变异个体，0≤m≤s，s取值范围是区间[7，10]上的整数，每个候选个体都生成s+1个变异个体。

7.如权利要求2所述的可提供3D节目拍摄指导的极线校正方法，其特征在于，所述的对变异个体进行调整，是指：对每个候选个体生成的变异个体，逐个与判别个体进行比较，当且仅当判别个体的内点数大于变异个体的内点数，则将变异个体置换为判别个体，所述的判别个体包含从候选个体的内点中随机选择的s组非奇异匹配点对。

8.如权利要求2所述的可提供3D节目拍摄指导的极线校正方法，其特征在于，所述利用LM非线性最小二乘法，最小化总sampson误差E，估计摄像机的旋转角度和像素焦距，具体如下：

设一致最大内点集中的所有匹配点对(x_INLj，x_INRj)，1≤j≤M，M为一致最大内点集中匹配点对的个数，构造总sampson误差E：

$E=\underset{j=1}{\overset{M}{\mathrm{\Σ}}}\frac{{\left({\left(x_{\mathrm{INLj}}\right)}^2{F}_{\mathrm{opt}}{x}_{\mathrm{INRj}}\right)}^2}{{\left(F_{\mathrm{opt}}{x}_{\mathrm{INRj}}\right)}_1^2+{\left(F_{\mathrm{opt}}{x}_{\mathrm{INRj}}\right)}_2^2+{\left(F_{\mathrm{opt}}{x}_{\mathrm{INLj}}\right)}_1^2+{\left(F_{\mathrm{opt}}{x}_{\mathrm{INLj}}\right)}_2^2}$ $s.t.{\left|\right|F_{\mathrm{opt}}\left|\right|}_F^2=1$

其中F_opt为优化的对象，‖·‖_F表示矩阵的Frobenius范数，F_opt与旋转角度以及像素焦距的关系如下：

$F_{\mathrm{opt}}=K_R^{-T}{R}_{\mathrm{LR}}^T{\left[t\right]}_x{K}_L^{-1}$

$K_i=\left[\begin{array}{ccc}{f}_i& 0& w_i/2\\ 0& f_i& h_i/2\\ 0& 0& 1\end{array}\right],$ f_i∈[(w_i+h_i)/3，3(w_i+h_i)]，i＝L，R

$R_{\mathrm{LR}}=\left[\begin{array}{ccc}1& 0& 0\\ 0& \cos \left(\mathrm{\θ}\right)& -\sin \left(\mathrm{\θ}\right)\\ 0& \sin \left(\mathrm{\θ}\right)& \cos \left(\mathrm{\θ}\right)\end{array}\right]\left[\begin{array}{ccc}\cos \left(\mathrm{\α}\right)& -\sin \left(\mathrm{\α}\right)& 0\\ \sin \left(\mathrm{\α}\right)& \cos \left(\mathrm{\α}\right)& 0\\ 0& 0& 1\end{array}\right]\left[\begin{array}{ccc}\cos \left(\mathrm{\β}\right)& 0& -\sin \left(\mathrm{\β}\right)\\ 0& 1& 0\\ \sin \left(\mathrm{\β}\right)& 0& \cos \left(\mathrm{\β}\right)\end{array}\right]$

其中w_L、w_R分别为左、右视图以像素为单位的宽度，h_L、h_R为左、右视图的以像素为单位的高度，f_L、f_R为左、右摄像机以像素为单位的焦距，R_LR为右摄像机相对于左摄像机的旋转矩阵，表征左摄像机绕Y轴旋转旋转β、绕Z轴旋转旋转α、绕X轴旋转旋转θ后与右摄像机平行，t为右摄像机中心相对于左摄像机的单位偏移方向，表征左摄像机绕Y轴旋转旋转

绕Z轴旋转旋转-γ后，右摄像机的中心位于左摄像机的X轴上；[t]_x为3维矢量t＝[t₁ t₂ t₃]^T确定的反对称矩阵：

${\left[t\right]}_x=\left[\begin{array}{ccc}0& -t_3& t_2\\ t_3& 0& -t_1\\ -t_2& t_1& 0\end{array}\right]$

LM优化时

的初始值取为[w_L+h_L，w_R+h_R，0，0，0，0，0]，并沿着总误差E减小的方向移动，当总误差E不变时，

的值即为摄像机参数的最优估计。

9.如权利要求8所述的可提供3D节目拍摄指导的极线校正方法，其特征在于，所述的摄像机参数

为现场3D拍摄指导调整摄像机姿态，其中像素焦距f_L、f_R为立体视频拍摄现场调整两摄像机的焦距提供参考信息，而β、α、θ、

γ在立体视频拍摄现场提供两摄像机姿态的调整信息。

10.如权利要求8所述的可提供3D节目拍摄指导的极线校正方法，其特征在于，所述摄像机参数

在后处理中直接求解极线校正矩阵，进而对立体图像进行校正，按如下方式构造左、右视图像的极线校正矩阵：

$H_i=K_{\mathrm{Ni}}{R}_i{K}_i^{-1}$

$K_i=\left[\begin{array}{ccc}{f}_i& 0& w_i/2\\ 0& f_i& h_i/2\\ 0& 0& 1\end{array}\right],$ $K_{\mathrm{Ni}}=\left[\begin{array}{ccc}(f_L+f_R)/2& 0& w_i/2\\ 0& (f_L+f_R)/2& h_i/2\\ 0& 0& 1\end{array}\right],i=L,R$

$R_R=R_L\left[\begin{array}{ccc}1& 0& 0\\ 0& \cos \left(\mathrm{\θ}\right)& -\sin \left(\mathrm{\θ}\right)\\ 0& \sin \left(\mathrm{\θ}\right)& \cos \left(\mathrm{\θ}\right)\end{array}\right]\left[\begin{array}{ccc}\cos \left(\mathrm{\α}\right)& -\sin \left(\mathrm{\α}\right)& 0\\ \sin \left(\mathrm{\α}\right)& \cos \left(\mathrm{\α}\right)& 0\\ 0& 0& 1\end{array}\right]\left[\begin{array}{ccc}\cos \left(\mathrm{\β}\right)& 0& -\sin \left(\mathrm{\β}\right)\\ 0& 1& 0\\ \sin \left(\mathrm{\β}\right)& 0& \cos \left(\mathrm{\β}\right)\end{array}\right]$

对左视图像进行极线校正的过程如下：

设极线校正前后的图像分别为校正后图像

中的像素点与校正前图像

的对应像素点满足如下关系：

$x_L^{\mathrm{after}}=H_i{x}_L^{\mathrm{befor}}$

其中像素点 $x_L^{\mathrm{after}}={(x_L^{\mathrm{after}},y_L^{\mathrm{after}},1)}^T,$ 而

是以校正后的图像

左上角像素点为原点建立的坐标系中的像素坐标；像素点

而是以校正前的图像

左上角像素点为原点建立的坐标系中的像素坐标；

对右视图像进行极线校正的过程与上述对左视图像进行极线校正的过程相同。

Images