CN102223556A - 一种多视点立体图像零视差校正方法 - Google Patents

Abstract

本发明公开了一种多视点立体图像零视差校正方法，涉及图像处理技术及自由立体成像，使用平行摄像机阵列法获取多视点立体图像，选取用于区域分割及视差估计的两个视点视图；对选取的两个视点视图，分别进行图像区域分割，得到全部区域的标号，依据区域分割的结果，确定视图的中心区域对象及中心区域对象几何中心点的坐标；采用基于区域分割的相关窗法获得视差图；依据立体视觉视差原理，计算多视点立体图像校正平移距离；以视点1视图为基准，实现多视点立体图像零视差校正；将经过校正的多视点立体图像，运用立体合成算法合成多视点自由立体显示器需要的合成视图，并在多视点自由立体显示器上显示。

Description

一种多视点立体图像零视差校正方法

技术领域

本发明涉及图像处理技术及自由立体成像领域，特别涉及一种针对平行摄像机阵列法所获得的多视点视图进行基于区域分割的多视点立体图像零视差校正的方法。

背景技术

自由立体显示技术不需要佩戴辅助视具，裸眼就可以直接获得深度信息，使用户能体会到逼真自然、身临其境的冲击感和震撼力。多视点自由立体显示兼顾双目视差和运动视差，利用多个视点的组合实现了多人同时观看，且允许观看者在一定范围内移动以观看同一场景不同角度的立体效果。

多视点自由立体显示需要获取符合显示要求的多视点立体图像，采集时摄像机的摆放方式分为会聚摄像机阵列法和平行摄像机阵列法。会聚法获取的视图同时具有正负水平视差，显示时可获得既有凹进屏幕内又有凸出屏幕外的逼真的三维效果，但是会聚法得到的视图存在垂直视差及楔形失真，这会增加视疲劳；平行法获取的视图不存在垂直视差，但只有负水平视差，显示时只能观察到凸出屏幕外的效果，无法实现现实场景的逼真再现。因此有必要在平行摄像机阵列法的基础上，研究多视点立体图像零视差校正方法，获得同时存在正、负水平视差，又没有垂直视差及楔形失真的立体图像。

在立体视觉中，图像校正相当重要，已有的图像校正算法通常对两幅图像各进行一次平面射影变换，使得两幅图像对应的极线在同一条扫描线上，从而满足扫描线特性。立体图像对的校正方法可以分为有相机标定和无相机标定的校正。摄像机的标定是一个十分关键而又复杂的问题，它需要专门用于校正的物体并且在特定的坐标系下才能完成。和有相机标定的情况相比，无相机标定的立体视觉具有更大的适应性，已成为立体视觉的重要研究领域。无相机标定的立体图像对校正通常需要已知一系列对应点的坐标。因此图像对校正需要分别在图像对中通过兴趣点提取算子提取出兴趣点集，然后用特征匹配方法建立两个兴趣点集中兴趣点的一一对应关系，获得对应点集。在无相机标定的立体图像对校正算法中，Loop提出了基于基本矩阵的图像校正方法，将校正过程分解为射影变换和仿射变换两个部分。该方法依赖于基本矩阵的精确求解，而由对应点计算基本矩阵还没有较为稳定的算法。Mallon给出了改进的基于基本矩阵的方法，该方法根据基本矩阵求出极点，然后将极点旋转到X轴，接着将极点投影到无穷远处，最后使得两幅图像对应极线在同一条扫描线上。Francesco提出了一种无需基本矩阵的极线校正方法，该方法只依赖于图像匹配点的坐标，利用线性最小二乘估计和非线性最优化方法来计算投影变换矩阵。文福林等针对常用的非平行摆放的双相机，根据外极点的变换确定校正变换初始值，再由对应的匹配点优化初值，得到校正变换矩阵的最优解。实现了从非平行式采集图像到理想情况的转换，自由立体显示的舒适度得到了提高。

目前国内、外提出的各种立体图像校正方法，大都是针对双目立体视觉对立体图像对进行校正，以消除其垂直视差，针对平行摄像机阵列法获得的多视点立体图像进行水平视差的校正研究较少。邓欢等提出对平行摄像机阵列法获得的多视点视图进行平移操作，改变视图的视差范围，使得视图中既存在负水平视差区域，又存在正水平视差区域，且不存在楔形失真和垂直视差。但是，该方法需手动对多视点视图进行平移或在采集时通过摄像机系统对每个摄像机获取的图像截取不同的部分，仅适用于调整固定的深度，效率低，不灵活，且对操作者的经验要求高，无法实现对于多视点自由立体视图的自动处理及零视差自适应校正。

图像区域分割研究将图像按照一定的规则分成多个分别具有像素相似性的区域对象。彩色图像分割主要分为以下几种方法：1)基于闭值的分割方法：在闭值分割中，最常用的分割方法是直方图闭值分割法。直方图闭值分割法假设每个峰值对应的是一个区域，而峰谷则代表了不同区域的边界值。彩色图像有R、G和B，3个分量，可以采用投影的方式把三维的直方图投影到一维平面上。直方图闭值分割法的缺点在于：第一，仅靠颜色分割的图像可能不完整；第二，如果被分割的图像没有明显的峰值，则很难确定闭值；第三，忽略了颜色的空间信息；第四：投影时可能产生颜色发散的负面影响。2)基于边缘检测的分割方法：边缘检测广泛引用于灰度图像的分割，它通过灰度的不连续性来确定图像中的边缘点从而进行分割。实际上，在图像的边缘检测中，人们用差分方程来表示图像的一阶导，在实现编程中差分方程用模板来构造，称为模板算子。常用的模板算子有Roberts算子、Prewitt算子和Sobel算子等。这些算子的优点是定位准和运算快，缺点是对噪声很敏感，可以先对图像进行平滑处理以后再进行边缘检测。分水岭算法也属于基于边缘的分割方法。3)基于区域的分割方法：与一般的分割方法不同，基于区域的分割方法是把具有同一种特性的像素看作一个整体来处理，这些像素在空间上往往是属于相邻的关系但也可以是不相邻的。常用的基于区域的分割方法有2种：区域生长和分裂合并。区域生长是按照一定的生长准则合并种子像素周边的像素直到不满足生长条件。分裂合并几乎是区域生长的逆过程。基于区域的分割方法的优点在于噪声对它基本上没有影响，在这点上它比边缘检测要强，但由于它的生长准则并不一定适用所有区域，所以它可能存在过分割的情况。4)基于聚类的分割方法：图像分割的结果是把图像至少分割成目标和背景，它们属于两个不同的类别，这个过程就是一个分类的过程。因此聚类分析应用到图像分割当中也是可以理解的。聚类是最早应用于彩色图像分割的方法之一，因为在一幅图像中不同物体颜色的差别往往很大。常用的聚类方法有K均值聚类、模糊C均值聚类、分层聚类和Mean Shift算法。Mean Shift算法本质上是一个自适应的梯度上升搜索峰值的方法，可用于图像区域分割，基于Mean Shift的区域分割方法与人眼对图像的分析特性极其相近，对图像的平滑区域和图像纹理区域不敏感，具备良好的自适应性和鲁棒性。

发明内容

为了依据人眼视觉特性和多视点自由立体显示原理，自适应地调整平行摄像机阵列法获得的多视点视图的零视差区域，使得多视点视图中既存在正水平视差区域，又存在负水平视差区域，在多视点自由立体显示器上显示时能得到既有凸出屏外，又有凹进屏内的逼真三维立体显示效果，本发明提供了一种多视点立体图像零视差校正方法，详见下文描述：

一种多视点立体图像零视差校正方法，其特征在于，所述方法包括以下步骤：

(1)使用平行摄像机阵列法获取多视点立体图像，选取用于区域分割及视差估计的两个视点视图；

(2)对选取的所述两个视点视图，分别进行图像区域分割，得到全部区域的标号，依据区域分割的结果，确定视图的中心区域对象及中心区域对象几何中心点的坐标；

(3)采用基于区域分割的相关窗法获得视差图；

(4)依据立体视觉视差原理，计算多视点立体图像校正平移距离；

(5)以视点1视图为基准，实现多视点立体图像零视差校正；

(6)将经过校正的多视点立体图像，运用立体合成算法合成多视点自由立体显示器需要的合成视图，并在多视点自由立体显示器上显示。

步骤(4)中的所述依据立体视觉视差原理，计算多视点立体图像校正平移距离具体为：

对于多视点立体图像，以视点1为基准建立坐标系，设视点1至视点n的水平坐标分别为V₁，V₂，L V_n，进行视差校正后的坐标依次为V′₁，V′₂，L V′_n，并设未校正前各相邻视点的水平视差依次为d₁，d₂，L d_n-1，进行视差校正后的视差依次为d′_1，d′₂，Ld′_n-1，进行校正时，依次将视点2至视点n平移Δx₁，Δx₂，L Δx_n-1以减小视差，则有：

V′_i+1＝V_i+1-Δx_i，i＝1，2，L n-1

$d_i^{\′}=V_{i+1}^{\′}-V_i^{\′}=\left\{\begin{array}{cc}(V_2-\mathrm{\Δ}{x}_1)-V_1=d_1-\mathrm{\Δ}{x}_1,& i=1\\ (V_{i+1}-\mathrm{\Δ}{x}_i)-(V_i-\mathrm{\Δ}{x}_{i-1})=d_i-\mathrm{\Δ}{x}_i+\mathrm{\Δ}{x}_{i-1},& i=\mathrm{2,3},\mathrm{L\; n}-1\end{array}\right.$

考虑理想的情况，如果多视点立体图像满足d₁＝d₂ L＝d_n-1＝d，进行校正时，依次将视点2至视点n平移Δx，2×Δx，L (n-1)×Δx以减小视差，则有：

V′_i+1＝V_i+1-Δx_i＝V_i+1-i×Δx，i＝1，2，L n-1

d′_i＝V′_i+1-V′_i＝(V_i+1-i×Δx)-(V_i-(i-1)×Δx)＝d-Δx，i＝1，2，L n-1。

步骤(5)中的所述以视点1视图为基准，实现多视点立体图像零视差校正具体为：

对于视点2视图，视点3视图...视点n视图，以中心区域对象视差值d为参考平移量，依次平移d，2×d，L(n-1)×d。

步骤(3)中的所述采用基于区域分割的相关窗法获得视差图具体为：

计算初始视差图时，立体匹配的相似性测度采用SAD和图像梯度信息结合的相似性测度定义如下：

$C(p,{\stackrel{\‾}{p}}_d)=w\×C_{\mathrm{SAD}}(p,{\stackrel{\‾}{p}}_d)+(1-w)\×C_{\mathrm{GRAD}}(p,{\stackrel{\‾}{p}}_d)$

$C_{\mathrm{SAD}}(p,{\stackrel{\‾}{p}}_d)\underset{c\∈\{r,g,b\}}{\mathrm{\Σ}}|I_c\left(p\right)-I_c\left({\stackrel{\‾}{p}}_d\right)|$

$C_{\mathrm{GRAD}}(p,{\stackrel{\‾}{p}}_d)=\underset{c\∈\{r,g,b\}}{\mathrm{\Σ}}{|{\▿}_x{I}_c\left(p\right)-{\▿}_x{I}_c\left({\stackrel{\‾}{p}}_d\right)|}^2+\underset{c\∈\{r,g,b\}}{\mathrm{\Σ}}{|{\▿}_y{I}_c\left(p\right)-{\▿}_y{I}_c\left({\stackrel{\‾}{p}}_d\right)|}^2$

其中d代表水平视差，

为两个视点视图中的待匹配点，分别代表图像横向和纵向梯度，w是介于0和1之间的权值。

本发明提供的技术方案的有益效果是：

本发明提供了一种多视点立体图像零视差校正方法，本发明摆脱了人工调整零视差区域的繁琐步骤，实现了多视点自由立体图像零视差的自动校正；本发明克服了通过摄像机系统截取图像只能调整固定深度的不足，能自适应的调整多视点自由立体图像的零视差点及视差范围，能使得立体图像既存在负水平视差，又存在正水平视差，在多视点自由立体显示器上显示时，既能观察到凸出屏外的区域，又能观察到凹进屏内的区域，实现了现实场景的逼真再现。

附图说明

图1给出了未使用本发明方法直接合成的视图；

图2给出了使用本发明方法后合成的视图；

图3-1、图3-2和图3-3给出了会聚摄像机阵列法获得的视图；

图4-1、图4-2和图4-3给出了平行摄像机阵列法获得的视图；

图5-1、图5-2和图5-3给出了平行摄像机阵列法获得的视图经过本发明处理后得到的视图；

图6给出了技术方案的流程图；

图7给出了8视点立体图像校正流程图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。

为了依据人眼视觉特性和多视点自由立体显示原理，自适应地调整平行摄像机阵列法获得的多视点视图的零视差区域，使得多视点视图中既存在正水平视差区域，又存在负水平视差区域，在多视点自由立体显示器上显示时能得到既有凸出屏外，又有凹进屏内的逼真三维立体显示效果，本发明实施例提供了一种多视点立体图像零视差校正方法，详见下文描述：

由平行摄像机阵列法获得的立体图像只存在负水平视差，直接在自由立体显示器上显示时，只能观察到凸出屏外的立体效果，无法实现现实场景的逼真再现。为克服现有技术的不足，本发明实施例依据立体视觉视差原理，实现基于区域分割的多视点立体图像零视差校正，具体的技术方案分为下列步骤，参见图6：

1：使用平行摄像机阵列法获取多视点立体图像，选取用于区域分割及视差估计的两个视点视图；

对具有n个视点的多视点立体图像，共n幅视图，称为视点1视图，视点2视图...视点n视图。选取多视点立体图像中任意相邻两个视点视图，用于后续区域分割及视差估计，位于左面的视图记为左视图，位于右面的视图记为右视图。

其中，具体实现时，本发明实施例优选中间的两个视点视图，例如：8个视点的多视点立体图像，优选视点4视图和视点5视图，视点4视图记为左视图，视点5视图记为右视图。

2：对选取的两个视点视图，分别进行图像区域分割，得到全部区域的标号，依据区域分割的结果，确定视图的中心区域对象及中心区域对象几何中心点的坐标；

其中，本发明实施例中的图像区域分割以Mean Shift区域分割为例进行说明，具体实现时，本发明实施例对此不做限制。在基于Mean Shift的区域分割中对彩色和灰度图像采取同样的方法。

图像由一个二维栅格和α维向量来表示，α＝1表示该图像是灰度图像，α＝3表示该图像是彩色图像。图像本身由空间信息和色彩信息两部分表示，空间-色彩Mean Shift滤波器的特征向量定义为X＝[x^s，x^r]^T，因为位置空间与色彩空间相互独立，定义一个多元核函数，分解为两个核函数的乘积：

$K_{h_s,h_r}\left(x\right)=\frac{C}{h_s^2{h}_r^{\mathrm{\α}}}k\left({\left|\right|\frac{x^s}{h_s}\left|\right|}^2\right)k\left({\left|\right|\frac{x^r}{h_r}\left|\right|}^2\right)$

其中x^s是空间坐标，x^r是颜色特征，k(x)是两个空间中常规核函数，h_s是空间带宽参数，h_r是颜色带宽参数，当h_s增大时，只有具备足够空间域支持的特征被保留；从另一方面说，当h_r增大时，只有具有高颜色对比度的特征被保留，C是归一化常数。

令x_i和z_i，i＝1，2，3...n分别表示d维原始图像点和收敛点，其中，n为图像的像素点个数，L_i为区域分割中第i个像素点的分割区域标号，分割的流程如下：

1)首先进行Mean Shift平滑：

(a)初始化j＝1，y_i，1＝x_i；

(b)运用Mean Shift算法计算y_i，j+1，直到收敛，记收敛后的值为y_i，c；

(c)赋值 $z_i=(x_i^s,y_{i,c}^r);$

2)将所有z_i空间域小于h_s且颜色域小于h_r的点聚类到{C_β}_β＝...m；

3)L_i＝{β|z_i∈C_β}，将每个点归属到其所在区域；

4)剔除空间点少于M个的区域，完成图像分割。

区域分割后，可以得到视图每个分割区域的几何中心点的坐标值，再根据这些中心点与视图几何中心点的欧氏距离，可获得距视图几何中心点最近的对象(这里称为中心区域对象)及该中心区域对象几何中心点的坐标。

3：采用基于区域分割的相关窗法获得视差图；

计算初始视差图时，立体匹配的相似性测度采用SAD(Sum of Absolute Difference)和图像梯度信息结合的相似性测度

定义如下：

$C(p,{\stackrel{\‾}{p}}_d)=w\×C_{\mathrm{SAD}}(p,{\stackrel{\‾}{p}}_d)+(1-w)\×C_{\mathrm{GRAD}}(p,{\stackrel{\‾}{p}}_d)$

$C_{\mathrm{SAD}}(p,{\stackrel{\‾}{p}}_d)\underset{c\∈\{r,g,b\}}{\mathrm{\Σ}}|I_c\left(p\right)-I_c\left({\stackrel{\‾}{p}}_d\right)|$

$C_{\mathrm{GRAD}}(p,{\stackrel{\‾}{p}}_d)=\underset{c\∈\{r,g,b\}}{\mathrm{\Σ}}{|{\▿}_x{I}_c\left(p\right)-{\▿}_x{I}_c\left({\stackrel{\‾}{p}}_d\right)|}^2+\underset{c\∈\{r,g,b\}}{\mathrm{\Σ}}{|{\▿}_y{I}_c\left(p\right)-{\▿}_y{I}_c\left({\stackrel{\‾}{p}}_d\right)|}^2$

其中d代表水平视差，

为两个视点视图中的待匹配点，分别代表图像横向和纵向梯度，w是介于0和1之间的权值。

获得初始视差图后，视差图中会存在某些误匹配像素点，运用右视图视差图去除左视图视差图的误匹配点，实现视差图的校正与平滑。对视差图中的误匹配点，利用区域分割结果进行平滑处理，平滑处理假定每个分割区域中的视差具有一致性，将每个分割区域中的所有正确视差值的累积平均值作为此区域所有像素点的平均视差值，得到光滑的左视图视差图。

在立体匹配的过程中，相关窗口内的像素点对中心像素点的支持程度是有差别的，因此将相关窗口内像素的颜色相似性和区域分割结果结合起来，设计权值的计算公式，结合该权值在相关窗口内设计能量误差函数，并以此累积能量误差。设N_p和

分别为左右视图中的匹配窗口，右视图中

分别为左视图中p，q对应的的匹配点。首先考虑颜色相似性对权值的影响，在RGB空间中计算两个像素的颜色差异Δc_pq为：

${\mathrm{\Δc}}_{\mathrm{pq}}=|R_p-R_q|+|G_p-G_q|+|B_p-B_q|$

这样，比较两个像素点之间的颜色相似度，设计颜色相似度差异的权值为：

$f_s\left({\mathrm{\Δc}}_{\mathrm{pq}}\right)=\exp (-\frac{{\mathrm{\Δc}}_{\mathrm{pq}}}{{\mathrm{\γ}}_c})$

其中γ_c为评价颜色相似性的参数，由于计算颜色差时每个颜色通道使用的是归一化值，此处γ_c设为3。

再考虑区域分割结果对权值的影响，采用Mean Shift分割算法分别对左右视图进行分割，分割后的每个区域用标号来识别，将立体图像对的区域分割结果引入匹配权值中，并假设同一个分割区域内视差是一致的。结合前述颜色相似度差异的权值将参考视图和匹配视图中相关窗口内像素的权值计算公式设计如下：

$w^{\′}(p,q)=\left\{\begin{array}{c}1.0,q\∈S_p\\ \exp (-\frac{{\mathrm{\Δc}}_{\mathrm{pq}}}{{\mathrm{\γ}}_c}),q\∉S_p\end{array}\right.$

其中S_p是点p所在的图像区域。由式可知，图像的分割结果将对新权值产生很大的影响。将上式与颜色差异结合，得到基于图像分割的加权累积误差能量函数：

$E(p,{\stackrel{\‾}{p}}_d)=\frac{{\mathrm{\Σ}}_{q\∈N_p,{\stackrel{\‾}{q}}_d\∈N_{{\stackrel{\‾}{p}}_d}}{w}^{\′}(p,q)w^{\′}({\stackrel{\‾}{p}}_d,{\stackrel{\‾}{q}}_d)C(q,{\stackrel{\‾}{q}}_d)}{{\mathrm{\Σ}}_{q\∈N_p,{\stackrel{\‾}{q}}_d\∈N_{{\stackrel{\‾}{p}}_d}}{w}^{\′}(p,q)w^{\′}({\stackrel{\‾}{p}}_d,{\stackrel{\‾}{q}}_d)}$

对于视图中的某个像素点，按上述步骤平移后在相应窗口内分别计算误差能量函数，对于不同的d使得上式值最小的

点即是p的匹配点，此时窗口移动距离d即是该像素点的视差。

获得初始视差图后，视差图中会存在某些误匹配像素点，运用右视图视差图去除左视图视差图的误匹配点，实现视差图的校正与平滑。具体方案如下：运用上述步骤获取右视图的视差图d^RL和误差能量矩阵e^RL，根据d^RL和e^RL与左视图中像素点的一一对应关系，通过扫描线检测重构左视图视差图d′^LR和误差能量矩阵e′^LR。设左视图中I_L(x，y)点的视差为d^LR(x，y)，则它在右视图中的匹配点为I_R(x-d^LR(x，y)，y)，重建的视差图d′^LR和误差能量矩阵e′^LR如下：

$\left\{\begin{array}{c}{d}^{\′\mathrm{LR}}(x-d^{\mathrm{LR}}(x,y),y)=-d^{\mathrm{RL}}(x,y)\\ e^{\′\mathrm{LR}}(x-d^{\mathrm{LR}}(x,y)y)=e^{\mathrm{RL}}(x,y)\end{array}\right.$

为了去除误匹配点，定义规则：若e^LR(x，y)≤e′^LR(x，y)，则接受d^LR(x，y)为正确视差值；否则，拒绝接受d^LR(x，y)，标记该点为误匹配点，完成校正。

对校正后的视差图d^LR中的误匹配点，利用区域分割结果进行平滑处理，平滑处理假定第β个分割区域中的视差具有一致性，将该区域中所有正确视差值的累积平均值作为此区域所有像素点的平均视差值，得到光滑的左视图视差图d^LR。

4：依据立体视觉视差原理，计算多视点立体图像校正平移距离；

对于多视点立体图像，以视点1为基准建立坐标系，设视点1至视点n的水平坐标分别为V₁，V₂，L V_n，进行视差校正后的坐标依次为V′₁，V′₂，L V′_n，并设未校正前各相邻视点的水平视差依次为d₁，d₂，L d_n-1，进行视差校正后的视差依次为d′₁，d′₂，L d′_n-1，进行校正时，依次将视点2至视点n平移Δx₁，Δx₂，L Δx_n-1以减小视差，则有：

V′_i+1＝V_i+1-Δx_i，i＝1，2，L n-1

$d_i^{\′}=V_{i+1}^{\′}-V_i^{\′}=\left\{\begin{array}{cc}(V_2-\mathrm{\Δ}{x}_1)-V_1=d_1-\mathrm{\Δ}{x}_1,& i=1\\ (V_{i+1}-\mathrm{\Δ}{x}_i)-(V_i-\mathrm{\Δ}{x}_{i-1})=d_i-\mathrm{\Δ}{x}_i+\mathrm{\Δ}{x}_{i-1},& i=\mathrm{2,3},\mathrm{L\; n}-1\end{array}\right.$

由自由立体显示原理，当d₁＝d₂L＝d_n-1＝d时，显示的立体效果最为理想舒适。考虑理想的情况，如果多视点立体图像满足d₁＝d₂L＝d_n-1＝d，进行校正时，依次将视点2至视点n平移Δx，2×Δx，L(n-1)×Δx以减小视差，则有：

V′_i+1＝V_i+1-Δx_i＝V_i+1-i×Δx，i＝1，2，L n-1

d′_i＝V′_i+1-V′_i＝(V_i+1-i×Δx)-(V_i-(i-1)×Δx)＝d-Δx，i＝1，2，L n-1

只要平移足够的距离，则校正后的视图中将同时存在零视差、正视差及负视差区域。通常，人观察物体时，双眼的会聚点位于场景的中心区域对象。因此，这里将视图的中心区域调整为零视差。

5：以视点1视图为基准，实现多视点立体图像零视差校正；

当中心区域对象水平视差d₁＝d₂L＝d_n-1＝d时，对于视点2视图，视点3视图...视点n视图，以步骤3计算的中心区域对象视差值d为参考平移量，依次平移d，2×d，L(n-1)×d。

6：将经过校正的多视点立体图像，运用立体合成算法合成多视点自由立体显示器需要的合成视图，并在多视点自由立体显示器上显示。

本发明实施例通过8视点立体图像校正说明本专利提出的多视点立体图像零视差校正方法的可行性，选取的两个视点视图分别为中间的视点4和视点5视图，其中，视点4视图为左视图，视点5视图为右视图，参见图7，图中视点1视图，视点2视图…视点8视图分别简称为视点1，视点2…视点8，详见下文描述：

为使本发明实施例的效果具有可比性，采用middlebury立体图像库中babyl数据库的view1及view5两个视图，并结合标准视差图运用虚拟视点生成算法合成6幅虚拟视图，将view1、6幅虚拟视图以及view5用于合成多视点自由立体显示器需要的合成视图。未经过本发明实施例处理合成视图如图1所示，经过本发明实施例处理后得到的合成视图如图2所示。

图1为未使用本发明实施例的方法，直接合成的视图，以肉眼观察，合成视图各个区域都很模糊，说明没有零视差区域，且视差较大，直接在八视点自由立体显示器上显示时，只能获得凸出屏外的立体效果。

图2为使用本发明实施例的方法，经零视差校正后合成的视图，以肉眼观察，合成视图中心区域的婴儿的腹部清晰，该对象视差为零；视图上侧婴儿的手部及下侧婴儿的脚部模糊，存在负水平视差；将合成视图在八视点自由立体显示器上显示，婴儿腹部显示在屏上，视差为零，实现了零视差点的自适应调整，同时，视图中既具有凸出屏外的负视差对象(婴儿手部及脚部)，也有凹入屏内的正视差对象(地图纹理的背景)，能够逼真地再现现实场景。

为更详细直观地说明本发明实施例的益处，设计仿真方案：使用3DSMAX软件建立三维场景，一个长宽高分别为30cm，120cm，106cm的大长方体，在大长方体前方80cm有一个长宽高都为10cm的小长方体，在大长方体前方110cm有两个间距为15cm的长宽高都为10cm的小长方体，在这两个小长方体的正前方50cm平行放置三个焦距为43mm，水平视角为45度的水平间距为5cm的摄像机，实验中分别采用会聚摄像机阵列法和平行摄像机阵列法从正面拍摄该三维场景。图3-1、图3-2和图3-3是会聚摄像机阵列法获得的视图，两摄像机会聚于中间的小长方体，在三幅视图中大长方体具有正视差，位置依次向右；中心小长方体视差为零，位置不变；两个对称的小长方体具有负视差，位置依次向左。但是，通过大长方体的上下边缘可看出左视图和右视图存在楔形失真及垂直视差。图4-1、图4-2和图4-3是平行摄像机阵列法获得的视图，大、小长方体在三幅图中依次向左移动，全场景都是负水平视差，但是长方体的形状没有发生改变，不存在楔形失真及垂直视差。图5-1、图5-2和图5-3是将平行摄像机阵列法获得的视图，使用本发明实施例的方法，经零视差校正，将中间的小正方体利用区域分割调整为零视差区域，大长方体具有正水平视差，位置依次向右移动，两个对称的小长方体具有负水平视差，位置依次向左移动，而且图中不存在楔形失真。

本领域技术人员可以理解附图只是一个优选实施例的示意图，上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (4)

1.一种多视点立体图像零视差校正方法，其特征在于，所述方法包括以下步骤：

(1)使用平行摄像机阵列法获取多视点立体图像，选取用于区域分割及视差估计的两个视点视图；

(2)对选取的所述两个视点视图，分别进行图像区域分割，得到全部区域的标号，依据区域分割的结果，确定视图的中心区域对象及中心区域对象几何中心点的坐标；

(3)采用基于区域分割的相关窗法获得视差图；

(4)依据立体视觉视差原理，计算多视点立体图像校正平移距离；

(5)以视点1视图为基准，实现多视点立体图像零视差校正；

(6)将经过校正的多视点立体图像，运用立体合成算法合成多视点自由立体显示器需要的合成视图，并在多视点自由立体显示器上显示。

2.根据权利要求1所述的一种多视点立体图像零视差校正方法，其特征在于，步骤(4)中的所述依据立体视觉视差原理，计算多视点立体图像校正平移距离具体为：

对于多视点立体图像，以视点1为基准建立坐标系，设视点1至视点n的水平坐标分别为V₁，V₂，L V_n，进行视差校正后的坐标依次为V′₁，V′₂，L V′_n，并设未校正前各相邻视点的水平视差依次为d₁，d₂，L d_n-1，进行视差校正后的视差依次为d′₁，d′₂，L d′_n-1，进行校正时，依次将视点2至视点n平移Δx₁，Δx₂，L Δx_n-1以减小视差，则有：

V′_i+1＝V_i+1-Δx_i，i＝1，2，L n-1

$d_i^{\′}=V_{i+1}^{\′}-V_i^{\′}=\left\{\begin{array}{cc}(V_2-\mathrm{\Δ}{x}_1)-V_1=d_1-\mathrm{\Δ}{x}_1,& i=1\\ (V_{i+1}-\mathrm{\Δ}{x}_i)-(V_i-\mathrm{\Δ}{x}_{i-1})=d_i-\mathrm{\Δ}{x}_i+\mathrm{\Δ}{x}_{i-1},& i=\mathrm{2,3},\mathrm{L\; n}-1\end{array}\right.$

如果多视点立体图像满足d₁＝d₂L＝d_n-1＝d，进行校正时，依次将视点2至视点n平移Δx，2×Δx，L(n-1)×Δx以减小视差，则有：

V′_i+1＝V_i+1-Δx_i＝Δ_i+1-i×Δx，i＝1，2，L n-1

d′_i＝V′_i+1-V′_i＝(V_i+1-i×Δx)-(V_i-(i-1)×Δx)＝d-Δx，i＝1，2，L n-1。

3.根据权利要求2所述的一种多视点立体图像零视差校正方法，其特征在于，步骤(5)中的所述以视点1视图为基准，实现多视点立体图像零视差校正具体为：

对于视点2视图，视点3视图...视点n视图，以中心区域对象视差值d为参考平移量，依次平移d，2×d，L(n-1)×d。

4.根据权利要求1所述的一种多视点立体图像零视差校正方法，其特征在于，步骤(3)中的所述采用基于区域分割的相关窗法获得视差图具体为：

计算初始视差图时，立体匹配的相似性测度采用SAD和图像梯度信息结合的相似性测度

定义如下：

$C(p,{\stackrel{\‾}{p}}_d)=w\×C_{\mathrm{SAD}}(p,{\stackrel{\‾}{p}}_d)+(1-w)\×C_{\mathrm{GRAD}}(p,{\stackrel{\‾}{p}}_d)$

$C_{\mathrm{SAD}}(p,{\stackrel{\‾}{p}}_d)\underset{c\∈\{r,g,b\}}{\mathrm{\Σ}}|I_c\left(p\right)-I_c\left({\stackrel{\‾}{p}}_d\right)|$

$C_{\mathrm{GRAD}}(p,{\stackrel{\‾}{p}}_d)=\underset{c\∈\{r,g,b\}}{\mathrm{\Σ}}{|{\▿}_x{I}_c\left(p\right)-{\▿}_x{I}_c\left({\stackrel{\‾}{p}}_d\right)|}^2+\underset{c\∈\{r,g,b\}}{\mathrm{\Σ}}{|{\▿}_y{I}_c\left(p\right)-{\▿}_y{I}_c\left({\stackrel{\‾}{p}}_d\right)|}^2$

其中d代表水平视差，

为两个视点视图中的待匹配点，

分别代表图像横向和纵向梯度，w是介于0和1之间的权值。

Images