CN103945207A - 一种基于视点合成的立体图像垂直视差消除方法 - Google Patents

Abstract

本发明公开了一种基于视点合成的消除立体图像垂直视差的方法。本发明按顺序可以分为四个步骤：（1）对原始立体图像进行传统方式的外极线校正，得到初始校正后的立体图像；（2）对初始校正后的立体图像进行立体匹配，得到对应的水平视差图；（3）根据投影关系，计算得到对应于原始立体图像的水平视差图和垂直视差图；（4）基于原始立体图像的水平视差图和垂直视差图，进行视点合成，得到校正后的立体图像。本发明的主要特点是引入视点合成技术，在消除立体图像的垂直视差的同时，减小校正过程带来的投影失真。

Description

一种基于视点合成的立体图像垂直视差消除方法

技术领域

本发明涉及一种基于视点合成的立体图像垂直视差消除方法。

背景技术

3D电影近年来得到了快速发展。一般而言，3D电影可通过计算机动画合成、2D转3D技术以及立体相机拍摄三种方式获得，其中通过立体相机拍摄是未来3D电影发展的主流。立体相机通常由左右两个相机构成，它们被设计成光轴平行配置的形式。然而，由于机械对齐的精度问题，拍摄得到的立体图像或视频无法做到完全对齐。当立体摄像机镜头需要拉伸时，左右两个相机之间的动作不同步使得对齐问题变得更加复杂。这些都造成了最终得到的立体图像或视频左右视图之间或多或少存在垂直视差。Mayhew曾对7部商业3D影片中的70个立体视频帧进行过评估，发现只有6个(占8.5％)视频帧是不需要进行校正的。垂直视差的存在是造成观看者头晕、眼胀等视觉疲劳现象的主要原因之一，因而探寻通过对3D电影进行后期校正来消除垂直视差的理论和方法具有重要意义。

消除垂直视差的过程在计算机视觉中被称为“外极线校正”，通常是指对两幅图像各进行一次投影变换，使得变换后的两幅图像所对应的对极线位于图像的同一条扫描线上。立体图像的外极线校正方法可分为相机已标定情况下的校正和未标定情况下的校正两种。对于相机已标定情况而言，左右两个相机的内外参数已知，可以通过构造变换矩阵的方法来实现外极线校正。但是运用这种方法的前提是在3D影片拍摄前必须对立体相机进行标定，否则该方法就失效了。对于现实中大多数3D影片而言，相机参数是无法获取的，在这种情况下，只能运用未标定情况的方法。

对于未标定情况下的外极线校正，目前已存在多种方法，这些方法大多是针对计算机视觉应用而提出的，即使校正结果存在变形，也不会对三维重构产生较大的影像。然而，对于3D电影而言，我们必须考虑校正后的影片呈现给观众的视觉效果，也就必须使校正后的图像帧不能产生太大的畸变。

发明内容

本发明的目的是针对现有技术的不足，提供一种基于视点合成的立体图像垂直视差消除方法。

本发明的目的是通过以下技术方案实现的：一种基于视点合成的立体图像垂直视差消除方法，包括以下步骤：

(1)采集原始立体图像的左视图I_L和右视图I_R；

(2)输入原始立体图像的左视图I_L和右视图I_R，对其进行传统方式的外极线校正，得到经过初始校正后的立体图像左视图I_TL和右视图I_TR，并记录下分别施加在左视图和右视图上变换矩阵T_L和T_R；

(3)对经过初始校正后的立体图像左视图I_TL和右视图I_TR进行立体匹配，得到对应的水平视差图D_TL和D_TR；

(4)根据投影关系，计算得到对应于左视图I_L的水平视差图D_HL和垂直视差图D_VL，以及对应于右视图I_R的水平视差图D_HR以及垂直视差图D_VR，通过以下步骤实现：

(4.1)对左视图I_L中的任意一点p_L，经过变换T_L得到经过初始校正后的左视图I_TL中的对应点p_TL＝T_L·p_L。点p_TL的坐标值一般为非整数，通过做双线性插值，在视差图D_TL中得到对应于p_TL位置的视差值

(4.2)记I_TL中的点p_TL的齐次坐标为p_TL＝[x_TL,y_TL,1]^T，则它在相对应的右视图I_TR中的对应点p_TR为：

(4.3)将点p_TR经过对应于T_R的逆变换投影回右视图I_R得到点从而建立起了左视图I_L中的点p_L和右视图I_R中的点p_R之间的对应关系，即p_L和p_R是一对匹配点。

(4.4)记p_L和p_R的坐标值分别为[x_L,y_L]^T和[x_R,y_R]^T，可以根据下式计算得到对应于p_L的水平视差值d_HL和垂直视差值d_VL：

d_HL＝x_L-x_R，d_VL＝y_L-y_R

(4.5)对左视图I_L中的每一点施加上述过程，可以得到对应于左视图I_L的水平视差图D_HL和垂直视差图D_VL。

(4.6)同理，对右视图I_R施加上述过程，可以计算得到对应于右视图I_R的水平视差图D_HR以及垂直视差图D_VR。

(5)基于原立体图像的左右视图I_L和I_R，以及相应的水平和垂直视差图D_HL、D_VL、D_HR、D_VR，进行视点合成，得到新的右视图包括以下步骤：

(5.1)采用反向映射的机制，即对于新的右视图上的每一个点记它的坐标值为根据由IL和IR的水平及垂直视差图D_HL、D_VL、D_HR、D_VR所确定的投影关系，分别I_L和I_R上寻找各自的对应点p′_L及p'_R，包括以下步骤：

(a)设点在左视图I_L中的对应点为p'_L，为了达到消除垂直视差的目的，需要以满足水平视差约束为条件，在I_L中进行搜索。记p'_L的坐标值为要求其x轴坐标值须满足下面的关系式：

$x_{p\stackrel{\′}{L}}=\underset{x_{p\tilde{L}}\∈[x_R^{\mathrm{new}}-{\mathrm{\τ}}_1,x_R^{\mathrm{new}}+{\mathrm{\τ}}_1]}{\arg \min }|x_{p\tilde{L}}{x}_R^{\mathrm{new}}-d_{H_{p\tilde{L}}}|$

上式中，τ₁为一预设值，表示在I_L上以坐标值为中心沿水平方向的搜索范围。为与I_L对应的水平视差图D_HL中位于坐标处的水平视差值。

(b)设点在右视图I_R中的对应点为p'_R，在垂直视差的约束下，在I_R中进行搜索。记p'_R的坐标值为要求其y轴坐标值须满足下面的关系式：

$y_{p\stackrel{\′}{R}}=\underset{y_{P\tilde{R}}\∈[y_R^{\mathrm{new}}-{\mathrm{\τ}}_2,y_R^{\mathrm{new}}+{\mathrm{\τ}}_2]}{\arg \min }\left|\right|y_{p_{\tilde{R}}}-y_R^{\mathrm{new}}|-|d_{V_{p\tilde{R}}}\left|\right|$

上式中，τ₂为一预设值，表示在I_R上以坐标值为中心沿垂直方向的搜索范围。为与I_R对应的垂直视差图D_VR中位于坐标处的垂直视差值。

(5.2)在找到了新的右视图上的点在左右视图上各自的对应点p'_L，p'_R后，比较这二点的水平视差值，将视差值大的点投影得到

(5.3)对合成新右视图中空白点进行修补。

本发明的有益效果是：在消除立体图像垂直视差的同时，最大程度地减小传统校正方式带来的投影失真问题。

附图说明

图1为本发明方法的流程图；

图2为步骤103中对左视图I_L生成水平视差图D_HL和垂直视差图D_VL的示意图；

具体实施方式

下面结合附图和具体实施方式对本发明作进一步详细描述，本发明的目的和效果将变得更加明显。

图1给出了依照本发明进行立体图像校正的方法流程图。

本发明所述的基于视点合成的立体图像校正方法是针对立体图像进行的。一幅立体图像由分别称为左视图和右视图的二幅视图构成。立体图像一般由立体相机拍摄，立体相机由左相机和右相机二个相机组成，其中左相机用于拍摄左视图，右相机用于拍摄右视图。立体图像也可以由单个相机通过分时水平位移拍摄得到，这时左右相机都对应着同一个相机。对于立体视频而言，其每一个视频帧可视为一幅立体图像，同样可适用本发明提出的方法。

如图1所示，在步骤101中，输入原始立体图像的左视图I_L和右视图I_R，对其进行传统方式的外极线校正，得到经过初始校正后的立体图像左视图I_TL和右视图I_TR，并记录下分别施加在左视图和右视图上变换矩阵T_L和T_R，它们都是3×3的矩阵。

传统方式的外极线校正，可参考：Hartley R.I.,"Theory and practice ofprojective rectification."International Journal of Computer Vision,1999,35(2):115-127.

对于经过初始校正后的立体图像而言，在左视图I_TL和右视图I_TR之间已经消除了垂直视差，但一般会具有较大的投影失真，并不适合人眼观看。

如图1所示，在步骤102中，对经过初始校正后的立体图像左视图I_TL和右视图I_TR进行立体匹配，得到对应的水平视差图D_TL和D_TR。

有关立体匹配的方法可参考：Scharstein D.,Szeliski R.,"A taxonomy andevaluation of dense two-frame stereo correspondence algorithms."International Journalof Computer Vision,2002,47(1-3):7-42.

如图1所示，在步骤103中，根据步骤102得到的D_TL和D_TR，以及步骤101记录下的T_L和T_R，计算得到对应于左视图I_L的水平视差图D_HL和垂直视差图D_VL。同样的，计算得到对应于右视图I_R的水平视差图D_HR以及垂直视差图D_VR。

对左视图I_L生成水平视差图D_HL和垂直视差图D_VL的示意图如图2所示，过程步骤如下：

①对左视图I_L中的任意一点p_L，经过变换T_L得到在初始校正后的左视图I_TL中的对应点p_TL＝T_L·p_L。点p_TL的坐标值一般为非整数，为了从视差图D_TL中得到对应于p_TL位置的视差值需要做双线性插值。

有关双线性插值方法可参考：章毓晋.图象工程上册-图象处理和分析，清华大学出版社，1999年3月第一版。

②记I_TL中的点p_TL，记它的齐次坐标为p_TL＝[x_TL,y_TL,1]^T，则它在相对应的右视图I_TR中的对应点p_TR可以通过下式计算得到：

$p_{\mathrm{TR}}={[x_{\mathrm{TL}}-d_{p_{\mathrm{TL}}},y_{\mathrm{TL}},1]}^T$

③将点p_TR经过对应于T_R的逆变换投影回右视图I_R得到点从而建立起了左视图I_L中的点p_L和右视图I_R中的点p_R之间的对应关系，即p_L和p_R是一对匹配点。

④记p_L和p_R的坐标值分别为[x_L,y_L]^T和[x_R,y_R]^T，可以根据下式计算得到对应于p_L的水平视差值d_HL和垂直视差值d_VL：

d_HL＝x_L-x_R，d_VL＝y_L-y_R

⑤对左视图I_L中的每一点施加上述过程，可以得到对应于左视图I_L的水平视差图D_HL和垂直视差图D_VL。

同理，对右视图I_R施加上述过程，可以计算得到对应于右视图I_R的水平视差图D_HR以及垂直视差图D_VR。

如图1所示，在步骤104中，基于原立体图像的左右视图I_L和I_R，以及相应的水平和垂直视差图D_HL、D_VL、D_HR、D_VR，进行视点合成，得到新的右视图

在立体图像拍摄时，立体相机的左右相机的姿态应该已经调整成比较合适的状态，因此不能对立体图像进行较大尺度的投影变换，否则将带来视觉效果上严重的投影失真。为了满足这一点，本发明采用了固定一幅图像，只校正另一幅图像的方法。不失一般性，可将立体图像的左视图保持不变，对右视图进行基于视点合成的校正，从而达到消除垂直视差的目的。

具体步骤如下：

(1)采用反向映射的机制，即对于新的右视图上的每一个点记它的坐标值为根据由I_L和I_R的水平及垂直视差图D_HL、D_VL、D_HR、D_VR所确定的投影关系，分别I_L和I_R上寻找各自的对应点p'_L及p'_R，方法如下：

(a)设点在左视图I_L中的对应点为p'_L，为了达到消除垂直视差的目的，需要以满足水平视差约束为条件，在I_L中进行搜索。记p'_L的坐标值为要求其x轴坐标值须满足下面的关系式：

$x_{p\stackrel{\′}{L}}=\underset{x_{p\tilde{L}}\∈[x_R^{\mathrm{new}}-{\mathrm{\τ}}_1,x_R^{\mathrm{new}}+{\mathrm{\τ}}_1]}{\arg \min }|x_{p\tilde{L}}{x}_R^{\mathrm{new}}-d_{H_{p\tilde{L}}}|$

上式中，τ₁为一预设值，表示在I_L上以坐标值为中心沿水平方向的搜索范围。为与I_L对应的水平视差图D_HL中位于坐标处的水平视差值。

(b)设点在右视图I_R中的对应点为p'_R，在垂直视差的约束下，在I_R中进行搜索。记p'_R的坐标值为要求其y轴坐标值须满足下面的关系式：

$y_{p\stackrel{\′}{R}}=\underset{y_{P\tilde{R}}\∈[y_R^{\mathrm{new}}-{\mathrm{\τ}}_2,y_R^{\mathrm{new}}+{\mathrm{\τ}}_2]}{\arg \min }\left|\right|y_{p_{\tilde{R}}}-y_R^{\mathrm{new}}|-|d_{V_{p\tilde{R}}}\left|\right|$

上式中，τ₂为一预设值，表示在I_R上以坐标值为中心沿垂直方向的搜索范围。为与I_R对应的垂直视差图D_VR中位于坐标处的垂直视差值。

(2)在找到了新的右视图上的点在左右视图上各自的对应点p'_L，p'_R后，比较这二点的水平视差值。

(a)设在I_L中的对应点p_'L的坐标值为其在水平视差图D_HL中所对应的视差值为

(b)设在I_R中的对应点p'_R的坐标值为其在水平视差图D_HR中所对应的视差值为

(c)如果则将p'_L投影得到否则将p'_R投影得到

(3)对于合成新的右视图中某些点，可能按照经过上述搜索，既不能在左视图中找到对应点，也不能在右视图中找到对应点，从而造成在中的空白点，这时需要对其进行修补。

有关该空白点修补算法可参见参考文献：Du X,Ye G,Zhu Y,et al.Hierarchical Hole Filling for Novel View Synthesis，Multimedia and SignalProcessing.Springer Berlin Heidelberg,2012:349-357.

上述实施方式用来解释说明本发明，而不是对本发明进行限制，在本发明的精神和权利要求的保护范围内，对本发明做出的任何修改和改变，都落入本发明的保护范围。

Claims (4)

1.一种基于视点合成的立体图像垂直视差消除方法，其特征在于，该方法包括以下步骤：

(1)采集原始立体图像的左视图I_L和右视图I_R；

(2)输入原始立体图像的左视图I_L和右视图I_R，对其进行传统方式的外极线校正，得到经过初始校正后的立体图像左视图I_TL和右视图I_TR，并记录下分别施加在左视图和右视图上变换矩阵T_L和T_R；

(3)对经过初始校正后的立体图像左视图I_TL和右视图I_TR进行立体匹配，得到对应的水平视差图D_TL和D_TR；

(4)根据投影关系，计算得到对应于左视图I_L的水平视差图D_HL和垂直视差图D_VL，以及对应于右视图I_R的水平视差图D_HR以及垂直视差图D_VR；

(5)基于原立体图像的左右视图I_L和I_R，以及相应的水平和垂直视差图D_HL、D_VL、D_HR、D_VR，进行视点合成，得到新的右视图原始立体图像的左视图I_L和新的右视图已经消除了垂直视差，构成了新的立体图像。

2.根据权利要求1所述的一种基于视点合成的立体图像垂直视差消除方法，其特征在于，所述的步骤(4)中计算得到对应于左视图I_L的水平视差图D_HL和垂直视差图D_VL，以及对应于右视图I_R的水平视差图D_HR以及垂直视差图D_VR，通过以下步骤来实现：

(4.1)对左视图I_L中的任意一点p_L，经过变换T_L得到经过初始校正后的左视图I_TL中的对应点p_TL＝T_L·p_L；点p_TL的坐标值一般为非整数，通过做双线性插值，在视差图D_TL中得到对应于p_TL位置的视差值

(4.2)记I_TL中的点p_TL的齐次坐标为p_TL＝[x_TL,y_TL,1]^T，则它在相对应的右视图I_TR中的对应点p_TR为：

(4.3)将点p_TR经过对应于T_R的逆变换投影回右视图I_R得到点从而建立起了左视图I_L中的点p_L和右视图I_R中的点p_R之间的对应关系，即p_L和p_R是一对匹配点；

(4.4)记p_L和p_R的坐标值分别为[x_L,y_L]^T和[x_R,y_R]^T，可以根据下式计算得到对应于p_L的水平视差值d_HL和垂直视差值d_VL：

d_HL＝x_L-x_R，d_VL＝y_L-y_R；

(4.5)对左视图I_L中的每一点施加上述过程，可以得到对应于左视图I_L的水平视差图D_HL和垂直视差图D_VL；

(4.6)同理，对右视图I_R施加上述过程，可以计算得到对应于右视图I_R的水平视差图D_HR以及垂直视差图D_VR。

3.根据权利要求1所述的一种基于视点合成的立体图像垂直视差消除方法，其特征在于，所述的步骤(5)中视点合成的方法，包括以下步骤：

(5.1)采用反向映射的机制，即对于新的右视图上的每一个点记它的坐标值为根据由I_L和I_R的水平及垂直视差图D_HL、D_VL、D_HR、D_VR所确定的投影关系，分别I_L和I_R上寻找各自的对应点p'_L及p'_R；

(5.2)在找到了新的右视图上的点在左右视图上各自的对应点p'_L，p'_R后，比较这二点的水平视差值，将视差值大的点投影得到

(5.3)对合成新右视图中空白点进行修补。

4.根据权利要求3所述的视点合成方法，其特征在于，所述的步骤(5.1)在I_L和I_R上寻找各自的对应点p'_L及p'_R，包括以下步骤：

(5.1.1)设点在左视图I_L中的对应点为p'_L，为了达到消除垂直视差的目的，需要以满足水平视差约束为条件，在I_L中进行搜索，记p'_L的坐标值为要求其x轴坐标值须满足下面的关系式：

$x_{p\stackrel{\′}{L}}=\underset{x_{p\tilde{L}}\∈[x_R^{\mathrm{new}}-{\mathrm{\τ}}_1,x_R^{\mathrm{new}}+{\mathrm{\τ}}_1]}{\arg \min }|x_{p\tilde{L}}{x}_R^{\mathrm{new}}-d_{H_{p\tilde{L}}}|$

上式中，τ₁为一预设值，表示在I_L上以坐标值为中心沿水平方向的搜索范围，为与I_L对应的水平视差图D_HL中位于坐标处的水平视差值；

(5.1.2)设点在右视图I_R中的对应点为p'_R，在垂直视差的约束下，在I_R中进行搜索，记p'_R的坐标值为要求其y轴坐标值须满足下面的关系式：

$y_{p\stackrel{\′}{R}}=\underset{y_{P\tilde{R}}\∈[y_R^{\mathrm{new}}-{\mathrm{\τ}}_2,y_R^{\mathrm{new}}+{\mathrm{\τ}}_2]}{\arg \min }\left|\right|y_{p_{\tilde{R}}}-y_R^{\mathrm{new}}|-|d_{V_{p\tilde{R}}}\left|\right|$

上式中，τ₂为一预设值，表示在I_R上以坐标值为中心沿垂直方向的搜索范围，为与I_R对应的垂直视差图D_VR中位于坐标处的垂直视差值。