CN105812766B - 一种垂直视差消减方法 - Google Patents

Abstract

一种垂直视差消减方法属3D图像处理技术领域，本发明首先用抗缩放、旋转及仿射变换的SIFT特征匹配算法检测出双目图像对的特征匹配点，然后根据匹配点的坐标位置，运用L‑M算法计算可消减垂直视差的变换矩阵，再将变换矩阵作用于目标图像，计算出该视图每个像素点的新坐标位置。与现有的垂直视差消减方法相比，本发明所获得的技术效果，在不需要摄像机标定参数的情况下，通过对变换矩阵的精确求解能进一步消减垂直视差，同时能降低对水平视差的影响，并有效地增强观看立体视频的舒适度。

Description

一种垂直视差消减方法

技术领域

本发明属立体视频舒适度增强和3D图像处理技术领域，具体涉及一种垂直视差消减方法。

背景技术

近年来，随着3D技术的迅速发展，人们已经不满足于从二维图像中获得有限的信息，逐渐习惯于享受三维视觉带来的沉浸感。双眼视差是立体显示技术的理论基础，水平视差在三维重建的过程中起着关键的作用，水平视差的变化使得人们对于画面所呈现的事物有了立体的感知，然而垂直视差则会使人感觉疲劳。理想条件下，在拍摄的过程中所有摄相机都应在同一条水平线上，同时要求所有摄像机的光轴平行，并且所拍摄出图像或视频的极线严格要求水平。但实际上，由于支架的形变，摄像机内部感光元件的不一致性等工艺问题往往会造成不同程度的垂直视差，结果不仅影响了立体图像的合成质量，还会引起视觉疲劳。因此为了提高观视者的舒适度，对于垂直视差消减方法的研究成为了越来越多的科研者研究的重点。

国内外对垂直视差消减技术的研究较少，并且这些方法中很多都是在处理的过程中需要较多的图像信息或者摄像机参数。韩国的Yun-Suk Kang和Cheon Lee等人提出了针对平行相机阵列的拟合公共基线解决办法和针对弧形相机阵列的几何补偿校正算法。但是，这个方法需要多视点相机的标定参数，无法提供脱离相机参数的独立应用。在无摄像机标定情况下Loop提出了基于基本矩阵的图像校正方法，将校正过程分解为射影变换和仿射变换两个部分。该方法依赖于基本矩阵的精确求解，而由对应点计算基本矩阵还没有较为稳定的算法。上海大学的刘利亮和安平等人提出了一种基于公共点提取的多视图像校正的方法，该方法有效的降低了垂直视差，但是这个方法在校正垂直视差的过程中使得水平视差也发生了较大改变。

发明内容

本发明要解决的技术问题在于提供一种基于Levenberg-Marquardt算法(简称L-M算法)的垂直视差消减方法，通过本发明可以在不需要摄像机标定参数的情况下，通过对变换矩阵的精确求解进一步消减垂直视差，同时降低对水平视差的影响，有效地增强观看立体视频的舒适度。

本发明的一种垂直视差消减方法，包括下列步骤：

1.1对双目图像中的左右视图分别用SIFT算法进行特征点提取，并根据最近邻和次近邻距离比值进行匹配；

1.2由垂直视差消减原理计算出匹配点的坐标，再用L-M算法进行可消减垂直视差的变换矩阵计算，包括下列步骤：

1.2.1将SIFT算法提取出的特征点整理成齐次坐标形式，左视图-基准图的特征点坐标为[x_i,y_i,1]^T，右视图的特征点坐标为其中：i＝1,…,N；N表示特征点的个数；

1.2.2计算二维射影变换矩阵M_2D，使右视图中的特征点[x_i',y_i',1]^T经校正矩阵后与左视图中的特征点之间仅存在水平视差，不存在垂直视差，校正后的右视图中特征点的坐标为[x_i',y_i,1]；

1.2.3将用线性算法计算出的二维射影变换矩阵M_2D作为L-M算法的初值，M_2D形式为：

其中：m₂表示水平方向位移量；m₅表示垂直方向位移量；m₀、m₁、m₃、m₄表示尺度和旋转量；m₆、m₇表示水平和垂直方向的形变量；

1.2.4用L-M算法迭代优化计算出可消减垂直视差的变换矩阵，包括下列步骤：

1.2.4.1给出误差的允许值ε，常数β、μ以及初始化向量M^k；

其中：μ是一个试探性参数，如果能使误差指标函数E(M)降低，则μ降低，反之，则μ增加；M^k为第k次迭代时的M值，其中M为列向量(m₀,m₁,…,m₇)^T；

1.2.4.2利用变换矩阵M^k计算目标图像的新坐标，并计算误差指标函数E(M^k)

其中：E(M^k)表示第k次迭代时的E(M)值，E(M)值的计算公式为：

1.2.4.3利用下式计算误差e_i(M)的Jacobian矩阵J(M)：

其中：误差e_i(M)的计算公式为：

1.2.4.4根据公式ΔM＝-[J^T(M)J(M)+μI]^-1J^T(M)e(M)计算变换矩阵增量ΔM；

1.2.4.5若E(M^k)＜ε，则结束；否则计算M^k+1，并计算误差指标函数E(M^k+1)

其中：M^k+1＝M^k+ΔM；

1.2.4.6若E(M^k+1)＜E(M^k)，则令k＝k+1，μ＝μ/β，转到步骤1.2.4.2；否则不更新变换矩阵M，M^k+1＝M^k，μ＝μβ，转到步骤1.2.4.4；

1.3将原右视图的每一个像素点依次与校正变换矩阵M_2D相乘，得到新的右视图即校正后视图；

1.4用后处理方法去除部分图像中由校正变换引起的噪声，后处理方法为对没有像素生成的坐标位置，将该坐标位置点周围8个点的像素值的均值作为该坐标位置点像素值，得到最终改进后的右视图，垂直视差得到消减。

本发明的垂直视差消减方法与现有的垂直视差消减方法相比，在不需要摄像机标定参数的情况下，通过对变换矩阵的精确求解能进一步消减垂直视差、降低对水平视差的影响，从而能有效地增强观看立体视频的舒适度。

附图说明

图1为垂直视差消减方法的流程图

图2为breakdancer第1帧的1、2视点实验效果图

图3为ballet第7帧的3、4视点实验效果图

图2和图3中：(a)表示左视图，(b)表示右视图，(c)表示利用参考文献算法处理后的右视图，(d)表示利用本发明方法处理后的右视图

具体实施方式

本发明的核心内容在于：通过使用L-M算法实现对可消减垂直视差变换矩阵的精确求解，将通过该方法求得的最优化的变换矩阵作用于右视图，生成校正后的右视图，该方法在进一步消减垂直视差的同时，能降低对水平视差的影响。

为使本发明的目的，技术方案和优点更加清楚，下面结合附图及实例做进一步的详细叙述：

本发明的一种垂直视差消减方法，包括下列步骤：

1.1对双目图像中的左右视图分别用SIFT算法进行特征点提取，并根据最近邻和次近邻距离比值进行匹配；

1.2由垂直视差消减原理计算出匹配点的坐标，再用L-M算法进行可消减垂直视差的变换矩阵计算，包括下列步骤：

1.2.1将SIFT算法提取出的特征点整理成齐次坐标形式，左视图-基准图的特征点坐标为[x_i,y_i,1]^T，右视图的特征点坐标为其中：i＝1,…,N；N表示特征点的个数；

1.2.2计算二维射影变换矩阵M_2D，使右视图中的特征点[x_i',y_i',1]^T经校正矩阵后与左视图中的特征点之间仅存在水平视差，不存在垂直视差，校正后的右视图中特征点的坐标为[x_i',y_i,1]；

1.2.3将用线性算法计算出的二维射影变换矩阵M_2D作为L-M算法的初值，M_2D形式为：

其中：m₂表示水平方向位移量；m₅表示垂直方向位移量；m₀、m₁、m₃、m₄表示尺度和旋转量；m₆、m₇表示水平和垂直方向的形变量；

1.2.4用L-M算法迭代优化计算出可消减垂直视差的变换矩阵，包括下列步骤：

1.2.4.1给出误差的允许值ε，常数β、μ以及初始化向量M^k；

其中：μ是一个试探性参数，如果能使误差指标函数E(M)降低，则μ降低，反之，则μ增加；M^k为第k次迭代时的M值，其中M为列向量(m₀,m₁,…,m₇)^T；

1.2.4.2利用变换矩阵M^k计算目标图像的新坐标，并计算误差指标函数E(M^k)

其中：E(M^k)表示第k次迭代时的E(M)值，E(M)值的计算公式为：

1.2.4.3利用下式计算误差e_i(M)的Jacobian矩阵J(M)：

其中：误差e_i(M)的计算公式为：

1.2.4.4根据公式ΔM＝-[J^T(M)J(M)+μI]^-1J^T(M)e(M)计算变换矩阵增量ΔM；

1.2.4.5若E(M^k)＜ε，则结束；否则计算M^k+1，并计算误差指标函数E(M^k+1)

其中：M^k+1＝M^k+ΔM；

1_.2.4.6若E(M^k+1)＜E(M^k)，则令k＝k+1，μ＝μ/β，转到步骤1.2.4.2；否则不更新变换矩阵M，M^k+1＝M^k，μ＝μβ，转到步骤1.2.4.4；

1.3将原右视图的每一个像素点依次与校正变换矩阵M_2D相乘，得到新的右视图即校正后视图；

1.4用后处理方法去除部分图像中由校正变换引起的噪声，后处理方法为对没有像素生成的坐标位置，将该坐标位置点周围8个点的像素值的均值作为该坐标位置点像素值，得到最终改进后的右视图，垂直视差得到消减。

下面以具体的测试来验证本发明提供的一种基于Levenberg-Marquardt算法的垂直视差消减方法的可行性。将本发明的方法与上海大学刘利亮、安平等人利用线性算法求解二维射影变换矩阵的垂直视差消减方法在垂直视差消减和对水平视差影响这两个方面展开对比分析(测试样本来自微软提供的立体视频测试序列)。

1.工作条件：

本发明的实验平台采用Intel(R)Core(TM)i3-2100CPU@3.10GHz 3.10GHz，内存为2GB，运行Windows XP的PC机，编程语言为MATLAB语言。

2.实验内容与结果分析：

为了检验垂直视差消减的效果和对水平视差的影响，用检测出匹配点对的垂直视差的平均值eval和水平视差的平均值hori作为校正前后的评价标准：

图2是对breakdancer立体视频序列第七帧的3、4视点进行垂直视差消减的实验效果图。

其中：(c)是上海大学刘利亮、安平等人的方法处理后的结果图；(d)是本发明的方法处理后的结果图。

表1是在不同参数设置情况下进行垂直视差消减前后的评价标准，eval是检测出匹配点对的垂直视差的平均值，单位为像素，用它来评价垂直视差消减的效果；hori表示检测出匹配点对的水平视差的平均值，单位同样为像素。

在表1中，没有进行垂直视差消减的原始图像对在不同参数下的eval平均值是2.6583个像素、hori平均值是5.9582个像素。

使用本发明方法的垂直视差消减后的eval平均值为1.4689，参考文献中使用二维单应性矩阵方法的垂直视差消减后的eval平均值为1.4398，可见本发明的方法的结果比参考文献中使用二维单应性矩阵方法的结果提高了0.0291个像素，比原始图像对提高了1.2185个像素；

使用本发明方法的垂直视差消减后的hori平均值为5.2255参考文献中使用二维单应性矩阵方法的垂直视差消减后的hori平均值为5.3442，可见本发明的方法的结果对水平视差的影响比参考文献中降低了0.1187个像素。

表1不同参数下breakdancer垂直视差消减前后性能评价(单位：像素)

图3是对ballet立体视频序列的第一帧的1、2视点进行垂直视差消减的实验效果图。在表2中，没有进行垂直视差消减的原始图像对在不同参数下的eval平均值是7.7509个像素，hori平均值是32.2780个像素。

使用本发明方法的垂直视差消减后的eval平均值为1.9107，参考文献中使用二维单应性矩阵方法的垂直视差消减后的eval平均值为1.5875，使用本发明方法的结果比参考文献中使用二维单应性矩阵方法提高了0.3232个像素，比原始图像对提高了6.1634个像素；

使用本发明方法的垂直视差消减后的hori平均值为29.1627，参考文献中使用二维单应性矩阵方法的垂直视差消减后的hori平均值为30.3018，使用本发明方法改进后的结果对水平视差的影响比参考文献中降低了1.1391个像素。

ballet图像序列的旋转现象比较严重，使用本发明方法改进后的结果比参考文献中使用二维单应性矩阵方法提高的效果优于对breakdancer这类旋转程度不大的图像序列。

虽然在图2和图3的(c)和(d)中看不出明显的差别，但是从表1和表2中可以清晰地看出：通常情况下，选取不同参数时，在垂直视差消减和水平视差校正两个方面使用本发明算法改进后的结果比参考文献中使用二维单应性矩阵方法的效果均有所提高。而且图像的旋转程度越大，本发明使用的方法对视差的调节越明显。

表2不同参数下ballet垂直视差消减前后性能评价(单位：像素)

本发明通过在二维变换矩阵的计算中引入Levenberg-Marquardt算法，从而实现了变换矩阵的精确求解。在垂直视差消减方面，本发明提出的算法与参考文献中使用二维射影变换的方法相比有了明显的提高。同时，在对水平视差影响方面，本发明的方法与参考文献相比，更接近于原始图像对的水平视差。本发明的方法在垂直视差消减上比参考文献中使用二维射影变换的方法提高了约0.0291～0.3232个像素，对水平视差的影响比参考文献中使用二维射影变换的方法降低了约0.1187～1.1391个像素。对于旋转变换较大的图像，本发明的方法改进更为明显。因此改进后的算法有利于在不影响水平视差的情况下对垂直视差的消减。

Claims (1)

1.一种垂直视差消减方法，其特征在于包括下列步骤：

1.1对双目图像中的左右视图分别用SIFT算法进行特征点提取，并根据最近邻和次近邻距离比值进行匹配；

1.2由垂直视差消减原理计算出匹配点的坐标，再用L-M算法进行可消减垂直视差的变换矩阵计算，包括下列步骤：

1.2.1将SIFT算法提取出的特征点整理成齐次坐标形式，左视图-基准图的特征点坐标为[x_i,y_i,1]^T，右视图的特征点坐标为其中：i＝1,...,N；N表示特征点的个数；

1.2.2计算二维射影变换矩阵M_2D，使右视图中的特征点[x′_i,y′_i,1]^T经校正矩阵后与左视图中的特征点之间仅存在水平视差，不存在垂直视差，校正后的右视图中特征点的坐标为[x′_i,y_i,1]；

1.2.3将用线性算法计算出的二维射影变换矩阵M_2D作为L-M算法的初值，M_2D形式为：

$M_{2D}=\left(\begin{array}{ccc}{m}_0& m_1& m_2\\ m_3& m_4& m_5\\ m_6& m_7& 1\end{array}\right)$

其中：m₂表示水平方向位移量；m₅表示垂直方向位移量；m₀、m₁、m₃、m₄表示尺度和旋转量；m₆、m₇表示水平和垂直方向的形变量；

1.2.4用L-M算法迭代优化计算出可消减垂直视差的变换矩阵，包括下列步骤：

1.2.4.1给出误差的允许值ε，常数β、μ以及初始化向量M^k；

其中：μ是一个试探性参数，如果能使误差指标函数E(M)降低，则μ降低，反之，则μ增加；M^k为第k次迭代时的M值，其中M为列向量(m₀,m₁,...,m₇)^T；

1.2.4.2利用变换矩阵M^k计算目标图像的新坐标，并计算误差指标函数E(M^k)

其中：E(M^k)表示第k次迭代时的E(M)值，E(M)值的计算公式为：

$E\left(M\right)=\frac{1}{2}\underset{i=1}{\overset{N}{\Σ}}\[{(\frac{m_0{x}_i^{\′}+m_1{y}_i^{\′}+m_2}{m_6{x}_i^{\′}+m_7{y}_i^{\′}+1}-x_i^{\′})}^2+{(\frac{m_3{x}_i^{\′}+m_4{y}_i^{\′}+m_5}{m_6{x}_i^{\′}+m_7{y}_i^{\′}+1}-y_i)}^2\]$

1.2.4.3利用下式计算误差e_i(M)的Jacobian矩阵J(M)：

$J\left(M\right)=\left|\begin{array}{cccc}\frac{\∂e_1\left(M\right)}{\∂m_0}& \frac{\∂e_1\left(M\right)}{\∂m_1}& \mathrm{...}& \frac{\∂e_1\left(M\right)}{\∂m_7}\\ \frac{\∂e_2\left(M\right)}{\∂m_0}& \frac{\∂e_2\left(M\right)}{\∂m_1}& \mathrm{...}& \frac{\∂e_2\left(M\right)}{\∂m_7}\\ \frac{\∂e_N\left(M\right)}{\∂m_0}& \frac{\∂e_N\left(M\right)}{\∂m_1}& \mathrm{...}& \frac{\∂e_N\left(M\right)}{\∂m_7}\end{array}\right|$

其中：误差e_i(M)的计算公式为：

$e_i\left(M\right)={\[{(\frac{m_0{x}_i^{\′}+m_1{y}_i^{\′}+m_2}{m_6{x}_i^{\′}+m_7{y}_i^{\′}+1}-x_i^{\′})}^2+{(\frac{m_3{x}_i^{\′}+m_4{y}_i^{\′}+m_5}{m_6{x}_i^{\′}+m_7{y}_i^{\′}+1}-y_i)}^2\]}^{\frac{1}{2}}$

1.2.4.4根据公式ΔM＝-[J^T(M)J(M)+μI]^-1J^T(M)e(M)计算变换矩阵增量ΔM；

1.2.4.5若E(M^k)＜ε，则结束；否则计算M^k+1，并计算误差指标函数E(M^k+1)

其中：M^k+1＝M^k+ΔM；

1.2.4.6若E(M^k+1)＜E(M^k)，则令k＝k+1，μ＝μ/β，转到步骤1.2.4.2；否则不更新变换矩阵M，M^k+1＝M^k，μ＝μβ，转到步骤1.2.4.4；

1.3将原右视图的每一个像素点依次与校正变换矩阵M_2D相乘，得到新的右视图即校正后视图；

1.4用后处理方法去除部分图像中由校正变换引起的噪声，后处理方法为对没有像素生成的坐标位置，将该坐标位置点周围8个点的像素值的均值作为该坐标位置点像素值，得到最终改进后的右视图，垂直视差得到消减。