CN103533368B - 多视角视频编码中基于低秩结构提取的亮度补偿方法 - Google Patents

Abstract

本发明提出了一种多视角视频编码中基于低秩结构提取的亮度补偿方法，该方法把各个视角间的亮度差异看作叠加在原始视角上的混合噪声，利用视角间的对应性建立一个低秩结构矩阵，由于遮挡的存在，该矩阵是不完备的，仅选取可靠的点用于矩阵完备恢复出整个矩阵，由此得到用于亮度补偿的映射函数。该方法属于多视角视频编码中亮度补偿的预处理方案，即在编码前进行亮度补偿以得到补偿后视角。该方法可以明显提高多视角视频中视角间的相关性，提高视角间的预测效率，从而提高编码效率，相对于已有的亮度补偿方案，该方法获得的补偿视角与原视角相比有更大的相似度。

Description

多视角视频编码中基于低秩结构提取的亮度补偿方法

技术领域

本发明涉及一种多视角视频编码中的亮度补偿方案，具体是一种基于低秩结构提取的亮度补偿方法。

背景技术

随着三维立体视频技术的发展，多视角视频编码越来越受到关注。多视角视频编码中增加了视角间的预测方案以提高编码效率。由于各个视角间的光照条件不同以及相机校正的不准确性，各个视角间同一场景呈现出亮度差异。这将会恶化视角间的相关性从而降低编码效率，进而影响解码端合成视角的质量。亮度补偿是多视角视频编码中一个非常重要的方面。

经过对现有技术的文献检索发现，U.Fecker，M.Barkowsky和A.Kaup在2008年9月份的IEEE Transactions on Circuits and Systems for Video Technoloy期刊上发表的“Histogram-based prefiltering for luminance and chrominance compensation of multiview video”中提出利用直方图匹配的方法进行亮度补偿，该方法匹配目标视角的直方图到参考视角的直方图，所有其余视角的直方图都匹配到参考的视角，该方法不能处理视角间的遮挡问题，且利用直方图匹配没有考虑到像素的位置信息，匹配结果可能会不准确甚至出现过匹配。C.Doutre和P.Nasiopoulos在2009年9月份的IEEE Transadions on Circuits and Systems for Video Technoloy期刊上发表的“Color correction preprocessing for multiview video coding”中利用块匹配的方法找到视角间的对应点，补偿多个视角的亮度值到所有视角亮度的平均值。块匹配的方法找到的对应点不够准确且计算量比较大。Y.Chen，C.Cai和J.Liu在2006年8月份的Proc.IEEEInt.Conf.Pattern Recognition上发表的“YUV Correction for multi-view video compression”中提出基于调制以及平移参数建立全局线性模型补偿视角间的亮度差异，该方法未考虑到亮度的局部差异。

发明内容

本发明针对现有技术的不足，提出了一种基于低秩结构提取的亮度补偿方案，该发 明把亮度补偿问题转化为通过低秩矩阵完备的噪声去除问题，该方法对异常值具有稳定性并且有较低的校正度。

本发明是通过以下技术方案实现的:

一种多视角视频编码中基于低秩结构提取的亮度补偿方法，多视角视频序列通过映射函数对各个视角进行补偿，所述方法把亮度补偿问题转化为通过低秩矩阵完备的噪声去除问题，用于补偿的映射函数通过视角间的对应关系建立不完备矩阵，把视角间对应点的亮度差异看作叠加在原始视角上的混合噪声，通过矩阵完备恢复出潜在的低秩结构矩阵，利用完备前后的矩阵建立映射关系得到映射函数，将该映射函数应用于亮度补偿。该补偿方案仅选取可靠的点恢复完备矩阵，对异常值具有稳健性，并且可以在较低的校正度下提高视角间的一致性。

由于光照条件的差异以及相机校正的不准确性，多视角视频中各个视角间呈现出亮度差异从而降低了视角间的相关性，进而恶化了解码端合成视角的质量。本发明把各个视角间的亮度差异看作叠加在原始视角上的混合噪声，利用视角间的对应性建立一个低秩结构矩阵，由于遮挡的存在，该矩阵是不完备的，然后仅选取可靠的点用于矩阵完备恢复出整个矩阵，由此得到用于亮度补偿的映射函数。该方法属于多视角视频编码中亮度补偿的预处理方案，即在编码前进行亮度补偿以得到补偿后视角。

该方法在亮度补偿中属于预处理方案，目的是获得用于亮度补偿的映射函数。映射函数是由不完备矩阵通过矩阵完备恢复出的低秩结构得出的。为了建立不完备的矩阵，该方案把其一时刻的每一个视角看作不完备矩阵的一列，而每一行则是每个视角之间的对应点。为了更加准确的求得对应点，一种简单的3-D卷绕(warping)方法被应用于视角间对应点的寻找上。该方法通过利用多视角视频相应的深度图和相机参数，匹配点通过投影一个视角的像素点到三维空间后再逆投影到目标视角检测出。考虑到遮挡的存在，需要将目标视角的投影点再反向投影到参考视角，如果该逆投影到参考视角的点与原来点的距离小于其一门限值，则这两点就被视为匹配点，否则认为该点在目标视角中被遮挡或超出目标视角范围，相应的目标视角位置用未知点取代。通过这样的映射过程建立一个不完备的矩阵，未知的点代表遮挡点，由于矩阵的每一行代表的是不同视角下的同一个点，如果未知的点被正确的填充，那么完备以后的矩阵应该呈现出低秩结构。

未知点的正确填充是利用矩阵完备的方法实现的，该方法由E.J.Cand`es提出，如果矩阵具有低秩结构，那么在合适的情况下该矩阵就可以从它的一部分观测值中完备出 来。通过矩阵完备得到的完备矩阵与初始的不完备矩阵之间建立映射关系得到映射函数，该映射函数用于对各个视角的亮度值进行匹配补偿，补偿以后的多视角视频再进行编解码。所述映射函数补偿各个视角的亮度值到它们共有的低秩结构，具有较小的校正度，且由于完备过程中仅选取了可靠地像素用于完备，该方案对异常值具有稳健性。

与现有技术相比，本发明具有如下的有益效果:

本发明提出的基于矩阵完备的亮度补偿方案作为多视角视频编码的一个预处理步骤，通过利用简单的投影关系建立视角间的点对应关系，该对应关系相较块匹配更加准确，通过一个低秩矩阵完备恢复出完整地低秩结构，由该方法获得的映射函数不受异常值的影响，有较高的稳健性，可以明显提高多视角视频中视角间的相关性，提高视角间的预测效率，从而提高编码效率，并且可以在对原始视频序列迸行尽可能小的校正下获得较大的视角间相关性。实验表明该方案可以获得较大的编码增益。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显:

图1本发明的系统框架图;

图2本发明中用于获取映射函数的操作流程图。

具体实施方式

下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改迸。这些都属于本发明的保护范围。

如图1所示为本发明的系统框架，多视角视频序列通过映射函数对各个视角进行补偿，该补偿没有选取参考视角把其他视角都补偿到参考视角，而是把每个视角都补偿到它们共有的低秩结构，从而避免了选取参考视角的情形下，对远离参考视角的视角进行补偿时的较大校正。补偿以后的多视角视频用标准多视角视频编解码软件进行编码，传输和解码。

本发明把亮度补偿问题转化为通过低秩矩阵完备的噪声去除问题，通过建立一个不完备的矩阵，矩阵每一列代表其一时刻的一个视角，每一行代表各个视角的同一点。各 个视角间的亮度差异看作叠加在该点的混合噪声。如果未知的点被正确的填充，那么该矩阵是低秩的。通过矩阵完备恢复出低秩结构建立映射函数用于亮度补偿。将所述映射函数应用于原始的多视角视频序列，得到补偿后的多视角视频序列，补偿后的多视角序列提高了视角间的一致性，使得编码过程中视角间的预测效率增加，从而提高了编码效率。

如图2所示，为获得多视角视频映射函数的具体实现过程，包括如下步骤:

步骤一:

视角间不完备矩阵的建立，利用相机参数和各个视角相对应的深度图，对应点通过一个三维卷绕(warping)过程获得。匹配点通过投影一个参考视角的像素点到三维空间后再逆投影到目标视角检测出。令I_k表示其一时刻的第k个视角，d_k为相应的深度图，A_k，R_k和t_k分别表示相机的内部矩阵，旋转矩阵和平移向量，则点I_k(x，y)的三维坐标X可表示为:

$X=R_k{A}_k^{-1}{\left[I_k(x,y)1\right]}^T{d}_k(x,y)+t_k$

三维点X投影到目标视角I_j以得到匹配点I_j(x′，y′)

$I_j\left(x^{\′}{,y}^{\′}\right)=A_j{R}_j^{-1}(X-t_j)$

(x′，y′)为第j个视角中匹配点的坐标，由于遮挡的存在以及深度图的不准确性，得到的匹配点(x′，y′)可能不是正确的匹配点，因此，本实施例以距离(x′，y′)最近的整像素点为中心，该像素点的8-邻域像素点为候选点(如图2所示)，所有的9个点反向投影到三维空间得到点集X_set，最近的三维点X_t通过以下标准选取:

$X_t=\underset{X^{\′}\∈X_{\mathrm{set}}}{\arg \min }{\left|\right|X^{\′}-X\left|\right|}_2$

通过X_t求得参考视角投影点I_k(x_t，y_t)，考虑到遮挡的存在，如果I_k(x_t，y_t)和I_k(x，y)之间的距离小于其一门限值，则这两个点就可以被看作视角间的对应点，否则目标视角中对应于参考视角的对应点不存在(在图2中标记为999)。在寻找匹配点的过程中，中间视角被选择为参考视角，所有的中间视角点都被投影到其余所有视角以寻找匹配点。为了得到更多的匹配点，在不同的时间点重复这个投影过程。

步骤二:通过矩阵完备提取低秩结构

为了从建立的不完备噪声矩阵中恢复出低秩结构，在进行矩阵完备之前采取了一个预处理步骤，仅选取可靠的点用于完备。选取标准为像素点相较于每一行所有已知点均值的偏差大小，当偏差大于某一门限值时(实验中选取门限值为2σ，σ为该行已知值的 标准差)，该点被标记为未知点，不用于接下来的完备过程。低秩矩阵A可以通过矩阵完备从Y中恢复:

$\min \frac{1}{2}{\left|\right|P_{\mathrm{\Ω}}(A-Y)\left|\right|}_F^2+\mathrm{\μ}{\left|\right|A\left|\right|}_{*}$

步骤三:通过完备前后矩阵得到映射函数

利用不完备的噪声矩阵Y和完备以后的低秩矩阵A可以得到用于亮度补偿的映射函数。令Y_i和Yj表示矩阵Y的第i行和第j列，对于一个给定的视角k，找到Y中相应的K个对应列记录下子矩阵中像素值为n(0≤n≤255)的M行对矩阵A中的行向量取均值以得到校正以后的值n′(0≤n′≤255)，令N表示矩阵A的列向量维数，则该过程可以表示为:

$n^{\′}=\mathrm{map}(n,k)=\mathrm{round}\left(\frac{{\mathrm{\Σ}}_{k=1}^M{A}_{i_k}}{\mathrm{MN}}\right)$

得到映射函数以后，将该映射函数应用于亮度补偿得到补偿以后的多视角视频序列，再进行编码，传输和解码。

实施效果:

依据上述步骤，采用发明内容中的步骤进行实施，实验采用视频序列为标准测试序列Ballet，Breakdancers和Rena，均选取8个视角，编码软件采用多视角视频参考软件JMVC(版本8.3.1)，GOP大小为12，量化步长为典型的步长22，27，32，37，对每一个视角，每隔10帧选取一帧用于建立不完备矩阵，用于选取可靠像素的门限值设置为使不完备矩阵中已知点所占比例为50%～60%。

提出的方法分别与(1)原始的未进行补偿的多视角视频编码方法和(2)由U.Fecker等人提出的直方图匹配的补偿方案进行比较。实验结果表明，相较于未进行补偿的编码方法，提出的方法可以获得0.4到0.7dB的亮度增益和1.1到2.1dB的色度增益，相较于直方图匹配的方法，该增益分别为0.3到0.8dB和0.9到1.9dB;主观质量表明该方法得到的补偿后的多视角视频序列相较于未补偿视频序列具有更大的视角间相关性，通过对编码过程中是采用时间预测还是视角间预测的统计分析表明，补偿以后的多视角视频产生更大的视角间预测比例，这也表明通过补偿后视角间的相关性增大。

通过对补偿前后的多视角视频的相似度(SSIM)分析发现，相较于直方图匹配的补偿方案，本发明提出的补偿方法与原视频序列有更大的相似性，及校正度更少。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上 述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本发明的实质内容。

Claims (5)

1.一种多视角视频编码中基于低秩结构提取的亮度补偿方法，其特征在于，多视角视频序列通过映射函数对各个视角进行补偿，所述方法把亮度补偿问题转化为通过低秩矩阵完备的噪声去除问题，用于补偿的映射函数通过视角间的对应关系建立不完备矩阵，把视角间对应点的亮度差异看作叠加在原始视角上的混合噪声，通过矩阵完备恢复出潜在的低秩结构矩阵，利用完备前后的矩阵建立映射关系得到映射函数，将该映射函数应用于亮度补偿；

所述通过视角间的对应关系建立不完备矩阵，具体为：利用相机参数和各个视角相对应的深度图，对应点通过一个三维卷绕过程获得；匹配点通过投影一个参考视角的像素点到三维空间后再逆投影到目标视角检测出；令I_k表示某一时刻的第k个视角，d_k为相应的深度图，A_k,R_k和t_k分别表示相机的内部矩阵、旋转矩阵和平移向量，则点I_k(x，y)的三维坐标X表示为：

三维点X投影到目标视角I_j以得到匹配点I_j(x′，y′)

(x′，y′)为第j个视角中匹配点的坐标，以距离(x′，y′)最近的整像素点为中心，该像素点的8-邻域像素点为候选点，所有的9个点反向投影到三维空间得到点集X_set，最近的三维点X_t通过以下标准选取：

通过X_t求得参考视角投影点I_k(x_t，y_t)，考虑到遮挡的存在，如果I_k(x_t，y_t)和I_k(x，y)之间的距离小于某一门限值，则这两个点就可以被看作视角间的对应点，否则目标视角中对应于参考视角的对应点不存在；在寻找匹配点的过程中，中间视角被选择为参考视角，所有的中间视角点都被投影到其余所有视角以寻找匹配点，为了得到更多的匹配点，在不同的时间点重复这个投影过程。

2.根据权利要求1所述的多视角视频编码中基于低秩结构提取的亮度补偿方法，其特征在于：所述的建立不完备矩阵，其中不完备矩阵中的每个已知点都看作一个真实的像素值加上一个噪声值，该噪声有多种来源，被视为一种混合噪声；对得到的不完备 矩阵进行预处理，仅选取可靠地像素点进行矩阵完备，恢复出潜在的低秩结构矩阵。

3.根据权利要求1所述的多视角视频编码中基于低秩结构提取的亮度补偿方法，其特征在于：未知点的正确填充是利用矩阵完备的方法实现的，利用不完备的噪声矩阵Y和完备以后的低秩矩阵A得到用于亮度补偿的映射函数；令Y_i和Y^j表示矩阵Y的第i行和第j列，对于一个给定的视角k，找到Y中相应的K个对应列记录下子矩阵 中像素值为n(0≤n≤255)的M行对矩阵A中的行向量取均值以得到校正以后的值n′(0≤n′≤255)，令N表示矩阵A的列向量维数,则该过程表示为：

该映射函数用于对各个视角的亮度值进行匹配补偿，补偿以后的多视角视频再进行编解码。

4.根据权利要求3所述的多视角视频编码中基于低秩结构提取的亮度补偿方法，其特征在于：所述映射函数补偿各个视角的亮度值到它们共有的低秩结构。

5.根据权利要求1-4任一项所述的多视角视频编码中基于低秩结构提取的亮度补偿方法，其特征在于：将所述映射函数应用于原始的多视角视频序列，得到补偿后的多视角视频序列，补偿后的多视角序列提高了视角间的一致性，使得编码过程中视角间的预测效率增加，从而提高了编码效率。