CN102790895A - 一种基于最小二乘的多视点视频编码视点合成预测方法 - Google Patents

Abstract

本发明涉及一种基于最小二乘的多视点视频编码视点合成预测方法。本发明首先通过三维变换找到虚拟视点帧的当前像素点在参考视点帧中的对应像素；然后，将得到的参考视点帧中的对应像素，作为虚拟视点帧的当前像素的预测像素；其次，利用先前已解码的帧及其虚拟视点帧，采用最小二乘法训练求得预测系数；再次，根据得到预测系数，将预测像素的像素值通过线性估计来得到当前像素的像素值，对于每个像素执行相同的操作，最终得到虚拟视点帧；最后，将生成的虚拟视点帧，加入到参考帧列表，编码器根据参考帧列表对当前视点待编码帧进行编码。本发明同时利用视点内和视点间的信息来增强合成视点的质量，提高了基于视点合成预测的多视点视频编码效率。

Description

一种基于最小二乘的多视点视频编码视点合成预测方法

技术领域

本发明涉及一种多视点视频编码视点合成预测方法，尤其是涉及一种基于最小二乘的多视点视频编码视点合成预测方法。

背景技术

第一代3D显示终端是基于左右格式的，它只提供两路视频流，分别用于左右眼。这意味着基于这种立体终端要求观看者佩戴特殊眼镜坐在一个较为狭窄的范围内观看。虽然，当前的立体显示系统能够提供高质量的3D视频，但在观看上的这些限制影响了观看时的舒适与自然。近来，深度图研究的进步带动了一种新的3D显示终端的发展，即自由视点电视。

自由视点电视在不同方向显示不同的立体视频流，它可以为用户提供对于场景的自由视点选择，而且用户不需要配戴眼镜。为了提供一个宽阔的观赏视角和视点过渡，这种显示需要使用更多数目的视频流。深度图信息将有助于合成中间视点以到达视点无缝过渡的目的。然而，多台摄像机的拍摄导致了数据量的显著增加，需要对多路视频流进行压缩，一个直接的方法是利用最新的多视点视频编码国际标准（MVC）来压缩不同的纹理视点。然而，一方面，在MVC中使用的平移运动模型不足以消除由于不同摄像机拍出的物体的位置不同产生的视点间冗余。另一方面，这种方法忽略了纹理图和对应的深度图之间的关系。

因此，在2006年，Martinian等人，首次提出深度辅助的视间预测方法，称为基于视点合成预测（VSP）的多视点视频编码，以提高视间预测效率[1]。这种方法的基本思想是通过三维变换来创建当前视点的一个虚拟视点，在预测的过程中可以作为附加的参考视点。与视差预测相比，VSP可很好地补偿不同视点间的几何差异。2008年，Oh等利用VSP的技术来压缩多视深度数据[2]。此外，在2009年，Sehoon等提出了基于VSP的率失真优化模型[3]。为改变视差矢量的预测，在2010年，Iyer等通过基于VSP的后向变换，提出了一种基于三维变换的视差矢量预测方法[4]。在2011年，Shinya等利用VSP来完成后向运动估计和视差估计[5]。

然而，现有的VSP技术仅仅使用了相邻的视点间信息去合成虚拟视点，由于深度信息的不准确，不同相机的异质性，和对象的非朗伯反射，虚拟视点的质量和预测能力是有限的。因此，现有的VSP技术很难大幅度降低码率，而在VSP技术中，虚拟视点不是被用于显示的，而只是用于预测。

发明内容

本发明主要是解决现有技术所存在的技术问题；提供了一种基于最小二乘的多视点视频编码视点合成预测方法。

本发明的上述技术问题主要是通过下述技术方案得以解决的：

一种基于最小二乘的多视点视频编码视点合成预测方法，其特征在于，包括以下步骤：

步骤1，通过三维变换找到虚拟视点帧的当前像素点在参考视点帧中的对应像素；

步骤2，将步骤1得到的参考视点帧中的对应像素及其邻域的八个像素，作为虚拟视点帧的当前像素的预测像素；

步骤3，利用编码器中当前帧之前的重建帧及其虚拟视点帧，采用最小二乘法训练求得预测系数；

步骤4，根据步骤3得到预测系数，将预测像素的像素值通过线性估计来得到当前像素的像素值，

步骤5，对于每个像素重复执行步骤1至步骤4，最终得到虚拟视点帧；

步骤6，将步骤5生成的虚拟视点帧，加入到参考帧列表，编码器根据参考帧列表对当前视点待编码帧进行编码。

在上述的一种基于最小二乘的多视点视频编码视点合成预测方法，步骤1中，找到虚拟视点帧中的当前像素在参考视点帧中的对应像素的步骤采用以下步骤实现，

对于虚拟视点帧中的当前像素

其在参考视点帧中的对应像素通过式一和式二来获取：

[u,v,w]＝R(c)·A^-1(c)·[x,y,1]·D[c,t,x,y]+T(c)式一

[x',y',z']＝A(c')·R^-1(c')·{[u,v,w]-T(c′)}式二

式一和式二中，A，R和T分别表示内参矩阵，旋转矩阵和相机的平移矢量；c和t分别表示参考视点标号与视点内时域上的序号；D为深度值；[x，y,1]是虚拟视点帧中的像素坐标，[x′，y',z']是参考视点帧中的像素坐标，[u,v,w]指的是世界坐标。

在上述的一种基于最小二乘的多视点视频编码视点合成预测方法，步骤2中，将步骤1得到的参考视点帧中的对应像素及其周围像素，作为虚拟视点帧的当前像素的预测像素，选取方式如下：

虚拟视点帧的当前像素的预测像素为步骤1中获得的

与其邻域的N个像素。

在上述的一种基于最小二乘的多视点视频编码视点合成预测方法，所述步骤3中，利用先前已解码的帧及其虚拟视点帧，采用最小二乘法训练求得预测系数，具体采用以下步骤实现，

步骤3.1：将先前已解码的帧作为训练样本，训练窗口的选择如下：

W(T₁,T₁)＝[-T₁,T₁]×[-T₁,T₁]式三

其中T1是空间窗口的大小；W(T₁,T₁)表示训练窗口；

步骤3.2：设在训练窗口中有M个样本，将窗口中的所有样本写成M×1向量

定义训练样本在其虚拟视点帧中的对应像素和它的N个相邻像素为1×（N+1）的向量，则训练样本产生一个大小为M×（N+1）的协方差矩阵C，于是，预测系数

由式四和五获得：

$\stackrel{\→}{\mathrm{\α}}=\underset{\stackrel{\→}{\mathrm{\α}}}{\arg \min }\mathrm{MSE}=\underset{\stackrel{\→}{\mathrm{\α}}}{\arg \min }{\left|\right|{\stackrel{\→}{y}}_{M\×1}-C_{M\×(N+1)}{\stackrel{\→}{\mathrm{\α}}}_{(N+1)\×1}\left|\right|}^2$ 式四

$\stackrel{\→}{\mathrm{\α}}={\left(C^{T}C\right)}^{-1}{C}^T\stackrel{\→}{y}$ 式五

其中C_M×(N+1)表示所有训练样本及其预测像素所组成的矩阵；

和

表示训练样本像素；C^T表示C_M×(N+1)的转置。

在上述的一种基于最小二乘的多视点视频编码视点合成预测方法，所述步骤4中，根据步骤3得到预测系数，将预测像素的像素值通过线性估计来得到当前像素的像素值，对于每个像素执行相同的操作，最终得到虚拟视点帧，采用以下步骤实现：

在得到预测系数后，对于虚拟视点帧中的当前像素，它的像素值利用其在参考视点帧中的对应像素及该像素的邻域像素线性估计得来，如式六所示：

$P_{\mathrm{syn}}\left({\stackrel{\→}{n}}_1\right)={\mathrm{\Σ}}_{k=1}^{N+1}{\mathrm{\α}}_k{P}_{\mathrm{ref}}\left({\stackrel{\→}{m}}_k\right)$ 式六

其中

为虚拟视点帧中的像素坐标[x，y，1]，

表示对应像素及该像素的邻域像素的坐标。

在上述的一种基于最小二乘的多视点视频编码视点合成预测方法，将步骤5生成的虚拟视点帧，加入到参考帧列表采用如下方式实现：

对于P视点锚定帧，只使用LIST_0用于预测，直接在列表末尾增加虚拟视点帧，对于P视点锚定帧，只使用LIST_0预测，直接将虚拟视点帧放至参考帧列表末尾；对于P视点非锚定帧，LIST_0和LIST_1都用于层次B帧预测，因此用虚拟视点帧替换LIST_0中的第一个后向时域参考帧，以及LIST_1中的第一个前向时域参考帧，对于B视点的锚定帧，直接将虚拟视点帧加至LIST_0和LIST_1的末尾；对于B视点的非锚定帧，参考帧列表的管理方式和P视点的相同。

因此，本发明具有如下优点：1、在合成虚拟视点进行预测时不仅利用了视间信息，还利用了时域信息，使得合成的视点对视点间光照的差异、深度信息的误差更加鲁棒；2、合成的视点更接近于当前视点，使得VSP技术能大幅度降低多视点视频编码码率。

附图说明

图1是本发明的方法流程示意图。

具体实施方式

下面通过实施例，并结合附图，对本发明的技术方案作进一步具体的说明。

实施例：

本发明技术方案可采用如下步骤进行。为便于实施参考起见，结合附图和实施例详细说明发明技术方案。本发明实施例提供基于最小二乘的视点合成预测多视点视频编码方法，采用MVC参考软件JMVC6.0作为编码器，选取分辨率为1024×768大小的多视点标准测试序列“ballet”和“breakdancers”的第0、1、2视点进行本算法的测试，GOP（图像组）设置为8，QP（量化步长）分别为22,27,32,37，以编码第2视点中的第3帧为例，说明编码当前视点待编码帧时的步骤，流程图见图1：

步骤1，通过三维变换找到第3帧的虚拟视点帧的当前像素在参考视点0的第3帧中的对应像素

[u,v,w]＝R(c)·A^-1(c)·[x,y,1]·D[c,t,x,y]+T(c)

（1）

[x',y',z']＝A(c')·R^-1(c')·{[u,v,w]-T(c′)}

（2）

公式1和公式2中，A，R和T分别表示内参矩阵，旋转矩阵和相机的平移矢量；c和t分别表示参考视点标号与视点内时域上的序号；D为深度值；[x，y,1]是虚拟视点帧中的像素

的坐标，[x′，y',z']是参考视点帧中的像素

的坐标，[u,v,w]指的是世界坐标。

步骤2，将步骤1得到的参考视点帧中的对应像素及其周围像素，作为虚拟视点帧的当前像素的预测像素；实施例将步骤1得到的参考视点0的第3帧中的对应像素及其周围像素，作为虚拟视点帧的当前像素的预测像素。

步骤3，利用先前已解码的帧及其虚拟视点帧，采用最小二乘法训练求得预测系数。为便于实施参考起见，提供具体步骤如下：

步骤3.1：将先前已解码的帧作为训练样本，训练窗口的选择如下：

W(T₁,T₁)＝[-T₁,T₁]×[-T₁,T₁](3)

其中T1是空间窗口的大小，在本申请中，T1设为3。那么训练窗口的大小为7×7。另外，由于先前已解码帧的虚拟视点帧已经被获取，对于一个训练样本，它的预测像素为虚拟帧中对应位置像素及其周围像素；

步骤3.2：设在训练窗口中有M个样本，将窗口中的所有样本写成M×1向量

把训练样本在其虚拟视点帧中的对应像素和它的N个相邻像素写成1×（N+1）的向量，这样所有的训练样本就可以产生一个大小为M×（N+1）的协方差矩阵C，此处，M=49，N=9，于是，预测系数

可以由公式4和公式5求得：

$\stackrel{\→}{\mathrm{\α}}=\underset{\stackrel{\→}{\mathrm{\α}}}{\arg \min }\mathrm{MSE}=\underset{\stackrel{\→}{\mathrm{\α}}}{\arg \min }{\left|\right|{\stackrel{\→}{y}}_{M\×1}-C_{M\×(N+1)}{\stackrel{\→}{\mathrm{\α}}}_{(N+1)\×1}\left|\right|}^2---\left(4\right)$

$\stackrel{\→}{\mathrm{\α}}={\left(C^{T}C\right)}^{-1}{C}^T\stackrel{\→}{y}---\left(5\right)$

步骤4，根据步骤3得到预测系数，将预测像素的像素值通过线性估计来得到当前像素的像素值，对于每个像素执行相同的操作，最终得到虚拟视点帧。为便于实施参考起见，提供具体步骤如下：

步骤4.1：在得到预测系数后，对于虚拟视点帧中的当前像素，它的像素值利用其在参考视点帧中的对应像素及该像素的邻域像素线性估计得来，如公式6所示。

$P_{\mathrm{syn}}\left({\stackrel{\→}{n}}_1\right)={\mathrm{\Σ}}_{k=1}^{N+1}{\mathrm{\α}}_k{P}_{\mathrm{ref}}\left({\stackrel{\→}{m}}_k\right)---\left(6\right)$

其中

为虚拟视点帧中的像素坐标[x，y，1]，

表示对应像素及该像素的邻域像素的坐标；

步骤5，将步骤4生成的虚拟视点帧，加入到参考帧列表。为便于实施参考起见，提供步骤具体如下：

步骤5.1：对于第2视点中的第3帧，LIST_0和LIST_1都用于层次B帧编码，因此用虚拟视点帧替换LIST_0中的第一个后向时域参考帧，以及LIST_1中的第一个前向时域参考帧，根据参考帧列表对当前视点待编码帧进行编码。

为说明本发明所取得的技术效果起见，对分辨率为1024×768大小的“ballet”和“breakdancers”多视点序列的第0、1、2视点进行编码测试，测试平台为JMVC6.0，每个视点的编码帧数为49帧，GOP（图像组）设置为8，QP（量化步长）分别为22,27,32,37，分别将本发明提出的方法、传统的基于视点合成预测的多视点视频编码方法[4]与MVC标准编码方法进行了比较，编码的码率节省结果下表所示，从中可以看出本发明具有更佳的压缩效率。

本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

Claims (6)

1.一种基于最小二乘的多视点视频编码视点合成预测方法，其特征在于，包括以下步骤：

步骤1，通过三维变换找到虚拟视点帧的当前像素点在参考视点帧中的对应像素；

步骤2，将步骤1得到的参考视点帧中的对应像素及其邻域的八个像素，作为虚拟视点帧的当前像素的预测像素；

步骤3，利用编码器中当前帧之前的重建帧及其虚拟视点帧，采用最小二乘法训练求得预测系数；

步骤4，根据步骤3得到预测系数，将预测像素的像素值通过线性估计来得到当前像素的像素值，

步骤5，对于每个像素重复执行步骤1至步骤4，最终得到虚拟视点帧；

步骤6，将步骤5生成的虚拟视点帧，加入到参考帧列表，编码器根据参考帧列表对当前视点待编码帧进行编码。

2.根据权利要求1所述的一种基于最小二乘的多视点视频编码视点合成预测方法，其特征在于，步骤1中，找到虚拟视点帧中的当前像素在参考视点帧中的对应像素的步骤采用以下步骤实现，

对于虚拟视点帧中的当前像素

其在参考视点帧中的对应像素通过式一和式二来获取：

[u,v,w]＝R(c)·A^-1(c)·[x,y,1]·D[c,t,x,y]+T(c)

[x′，y′，z']＝A(c′)·R^-1(c')·{[u,v,w]-T(c′)}式二

式一和式二中，A，R和T分别表示内参矩阵，旋转矩阵和相机的平移矢量；c和t分别表示参考视点标号与视点内时域上的序号；D为深度值；[x，y,1]是虚拟视点帧中的像素坐标，[x′，y',z']是参考视点帧中的像素坐标，[u,v,w]指的是世界坐标。

3.根据权利要求1所述的一种基于最小二乘的多视点视频编码合成预测方法，其特征在于，步骤2中，将步骤1得到的参考视点帧中的对应像素及其周围像素，作为虚拟视点帧的当前像素的预测像素，选取方式如下：

虚拟视点帧的当前像素的预测像素为步骤1中获得的

与其邻域的N个像素。

4.根据权利要求1所述的一种基于最小二乘的多视点视频编码视点合成预测方法，其特征在于，所述步骤3中，利用先前已解码的帧及其虚拟视点帧，采用最小二乘法训练求得预测系数，具体采用以下步骤实现，

步骤3.1：将先前已解码的帧作为训练样本，训练窗口的选择如下：

W(T₁,T₁)＝[-T₁,T₁]×[-T₁,T₁]式三

其中T1是空间窗口的大小；W(T₁,T₁)表示训练窗口；

步骤3.2：设在训练窗口中有M个样本，将窗口中的所有样本写成M×1向量

定义训练样本在其虚拟视点帧中的对应像素和它的N个相邻像素为1×（N+1）的向量，则训练样本产生一个大小为M×（N+1）的协方差矩阵C，于是，预测系数

由式四和五获得：

$\stackrel{\→}{\mathrm{\α}}=\underset{\stackrel{\→}{\mathrm{\α}}}{\arg \min }\mathrm{MSE}=\underset{\stackrel{\→}{\mathrm{\α}}}{\arg \min }{\left|\right|{\stackrel{\→}{y}}_{M\×1}-C_{M\×(N+1)}{\stackrel{\→}{\mathrm{\α}}}_{(N+1)\×1}\left|\right|}^2$ 式四

$\stackrel{\→}{\mathrm{\α}}={\left(C^{T}C\right)}^{-1}{C}^T\stackrel{\→}{y}$ 式五

其中C_M×(N+1)表示所有训练样本及其预测像素所组成的矩阵；

和

表示训练样本像素；C^T表示C_M×(N+1)的转置。

5.根据权利要求1所述的一种基于最小二乘的多视点视频编码视点合成预测方法，其特征在于，所述步骤4中，根据步骤3得到预测系数，将预测像素的像素值通过线性估计来得到当前像素的像素值，对于每个像素执行相同的操作，最终得到虚拟视点帧，采用以下步骤实现：

在得到预测系数后，对于虚拟视点帧中的当前像素，它的像素值利用其在参考视点帧中的对应像素及该像素的邻域像素线性估计得来，如式六所示：

$P_{\mathrm{syn}}\left({\stackrel{\→}{n}}_1\right)={\mathrm{\Σ}}_{k=1}^{N+1}{\mathrm{\α}}_k{P}_{\mathrm{ref}}\left({\stackrel{\→}{m}}_k\right)$

式六

其中

为虚拟视点帧中的像素坐标[x，y,1]，

表示对应像素及该像素的邻域像素的坐标。

6.根据权利要求1所述的一种基于最小二乘的多视点视频编码视点合成预测方法，其特征在于，将步骤5生成的虚拟视点帧，加入到参考帧列表采用如下方式实现：

对于P视点锚定帧，只使用LIST_0用于预测，直接在列表末尾增加虚拟视点帧，对于P视点锚定帧，只使用LIST_0预测，直接将虚拟视点帧放至参考帧列表末尾；对于P视点非锚定帧，LIST_0和LIST_1都用于层次B帧预测，因此用虚拟视点帧替换LIST_0中的第一个后向时域参考帧，以及LIST_1中的第一个前向时域参考帧，对于B视点的锚定帧，直接将虚拟视点帧加至LIST_0和LIST_1的末尾；对于B视点的非锚定帧，参考帧列表的管理方式和P视点的相同。

Images