CN103108187A - 一种三维视频的编码方法、解码方法、编码器和解码器 - Google Patents

Abstract

本发明提出一种三维视频的编码方法、解码方法及其编码器和解码器，其中编码方法包括步骤：对参考视点的深度图和纹理图进行编码，得到参考视点编码重建深度图和参考视点编码重建纹理图；根据参考视点编码重建深度图和参考视点编码重建纹理图以及相应的相机参数，通过三维几何变换，得到目标视点合成参考帧；获取参考视点原始纹理图并作为原始信号，将目标视点合成参考帧作为加噪后的信号，进行维纳滤波，得到优化目标视点合成参考帧，并解得维纳滤波器系数；将优化目标视点合成参考帧加入参考帧集，并将维纳滤波器系数写入码流。本发明具有提高编码效率，改善视频质量的优点。

Description

一种三维视频的编码方法、解码方法、编码器和解码器

技术领域

本发明涉及三维视频编码技术领域，特别是提出一种基于维纳滤波的三维视频编码/解码方法及编码/解码装置。

背景技术

随着多媒体通信技术的不断发展，传统的二维平面图像视频，甚至固定视点的三维图像视频，已经不能再满足人们的视觉感知需求。近些年，在医学，军事，娱乐等众多应用领域内都出现了对于自由视点视频和三维视频的需求。例如，能够自由切换观看视角的自由视点显示设备，以及向不同位置的观看者显示不同广视角视频的三维电视。为了实现这些应用，高效的多视点视频编码技术显得尤为重要。

在多视点视频编码中，由于拍摄角度的差异，多个摄像机在拍摄同一场景时，生成的视点间存在一定的几何失真。视点合成预测（VSP）技术是针对补偿几何失真提出的，其主要思想是：在编码端重复利用深度信息以及编码重建的纹理视频信息合成一个视点图像，并将其用作当前编码图像的参考图像，这种算法使得生成的视点图像比视点间参考图像更加接近当前编码图像，从而可以大大减少视点间的数据冗余。进一步地说，视点合成预测技术在图像帧级别的实现可以简单描述为：利用参考视点以及场景的几何信息来合成虚拟视点的图像，并将这些虚拟视点的合成图像作为当前编码视点的参考帧用来预测编码。因此，视点合成的参考帧的图像质量大大影响着编码预测的精度和准度。若能提高视点合成参考帧的图像质量，则能够一定的提高编码性能。

现有技术的视点合成预测技术的缺点在于，视点合成参考帧的质量不够高，从而直接影响了相关视频序列的编码性能。本发明通过利用维纳滤波的方法，将已生成的视点合成参考帧进行滤波优化，提高了视点合成参考帧的质量，进而提高了编码的精准度和编码性能。

发明内容

本发明旨在至少在一定程度上解决上述技术问题之一或至少提供一种有用的商业选择。为此，本发明的一个目的在于提出一种编码效率高、视频质量好的三维视频编码/解码方法。本发明的另一个目的在于提出一种编码效率高、视频质量好的三维视频编码/解码装置。

根据本发明实施例的三维视频的编码方法，包括：一种三维视频的编码方法，其特征在于，包括：S1.对参考视点的深度图和纹理图进行编码，得到参考视点编码重建深度图D_rec和参考视点编码重建纹理图T_rec；S2.根据所述参考视点编码重建深度图D_rec和参考视点编码重建纹理图T_rec以及相应的相机参数，通过三维几何变换，得到目标视点合成参考帧VS_rec；S3.获取参考视点原始纹理图T_orig并作为原始信号，将所述目标视点合成参考帧VS_rec作为加噪后的信号，进行维纳滤波，得到优化目标视点合成参考帧VS_rec_wiener，并解得维纳滤波器系数；以及S4.将所述优化目标视点合成参考帧VS_rec_wiener加入参考帧集，并将所述维纳滤波器系数写入码流。

可选地，通过求解维纳霍夫方程计算所述维纳滤波器系数。

可选地，所述维纳滤波器中：定义输入像素x_k和维纳滤波器输出像素z_k，其中维纳滤波器的输出z_k由滤波器支集{S}中的重建像素y_i组成，支集大小为L+1，权值为c_i，则维纳滤波器函数为：

输入像素x_k和维纳滤波后的像素z_k间的残差信号C定义为：error_k＝z_k-x_k，通过使具有滤波器抽头{c_i}的均方差最小化而优化维纳滤波器：

为了找到

的最小值，对c_i取导数并通过令导数等于零而推导出滤波器抽头： $\frac{\∂}{\∂c_i}E\left[{\mathrm{error}}_k^2\right]=2\left(\underset{j\∈\left\{S\right\}}{\mathrm{\Σ}}E\right\{\left(y_i\right)\left(y_j\right)\left\}{c}_j\right)-2E\left[\left(y_i\right)\left(x_k\right)\right]=0,$ 其中i＝0,……，L，记{y}的自相关函数以及{y}和{x}的互相关函数分别为r_yy(i)=E[y_k y_k+1]和r_xy(i)=E[x_k y_k+1]，则用矩阵形式重写为：

从而维纳滤波系数{C}可以用矩阵形式推导为：

根据本发明实施例的三维视频的解码方法，其特征在于，包括：S1.接收由根据权利要求1-3任一项所述的三维视频的编码方法得到的码流，准备逐帧解码参考帧图像；S2.判断所述参考帧图像的类型，如果是目标视点合成参考帧，则执行S31-S34，如果是独立视点参考帧，则执行S4；S31.从码流中提取参考视点编码重建深度图D_rec和参考视点编码重建纹理图T_rec；S32.从码流中提取相应的相机参数，结合所述参考视点编码重建深度图D_rec和参考视点编码重建纹理图T_rec，通过三维几何变换，得到目标视点合成参考帧VS_rec；S33.从码流中提取所述维纳滤波系数，对所述目标视点合成参考帧VS_rec进行降噪滤波，得到最终目标视点合成参考帧VS_rec_final；和S34.读取最终目标视点合成参考帧VS_rec_final的信息，完成视频图像的解码过程；S4.直接读取所述参考帧图像的信息，完成视频图像的解码过程。

根据本发明实施例的三维视频的编码器，包括：S1.编码重建模块，所述重建模块用于对参考视点的深度图和纹理图进行编码，得到参考视点编码重建深度图D_rec和参考视点编码重建纹理图T_rec；S2.几何变换模块，是集合变换模块用于根据所述参考视点编码重建深度图D_rec和参考视点编码重建纹理图T_rec以及相应的相机参数，通过三维几何变换，得到目标视点合成参考帧VS_rec；S3.维纳滤波计算模块，所述滤波模块以参考视点原始纹理图T_orig作为原始信号，以所述目标视点合成参考帧VS_rec作为加噪后的信号，进行维纳滤波，得到优化目标视点合成参考帧VS_rec_wiener，并解得维纳滤波器系数；以及S4.码流发送模块，所述编码发送模块将所述优化目标视点合成参考帧VS_rec_wiener加入参考帧集，并将所述维纳滤波器系数写入码流，随后发送。

可选地，所述维纳滤波计算模块中，通过求解维纳霍夫方程计算所述维纳滤波器系数。

可选地，所述维纳滤波器中：定义输入像素x_k和维纳滤波器输出像素z_k，其中维纳滤波器的输出z_k由滤波器支集{S}中的重建像素y_i组成，支集大小为L+1，权值为c_i，则维纳滤波器函数为：

输入像素x_k和维纳滤波后的像素z_k间的残差信号C定义为：error_k=z_k-x_k，通过使具有滤波器抽头{c_i}的均方差最小化而优化维纳滤波器：

为了找到

的最小值，对c_i取导数并通过令导数等于零而推导出滤波器抽头： $\frac{\∂}{\∂c_i}E\left[{\mathrm{error}}_k^2\right]=2\left(\underset{j\∈\left\{S\right\}}{\mathrm{\Σ}}E\right\{\left(y_i\right)\left(y_j\right)\left\}{c}_j\right)-2E\left[\left(y_i\right)\left(x_k\right)\right]=0,$ 其中i＝0，……，L，记{y}的自相关函数以及{y}和{x}的互相关函数分别为r_yy(i)=E[y_k y_k+1]和r_xy(i)=E[x_k y_k+1]，则用矩阵形式重写为：

从而维纳滤波系数{C}可以用矩阵形式推导为：

根据本发明实施例的三维视频的解码器，包括：码流接收模块，所述码流接收模块用于接收由根据权利要求5-7任一项所述的三维视频的编码器发送的码流，准备逐帧解码参考帧图像；判断模块，所述判断模块用于判断所述参考帧图像的类型，如果是目标视点合成参考帧，则依次进入重建模块、几何变换模块、维纳滤波计算模块和解码读取模块，如果是独立视点参考帧，则直接进入所述解码读取模块；所述重建模块，所述重建模块用于从码流中提取参考视点编码重建深度图D_rec和参考视点编码重建纹理图T_rec；所述几何变换模块，所述几何变换模块用于从码流中提取相应的相机参数，结合所述参考视点编码重建深度图D_rec和参考视点编码重建纹理图T_rec，通过三维几何变换，得到目标视点合成参考帧VS_rec；所述维纳滤波计算模块，所述维纳滤波计算模块用于从码流中提取所述维纳滤波系数，对所述目标视点合成参考帧VS_rec进行降噪滤波，得到最终目标视点合成参考帧VS_rec_final，并发送给所述解码读取模块作为更新后的参考帧图像；所述解码读取模块，用于读取所述参考帧图像的信息，完成视频图像的解码过程。

在本发明中，视点合成参考帧在视频编解码过程中生成，由于采用基于维纳滤波的增强视点合成方法，对视点合成参考帧进行了滤波，因而对噪声有较好的抑制作用，将其作为编解码过程中的参考帧，可提高运动估计的准确性，减小预测误差，提高了编码效率，同时改善了编码压缩后重建视频的主观质量。此外，本发明中的视点合成参考帧可在视频解码器中重建生成及动态更新，从而不需要传输大量额外的视频数据，只要在视频当前帧中传输相应的视点合成参考帧的维纳滤波系数，节约了资源。

本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：

图1是根据本发明实施例的三维视频的编码方法的流程图；

图2是根据本发明实施例的三维视频的解码方法的流程图；

图3是根据本发明实施例的三维视频的编码器的结构图；

图4是根据本发明实施例的三维视频的解码器的结构图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”、“顺时针”、“逆时针”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。

在本发明中，除非另有明确的规定和限定，第一特征在第二特征之“上”或之“下”可以包括第一和第二特征直接接触，也可以包括第一和第二特征不是直接接触而是通过它们之间的另外的特征接触。而且，第一特征在第二特征“之上”、“上方”和“上面”包括第一特征在第二特征正上方和斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”包括第一特征在第二特征正下方和斜下方，或仅仅表示第一特征水平高度小于第二特征。

为使本领域技术人员更好地理解本发明，现对视点合成预测技术的框架做进一步介绍。

视点合成预测技术的编码阶段中，编码器基于已编码的相关深度图像以及纹理图像，利用三维几何变换，生成当前编码图像的视点合成参考帧。由于视点合成参考帧在解码端亦可基于相关图像信息，通过三维几何变换，复现生成。所以，基于视点合成预测技术生成的视点合成参考帧并不需要编码写入码流，从而大大减少了编码码流，提高了编码效率。若当前是编码帧所在视点为独立编码视点，则其不存在视点合成参考帧；若当前是编码帧所在视点为前向预测编码视点，则其视点合成参考帧同时刻相邻视点已编码的纹理图以及深度图进行视点合成；若当前是编码帧所在视点为双向预测编码视点，则其视点合成参考帧由同时刻两个相邻视点已编码的纹理图以及深度图进行视点合成，然后将两个图像帧进行加权平均合并，若前向预测视点虚拟合成图像的像素值用P_f表示，后向预测视点虚拟合成图像的像素值用P_b表示，则最终视点合成的参考帧的像素值P_ref可表示为，P_ref=(1-α)P_f+αP_b,0<α<1（α根据视点间的距离而不同。距离越近，α的值越大）。由此可见，视点合成的参考帧的图像质量大大影响着编码预测的精度和准度。若能提高视点合成参考帧的图像质量，则能够一定的提高编码性能。

本发明利用已编码的图像信息作为参考帧对后继编码的图像帧进行预测编码，其中参考帧包含基于三维几何变换的视点合成参考帧。该视点合成参考帧由同时刻相邻视点已编码的纹理图以及深度图进行视点合成。然后，对生成的视点合成参考帧采用维纳滤波器进行滤波，提高视图的质量。更新后的视点合成参考帧在后继的图像帧进行编码时进行预测。相应地，本发明的解码过程也运用了同样的原理以提高编码效率并改善视频质量。

如图1所示，为根据本发明实施例的三维视频的编码方法的流程图，包括：一种三维视频的编码方法，其特征在于，包括：S1.对参考视点的深度图和纹理图进行编码，得到参考视点编码重建深度图D_rec和参考视点编码重建纹理图T_rec；S2.根据参考视点编码重建深度图D_rec和参考视点编码重建纹理图T_rec以及相应的相机参数，通过三维几何变换，得到目标视点合成参考帧VS_rec；S3.获取参考视点原始纹理图T_orig并作为原始信号，将目标视点合成参考帧VS_rec作为加噪后的信号，进行维纳滤波，得到优化目标视点合成参考帧VS_rec_wiener，并解得维纳滤波器系数；以及S4.将优化目标视点合成参考帧VS_rec_wiener加入参考帧集，并将维纳滤波器系数写入码流。

可选地，通过求解维纳霍夫方程计算所述维纳滤波器系数。

可选地，所述维纳滤波器中：定义输入像素x_k和维纳滤波器输出像素z_k，其中维纳滤波器的输出z_k由滤波器支集{S}中的重建像素y_i组成，支集大小为L+1，权值为c_i，则维纳滤波器函数为：

输入像素x_k和维纳滤波后的像素z_k间的残差信号C定义为：error_k＝z_k-x_k，通过使具有滤波器抽头{c_i}的均方差最小化而优化维纳滤波器：

为了找到

的最小值，对c_i取导数并通过令导数等于零而推导出滤波器抽头： $\frac{\&PartialD;}{\&PartialD;c_i}E\left[{\mathrm{error}}_k^2\right]=2\left(\underset{j\&Element;\left\{S\right\}}{\mathrm{\&Sigma;}}E\right\{\left(y_i\right)\left(y_j\right)\left\}{c}_j\right)-2E\left[\left(y_i\right)\left(x_k\right)\right]=0,$ 其中i＝0，……，L，记{y}的自相关函数以及{y}和{x}的互相关函数分别为r_yy(i)=E[y_k y_k+1]和r_xy(i)=E[x_k y_k+1]，则用矩阵形式重写为：

从而维纳滤波系数{C}可以用矩阵形式推导为：

如图2所示，为根据本发明实施例的三维视频的解码方法的流程图，其特征在于，包括：S1.接收由根据权利要求1-3任一项所述的三维视频的编码方法得到的码流，准备逐帧解码参考帧图像；S2.判断参考帧图像的类型，如果是目标视点合成参考帧，则执行S31-S34，如果是独立视点参考帧，则执行S4；S31.从码流中提取参考视点编码重建深度图D_rec和参考视点编码重建纹理图T_rec；S32.从码流中提取相应的相机参数，结合参考视点编码重建深度图D_rec和参考视点编码重建纹理图T_rec，通过三维几何变换，得到目标视点合成参考帧VS_rec；S33.从码流中提取维纳滤波系数，对目标视点合成参考帧VS_rec进行降噪滤波，得到最终目标视点合成参考帧VS_rec_final；和S34.读取最终目标视点合成参考帧VS_rec_final的信息，完成视频图像的解码过程；S4.直接读取参考帧图像的信息，完成视频图像的解码过程。

如图3所示，为根据本发明实施例的三维视频的编码器1000的结构图，包括：S1.编码重建模块1100，用于对参考视点的深度图和纹理图进行编码，得到参考视点编码重建深度图D_rec和参考视点编码重建纹理图T_rec；S2.几何变换模块1200，用于根据参考视点编码重建深度图D_rec和参考视点编码重建纹理图T_rec以及相应的相机参数，通过三维几何变换，得到目标视点合成参考帧VS_rec；S3.维纳滤波计算模块1300，以参考视点原始纹理图T_orig作为原始信号，以目标视点合成参考帧VS_rec作为加噪后的信号，进行维纳滤波，得到优化目标视点合成参考帧VS_rec_wiener，并解得维纳滤波器系数；以及S4.码流发送模块1400，将优化目标视点合成参考帧VS_rec_wiener加入参考帧集，并将所述维纳滤波器系数写入码流，随后发送。

可选地，所述维纳滤波计算模块1300中，通过求解维纳霍夫方程计算所述维纳滤波器系数。

可选地，所述维纳滤波器中：定义输入像素x_k和维纳滤波器输出像素z_k，其中维纳滤波器的输出z_k由滤波器支集{S}中的重建像素y_i组成，支集大小为L+1，权值为c_i，则维纳滤波器函数为：

输入像素x_k和维纳滤波后的像素z_k间的残差信号C定义为：error_k=z_k-x_k，通过使具有滤波器抽头{c_i}的均方差最小化而优化维纳滤波器：

为了找到

的最小值，对c_i取导数并通过令导数等于零而推导出滤波器抽头： $\frac{\&PartialD;}{\&PartialD;c_i}E\left[{\mathrm{error}}_k^2\right]=2\left(\underset{j\&Element;\left\{S\right\}}{\mathrm{\&Sigma;}}E\right\{\left(y_i\right)\left(y_j\right)\left\}{c}_j\right)-2E\left[\left(y_i\right)\left(x_k\right)\right]=0,$ 其中i=0,……，L，记{y}的自相关函数以及{y}和{x}的互相关函数分别为r_yy(i)=E[y_k y_k+1]和r_xy(i)=E[x_k y_k+1]，则用矩阵形式重写为：

从而维纳滤波系数{C}可以用矩阵形式推导为：

如图4所示，为根据本发明实施例的三维视频的解码器2000的结构图，包括：码流接收模块2100，用于接收由根据权利要求5-7任一项的三维视频的编码器1000发送的码流，准备逐帧解码参考帧图像；判断模块2200，用于判断参考帧图像的类型，如果是目标视点合成参考帧，则依次进入重建模块2300、几何变换模块2400、维纳滤波计算模块2500和解码读取模块2600，如果是独立视点参考帧，则直接进入所述解码读取模块2600；重建模块2300，用于从码流中提取参考视点编码重建深度图D_rec和参考视点编码重建纹理图T_rec；几何变换模块2400，用于从码流中提取相应的相机参数，结合参考视点编码重建深度图D_rec和参考视点编码重建纹理图T_rec，通过三维几何变换，得到目标视点合成参考帧VS_rec；维纳滤波计算模块2500，用于从码流中提取维纳滤波系数，对目标视点合成参考帧VS_rec进行降噪滤波，得到最终目标视点合成参考帧VS_rec_final，并发送给解码读取模块2600作为更新后的参考帧图像；解码读取模块2600，用于读取所述参考帧图像的信息，完成视频图像的解码过程。

在本发明中，视点合成参考帧在视频编解码过程中生成，由于采用基于维纳滤波的增强视点合成方法，对视点合成参考帧进行了滤波，因而对噪声有较好的抑制作用，将其作为编解码过程中的参考帧，可提高运动估计的准确性，减小预测误差，提高了编码效率，同时改善了编码压缩后重建视频的主观质量。此外，本发明中的视点合成参考帧可在三维视频的解码器2000中重建生成及动态更新，从而不需要传输大量额外的视频数据，只要在视频当前帧中传输相应的视点合成参考帧的维纳滤波系数。需要说明的是，尽管在编码阶段获得了优化目标视点合成参考帧VS_rec_winer，但解码阶段并没有用到它，而是只用传送一个维纳滤波系数就可以还原编码时所用参考帧，从而节约了资源。

不失一般性地，为了使技术人员更好地理解本发明，申请人现以两路立体视频编码为例进行描述。下面给出本发明实施例提供的技术方案的说明。具体编码/解码的实施步骤如下所示：

1.在三维视频系统的编码端对参考视点的深度图和纹理图进行编码，并得到编码重建的深度图D_rec和纹理图T_rec。

2.根据深度图D_rec、纹理图T_rec以及相应的相机参数，通过三维几何变换，得到目标视点的视点合成图像VS_rec。

3.取相同时刻目标视点的未经过压缩的纹理图为T_orig。

4.将T_orig作为原始信号，VS_rec为加噪后的信号。对VS_rec进行维纳滤波，得到VS_rec_wiener，并通过求解维纳霍夫方程计算得到相应的维纳滤波器系数。

考虑输入像素x_k和维纳滤波器输出像素z_k，其中维纳滤波器的输出z_k由滤波器支集{S}中的重建像素y_i组成，支集大小为L+1，权值为c_i。则维纳滤波器函数为：

$z_k=\underset{i\&Element;\left\{S\right\}}{\mathrm{\&Sigma;}}{y}_i\&CenterDot;c_i$

输入像素x_k和维纳滤波后的像素z_k间的残差信号C定义为：

error_k＝z_k-x_k

通过使具有滤波器抽头{c_i}的均方差最小化而优化维纳滤波器：

$c_i=\arg \min E\left[{\mathrm{error}}_k^2\right]$

为了找到

的最小值，对c_i取导数并通过令导数等于零而推导出滤波器抽头：

$\frac{\&PartialD;}{\&PartialD;c_i}E\left[{\mathrm{error}}_k^2\right]=2\left(\underset{j\&Element;\left\{S\right\}}{\mathrm{\&Sigma;}}E\right\{\left(y_i\right)\left(y_j\right)\left\}{c}_j\right)-2E\left[\left(y_i\right)\left(x_k\right)\right]=0$ 其中i＝0，……，L

记{y}的自相关函数以及{y}和{x}的互相关函数分别为

r_yy(i)=E[y_k y_k+1]和r_xy(i)=E[x_k y_k+1]

则上式可以用矩阵形式重写为：

从而维纳滤波系数{C}可以用矩阵形式推导如下：

$R_{\mathrm{yy}}\&CenterDot;C=R_{\mathrm{xy}}\&DoubleRightArrow;C=R_{\mathrm{yy}}^{-1}\&CenterDot;R_{\mathrm{xy}}$

5.将VS_rec_wiener加入该时刻目标视点编码图像的参考帧集，并将维纳滤波器系数写入码流传送到三维视频系统的编码。

6.解码阶段，若当前解码帧的参考帧为视点合成参考帧，采用与解码端相同的方法生成视点合成参考帧，然后利用码流中的维纳滤波系数对所述参考帧进行降噪滤波，得到最终的视点合成参考帧。

从上述具体实施例中可以看出，本发明实施例提供了一种引入基于维纳滤波的增强视点合成参考帧的视频编解码方法及装置，用以提高三维视频的编码压缩效率与质量。本发明实施例对视点合成后的参考帧采用维纳滤波器进行滤波优化，提高了虚拟视点图像的质量。

需要说明的是，流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在不脱离本发明的原理和宗旨的情况下在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (8)

1.一种三维视频的编码方法，其特征在于，包括：

S1.对参考视点的深度图和纹理图进行编码，得到参考视点编码重建深度图D_rec和参考视点编码重建纹理图T_rec；

S2.根据所述参考视点编码重建深度图D_rec和参考视点编码重建纹理图T_rec以及相应的相机参数，通过三维几何变换，得到目标视点合成参考帧VS_rec；

S3.获取参考视点原始纹理图T_orig并作为原始信号，将所述目标视点合成参考帧VS_rec作为加噪后的信号，进行维纳滤波，得到优化目标视点合成参考帧VS_rec_wiener，并解得维纳滤波器系数；以及

S4.将所述优化目标视点合成参考帧VS_rec_wiener加入参考帧集，并将所述维纳滤波器系数写入码流。

2.如权利要求1所述的三维视频的编码方法，其特征在于，通过求解维纳霍夫方程计算所述维纳滤波器系数。

3.如权利要求1所述的三维视频的编码方法，其特征在于，所述维纳滤波器中：

定义输入像素x_k和维纳滤波器输出像素z_k，其中维纳滤波器的输出z_k由滤波器支集{S}中的重建像素y_i组成，支集大小为L+1，权值为c_i，则维纳滤波器函数为：

输入像素x_k和维纳滤波后的像素z_k间的残差信号C定义为：error_k＝z_k-x_k，通过使具有滤波器抽头{c_i}的均方差最小化而优化维纳滤波器：

为了找到的最小值，对c_i取导数并通过令导数等于零而推导出滤波器抽头： $\frac{\&PartialD;}{\&PartialD;c_i}E\left[{\mathrm{error}}_k^2\right]=2\left(\underset{j\&Element;\left\{S\right\}}{\mathrm{\&Sigma;}}E\right\{\left(y_i\right)\left(y_j\right)\left\}{c}_j\right)-2E\left[\left(y_i\right)\left(x_k\right)\right]=0,$ 其中i＝0,……，L，记{y}的自相关函数以及{y}和{x}的互相关函数分别为r_yy(i)=E[y_k y_k+1]和r_xy(i)=E[x_k y_k+1]，则用矩阵形式重写为：

从而维纳滤波系数{C}可以用矩阵形式推导为：

4.一种三维视频的解码方法，其特征在于，包括：

S1.接收包含由根据权利要求1-3任一项所述的三维视频的编码方法得到的码流，准备逐帧解码参考帧图像；

S2.判断所述参考帧图像的类型，如果是目标视点合成参考帧，则执行S31-S34，如果是独立视点参考帧，则执行S4；

S31.从码流中提取参考视点编码重建深度图D_rec和参考视点编码重建纹理图T_rec；

S32.从码流中提取相应的相机参数，结合所述参考视点编码重建深度图D_rec和参考视点编码重建纹理图T_rec，通过三维几何变换，得到目标视点合成参考帧VS_rec；

S33.从码流中提取所述维纳滤波系数，对所述目标视点合成参考帧VS_rec进行降噪滤波，得到最终目标视点合成参考帧VS_rec_final；和

S34.读取最终目标视点合成参考帧VS_rec_final的信息，完成视频图像的解码过程；

S4.直接读取所述参考帧图像的信息，完成视频图像的解码过程。

5.一种三维视频的编码器，其特征在于，包括：

S1.编码重建模块，所述重建模块用于对参考视点的深度图和纹理图进行编码，得到参考视点编码重建深度图D_rec和参考视点编码重建纹理图T_rec；

S2.几何变换模块，所述几何变换模块用于根据所述参考视点编码重建深度图D_rec和参考视点编码重建纹理图T_rec以及相应的相机参数，通过三维几何变换，得到目标视点合成参考帧VS_rec；

S3.维纳滤波计算模块，所述滤波模块以参考视点原始纹理图T_orig作为原始信号，以所述目标视点合成参考帧VS_rec作为加噪后的信号，进行维纳滤波，得到优化目标视点合成参考帧VS_rec_wiener，并解得维纳滤波器系数；以及

S4.码流发送模块，所述编码发送模块将所述优化目标视点合成参考帧VS_rec_wiener加入参考帧集，并将所述维纳滤波器系数写入码流，随后发送。

6.如权利要求5所述的三维视频的编码器，其特征在于，所述维纳滤波计算模块中，通过求解维纳霍夫方程计算所述维纳滤波器系数。

7.如权利要求5所述的三维视频的编码器，其特征在于，所述维纳滤波器中：

定义输入像素x_k和维纳滤波器输出像素z_k，其中维纳滤波器的输出z_k由滤波器支集{S}中的重建像素y_i组成，支集大小为L+1，权值为c_i，则维纳滤波器函数为：

输入像素x_k和维纳滤波后的像素z_k间的残差信号C定义为：error_k＝z_k-x_k，通过使具有滤波器抽头{c_i}的均方差最小化而优化维纳滤波器：

为了找到

的最小值，对c_i取导数并通过令导数等于零而推导出滤波器抽头： $\frac{\&PartialD;}{\&PartialD;c_i}E\left[{\mathrm{error}}_k^2\right]=2\left(\underset{j\&Element;\left\{S\right\}}{\mathrm{\&Sigma;}}E\right\{\left(y_i\right)\left(y_j\right)\left\}{c}_j\right)-2E\left[\left(y_i\right)\left(x_k\right)\right]=0,$ 其中i＝0,……，L，记{y}的自相关函数以及{y}和{x}的互相关函数分别为r_yy(i)=E[y_k y_k+1]和r_xy(i)=E[x_k y_k+1]，则用矩阵形式重写为：

从而维纳滤波系数{C}可以用矩阵形式推导为：

8.一种三维视频的解码器，其特征在于，包括：

码流接收模块，所述码流接收模块用于接收由根据权利要求5-7任一项所述的三维视频的编码器发送的码流，准备逐帧解码参考帧图像；

判断模块，所述判断模块用于判断所述参考帧图像的类型，如果是目标视点合成参考帧，则依次进入重建模块、几何变换模块、维纳滤波计算模块和解码读取模块，如果是独立视点参考帧，则直接进入所述解码读取模块；

所述重建模块，所述重建模块用于从码流中提取参考视点编码重建深度图D_rec和参考视点编码重建纹理图T_rec；

所述几何变换模块，所述几何变换模块用于从码流中提取相应的相机参数，结合所述参考视点编码重建深度图D_rec和参考视点编码重建纹理图T_rec，通过三维几何变换，得到目标视点合成参考帧VS_rec；

所述维纳滤波计算模块，所述维纳滤波计算模块用于从码流中提取所述维纳滤波系数，对所述目标视点合成参考帧VS_rec进行降噪滤波，得到最终目标视点合成参考帧VS_rec_final，并发送给所述解码读取模块作为更新后的参考帧图像；

所述解码读取模块，用于读取所述参考帧图像的信息，完成视频图像的解码过程。

Images