CN104780383A - 一种3d-hevc多分辨率视频编码方法 - Google Patents

Abstract

本发明涉及一种3D-HEVC多分辨率视频编码方法。本发明方法在视频编码器内部对基本视点视频采用原始分辨率编码，而对依赖视点视频采用降分辨率编码。本发明方法将基本视点视频下采样作为依赖视点视频的参考帧，同时在编码器内对依赖视点视频进行下采样。在解码器内，根据人眼对视频图像亮度的变化敏感度大于色度的变化，采用双滤波器插值方法对亮度分量采用6抽头滤波器进行精确上采样，而对色度分量采用4抽头滤波器进行上采样。本发明方法在保持编码性能的前提下，降低了算法复杂度。

Description

一种3D-HEVC多分辨率视频编码方法

技术领域

本发明属于3D视频编码技术领域，尤其涉及一种多分辨率视频编码方法。

背景技术

随着多媒体通信技术的发展，人们对于多媒体体验要求的提高，在实际的视频应用中，如视频监控、高清视频通信、网络视频播放等由于原始视频数据量大而难以存储、网络带宽的限制而难以传输等。随着新一代视频编码标准HEVC的推出，给这些问题带来了高效的解决方法，然而视频应用的主流趋势逐渐变为超高清的3D应用，现有的高效视频压缩标准HEVC已经很难适应3D视频数据的特点。基于HEVC的多视点加深度数据的编码标准3D-HEVC已经正式发布，它在HEVC的基础上扩展了新的技术，针对立体视频的编解码，提出了有利于多视点视频编解码的关键技术，带来了3D视频的高效压缩编码。但同时视频压缩的码率也大大地增加，因而有必要采用新方法降低码率。

现有的3D-HEVC多分辨率编码方法都仅针对深度图像进行下采样编码，而且没有参考3D-HEVC视频编码的结构。因此，基于3D-HEVC视频编码结构，即基本视点视频使用独立编码模式，其编码过程无需参考依赖视点；而对于依赖视点，其编码过程需参考基本视点，本发明提出了新的3D-HEVC多分辨率视频编码方法，对基本视点视频采用原始分辨率编码方法，以保证基本视点视频的编解码质量，同时在编码器和解码器内部下采样后能够获得较好的参考帧。而对依赖视点视频采用降分辨率的编码方法，以进一步降低码率。本发明提出的多分辨率编码方法，对视频的下采样和上采样都位于编码器的内部，其目的在于能够利用编码器的率失真优化的功能来获得较好的输出码率。为了保护下采样视频内物体的边缘，本发明提出了基于均值分集的中值滤波下采样方法。此外，本发明基于人眼对纹理视频图像的亮度信息变化的敏感度会比对色度变化的敏感度高，采用双滤波器插值的方法。对亮度分量采用6抽头滤波器进行精确上采样编码，而对色度分量使用4抽头滤波器进行上采样编码。对深度视频，则采用与纹理视频亮度分量相同的下采样和上采样方法。本发明提出的下采样方法和上采样方法，其算法复杂度低，适合在3D-HEVC编码器和解码器中使用。

发明内容

本发明的目的是针对现有3D-HEVC多分辨率视频编码方法的不足，提出了一种新的3D-HEVC多分辨视频编码方法。

本发明方法对基本视点视频按原始分辨率进行编码，对依赖视点视频进行降分辨率编码。对于纹理视频下采样，采用基于均值分集的中值滤波方法，减少因视频下采样引起的边缘模糊，提高低分辨视频的质量；对于纹理视频上采样，利用人眼对纹理亮度信息变化的敏感度比对色度变化的敏感度高，采用双滤波器插值方法。对亮度分量使用6抽头滤波器进行上采样，而对色度分量使用4抽头滤波器进行上采样以减少复杂度；对深度视频，采用与纹理视频亮度分量相同的下采样方法和上采样方法。

本发明包括编码方法和解码方法。

编码方法的具体步骤是：

步骤(1)、将基本视点和依赖视点的视频按编码配置文件的参考顺序输入3D-HEVC编码器；

步骤(2)、将基本视点视频以原始分辨率进行编码，将依赖视点视频在进行DCT(Discrete Cosine Transform，离散余弦变换)前，采用基于均值分集的中值滤波方法进行下采样；

步骤(3)、对基本视点视频编码时，将其环路滤波器的输出视频进行下采样，然后输入到依赖视点视频的参考帧缓存器，作为依赖视点视频编码的参考帧；

步骤(4)、将基本视点编码比特流和依赖视点编码比特流按参考编码顺序合并后输出。

解码方法的具体步骤是：

步骤(Ⅰ)、将视频编码的比特流进行熵解码，按参考编码顺序将基本视点视频经过环路滤波器后得到的视频，采用基于均值分集的中值滤波方法进行下采样，然后输入依赖视点视频的参考帧缓存器，作为依赖视点视频解码的参考帧；

步骤(Ⅱ)、依赖视点视频经过环路滤波器后，得到解码的视频；采用双滤波器插值方法对解码视频进行上采样，得到与原始视频相同尺寸的解码视频；

步骤(Ⅲ)、将基本视点视频和依赖视点视频解码得到的视频按参考解码顺序输出。

本发明的特征在于：(1)本发明提出的3D-HEVC多分辨率视频编码方法与3D-HEVC编码标准中关于基本视点和依赖视点的编码方式相匹配。(2)本发明是在编码器和解码器内部进行视频的上采样和下采样，这样可利用率失真优化功能对输出码率做优化。(3)本发明提出了高效的，低复杂度的上采样方法和下采样方法。本发明采用了基于均值分集的中值滤波下采样方法，以保护视频物体的边缘。同时，本发明采用双滤波器插值的上采样方法。其特征是基于人眼对亮度信息变化的敏感度比对色度信息变化的敏感度高，以6抽头滤波器对亮度进行精确上采样，而对色度分量采用简单的4抽头滤波器进行上采样。

附图说明

图1为本发明中编码方法流程图；

图2为本发明中解码方法流程图；

图3为本发明中基于均值分集的中值滤波下采样示意图；

图4-1为本发明中双滤波器插值的亮度插值示意图；

图4-2为本发明中双滤波器插值的色度插值示意图。

具体实施方式

一种3D-HEVC多分辨率视频编码方法，采用3D视频编码HTM模型，测试条件参考JCT-3V的通用测试条件(JCT3V-E1100)，使用HTM模型自带的3视点视频编码的配置文件3view+depth.cfg,下采样和上采样的缩放系数s＝2。

具体实施步骤参照说明书附图(1)～(4)。

3D-HEVC视频编码器步骤，如图1所示：

步骤(1)、将基本视点和依赖视点的视频按编码器配置文件的参考顺序输入到HTM编码器中。

步骤(2)、基本视点视频以原始分辨率编码，而依赖视点视频在进行DCT变换前，采用基于均值分集的中值滤波方法进行下采样，如图3所示。其步骤为：

a.对于视频数据的每帧图像，定义一个m×m的方形像素窗口W，如图(3)的B₀₀～B₂₂点所围成的窗口，并计算该窗口内像素值的平均值mean(W)：

$\mathrm{mean}\left(W\right)=\frac{1}{m\×m}\underset{B_{\mathrm{ij}}\∈W}{\mathrm{\Σ}}{B}_{\mathrm{ij}}---\left(1\right)$

上式B_ij为窗口内坐标位置为(i,j)处的像素值；

b.利用窗口W内的像素值与mean(W)的关系，用如下方法划分为2个像素点集合G₁和G₂：

$B_{\mathrm{ij}}\&Element;\left\{\begin{array}{cc}{G}_1& \mathrm{if}{B}_{\mathrm{ij}}<\mathrm{mean}\left(W\right)\\ G_2& \mathrm{else}\end{array}\right.---\left(2\right)$

c.对划分好的G₁和G₂两个像素集合，分别求G₁和G₂两组像素值的中值m₁和m₂，滤波后的像素值V_ij表示为:

V_ij＝p₁m₁+p₂m₂  (3)

p₁和p₂分别为G₁和G₂内像素值的个数占总窗口像素值的比例系数，p₁+p₂＝1；

d.将步骤c得到的像素值V_ij作为坐标位置为(x,y)的下采样像素点的值image_down(x,y)：

image_down(x,y)＝V_ij i＝2x,y＝2j  (4)

步骤(3)、当对基本视点视频编码时，对环路滤波器的输出视频采用与步骤(2)相同的下采样方法，输入到依赖视点视频的参考帧缓存器，作为依赖视点视频的参考帧。

步骤(4)、将基本视点编码比特流和依赖视点编码比特流按参考编码顺序合并后输出。

该方法的解码器步骤，如图2所示：

步骤(Ⅰ)、按参考编码顺序将视频编码的比特流进行熵解码，其中基本视点视频经过环路滤波器后得到解码视频，该解码视频采用基于均值分集的中值滤波方法进行下采样，然后送入依赖视点视频的参考帧缓存器，作为依赖视频解码的参考帧。

步骤(Ⅱ)、依赖视点视频经过环路滤波器输出后，得到解码的视频。然后采用本发明提出的双滤波器插值方法对解码视频进行上采样，如图4-1和4-2所示。其步骤为：图4-1和4-2中灰色的方框表示原始像素样本点。白色的方框表示待插值的半像素插值点。因此，白色方框内的小写字母v,h,d表示待插值的半像素插值点，灰色方框内的大写字母A～U表示原始像素样本点。对于纹理视频执行步骤①～⑥，对于深度视频执行步骤①～③。

①对亮度分量采用6抽头滤波器插值滤波，滤波器系数为[1，-5,20,20，-5,1]，通过对邻近的整数位置样点进行水平方向的6抽头滤波，如图4-1的h点，待插值像素点的像素值表示为：

h＝((E+J)＞＞1-5*(F+I)＞＞1+20*(G+H)＞＞1+8)＞＞4  (5)

②同样对亮度分量的待插值像素点通过对邻近的整数位置样点进行垂直方向的6抽头滤波，如图4-1的v点，待插值像素点的像素值表示为：

v＝((A+T)＞＞1-5*(C+R)＞＞1+20*(G+M)＞＞1+8)＞＞4  (6)

③最后需要求解在对角线上的亮度待插值像素点，如图4-1的d点，既可以通过步骤①中得到的水平方向上的h计算得到：d＝((h₁+h₆)＞＞1-5*(h₂+h₅)＞＞1+20*(h+h₄)＞＞1+8)＞＞4  (7)

也可以由步骤②得到的v计算得到：

d＝((v₁+v₆)＞＞1-5*(v₂+v₅)＞＞1+20*(v+v₄)＞＞1+8)＞＞4  (8)

④色度分量上采样使用4抽头滤波器系数[-1,5,5，-1]进行插值,如图4-2的h点，通过对四个最邻近色度分量整数位置像素样点进行水平方向的4抽头滤波，计算待插值像素点的像素值为h:

h＝(-(F+I)＞＞1+5*(G+H)＞＞1+2)＞＞2  (9)

⑤通过对四个最邻近色度分量整数位置像素样点进行垂直方向的4抽头滤波，计算待插值像素点的像素值，如图4-2的v点:

v＝(-(C+R)＞＞1+5*(G+M)＞＞1+2)＞＞2  (10)

⑥对角线方向的像素插值点可以通过步骤④进行水平方向上的插值得到的h，h₁,h₂,h₃计算得到：

d＝(-(h₁+h₃)＞＞1+5*(h₂+h)＞＞1+2)＞＞2  (11)

也可以通过步骤⑤进行垂直方向的插值得到的v₁，v₂,v₃，v₄计算得到：

d＝(-(v₁+v₃)＞＞1+5*(v₂+v)＞＞1+2)＞＞2  (12)

步骤(Ⅲ)、将基本视点视频和依赖视点视频解码得到的视频按参考解码顺序进行输出。

Claims (3)

1.一种3D-HEVC多分辨率视频编码方法，包括编码方法和解码方法，其特征在于：该方法对基本视点视频按原始分辨率进行编码，对依赖视点视频进行降分辨率编码；对于纹理视频下采样，采用基于均值分集的中值滤波方法；对于纹理视频上采样，采用双滤波器插值方法对亮度分量使用6抽头滤波器进行上采样，而对色度分量使用4抽头滤波器进行上采样；对深度视频，采用与纹理视频亮度分量相同的下采样和上采样方法；

编码方法的具体步骤是：

步骤(1)、将基本视点和依赖视点的视频按编码配置文件的参考顺序输入3D-HEVC编码器；

步骤(2)、将基本视点视频以原始分辨率进行编码，将依赖视点视频在进行DCT变换前，采用基于均值分集的中值滤波方法进行下采样；

步骤(3)、对基本视点视频编码时，将其环路滤波器的输出视频进行下采样，然后输入到依赖视点视频的参考帧缓存器，作为依赖视点视频编码的参考帧；

步骤(4)、将基本视点编码比特流和依赖视点编码比特流按参考编码顺序合并后输出；

解码方法的具体步骤是：

步骤(Ⅰ)、将视频编码的比特流进行熵解码，按参考编码顺序将基本视点视频经过环路滤波器后得到的视频，采用基于均值分集的中值滤波方法进行下采样，然后输入依赖视点视频的参考帧缓存器，作为依赖视点视频解码的参考帧；

步骤(Ⅱ)、依赖视点视频经过环路滤波器后，得到解码的视频；采用双滤波器插值方法对解码视频进行上采样，得到与原始视频相同尺寸的解码视频；

步骤(Ⅲ)、将基本视点视频和依赖视点视频解码得到的视频按参考解码顺序输出。

2.如权利要求1所述的一种3D-HEVC多分辨率视频编码方法，其特征在于，编码方法步骤(2)和解码方法步骤(Ⅰ)中的基于均值分集的中值滤波方法的具体步骤是：

a.对于视频数据的每帧图像，定义一个m×m的方形像素窗口W，并计算该窗口内像素值的平均值mean(W)：

$\mathrm{mean}\left(W\right)=\frac{1}{m\&times;m}\underset{B(i,j)\&Element;W}{\mathrm{\&Sigma;}}B(i,j)---\left(1\right)$

上式B(i,j)为窗口内坐标位置为(i,j)处的像素值；

b.利用窗口W内的像素值与mean(W)的关系，用如下方法划分为2个像素点集合G₁和G₂：

$B(i,j)\&Element;\left\{\begin{array}{cc}{G}_1& \begin{array}{cc}\mathrm{if}& B(i,j)<\mathrm{mean}\left(W\right)\end{array}\\ G_2& \mathrm{else}\end{array}\right.---\left(2\right)$

c.对划分好的G₁和G₂两个像素集合，分别求G₁和G₂两组像素值的中值m₁和m₂，滤波后的像素值V(i,j)表示为:

V(i,j)＝p₁m₁+p₂m₂                (3)

p₁和p₂分别为G₁和G₂内像素值的个数占总窗口像素值的比例系数，p₁+p₂＝1；

d.将步骤c得到的像素值V(i,j)作为坐标位置为(x,y)的下采样像素点的值image_down(x,y)：

image_down(x,y)＝V(i,j)    i＝2x,y＝2j      (4)。

3.如权利要求1所述的一种3D-HEVC多分辨率视频编码方法，其特征在于，解码方法步骤(Ⅱ)中的双滤波器插值方法的具体是：对于纹理视频执行步骤①～⑥，对于深度视频执行步骤①～③；

①亮度分量采用6抽头滤波器插值上采样，滤波器系数为[1，-5,20,20，-5,1]；

亮度待插值像素点通过对邻近的六个整数位置样点A_i1、A_i2、A_i3、A_i4、A_i5、A_i6进行水平方向的6抽头滤波，得到垂直方向的插值像素值A_i：

A_i＝((A_i1+A_i6)＞＞1-5*(A_i2+A_i5)＞＞1+20*(A_i3+A_i4)＞＞1+8)＞＞4    (5)

②亮度待插值像素点通过对邻近的整数位置样点B_j1、B_j2、B_j2、B_j3、B_j4、B_j5进行垂直方向的6抽头滤波，得到水平方向的插值像素值B_j:

B_j＝((B_j1+B_j6)＞＞1-5*(B_j2+B_j5)＞＞1+20*(B_j3+B_j4)＞＞1+8)＞＞4   (6)

③对处在对角线上亮度待插值像素点通过步骤①得到的A_i中的六个邻近的像素点A₁～A₆进行水平方向的6抽头滤波，计算得到对角线上的待插值像素值C_k：

C_k＝((A₁+A₆)＞＞1-5*(A₂+A₅)＞＞1+20*(A₃+A₄)＞＞1+8)＞＞4     (7)

或通过步骤②得到的B_j中的六个邻近的像素点B₁～B₆进行垂直方向的6抽头滤波计算得到对角线上的待插值像素值C_k：

C_k＝((B₁+B₆)＞＞1-5*(B₂+B₅)＞＞1+20*(B₃+B₄)＞＞1+8)＞＞4     (8)

④色度分量采用4抽头滤波器系数[-1,5,5,-1]进行插值上采样,色度待插值像素点通过对邻近的整数位置样点D_i1～D_i4进行水平方向的4抽头滤波，得到垂直方向的待插值像素值D_i:

D_i＝(-(D_i1+D_i4)＞＞1+5*(D_i2+D_i3)＞＞1+2)＞＞2         (9)

⑤色度待插值像素点通过对邻近的整数位置样点E_j1～E_j4进行垂直方向的4抽头滤波，得到水平方向的待插值像素值E_j：

E_j＝(-(E_j1+E_j4)＞＞1+5*(E_j2+E_j3)＞＞1+2)＞＞2           (10)

⑥对角线方向的像素插值点可以通过步骤④得到的D_i，利用四个邻近的像素点D₁～D₄进行4抽头滤波，计算待插值像素点F_k的像素值：

F_k＝(-(D₁+D₄)＞＞1+5*(D₂+D₃)＞＞1+2)＞＞2         (11)

或者通过步骤⑤得到的E_j，利用四个邻近像素点E₁～E₄进行垂直方向的4抽头滤波，计算待插值像素点F_k的像素值：

F_k＝(-(E₁+E₄)＞＞1+5*(E₂+E₃)＞＞1+2)＞＞2           (12)。