CN1665299A - 可伸缩视频编解码器体系结构设计方法 - Google Patents

Abstract

本发明公开了以小波技术为核心，能自适应视频传输网络的异构性、网络带宽的波动性以及用户视频接收终端的多样性的视频码流高度可伸缩(Scalability)同时兼顾压缩效率的小波视频编解码软件体系结构设计方法。采用运动补偿的时域提升小波分解实现帧率(时域)可伸缩性操作；运用子像素精度的可变块大小分级运动估计提高时域压缩性能；采用空域小波分解和三维小波系数熵编码，实现空域(spatial)分辨率和质量的可伸缩性。三维小波系数熵编码充分利用三维小波系数之间的关连性，采用位平面编码和算术熵编码技术对经过时域和空域小波分解的系数进行压缩编码，这样得到的码流具有时域、空域以及质量的可伸缩性，能满足异构网络下，不同带宽不同终端用户的需求。

Description

可伸缩视频编解码器体系结构设计方法

                        技术领域

本发明属于信息技术领域，具体涉及到空域、时域以及质量可伸缩的视频编解码体系结构的设计与实现方法。

                        背景技术

随着应用和研究的不断深入，基于传统分块DCT技术以及运动补偿DPCM闭环架构的数字视频编解码体系(H.26x和MPEG系列)，因不具有自适应的空域、时域以及质量可伸缩性，而不能满足视频传输网络的异构性(Heterogeneous)，网络带宽的波动性以及用户视频接收终端的多样性，从而越来越不适应现代信息社会的发展和用户的需求。当前国际视频编解码标准正处于更新换代的进程中，联合时域小波和传统闭环(DPCM)的架构设计实现的编码框架因不具备完全的可伸缩性码流，而不能充分满足数字媒体时代异构网络下的不同带宽和终端用户的需求。

                          发明内容

针对上述背景技术中存在的缺陷或不足，本发明的目的在于，提供以小波技术为核心，能自适应视频传输网络的异构性、网络带宽的波动性以及用户视频接收终端的多样性的视频码流高度可伸缩(Scalability)同时兼顾压缩效率的小波视频编解码软件体系结构设计方法。

为了实现上述任务，本发明采用的解决方案是：采用小波技术为核心，能自适应视频传输网络的异构性、网络带宽的波动性以及用户视频接收终端的多样性的视频码流高度可伸缩同时兼顾压缩效率；该方法包括下列步骤：

1)通过“运动补偿的时域提升小波分解”技术实现帧率(时域)可伸缩性操作；

2)通过“子像素精度可变块大小分级运动估计”技术，提高时域压缩性能；

3)通过“空域小波分解”技术和“三维小波系数熵编码”技术，实现空域(spatial)分辨率和质量的可伸缩性。

所述“运动补偿的时域提升小波分解”技术是，在相邻帧之间的相关联象素作提升小波分解，实现时域小波分解算法，得到时域高低频帧，把时域能量集中在低频帧，高频帧含有运动场景变换快的能量，从而消除视频帧间信息冗余。

所述“子像素精度可变块大小分级运动估计”技术是，在相邻两帧之间运用基于宏块匹配的方法找到视频帧内的运动相关联像素。宏块的大小是可变的并且原始视频帧先经过低通滤波器分级，对分级后的视频序列依次进行可变宏块大小的运动估计。通过运动估计搜索到的两帧之间的运动像素称为相关联像素。

所述“空域小波分解”技术是，在时域小波分解得到的高低频帧内运用离散小波变换，先对视频帧列方向进行提升小波滤波，然后对行方向进行提升小波滤波，这样就得到空域的二维高低频子带，消除帧内空域信息冗余，把能量高的低频部分集中在低频子带，能量低的细节部分集中在高频子带。

所述“三维小波系数熵编码”技术是，充分利用三维小波系数之间的关连性，采用位平面编码和算术熵编码技术对经过时域和空域小波分解的系数进行压缩编码，这样得到的码流具有时域、空域以及质量的可伸缩性。

本发明的方法是一种具有多种可伸缩性的高效三维小波视频编解码的设计方案。通过对运动补偿时域提升小波、空域离散小波变换以及三维熵编码技术，实现高可伸缩性的视频编解码，能满足异构网络下，不同带宽不同终端用户的需求。

                        附图说明

图1是本发明实施例：高可伸缩视频编解码体系结构框图。

图2是本发明实施例：运动补偿时域小波分解示意图。

图3是本发明实施例：子像素精度的时域提升小波分解示意图。

图4是本发明实施例：可变宏块大小的分级运动估计示意图。

图5是本发明实施例：空域二维离散小波变换基于Lifting算法实现的结构示意图。

图6是本发明实施例：三维小波系数熵编码结构图。

                         具体实施方式

下面结合附图和实施例对本发明进一步详细说明，但本发明不限于这些实施例。

按照本发明的技术方案，发明人给出了本发明的实施例。在本实施例中使用的是一组双正交小波滤波器——Haar双正交小波。

在图1中，给出了本实施例的基于运动补偿的时域提升小波和空域提升小波的高可伸缩性视频编解码器结构。输入视频序列先经过预处理，分成以组为单位的视频Group，然后每一组视频帧先经过基于运动补偿的时域小波分解，把运动变化少的低频能量集中在低频帧，而把运动变换快的高频能量集中在高频帧。这些高低频帧每一帧输入二维离散小波变换，进行空域提升小波分解，这样把空域内的能量高的低频部分集中在低频子带，而把能量低的高频部分集中在高频子带，这样可以有利于对形成的三维小波系数进行编码压缩。根据使用的小波变换基，选取不同的量化方案和步长，以便使得三维小波系数能量更集中而便于压缩。经过量化的三维小波系数根据各自的最大位深度，进行位平面编码，形成上下文和二进制数据，这些数据输入到基于上下文自适应的算术编码器，编码成压缩码流，并且算出RD斜率。经过算术编码的压缩码流和RD斜率以及用户需求的目标码率输入到位率控制器，获得用户需求的视频码流并经打包成视频码流文件。

用户需求的视频码流经过解包把视频码流输入三维熵解码(自适应算术解码和和上下文解码)，得到经过量化的三维小波系数，然后将经反量化的三维小波系数输入到二维离散小波解码器，得到高低频帧序列，这些高低频帧序列经过运动补偿的时域提升小波合成，得到重建的视频帧序列。

在本实施例中，首先通过“运动补偿时域小波分解”技术，消除视频帧序列时域的信息冗余，把时域能量集中在低频帧，高频帧含有运动场景变换快的能量。鉴于Haar离散小波变换的滤波器的系数是固定的，且利用提升算法实现具有可逆的特性，我们把Haar小波用提升算法实现。基于提升算法的离散小波变换核心是对奇数点的预测和对偶数点的更新；即(Haar的提升算法)：

step1：H_n[m，n]＝X_2n+1[m，n]-X_2n[m，n]

step2：

其中H_n[m，n]表示视频帧的高频分量，L_n[m，n]表示视频帧的低频分量，

X_2n[m，n]和X_2n+1[m，n]分别表示相邻两帧的像素值

在图2中给出了本实施例的视频序列时域Haar小波提升分解两级的示意图。图中视频组大小为4帧，时域小波分解级数为2级。

在图3中，给出了本实施例的基于运动补偿子像素精度的提升小波算法示意图。通过运动估计获得运动矢量确定相邻两帧之间一一对应的的像素是相关联像素，不是一一对应或者没有相应运动矢量的像素称为未相关联像素。

对于运动矢量整像素级的像素：

相关联像素的时域提升小波分解是：

step1：H_n[m，n]＝X_2n+1[m，n]-X_2n[m-d_m，n-d_n]

step2： $L_n[m-d_m,n-d_n]=\frac{1}{2}\left(X_{2n+1}\right[m,n]+X_{2n}[m-d_m,n-d_n\left]\right)$

高频帧的未相关联像素：同step1，

低频帧的未相关联像素：L[m，n]＝X_2n[m，n]

对于运动矢量子像素级的像素：

相关联像素的时域提升小波分解是：

step1：H_n[m，n]＝X_2n+1[m，n]-X_2n[m-d_m，n-d_n]

step2：

高频帧的未相关联像素：同step1；

低频帧的未相关联像素：L[m，n]＝X_2n[m，n]；

其中(d_m，d_n)表示后向运动矢量，即以前一帧为参考帧，对当前帧作运动估计得到的运动矢量，

表示对数值进行向下取整。 X表示该帧的插值像素值。

在图4中，给出了本实施例可变宏块大小的分级运动估计结构图。本实施例通过可变块大小的分级运动估计方法并结合空域小波分解的小波基，选取低通滤波器。开始视频帧的宏块大小为64×64，最小为4×4。通过选用的5/3小波和9/7小波作低通滤波器，对原视频帧和参考帧分别作低通滤波，得到原视频大小的1/16的第一级视频帧，然后对第一级的视频帧作可变块大小运动估计，得到最小宏块为4×4的运动矢量。对第二级、第三级的搜索都是在前一级的基础上进行搜索的，这样可以提高运动估计精度和速度。运动矢量经过算术编码后得到运动矢量压缩码流，并和视频数据码流一起打包成视频流文件。

在图5中，给出了本实施例的空域提升小波滤波变换示意图，即5/3小波，主要有两步，一步为偶数点预测奇数点，一步为奇数点更新偶数点。

step1：Y(2n+1)＝X_ext(2n+1)+α×(X_ext(2n)+X_ext(2n+2))

step2：Y(2n)＝X_ext(2n)+β×(Y(2n-1)+Y(2n+1))

输入视频序列的高低频到小波滤波器，先对高低频帧的行进行提升小波变换，然后对行变化的结果进行列方向上的提升小波变换。这样就完成了一次小波滤波，把高低频帧的空域能量高的低频信息集中在低频子带，而把能量低的高频信息集中在高频子带，这样就消除了高低频帧内的信息冗余。根据空域小波分解的级数，继续对形成的低频子带LL进行小波滤波，处理方法同上，直到达到所要求的空域小波分解级数。经过量化后的三维小波系数输入到三维熵编码器。

在图6中，给出了本实施例三维小波系数三维熵编码，主要由位平面编码器和基于上下的自适应二进制算术编码器两部分组成。三维小波系数量化结果输出后，经过码块划分，即可进入位平面编码器，把三维小波系数输出为对应的上下文和二进制位流。位平面编码器的主要作用是分割位平面，分割通道，为熵编码器提供上下文标签，为压缩率控制器提供失真度减小量ΔD。

位平面数据流进入位平面编码器后，首先进行通道扫描。通道对于一个位平面的扫描优先顺序是：带→列→点。所谓的列就是垂直方向的4个点为一列；所谓的带就是所有水平对齐的列构成一个带。每一个位平面需要顺序扫描三次，依次生成3个编码通道：

Pass1：重要性传播通道。在这里只能进行零编码(ZC)和符号编码(SC)；

Pass2：幅度细化通道。在这里只能进行幅度细化编码(MR)；

Pass3：清除通道。在这里进行零编码(ZC)、符号编码(SC)和游程编码(RLC)。

通道扫描的同时将生成上下文标签和二进制位流，输入算术编码器进行编码。算数编码器首先对寄存器进行初始化，读入位平面编码器生成的码字及其上下文，根据上下文查出二进制位流的出现概率，并根据通道以及上下文判断采用LPS(小概率系数)编码还是MPS(大概率系数)编码，编码子模块根据码块或通道是否结束来决定是否对寄存器的再次初始化以及编码中止。

Claims (1)

1.可伸缩视频编解码器体系结构设计方法，其特征在于，采用小波技术为核心，能自适应视频传输网络的异构性、网络带宽的波动性以及用户视频接收终端的多样性的视频码流高度可伸缩同时兼顾压缩效率；该方法包括下列步骤：

1)首先在相邻帧之间的相关联象素作提升小波分解，实现时域小波分解算法，得到时域高低频帧，把时域能量集中在低频帧，高频帧含有运动场景变换快的能量，从而消除视频帧间信息冗余，实现帧率/时域的可伸缩性操作；

2)在相邻两帧之间运用基于宏块匹配的方法找到视频帧内的运动相关联像素。宏块的大小是可变的并且原始视频帧先经过低通滤波器分级，对分级后的视频序列依次进行可变宏块大小的运动估计，通过运动估计搜索到的两帧之间的运动像素称为相关联像素；

3)通过在时域小波分解得到的高低频帧内运用离散小波变换，先对视频帧列方向进行提升小波滤波，然后对行方向进行提升小波滤波，这样就得到空域的二维高低频子带，消除帧内空域信息冗余，把能量高的低频部分集中在低频子带，能量低的细节部分集中在高频子带；和

4)充分利用三维小波系数之间的关连性，采用位平面编码和算术熵编码技术对经过时域和空域小波分解的系数进行压缩编码，这样得到的码流具有时域、空域以及质量的可伸缩性。

Images