CN104469389B - 基于变换下采样的低码率视频编码方法及系统 - Google Patents

Abstract

一种基于变换下采样的低码率视频编码方法及系统，包括：视频信号的下采样，利用二维变换进行下采样，对低频系数和高频系数按照不同的方法进行编码；低频系数混合编码框架编码，将低频系数映射并且向下取整归一化后进行HEVC编码；高频系数的位平面编码以及帧分割处理，利用位平面编码扫描得到高频系数中的大系数，再利用帧分割处理以宏块为单位将其编码。低、高频系数编码码率分配，通过能量关系有效分配编码码率。本发明结合既保证了低频系数编码的重要性，同时结合高频系数中大系数对视频细节的影响，在编码上达到了类似于HEVC的编码效果。同时下采样的引入使得编码分辨率下降，整个编码过程的复杂度得到了很大的降低。

Description

基于变换下采样的低码率视频编码方法及系统

技术领域

本发明涉及的是一种视频编解码领域的技术，具体是一种通过利用变换来进行下采样，结合低频系数的混合框架编码和高频系数的位平面编码及帧分割处理实现低码率信道的编码方法及系统。

背景技术

视频编解码技术，是一种将视频数据通过各种技术手段去除时间、空间、编码等各环节可能存在的冗余信息，将数据量压缩到远小于原视频数据量的信号编码技术。通过视频编解码技术，可以更有效地对视频数据进行存储、传输以及相关操作。传统的视频编解码框架是基于预测(运动估计)、变换以及熵编码的混合编码框架，发展至今已形成了MPEG-x系列和H.26x系列两大系列标准。在最近几年，两大标准的制定组织联合发布了最新的高效视频编解码标准HEVC(High Efficiency Video Coding)，在之前H.264的基础之上实现了相同编码效果下压缩效率提升50％的增长。然而由于HEVC通过增加预测模式，采用更精细的步长等技术降低预测误差来实现压缩效率的提高，这大大增加了编码的复杂度。同时由于HEVC是为高清晰视频而设计的，在一些低码率低分辨率情况下效果并不是很好。所以设计一种在低码率信道下低复杂度的编码算法有很大的必要。

视频信息主要包括低频的内容信息和高频的细节信息。在低码率情况下必须有效保证低频内容信息的编码，这样才能在码率有限的情况下得到视频相关的信息。Dong,Jie和Yan Ye等人在IEEE International Conference on In Image Processing(ICIP),2012pp.2925-2928中提出了下采样的方法来获得低频内容信息，然后对低频内容信息利用传统视频编解码技术进行编码，在解码端通过内插等技术再获得原分辨率大小的视频信号。然而仅仅考虑低频信息是远远不够的，在高频细节中存在一些能量较大的系数包含大量视频信息，对视频的解码效果会产生巨大的影响，所以在码率允许的情况下对一些能量较大的高频信息进行编码是非常有必要的，可以在一定程度上提高编码的质量。

经过对现有技术的检索发现，中国专利文献号CN103155561A公开(公告)日2013.06.12，公开了一种用于HEVC的空间可缩放性的方法和设备，该技术在视频分发系统中，提供了用来将输入视频流302分割成用于所述视频流的多个信道中的每一个的分块的划分器105。信道分析器306被耦合到所述划分器，其中，所述信道分析器分解所述分块。编码器106被耦合到所述信道分析器以将经分解的分块编码成经编码的比特流208,210，其中，所述编码器从所述多个信道中的至少一个接收编译信息以在将所述经分解的分块编码成所述经编码的比特流中使用。解码器124接收经编译的比特流以对所接收到的比特流进行解码并且以重构所述输入视频流。所述解码器使用所述编译信息来对所述比特流进行解码。但该现有技术没有针对不同频带划分之间的优先级关系，在低码率情况下的编码效果难以满足工业需要。

发明内容

本发明针对现有技术存在的上述不足，提出一种基于变换下采样的低码率视频编码方法及系统，采用二维变换对原视频帧进行下采样，对获得的低频系数通过归一化使之转化为适合混合编码框架的输入信号，并对其进行编码。对高频系数通过位平面编码逐层扫描依次获得能量最为集中的大系数，然后通过帧分割处理对每次扫描获得的结果进行块编码。由于下采样的关系，使得编码帧变小，从而大大降低编码时间，而结合高频系数的编码，在编码效果上却能仍然和原混合编码框架有着相近的信噪比。

本发明是通过以下技术方案实现的：

本发明涉及一种基于变换下采样的低码率视频编码方法，包括以下步骤：

第一步，采用小波变换对视频帧进行下采样，得到的变换系数分为一个低频子带和三个高频子带，分别对低频子带利用混合编码框架进行编码、对高频子带利用位平面编码以及帧分割处理进行编码组合生成整个一帧的编码码流。

所述的小波变换的采样率为2。

对于视频帧的下采样，最为简单的方式就是对视频信号进行低通滤波后直接对像素进行采样，这种方法虽然简单，但是没有考虑到各个像素之间的相关性，使得内插的结果往往会带来很大误差。考虑利用变换来对信号进行下采样，由于变换系数是通过各像素之间的关系计算得到的，能够很好地保留像素之间的相关性。小波变换是基于整个视频帧进行的变换，和其他类似于DCT等基于宏块的变换相比更好地考虑了整个视频帧像素之间的关系。同时小波逆变换也能很好的减少甚至消除内插带来的块效应，所以选取小波变换来对视频帧进行下采样。考虑到变换的一般性，本发明可以根据具体应用场景选取不同的二维变换对视频帧进行下采样，比如可以选取离散余弦变换等。

对于采样率的选择需要同时考虑到码率以及编码效果的影响。若增大采样率，可以大大降低码率，但是反变换带来的误差就会增大，影响到编码效果；相反减小采样率虽然可以减小内插带来的误差，提升编码效果，但是码率会有一定的提升。所以平衡好码率以及编码效果之间的关系是采样率选择的重要因素。通过文献查阅，对之前工作的学习以及相关实验效果显示，选取采样率为2可以利用尽可能少的码率得到最好的编码效果。考虑到实用性，本发明给出采样率的不同选择，若给定编码码率比较低，可以适当提高采样率到4或8来减少低频信息所需要编码的内容。

第二步，对小波变换后的视频帧进行二维变换得到原始大小四分之一的低频系数，然后将低频系数经过映射和向下取整处理，归一化后进行HEVC编码；

所述的归一化的量化阶为8bit或10bit。

低频系数的编码较为简单，由于混合编码标准的高效，对包含大量视频信息的低频系数采用最新编码标准HEVC编码来保证整体的编码质量。对原视频帧进行二维变换可以很容易就得到大小为原来四分之一的低频系数。由于变换系数多为小数，而且会有负数的存在，在对其进行HEVC编码之前需要将变换系数归一化成0～255(8比特)或0～1023(10比特)之间的整数，这样才能被HEVC进行编码。通过实验发现将低频系数映射到0～255比较有效，和10比特相比可以节省2比特数据，而引入的误差只有0.02dB，这误差在随后的HEVC编码中和低码率下的量化误差相比几乎可以忽略不计，所以选择8比特作为量化标准来对低频系数进行归一化。

如在码率较高的环境下，本发明可以选择10比特作为量化标准来提高编码的效果。

第三步，利用位平面编码扫描得到高频系数中的大系数，然后对得到的0-1位平面进行帧分割并进行编码；

小波变换之后大量信息被保存在低频系数之中，高频系数只有少数绝对值较大。需要对这些包含较多信息的大系数进行选择并编码，来弥补仅仅利用低频信号编码带来的不足。

首先利用位平面编码对绝对值较大的系数进行选择。基本思想是逐层通过对给定阈值进行比较来确定是否为重要系数。每一次扫描和给定阈值进行比较，如果绝对值大于该阈值则位平面置一，否则置零。这样就可以把大于该阈值的系数全部找出。在下一次扫描中将阈值变为原来的一半，类似地可以找出次大的一些系数，这样不断减小阈值就可以依次找出相关的高频系数。由于扫描是分层进行的，后续得到的高频码流也将是可任意截断的。

然后对得到的0-1位平面利用帧分割处理进行编码。由于高频系数存在大量绝对值很小的系数，在每次扫描后的位平面都会有大量的0出现。如果对这些0按比特进行编码的话会降低压缩效率。考虑将这些0按宏块结合起来，如果当前位平面只包含0或者1则用一个比特就能进行编码。如果同时包含0和1，那么对该位平面进行分割，平均分成四块，对每一块再进行类似的位平面分割，直到其只包含有一种信号为止，这样就可以对大量的0按一定分块原则进行有效地编码。

第四步，对不同频带的系数进行能量统计，按照不同的能量比例对给定的编码码率进行对应分配。

由于对低、高频系数分配不同的码率会造成不同的编码效果，平衡好不同频带编码引入的误差可以使整个编码过程获得最优的编码效果。主要根据系数能量关系进行码率分配。对能量大的频带分配多的码率，这样可以保证主要的视频帧信息得以编码传输。在对原始视频帧进行变换之后对不同频带的系数进行能量统计，按照不同的能量比例对给定的编码码率进行分配。由于一般情况下变换低频系数包含视频帧绝大多数的信息能量，所以码率分配的结果一般以低频为主，对高频系数只编码少数几个绝对值较大的系数。

本发明涉及一种实现上述方法的系统，包括：二维变换模块、归一化模块、位平面编码模块、帧分割模块和码率分配模块，其中：二维变换模块与视频输入帧相连并传输变换系数信息，归一化模块与变换低频信息相连并传输待编码低频信息，位平面编码模块与变换高频信息相连并传输位平面信息，帧分割模块与位平面信息相连并传输高频编码信息，码率分配模块与通过统计输入视频信号对低、高频码率分配进行控制。

技术效果

与现有技术相比，本发明将原视频帧进行下采样，然后将低频系数和高频系数按不同的编码方法进行编码。综合考虑整个编码过程，可以选择小波变换作为下采样工具，同时采样率选取2。由于低频信号包含大量视频信息，选取HEVC编码方法来保证低频信号的编码质量。考虑到系数归一化引入的误差，将系数归一化到8比特。对于高频信号，由于码率有限仅对包含大量信息的大系数进行编码。通过位平面编码技术依次对系数从大到小进行选择，然后在每一次扫描之后通过帧分割来对位平面进行高效编码。最后根据能量关系对低、高频系数进行码率分配。本发明算法由于降低了混合编码框架编码的分辨率可以大大减少编码的复杂度，同时保证低频信号的编码可以在低码率信道下得到优异的编码效果。

附图说明

图1是本发明方法位平面编码流程图。

图2是本发明方法帧分割处理流程图。

图3是本发明系统示意图。

具体实施方式

下面对本发明的实施例作详细说明，本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。

实施例1

如图1所示，本实施例包括以下步骤：

一、视频信号的下采样

由于在低码率信道下码率有限，需要利用有限码率编码比较重要的内容。将视频信号下采样可以得到包含大量视频信息的低频信号，对下采样后的低频信号进行编码可以保证在给定的低码率之下编码这些重要信息。具体编码框架流程如下：

1.1对输入的视频信号以帧为单位进行小波变换，变换后的系数进行重新排列，可以得到一个低频子带和三个高频子带；

1.2对一个低频子带按步骤二所述的方法利用HEVC进行编码得到输出码流；

1.3对三个高频子带分别按步骤三所述的方法利用位平面编码以及帧分割处理进行编码得到输出码流；

1.4将步骤1.2和步骤1.3中得到的码流按照低频优先的原则组合生成整个一帧的编码码流。

从上述的下采样编码框架来看，整个过程由变换下采样和子带分别编码组成，下采样的引入可以有效保证在低码率信道下低频信号的优先编码，同时加上适当的高频系数编码，可以得到类似于HEVC编码的效果。在下采样的帮助下，占运算复杂度主体的HEVC所要编码的视频帧分辨率变为原来的四分之一，这样在运算复杂度上得到的很大的改善。

二，低频系数的混合编码框架编码

对低频信号进行混合编码框架编码比较简单，只需要将变换下采样后的低频系数形成新的一个视频帧即可运用混合编码框架进行编码。其中最为主要的是将低频系数映射成为适合混合编码框架编码的8bit整形数据。具体编码流程如下：

2.1将小波变换后的视频帧左上角四分之一取出作为低频信号进行后续的编码；

2.2分别找出低频系数中的最大值Max和最小值Min；

2.3利用公式将每一个低频系数coe映射成0～255之间coe_new

2.4对coe_new进行向下取整得到归一化后0～255之间的整数coe_nor；

2.5对归一化后的系数进行混合编码框架编码得到低频信号编码码流。

从上述低频信号编码过程中可以看出在将低频系数进行归一化的时候映射和向下取整都会带来归一化误差，通过将归一化区间扩大到0～1023可以提高归一化精度，但由此会带来额外的两个比特数据。实验结果显示，8bit归一化带来的误差和10bit相比是微不足道的，尤其是在经过后续混合编码框架编码后更是没有什么区别，所以选择8bit作为归一化标准可以有效地提高编码效率。

三，高频系数的位平面编码以及帧分割处理

和低频系数相比不需要对高频系数进行非常准确地编码，只需要对高频系数中包含大量视频细节信息的大系数进行编码即可。根据图1所示，可以利用位平面编码来实现对系数的扫描从而按从大到小的顺序找出高频系数中的重要系数，使编码码流具有可任意截断的性质。再通过图2所示的帧分割处理可以对大量0的位平面进行高效编码，生成高频系数码流。

3.1位平面编码包括以下操作：

3.1.1对于给定阈值Thr对高频系数进行扫描，如果系数绝对值大于Thr则位平面置一，否则位平面置零；

3.1.2根据位平面得到解码系数，对于位平面为1的系数用Thr近似，位平面为0的系数用0近似；

3.1.3将高频系数与步骤3.1.2得到的解码系数相减得到第二层待扫描的系数矩阵；

3.1.4选取原阈值的一半Thr/2作为新的阈值；

3.1.5重复步骤3.1.1～3.1.4直至用于高频系数编码的码流用完。

3.2帧分割处理包括以下操作：

3.2.1对于待编码位平面检测是否全0或全1，若全0或全1，则用一个比特将此位平面进行编码，否则转入步骤3.2.2；

3.2.2将位平面等分成四份，得到分辨率为原来一半的四个新的位平面；

3.2.3对得到的新的四个位平面重复步骤3.2.1～3.2.2直至每个分割后的位平面中只包含一种数据。

由上述编码过程可以看出生成的高频系数码流是可任意截断的，由于在位平面编码时是按层次用递减的阈值进行扫描的，每一次扫描都可以获得一次解码系数，所以在任意截断码流后也能对应地恢复出高频系数。帧分割系数结合了变换高频系数大量为0这一特点，高效地以块为单位将这些0结合起来进行编码，可以有效提高压缩效率。

四，对不同频带的系数进行能量统计，按照不同的能量比例对给定的编码码率进行对应分配：由于低、高频所包含的视频信息量有很大的差异，简单的对码率按不同频率平均分配会使得低频信息大量缺失，对最后的编码效果产生极大的影响。分别统计低、高频系数所包含的能量，按照能量的比例来分配编码码率。具体码率分配流程如下：

4.1分别计算低、高频频带所包含的信号能量；

4.2得到低、高频系数能量之间的比例关系；

4.3按照低、高频系数能量比例分配编码码率，其比例一般为3:1～10:1。

由上述过程可知给定的码率可以保证尽可能的用来编码视频信号，由于低频信息所包含的大量能量，所以可以保证码率分配以低频信号为主，辅以编码若干能量较大的高频系数。

综上所述，本方法与现有技术相比的显著优点在于：

1)结合了二维变换能量的集中性，比一般地下采样方法低频信号包含的视频信息更丰富，编码效果更好；

2)下采样的引入使得混合编码框架编码分辨率降低，从而大大降低了编码的复杂度；

3)高频系数的编码结合了位平面编码的可任意截断特性以及帧分割处理的高效0块编码特性，使得高频系数得到了有效编码；

4)低、高频系数码率分配能有效平衡好不同频带间编码引入的误差，使得综合编码效果最优。

Claims (6)

1.一种基于变换下采样的低码率视频编码方法，其特征在于，包括以下步骤：

第一步，采用小波变换对视频帧进行下采样，得到的变换系数分为一个低频子带和三个高频子带，分别对低频子带利用混合编码框架进行编码、对高频子带利用位平面编码以及帧分割处理进行编码组合生成整个一帧的编码码流；

第二步，对小波变换后的视频帧进行二维变换得到原始大小四分之一的低频系数，然后将低频系数经过映射和向下取整处理，归一化后进行HEVC编码，具体包括：

2.1将小波变换后的视频帧左上角四分之一取出作为低频信号进行后续的编码；

2.2分别找出低频系数中的最大值Max和最小值Min；

2.3利用公式将每一个低频系数coe映射成0～255之间coe_new；

2.4对coe_new进行向下取整得到归一化后0～255之间的整数coe_nor；

2.5对归一化后的系数进行混合编码框架编码得到低频信号编码码流；

第三步，利用位平面编码扫描得到高频系数中的大系数，然后对得到的0-1位平面进行帧分割并进行编码，具体包括：

3.1.1对于给定阈值Thr对高频系数进行扫描，如果系数绝对值大于Thr则位平面置一，否则位平面置零；

3.1.2根据位平面得到解码系数，对于位平面为1的系数用Thr近似，位平面为0的系数用0近似；

3.1.3将高频系数与步骤3.1.2得到的解码系数相减得到第二层待扫描的系数矩阵；

3.1.4选取原阈值的一半Thr/2作为新的阈值；

3.1.5重复步骤3.1.1～3.1.4直至用于高频系数编码的码流用完；

第四步，对不同频带的系数进行能量统计，按照不同的能量比例对给定的编码码率进行对应分配。

2.根据权利要求1所述的方法，其特征是，第一步中所述的小波变换的采样率为2。

3.根据权利要求1所述的方法，其特征是，第二步中所述的归一化的量化阶为8bit或10bit。

4.根据权利要求1或2所述的方法，其特征是，所述的第一步具体包括：

1.1对输入的视频信号以帧为单位进行小波变换，变换后的系数进行重新排列，可以得到一个低频子带和三个高频子带；

1.2对一个低频子带按步骤二所述的方法利用HEVC进行编码得到输出码流；

1.3对三个高频子带分别按步骤三所述的方法利用位平面编码以及帧分割处理进行编码得到输出码流；

1.4将步骤1.2和步骤1.3中得到的码流按照低频优先的原则组合生成整个一帧的编码码流。

5.根据权利要求1所述的方法，其特征是，所述的第四步具体包括：

4.1分别计算低、高频系数所包含的信号能量；

4.2得到低、高频系数能量之间的比例关系；

4.3按照低、高频系数能量比例分配编码码率。

6.一种实现权利要求1～5中任一所述方法的系统，其特征在于，包括：二维变换模块、归一化模块、位平面编码模块、帧分割模块和码率分配模块，其中：二维变换模块与视频输入帧相连并传输变换系数信息，归一化模块与变换低频信息相连并传输待编码低频信息，位平面编码模块与变换高频信息相连并传输位平面信息，帧分割模块与位平面信息相连并传输高频编码信息，码率分配模块与通过统计输入视频信号对低、高频码率分配进行控制。