CN109905717A

CN109905717A - 一种基于空时域下采样与重建的h.264/avc编码优化方法

Info

Publication number: CN109905717A
Application number: CN201711303918.3A
Authority: CN
Inventors: 何小海; 苏姗; 熊淑华; 卿粼波; 林宏伟; 孙伟恒; 滕奇志
Original assignee: Sichuan University
Current assignee: Sichuan University
Priority date: 2017-12-11
Filing date: 2017-12-11
Publication date: 2019-06-18

Abstract

本发明提出了一种基于空时域下采样与重建的H.264/AVC编码优化算法。首先在编码端对原视频进行空域下采样得到低分辨率视频后，为进一步减少传输中冗余数据量，依据视频运动特性提出一种运动检测抽帧方法来降低视频帧率，然后将低分辨率低帧率视频经H.264/AVC编解码，最终将解码后的视频通过运动估计与补偿插帧技术、超分辨率重建技术恢复到原分辨率原帧率视频。实验结果表明，在低码率段本发明所提算法的率失真性能优于H.264/AVC标准。

Description

一种基于空时域下采样与重建的H.264/AVC编码优化方法

技术领域

本发明涉及图像通信领域中的视频编码技术问题，尤其是涉及一种基于空时域下采样与重建的H.264/AVC编码降码率方法。

背景技术

人们对于视频高清晰度和高流畅性的追求一直没有停止，已经出现的4K+120帧版本的电影不仅保证了视频每一帧的画面清晰度，也确保了视频在帧与帧之间切换时细节不会丢失。然而，高清高帧率视频技术的应用给人们带来更好的观看感受的同时，其数据量大大增长，给网络带宽和设备存储能力带来巨大的挑战。现在网络中大量的视频资源都是采用H.264/AVC标准进行压缩编码。因此在有限的存储能力和网络带宽的条件下，如何在H.264/AVC标准基础上进一步提高视频压缩效率是一个至关重要的问题。

由于视频具有很大的冗余性，所以可以通过去除视频冗余信息来提高视频的压缩效率。一方面，视频帧中相邻像素之间往往相差不大，存在空间冗余。另一方面，视频是一个时间轴下一组连续的画面，相邻帧具有几乎相同的背景和运动物体，只有运动物体经过位移会在空间位置上产生一定变化，因此相邻帧之间的数据相关性很大，存在时间冗余。所以用空域下采样方法缩减视频中的空间冗余信息后，还可以继续压缩视频在时域上的冗余信息，进一步提高视频压缩效率。

目前学术界关于如何在空域提高图像及视频压缩效率的算法已有很多，且大多数取得了不错的成果。Bruckstein在JPEG编码标准的基础上提出一种新的编码方法，该方法将图像分辨率降低，然后进行JPEG编码，最后将结果内插到原始分辨率。陈静涛提出了基于采样与重建的图像压缩编码方案，该方案在编码端首先对原始图像进行下采样之后再进行编码得到图像的码流，在解码端先对接收到的码流进行解码得到低分辨率图像，然后利用基于特征字典重建的算法对解码图像进行超分辨率重建，使其恢复到与原始分辨率相同大小的图像，实验结果表明在同码率下所提方案与JPEG2000对比，图像在客观评价上的质量大致相等或者稍微有一些提升。Barreto D在编码端进行区域分割的空域降采样，在解码端利用分割信息对低分辨率图像序列进行超分辨率重建。Glaister J在空域引入关键帧和非关键帧的概念，在H.264/AVC编解码后，通过关键帧的信息来辅助重建普通帧。Dong J找到空域下采样和编码引起失真的最优下采样比，从而实现整体最优的率失真性能。

发明内容

针对H.264/AVC标准编码码率高的问题，本发明利用前后处理去除空间和时间上的冗余，提出了一种基于空时域下采样与重建的H.264/AVC编码优化方法，在保证视频质量的前提下，尽可能降低视频压缩后的码率以适应信道带宽不足的限制。

本发明的基本思想是在不影响视频质量的前提下，充分去除视频冗余来达到提高视频压缩率的目的。在视频编码前，用空域下采样去除视频空间冗余，在用时域抽帧方法进一步去除视频时间冗余，得到低分辨率低帧率视频后，对该视频进行编解码后，将解码视频利用时域插帧方法和空域上采方法恢复到原视频帧率和大小。

本发明针对H.264/AVC标准提出了一种基于空时域下采样与重建的H.264/AVC编码优化方法。在编码端对原视频进行空域下采样得到低分辨率视频后，为进一步减少传输中的冗余数据量，依据视频运动特性提出一种运动检测抽帧方法来降低低分辨率视频的帧率，然后将低分辨率低帧率视频经H.264/AVC编码解码，最终将解码后的视频通过运动估计与补偿插帧技术、超分辨率重建技术恢复到原分辨率原帧率视频。具体主要包括以下过程步骤：

(1)在编码前对原始视频进行空域下采样成原视频1/4大小的低分辨率视频，其中空域下采样为Lanczos下采样；

(2)对步骤(1)得到的低分辨率视频进行运动检测抽帧生成低分辨率低帧率视频，记录并传输留下的参考帧序号；

(3)对低分辨率低帧率视频经H.264/AVC编码，编码采用IPPP的编码结构，得到压缩后的视频码流，对视频码流经H.264/AVC解码后得解码视频；

(4)在解码端提取到参考帧序号，根据参考帧序号确定丢失帧情况，对解码视频进行运动估计与运动补偿插帧恢复到原帧率，即低分辨率原帧率视频；

(5)低分辨率原帧率视频经空域上采后，视频恢复到原始尺寸大小，其中空域上采为ANR超分辨率重建技术。

在本发明的上述技术方案中，所述基于空时域下采样与重建的H.264/AVC编码优化方法，同时结合了空域和时域降码率，有效地去除了视频空间冗余和时间冗余。

在本发明的上述技术方案中，所述基于空时域下采样与重建的H.264/AVC编码优化方法，空域下采样为Lanczos下采样，降低视频空间冗余同时较好地保留了原始视频信息。

在本发明的上述技术方案中，所述基于空时域下采样与重建的H.264/AVC编码优化方法，其中运动检测抽帧方法充分考虑了视频运动特性，利用平均绝对差异MAD来衡量视频帧的运动复杂度，用相邻帧之间的MAD的均值衡量几帧运动整体变化情况，用MAD的标准差衡量帧与帧之间运动波动情况。

在本发明的上述技术方案中，所述运动检测抽帧方法以相邻四帧为一组，保留第一帧为基准帧，若后三帧分别相对前一帧的3个MAD值的均值小于阈值3，标准差小于1，说明运动特别平缓对应抽掉中间两帧情况；否则继续判断后两帧分别相对前一帧的2个MAD值的均值小于阈值30，标准差小于4，说明运动比较平缓对应抽掉中间一帧情况；否则，表明运动剧烈甚至场景跳变对应不抽帧情况。

在本发明的上述技术方案中，所述基于空时域下采样与重建的H.264/AVC编码优化方法，解码视频经双向运动估计得到前后非丢失帧之间的运动矢量，用运动补偿插帧技术恢复中间一帧丢失帧，恢复中间两帧丢失帧，恢复解码视频帧率。

在本发明的上述技术方案中，所述基于空时域下采样与重建的H.264/AVC编码优化方法，其中空域上采方法为ANR超分辨率重建技术，重建视频质量较高。

根据本发明的上述方法可以编制执行上述一种基于空时域下采样与重建的H.264/AVC编码优化方法。

本发明是基于以下思路分析而完成的：

在编码前，对原始视频进行Lanczos下采样后，还要进行运动检测抽帧技术。本发明中运动检测抽帧方法：1)以相邻四帧作为一组开始判断。直接保留第一帧作为基准帧，计算第二帧、第三帧、第四帧分别相对前一帧的MAD值，求出这3个MAD值的均值和标准差。如果均值小于阈值A₁，标准差小于阈值T₁，则表示相邻四帧中帧与帧之间运动特别平缓，一次抽两帧，即抽掉第二帧和第三帧，第四帧作为新的基准帧重新进行判断。若不满足条件，则转到第二步。2)判断相邻三帧的运动情况。用上一步中第二帧、第三帧相对于前一帧MAD值，求出这2个MAD值的均值和标准差。如果均值小于阈值A₂且标准差小于阈值T₂，则表示相邻三帧中帧与帧之间运动比较平缓，一次抽一帧，即抽掉第二帧，第三帧作为新的基准帧重新进行判断。若不满足条件，说明运动剧烈甚至出现场景跳变的情况，则保留第二帧，第二帧作为新的基准帧重新进行判断。每次从基准帧开始，以相邻四帧为一组，重复以上过程，直到抽帧结束，记录并传输留下的参考帧序号。当A₁为3，T₁为1，A₂为30，T₂为4时能达到比较好的抽帧效果。低分辨率低帧率视频经H.264/AVC编解码后得解码视频。

在解码后对解码视频采用双向运动估计方法，给虚构的待插帧以16×16的像素块大小，搜索范围为8×8，以求和绝对误差SAD作为匹配标准来计算运动矢量。当SAD达到最小时，得到前后帧之间的运动矢量。用解码端得到的参考帧序号确定丢失帧情况，对于前后参考帧丢失一帧的情况，前后参考帧用双向运动补偿插帧技术插值出中间一帧。对于前后帧丢失两帧的情况，根据待插帧与前后帧的距离调整运动矢量大小，利用前后参考帧恢复中间两帧。将恢复到原帧率的视频利用ANR超分辨率重建方法恢复到原始大小，最终得到原帧率原大小的视频。

实验结果表明，本发明的视频压缩方法在低码率段实现了同等重建视频质量情况下降低码率。

附图说明

图1基于空时域下采样与重建的H.264/AVC编码优化算法框架；

图2运动检测抽帧方法；

图3两连续帧中间插值出两帧情况。

具体实施方式

下面结合实施例对本发明作进一步的详细说明，有必要指出的是，以下的实施例只用于对本发明做进一步的说明，不能理解为对本发明保护范围的限制，所属领域技术熟悉人员根据上述发明内容，对本发明做出一些非本质的改进和调整进行具体实施，应仍属于本发明的保护范围。

本发明的基于空时域下采样与重建的H.264/AVC编码优化方法，与H.264/AVC标准测试模型JM18.2的编码方法比较过程如下：

1.同时打开两个算法的程序并设置好配置文件，H.264/AVC标准量化步长(QP)选取30，34，38，42，46，本发明算法量化步长(QP)选取22，26，30，34，38；

2.编码的对象为标准测试视频序列：akiyo_cif、PartyScene_832x480、KristenAndSara_1280x720、Cactus_1920x1080、Traffic_2560x1600；

3.利用JM18.2标准方法对视频序列在H.264/AVC方式下进行视频编解码；

4.将视频空域下采样为100帧低分辨率视频；

5.将低分辨率视频抽帧为100帧低分辨率低帧率视频；

6.利用H.264/AVC视频编码器JM18.2对视频序列在H.264/AVC方式下进行视频编码，形成H.264/AVC格式码流；

7.对H.264/AVC格式码流解码，得到解码视频，对解码视频用插帧恢复到原帧率；

8.对低分辨率原帧率视频进行超分辨率重建恢复到原大小；

9.两个程序分别输出视频编码后的码率、PSNR值，上述2个质量指标的结果如表1所示。统计显示，低码率段本发明算法率失真性能基本超过了H.264/AVC。

表1本发明算法与H.264/AVC标准码率和PSNR的比较

Claims

1.一种基于空时域下采样与重建的H.264/AVC编码优化方法，其特征在于：

2.如权利要求1所述的基于空时域下采样与重建的H.264/AVC编码优化方法，其特征在于同时结合了空域和时域降码率，有效地去除了视频空间冗余和时间冗余。

3.如权利要求1所述的基于空时域下采样与重建的H.264/AVC编码优化方法，其特征在于所述空域下采样方法为Lanczos下采样，降低视频空间冗余的同时较好地保留了原始视频信息。

4.如权利要求1所述的基于空时域下采样与重建的H.264/AVC编码优化方法，其特征在于所述运动检测抽帧方法充分考虑了视频运动特性，利用平均绝对差异MAD来衡量视频帧的运动复杂度，用相邻帧之间MAD值的均值衡量几帧运动整体变化情况，用相邻帧之间MAD值的标准差衡量帧与帧之间运动的波动情况。

5.如权利要求4所述的运动检测抽帧方法，其特征在于以相邻四帧为一组，保留第一帧为基准帧，若后三帧分别相对前一帧的3个MAD值的均值小于阈值3，标准差小于1，说明运动特别平缓对应抽掉中间两帧情况；否则继续判断后两帧分别相对前一帧的2个MAD值的均值小于阈值30，标准差小于4，说明运动比较平缓对应抽掉中间一帧情况；否则，表明运动剧烈甚至场景跳变对应不抽帧情况。

6.如权利要求1所述的基于空时域下采样与重建的H.264/AVC编码优化方法，其特征在于对解码视频双向运动估计得到前后参考帧之间的运动矢量，用运动补偿插帧技术恢复中间一帧丢失帧，恢复中间两帧丢失帧，恢复解码视频帧率。

7.如权利要求1所述的基于空时域下采样与重建的H.264/AVC编码优化方法，其特征在于所述空域上采方法为ANR超分辨率重建技术，得到的重建视频质量较高。

8.一种用于执行权利要求1至7所述基于空时域下采样与重建的H.264/AVC编码优化方法。