CN101720044B - 一种基于自适应帧结构的avs编码方法 - Google Patents

Abstract

本发明涉及一种基于自适应帧结构的AVS编码方法，涉及一种视频信号处理方法，该方法通过逐帧读取视频编码图像，对场景切换进行检测，同时对相邻帧的相关性和复杂度进行分析，判断待编码图像的编码类型，并对图像编码顺序进行调整，确定其参考帧选择，本发明由于更加考虑了视频序列的特点，保证了视频图像的压缩效率，能够显著提升AVS视频重建图像的主观质量及其稳定性，消除目前AVS编码在场景切换或运动剧烈时产生的马赛克现象。本方法对于单一场景或多个场景的视频序列均适用。

Description

一种基于自适应帧结构的AVS编码方法

技术领域

本发明涉及一种视频信号处理方法，尤其涉及一种AVS编码方法。

背景技术

数字音视频编码技术标准AVS是我国第一个具有自主知识产权的第二代信源编码标准，其压缩效率和竞争性与国际标准H.264/AVC相当，是MPEG-2的两倍以上。

基于运动补偿的预测主要功能是消除视频在时域上的冗余信息，视频编码的大部分效率来自于预测模块。视频编码的过程就是对视频序列的每一帧图像进行编码的过程。

常见视频编码系统是对一帧图像的编码，是以宏块为基本单元进行的。在编码每一帧图像时，又分为帧内(I帧)编码、预测(P帧)编码和双向预测(B帧)编码等情况。一般来说，编码时，I帧、P帧和B帧编码穿插进行，比如按照IBBPBBP的顺序。

在AVS视频编码参考软件中，采用固定的GOP(Group of Picture，图像组)结构进行编码。假设连续插入B帧的个数为2，则编码结构为IBBPBBP…IBBPBBP…，即I帧与P帧及P帧与P帧的之间插入的B帧数目始终保持为2。视频序列在固定码率的情况下，这种固定GOP的编码方法虽然可以保证较好的码率控制，但是往往不可避免地在场景切换和运动剧烈时导致编码视频的主观质量下降，出现严重的马赛克现象。

综上所述，固定的GOP结构不能满足编码质量稳定性的需求。

发明内容

本发明的目的是解决现有AVS编码方法中采用固定GOP结构存在的图像质量稳定性不高、主观质量下降的问题，提供一种基于自适应帧结构AVS编码方法，面向AVS互联网视频存储的应用，使得编码过程更加考虑序列的特点，提升视频重建图像主观质量的稳定性，消除AVS编码在场景切换和运动剧烈时产生的马赛克现象。

本发明的目的可以通过下述技术方案来实现：

一种基于自适应帧结构的AVS编码方法，包括

a.对图像中的每帧图像逐帧进行场景检测，设定场景切换的阈值为Ts，被检测帧与其前后相邻帧图像的差异性代价如果大于场景切换的阈值，则判定发生场景切换，确定当前图像的编码类型为I帧，并以其位置开始新的GOP编码，否则进入步骤b；

b.对当前帧的图像编码类型进行判断，记录当前帧分别采用P帧和B帧为编码类型时残差经Hadamard变换后预测残差绝对值总和代价值，如果采用P帧编码的预测残差绝对值总和代价值大于采用B帧的预测残差绝对值总和代价值，则判断当前帧编码类型为B帧，否则编码类型为P帧，并计算已确定帧的编码顺序及确定参考帧；

c.根据步骤a和步骤b判定的当前帧编码类型，对I帧、P帧和B帧分别进行参考帧选择，从而对待编码图像进行编码；

d.统计当前GOP的长度，并与设定的I帧间隔最大值Imax进行比较，如果GOP长度等于Imax，且编码序列没有结束，则强制设定下一帧图像的编码类型为I帧，进入步骤c，否则进入步骤e；

e.判断视频序列编码是否结束，如果未结束，进入步骤a，否则结束编码。

所述步骤c中，如果I帧与P帧及P帧与P帧之间存在B帧时，则先对B帧后的第一个I帧或P帧进行编码，然后再对B帧依次进行编码，并计算该帧的编码顺序。

所述步骤c中，根据确定的当前帧编码类型和参考帧，在动态GOP结构下，对当前帧分类型进行编码：

如果当前帧为I帧，直接将其进行编码，编码的重建值放入参考缓冲区供P帧或B帧参考；

如果当前帧为P帧，参考前一个I帧或P帧进行编码，编码的重建值放入参考缓冲区供P帧或B帧参考；

如果当前帧为B帧，记录前向参考帧与后向参考帧在时域上的距离及当前帧与前向参考帧在时域上的距离，同时确定当前帧处于连续B帧中的位置，对该B帧进行编码。

所述步骤c中，每次编码I帧或P帧时，将B帧的最大缓冲区填满。

所述步骤c中，每个I帧后紧随B帧进行编码。

所述步骤a之前还有步骤a0，即初始化视频信号的初始化量化参数，设定包括编码帧率在内的编码参数，设定场景切换的阈值及连续插入B帧的最大值，设置参考帧的数目及I帧间隔的最大值。

本发明采用上述方法，逐帧检测判定其编码类型，并基于自适应帧结构对帧图像重新编码(即帧图像的序列编排)，对于场景切换或运动剧烈的图像编码为I帧，并以此帧的位置开始一个新的GOP编码，因此，在AVS自适应帧结构中，编码结构不再为IBBPBBP…IBBPBBP…的固定GOP结构，而是根据序列相邻图像的相关性和复杂度，自适应确定当前帧应该编码为I帧、P帧还是B帧，此时I帧与I帧、I帧与P帧及P帧与P帧之间插入的B帧数目动态变化。

因此，采用上述步骤的方法，本发明基于AVS自适应帧结构的图像编码，其编码结构将更加适应序列的特点，可大力提高编码重建图像主观质量的稳定性，消除目前AVS编码在场景切换或运动剧烈时产生的马赛克现象，对于单一场景或多个场景的视频序列均适用。

附图说明

本发明将通过例子并参照附图的方式说明，其中：

图1是本发明的流程示意图；

图2是本发明中单参考帧下基于自适应帧结构的参考帧选择示意图。

具体实施方式

下面结合具体实施例和附图对本发明作进一步的说明。

一种基于自适应帧结构的AVS编码方法是通过逐帧进行场景切换检测，结合图像的相关性和复杂度来判断每帧图像的编码类型，然后根据确定的编码类型，对每帧图像在自适应帧结构下，重新进行帧序列的编排，实现其图像编码。

如图1所示，上述方法的具体过程是：

a0.初始化参数，设定包括编码帧率在内的编码参数，设定场景切换的阈值T_s及连续插入B帧的最大值B_max，设置参考帧的数目(本实施例中，采用AVS的通用参考帧数目，即参考帧数目为2)及I帧间隔的最大值T_max。

a.预读部分图像，对图像中的每帧逐帧进行场景切换检测，如发生场景切换，确定当前帧图像的编码类型为I帧，并以其位置开始一个新的GOP编码，否则进入步骤b。

b.结合图像的相关性和复杂度，对当前帧的编码类型进行判断，以确定是P帧还是B帧，方法是对当前帧预编码为P帧或B帧，记录当前帧分别采用P帧和B帧为编码类型时残差经Hadamard变换(视频编码标准中，Hadamard变换多被用来计算SATD值，即视频残差信号大小的衡量)后的预测残差绝对值总和代价值为C_{i_p}和C_{i_b}。

设8x8块图像残差矩阵为L₈，8阶的Hadamard变换矩阵为H₈

$H_8=\left[\begin{array}{cccccccc}1& 1& 1& 1& 1& 1& 1& 1\\ 1& -1& 1& -1& 1& -1& 1& -1\\ 1& 1& -1& -1& 1& 1& -1& -1\\ 1& -1& -1& 1& 1& -1& -1& 1\\ 1& 1& 1& 1& -1& -1& -1& -1\\ 1& -1& 1& -1& -1& 1& -1& 1\\ 1& 1& -1& -1& -1& -1& 1& 1\\ 1& -1& -1& 1& -1& 1& 1& -1\end{array}\right]$

先用下面的方法进行8x8块的二维Hadamard变换：

$\left[L_8^{\′}\right]=\left[H_8\right]\×\left[L_8\right]\×\left[H_8\right]$

然后计算

所有系数的绝对值之和并归一化，该值即为该8x8块的SATD值。对整帧图像8x8块的SATD进行统计，可以得到预测残差绝对值总和代价C_{i_p}和C_{i_b}。

如果采用P帧编码的预测残差绝对值总和代价值C_{i_p}大于采用B帧的预测残差绝对值总和代价值C_{i_b}，则判断当前帧编码类型为B帧，否则编码类型为P帧，并计算已确定帧的编码顺序及确定参考帧。

c.根据步骤a和步骤b判定的当前帧编码类型，对I帧、P帧和B帧分别进行参考帧选择，从而对待编码图像进行编码，具体方法是：

如果I帧与P帧及P帧与P帧之间存在B帧时，则先对B帧后的第一个I帧或P帧进行编码，然后再对B帧依次进行编码，并计算该帧的编码顺序；

确定I帧、P帧和B帧的先编码还是后编码的顺序是，由于编码图像的相关性和连续性，编码时每个GOP最前面的B帧可以参考前一个GOP的内容进行编码，也就是说每个I帧后可以允许紧随B帧进行编码。

为了动态实现自适应帧结构调整，每次编码I帧或P帧时，将B帧的最大缓冲区填满，以便为后续的帧类型分析做好准备；

根据前面确定的当前帧编码类型和参考帧，在动态GOP结构下，对当前帧分类型进行编码：

如果当前帧为I帧，直接将其进行编码，编码的重建值放入参考缓冲区供P帧或B帧参考；

如果当前帧为P帧，参考前一个I帧或P帧进行编码，编码的重建值放入参考缓冲区供P帧或B帧参考；

如果当前帧为B帧，记录前向参考帧与后向参考帧在时域上的距离以及当前帧与前向参考帧在时域上的距离，同时确定当前帧处于连续B帧中的位置，对该B帧进行编码。

d.统计当前GOP的长度，并与设定的I帧间隔最大值I_max进行比较，为了确保最大间隔关键帧的正常出现，如果GOP长度等于I_max，且编码序列没有结束，则强制设定下一帧图像的编码类型为I帧，进入步骤c，否则进入步骤e；

e.判断帧图像序列的编码是否结束，如果未结束，进入步骤a，否则结束编码。判断是否编码结束的方法是，确定需要编码的图像帧数，每编完一帧进行编码帧数的统计，如果与需要编码的图像帧数相同，则编码结束，否则未结束。

确定参考帧的方法如图2所示，对于图2中第一个P帧，其参考之前的I帧进行编码，对于第二个B帧，其参考图中第一个P帧和第二个P帧进行编码。

本说明书中公开的所有特征，或公开的所有方法或过程中的步骤，除了互相排斥的特征和/或步骤以外，均可以以任何方式组合。

本说明书(包括任何附加权利要求、摘要和附图)中公开的任一特征，除非特别叙述，均可被其他等效或具有类似目的的替代特征加以替换。即，除非特别叙述，每个特征只是一系列等效或类似特征中的一个例子而已。

本发明并不局限于前述的具体实施方式。本发明扩展到任何在本说明书中披露的新特征或任何新的组合，以及披露的任一新的方法或过程的步骤或任何新的组合。

Claims (6)

1.一种基于自适应帧结构的AVS编码方法，其特征在于，包括

a.对图像中的每帧图像逐帧进行场景检测，设定场景切换的阈值为Ts，被检测帧与其前后相邻帧图像的差异性代价如果大于场景切换的阈值，则判定发生场景切换，确定当前图像的编码类型为I帧，并以其位置开始新的GOP编码，否则进入步骤b；

b.对当前帧的图像编码类型进行判断，记录当前帧分别采用P帧和B帧为编码类型时残差经Hadamard变换后预测残差绝对值总和代价值，如果采用P帧编码的预测残差绝对值总和代价值大于采用B帧的预测残差绝对值总和代价值，则判断当前帧编码类型为B帧，否则编码类型为P帧，并计算已确定帧的编码顺序及确定参考帧；

c. 根据步骤a和步骤b判定的当前帧编码类型，对I帧、P帧和B帧分别进行参考帧选择，从而对待编码图像进行编码；

d.统计当前GOP的长度，并与设定的I帧间隔最大值Imax进行比较，如果GOP长度等于Imax，且编码序列没有结束，则强制设定下一帧图像的编码类型为I帧，进入步骤c，否则进入步骤e；

e.判断视频序列编码是否结束，如果未结束，进入步骤a，否则结束编码。

2.如权利要求1所述一种基于自适应帧结构的AVS编码方法，其特征在于，所述步骤c中，如果I帧与P帧及P帧与P帧之间存在B帧时，则先对B帧后的第一个I帧或P帧进行编码，然后再对B帧依次进行编码，并计算该帧的编码顺序。

3.如权利要求2所述一种基于自适应帧结构的AVS编码方法，其特征在于，所述步骤c中，根据确定的当前帧编码类型和参考帧，在动态GOP结构下，对当前帧分类型进行编码：

如果当前帧为I帧，直接将其进行编码，编码的重建值放入参考缓冲区供P帧或B帧参考；

如果当前帧为P帧，参考前一个I帧或P帧进行编码，编码的重建值放入参考缓冲区供P帧或B帧参考；

如果当前帧为B帧，记录前向参考帧与后向参考帧在时域上的距离及当前帧与前向参考帧在时域上的距离，同时确定当前帧处于连续B帧中的位置，对该B帧进行编码。

4.如权利要求3所述一种基于自适应帧结构的AVS编码方法，其特征在于，所述步骤c中，每次编码I帧或P帧时，将B帧的最大缓冲区填满。

5.如权利要求2或3或4所述一种基于自适应帧结构的AVS编码方法，其特征在于，所述步骤c中，每个I帧后紧随B帧进行编码。

6.如权利要求1～4之一所述一种基于自适应帧结构的AVS编码方法，其特征在于，所述步骤a之前还有步骤a0,即初始化视频信号的初始化量化参数，设定包括编码帧率在内的编码参数，设定场景切换的阈值及连续插入B帧的最大值，设置参考帧的数目及I帧间隔的最大值。

Images