CN110430427B - 一种基于skip模式编码结果的快速视频编码决策方法与系统 - Google Patents

Abstract

本发明公开了一种基于SKIP模式编码结果的快速视频编码决策方法与系统。所述方法包括以下步骤：SKIP模式评估；判断SKIP率失真性能是否小于等于预先设定的SKIP模式率失真阈值；如果当前块的SKIP模式率失真性能指标不超过阈值TH_SKIP，则当前图像块决策为SKIP模式，略过其他所有的图像块帧内/帧间率失真模式；如果当前块的SKIP模式率失真性能指标超过阈值TH_SKIP，则获取“可SKIP参考帧”，在后续的帧间参考帧评估中，只评估单一参考帧或者复合参考帧中包含有“可SKIP参考帧”的率失真评估。该方法降低视频编码中率失真评估的复杂度，同时提升视频编码器的速度。

Description

一种基于SKIP模式编码结果的快速视频编码决策方法与系统

技术领域

本发明涉及视频编解码技术领域，尤其涉及一种基于SKIP模式编码结果的快速视频编码决策方法与系统。

背景技术

AV1视频编码标准由开放媒体联盟(AOM)42家会员联合打造。AV1相比其前身的VP9视频编码标准，引入了70+个最新编码工具，使得AV1在编码标准优势上，相比VP9标准，可以平均提升BD-Rate指标30％以上；相比较MPEG编码标准，例如HEVC(又名H.265)，在相同质量下，可以平均提升BD-Rate指标25％以上。

BD-Rate是衡量视频编码压缩性能的最普遍采用的指标。BD-Rate计算的是两种不同编码方法对应的两条RD曲线的差值的均值，需要通过对不同视频编码测试的若干(一般最少是4个)率失真(RD)采样点进行曲线拟合，之后在两条RD曲线间做差值，最后取平均。相比基准RD曲线，被评估的新编码方法的RD曲线所获取的BD-Rate为负值，并且绝对数值越大，说明新方法愈为有效。

AV1编码标准的推广，依赖于它的编码器和解码器的实现。编码的有效性，在于如何利用编码标准中的工具，可以最有效的组合，对于任意输入视频，率失真即RD可以达到最优。率失真是在假定信源在给定的情况下，在用户可以容忍的失真度内再现数据消息所必需获得的最小平均互信信息，即在允许的失真内，数据可以尽可能的压缩到极限。视频编码压缩的率失真性能评估，一般是新方法的率失真性能与基准方法的对比，也就是上面提到的BD-Rate。

编码获取率失真的最优，不计编码速度，可以对所有编码工具的组合进行穷举评估。不过这样造成编码器的编码过程过慢，无法满足实际应用的需求。对编码器达到有效的速度优化，同时保持编码压缩性能不会过多的降低，是目前业界快速视频编码压缩方法的技术发展重点和难点之一。尤其是对于AV1这一崭新标准，标准工具非常复杂，AV1的编码器，目前离实际广泛采纳还有一定的距离，主要是在于它的编码速度优化方面，还远未成熟。

发明内容

本发明提出的SKIP模式优化方案，就是一种实现视频编码速度以及编码性能(率失真编码性能)综合优化的有效方法。利用视频编码块级中的SKIP模式，实现视频编码率失真决策的加速，与此同时对视频编码性能的影响达到最小，从而实现视频编码速度和视频编码性能的整体优化。即核心发明构思：利用SKIP模式对整体块级率失真评估流程的优化，以及利用SKIP模式评估的中间结果加速对其他编码模式的评估。

本发明提供的一种基于SKIP模式编码结果的快速视频编码决策方法，具体包括以下步骤：

步骤1：SKIP模式评估：对于图像帧中的块级率失真评估，率先评估SKIP模式；

步骤2：判断SKIP率失真性能是否小于等于预先设定的SKIP模式率失真阈值；所述预先设定的SKIP模式率失真阈值为TH_SKIP＝D_SKIP+λR_SKIP，其中D_SKIP表示视频图像帧SKIP模式的失真系数，R_SKIP为SKIP模式编码码率，λ为率失真权重；当λ取值增大时，R_SKIP在率失真阈值中的权重增加，说明码率需要优先于失真度考虑；当λ取值减小时，D_SKIP在率失真阈值中的权重增加，说明图像失真度需要优先考虑。

步骤3：如果当前块的SKIP模式率失真性能指标不超过阈值TH_SKIP，则当前图像块决策为SKIP模式，略过其他所有的图像块帧内/帧间率失真模式，即跳过步骤4、步骤5，直接输出图像宏块码流；如果当前块的SKIP模式率失真性能指标超过阈值TH_SKIP，则进入步骤4；

步骤4：获取“可SKIP参考帧”，在后续的帧间参考帧评估中，只评估单一参考帧或者复合参考帧中包含有“可SKIP参考帧”的率失真评估；

步骤5：其他帧内/帧间模式快速率失真评估；其中，帧间参考帧评估中，只评估单一参考帧或者复合参考帧中包含有“可SKIP参考帧”的率失真评估。

优选地，所述步骤2中，TH_SKIP的选择可采取下面两种方法设定：

方法一：经验统计设定，即对预先选取的视频测试集设定阈值。

方法二：机器学习方法，即可以利用上述方法一设定起始阈值，在编码一个视频序列过程中，用机器学习的方法，对设定的所述起始阈值不断修正。

优选地，所述步骤4中，具体认定“可SKIP参考帧”的步骤如下：

步骤4.1：考查SKIP模式中任一参考帧的残差量化系数：

假设两个参考帧指定为{ref_frame1,ref_frame2}，则任一参考帧残差的量化系数为：

QDiff⁽ⁱ⁾(x,y)＝Quant(F(x,y)-ref_frame(i)(x,y))， (1)

其中0≤x<N，0≤y<M，宏块的大小为M×N，F(x,y)为宏块原有像素取值，Quant()为取量化值，i＝0,1；

步骤4.2：考查QDiff(x,y)统计是否符合如下条件：

如果QDiff⁽ⁱ⁾(x,y)在宏块中的所有取值均为零，或接近为零时，该参考帧{ref_frame(i)}(i＝0,1)可认定为“可SKIP参考帧”；其中如果以下条件满足，可确定QDiff⁽ⁱ⁾(x,y)接近为零：

首先获取残差量化系数绝对值的直方图，用q(k)表示，其中k＝1,2,...,R，k为量化残差绝对值取值，R为量化残差绝对值的最大取值；

指标一：

其中K为预先设定阈值，即量化残差绝对值的最大允许的非零数值，一般可取为1，即：量化残差只允许在{-1,0,1}范围内取值；

指标二：宏块M×N中满足QDiff(x,y)≠0的量化系数数目百分比不超过预先设定数值，一般可取为10％，即：90％或以上的量化残差均取值为零。

综合以上两个指标，如果量化残差只有10％或少于10％取值非零，且所有非零取值均在{-1,0,1}范围之内，则可确定QDiff⁽ⁱ⁾(x,y)接近为零。

本发明提供的一种基于SKIP模式编码结果的快速视频编码决策系统，包括处理器和存储器，所述存储器中存储有计算机程序，所述计算机程序被所述处理器执行以实现上述的方法。

本发明基于SKIP模式编码结果的快速视频编码决策方法和系统,通过当前图像块决策为SKIP模式，略过其他所有的图像块帧内/帧间率失真模式，从而大大降低率失真决策的复杂度，并通过获取“可SKIP参考帧”在后续的帧间参考帧评估中，只评估单一参考帧或者复合参考帧中包含有“可SKIP参考帧”的率失真评估，从而进一步降低视频编码中率失真评估的复杂度，进一步提升视频编码器的速度。由于上述决策的选取，由编码提速带来的编码性能的降低，也就是对率失真性能的影响，可以控制到非常小的程度，从而达到编码速度和编码性能的整体优化。

附图说明

图1为本发明的基于SKIP模式编码结果的快速视频编码决策方法的流程图。

具体实施方式

为了使本技术领域的人员更好地理解本说明书中的技术方案，下面将结合本说明书一个或多个实施例中的附图，对本说明书实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本说明书一部分实施例，而不是全部的实施例。基于本说明书实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都应当属于本说明书保护的范围。

下面结合附图对本发明作更进一步的说明。

视频编码标准中的SKIP模式，是一种帧间参考模式。在最新编码标准AV1中，SKIP模式的具体定义与其他前期编码标准有所不同。SKIP模式是由复合参考帧做运动矢量估计和补偿获得的。

每一个宏块在编码模式上，可分为帧内模式与帧间模式。帧间模式又分为SKIP模式，单帧参考帧模式，和复合参考帧模式。如果当前宏块被选择为SKIP模式，则：

当前宏块为复合参考帧模式，且复合参考帧的选取为当前图像帧在时间轴上最邻近的两个参考帧：

如果当前图像帧存在前向参考帧与后向参考帧，则选取最邻近的前向参考帧和最邻近的后项参考帧组合为复合参考帧；

如果当前图选帧只存在前向参考帧，则选取最邻近的两个前向参考帧组合为复合参考帧；

当前宏块的运动矢量模式为NEAREAST_NEAREST模式；

当前宏块的残差设定为零。

SKIP模式在所有宏块编码模式中引入的计算量最低。因此，在所有帧内模式和帧间模式评估之前，率先评估SKIP模式，统计上可提升编码速度。若SKIP模式的率失真代价低于预先设定阈值，则该宏块的最终编码模式可提前确定为SKIP模式，并略过其他编码模式的评估。利用SKIP模式，实现视频图像帧块级快速编码模式选择策略。

如图1所示，本发明的基于SKIP模式编码结果的快速视频编码决策方法，具体包括以下步骤：

步骤1：SKIP模式评估：对于图像帧中的块级率失真评估，率先评估SKIP模式。

步骤2：判断SKIP率失真性能是否小于等于预先设定的阈值。预先设定SKIP模式的率失真阈值:TH_SKIP＝D_SKIP+λR_SKIP。其中D_SKIP表示视频图像帧SKIP模式的失真系数，R_SKIP为SKIP模式编码码率，λ为率失真权重；当λ取值增大时，R_SKIP在率失真阈值中的权重增加，说明码率需要优先于失真度考虑；当λ取值减小时，D_SKIP在率失真阈值中的权重增加，说明图像失真度需要优先考虑。

TH_SKIP的选择，可采取下面两种方法设定：

方法一：经验统计设定，即对预先选取的视频测试集，比如利用HEVC标准设定中常用的JCT-VC视频集，其中包括480p到2k不同分辨率、不同内容、不同空间纹理、不同运动复杂度的视频的综合统计，设定阈值。

方法二：机器学习方法，即可以利用方法一设定起始阈值，在编码一个视频序列过程中，对预先设定的阈值不断修正。比如可设定一个简单的神经网络:(a)输入节点包括前一次的阈值选择，以及当前图像块的空间相邻块和临近帧对应位置块是否为SKIP模式的统计；(b)中间网络为1～2层，每层神经元节点为128个；(c)输出节点包括阈值调整的量化调整选择，比如输出节点可设置为3个，阈值增加δ_SKIP，减少δ_SKIP，保持不变。

步骤3：如果当前块的SKIP模式率失真性能指标不超过阈值TH_SKIP，则当前图像块决策为SKIP模式，略过其他所有的图像块帧内/帧间率失真模式，即跳过步骤4、步骤5，直接输出图像宏块码流，从而大大降低率失真决策的复杂度。如果当前块的SKIP模式率失真性能指标超过阈值TH_SKIP，则进入步骤4。

步骤4：获取“可SKIP参考帧”，在后续的帧间参考帧评估中，只评估单一参考帧或者复合参考帧中包含有“可SKIP参考帧”的率失真评估，从而进一步降低视频编码中率失真评估的复杂度，进一步提升视频编码器的速度。接着进入步骤5。

具体认定“可SKIP参考帧”的步骤如下：

步骤4.1：考查SKIP模式中任一参考帧的残差量化系数：

假设两个参考帧指定为{ref_frame1,ref_frame2}，则任一参考帧残差的量化系数为：

QDiff⁽ⁱ⁾(x,y)＝Quant(F(x,y)-ref_frame(i)(x,y))， (1)

其中0≤x<N，0≤y<M，宏块的大小为M×N，F(x,y)为宏块原有像素取值。

步骤4.2：考查QDiff(x,y)统计是否符合如下条件：

如果QDiff⁽ⁱ⁾(x,y)在宏块中的所有取值均为零，或接近为零时，该参考帧{ref_frame(i)}(i＝0,1)可认定为“可SKIP参考帧”；其中如果以下条件满足，可确定QDiff⁽ⁱ⁾(x,y)接近为零：

首先获取残差量化系数绝对值的直方图，用q(k)表示，其中k＝1,2,...,R，k为量化残差绝对值取值，R为量化残差绝对值的最大取值；

指标一：

其中K为预先设定阈值，即量化残差绝对值的最大允许的非零数值，一般可取为1，即：量化残差只允许在{-1,0,1}范围内取值；

指标二：宏块M×N中满足QDiff(x,y)≠0的量化系数数目百分比不超过预先设定数值，一般可取为10％，即：90％或以上的量化残差均取值为零。

综合以上两个指标，如果量化残差只有10％或少于10％取值非零，且所有非零取值均在{-1,0,1}范围之内，则可确定QDiff⁽ⁱ⁾(x,y)接近为零。

步骤5：其他帧内/帧间模式快速率失真评估。

帧间参考帧评估中，只评估单一参考帧或者复合参考帧中包含有“可SKIP参考帧”的率失真评估，从而进一步降低视频编码中率失真评估的复杂度，进一步提升视频编码器的速度，与此同时，由于上述决策的选取，由编码提速带来的编码性能的降低，也就是对率失真性能的影响，可以控制到非常小的程度，从而达到编码速度和编码性能的整体优化。

本发明提供的一种基于SKIP模式编码结果的快速视频编码决策系统，包括处理器和存储器，所述存储器中存储有计算机程序，所述计算机程序被所述处理器执行以实现上述的方法。

从大批量的视频测试集的测试结果统计上观察，采用本专利提出的SKIP模式实现快速编码决策方案，对整体的编码速度，可以达到6-10％的提升，与此同时，对率失真性能的影响，可以控制在0.1％以内。

本申请可用于众多通用或专用的计算机系统环境或配置中。例如：个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器系统、基于微处理器的系统、置顶盒、可编程的消费电子设备、网络PC、小型计算机、大型计算机、包括以上任何系统或设备的分布式计算环境等等。

本申请可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本申请，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。

上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，取决于设计要求和其他因素，可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。

Claims (6)

1.一种基于SKIP模式编码结果的快速视频编码决策方法，具体包括以下步骤：

步骤1：SKIP模式评估：对于图像帧中的块级率失真评估，率先评估SKIP模式；

步骤2：判断SKIP率失真性能是否小于等于预先设定的SKIP模式率失真阈值；所述预先设定的SKIP模式率失真阈值为TH_SKIP＝D_SKIP+λR_SKIP，其中D_SKIP表示视频图像帧SKIP模式的失真系数，R_SKIP为SKIP模式编码码率，λ为率失真权重；当λ取值增大时，R_SKIP在率失真阈值中的权重增加，说明码率需要优先于失真度考虑；当λ取值减小时，D_SKIP在率失真阈值中的权重增加，说明图像失真度需要优先考虑；

步骤3：如果当前块的SKIP模式率失真性能指标不超过阈值TH_SKIP，则当前图像块决策为SKIP模式，略过其他所有的图像块帧内/帧间率失真模式，即跳过步骤4、步骤5，直接输出图像宏块码流；如果当前块的SKIP模式率失真性能指标超过阈值TH_SKIP，则进入步骤4；

步骤4：获取“可SKIP参考帧”，在后续的帧间参考帧评估中，只评估单一参考帧或者复合参考帧中包含有“可SKIP参考帧”的率失真评估；

步骤5：经其他帧内/帧间模式快速率失真评估，输出图像宏块码流；其中，帧间参考帧评估中，只评估单一参考帧或者复合参考帧中包含有“可SKIP参考帧”的率失真评估；

所述步骤4中，具体认定“可SKIP参考帧”的步骤如下：

步骤4.1：考查SKIP模式中任一参考帧的残差量化系数：

假设两个参考帧指定为{ref_frame(1)，ref_frame(2)}，则任一参考帧的残差量化系数为：

QDiff⁽ⁱ⁾(x，y)＝Quant(F(x，y)-ref_frame(i)(x，y))， (1)

其中0≤x＜N，0≤y＜M，宏块的大小为M×N，F(x，y)为宏块原有像素取值，Quant()为取量化值，i＝0，1；

步骤4.2：考查QDiff⁽ⁱ⁾(x，y)统计是否符合如下条件：

如果QDiff⁽ⁱ⁾(x，y)在宏块中的所有取值均为零，或接近为零时，该参考帧{ref_frame(i)}(i＝0，1)可认定为“可SKIP参考帧”。

2.根据权利要求1所述的快速视频编码决策方法，其特征在于，所述步骤2中，TH_SKIP的选择可采取下面两种方法之一设定：

方法一：经验统计设定，即对预先选取的视频测试集设定阈值；

方法二：机器学习方法，即可以利用上述方法一设定起始阈值，在编码一个视频序列过程中，用机器学习的方法，对设定的所述起始阈值不断修正。

3.根据权利要求2所述的快速视频编码决策方法，其特征在于，所述步骤4中，如果以下条件满足，可确定QDiff⁽ⁱ⁾(x，y)接近为零：

首先获取残差量化系数绝对值的直方图，用q(k)表示，其中k＝1，2，...，R，k为量化残差绝对值取值，R为量化残差绝对值的最大取值；

指标一：

其中K为预先设定阈值，即量化残差绝对值的最大允许的非零数值；

指标二：宏块M×N中满足QDiff⁽ⁱ⁾(x，y)≠0的残差量化系数数目百分比不超过预先设定数值；

同时满足以上两个指标，则可确定QDiff⁽ⁱ⁾(x，y)接近为零。

4.根据权利要求3所述的快速视频编码决策方法，其特征在于，所述步骤4.2中，K取值为1，即量化残差只允许在{-1，0，1}范围内取值。

5.根据权利要求3所述的快速视频编码决策方法，其特征在于，所述步骤4.2中，所述宏块M×N中满足QDiff⁽ⁱ⁾(x，y)≠0的残差量化系数数目百分比不超过预先设定数值中所述预先设定数值取值为10％，即90％以上的量化残差均取值为零。

6.一种基于SKIP模式编码结果的快速视频编码决策系统，包括处理器和存储器，所述存储器中存储有计算机程序，所述计算机程序被所述处理器执行以实现如权利要求1-5任一项所述的方法。

Images