CN109862356A - 一种基于感兴趣区域的视频编码方法及系统 - Google Patents

Abstract

本发明涉及一种基于感兴趣区域的视频编码方法和系统，包括：依序提取原始图像序列中的帧间预测编码帧作为当前帧；获取当前帧的前一参考帧，判断当前帧的非感兴趣区域对应参考帧中区域是否为感兴趣区域，若是，则将当前帧的非感兴趣区域中与参考帧的感兴趣区域相对应的区域置为感兴趣区域，否则维持当前帧的区域划分；对当前帧的非感兴趣区域，使用参考帧的重构帧进行替代，提取原始图像序列中当前帧之后的帧间预测编码帧，再次作为当前帧；将预处理图像和宏块级量化参数输入至视频编码器，以完成对原始图像序列的视频编码。本发明具有适用范围广和重点区域重点保护的技术特点。

Description

一种基于感兴趣区域的视频编码方法及系统

技术领域

本发明属于视频编解码领域，具体地说，本发明涉及一种利用现有传统的视频编码器，对不同级别感兴趣区域(region of interest)分级处理的方法。

背景技术

随着视频和网络技术的发展，远程视频通信愈发普及，传统的视频通信系统普遍同等处理采集到的图像画面的不同区域，例如在视频聊天应用中，传统的视频编码器并不区分当前编码的图像块是人脸还是背景，因此解码后的重构图像中，不同区域的图像质量也基本一致。但在某些行业应用中，例如视频监控、远程手语交流等，用户更加关注车辆、人物、手部等特定区域，因此这些感兴趣区域最好具有更高的图像质量。在其他因素不变的情况下，压缩率越低，解码后的重构图像质量越高，而传统的视频编码器只能通过提高图像画面的所有区域的质量来间接提高感兴趣区域的图像质量，但这又显著增大了视频码流的码率。由于感兴趣区域在图像画面中所占比例普遍较低，因此通过降低感兴趣区域的图像压缩率，提高非感兴趣区域的图像压缩率，不仅可以提高感兴趣区域的图像质量，而且可以维持视频码流的码率基本不变。

衡量一个视频编码器的质量，主要考虑3个方面的因素：复杂度(编码速度越快越好)、压缩率(码率越低越好)和解码后的重构图像质量(失真越少越好)。视频编解码流程如图1所示，其图像失真主要来源于编码过程的量化阶段。目前传统的基于感兴趣区域的视频编码主要有2种方式：

(1)利用视频编解码标准的原生属性。例如H264的灵活宏块排序(FMO)，FMO包括7种模式，其中前景模式即针对感兴趣区域编码设计，可以对前景区域和背景区域采用不同的编码参数分别独立编码。由于H264最多允许将一帧图像划分为8个条带组，因此FMO最多允许包括背景区域在内的8块感兴趣区域。

(2)对视频编码器定制设计。其输入接口包括感兴趣区域的范围和级别，视频编码器内部对感兴趣区域进行特殊保护和处理。H264的可伸缩编码(SVC)是目前解决感兴趣区域编码的一种相对较好的方案，这种方案在底层算法设计上即考虑了质量可分级的因素。通过时域可伸缩、空域可伸缩、质量域可伸缩对视频码流进行调整，该方案可生成可伸缩码流，即原始图像只编码一次，却能以多个图像质量进行解码，从而可支持不同级别感兴趣区域具备不同图像质量的要求。

在第一种方式中，需要利用视频编码器的前景模式来实现感兴趣区域的分级编码。但该方法中所采用的基于FMO的视频编码算法的复杂度普遍较高，因而增加了系统的复杂度和成本，此外，基于FMO的技术也需要视频解码器对等支持。在第二种方式中，需要全新设计视频编码器，亦即需要对整个视频通信系统进行改造。

发明内容

针对上述问题，本发明提出一种基于感兴趣区域的视频编码方法，其中包括：

步骤1、获取待编码的原始图像序列，通过对该原始图像序列进行图像分析，为该原始图像序列划分感兴趣区域和非感兴趣区域；

步骤2、依序提取该原始图像序列中的帧间预测编码帧作为当前帧；

步骤3、获取该当前帧的前一参考帧，判断该当前帧的非感兴趣区域对应该参考帧中区域是否为感兴趣区域，若是，则将该当前帧的非感兴趣区域中与该参考帧的感兴趣区域相对应的区域置为感兴趣区域，否则维持该当前帧的区域划分；

步骤4、对该当前帧的非感兴趣区域，使用该参考帧的重构帧进行替代，提取该原始图像序列中该当前帧之后的帧间预测编码帧，再次作为当前帧；

步骤5、重复执行该步骤3和该步骤4，直到处理完该原始图像序列中所有的帧间预测编码帧，得到预处理图像，为该预处理图像中感兴趣区域和非感兴趣区域分别配置对应的宏块级量化参数；

步骤6、将该预处理图像和该宏块级量化参数输入至视频编码器，以完成对该原始图像序列的视频编码。

该基于感兴趣区域的视频编码方法，其中该步骤5包括：

为该预处理图像中感兴趣区域所在宏块分配第一宏块级量化参数，该预处理图像中非感兴趣区域所在宏块分配第二宏块级量化参数，该第一宏块级量化参数小于该第二宏块级量化参数。

该基于感兴趣区域的视频编码方法，其中该步骤5还包括：为该预处理图像中感兴趣区域和非感兴趣区域分别配置对应的宏块类型范围；

该步骤6还包括：将该宏块类型范围输入至该视频编码器。

该基于感兴趣区域的视频编码方法，其中该步骤1还包括：通过图像分析为该原始图像序列划分感兴趣区域，并为每个感兴趣区域分配对应的级别。

该基于感兴趣区域的视频编码方法，其中

该图像分析包括：光流法、纹理分析、运动估计和深度学习等；

该帧间预测编码帧为P帧或B帧；

该视频编码器的视频编码标准包括：MPEG1/2/4、AVS、H261/263/264/265。

本发明还公开了一种基于感兴趣区域的视频编码系统，其中包括：

模块1、获取待编码的原始图像序列，通过对该原始图像序列进行图像分析，为该原始图像序列划分感兴趣区域和非感兴趣区域；

模块2、依序提取该原始图像序列中的帧间预测编码帧作为当前帧；

模块3、获取该当前帧的前一参考帧，判断该当前帧的非感兴趣区域对应该参考帧中区域是否为感兴趣区域，若是，则将该当前帧的非感兴趣区域中与该参考帧的感兴趣区域相对应的区域置为感兴趣区域，否则维持该当前帧的区域划分；

模块4、对该当前帧的非感兴趣区域，使用该参考帧的重构帧进行替代，提取该原始图像序列中该当前帧之后的帧间预测编码帧，再次作为当前帧；

模块5、重复执行该模块3和该模块4，直到处理完该原始图像序列中所有的帧间预测编码帧，得到预处理图像，为该预处理图像中感兴趣区域和非感兴趣区域分别配置对应的宏块级量化参数；

模块6、将该预处理图像和该宏块级量化参数输入至视频编码器，以完成对该原始图像序列的视频编码。

该基于感兴趣区域的视频编码系统，其中该模块5包括：

为该预处理图像中感兴趣区域所在宏块分配第一宏块级量化参数，该预处理图像中非感兴趣区域所在宏块分配第二宏块级量化参数，该第一宏块级量化参数小于该第二宏块级量化参数。

该基于感兴趣区域的视频编码系统，其中该模块5还包括：为该预处理图像中感兴趣区域和非感兴趣区域分别配置对应的宏块类型范围；

该模块6还包括：将该宏块类型范围输入至该视频编码器。

该基于感兴趣区域的视频编码系统，其中该模块1还包括：通过图像分析为该原始图像序列划分感兴趣区域，并为每个感兴趣区域分配对应的级别。

该基于感兴趣区域的视频编码系统，其中

该图像分析包括：光流法、纹理分析、运动估计和深度学习；

该帧间预测编码帧为P帧或B帧；

该视频编码器的视频编码标准包括：MPEG1/2/4、AVS、H261/263/264/265。

与现有技术相比，本发明提出的技术方案具有以下优点：

(1)适用范围广：发送端和接收端均可使用现有传统的视频编解码器，亦即可以有效利用现有视频通信系统；

(2)重点区域重点保护：对不同级别的感兴趣区域分级处理，码流码率一定的前提下，优先保障高级别的感兴趣区域的图像质量。

附图说明

图1为现有视频编解码流程图；

图2为感兴趣区域和图像质量对应关系图；

图3为感兴趣区域范围调整示意图；

图4为感兴趣区域编码流程图。

具体实施细节

本发明主要针对现有传统的视频编码器对原始图像的所有区域同等对待，没有特殊考虑重点区域的缺点，提出了一种通过调整原始图像的内容和感兴趣区域的范围以及限定编码参数的范围，间接控制感兴趣区域编码的方法。

用户对不同级别的感兴趣区域(包括非感兴趣区域)的关注程度不同，级别越高的区域，关注度越高，其解码后的图像质量应该越高，因此其压缩率也相应越小。假设有N级感兴趣区域(包括非感兴趣区域)，第i级感兴趣区域的压缩率为R_i，在原始图像中以宏块为单位的面积为S_i，若单帧的目标码率为R_total，则第i级感兴趣区域的目标码率为：

传统的视频编码器的内部实施原理千差万别，但是基本都采用了基于宏块的模式匹配和运动搜索算法，本发明在此基础上采取的基本策略是诱导视频编码器重点关注感兴趣区域。

用户对图像中某一区域的关注程度，不仅和当前图像的内容有关，也和前一帧图像对应区域的内容有关，图2示出了感兴趣区域、用户关注程度和图像质量的对应关系。

本发明对非感兴趣区域和低级别感兴趣区域尽量提高压缩率，代价是降低了对应区域的图像质量，甚至可以不考虑非感兴趣区域的图像内容(例如非感兴趣区域本来是一个苹果，但如果该区域是香蕉的话，压缩率可以更高，那么不妨将该区域替换成香蕉)。

现有传统的视频编码器的输出接口一般是编码后生成的码流，输入接口除了原始图像，还包括码率范围、帧率、帧类型、宏块级量化参数、宏块类型范围等编码参数中的一个或多个。

如果视频编码器输入接口包括宏块级量化参数，级别越高的感兴趣区域，其所属宏块量化参数应该越小，从而图像压缩率越低，解码后的重构图像质量越高；如果视频编码器输入接口包括宏块类型范围，级别越高的感兴趣区域，其所属宏块类型范围应该越广，且低压缩率的宏块更倾向于选择分块较小的宏块类型。

为让本发明的上述特征和效果能阐述的更明确易懂，下文特举实施例，并配合说明书附图作详细说明如下。

为了方便理解，在对本发明的方法做详细说明前，首先给出本发明方法的一个可能的应用场景。在通过远程视频通话进行手语交流时，参与手语交流的各方最关注人体的手部动作(手语)，其次关注人体的嘴部动作(唇语)，而对于人体的其他部位和背景并不关注。虽然在现有技术中也存在对特定图像区域进行重点保护的相关方法，但正如背景技术中已经提到的，如果采用前述的第一种方案，该方案的主要问题在于，现有传统的视频编码器难以兼容前景模式，通过该方式保存的视频码流也要求视频解码器同等支持，因此无法在传统视频通信的场景中有效应用手语交流；如果采用前述的第二种方案，需要重新定制视频编码器，尽管视频接收端可能无需重新设计，但至少需要对整个视频发送端进行升级。

针对上述应用场景，结合图4在下文中给出了本发明的适用于感兴趣区域的视频编码的实施例。基本步骤如下：

(1)感兴趣区域提取

步骤1、获取待编码的原始图像序列，通过对该原始图像序列进行图像分析，为该原始图像序列划分感兴趣区域和非感兴趣区域。原始图像，可以根据不同的提取模式，采用现有技术中的任一方法获取感兴趣区域，例如，光流法、纹理分析、运动估计、深度学习等。视频是由图像序列组成的，视频中的每一帧就是一幅图像。

对于根据本发明的适用于感兴趣区域的视频编码方法而言，仅需获得感兴趣区域和级别即可，不同的获取方式并不会对本发明所述的方法造成任何实质影响或改变。因此，获得感兴趣区域和级别的方法并非对于本发明的限制，在此不予赘述。

(2)感兴趣区域范围调整

步骤2、依序提取该原始图像序列中的帧间预测编码帧作为当前帧；

步骤3、获取该当前帧的前一参考帧，判断该当前帧的非感兴趣区域对应该参考帧中区域是否为感兴趣区域，若是，则将该当前帧的非感兴趣区域中与该参考帧的感兴趣区域相对应的区域置为感兴趣区域，否则维持该当前帧的区域划分。

对于帧内预测编码帧(I帧)，感兴趣区域范围不做调整；对于帧间预测编码帧(P帧或B帧)，如果当前帧的某一区域为非感兴趣区域但前一参考帧的对应区域是感兴趣区域，则当前帧的对应区域重置为级别最低的感兴趣区域，如图3所示。I帧的编码只能参考自己，类似图像压缩(比如jpg,png)，P帧的编码需要参照前面的帧，B帧的编码可以参考前面和后面的帧。对于视频来说，前后2帧的差别其实不大，所以在编码时，只需把第2帧和前一帧的有差别的地方编码就行了，这就是P帧编码的基本思路，而一般情况下前一帧就是该参考帧，需要注意的是参考帧为视频编码领域常见词汇，其含义本领域技术人员均应知晓，在此不再赘述。

(3)原始图像内容调整

步骤4、对该当前帧的非感兴趣区域，使用该参考帧的重构帧进行替代，提取该原始图像序列中该当前帧之后的帧间预测编码帧，再次作为当前帧。

如果当前图像是帧内预测编码帧(I帧)，输入图像的内容不做调整；如果当前图像是帧间预测编码帧(P帧或B帧)，对于非感兴趣区域，使用前一参考帧的重构帧替代，重构帧即为码流解码后得到了图像。

(4)编码参数范围限定

为该预处理图像中感兴趣区域所在宏块分配第一宏块级量化参数，该预处理图像中非感兴趣区域所在宏块分配第二宏块级量化参数，该第一宏块级量化参数小于该第二宏块级量化参数。

如果视频编码器接口包括宏块级量化参数，级别越高的感兴趣区域，其所属宏块量化参数设置越小，其中隶属于非感兴趣区域的所有宏块量化参数设置为最大值，隶属于最高级感兴趣区域的所有宏块量化参数设置为尽量小。

如果视频编码器接口包括宏块类型范围，级别越高的感兴趣区域，其所属宏块类型范围设置越广，且优先包括更高档位的宏块类型，宏块类型所属档位如下(档位从高到低)：

第一档：I_16x16、P_SKIP、B_SKIP；

第二档：I_8x8、P_16x16、B_16x16、B_DIRECT；

第三档：I_4x4、P_16x8、P_8x16、B_16x8、B_8x16；

第四档：I_PCM、P_8x8、B_8x8

第五档：其他

每个宏块的类型范围至少包含某个档位中的一种类型，其中隶属于非感兴趣区域的所有宏块类型范围设置为I_16x16(I帧)或P_SKIP类型(P帧)或B_SKIP类型(B帧)，隶属于最高级感兴趣区域的所有宏块类型范围设置为所有类型。

(5)图像编码

步骤5、重复执行该步骤3和该步骤4，直到处理完该原始图像序列中所有的帧间预测编码帧，得到预处理图像，为该预处理图像中感兴趣区域和非感兴趣区域分别配置对应的宏块级量化参数；

步骤6、将该预处理图像和该宏块级量化参数和宏块类型范围输入至视频编码器，以完成对该原始图像序列的视频编码。

按照设定的编码参数范围对调整后的图像进行编码，视频编码标准并非对本发明的限制，可以采用现有技术中的任意视频编码标准，对感兴趣区域进行编码，例如，MPEG1/2/4、AVS、H261/263/264/265等。

以下为与上述方法实施例对应的系统实施例，本实施方式可与上述实施方式互相配合实施。上述实施方式中提到的相关技术细节在本实施方式中依然有效，为了减少重复，这里不再赘述。相应地，本实施方式中提到的相关技术细节也可应用在上述实施方式中。

本发明还公开了一种基于感兴趣区域的视频编码系统，其中包括：

模块1、获取待编码的原始图像序列，通过对该原始图像序列进行图像分析，为该原始图像序列划分感兴趣区域和非感兴趣区域；

模块2、依序提取该原始图像序列中的帧间预测编码帧作为当前帧；

模块3、获取该当前帧的前一参考帧，判断该当前帧的非感兴趣区域对应该参考帧中区域是否为感兴趣区域，若是，则将该当前帧的非感兴趣区域中与该参考帧的感兴趣区域相对应的区域置为感兴趣区域，否则维持该当前帧的区域划分；

模块4、对该当前帧的非感兴趣区域，使用该参考帧的重构帧进行替代该当前帧的非感兴趣区域，提取该原始图像序列中该当前帧之后的帧间预测编码帧，再次作为当前帧；

模块5、重复执行该模块3和该模块4，直到处理完该原始图像序列中所有的帧间预测编码帧，得到预处理图像，为该预处理图像中感兴趣区域和非感兴趣区域分别配置对应的宏块级量化参数；

模块6、将该预处理图像和该宏块级量化参数输入至视频编码器，以完成对该原始图像序列的视频编码。

该基于感兴趣区域的视频编码系统，其中该模块5包括：

为该预处理图像中感兴趣区域所在宏块分配第一宏块级量化参数，该预处理图像中非感兴趣区域所在宏块分配第二宏块级量化参数，该第一宏块级量化参数小于该第二宏块级量化参数。

该基于感兴趣区域的视频编码系统，其中该模块5还包括：为该预处理图像中感兴趣区域和非感兴趣区域分别配置对应的宏块类型范围；

该模块6还包括：将该宏块类型范围输入至该视频编码器。

该基于感兴趣区域的视频编码系统，其中该模块1还包括：通过图像分析为该原始图像序列划分感兴趣区域，并为每个感兴趣区域分配对应的级别。

Claims (10)

1.一种基于感兴趣区域的视频编码方法，其特征在于，包括：

步骤1、获取待编码的原始图像序列，通过对该原始图像序列进行图像分析，为该原始图像序列划分感兴趣区域和非感兴趣区域；

步骤2、依序提取该原始图像序列中的帧间预测编码帧作为当前帧；

步骤3、获取该当前帧的前一参考帧，判断该当前帧的非感兴趣区域对应该参考帧中区域是否为感兴趣区域，若是，则将该当前帧的非感兴趣区域中与该参考帧的感兴趣区域相对应的区域置为感兴趣区域，否则维持该当前帧的区域划分；

步骤4、对该当前帧的非感兴趣区域，使用该参考帧的重构帧进行替代，提取该原始图像序列中该当前帧之后的帧间预测编码帧，再次作为当前帧；

步骤5、重复执行该步骤3和该步骤4，直到处理完该原始图像序列中所有的帧间预测编码帧，得到预处理图像，为该预处理图像中感兴趣区域和非感兴趣区域分别配置对应的宏块级量化参数；

步骤6、将该预处理图像和该宏块级量化参数输入至视频编码器，以完成对该原始图像序列的视频编码。

2.如权利要求1所述的基于感兴趣区域的视频编码方法，其特征在于，该步骤5包括：

为该预处理图像中感兴趣区域所在宏块分配第一宏块级量化参数，该预处理图像中非感兴趣区域所在宏块分配第二宏块级量化参数，该第一宏块级量化参数小于该第二宏块级量化参数。

3.如权利要求1所述的基于感兴趣区域的视频编码方法，其特征在于，该步骤5还包括：为该预处理图像中感兴趣区域和非感兴趣区域分别配置对应的宏块类型范围；

该步骤6还包括：将该宏块类型范围输入至该视频编码器。

4.如权利要求1所述的基于感兴趣区域的视频编码方法，其特征在于，该步骤1还包括：通过图像分析为该原始图像序列划分感兴趣区域，并为每个感兴趣区域分配对应的级别。

5.如权利要求1所述的基于感兴趣区域的视频编码方法，其特征在于，

该图像分析包括：光流法、纹理分析、运动估计和深度学习；

该帧间预测编码帧为P帧或B帧；

该视频编码器的视频编码标准包括：MPEG1/2/4、AVS、H261/263/264/265。

6.一种基于感兴趣区域的视频编码系统，其特征在于，包括：

模块1、获取待编码的原始图像序列，通过对该原始图像序列进行图像分析，为该原始图像序列划分感兴趣区域和非感兴趣区域；

模块2、依序提取该原始图像序列中的帧间预测编码帧作为当前帧；

模块3、获取该当前帧的前一参考帧，判断该当前帧的非感兴趣区域对应该参考帧中区域是否为感兴趣区域，若是，则将该当前帧的非感兴趣区域中与该参考帧的感兴趣区域相对应的区域置为感兴趣区域，否则维持该当前帧的区域划分；

模块4、对该当前帧的非感兴趣区域，使用该参考帧的重构帧进行替代，提取该原始图像序列中该当前帧之后的帧间预测编码帧，再次作为当前帧；

模块5、重复执行该模块3和该模块4，直到处理完该原始图像序列中所有的帧间预测编码帧，得到预处理图像，为该预处理图像中感兴趣区域和非感兴趣区域分别配置对应的宏块级量化参数；

模块6、将该预处理图像和该宏块级量化参数输入至视频编码器，以完成对该原始图像序列的视频编码。

7.如权利要求6所述的基于感兴趣区域的视频编码系统，其特征在于，该模块5包括：

为该预处理图像中感兴趣区域所在宏块分配第一宏块级量化参数，该预处理图像中非感兴趣区域所在宏块分配第二宏块级量化参数，该第一宏块级量化参数小于该第二宏块级量化参数。

8.如权利要求6所述的基于感兴趣区域的视频编码系统，其特征在于，该模块5还包括：为该预处理图像中感兴趣区域和非感兴趣区域分别配置对应的宏块类型范围；

该模块6还包括：将该宏块类型范围输入至该视频编码器。

9.如权利要求6所述的基于感兴趣区域的视频编码系统，其特征在于，该模块1还包括：通过图像分析为该原始图像序列划分感兴趣区域，并为每个感兴趣区域分配对应的级别。

10.如权利要求6所述的基于感兴趣区域的视频编码系统，其特征在于，

该图像分析包括：光流法、纹理分析、运动估计和深度学习；

该帧间预测编码帧为P帧或B帧；

该视频编码器的视频编码标准包括：MPEG1/2/4、AVS、H261/263/264/265。