CN113630599A - 一种基于roi的视频码率控制方法及系统 - Google Patents

Abstract

本发明提供一种基于ROI的视频码率控制方法及系统，包括：构建一组质量调整参数曲线图；对待处理视频中的每一帧依次执行以下步骤：若当前帧含有ROI，则根据ROI面积占比调用适用于当前帧的质量调整参数曲线图；根据预设的目标码率变化率和适用于当前帧的质量调整参数曲线图，得到当前帧的质量调整参数；根据当前帧的质量调整参数，得到第一量化参数；获取用于非ROI的第二量化参数；根据每一帧的第一量化参数对相应帧中的ROI进行编码，并根据第二量化参数对非ROI进行编码。通过此方法，对含有ROI的视频进行编码时，既没有增加太多的编码耗时，又可以在保证人眼主观质量没有明显损失的情况下，根据不同的业务场景设置不同的码率节省目标，节省带宽成本。

Description

一种基于ROI的视频码率控制方法及系统

技术领域

本发明涉及数字视频编码技术领域，具体涉及一种基于ROI的视频码率控制方法及系统。

背景技术

随着5G技术的发展和推广，用户对于视频画质的要求越来越高，如4K或更高分辨率、60fps或更高帧率、HDR等高质量的视频内容也变得越来越常见。互联网视频平台为了提供更佳的视频播放体验，视频码率将呈现出成倍增长的趋势，这会导致视频平台带宽成本的成倍增加。

由于人眼具有ROI(视觉感兴趣区，Range ofInteresting)的特点，即人眼对一幅图像的不同区域感兴趣的程度不同，例如美妆博主的视频中人脸就是感兴趣区域。通常情况下，视频的视觉质量取决于视频感兴趣区域的质量。基于感兴趣区域的视频编码就是利用人眼主观存在感兴趣区域和非感兴趣区域的特点，将更多的码率分配到主观感兴趣区域，从而在主观上提升视频质量。

在视频编码中，码率控制技术通常用来调整视频质量和输出码率的大小。经典的码率控制方法主要有CQP、ABR、CBR、CRF、2PASS等。然而上述码率控制算法中，视频的每帧画面的每个像素均被认为对人眼来说是同等重要性来处理的，无法有差别的对感兴趣区域和非感兴趣区域进行比特分配，因此现有的码控方法不能直接用于感兴趣区域的视频编码。基于ROI的视频编码码率控制需要增加码率分配方法，根据对人眼的感兴趣程度分配不同的码率权重。达到同等码率提升主观质量或者同等体验降低码率的目标，最终达到优化视频主观质量和控制带宽成本的目的。

在实现本发明过程中，发明人发现现有技术中至少存在如下问题：

现有的ROI码率控制方法中，一种方法为，通过多个质量参数多次编码解码调整ROI的QP，这种方法增加的编码耗时会比较高；一种方法为，对检测到的ROI设置QP_OFFSET表，并在编码时依据QP_OFFSET表对QP进行调整，这种方法无法灵活的控制码率成本。因此，如何在为含有ROI的视频编码时，既不会增加太多的编码耗时，又可以灵活地控制码率成本，是需要解决的问题。

发明内容

本发明实施例提供一种基于ROI的视频码率控制方法及系统，用以解决现有的为含有ROI的视频编码时，无法兼顾编码速度和码率成本控制的问题。

为达到上述目的，一方面，本发明实施例提供一种基于ROI的视频码率控制方法，包括：

构建一组质量调整参数曲线图，所述一组质量调整参数曲线图用于反映在多个不同的视觉感兴趣区ROI面积占比情况下，质量调整参数与码率变化率的关系曲线；

对待处理视频中的每一帧依次执行以下步骤：

若当前帧含有ROI，则获取当前帧的ROI面积占比，并根据所述ROI面积占比调用适用于当前帧的质量调整参数曲线图；

根据预设的目标码率变化率和所述适用于当前帧的质量调整参数曲线图，得到当前帧的质量调整参数；

根据所述当前帧的质量调整参数，得到用于当前帧中ROI的第一量化参数；

获取用于当前帧中非ROI的第二量化参数；

根据每一帧的第一量化参数对相应帧中的ROI进行编码，并根据所述第二量化参数对相应帧中的非ROI进行编码。

另一方面，本发明实施例提供一种基于ROI的视频码率控制系统，包括：

曲线图构建模块，用于构建一组质量调整参数曲线图，所述一组质量调整参数曲线图用于反映在多个不同的视觉感兴趣区ROI面积占比情况下，质量调整参数与码率变化率的关系曲线；

ROI识别和码率控制模块，用于对待处理视频中的每一帧依次执行以下步骤：

若当前帧含有ROI，则获取当前帧的ROI面积占比，并根据所述ROI面积占比调用适用于当前帧的质量调整参数曲线图；根据预设的目标码率变化率和所述适用于当前帧的质量调整参数曲线图，得到当前帧的质量调整参数；根据所述当前帧的质量调整参数，得到用于当前帧中ROI的第一量化参数；获取用于当前帧中非ROI的第二量化参数；

编码模块，用于根据每一帧的第一量化参数对相应帧中的ROI进行编码，并根据所述第二量化参数对相应帧中的非ROI进行编码。

上述技术方案具有如下有益效果：

采用本申请的技术方案后，在对含有ROI的视频进行编码时，既没有增加太多的编码耗时，又可以在保证人眼主观质量基本没有明显损失的情况下，根据不同的业务场景设置不同的码率节省目标，节省带宽成本，实现了方便灵活的对码率成本进行控制的目的。

此外，本技术方案还具有以下特点：

通过改变参数的设置，可以实现用最节省的带宽成本尽可能大的提升视频画质的功能。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明一种基于ROI的视频码率控制方法的流程图；

图2是本发明一种基于ROI的视频码率控制系统的结构框图；

图3是本发明具体实施例中系统架构图；

图4是本发明的具体实施例中构建一组质量调整参数曲线图的流程图；

图5是本发明的具体实施例中构建的质量调整参数曲线图的示意图；

图6是本发明的具体实施例中对待处理视频进行码率控制的流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

首先，本发明实施例中涉及到的技术术语定义如下：

1、ROI：人眼感兴趣区域(Region ofInterest简称ROI)；NROI表示非感兴趣区域；

2、DNN：深度神经网络(Deep Neural Networks简称DNN)；

3、MB：宏块(macroblock简称MB)，是H.264视频编码标准中的基本编码单元；

4、CU：编码单元(Coding Unit简称CU)，是HEVC视频编码标准中的编码单元；

5、bitrate：码率，每秒比特数，直接反应带宽成本；

6、码控：码率控制，用于分配视频编码码流的码率；

7、QP：量化参数(Quantization Parameter简称QP)，在编码过程中，通过调整量化参数的大小，可以调整编码器向每个编码单元分配的比特数的多少，QP值越小、比特数越多压缩率越低但视频质量越好，即QP与码率成反比的关系；

8、AQ_MODE：自适应量化参数(Adaptive QP简称AQ)的开关，为0时表示不启用自适应量化参数功能。AQ是码率控制中的一个工具，可以自适应的选择QP以提升编码质量。除了CQP(恒定量化参数)码率控制方法以外，其他的码率控制方法都可以使用AQ功能；

9、CRF：恒定质量因子码率控制方法(Constant Rate Factor简称CRF)。一些开源编码器中默认的码率控制方法；

10、RateFactor：质量因子，码率控制方法中的一种参数，RateFactor值越大、QP越大、比特数越少压缩率越高但视频质量越差；

11、QualityScore：质量评价指标，本申请中引用的是ITU-T P.1204《Videoquality assessment ofstreaming services over reliable transport forresolutions up to 4K》中的计算方法，是一种无参考的视频质量评价指标，可以更好的表示人眼的主观感受。这种计算方法得到的质量评价指标在0～5分之间，人眼能够感觉出来质量差别的平均界限值是0.37；

12、质量调整参数：用于在码率控制过程中，调整每个MB/CU的量化参数QP的参数；

13、调整后码率，ROI_bitrate，是指含有ROI的视频在不同质量调整参数下进行编码后的码率；

14、正常码率，NROI_bitrate，是指含有ROI的视频在不采用质量调整参数下进行编码后的码率；

13、码率变化率，bt_change_ratio,是指视频在质量调整参数下的调整后码率ROI_bitrate与视频在无质量调整参数下的正常码率NROI_bitrate的比值，计算公式为

bt_change_ratio＝(ROI_bitrate-NROI_bitrate)/NROI_bitrate*100 (1)；

16、ROI面积占比，ROI_ratio，即感兴趣区域面积比，ROI面积占比的范围为1％～100％。

如图1所示，本发明提供一种基于ROI的视频码率控制方法，包括：

S101、构建一组质量调整参数曲线图，所述一组质量调整参数曲线图用于反映在多个不同的视觉感兴趣区ROI面积占比情况下，质量调整参数与码率变化率的关系曲线；

S102、对待处理视频中的每一帧依次执行以下步骤：

S1021、若当前帧含有ROI，则获取当前帧的ROI面积占比，并根据所述ROI面积占比调用适用于当前帧的质量调整参数曲线图；

S1022、根据预设的目标码率变化率和所述适用于当前帧的质量调整参数曲线图，得到当前帧的质量调整参数；

S1023、根据所述当前帧的质量调整参数，得到用于当前帧中ROI的第一量化参数；

S1024、获取用于当前帧中非ROI的第二量化参数；

S103、根据每一帧的第一量化参数对相应帧中的ROI进行编码，并根据所述第二量化参数对相应帧中的非ROI进行编码。

进一步的，所述步骤S1024具体包括：

S10241、设定质量因子；

S10242、根据所述质量因子，得到用于当前帧的非ROI的第二量化参数，所述第二量化参数用于在编码过程中为当前帧中非ROI内的各编码单元减少比特数。

进一步的，所述步骤S1023具体包括：

获取当前帧每个编码单元的初始量化参数；

采用所述当前帧的质量调整参数对所述当前帧每个编码单元的初始量化参数进行调整，得到所述当前帧中ROI的第一量化参数，所述第一量化参数用于在编码过程中为当前帧中ROI内的各编码单元增加比特数。

进一步的，所述步骤S101具体包括：

S1011、选定具有多种ROI面积占比的训练视频集，每个训练视频中的所有帧均具有相同的ROI面积占比；

S1012、预设多个质量调整参数；

S1013、逐一计算每个训练视频在不同质量调整参数下的调整后码率，以及每个训练视频在无质量调整参数下的正常码率；

S1014、根据所述调整后码率和所述正常码率，确定每个训练视频所对应的多个码率变化率；

S1015、汇总所有训练视频的所有码率变化率；

S1016、对所述多种ROI面积占比、所述所有码率变化率和所述多个质量调整参数进行匹配，并根据所述匹配结果构建多个不同的ROI面积占比分别对应的质量调整参数曲线图。

进一步的，所述步骤S1013具体包括：

S10131、针对所述训练视频集中的每一个训练视频，逐一执行以下步骤：

S10132、以第一个所述预设的质量调整参数为当前质量调整参数；

S10133、采用当前质量调整参数确定当前训练视频的第一量化参数；

S10134、根据所述当前训练视频的第一量化参数对当前训练视频的每一帧中的ROI进行编码；

S10135、根据当前训练视频的编码结果确定当前训练视频在当前质量调整参数下的调整后码率；

S10136、判断当前质量调整参数是否为所述预设的质量调整参数中的最后一个；

S10137、若否，则选取下一个预设的质量调整参数作为当前质量调整参数，并跳转到前述的编码调整过程的起始步骤，所述编码调整过程的起始步骤是指，采用当前质量调整参数确定当前训练视频的第一量化参数。

如图2所示，本发明提供一种基于ROI的视频码率控制系统，包括：

21、曲线图构建模块，用于通过训练视频集构建一组质量调整参数曲线图，所述一组质量调整参数曲线图用于反映在多个不同的视觉感兴趣区ROI面积占比情况下，质量调整参数与码率变化率的关系曲线；

22、ROI识别和码率控制模块，用于对待处理视频中的每一帧依次执行以下步骤：若当前帧含有ROI，则获取当前帧的ROI面积占比，并根据所述ROI面积占比调用适用于当前帧的质量调整参数曲线图；根据所述目标码率变化率和所述适用于当前帧的质量调整参数曲线图，得到当前帧的质量调整参数；根据所述当前帧的质量调整参数，得到用于当前帧中ROI的第一量化参数；获取用于当前帧中非ROI的第二量化参数；

23、编码模块，用于根据第一量化参数对当前帧中的ROI进行编码，并根据所述第二量化参数对相应帧中的非ROI进行编码。

进一步的，所述ROI识别和码率控制模块22包括第二量化参数设定单元，具体用于设定质量因子；根据所述质量因子，得到用于当前帧的非ROI的第二量化参数，所述第二量化参数用于在编码过程中为当前帧中非ROI内的各编码单元减少比特数。。

进一步的，所述ROI识别和码率控制模块22还包括第一量化参数获取单元，具体用于：获取当前帧每个编码单元的初始量化参数；采用所述当前帧的质量调整参数对所述当前帧每个编码单元的初始量化参数进行调整，得到所述当前帧中ROI的第一量化参数，所述第一量化参数用于在编码过程中为当前帧中ROI内的各编码单元增加比特数。

进一步的，所述曲线图构建模块21包括：

训练集选定单元211，用于选定具有多种ROI面积占比的训练视频集，每个训练视频中的所有帧均具有相同的ROI面积占比；预设多个质量调整参数；

调整后码率计算单元212，用于逐一计算每个训练视频在不同质量调整参数下的调整后码率；

正常码率计算单元213，用于逐一计算每个训练视频在无质量调整参数下的正常码率；

码率变化率计算单元214，用于根据所述调整后码率和所述正常码率，确定每个训练视频所对应的多个码率变化率；

汇总单元215，用于汇总所有训练视频的所有码率变化率；

匹配和构图单元216，用于对所述多种ROI面积占比、所述所有码率变化率和所述多个质量调整参数进行匹配，并根据所述匹配结果构建多个不同的ROI面积占比分别对应的质量调整参数曲线图。

进一步的，所述调整后码率计算单元212，具体用于：

针对所述训练视频集中的每一个训练视频，逐一执行以下步骤：

以第一个所述预设的质量调整参数为当前质量调整参数；

采用当前质量调整参数确定当前训练视频的第一量化参数；

根据所述当前训练视频的第一量化参数对当前训练视频的每一帧中的ROI进行编码；

根据当前训练视频的编码结果确定当前训练视频在当前质量调整参数下的调整后码率；

判断当前质量调整参数是否为所述预设的质量调整参数中的最后一个；

若否，则选取下一个预设的质量调整参数作为当前质量调整参数，并跳转到前述的编码调整过程的起始步骤，所述编码调整过程的起始步骤是指，采用当前质量调整参数确定当前训练视频的第一量化参数。

以下结合具体应用实例对本发明技术方案进行详细说明：

如图3所示，是本发明提供的一种基于ROI的视频码率控制系统的具体实施例构成图。其包括视频转码系统常用的解码器和编码器，该实施例中，在解码器(decoder)之后、编码器(encoder)之前增加ROI识别及ROI码率控制模块。通过ROI识别模块得到ROI区域信息，根据ROI区域的信息，通过ROI码率控制模块得到ROI区域的码率控制相关的参数。然后把ROI区域信息以及码率控制相关参数传递给编码器。在实际转码过程之前的准备阶段，系统还需要通过曲线图构建模块(图中未示出)来创建质量调整参数曲线图。在创建完成质量调整参数曲线图之后，转码过程中只需在码率控制模块中选择合适的曲线即可。

其中ROI识别模块主要采用DNN模型来获取ROI信息，DNN模型可以是任何目标检测模型(yolo tensorflow pytorch等)，能够获得感兴趣区域ROI的信息。感兴趣区域的类型可以有多种选择，例如人脸、文字等。ROI感兴趣区域的信息包括：感兴趣区域的左上角坐标(ROI_y,ROI_x)、感兴趣区域的宽度(ROI_width)、感兴趣区域的高度(ROI_height)、感兴趣区域的类型(增强或者模糊等)。若感兴趣区域的类型设置为模糊，则选择模糊算法作用于感兴趣区域，可以不必考虑其码率分配问题。若感兴趣区域的类型设置为增强，则需要多考虑其码率分配问题，正如本发明所述步骤。

ROI码率控制模块主要用于得到ROI区域的码率控制相关的参数，主要是指质量调整参数。在解码器之后、编码器之前增加ROI识别及ROI码率控制模块，可以不依赖于编码器类型，适用性更广泛。例如H.264、HEVC等。

如图4所示，本发明具体实施例中，构建质量调整参数曲线图的流程如下：

1、选取训练集，训练集中的视频每帧都包含ROI区域且同一个视频中每帧的ROI_ratio变化不大，所选取的视频尽量包含各种感兴趣区域面积比ROI_ratio(1％～100％)。

ROI_ratio＝(ROI_width*ROI_height)/(width*height)，

其中width是视频的宽度，height是视频的高度。

2、使用上一步选取的训练集，得到质量调整参数和码率变化率的关系曲线。具体步骤如下：

2.1、创建一个候选列表，包含多个质量调整参数。

2.2、使用训练集中的视频作为输入，并从质量调整参数列表中选取第一个质量调整参数。

2.3、对输入视频的每一帧进行ROI识别，得到ROI信息。

2.4、若第i帧为ROI图像，启用AQ_MODE。启用AQ_MODE即对第i帧所有的编码单元使用自适应QP微调整，这是传统码率控制方法(除CQP外)的一个功能。此发明中，采用H.264视频编码标准或HEVC视频编码标准，编码单元包括MB或CU。

2.5、配合AQ功能，根据质量调整参数，对ROI区域的MB/CU调整QP。当质量调整参数为负时，QP减小，比特数增多；当质量调整参数为正时，QP增大，比特数减少。在增强ROI区域时，选择负的质量调整参数，QP减小，以达到多分配比特数提高ROI区域视频质量的目的。

2.6、重复以上步骤，直至输入视频结束。得到编码后视频的调整后码率ROI_bitrate、视频质量评价指标ROI_QualityScore以及视频的ROI_ratio。

2.7、将候选列表中的下一个质量调整参数作为当前质量调整参数，以此来重复对训练集中的所有视频重新进行编码，直至所有质量调整参数均得以应用到每个训练视频中，得到所有训练集视频的ROI_ratio、编码后视频的码率ROI_bitrate、视频质量评价指标ROI_QualityScore。

2.8、对输入视频进行一遍NROI编码，即不进行ROI识别，也不设置质量调整参数，得到编码后视频的正常码率NROI_bitrate、视频质量评价指标NROI_QualityScore。

2.9、对训练集中所有视频计算其码率变换率，码率变换率的计算公式见前述内容。

2.10、对训练中使用的质量调整参数和其对应的bt_change_ratio数据，使用机器学习的方法(例如使用最小二乘法)，拟合出质量调整参数和码率变化率的曲线关系，即一组质量调整参数曲线图，其中每张质量调整参数曲线图的ROI_ratio不同。质量调整参数曲线图的样式如图5所示，其中横坐标为质量调整参数的绝对值，纵坐标为码率变化率bt_change_ratio。训练集中的视频有不同的ROI_ratio，得到一系列不同的关系曲线。

2.11、对训练得到的数据进行筛选，可以作为实际使用中，选择目标码率变化率的参考，即从这些筛选得到的数据中选择需要的作为预设的目标码率变化率。筛选方法为选出ROI_bitrate<NROI_bitrate且ROI_QualityScore>＝NROI_QualityScore的数据。其中NROI_bitrate为当前使用中的码率、NROI_QualityScore为其视频质量评价指标。

为了增强ROI区域的主观视频质量或者在不影响视频主观质量的前提下节省码率，使用本发明中的方法对含有ROI的目标视频进行编码时，需要设定一个目标码率变化率，在此，对步骤2.11所述的选择过程举例如下：

下表中是某个训练集中视频使用10个不同的质量调整参数进行10遍ROI编码后得到的视频数据。其中ROI_bt_vs_NROI＝(NROI_bitrate-ROI_bitrate)/NROI_bitrate*100,正值表示ROI增强算法的码率与当前码率相比节省的比例，负值表示码率升高的比例。其中ROI_QualityScore_vs_NROI＝(ROI_QualityScore–NROI_QualityScore)/NROI_QualityScore*100，正值表示ROI增强算法的视频质量评价指标与当前的视频质量评价指标相比质量变好的比例，负值表示质量变差的比例。

在实际使用时，若想选择一个质量变好(ROI_QualityScore_vs_NROI为正值)且码率节省(ROI_bt_vs_NROI为正值)的选项，可以选择表中序号为4和5的两行。若要求码率节省优先，则选择目标码率变化率为12.2％；若要求码率节省的前提下质量提升越高越好，则选择目标码率变化率为14.3％。

序号	ROI_bt_vs_R	ROI_QualityScore_vs_R	bt_change_ratio
				1	8.545034642	-2.052864844	2.857142857
2	6.004618938	-1.596117999	3.714285714
				3	3.002309469	-1.222250945	9.090909091
4	1.616628176	0.228486737	12.20779221
				5	0.230946882	1.261728581	14.28571429
6	-3.233256351	1.155128436	16.1038961
				7	-3.080831409	1.317938312	18.18181818
8	-6.928406467	1.994405297	20.25974026
				9	-8.775981524	2.330110515	22.33766234
10	-10.3926097	3.391023307	24.15584416

表1目标码率的数据筛选举例

如图6所示，本发明具体实施例中，在进行训练之后、实际使用过程中对任意的待处理视频进行码率控制的流程如下：

3.1、使用图3所示的转码框架(视频码率控制系统)；

3.2、对输入视频解码得到第i帧之后，初始化第i帧的每个MB/CU的质量调整参数为0；

3.3、ROI识别模块判断第i帧是否包含ROI，若包含ROI则记为ROI帧并继续进行3.4，否则转到3.10执行；

3.4、启用AQ_MODE；

3.5、根据第i帧的ROI_ratio，选择对应的质量调整参数和码率变化的关系曲线(质量调整参数曲线)；

3.6、选择一个合适目标码率变化率，目标码率变化率可以从前述2.11步骤筛选得到的数据中选取。选取时依据成本控制优先或者视觉效果优先等实际需要来确定，详细过程参考2.11；

3.7、在步骤3.5所选的曲线上，根据3.6设定的目标码率变化率，得到第i帧ROI区域的MB/CU的质量调整参数。例如在图5中，若所设定的目标码率变化率为20％，则对应的质量调整参数大概在12左右；

3.8、把3.7得到的第i帧ROI区域MB/CU的质量调整参数传给encoder。encoder使用除CQP之外的码率控制方法，结合AQ_MODE功能，得到ROI区域每个MB/CU的量化参数QP。在ROI增强模式下，选择负的质量调整参数，使得ROI区域每个MB/CU的QP减小，以达到多分配比特数提高ROI区域视频质量的目的；

3.9、对于第i帧的非ROI区域的MB/CU，则减少比特。具体方法为，增大每帧的初始质量因子rate_factor值。在现有的码率控制算法中，除了CQP码控方法外，其余的码控方法中，均可以通过rate_factor来影响码率，rate_factor越大，得到的QP(第二量化参数)越大，编码后的码率会越小；

3.10、encoder编码第i帧直至视频结束。

对于不含ROI的帧，可以根据不同的诉求选择不同的处理方式，例如想要节省码率，可以通过调整rate_factor来节省码率。若只是想增强ROI区域的主观质量，那么可以对不含ROI的帧不做调整，直接以常规方式编码即可。

为了说明本技术方案的优势，以下是本申请中所述ROI编码方法与关闭ROI编码时的客观实验结果对比。其中各数值均为20个测试视频的平均值。设置了三种码率变换率的目标：

	Bitrate_vs_NROI	QualityScore_vs_NROI	Usedtime_vs_NROI
				Target1	4.96％	0.032	6.34％
Target2	8.13％	0.045	6.12％
				Target3	10.60％	0.057	5.94％

表2采用本申请方法与不采用本申请ROI编码方法的试验对比

从上表中可以看到，设置码率节省目标为Target1时，本申请中所述ROI编码方法比NROI编码的码率平均节省4.96％，质量评价指标平均下降0.032(远小于人眼能够感觉出来质量差别的平均界限)，总耗时平均上升6.34％。码率节省目标为其他两个Target时，也取得了很好的效果。可见本申请中的方法达到了既没有增加太多的编码耗时，又在保证人眼主观质量基本没有损失的情况下，节省了码率成本。而且可以根据不同的业务场景设置不同的码率节省目标，实现了方便灵活的对码率成本进行控制的目的。通过上述基于ROI的码率控制方法，能够使得视频网站等视频生产者在启用ROI码率控制后，在保证画质基本不变的前提下，降低视频码率，节省带宽成本

为使本领域内的任何技术人员能够实现或者使用本发明，上面对所公开实施例进行了描述。对于本领域技术人员来说；这些实施例的各种修改方式都是显而易见的，并且本申请定义的一般原理也可以在不脱离本公开的精神和保护范围的基础上适用于其它实施例。因此，本公开并不限于本申请给出的实施例，而是与本申请公开的原理和新颖性特征的最广范围相一致。

以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于ROI的视频码率控制方法，其特征在于，包括：

通过训练视频集构建一组质量调整参数曲线图，所述一组质量调整参数曲线图用于反映在多个不同的视觉感兴趣区ROI面积占比情况下，质量调整参数与码率变化率的关系曲线；

对待处理视频中的每一帧依次执行以下步骤：

若当前帧含有ROI，则获取当前帧的ROI面积占比，并根据所述ROI面积占比调用适用于当前帧的质量调整参数曲线图；

根据预设的目标码率变化率和所述适用于当前帧的质量调整参数曲线图，得到当前帧的质量调整参数；

根据所述当前帧的质量调整参数，得到用于当前帧中ROI的第一量化参数；

获取用于当前帧中非ROI的第二量化参数；

根据每一帧的第一量化参数对相应帧中的ROI进行编码，并根据所述第二量化参数对相应帧中的非ROI进行编码。

2.如权利要求1所述的视频码率控制方法，其特征在于，所述获取用于当前帧中非ROI的第二量化参数，包括：

设定质量因子；

根据所述质量因子，得到用于当前帧的非ROI的第二量化参数，所述第二量化参数用于在编码过程中为当前帧中非ROI内的各编码单元减少比特数。

3.如权利要求1所述的视频码率控制方法，其特征在于，所述根据所述当前帧的质量调整参数，得到用于当前帧的ROI的第一量化参数，具体包括：

获取当前帧的初始量化参数；

采用所述当前帧的质量调整参数对所述当前帧的初始量化参数进行调整，得到所述当前帧中ROI的第一量化参数，所述第一量化参数用于在编码过程中为当前帧中ROI内的各编码单元增加比特数。

4.如权利要求1所述的视频码率控制方法，其特征在于，所述构建一组质量调整参数曲线图，具体包括：

选定具有多种ROI面积占比的训练视频集，每个训练视频中的所有帧均具有相同的ROI面积占比；

预设多个质量调整参数；

逐一计算每个训练视频在不同质量调整参数下的调整后码率，以及每个训练视频在无质量调整参数下的正常码率；

根据所述调整后码率和所述正常码率，确定每个训练视频所对应的多个码率变化率；

汇总所有训练视频的所有码率变化率；

对所述多种ROI面积占比、所述所有码率变化率和所述多个质量调整参数进行匹配，并根据所述匹配结果构建多个不同的ROI面积占比分别对应的质量调整参数曲线图。

5.如权利要求4所述的视频码率控制方法，其特征在于，所述逐一计算每个训练视频在不同质量调整参数下的调整后码率，包括：

针对所述训练视频集中的每一个训练视频，逐一执行以下步骤：

以第一个所述预设的质量调整参数为当前质量调整参数；

采用当前质量调整参数确定当前训练视频的第一量化参数；

根据所述当前训练视频的第一量化参数对当前训练视频的每一帧中的ROI进行编码；

根据当前训练视频的编码结果确定当前训练视频在当前质量调整参数下的调整后码率；

判断当前质量调整参数是否为所述预设的质量调整参数中的最后一个；

若否，则选取下一个预设的质量调整参数作为当前质量调整参数，并跳转到前述的编码调整过程的起始步骤，所述编码调整过程的起始步骤是指，采用当前质量调整参数确定当前训练视频的第一量化参数。

6.一种基于ROI的视频码率控制系统，其特征在于，包括：

曲线图构建模块，用于通过训练视频集构建一组质量调整参数曲线图，所述一组质量调整参数曲线图用于反映在多个不同的视觉感兴趣区ROI面积占比情况下，质量调整参数与码率变化率的关系曲线；

ROI识别和码率控制模块，用于对待处理视频中的每一帧依次执行以下步骤：若当前帧含有ROI，则获取当前帧的ROI面积占比，并根据所述ROI面积占比调用适用于当前帧的质量调整参数曲线图；根据预设的目标码率变化率和所述适用于当前帧的质量调整参数曲线图，得到当前帧的质量调整参数；根据所述当前帧的质量调整参数，得到用于当前帧中ROI的第一量化参数；获取用于当前帧中非ROI的第二量化参数；

编码模块，用于根据每一帧的第一量化参数对相应帧中的ROI进行编码，并根据所述第二量化参数对相应帧中的非ROI进行编码。

7.如权利要求6所述的视频码率控制系统，其特征在于，所述ROI识别和码率控制模块包括第二量化参数设定单元，具体用于：

设定质量因子；

根据所述质量因子，得到用于当前帧的非ROI的第二量化参数，所述第二量化参数用于在编码过程中为当前帧中非ROI内的各编码单元减少比特数。

8.如权利要求6所述的视频码率控制系统，其特征在于，所述ROI识别和码率控制模块还包括第一量化参数获取单元，具体用于：

获取当前帧每个编码单元的初始量化参数；

采用所述当前帧的质量调整参数对所述当前帧每个编码单元的初始量化参数进行调整，得到所述当前帧中ROI的第一量化参数，所述第一量化参数用于在编码过程中为当前帧中ROI内的各编码单元增加比特数。

9.如权利要求6所述的视频码率控制系统，其特征在于，所述曲线图构建模块包括：

训练集选定单元，用于选定具有多种ROI面积占比的训练视频集，每个训练视频中的所有帧均具有相同的ROI面积占比；预设多个质量调整参数；

调整后码率计算单元，用于逐一计算每个训练视频在不同质量调整参数下的调整后码率；

正常码率计算单元，用于逐一计算每个训练视频在无质量调整参数下的正常码率；

码率变化率计算单元，用于根据所述调整后码率和所述正常码率，确定每个训练视频所对应的多个码率变化率；

汇总单元，用于汇总所有训练视频的所有码率变化率；

匹配和构图单元，用于对所述多种ROI面积占比、所述所有码率变化率和所述多个质量调整参数进行匹配，并根据所述匹配结果构建多个不同的ROI面积占比分别对应的质量调整参数曲线图。

10.如权利要求9所述的视频码率控制系统，其特征在于，所述调整后码率计算单元，具体用于：

针对所述训练视频集中的每一个训练视频，逐一执行以下步骤：

以第一个所述预设的质量调整参数为当前质量调整参数；

采用当前质量调整参数确定当前训练视频的第一量化参数；

根据所述当前训练视频的第一量化参数对当前训练视频的每一帧中的ROI进行编码；

根据当前训练视频的编码结果确定当前训练视频在当前质量调整参数下的调整后码率；

判断当前质量调整参数是否为所述预设的质量调整参数中的最后一个；

若否，则选取下一个预设的质量调整参数作为当前质量调整参数，并跳转到前述的编码调整过程的起始步骤，所述编码调整过程的起始步骤是指，采用当前质量调整参数确定当前训练视频的第一量化参数。

Images