CN115643405A - 基于roi区域检测的视频编码方法、装置以及计算设备 - Google Patents

Abstract

本申请公开了一种基于ROI区域检测的视频编码方法、装置以及计算设备，该方法包括：获取待编码的视频帧，对视频帧进行ROI区域检测，得到ROI区域信息；读取视频帧的编码块以及编码块对应的基准量化参数；根据基准量化参数以及ROI区域信息，确定量化参数偏移量；根据量化参数偏移量，对基准量化参数进行调整，得到调整后的量化参数；依据调整后的量化参数，对编码块进行编码处理。通过上述方式，本申请实现了基于基准量化参数以及编码块内容的自适应的量化参数调整，能够提升编码处理的效果和性能。

Description

基于ROI区域检测的视频编码方法、装置以及计算设备

技术领域

本申请涉及图像处理技术领域，具体涉及一种基于ROI区域检测的视频编码方法、装置以及计算设备。

背景技术

在观看视频的过程中，由于人眼注意力有限，往往无法注意到视频图像中的所有信息，而只是对其中的部分区域较为敏感或者对部分内容更感兴趣。在对视频进行编码后，视频画面的质量会下降，如果用户感兴趣区域的画面质量下降，则会降低用户观看视频的主观感受，而用户对不感兴趣区域的失真则很难察觉。

基于ROI(Region of Interest，感兴趣区域)区域的视频编码方法应运而生，该方法的基本思想是在编码时对ROI区域分配更多的码率资源，同时对非ROI区域降低码率分配，从而保证ROI区域的画面质量，又能够避免在非ROI区域的码率浪费。具体通过对ROI和非ROI区域的量化参数进行修改，从而调整码率分配，实现基于ROI区域的编码效果。

但是，发明人在实现本申请的过程中发现：现有的基于ROI区域的编码方式缺乏内容自适应性，存在码率较高时会浪费码率、码率较低时又无法保证ROI区域的画面质量的问题，导致编码效果和性能都较差。

发明内容

本申请实施例的目的是提供一种基于ROI区域检测的视频编码方法、装置以及计算设备，以解决上述现有技术缺乏内容自适应性导致编码效果和性能都较差的问题。

根据本申请的一个方面，提供了一种基于ROI区域检测的视频编码方法，包括：

获取待编码的视频帧，对视频帧进行ROI区域检测，得到ROI区域信息；

读取视频帧的编码块以及编码块对应的基准量化参数；

根据基准量化参数以及ROI区域信息，确定量化参数偏移量；

根据量化参数偏移量，对基准量化参数进行调整，得到调整后的量化参数；

依据调整后的量化参数，对编码块进行编码处理。

可选地，根据基准量化参数以及ROI区域信息，确定量化参数偏移量进一步包括：

根据编码块的基准量化参数，确定量化参数偏移范围；

根据ROI区域信息，计算编码块中ROI区域占比；

根据量化参数偏移范围和ROI区域占比，计算编码块的量化参数偏移量。

可选地，根据编码块的基准量化参数，确定量化参数偏移范围进一步包括：

将基准量化参数与多个预设量化参数区间进行比对，确定基准量化参数对应的预设量化参数区间；

根据基准量化参数对应的预设量化参数区间，确定量化参数偏移范围的下限和上限。

可选地，ROI区域占比越大，编码块的量化参数偏移量越接近量化参数偏移范围的下限；ROI区域占比越小，编码块的量化参数偏移量越接近量化参数偏移范围的上限。

可选地，对视频帧进行ROI区域检测，得到ROI区域信息进一步包括：对视频帧进行ROI区域检测，得到第一ROI区域信息和第二ROI区域信息；

根据ROI区域信息，计算编码块中ROI区域占比具体为：根据第一ROI区域信息和第二ROI区域信息，计算编码块中第一ROI区域占比和第二ROI区域占比；

根据量化参数偏移范围和ROI区域占比，计算编码块的量化参数偏移量具体为：根据量化参数偏移范围、第一ROI区域占比和第二ROI区域占比，计算编码块的量化参数偏移量。

可选地，第一ROI区域具体为人物区域，第二ROI区域具体为人脸区域。

可选地，方法还包括：根据编码块的基准量化参数，确定量化参数偏移量的补偿最大值；

根据量化参数偏移范围、第一ROI区域占比和第二ROI区域占比，计算编码块的量化参数偏移量进一步包括：

根据量化参数偏移范围和第一ROI区域占比，计算第一量化参数偏移量；

根据第二ROI区域占比和量化参数偏移量的补偿最大值，对第一量化参数偏移量进行补偿处理，得到编码块的量化参数偏移量。

可选地，第一ROI区域占比越大，第一量化参数偏移量越接近量化参数偏移范围的下限；第一ROI区域占比越小，第一量化参数偏移量越接近量化参数偏移范围的上限。

可选地，第二ROI区域占比越大，补偿处理的幅度越大；第二ROI区域占比越小，补偿处理的幅度越小。

可选地，在确定量化参数偏移范围之后，方法还包括：

根据ROI强度参数，对量化参数偏移范围进行调整。

可选地，在确定量化参数偏移量的补偿最大值之后，方法还包括：

根据ROI强度参数，对量化参数偏移量的补偿最大值进行调整。

可选地，在对视频帧进行ROI区域检测，得到ROI区域信息之后，方法还包括：

根据ROI区域信息，计算视频帧中ROI区域占比；

将视频帧中ROI区域占比与预设阈值进行比较，根据比较结果确定是否对视频帧的各个编码块的基准量化参数进行调整。。

根据本申请的另一方面，提供了一种基于ROI区域检测的视频编码装置的结构示意图，装置包括：

区域检测模块，适于获取待编码的视频帧，对视频帧进行ROI区域检测，得到ROI区域信息；

读取模块，适于读取视频帧的编码块以及编码块对应的基准量化参数；

参数调整模块，适于根据基准量化参数以及所述ROI区域信息，确定量化参数偏移量；根据量化参数偏移量，对基准量化参数进行调整，得到调整后的量化参数；

编码模块，适于依据调整后的量化参数，对编码块进行编码处理。

可选地，参数调整模块进一步适于：

根据编码块的基准量化参数，确定量化参数偏移范围；

根据ROI区域信息，计算编码块中ROI区域占比；

根据量化参数偏移范围和ROI区域占比，计算编码块的量化参数偏移量。

可选地，参数调整模块进一步适于：

将基准量化参数与多个预设量化参数区间进行比对，确定基准量化参数对应的预设量化参数区间；

根据基准量化参数对应的预设量化参数区间，确定量化参数偏移范围的下限和上限。

可选地，ROI区域占比越大，编码块的量化参数偏移量越接近量化参数偏移范围的下限；ROI区域占比越小，编码块的量化参数偏移量越接近量化参数偏移范围的上限。

可选地，区域检测模块进一步适于：对视频帧进行ROI区域检测，得到第一ROI区域信息和第二ROI区域信息；

参数调整模块进一步适于：根据第一ROI区域信息和第二ROI区域信息，计算编码块中第一ROI区域占比和第二ROI区域占比；根据量化参数偏移范围、第一ROI区域占比和第二ROI区域占比，计算编码块的量化参数偏移量。

可选地，第一ROI区域具体为人物区域，第二ROI区域具体为人脸区域。

可选地，参数调整模块进一步适于：根据编码块的基准量化参数，确定量化参数偏移量的补偿最大值；根据量化参数偏移范围和第一ROI区域占比，计算第一量化参数偏移量；根据第二ROI区域占比和量化参数偏移量的补偿最大值，对第一量化参数偏移量进行补偿处理，得到编码块的量化参数偏移量。

可选地，第一ROI区域占比越大，第一量化参数偏移量越接近量化参数偏移范围的下限；第一ROI区域占比越小，第一量化参数偏移量越接近量化参数偏移范围的上限。

可选地，第二ROI区域占比越大，补偿处理的幅度越大；第二ROI区域占比越小，补偿处理的幅度越小。

可选地，参数调整模块进一步适于：根据ROI强度参数，对量化参数偏移范围进行调整。

可选地，参数调整模块进一步适于：根据ROI强度参数，对量化参数偏移量的补偿最大值进行调整。

可选地，装置还包括：比较模块，适于根据ROI区域信息，计算视频帧中ROI区域占比；将视频帧中ROI区域占比与预设阈值进行比较，根据比较结果确定是否对视频帧的各个编码块的基准量化参数进行调整。

根据本申请的又一方面，提供了一种计算设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；

所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行上述基于ROI区域检测的视频编码方法对应的操作。

根据本申请的再一方面，提供了一种计算机存储介质，所述存储介质中存储有至少一可执行指令，所述可执行指令使处理器执行如上述基于ROI区域检测的视频编码方法对应的操作。

根据本申请的基于ROI区域检测的视频编码方法、装置以及计算设备，能够实现基于基准量化参数以及编码块内容的自适应的量化参数调整，能够提升编码处理的效果和性能；进一步地，在高码率时保护ROI区域的质量，同时减少非ROI区域的码率，在保持画质不变的前提下降低码率；在低码率时保护非ROI区域的质量，同时对ROI区域的码率进行补偿，在保持码率没有明显增加的前提下，保证ROI区域的质量；进一步地，根据视频帧中ROI区域占比确定是否对视频帧的各个编码块的量化参数进行调整，能够准确识别出真正需要调整量化参数的视频帧，从而能够避免资源浪费，进一步提升编码性能；进一步地，能够根据基准量化参数自适应调整量化参数的偏移力度，同时，根据人物区域占比对基准量化参数进行调整，根据人脸区域占比对量化参数进行补偿，即在编码过程中先对人物区域进行码率补偿，再对人脸区域进行进一步码率补偿，同时减少对背景区域码率的分配，能够实现结合不同类别区域的重要性进行分级式的自适应量化参数调整，并且编码复杂度不超过两次编码，能够使各个场景间的编码质量保持恒定，能够在保证画面质量的前提下同时达到在高码率情况下节省码率以及在低码率情况下避免码率不足的效果。

上述说明仅是本申请技术方案的概述，为了能够更清楚了解本申请的技术手段，而可依照说明书的内容予以实施，并且为了让本申请的上述和其它目的、特征和优点能够更明显易懂，以下特举本申请的具体实施方式。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本申请的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1示出了本申请实施例提供的基于ROI区域检测的视频编码方法的流程图；

图2示出了本申请另一实施例提供的基于ROI区域检测的视频编码方法的流程图；

图3示出了本申请另一实施例提供的基于ROI区域检测的视频编码方法的流程图；

图4示出了本申请一个实施例中提供的视频帧的示意图；

图5示出了本申请另一实施例提供的基于ROI区域检测的视频编码方法的流程图；

图6示出了本申请实施例提供的基于ROI区域检测的视频编码装置的结构示意图；

图7示出了本申请实施例提供的计算设备的结构示意图。

具体实施方式

下面将参照附图更详细地描述本申请的示例性实施例。虽然附图中显示了本申请的示例性实施例，然而应当理解，可以以各种形式实现本申请而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本申请，并且能够将本申请的范围完整的传达给本领域的技术人员。

首先，对本申请一个或多个实施例涉及的名词术语进行解释。

视频编码：是指通过压缩技术，将原始视频格式的文件转换成另一种视频格式文件。

ROI：Region of Interest的缩写，即感兴趣区域，是图像的一部分，它通过在图像上选择或使用诸如设定阈值或者从其他文件转换获得等方法生成。

量化参数：Quantization Parameter，缩写为QP，视频编码中用于控制量化步长的参数，可以用来控制编码质量和码率，对同样的图像内容进行编码，量化参数越小，则码率越高，质量越高，反之，量化参数越大，则码率越低、质量越差。

图1示出了本申请实施例提供的基于ROI区域检测的视频编码方法的流程图，该方法应用于任意具有图像编码能力的设备中。如图1所示，该方法包括以下步骤：

步骤S101，获取待编码的视频帧，对视频帧进行ROI区域检测，得到ROI区域信息。

其中，ROI区域是指视频图像中人眼更敏感或者更感兴趣的区域，例如是人脸区域和/或人物区域。

待编码的视频包含多个视频帧，依次对每一个视频帧进行编码。对于待编码的视频帧，检测其中的ROI区域，获取ROI区域的位置信息以及大小信息，即得到ROI区域信息。

步骤S102，读取视频帧的编码块以及编码块对应的基准量化参数。

每一个视频帧被划分为多个编码块，依次对每一个编码块进行编码。读取视频帧的当前需要编码的编码块，以及，读取该编码块对应的基准量化参数，基准量化参数由原始编码算法所决定。

步骤S103，根据基准量化参数以及ROI区域信息，确定量化参数偏移量。

其中，基准量化参数能够表示待调的基准码率，ROI区域信息能够表示编码块的画面内容，在不同的基准码率、不同的画面内容的场景下所需要的码率是不一样的，因而对基准量化参数的调整方式、调整幅度是不一致的，基于此，本实施例的方式中结合基准量化参数和编码块中ROI区域信息对编码块的基准量化参数进行调整。

比如，区分低基准量化参数和高基准量化参数，设定适用于低基准量化参数场景的量化参数偏移范围，以及适用于高基准量化参数的量化参数偏移范围；并且，根据ROI区域占比的大小程度，在量化参数偏移范围内确定相匹配的量化参数偏移量。

步骤S104，根据量化参数偏移量，对基准量化参数进行调整，得到调整后的量化参数；依据调整后的量化参数，对编码块进行编码处理。

在基准量化参数的基础上加上量化参数偏移量，得到调整后的量化参数，按照调整后的量化参数对编码块进行编码，从而实现根据基准量化参数以及编码块内容调整码率。

根据本实施例所提供的基于ROI区域检测的视频编码方法，获取待编码的视频帧，对视频帧进行ROI区域检测，得到ROI区域信息；读取视频帧的编码块以及编码块对应的基准量化参数；根据基准量化参数以及ROI区域信息，确定量化参数偏移量；根据量化参数偏移量，对基准量化参数进行调整，得到调整后的量化参数；依据调整后的量化参数，对编码块进行编码处理。通过上述方式，能够实现基于基准量化参数以及编码块内容的自适应的量化参数调整，能够提升编码处理的效果和性能。

图2示出了本申请另一实施例提供的基于ROI区域检测的视频编码方法的流程图，该方法应用于任意具有图像编码能力的设备中，例如HEVC编码器，执行本实施例的方法以调整编码树单元(CTU)的基准量化参数。如图2所示，该方法包括以下步骤：

步骤S201，获取待编码的视频帧，对视频帧进行ROI区域检测，得到ROI区域信息。

其中，ROI区域具体为人物区域和/或人脸区域。在对待编码的视频帧进行编码时，采用目标检测算法对视频帧中的ROI区域进行检测，得到ROI区域的大小位置信息。

步骤S202，根据ROI区域信息，计算视频帧中ROI区域占比；将视频帧中ROI区域占比与预设阈值进行比较，根据比较结果确定是否对视频帧的各个编码块的基准量化参数进行调整。

计算视频帧中ROI区域的面积与视频画面的面积的比值，得到视频帧中ROI区域占比，之后，比较视频帧中ROI区域占比与预设阈值的大小关系，若比较结果表示视频帧中ROI区域占比达到预设阈值，则确定对该视频帧所包含的编码块调整基准量化参数；反之，若比较结果表示视频帧中ROI区域占比未达到预设阈值，则确定不对该视频帧所包含的编码块调整基准量化参数，采用编码算法对应的量化参数对该视频帧进行编码即可。通过上述方式，识别出包含大面积的用户感兴趣内容的视频帧进行量化参数的调整，而不是对所有的视频帧都调整量化参数，能够准确识别出真正需要进行量化参数调整的视频帧，从而能够避免资源浪费，进一步提升编码性能。

步骤S203，若根据比较结果确定对视频帧的各个编码块的基准量化参数进行调整，读取视频帧的编码块以及编码块对应的基准量化参数。

如果确定出需要对视频帧的各个编码块的基准量化参数进行调整，则依次针对于每一个编码块调整基准量化参数，直至视频帧所有编码块的量化参数都调整完毕。读取当前需要编码的编码块，以及，读取该编码块对应的基准量化参数。

步骤S204，根据编码块的基准量化参数，确定量化参数偏移范围，以及，根据ROI区域信息，计算编码块中ROI区域占比。

首先，根据编码块的基准量化参数确定量化参数偏移范围，量化参数偏移范围是指用于对基准量化参数进行调整的偏移量的取值范围，对于不同数值水平的基准量化参数设定不同的量化参数偏移范围，比如，区分低基准量化参数和高基准量化参数，设定适用于低基准量化参数场景的量化参数偏移范围，以及适用于高基准量化参数的量化参数偏移范围。

其次，根据ROI区域的大小和位置信息，计算编码块与ROI区域的重叠区域的面积与编码块面积之比，得到编码块中ROI区域占比，用于后续结合量化参数偏移范围确定量化参数偏移量。

其中，基准量化参数能够表示待调的基准码率，ROI区域占比能够表示编码块的画面内容，在不同的基准码率、不同的画面内容的场景下所需要的码率是不一样的，因而对基准量化参数的调整方式、调整幅度是不一致的，基于此，本实施例的方式中结合基准量化参数和编码块中ROI区域占比对编码块的基准量化参数进行调整。

在一种可选的方式中，将基准量化参数与多个预设量化参数区间进行比对，确定基准量化参数对应的预设量化参数区间；根据基准量化参数对应的预设量化参数区间，确定量化参数偏移范围的下限和上限。

确定基准量化参数所属的预设量化参数区间，根据基准量化参数所属的预设量化参数区间，确定量化参数偏移范围的下限和上限。其中，不同的预设量化参数区间对应于不同的量化参数偏移范围，预设量化参数区间对应的量化参数偏移范围的下限为预设常量或者与量化参数相关的变量、上限为预设常量或者与量化参数相关的变量。其中，若为预设常量，则直接赋值给当前编码块对应的量化参数偏移范围的上限和/下限，若为与量化参数相关的变量，则根据基准量化参数计算得到当前编码块对应的量化参数偏移范围的下限和/或上限。

步骤S205，根据量化参数偏移范围和ROI区域占比，计算编码块的量化参数偏移量。

综合上述步骤所确定的量化参数偏移范围和ROI区域占比，确定针对于编码块的基准量化参数的偏移量，比如，根据ROI区域占比的大小程度，在量化参数偏移范围内确定相匹配的量化参数偏移量。

具体地，量化参数偏移范围、ROI区域占比以及量化参数偏移量之间的关系如下：ROI区域占比越大，编码块的量化参数偏移量越接近量化参数偏移范围的下限；ROI区域占比越小，编码块的量化参数偏移量越接近量化参数偏移范围的上限。也即，若ROI区域占比越大，则使基准量化参数的调整幅度更小，从而控制码率的增加幅度更大，从而保证ROI区域的质量。具体实施时，设定满足上述关系的编码块的量化参数偏移量的计算公式，用以计算编码块的量化参数偏移量。

另外，在基准量化参数较小时，对非ROI区域的量化参数调整幅度较大，从而在高码率情况下，减少非ROI区域的码率；在基准量化参数较大时，对非ROI区域的量化参数调整幅度较小，从而在低码率情况下，保证非ROI区域的码率。由于当编码块仅为非ROI区域时，编码块的量化参数偏移量为量化参数偏移范围的上限，因此，随着基准量化参数的增大，其对应的量化参数调整范围的上限是减小的。

步骤S206，根据量化参数偏移量，对基准量化参数进行调整，得到调整后的量化参数；依据调整后的量化参数，对编码块进行编码处理。

在基准量化参数的基础上加上量化参数偏移量，得到调整后的量化参数，按照调整后的量化参数，对编码块进行编码。

根据本实施例所提供的基于ROI区域检测的视频编码方法，基于基准编码量化参数以及编码块的画面内容自适应性地调整基准编码量化参数，在高码率时保护ROI区域的质量，同时减少非ROI区域的码率，在保持画质不变的前提下降低码率；在低码率时保护非ROI区域的质量，同时对ROI区域的码率进行补偿，在保持码率没有明显增加的前提下，保证ROI区域的质量；另外，根据视频帧中ROI区域占比确定是否对视频帧的各个编码块的量化参数进行调整，能够准确识别出真正需要调整量化参数的视频帧，从而能够避免资源浪费，进一步提升编码性能。

图3示出了本申请另一实施例提供的基于ROI区域检测的视频编码方法的流程图，该方法应用于任意具有图像编码能力的设备中。如图3所示，该方法包括以下步骤：

步骤S301，获取待编码的视频帧，对视频帧进行ROI区域检测，得到第一ROI区域信息和第二ROI区域信息。

在一些技术方案中，将屏幕中心区域定义为ROI区域或者将人脸区域定义为ROI区域，但是，用户在观看视频时，可能对多类目标感兴趣，并且对于不同ROI目标的敏感程度也存在差异。比如，在包含人物的视频中，背景区域通常是最容易被忽视的地方，人眼首先会注意到人物区域的内容，对人物区域内中的人脸区域又会更加敏感。因此，单一ROI区域以及不区分各类ROI区域的重要性方式都不符合人眼视觉特性。

基于此，本申请实施例中，检测人物区域以及人脸区域，并且结合人物区域和人脸区域的重要性用于后续调整基准量化参数，使得量化参数的调整方式具有内容自适应性。第一ROI区域是指人物区域，第二ROI区域是指人脸区域，第二ROI区域包含在第一ROI区域内。在对待编码的视频帧进行编码时，对视频帧中的人物区域和人脸区域进行检测，得到人物区域的大小和位置信息(即第一ROI区域信息)，以及人脸区域的大小和位置信息(即第二ROI区域信息)。具体地，采用目标检测算法实现ROI区域检测，例如基于深度学习的目标检测算法YOLOv5。

步骤S302，读取视频帧的编码块以及编码块对应的基准量化参数。

每一个视频帧被划分为多个编码块，依次对每一个编码块进行编码。读取当前需要编码的编码块，以及，读取该编码块对应的基准量化参数，基准量化参数由原始编码算法所决定。

步骤S303，将基准量化参数与多个预设量化参数区间进行比对，确定基准量化参数对应的预设量化参数区间，根据基准量化参数对应的预设量化参数区间，确定量化参数偏移范围的下限和上限。

确定基准量化参数所属的预设量化参数区间，根据基准量化参数所属的预设量化参数区间，确定量化参数偏移范围的下限和上限。

其中，不同的预设量化参数区间对应于不同的量化参数偏移范围，预设量化参数区间对应的量化参数偏移范围的下限为预设常量或者与量化参数相关的变量、上限为预设常量或者与量化参数相关的变量。其中，若为预设常量，则直接赋值给当前编码块对应的量化参数偏移范围的上限和/下限，若为与量化参数相关的变量，则根据基准量化参数计算得到当前编码块对应的量化参数偏移范围的下限和/或上限。

在一种可选的方式中，在确定量化参数偏移范围之后，根据ROI强度参数，对量化参数偏移范围进行调整。其中，ROI强度参数为设定的参数，ROI强度参数越大则表示对基准量化参数的调整越多，反之，强度参数越小则表示对基准量化参数的调整越小。比如，设定ROI强度参数的取值范围为0到100，ROI强度参数的默认值为50，表示中等调整强度，若用户未指定ROI强度参数，则使用默认ROI强度参数。通过该方式，能够满足用户自定义调整强度的需求。

步骤S304，根据第一ROI区域信息和第二ROI区域信息，计算编码块中第一ROI区域占比和第二ROI区域占比。

图4示出了本申请一个实施例中提供的视频帧的示意图，其中，人物检测结果和人脸检测结果均用矩形框表示，编码块41与人物区域42(第一ROI区域)以及人脸区域43(第二ROI区域)之间存在重叠，假设编码块41的面积为A，人物区域42与编码块41的重叠区域的面积为B，人脸区域43与编码块41的重叠区域的面积为C，则编码块中第一ROI区域占比R_person＝B/A，编码块中第二ROI区域占比R_face＝C/A。

步骤S305，根据量化参数偏移范围、第一ROI区域占比和第二ROI区域占比，计算编码块的量化参数偏移量。

量化参数偏移范围和第一ROI区域占比用于确定量化参数偏移量的初始值，第二ROI区域占比用于对量化参数偏移量的初始值进行补偿处理，其中，补偿处理是在量化参数偏移量的初始值的基础上减去补偿幅度。该方式中，对基准量化参数进行两次调整，分别是根据人物区域占比和根据人脸区域占比调整量化参数偏移量，能够实现基于人物区域和人脸区域的不同重要性进行分级式的自适应量化参数调整。

具体地，第一ROI区域占比越大，第一量化参数偏移量越接近量化参数偏移范围的下限，第一ROI区域占比越小，第一量化参数偏移量越接近量化参数偏移范围的上限，也即，当人物区域占比越大，则使第一量化参数偏移量越小，量化参数偏移量也就越小，从而将码率调整为更大，保证人物区域的质量。第二ROI区域占比越大，补偿处理的幅度越大，第二ROI区域占比越小，补偿处理的幅度越小，也即，当人脸区域越大，则使补偿越多，使得量化参数偏移量越小，则码率越大，保证人脸区域的质量。

进一步地，根据量化参数偏移范围和第一ROI区域占比，计算第一量化参数偏移量；根据第二ROI区域占比和量化参数偏移量的补偿最大值，对第一量化参数偏移量进行补偿处理，得到编码块的量化参数偏移量。

其中，根据编码块的基准量化参数，确定量化参数偏移量的补偿最大值。可选地，将编码块的基准量化参数与多个预设量化参数区间进行比对，根据基准量化参数对应的预设量化参数区间，确定量化参数偏移量的补偿最大值。不同的预设量化参数区间对应于不同量化参数偏移量的补偿最大值。量化参数与补偿最大值的关系具体为：量化参数越小则补偿最大值越小，量化参数越大则补偿最大值越大。

本申请实施例中，对基准量化参数进行调整的基本思路为：当基准量化参数较小时，对非ROI区域的量化参数的调整较大，对ROI区域的量化参数的补偿较小；当基准量化参数较大时，对非ROI区域的量化参数的调整较少，对ROI区域的量化参数的补偿较大。设定对各个预设量化参数区间所对应的量化参数偏移范围以及补偿最大值。

在一种可选的方式中，在根据编码块的基准量化参数，确定量化参数偏移量的补偿最大值的步骤之后，还包括：根据ROI强度参数，对量化参数偏移量的补偿最大值进行调整，则在补偿处理中，根据第二ROI区域占比和调整后的量化参数偏移量的补偿最大值对第一量化参数偏移量进行补偿处理。

在一种可选的方式中，通过如下公式计算量化参数偏移量：

QP_offset＝delta_QP_min+(1-R_person)*delta_QP_range-(R_face*face_reduce_QP_range)

其中，QP_offset表示量化参数偏移量，delta_QP_min表示量化参数偏移最小值(也即量化参数偏移范围的下限)，R_person表示第一ROI区域占比也即人物区域占比，delta_QP_range表示量化参数调整范围，即量化参数偏移范围的长度，R_face表示第二ROI区域占比也即人脸区域占比，face_reduce_QP_range表示量化参数偏移量的补偿最大值。

该公式表示对基准量化参数进行了两次调整，第一次根据人物区域占比进行调整，当人物区域占比越大，量化参数偏移量越接近于偏移最小值，相反地，非人物区域占比越大，量化参数偏移量越接近于偏移最大值；第二次根据人脸区域占比进行补偿，人脸区域占比越大，则补偿处理的幅度越大，人脸区域占比越小，则补偿处理的幅度越小。

步骤S306，根据量化参数偏移量，对基准量化参数进行调整，得到调整后的量化参数，依据调整后的量化参数，对编码块进行编码处理。

在基准量化参数的基础上加上量化参数偏移量，求和之后再取整，再对通过量化参数有效范围对取整结果进行处理，得到调整后的量化参数，按照调整后的量化参数，对编码块进行编码。

在一现有方案中，基于二值化的ROI区域进行量化参数调整，会使得编码后的ROI区域和非ROI区域产生明显的质量差异，从而产生伪轮廓，影响用户主观感受；在另一现有方案中，在基准量化参数上加上或者减去固定偏移量进行调整，但这种方式缺乏内容自适应性，导致在高码率情况下浪费码率，而在低码率情况下下又无法保证ROI区域的质量。

根据本实施例所提供的基于ROI区域检测的视频编码方法，能够根据基准量化参数自适应调整量化参数的偏移力度，同时，根据人物区域占比对量化参数进行调整，根据人脸区域占比对量化参数进行补偿，即在编码过程中先对人物区域进行码率补偿，再对人脸区域进行进一步码率补偿，同时减少对背景区域码率的分配，能够实现结合不同类别区域的重要性进行分级式的自适应量化参数调整，并且编码复杂度不超过两次编码；采用本申请实施例的方法，能够达到以下效果：在高码率情况下保护ROI区域的质量，同时减少非ROI区域的码率，在保持画质不变的前提下降低码率；低码率情况下保护非ROI区域的质量，同时对ROI区域的码率进行补偿，在保持码率没有明显增加的前提下，保证ROI区域的质量，能够使各个场景间的编码质量保持恒定，能够在保证画面质量的前提下同时达到在高码率情况下节省码率以及在低码率情况下避免码率不足的效果。

图5示出了本申请另一实施例提供的基于ROI区域检测的视频编码方法的流程图，如图5所示，在开始当前视频帧的编码后，具体处理流程如下：

步骤S501，对视频帧进行人物检测和人脸检测，并保存ROI区域信息；

步骤S502，判断是否处理完所有编码块；若是，则结束当前视频帧的编码；若否，则跳转步骤S503；

步骤S503，读取下一个编码块，读取基准量化参数QP_base；

步骤S504，判断帧内是否有ROI目标；若否，跳转步骤S505；若是，则跳转步骤S506；

步骤S505，使用QP_base编码当前编码块，并跳转步骤S502；

步骤S506，分别计算当前块中面积比例R_person和人脸面积比例R_face；

步骤S507，根据QP_base，确定QP偏移量最小值、QP调整范围以及补偿最大值。

具体地，根据QP_base对应的预设量化参数区间，确定QP偏移量最小值、QP调整范围以及补偿最大值，其中，QP偏移量最小值也就是量化参数偏移量范围的下限，QP调整范围也就是量化参数偏移量范围的长度，即量化参数偏移量范围的上限与下限之差。

在一个示例中，量化参数区间与QP偏移量最小值、QP调整范围以及补偿最大值的关系如下：

当QP_base小于等于20时，QP偏移最小值为0，QP调整范围为4，人脸QP补偿最大值为0；

当QP_base大于20且小于等于25时，QP偏移最小值为0，QP调整范围随着QP增大线性减小：delta_QP_range＝4-(QP_base-20)/5，人脸QP补偿最大值为1；

当QP_base大于25且小于等于30时，QP偏移最小值通过delta_QP_min＝-(QP_base-25)/5计算得到，QP调整范围为3，人脸QP补偿最大值为1；

当QP_base大于30且小于等于40时，QP偏移最小值通过delta_QP_min＝-2(QP_base-30)/10-1计算得到，QP调整范围通过delta_QP_range＝3+1.5(QP_base-30)/10计算得到，人脸QP补偿最大值为2；

当QP_base大于40时，QP偏移最小值通过delta_QP_min＝-5(QP_base-40)/11-3计算得到，QP调整范围通过delta_QP_range＝4.5+3.5(QP_base-40)/11计算得到，人脸QP补偿最大值为3。

步骤S508，根据ROI强度参数调整QP调整范围和补偿最大值。

具体调整方式如下：

delta_QP_min＝delta_QP_min*roi_strength/50

delta_QP_range＝delta_QP_range*roi_strength/50

face_reduce_QP_range＝face_reduce_QP_range*roi_strength/50

其中，QP_offset表示量化参数偏移量，delta_QP_min表示量化参数偏移最小值(也即量化参数偏移范围的下限)，R_person表示第一ROI区域占比也即人物区域占比，delta_QP_range表示量化参数调整范围，即量化参数偏移范围的长度，R_face表示第二ROI区域也即人脸区域占比，face_reduce_QP_range表示量化参数偏移量的补偿最大值。

步骤S509，计算QP调整偏移量。

具体计算方式如下：

QP_offset＝delta_QP_min+(1-R_person)*delta_QP_range-(R_face*face_reduce_QP_range)

步骤S510，计算调整后的量化参数QP_adjust。

在基准量化参数的基础上加上量化参数偏移量，求和之后再取整，再对通过量化参数有效范围对取整结果进行处理，得到调整后的量化参数。

具体计算方式如下：

QP_adjust＝round(QP_base+QP_offset)

QP_adjust＝clip(QP_adjust,0,51)

其中，QP_adjust表示调整后的量化参数，QP_base表示基准量化参数，QP_offset表示量化参数偏移量，量化参数有效范围为0到51。

步骤S511，使用QP_adjust编码当前块，跳转步骤S502。

图6示出了本申请实施例提供的基于ROI区域检测的视频编码装置的结构示意图，如图6所示，该装置包括：

区域检测模块61，适于获取待编码的视频帧，对视频帧进行ROI区域检测，得到ROI区域信息；

读取模块62，适于读取视频帧的编码块以及编码块对应的基准量化参数；

参数调整模块63，适于根据基准量化参数以及ROI区域信息，确定量化参数偏移量；根据量化参数偏移量，对基准量化参数进行调整，得到调整后的量化参数；

编码模块64，适于依据调整后的量化参数，对编码块进行编码处理。

在一种可选的方式中，参数调整模块63进一步适于：

根据编码块的基准量化参数，确定量化参数偏移范围；

根据ROI区域信息，计算编码块中ROI区域占比；

根据量化参数偏移范围和ROI区域占比，计算编码块的量化参数偏移量。

在一种可选的方式中，参数调整模块63进一步适于：

将基准量化参数与多个预设量化参数区间进行比对，确定基准量化参数对应的预设量化参数区间；

根据基准量化参数对应的预设量化参数区间，确定量化参数偏移范围的下限和上限。

在一种可选的方式中，ROI区域占比越大，编码块的量化参数偏移量越接近量化参数偏移范围的下限；ROI区域占比越小，编码块的量化参数偏移量越接近量化参数偏移范围的上限。

在一种可选的方式中，区域检测模块61进一步适于：对视频帧进行ROI区域检测，得到第一ROI区域信息和第二ROI区域信息；

参数调整模块63进一步适于：根据第一ROI区域信息和第二ROI区域信息，计算编码块中第一ROI区域占比和第二ROI区域占比；根据量化参数偏移范围、第一ROI区域占比和第二ROI区域占比，计算编码块的量化参数偏移量。

在一种可选的方式中，第一ROI区域具体为人物区域，第二ROI区域具体为人脸区域。

在一种可选的方式中，参数调整模块63进一步适于：根据编码块的基准量化参数，确定量化参数偏移量的补偿最大值；根据量化参数偏移范围和第一ROI区域占比，计算第一量化参数偏移量；根据第二ROI区域占比和量化参数偏移量的补偿最大值，对第一量化参数偏移量进行补偿处理，得到编码块的量化参数偏移量。

在一种可选的方式中，第一ROI区域占比越大，第一量化参数偏移量越接近量化参数偏移范围的下限；第一ROI区域占比越小，第一量化参数偏移量越接近量化参数偏移范围的上限。

在一种可选的方式中，第二ROI区域占比越大，补偿处理的幅度越大；第二ROI区域占比越小，补偿处理的幅度越小。

在一种可选的方式中，参数调整模块63进一步适于：根据ROI强度参数，对量化参数偏移范围进行调整。

在一种可选的方式中，参数调整模块63进一步适于：根据ROI强度参数，对量化参数偏移量的补偿最大值进行调整。

在一种可选的方式中，装置还包括：比较模块，适于根据ROI区域信息，计算视频帧中ROI区域占比；将视频帧中ROI区域占比与预设阈值进行比较，根据比较结果确定是否对视频帧的各个编码块的基准量化参数进行调整。

本申请实施例提供了一种非易失性计算机存储介质，所述计算机存储介质存储有至少一可执行指令，该计算机可执行指令可执行上述任意方法实施例中的基于ROI区域检测的视频编码方法。

图7示出了本申请计算设备实施例的结构示意图，本申请具体实施例并不对计算设备的具体实现做限定。

如图7所示，该计算设备可以包括：处理器(processor)702、通信接口(Communications Interface)704、存储器(memory)706、以及通信总线708。

其中：处理器702、通信接口704、以及存储器706通过通信总线708完成相互间的通信。通信接口704，用于与其它设备比如客户端或其它服务器等的网元通信。处理器702，用于执行程序710，具体可以执行上述用于计算设备的基于ROI区域检测的视频编码方法实施例中的相关步骤。

具体地，程序710可以包括程序代码，该程序代码包括计算机操作指令。

处理器702可能是中央处理器CPU，或者是特定集成电路ASIC(ApplicationSpecific Integrated Circuit)，或者是被配置成实施本申请实施例的一个或多个集成电路。计算设备包括的一个或多个处理器，可以是同一类型的处理器，如一个或多个CPU；也可以是不同类型的处理器，如一个或多个CPU以及一个或多个ASIC。

存储器706，用于存放程序710。存储器706可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。

在此提供的算法或显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述，构造这类系统所要求的结构是显而易见的。此外，本申请实施例也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本申请的内容，并且上面对特定语言所做的描述是为了披露本申请的最佳实施方式。

在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本申请的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。

类似地，应当理解，为了精简本申请并帮助理解各个发明方面中的一个或多个，在上面对本申请的示例性实施例的描述中，本申请实施例的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本申请要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本申请的单独实施例。

本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。

此外，本领域的技术人员能够理解，尽管在此的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本申请的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。

本申请的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本申请实施例的一些或者全部部件的一些或者全部功能。本申请还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本申请的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。

应该注意的是上述实施例对本申请进行说明而不是对本申请进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本申请可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。上述实施例中的步骤，除有特殊说明外，不应理解为对执行顺序的限定。

Claims (15)

1.一种基于ROI区域检测的视频编码方法，包括：

获取待编码的视频帧，对所述视频帧进行ROI区域检测，得到ROI区域信息；

读取所述视频帧的编码块以及所述编码块对应的基准量化参数；

根据所述基准量化参数以及所述ROI区域信息，确定量化参数偏移量；

根据所述量化参数偏移量，对所述基准量化参数进行调整，得到调整后的量化参数；

依据所述调整后的量化参数，对所述编码块进行编码处理。

2.根据权利要求1所述的方法，其中，所述根据所述基准量化参数以及所述ROI区域信息，确定量化参数偏移量进一步包括：

根据所述编码块的基准量化参数，确定量化参数偏移范围；

根据所述ROI区域信息，计算所述编码块中ROI区域占比；

根据所述量化参数偏移范围和所述ROI区域占比，计算所述编码块的量化参数偏移量。

3.根据权利要求2所述的方法，其中，所述根据所述编码块的基准量化参数，确定量化参数偏移范围进一步包括：

将所述基准量化参数与多个预设量化参数区间进行比对，确定所述基准量化参数对应的预设量化参数区间；

根据所述基准量化参数对应的预设量化参数区间，确定所述量化参数偏移范围的下限和上限。

4.根据权利要求2或3所述的方法，其中，所述ROI区域占比越大，所述编码块的量化参数偏移量越接近所述量化参数偏移范围的下限；所述ROI区域占比越小，所述编码块的量化参数偏移量越接近所述量化参数偏移范围的上限。

5.根据权利要求1-3中任一项所述的方法，其中，所述对所述视频帧进行ROI区域检测，得到ROI区域信息进一步包括：对所述视频帧进行ROI区域检测，得到第一ROI区域信息和第二ROI区域信息；

所述根据所述ROI区域信息，计算所述编码块中ROI区域占比具体为：根据所述第一ROI区域信息和第二ROI区域信息，计算所述编码块中第一ROI区域占比和第二ROI区域占比；

所述根据所述量化参数偏移范围和所述ROI区域占比，计算所述编码块的量化参数偏移量具体为：根据所述量化参数偏移范围、所述第一ROI区域占比和第二ROI区域占比，计算所述编码块的量化参数偏移量。

6.根据权利要求5所述的方法，其中，所述第一ROI区域具体为人物区域，所述第二ROI区域具体为人脸区域。

7.根据权利要求5或6所述的方法，其中，所述方法还包括：根据所述编码块的基准量化参数，确定量化参数偏移量的补偿最大值；

所述根据所述量化参数偏移范围、所述第一ROI区域占比和第二ROI区域占比，计算所述编码块的量化参数偏移量进一步包括：

根据所述量化参数偏移范围和所述第一ROI区域占比，计算第一量化参数偏移量；

根据所述第二ROI区域占比和所述量化参数偏移量的补偿最大值，对第一量化参数偏移量进行补偿处理，得到所述编码块的量化参数偏移量。

8.根据权利要求7所述的方法，其中，所述第一ROI区域占比越大，所述第一量化参数偏移量越接近所述量化参数偏移范围的下限；所述第一ROI区域占比越小，所述第一量化参数偏移量越接近所述量化参数偏移范围的上限。

9.根据权利要求7所述的方法，其中，所述第二ROI区域占比越大，所述补偿处理的幅度越大；所述第二ROI区域占比越小，所述补偿处理的幅度越小。

10.根据权利要求1-9中任一项所述的方法，其中，在所述确定量化参数偏移范围之后，所述方法还包括：

根据ROI强度参数，对所述量化参数偏移范围进行调整。

11.根据权利要求7所述的方法，其中，在所述确定量化参数偏移量的补偿最大值之后，所述方法还包括：

根据ROI强度参数，对所述量化参数偏移量的补偿最大值进行调整。

12.根据权利要求1-11中任一项所述的方法，其中，在对所述视频帧进行ROI区域检测，得到ROI区域信息之后，所述方法还包括：

根据所述ROI区域信息，计算所述视频帧中ROI区域占比；

将所述视频帧中ROI区域占比与预设阈值进行比较，根据比较结果确定是否对所述视频帧的各个编码块的基准量化参数进行调整。

13.一种基于ROI区域检测的视频编码装置，包括：

区域检测模块，适于获取待编码的视频帧，对所述视频帧进行ROI区域检测，得到ROI区域信息；

读取模块，适于读取所述视频帧的编码块以及所述编码块对应的基准量化参数；

参数调整模块，适于根据所述基准量化参数以及所述ROI区域信息，确定量化参数偏移量；根据所述量化参数偏移量，对所述基准量化参数进行调整，得到调整后的量化参数；

编码模块，适于依据所述调整后的量化参数，对所述编码块进行编码处理。

14.一种计算设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；

所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行如权利要求1-12中任一项所述的基于ROI区域检测的视频编码方法对应的操作。

15.一种计算机存储介质，所述存储介质中存储有至少一可执行指令，所述可执行指令使处理器执行如权利要求1-12中任一项所述的基于ROI区域检测的视频编码方法对应的操作。

Images