CN112866696A - 4k、8k、16k超高清视频编码优化控制方法和装置 - Google Patents

Abstract

本申请公开了一种4K、8K、16K超高清视频编码优化控制方法，该4K、8K、16K超高清视频编码优化控制方法包括获取视频数据，将视频数据转换为低分辨率视频数据，计算低分辨率视频数据中每帧图像数据的复杂度，得到相应的图像序列的复杂度数据，依据复杂度数据预分配低分辨率视频数据中每一帧图像的比特数，根据预分配的比特数计算量化步长的值，依据量化步长的值对视频数据进行编码。由于计算量基本与图像面积成正比，在下变换分辨率为原来的小比例时，相关计算量也接近这个比例，从而极大的节省了码率控制相关算法的计算量。

Description

4K、8K、16K超高清视频编码优化控制方法和装置

技术领域

本公开涉及视频编码技术领域，尤其涉及一种4K、8K、16K超高清视频编码优化控制方法和装置。

背景技术

视频编码技术中，码率控制是一个非常重要的方面。现代视频编码器一般使用率失真优化(RDO)模型进行码率控制的策略选择。RDO:rate-distortion optimization率失真优化。限定码率值RC，选择合适的编码模式，使得失真D最小。编码模式包括量化步长、宏块模式选择、帧内/帧间预测模式选择等。码率控制的RDO模型的目标是确定每帧或每个宏块合适的量化步长QP。

码率控制的几个基本原则：满足给定的码率约束条件，比如平均码率控制ABR，或者常码率控制CBR；在满足给定约束条件下，获得尽可能高的、稳定的视觉质量的编码码流，但是稳定视觉质量并不意味着恒定的PSNR或QP。对高复杂度、高运动感的图像，人眼并不会注意到细节，因而可以在某种程度上增大QP而达到相同的视觉质量；根据图像的重要性来确定不同的QP，参考帧比非参考帧更重要，一般会获得相对较小的QP值。

已有的一种RDO模型：计算视频帧的SATD(sum of absolute transformeddifference)作为模式选择的依据。SATD是将残差做hadamard变换再取绝对值的总和，它作为一种简单的时频变换，能在一定程度上衡量生成码流的大小。4K、8K超高清编码，一般采用HEVC/AVS2或者AVS3视频编码格式。相比于AVC/AVS+，这几种新的超高清编码格式在计算复杂度上有了很大增加，叠加上视频尺寸的成倍增长，需要的计算量增加了几倍到几十倍。

发明内容

有鉴于此，本公开提出了一种4K、8K、16K超高清视频编码优化控制方法，包括：

获取视频数据，将所述视频数据转换为低分辨率视频数据；

计算所述低分辨率视频数据中每帧图像数据的复杂度，得到相应的图像序列的复杂度数据；

依据所述复杂度数据预分配所述低分辨率视频数据中每一帧图像的比特数；

根据预分配的所述比特数计算量化步长的值；

依据所述量化步长的值对所述视频数据进行编码。

在一种可能的实现方式中，将所述视频数据转换为低分辨率视频数据时采用像素抽样的方式进行。

在一种可能的实现方式中，采用像素抽样的方式将所述视频数据转换为低分辨率视频数据，包括：

依据预设的抽样比例对所述视频数据进行下变换得到低分辨率视频数据；

所述预设的抽样比例的范围为四分之一至十六分之一。

在一种可能的实现方式中，计算所述低分辨率视频数据的复杂度得到复杂度数据包括：

对所述低分辨率视频数据中的关键帧计算帧内复杂度；

对所述低分辨率视频数据中的非关键帧计算帧间复杂度。

在一种可能的实现方式中，将所述低分辨率视频数据进行依据设定的时间进行分组；

对所述低分辨率视频数据中的关键帧计算帧内复杂度；

对所述低分辨率视频数据中的非关键帧计算帧间复杂度。

在一种可能的实现方式中，依据所述复杂度数据分配各所述低分辨率视频数据中每一帧的比特数包括：

依据视频缓存校验器补偿的比特数计算所述低分辨率视频数据的总比特数；

依据所述低分辨率视频数据中每一帧的类型将对应的复杂度乘以预设的加权系数得到加权复杂度数据；

依据所述加权复杂度数据按比例分配所述总比特数得到所述低分辨率视频数据中每一帧的比特数。

在一种可能的实现方式中，根据分配的所述比特数计算量化步长的值包括：

依据公式计算量化步长：

QP_scale(n)＝QP_scale(n-1)×Bits(n-1)/Bits(n)×Rate_factor

其中，QP_scale(n)表征同一类型第n帧的QP_scale值；QP_scale(n-1)表征与第n帧同类型，并且序号为n-1的帧对应的QP_scale值；Bits(n)表征第n帧分配的比特数；Bits(n-1)表征与第n帧同类型，并且序号为n-1的帧对应的比特数；Rate_factor表征控制因子，用于动态调整量化步长；

QP(n)＝qp_a+qp_b×log2(QP_scale(n)/qp_factor)

其中，QP(n)表征同一类型第n帧的量化步长的值；qp_a表征模型初始化变量；qp_b表征模型初始化变量；qp_factor表征模型初始化变量。

在一种可能的实现方式中，还包括：

获取编码后的视频数据的实际比特数；

将所述实际比特数与分配的比特数进行比较以更新所述控制因子。

在一种可能的实现方式中，将所述实际比特数与分配的比特数进行比较以更新控制因子包括：

根据公式

Rate_factor

＝Rate_factor(n-1)+(Bits_c–Bits_p)/Bits_p*ctrl_factor

更新所述控制因子；

其中，Rate_factor(n-1)表征上一步的控制因子的值，所述控制因子的初始化为1；Bits_c表征实际编码得到的比特数；Bits_p表征预分配的比特数；ctrl_factor表征模型初始化参数。

根据本公开的另一方面，还提供了一种4K、8K、16K超高清视频编码优化控制装置，包括数据获取模块、复杂度计算模块、比特数分配模块、量化步长计算模块和视频编码模块；

所述数据获取模块，被配置为获取视频数据，将所述视频数据转换为低分辨率视频数据；

所述复杂度计算模块，被配置为计算所述低分辨率视频数据中每帧图像数据的复杂度，得到相应的图像序列的复杂度数据；

所述比特数分配模块，被配置为依据所述复杂度数据预分配所述低分辨率视频数据中每一帧图像的比特数；

所述量化步长计算模块，被配置为根据预分配的所述比特数计算量化步长的值；

所述视频编码模块，被配置为依据所述量化步长的值对所述视频数据进行编码。

通过获取视频数据，将视频数据转换为低分辨率视频数据，计算低分辨率视频数据中每帧图像数据的复杂度，得到相应的图像序列的复杂度数据，依据复杂度数据预分配低分辨率视频数据中每一帧图像的比特数，根据预分配的比特数计算量化步长的值，依据量化步长的值对视频数据进行编码。由于计算量基本与图像面积成正比，在下变换分辨率为原来的小比例时，相关计算量也接近这个比例，从而极大的节省了码率控制相关算法的计算量。

根据下面参考附图对示例性实施例的详细说明，本公开的其它特征及方面将变得清楚。

附图说明

包含在说明书中并且构成说明书的一部分的附图与说明书一起示出了本公开的示例性实施例、特征和方面，并且用于解释本公开的原理。

图1示出本公开实施例的4K、8K、16K超高清视频编码优化控制方法的流程图；

图2示出本公开实施例的4K、8K、16K超高清视频编码优化控制装置的框图；

图3示出本公开实施例的4K、8K、16K超高清视频编码优化控制设备的框图。

具体实施方式

以下将参考附图详细说明本公开的各种示例性实施例、特征和方面。附图中相同的附图标记表示功能相同或相似的元件。尽管在附图中示出了实施例的各种方面，但是除非特别指出，不必按比例绘制附图。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

在这里专用的词“示例性”意为“用作例子、实施例或说明性”。这里作为“示例性”所说明的任何实施例不必解释为优于或好于其它实施例。

另外，为了更好的说明本公开，在下文的具体实施方式中给出了众多的具体细节。本领域技术人员应当理解，没有某些具体细节，本公开同样可以实施。在一些实例中，对于本领域技术人员熟知的方法、手段、元件和电路未作详细描述，以便于凸显本公开的主旨。

图1示出根据本公开一实施例的4K、8K、16K超高清视频编码优化控制方法的流程图。如图1所示，该4K、8K、16K超高清视频编码优化控制方法包括：

步骤S100，获取视频数据，将视频数据转换为低分辨率视频数据，步骤S200，计算低分辨率视频数据中每帧图像数据的复杂度，得到相应的图像序列的复杂度数据，步骤S300，依据复杂度数据预分配低分辨率视频数据中每一帧图像的比特数，步骤S400，根据预分配的比特数计算量化步长的值，步骤S500，依据量化步长的值对视频数据进行编码。

通过获取视频数据，将视频数据转换为低分辨率视频数据，计算低分辨率视频数据中每帧图像数据的复杂度，得到相应的图像序列的复杂度数据，依据复杂度数据预分配低分辨率视频数据中每一帧图像的比特数，根据预分配的比特数计算量化步长的值，依据量化步长的值对视频数据进行编码。由于计算量基本与图像面积成正比，在下变换分辨率为原来的小比例时，相关计算量也接近这个比例，从而极大的节省了码率控制相关算法的计算量。

具体的，参见图1，执行步骤S100，获取视频数据，将视频数据转换为低分辨率视频数据。

在一种可能的实现方式中，对视频数据进行像素抽样得到低分辨率视频数据包括：依据预设的抽样比例对视频数据进行下变换得到低分辨率视频数据，预设的抽样比例的范围为四分之一至十六分之一。举例来说：获取到的视频数据的清晰度为4K，在获取到视频数据之后，对视频数据进行像素抽样，预设的抽样比例为十六分之一，则对清晰度为4K的视频数据进行下变换至原来分辨率的十六分之一，即得到了低分辨率视频数据。这样，由于计算量基本与图像面积成正比，在下变换分辨率为原来的小比例时，相关计算量也接近这个比例，从而极大的节省了计算量。

需要说明的是，低分辨率视频数据为分辨率低于获取到的视频数据的初始分辨率，示例性的，从4K清晰度转为720P分辨率；另外的，低分辨率视频数据也可以是分辨率低于预设分辨率的视频数据，也就是说，视频数据的分辨率本身就低于预设值，示例性的，预设值为720P，视频数据为480P，则不用进行像素抽样。

进一步的，参见图1，执行步骤S200，计算低分辨率视频数据中每帧图像数据的复杂度，得到相应的图像序列的复杂度数据。

在一种可能的实现方式中，计算低分辨率视频数据的复杂度得到复杂度数据包括：将低分辨率视频数据依据设定的时间长度进行分组，对低分辨率视频数据中各组的关键帧计算帧内复杂度，对低分辨率视频数据中各组的非关键帧计算帧间复杂度。举例来说，在硬盘中存储有一段10秒的视频文件，视频文件的清晰度为4K，在对清晰度为4K的视频数据进行下变换至原来分辨率的十六分之一后，根据编码延时的需要，将低分辨率视频数据以间隔1秒进行分组，则分为10组，将第一组组内的关键帧计算帧内复杂度(SATD_intra)，其中，关键帧为I帧，第一组组内的非关键帧计算帧间复杂度(SATD_inter)，其中，非关键帧为除I帧以外的帧，对第一组计算完后，即得到了第一组复杂度数据。

需要说明的是，计算帧内复杂度和帧间复杂度可以使用本领域的常用技术手段，本公开不进行限定。

进一步的，参见图1，执行步骤S300，依据复杂度数据预分配低分辨率视频数据中每一帧图像的比特数。

在一种可能的实现方式中，依据复杂度数据分配各低分辨率视频数据中每一帧的比特数包括：计算低分辨率视频数据的总比特数，依据低分辨率视频数据中每一帧的类型将对应的复杂度乘以预设的加权系数得到加权复杂度数据，依据加权复杂度数据按比例分配总比特数得到低分辨率视频数据中每一帧的比特数。举例来说，在硬盘中存储有一段10秒的视频文件，视频文件的清晰度为4K，在对清晰度为4K的视频数据进行下变换至原来分辨率的十六分之一后，将低分辨率视频数据以间隔1秒进行分组，则分为10组，将第一组组内的关键帧计算帧内复杂度(SATD_intra)，第一组组内的非关键帧计算帧间复杂度(SATD_inter)，对第一组计算完后，即得到了第一组复杂度数据，在得到了第一组的复杂度数据之后，计算低分辨率视频数据中第一组的总比特数，即依据目标码率×时间+VBV(VideoBuffering Verifier)补偿比特数，示例性的，设定的目标码率为2Mb/S，第一组为1秒，VBV补偿比特数为1Mbit，则总比特数为3Mbit，接着依据低分辨率视频数据中每一帧的类型将对应的复杂度乘以预设的加权系数得到第一组的加权复杂度数据，具体的，将第一组中每一帧数据按IPB帧类型的不同，将该帧对应的复杂度×预先设定的加权系数，示例性的，I帧加权系数为1.0，P帧加权系数为0.5，B帧加权系数为0.3，完成每一帧的计算之后，即得到了第一组加权复杂度数据，计算每一帧的加权复杂度在总的低分辨率视频数据中的第一组的加权复杂度中的比例，按照此比例乘以第一组的总比特数，即得到了第一组中每一帧的比特数。这样使得比特数分配更加合理，同等码率下提高了图像质量。

进一步的，参见图1，执行步骤S400，根据预分配的比特数计算量化步长的值。

在一种可能的实现方式中，根据分配的比特数计算量化步长的值包括：依据公式计算量化步长：

公式一：

QP_scale(n)＝QP_scale(n-1)×Bits(n-1)/Bits(n)×Rate_factor

其中，QP_scale(n)表征同一类型第n帧的QP_scale值，QP_scale(n-1)表征与第n帧同类型，并且序号为n-1的帧对应的QP_scale值，Bits(n)表征第n帧分配的比特数，Bits(n-1)表征与第n帧同类型，并且序号为n-1的帧对应的比特数，Rate_factor表征控制因子，用于动态调整量化步长。

公式二：

QP(n)＝qp_a+qp_b×log2(QP_scale(n)/qp_factor)

其中，QP(n)表征同一类型第n帧的量化步长的值，qp_a表征模型初始化变量，qp_b表征模型初始化变量，qp_factor表征模型初始化变量。

举例来说，其中QP_scale的初始值可以为1.2，qp_a的值可以为12，qp_b的值可以为6，qp_factor可以为0.85。在硬盘中存储有一段10秒的视频文件，视频文件的清晰度为4K，在对清晰度为4K的视频数据进行下变换至原来分辨率的十六分之一后，将低分辨率视频数据以间隔1秒进行分组，则分为10组，在得到第一组的所有帧的比特数之后，依据公式一和公式二计算第一组内所有帧的量化步长的值。

需要说明的是，依据量化步长进行编码可以使用本领域的常用技术手段，此处不进行限定。

进一步的，参见图1，执行步骤S500，依据量化步长的值对视频数据进行编码。

在一种可能的实现方式中，在得到当前组的所有帧的量化步长QP之后，即可进行编码，在完成编码后，即可进行下一组的计算，直至完成整个视频数据的编码。

进一步的，在一种可能的实现方式中，本公开的4K、8K、16K超高清视频编码优化控制方法还包括：获取编码后的视频数据的实际比特数，将实际比特数与分配的比特数进行比较以更新控制因子。其中，将实际比特数与分配的比特数进行比较以更新控制因子包括：根据公式三更新控制因子，

公式三：

Rate_factor

＝Rate_factor(n-1)+(Bits_c–Bits_p)/Bits_p*ctrl_factor

其中，Rate_factor(n-1)表征上一步的控制因子的值，控制因子的初始化为1，Bits_c表征实际编码得到的比特数，Bits_p表征预分配的比特数，ctrl_factor表征模型初始化参数。

举例来说，在硬盘中存储有一段10秒的视频文件，视频文件的清晰度为4K，在对清晰度为4K的视频数据进行下变换至原来分辨率的十六分之一后，将低分辨率视频数据以间隔1秒进行分组，则分为10组，在得到第一组的所有帧的比特数之后，依据公式一和公式二计算第一组内所有帧的量化步长的值。在得到当前组的所有帧的量化步长QP之后，即可进行编码，在完成编码后，依据公式三计算控制因子的值，替换公式二中的控制因子的值，进行下一组的计算和编码，这样，结合实际编码比特数对码率进行动态优化调整，使得输出码率更加平稳。

需要说明的是，尽管以上述各个步骤作为示例介绍了本公开的4K、8K、16K超高清视频编码优化控制方法如上，但本领域技术人员能够理解，本公开应不限于此。事实上，用户完全可根据个人喜好和/或实际应用场景灵活设定4K、8K、16K超高清视频编码优化控制方法，只要达到所需功能即可。

这样，通过获取视频数据，将视频数据转换为低分辨率视频数据，计算低分辨率视频数据中每帧图像数据的复杂度，得到相应的图像序列的复杂度数据，依据复杂度数据预分配低分辨率视频数据中每一帧图像的比特数，根据预分配的比特数计算量化步长的值，依据量化步长的值对视频数据进行编码。由于计算量基本与图像面积成正比，在下变换分辨率为原来的小比例时，相关计算量也接近这个比例，从而极大的节省了码率控制相关算法的计算量。

进一步的，根据本公开的另一方面，还提供了一种4K、8K、16K超高清视频编码优化控制装置100。由于本公开实施例的4K、8K、16K超高清视频编码优化控制装置100的工作原理与本公开实施例的4K、8K、16K超高清视频编码优化控制方法的原理相同或相似，因此重复之处不再赘述。参见图2，本公开实施例的4K、8K、16K超高清视频编码优化控制装置100包括数据获取模块110、复杂度计算模块120、比特数分配模块130、量化步长计算模块140和视频编码模块150；

数据获取模块110，被配置为通过获取视频数据，将视频数据转换为低分辨率视频数据；

复杂度计算模块120，被配置为计算低分辨率视频数据中每帧图像数据的复杂度，得到相应的图像序列的复杂度数据；

比特数分配模块130，被配置为依据复杂度数据预分配低分辨率视频数据中每一帧图像的比特数；

量化步长计算模块140，被配置为根据预分配的比特数计算量化步长的值；

视频编码模块150，被配置为依据量化步长的值对视频数据进行编码。

更进一步地，根据本公开的另一方面，还提供了一种4K、8K、16K超高清视频编码优化控制设备200。参阅图3，本公开实施例4K、8K、16K超高清视频编码优化控制设备200包括处理器210以及用于存储处理器210可执行指令的存储器220。其中，处理器210被配置为执行可执行指令时实现前面任一所述的4K、8K、16K超高清视频编码优化控制方法。

此处，应当指出的是，处理器210的个数可以为一个或多个。同时，在本公开实施例的4K、8K、16K超高清视频编码优化控制设备200中，还可以包括输入装置230和输出装置240。其中，处理器210、存储器220、输入装置230和输出装置240之间可以通过总线连接，也可以通过其他方式连接，此处不进行具体限定。

存储器220作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序和各种模块，如：本公开实施例的4K、8K、16K超高清视频编码优化控制方法所对应的程序或模块。处理器210通过运行存储在存储器220中的软件程序或模块，从而执行4K、8K、16K超高清视频编码优化控制设备200的各种功能应用及数据处理。

输入装置230可用于接收输入的数字或信号。其中，信号可以为产生与设备/终端/服务器的用户设置以及功能控制有关的键信号。输出装置240可以包括显示屏等显示设备。

根据本公开的另一方面，还提供了一种非易失性计算机可读存储介质，其上存储有计算机程序指令，计算机程序指令被处理器210执行时实现前面任一所述的4K、8K、16K超高清视频编码优化控制方法。

以上已经描述了本公开的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。

Claims (10)

1.一种4K、8K、16K超高清视频编码优化控制方法，其特征在于，包括：

获取视频数据，将所述视频数据转换为低分辨率视频数据；

计算所述低分辨率视频数据中每帧图像数据的复杂度，得到相应的图像序列的复杂度数据；

依据所述复杂度数据预分配所述低分辨率视频数据中每一帧图像的比特数；

根据预分配的所述比特数计算量化步长的值；

依据所述量化步长的值对所述视频数据进行编码。

2.根据权利要求1所述的方法，其特征在于，将所述视频数据转换为低分辨率视频数据时采用像素抽样的方式进行。

3.根据权利要求2所述的方法，其特征在于，采用像素抽样的方式将所述视频数据转换为低分辨率视频数据，包括：

依据预设的抽样比例对所述视频数据进行下变换得到低分辨率视频数据；

所述预设的抽样比例的范围为四分之一至十六分之一。

4.根据权利要求1所述的方法，其特征在于，计算所述低分辨率视频数据的复杂度得到复杂度数据包括：

对所述低分辨率视频数据中的关键帧计算帧内复杂度；

对所述低分辨率视频数据中的非关键帧计算帧间复杂度。

5.根据权利要求4所述的方法，其特征在于，将所述低分辨率视频数据进行依据设定的时间进行分组；

对所述低分辨率视频数据中的关键帧计算帧内复杂度；

对所述低分辨率视频数据中的非关键帧计算帧间复杂度。

6.根据权利要求1所述的方法，其特征在于，依据所述复杂度数据分配各所述低分辨率视频数据中每一帧的比特数包括：

依据视频缓存校验器补偿的比特数计算所述低分辨率视频数据的总比特数；

依据所述低分辨率视频数据中每一帧的类型将对应的复杂度乘以预设的加权系数得到加权复杂度数据；

依据所述加权复杂度数据按比例分配所述总比特数得到所述低分辨率视频数据中每一帧的比特数。

7.根据权利要求1所述的方法，其特征在于，根据分配的所述比特数计算量化步长的值包括：

依据公式计算量化步长：

QP_scale(n)＝QP_scale(n-1)×Bits(n-1)/Bits(n)×Rate_factor

其中，QP_scale(n)表征同一类型第n帧的QP_scale值；QP_scale(n-1)表征与第n帧同类型，并且序号为n-1的帧对应的QP_scale值；Bits(n)表征第n帧分配的比特数；Bits(n-1)表征与第n帧同类型，并且序号为n-1的帧对应的比特数；Rate_factor表征控制因子，用于动态调整量化步长；

QP(n)＝qp_a+qp_b×log2(QP_scale(n)/qp_factor)

其中，QP(n)表征同一类型第n帧的量化步长的值；qp_a表征模型初始化变量；qp_b表征模型初始化变量；qp_factor表征模型初始化变量。

8.根据权利要求7所述的方法，其特征在于，还包括：

获取编码后的视频数据的实际比特数；

将所述实际比特数与分配的比特数进行比较以更新所述控制因子。

9.根据权利要求8所述的方法，其特征在于，将所述实际比特数与分配的比特数进行比较以更新控制因子包括：

根据公式

Rate_factor

＝Rate_factor(n-1)+(Bits_c-Bits_p)/Bits_p*ctrl_factor

更新所述控制因子；

其中，Rate_factor(n-1)表征上一步的控制因子的值，所述控制因子的初始化为1；Bits_c表征实际编码得到的比特数；Bits_p表征预分配的比特数；ctrl_factor表征模型初始化参数。

10.一种4K、8K、16K超高清视频编码优化控制装置，其特征在于，包括数据获取模块、复杂度计算模块、比特数分配模块、量化步长计算模块和视频编码模块；

所述数据获取模块，被配置为获取视频数据，将所述视频数据转换为低分辨率视频数据；

所述复杂度计算模块，被配置为计算所述低分辨率视频数据中每帧图像数据的复杂度，得到相应的图像序列的复杂度数据；

所述比特数分配模块，被配置为依据所述复杂度数据预分配所述低分辨率视频数据中每一帧图像的比特数；

所述量化步长计算模块，被配置为根据预分配的所述比特数计算量化步长的值；

所述视频编码模块，被配置为依据所述量化步长的值对所述视频数据进行编码。

Images