CN115334306A

CN115334306A - 一种率失真优化量化方法、装置、设备及存储介质

Info

Publication number: CN115334306A
Application number: CN202210966330.0A
Authority: CN
Inventors: 张旭
Original assignee: You Peninsula Beijing Information Technology Co ltd
Current assignee: You Peninsula Beijing Information Technology Co ltd
Priority date: 2022-08-12
Filing date: 2022-08-12
Publication date: 2022-11-11

Abstract

本申请公开了一种率失真优化量化方法、装置、设备及存储介质，该方法包括：当对视频数据编码时，获取对视频数据中各帧图像数据划分的变换单元，变换单元中包含多个系数组；在多个系数组中检测变换系数非全零的系数组；若检测到变换系数非全零的系数组，则以倒序的方式对变换系数非全零的系数组计算最优量化系数；根据最优量化系数确定是否将系数组编码为变换系数全零的系数组。本实施例通过提前检测全零块，省略一些变换系数全零的系数组，节省后续计算的时间，可以在保持率失真优化量化的收益的情况下降低率失真优化量化的时间复杂度，使其可应用于一些对视频编码的时间复杂度有较高要求的场景。

Description

一种率失真优化量化方法、装置、设备及存储介质

技术领域

本申请涉及视频编码的技术领域，尤其涉及一种率失真优化量化方法、装置、设备及存储介质。

背景技术

RDOQ(Rate-Distortion Optimized Quantization，率失真优化量化)。将视频编码的量化过程与率失真优化原理结合，使码率满足目标的条件下编码失真尽量小。

在X265(一个用于编码符合高效率视频编码(HEVC(Overview of the HighEfficiency Video Coding)/H.265)标准的视频的开源自由软件及函数库)中，RDOQ在性能上有3％-5％的收益，同时有12％左右的速度损失。

但是，RDOQ的复杂度较高，时间耗损较高，难以应用于一些对视频编码的时间复杂度有较高要求的场景。

发明内容

本申请提供了一种率失真优化量化方法、装置、设备及存储介质，以解决如何在保持RDOQ的收益的情况下降低RDOQ的时间复杂度。

根据本申请的一方面，提供了一种率失真优化量化方法，包括：

当对视频数据编码时，获取对所述视频数据中各帧图像数据划分的变换单元，所述变换单元中包含多个系数组；

在多个所述系数组中检测变换系数非全零的系数组；

若检测到变换系数非全零的系数组，则以倒序的方式对所述变换系数非全零的所述系数组计算最优量化系数；

根据所述最优量化系数确定是否将所述系数组编码为变换系数全零的系数组。

根据本申请的另一方面，提供了一种率失真优化量化装置，包括：

变换单元获取模块，用于当对视频数据编码时，获取对所述视频数据中各帧图像数据划分的变换单元，所述变换单元中包含多个系数组；

全零块检测模块，用于在多个所述系数组中检测变换系数非全零的系数组；

最优量化系数计算模块，用于若检测到变换系数非全零的系数组，则以倒序的方式对所述变换系数非全零的所述系数组计算最优量化系数；

全零块决策模块，用于根据所述最优量化系数确定是否将所述系数组编码为变换系数全零的系数组。

根据本申请的另一方面，提供了一种率失真优化量化设备，所述率失真优化量化设备包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行本申请任一实施例所述的率失真优化量化方法。

根据本申请的另一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序用于使处理器执行时实现本申请任一实施例所述的率失真优化量化方法。

根据本申请的另一方面，提供了一种计算机程序产品，所述计算机程序产品包括计算机程序，所述计算机程序在被处理器执行时实现本申请任一实施例所述的率失真优化量化方法。

在本实施例中，当对视频数据编码时，获取对视频数据中各帧图像数据划分的变换单元，变换单元中包含多个系数组；在多个系数组中检测变换系数非全零的系数组；若检测到变换系数非全零的系数组，则以倒序的方式对变换系数非全零的系数组计算最优量化系数；根据最优量化系数确定是否将系数组编码为变换系数全零的系数组。本实施例通过提前检测全零块，省略一些变换系数全零的系数组，节省后续计算的时间，而提前检测全零块与最优量化系数没有明显的因果关系，因而可以在保持率失真优化量化的收益的情况下降低率失真优化量化的时间复杂度，使其可应用于一些对视频编码的时间复杂度有较高要求的场景。

应当理解，本部分所描述的内容并非旨在标识本申请的实施例的关键或重要特征，也不用于限制本申请的范围。本申请的其它特征将通过以下的说明书而变得容易理解。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是根据本申请实施例一提供的一种率失真优化量化方法的流程图；

图2是根据本申请实施例一提供的HEVC的架构示意图；

图3是根据本申请实施例二提供的一种率失真优化量化方法的流程图；

图4是根据本申请实施例三提供的一种率失真优化量化方法的流程图；

图5是根据本申请实施例四提供的一种率失真优化量化装置的结构示意图；

图6是实现本申请实施例的率失真优化量化方法的率失真优化量化设备的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。

需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

实施例一

图1为本申请实施例一提供的一种率失真优化量化方法的流程图，本实施例可适用于RDOQ过程中用较小的时间复杂度计算最佳量化值，从而降低编码复杂度的同时节省编码时间的情况，该方法可以由率失真优化量化装置来执行，该率失真优化量化装置可以采用硬件和/或软件的形式实现，该率失真优化量化装置可配置于率失真优化量化设备中。

率失真优化量化设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。率失真优化量化设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备(如头盔、眼镜、手表等)和其它类似的计算装置。

如图1所示，该方法包括：

步骤101、当对视频数据编码时，获取对视频数据中各帧图像数据划分的变换单元。

HEVC/H.265标准设计目的是在相同的视频质量下使编码码率降为原来的一半，并且特别关注两个关键问题：视频高分辨率需求的日益增长和并行处理架构越来越多地被使用。为此，HEVC/H.265标准支持了一些新的技术，主要有：更加灵活的图像分割方式，更多的帧内预测模式，运动融合技术，不使用变换的技术，无失真编码技术，去方块滤波技术，像素自适应补偿技术，并行化技术等等。

HEVC/H.265的编码方式仍然是一种包含预测和二维变换编码的混合视频编码方式，如图2所示，在编码框架中：

视频数据进入编码器后，首先对输入视频数据中各帧图像数据进行块的分割，将分割出来的块经过预测得到预测块，其中，预测包括帧内预测和帧间预测，具体选择哪种预测方式与帧的类型和内容有关，如果当前帧为I帧，选择帧内预测，如果当前帧为P帧或B帧，则要根据内容选择一种最优的预测方式。得到预测块后，将原始的块与预测块相减，就可以得到残差块，经过DCT(Discrete Cosine Transform，离散余弦变换)变换、量化和熵编码，残差块的信息的就被写入码流。其他块也是按照如上流程进行编码，最终整个视频数据的序列就被写入码流。

其中，量化是指把取值连续的(或大量可能的离散取值)信号映射为多个有限离散取值的过程，达到信号取值时一个对应多个映射的目的。在视频编码中，对残差系数变换得到的数据进行量化处理，可有效缩小其取值范围，使得图像数据能得到更好的压缩。由于上述多对一的对应关系，使得量化操作会给编码过程带来一定的失真。

HEVC/H.265支持两种量化技术：均匀量化和基于率失真的量化(RDOQ)。

除了以上叙述的流程之外，还有一个反馈分支，这个反馈分支包括反量化、反变换、相加、去方块滤波和像素自适应补偿，这个反馈分支是除熵解码之外的解码器框架，其主要功能是为帧间预测提供参考帧。

为了有效压缩视频数据，在图像分割过程中，HEVC采用了灵活的方式进行块结构的表示：编码树单元(Coding Tree Unit，CTU)、编码单元(Coding Unit，CU)、预测单元(Prediction Unit，PU)、变换单元(Tradnsform Unit，TU)。

其中，CTU由一个亮度编码树块(Coding Tree Block，CTB)和相应的色度编码树块以及相关的句法元素组成。它最大为64x64，最小为16x16。在视频编码中，一帧图像数据可被划分成整数个CTB，按照一定的顺序对每个CTB进行编码。

CU是它由一个亮度编码块(Coding Block，CB)和相应的色度编码块以及相关的句法元素组成，这个概念主要是应对于大分辨率视频数据的编码。对于大分辨率的视频数据来说，它具有更大的平缓区域，而使用较大块单元进行编码能够极大地提升编码效率，因此，HEVC/H.265标准支持足够大的CB。

每一个CTU，可以进一步均匀划分成4个CU，一个CU又可以递归按四叉树结构划分成4个小的CU。

通常，在视频编码中，CB尺寸的划分受视频内容纹理复杂度的影响，当视频数据中某部分纹理比较复杂时，划分出来的CB就比较小，反之，当视频数据中某部分纹理比较简单时，划分出来的CB就比较大，而划分出来的CB最大不会超过64×64，最小不会低于8×8。

TU是变换和量化的基本单元，TU是基于一个CU划分的，一个CU可以递归按照四叉树结构划分成多个TU，TU的尺寸是根据视频内容进行选择的，在HEVC/H.265标准中，TU的尺寸最小为4×4、最大为32×32。

此外，一个TU可以切分为若干个大小为4×4的CG，因而，一个变换单元中包含多个系数组(Cofficient Group，CG)。

步骤102、在多个系数组中检测变换系数非全零的系数组。

在传统的RDOQ过程中，编码器会按照顺序遍历当前TU内的所有CG，对其检测全零块，即，分别计算将其变换系数置全零后的率失真代价，并与原率失真代价相比，若当前CG全零的率失真代价更小，则会将其编为全零，若原率失真代价更小，则会对其编码非零标识以及当前CG内的所有系数。若当前CG仅含有极少个数且幅值较小的非零系数时，将其CG量化为全零可能会获得更好的编码性能。

检测全零块的方法能够大大减少一些系数较小、对编码过程影响不大的编码块的码率消耗，从而提高编码效率。但是，传统的RDOQ过程中检测全零块处在遍历最优量化系数之后。

通过大量实验发现，检测全零块与最优量化系数没有明显的因果关系，因此，本实施例提前遍历CG，做一次不为零的系数(量化前的变换系数)判断，如果非零变换系数的数量为0(numsig＝0)，那么直接返回非零变换系数的数量为0(return 0)，跳出检测全零块的方法，节省后续计算的时间；否则，继续RDOQ的过程。

在本申请的一个实施例中，步骤102可以包括如下步骤：

步骤1021、查询每个系数组的交流系数、直流系数。

对变换系数量化后得到的仍是64个变换系数，量化并没有改变变换系数的性质。而DCT变换是将图像数据域从时(空)域变换到频域，在频域平面上变换系数是二维频域变量u和v的函数。对应于u＝0，v＝0的变换系数称做DC系数，即直流系数，其余63个变换系数称做AC系数，即交流系数。

步骤1022、分别确定对交流系数设置的第一阈值、对直流系数设置的第二阈值。

在本实施例中，可以分别对AC系数设置第一阈值(acSkipThreshold)、对DC系数设置第二阈值(fastSkipThreshold)。

在一种情况中，第一阈值、第二阈值可以为默认的经验值。

在另一种情况中，第一阈值、第二阈值可以为自适应当前图像数据的阈值。

在本情况中，可以查询当前图像数据(帧)的类型，不同类型的帧的容忍度有所不同，因此，可以分别对交流系数设置与类型适配的第一阈值、对直流系数设置与类型适配的第二阈值，从而在提高检测全零块的灵敏度。

示例性地，视频数据中的多帧图像数据通常是一组一组进行处理的，这个组称为GOP(Group of pictures，图像组)。通常每组GOP的第一帧图像数据在编码的时候不使用运动估计的办法，这种帧称为帧内编码帧(Intra frame)或者I帧。该组GOP中的其它帧使用帧间编码帧(Inter frame)，通常是P帧。这种编码方式通常被称为IPPPP，表示编码的时候第一帧是I帧，其它帧是P帧。

I帧可用于实现快进、回退或其他随机存取功能。当客户端开始浏览内容流时，编码器将按固定的时间间隔或按需要自动插入I帧。I帧的缺点就在于它消耗的比特更多。但另一方面，它不会生成许多由于丢失数据导致的伪像。

P帧代表预测性帧间帧，以早期的I帧和/或P帧部分作为参考。与I帧相比，P帧通常需要的比特更少，但它有一个缺点，即由于依赖于早期的P帧和/或I帧，它对于传输错误敏感。

在进行预测的时候，不仅仅可以从过去的帧来预测当前帧，还可以使用未来的帧来预测当前帧。当然在编码的时候，未来的帧必须比当前帧更早的编码，也就是说，编码的顺序和播放的顺序是不同的。通常这样的当前帧是使用过去和未来的I帧或者P帧同时进行预测，被称为双向预测帧，即B帧。这种编码方式的编码顺序的一个例子为IBBPBBPBB。

B帧是双预测性帧间帧，它以早期的参考帧I帧和未来帧P帧作为参考。采用B帧会增加延迟。

P帧只能参考先前的I帧或P帧，而B帧可以参考先前或随后的I帧或P帧。

当然，有些网络视频编码产品可以支持用户自定义GOP长度(有些产品叫I帧间隔)，这将决定在发送另一个I帧前应发送多少P帧。通过降低I帧的频率(更长的GOP)，可以降低比特率，减小视频文件大小。然而，如果网络上存在拥塞，视频质量可能会由于网络数据包丢失而下降。

在本示例中，由于帧内编码帧(Intra帧)可容忍的误差更少，因而若类型为帧内编码帧(Intra帧)，则可以将第一数值设置为交流系数对应的第一阈值、将第一数值设置为直流系数对应的第二阈值，即第一阈值与第二阈值相同。

而帧间编码帧(Inter帧)可容忍的误差更多，因而若类型为帧间编码帧(Inter帧)，则可以将第二数值设置为交流系数对应的第一阈值、将第三数值设置为直流系数对应的第二阈值，第二数值小于第三数值，即，第一阈值小于第二阈值，通常情况下，第二阈值为第一阈值的3/2。

此外，第一数值与第二数值可以相同，也可以不同，本实施例对此不加以限制。

步骤1023、若交流系数小于第一阈值、且直流系数小于第二阈值，则确定系数组的变换系数全零。

步骤1024、若交流系数大于或等于第一阈值，和/或，直流系数大于或等于第二阈值，则确定系数组的变换系数非全零。

将AC系数与第一阈值进行比较，将DC系数与第二阈值进行比较。

如果同时满足AC系数＜第一阈值、DC系数＜第二阈值，则表示当前TU的残差能量较小，不对其编码也不会对编码的结果产生较大的影响，因而可以直接跳过RDOQ的过程，确定该TU中CG的变换系数全零。

如果任一满足AC系数≥第一阈值、DC系数≥第二阈值，则表示当前TU的残差能量较大，不对其编码会对编码的结果产生较大的影响，因而继续RDOQ的过程，确定该TU中CG的变换系数非全零。

步骤103、若检测到变换系数非全零的系数组，则以倒序的方式对变换系数非全零的系数组计算最优量化系数。

针对TU中每一个CG，可以记录其是否为变化系数非全零的CG，因而可以直接找到排序在最后一位的、变化系数非全零的CG，从排序在最后一位的、变化系数非全零的CG开始倒序寻找每个像素点的最优量化系数。

在本申请的一个实施例中，步骤103可以包括如下步骤：

步骤1031、以倒序的方式定位变换系数非全零的系数组，并将变换系数量化为量化系数。

在本实施例中，以倒序的方式遍历变换系数非全零的CG，针对当前变换系数非全零的CG，设当前变换系数为c_i，对其进行预量化，得到量化系数q_i。

示例性地，可查询变换系数c_i的量化步长q_step，计算变换系数c_i的绝对值与量化步长q_step之间的比值，作为量化系数q_i，表示如下：

步骤1032、将量化系数转换为至少两个量化值。

在本实施例中，对量化系数q_i进行均匀量化，在量化系数q_i附近取至少两个数值，作为量化值l_i。

示例性地，对量化系数q_i向下取整，得到其中一个量化值level_i，对量化系数q_i向上取整，得到另外一个量化值level_i+1，表示如下：

level_i+1＝ceil(q_{i_float})

在本示例中，对量化系数q_i进行均匀量化，这里均匀量化没有加舍入值，因此计算出其中一个量化值level_i即为变换系数q_i量化后舍掉小数的值；而另外一个量化值level_i+1为变换系数q_i量化后进位的值。

通过大量实验表明，遍历RDOQ多个变化系数后最终大部分变化系数量化为level_i和level_i+1，因此，本示例可减少作为候选的量化值的数量，连带减少后续的计算量，从而减少时间复杂度，而对编码PSNR(Peak Signal to Noise Ratio，峰值信噪比)结果影响不大。

步骤1033、分别基于每个量化值计算率失真代价。

在RDOQ的过程中采用了率失真优化(Rate Distortion Optimization，RDO)准则对当前变换块TU所有变换系数的最优量化值进行确定。

在RDO中，率失真代价计算公式如下：

J_i＝D(c_i，l_i)+λ·R(l_i)

其中，D(c_i，l_i)表示变换系数c_i量化为量化值l_i时，当前TU的总失真，总失真的度量准则一般采用SSE(Sum of Squares for Error)，R(l_i)表示变换系数c_i量化为量化值l_i时，当前TU的编码比特数，这与所选择的编码算法有关，HEVC/H.265支持的编码算法为CABAC(Context-based Adaptive Binary Arithmetic Coding，基于上下文的自适应二进制算术编码)算法，λ为拉格朗日因子。

当量化值l_i取level_i时，其率失真代价为

当量化值l_i取level_i+1时，其率失真代价为

进一步而言，编码比特数是基于估计得到，其等于编码该量化值的有效位比特Significant Bits以及第一等级比特Greaterl Bits之和。由于熵编码的特性，有效位比特Significant Bits以及第一等级比特Greaterl Bits是基于当前熵编码器的上下文状态得到，因此，可通过估计熵编码器的上下文状态从而得到最准确的比特消耗。

那么，在本实施例中，在检测全零块后会读取当前熵编码器的上下文状态，同时读若干个像素点的比特估计值，存在数组中。

步骤1034、若某个率失真代价最低，则选择率失真代价对应的量化值为变换系数下的最优量化系数。

将各个量化值对应的率失真代价进行比较，寻找数值最低的率失真代价，选择率失真代价对应的量化值为变换系数下的最优量化系数。

当量化值l_i分别取level_i、level_i+1时，将

与

进行比较。

如果

则取level_i为当前变换系数c_i的最优量化系数。

如果

则取

为当前变换系数c_i的最优量化系数。

步骤104、根据最优量化系数确定是否将系数组编码为变换系数全零的系数组。

在选出最优量化系数后，本实施例重新检测每个CG是否应该编码为变换系数全零的CG。

若当前CG为变换系数全零的CG，则可以编码全零标识。

若当前CG并非为变换系数全零的CG，则编码非零标识以及CG内所有变换系数。

在具体实现中，可以按照CG的扫描顺序遍历TU中所有CG，计算其量化为变换系数全零的CG时的率失真代价，并与原率失真代价进行比较，选择率失真代价较小的方案。

进一步而言，CG及其内部的扫描顺序由变量scantype决定，变量scantype分为水平、垂直、对角线三种。对于Intra块，scantype与帧内预测的角度相关；对于Inter块，scantype固定为diag(对角)。

在本申请的一个实施例中，步骤104可以包括如下步骤：

步骤1041、针对系数组对应的每个像素点，计算在最优量化系数下对变换系数编码的最优代价。

针对当前CG对应的每个像素点，可计算按照最优量化系数对变换系数进行编码的最优代价。

步骤1042、针对系数组对应的每个像素点，计算未对变换系数编码时的失真。

针对当前CG对应的每个像素点，可预测未对变换系数编码时的失真uncodedcost。

在一种方式中，可针对系数组对应的每个像素点，查询像素点对应的变换系数，计算变换系数的平方，作为未对变换系数编码时的失真，表示如下：

其中，c_i为变换系数。

步骤1043、将最优代价减去失真，获得子编码代价。

步骤1044、累积系数组中所有像素点的子编码代价，得到总编码代价。

将每个像素点对应的最优代价减去失真，可以得到该像素点的子编码代价，累加CG中所有像素点UI应的子编码代价，得到CG对应的总编码代价。

步骤1045、确定第三阈值。

在本实施例中，可以预先对总编码代价设置第三阈值。

在一种情况中，第三阈值可以为默认的经验值。

在另一种情况中，第三阈值可以为自适应当前图像数据的阈值。

在本情况中，可以查询有效比特位significantBits，计算数值为零的有效比特位与数值为1的有效比特位之间在数量上的差值，获得比特差bitsDiff，计算比特差bitsDiff与预设的权重lambda之间的乘积，作为第三阈值，表示如下：

cgsigcostdiff_i＝lambda*bitsDiff

步骤1046、若总编码代价大于第三阈值，则确定将系数组编码为变换系数全零的系数组。

将总编码代价与第三阈值进行比较，如果总编码代价大于第三阈值，则表示当前CG编码的收益较小，确定将当前CG编码为变换系数全零的CG。

实施例二

图3为本申请实施例二提供的一种率失真优化量化方法的流程图，本实施例在上述实施例的基础上细化了汇编加速。如图3所示，该方法包括：

步骤301、当对视频数据编码时，获取对视频数据中各帧图像数据划分的变换单元。

其中，变换单元中包含多个系数组。

步骤302、查询使用汇编语言构建的第一函数。

步骤303、调用第一函数在多个系数组中检测变换系数非全零的系数组。

步骤304、若检测到变换系数非全零的系数组，则查询使用汇编语言构建的第二函数。

步骤305、调用第二函数以倒序的方式对变换系数非全零的系数组计算最优量化系数。

步骤306、根据最优量化系数确定是否将系数组编码为变换系数全零的系数组。

由于RDOQ的过程中存在大量的乘加计算，使用汇编语言优化RDOQ的部分过程，能够显著提升编码速度，因此，本实施例中使用汇编语言对RDOQ进行优化。

但是RDOQ的整体相对复杂，而且RDOQ内部内嵌了一些快速算法，不方便完全对整个RDOQ进行汇编改写，因此，本实施例分割RDOQ的逻辑，将密集计算的地方封装成两个函数(即第一函数、第二函数)，分别对这两个函数进行汇编优化，在保持率失真优化量化的收益的情况下降低率失真优化量化的时间复杂度，使其可应用于一些对视频编码的时间复杂度有较高要求的场景。。

当然，由于x86平台(微处理器执行的计算机语言指令集)和Neon平台(一种128位SIMD(Single Instruction Multiple Data，单指令、多数据)扩展结构)的指令集与寄存器不同，具体的优化方式也各不相同。

在具体实现中，将RDOQ中检测全零块和遍历最优量化系数这两个过程分离出来，用汇编语言代替C语言构建第一函数、第二函数。

在检测全零块时存在大量的比较运算，占整个编码时间的1％-2％，同时逻辑比较简单，因此，在这里使用汇编语言优化具有较好的加速效果。

遍历最优量化系数的过程中存在大量的量化、反量化、率失真代价的计算，占用了RDOQ大部分时间，因此，在此使用汇编语言优化有着较好效果。

在遍历最优量化系数时，根据熵编码器上下文状态获取估算得到的有效位比特Significant Bits以及第一等级比特Greater1 Bits，计算每个CG的significantBits和greater1bits存在连续的地址中，因而可提前存储整个CG的所有比特估计，以便使用汇编语言优化时一次读入。

在检测全零块时，查询使用汇编语言构建的第一函数，从而调用第一函数在多个系数组中检测变换系数非全零的系数组。

在遍历量化系数时，查询使用汇编语言构建的第二函数，从而调用第二函数以倒序的方式对变换系数非全零的系数组计算最优量化系数。

汇编可以理解为基于SIMD策略的优化方法，也就是用一个较大的寄存器同时装载多个数据，然后通过一次计算得到多个结果，即单指令多操作数运算。

实际应用中，由于RDOQ每个CG的索引各不相同，因此，本实施例提前存储CG对应的比特估计结果，根据CG的索引就可以直接取数比特估计结果进行计算。

实施例三

图4为本申请实施例三提供的一种率失真优化量化方法的流程图，本实施例在上述实施例的基础上增加了RDOQ的其他操作。如图4所示，该方法包括：

步骤401、当对视频数据编码时，获取对视频数据中各帧图像数据划分的变换单元。

其中，变换单元中包含多个系数组。

步骤402、在多个系数组中检测变换系数非全零的系数组。

步骤403、若检测到变换系数非全零的系数组，则以倒序的方式对变换系数非全零的系数组计算最优量化系数。

步骤404、根据最优量化系数确定是否将系数组编码为变换系数全零的系数组。

步骤405、针对每一个系数组，统计非零的变换系数的数量。

在遍历完TU内的所有CG后，编码器在码流中传输最后一个非零变换系数的位置，该位置之后的所有变换系数都被置零。

在本阶段，编码器通过率失真优化选择使率失真代价最小的最后一个非零变换系数的位置，从而统计非零的变换系数的数量numsig。

当CG中非零变换系数相差较大时，最后一个非零变换系数的符号可以不编码，由解码器从当前CG的其他符号推出，这样每个CG可以节省1比特码字。

步骤406、隐藏符号非零的变换系数的符号。

一般情况下，在HEVC/H.265中是使用SDH(Sign DataHiding，符号数据隐藏)技术隐藏非零变换系数的符号。

在SDH技术中，在当前编码的CG中第一个非零变换系数和最后一个非零变换系数之间的间隔大于等于4时，计算CG内所有非零变换系数幅值绝对值之和，对和值进行奇偶判断，若和值为偶数，则第一个非零变换系数的符号被判为正，否则为负。

使用SDH技术，解码端直接根据此原理判断CG内第一个非零变换系数的符号，因此编码端可以省略它的熵编码。

然而，若SDH技术的判决结果与CG中第一个非零变换系数真实的符号不一致，则在编码过程中采用率失真优化量化RDOQ的方法，通过调整变换系数幅值，来使SDH技术的判决结果与CG中第一个非零变换系数真实的符号一致。

实施例四

图5为本申请实施例三提供的一种率失真优化量化装置的结构示意图。如图5所示，该装置包括：

变换单元获取模块501，用于当对视频数据编码时，获取对所述视频数据中各帧图像数据划分的变换单元，所述变换单元中包含多个系数组；

全零块检测模块502，用于在多个所述系数组中检测变换系数非全零的系数组；

最优量化系数计算模块503，用于若检测到变换系数非全零的系数组，则以倒序的方式对变换系数非全零的所述系数组计算最优量化系数；

全零块决策模块504，用于根据所述最优量化系数确定是否将所述系数组编码为变换系数全零的系数组。

在本申请的一个实施例中，所述全零块检测模块502包括：

系数查询模块，用于查询每个所述系数组的交流系数、直流系数；

全零阈值确定模块，用于分别确定对所述交流系数设置的第一阈值、对所述直流系数设置的第二阈值；

全零确定模块，用于若所述交流系数小于所述第一阈值、且所述直流系数小于所述第二阈值，则确定所述系数组的变换系数全零；

非全零确定模块，用于若所述交流系数大于或等于所述第一阈值，和/或，所述直流系数大于或等于所述第二阈值，则确定所述系数组的变换系数非全零。

在本申请的一个实施例中，所述全零阈值确定模块包括：

帧类型查询模块，用于查询所述图像数据的类型；

帧类型适配模块，用于分别对所述交流系数设置与所述类型适配的第一阈值、对所述直流系数设置与所述类型适配的第二阈值。

在本申请的一个实施例中，所述帧类型适配模块包括：

帧内设置模块，用于若所述类型为帧内编码帧，则将第一数值设置为所述交流系数对应的第一阈值、将所述第一数值设置为所述直流系数对应的第二阈值；

帧间设置模块，用于若所述类型为帧间编码帧，则将第二数值设置为所述交流系数对应的第一阈值、将第三数值设置为所述直流系数对应的第二阈值，所述第二数值小于所述第三数值。

在本申请的一个实施例中，所述最优量化系数计算模块503包括：

预量化模块，用于以倒序的方式遍历所述变换系数非全零的所述系数组，并将所述变换系数量化为量化系数；

量化系数转换模块，用于将所述量化系数转换为至少两个量化值；

率失真代价计算模块，用于分别基于每个所述量化值计算率失真代价；

最优量化系数选择模块，用于若某个所述率失真代价最低，则选择所述率失真代价对应的所述量化值为所述变换系数下的最优量化系数。

在本申请的一个实施例中，所述预量化模块包括：

量化步长查询模块，用于查询所述变换系数的量化步长；

量化系数计算模块，用于计算所述变换系数的绝对值与所述量化步长之间的比值，作为量化系数。

在本申请的一个实施例中，所述量化系数转换模块包括：

向下取整模块，用于对所述量化系数向下取整，得到其中一个量化值；

向上取整模块，用于对所述量化系数向上取整，得到另外一个量化值。

在本申请的一个实施例中，所述全零块决策模块504包括：

最优代价计算模块，用于针对所述系数组对应的每个像素点，计算在所述最优量化系数下对所述变换系数编码的最优代价；

失真计算模块，用于针对所述系数组对应的每个像素点，计算未对所述变换系数编码时的失真；

子编码代价计算模块，用于将所述最优代价减去所述失真，获得子编码代价；

总编码代价计算模块，用于累积所述系数组对应的所有所述像素点的所述子编码代价，得到总编码代价；

代价阈值确定模块，用于确定第三阈值；

全零块设置模块，用于若所述总编码代价大于所述第三阈值，则确定将所述系数组编码为变换系数全零的系数组。

在本申请的一个实施例中，所述失真计算模块包括：

变换系数查询模块，用于针对所述系数组对应的每个像素点，查询所述像素点对应的变换系数；

变化系数转换模块，用于计算所述变换系数的平方，作为未对所述变换系数编码时的失真。

在本申请的一个实施例中，所述代价阈值确定模块包括：

有效比特位查询模块，用于查询有效比特位；

比特差计算模块，用于计算数值为零的所述有效比特位与数值为1的所述有效比特位之间在数量上的差值，获得比特差；

比特差调节模块，用于计算所述比特差与预设的权重之间的乘积，作为第三阈值。

在本申请的一个实施例中，所述全零块检测模块502还用于：

查询使用汇编语言构建的第一函数；

调用所述第一函数在多个所述系数组中检测变换系数非全零的系数组。

在本申请的一个实施例中，所述最优量化系数计算模块503还用于：

查询使用汇编语言构建的第二函数；

调用所述第二函数以倒序的方式对所述变换系数非全零的所述系数组计算最优量化系数。

在本申请的一个实施例中，还包括：

非零数量统计模块，用于针对每一个所述系数组，统计非零的所述变换系数的数量；

符号隐藏模块，用于隐藏符号非零的所述变换系数的符号。

本申请实施例所提供的率失真优化量化装置可执行本申请任意实施例所提供的率失真优化量化方法，具备执行率失真优化量化方法相应的功能模块和有益效果。

实施例五

图6示出了可以用来实施本申请的实施例的率失真优化量化设备10的结构示意图。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本申请的实现。

如图6所示，率失真优化量化设备10包括至少一个处理器11，以及与至少一个处理器11通信连接的存储器，如只读存储器(ROM)12、随机访问存储器(RAM)13等，其中，存储器存储有可被至少一个处理器执行的计算机程序，处理器11可以根据存储在只读存储器(ROM)12中的计算机程序或者从存储单元18加载到随机访问存储器(RAM)13中的计算机程序，来执行各种适当的动作和处理。在RAM 13中，还可存储率失真优化量化设备10操作所需的各种程序和数据。处理器11、ROM 12以及RAM 13通过总线14彼此相连。输入/输出(I/O)接口15也连接至总线14。

率失真优化量化设备10中的多个部件连接至I/O接口15，包括：输入单元16，例如键盘、鼠标等；输出单元17，例如各种类型的显示器、扬声器等；存储单元18，例如磁盘、光盘等；以及通信单元19，例如网卡、调制解调器、无线通信收发机等。通信单元19允许率失真优化量化设备10通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

处理器11可以是各种具有处理和计算能力的通用和/或专用处理组件。处理器11的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的处理器、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。处理器11执行上文所描述的各个方法和处理，例如率失真优化量化方法。

在一些实施例中，率失真优化量化方法可被实现为计算机程序，其被有形地包含于计算机可读存储介质，例如存储单元18。在一些实施例中，计算机程序的部分或者全部可以经由ROM 12和/或通信单元19而被载入和/或安装到率失真优化量化设备10上。当计算机程序加载到RAM 13并由处理器11执行时，可以执行上文描述的率失真优化量化方法的一个或多个步骤。备选地，在其他实施例中，处理器11可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行率失真优化量化方法。

用于实施本申请的方法的计算机程序可以采用一个或多个编程语言的任何组合来编写。这些计算机程序可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器，使得计算机程序当由处理器执行时使流程图和/或框图中所规定的功能/操作被实施。计算机程序可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本申请的上下文中，计算机可读存储介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的计算机程序。计算机可读存储介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。备选地，计算机可读存储介质可以是机器可读信号介质。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

实施例六

本实施例还提供了一种计算机程序产品，该计算机程序产品包括计算机程序，该计算机程序在被处理器执行时实现如本申请任一实施例所提供的率失真优化量化方法。

计算机程序产品在实现的过程中，可以以一种或多种程序设计语言或其组合来编写用于执行本申请操作的计算机程序代码，程序设计语言包括面向对象的程序设计语言，诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本申请的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本申请保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等，均应包含在本申请保护范围之内。

Claims

1.一种率失真优化量化方法，其特征在于，包括：

在多个所述系数组中检测变换系数非全零的系数组；

2.根据权利要求1所述的方法，其特征在于，所述在多个所述系数组中检测变换系数非全零的系数组，包括：

查询每个所述系数组的交流系数、直流系数；

分别确定对所述交流系数设置的第一阈值、对所述直流系数设置的第二阈值；

若所述交流系数小于所述第一阈值、且所述直流系数小于所述第二阈值，则确定所述系数组的变换系数全零；

若所述交流系数大于或等于所述第一阈值，和/或，所述直流系数大于或等于所述第二阈值，则确定所述系数组的变换系数非全零。

3.根据权利要求2所述的方法，其特征在于，所述分别确定对所述交流系数设置的第一阈值、对所述直流系数设置的第二阈值，包括：

查询所述图像数据的类型；

分别对所述交流系数设置与所述类型适配的第一阈值、对所述直流系数设置与所述类型适配的第二阈值。

4.根据权利要求3所述的方法，其特征在于，所述分别对所述交流系数设置与所述类型适配的第一阈值、对所述直流系数设置与所述类型适配的第二阈值，包括：

若所述类型为帧内编码帧，则将第一数值设置为所述交流系数对应的第一阈值、将所述第一数值设置为所述直流系数对应的第二阈值；

若所述类型为帧间编码帧，则将第二数值设置为所述交流系数对应的第一阈值、将第三数值设置为所述直流系数对应的第二阈值，所述第二数值小于所述第三数值。

5.根据权利要求1所述的方法，其特征在于，所述以倒序的方式对所述变换系数非全零的所述系数组计算最优量化系数，包括：

以倒序的方式遍历所述变换系数非全零的所述系数组，并将所述变换系数量化为量化系数；

将所述量化系数转换为至少两个量化值；

分别基于每个所述量化值计算率失真代价；

若某个所述率失真代价最低，则选择所述率失真代价对应的所述量化值为所述变换系数下的最优量化系数。

6.根据权利要求5所述的方法，其特征在于，所述将所述变换系数量化为量化系数，包括：

查询所述变换系数的量化步长；

计算所述变换系数的绝对值与所述量化步长之间的比值，作为量化系数。

7.根据权利要求5所述的方法，其特征在于，所述将所述量化系数转换为至少两个量化值，包括：

对所述量化系数向下取整，得到其中一个量化值；

对所述量化系数向上取整，得到另外一个量化值。

8.根据权利要求1所述的方法，其特征在于，所述根据所述最优量化系数确定是否将所述系数组编码为变换系数全零的系数组，包括：

针对所述系数组对应的每个像素点，计算在所述最优量化系数下对所述变换系数编码的最优代价；

针对所述系数组对应的每个像素点，计算未对所述变换系数编码时的失真；

将所述最优代价减去所述失真，获得子编码代价；

累积所述系数组对应的所有所述像素点的所述子编码代价，得到总编码代价；

确定第三阈值；

若所述总编码代价大于所述第三阈值，则确定将所述系数组编码为变换系数全零的系数组。

9.根据权利要求8所述的方法，其特征在于，所述针对所述系数组对应的每个像素点，计算未对所述变换系数编码时的失真，包括：

针对所述系数组对应的每个像素点，查询所述像素点对应的变换系数；

计算所述变换系数的平方，作为未对所述变换系数编码时的失真。

10.根据权利要求8所述的方法，其特征在于，所述确定第三阈值，包括：

查询有效比特位；

计算数值为零的所述有效比特位与数值为1的所述有效比特位之间在数量上的差值，获得比特差；

计算所述比特差与预设的权重之间的乘积，作为第三阈值。

11.根据权利要求1-10中任一项所述的方法，其特征在于，

所述在多个所述系数组中检测变换系数非全零的系数组，包括：

查询使用汇编语言构建的第一函数；

调用所述第一函数在多个所述系数组中检测变换系数非全零的系数组；

所述以倒序的方式对所述变换系数非全零的所述系数组计算最优量化系数，包括：

查询使用汇编语言构建的第二函数；

12.根据权利要求1-10中任一项所述的方法，其特征在于，还包括：

针对每一个所述系数组，统计非零的所述变换系数的数量；

隐藏符号非零的所述变换系数的符号。

13.一种率失真优化量化装置，其特征在于，包括：

14.一种率失真优化量化设备，其特征在于，所述率失真优化量化设备包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-12中任一项所述的率失真优化量化方法。

15.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序用于使处理器执行时实现权利要求1-12中任一项所述的率失真优化量化方法。

16.一种计算机程序产品，其特征在于，所述计算机程序产品包括计算机程序，所述计算机程序在被处理器执行时实现权利要求1-12中任一项所述的率失真优化量化方法。