CN114422779A

CN114422779A - 预测单元尺寸决策的方法、装置、电子设备及介质

Info

Publication number: CN114422779A
Application number: CN202111574181.5A
Authority: CN
Inventors: 向国庆; 文湘鄂; 彭聪; 宋磊; 贾惠柱
Original assignee: Beijing Boya Huishi Intelligent Technology Research Institute Co ltd
Current assignee: Beijing Boya Huishi Intelligent Technology Research Institute Co ltd
Priority date: 2020-12-24
Filing date: 2021-12-21
Publication date: 2022-04-29
Also published as: CN112738510A

Abstract

本申请公开了一种预测单元尺寸决策的方法、装置、电子设备及介质。本申请中，可以基于当前编码单元的运动估计结果以及预测单元决策模型，得到多个第一候选尺寸预测单元；基于整像素运动估计过程确定的预测单元决策结果，在多个第一候选尺寸预测单元中确定进入分像素运动估计阶段的第二候选尺寸预测单元；根据分像素运动估计阶段中的运动信息，从第二候选尺寸预测单元中确定目标预测单元。通过应用本申请的技术方案，可以在IME阶段提前对帧间CTU中每个CU所有可能的PU划分模式进行判断，并将划分结果传递给FME和MD，能显著减少进入两者的候选划分数量，减少所需的存储代价以及FME的电路面积。

Description

预测单元尺寸决策的方法、装置、电子设备及介质

技术领域

本申请中涉及图像编解码处理技术，尤其是一种预测单元尺寸决策的方法、装置、电子设备及介质。

背景技术

针对目前主流的编码标准通常是采用CTU结构。一种方式中，每个CTU支持编码单元CU的尺寸为64x64到8x8。在标准实现中，无论是帧内编码还是帧间编码，最终当前编码单元CU在模式决策过程中，通常需要经过大量的率失真优化计算处理和决策后才能决定当前CU划分的尺寸模式。

然而，通常这个过程是整个编码器最复杂的处理过程，需要占据整个编码器一半以上的处理时间。所以，为了实现能够高效的软件和硬件编码器产品，需要研究高效的快速PU尺寸提前决策方法。

发明内容

本申请实施例提供一种预测单元尺寸决策的方法、装置、电子设备及介质，其中，根据本申请实施例的一个方面，提供的一种预测单元尺寸决策的方法，其特征在于，包括：

基于当前编码单元的运动估计结果以及预测单元决策模型，得到多个第一候选尺寸预测单元；

基于整像素运动估计过程确定的预测单元决策结果，在所述多个第一候选尺寸预测单元中确定进入分像素运动估计阶段的第二候选尺寸预测单元；

根据所述分像素运动估计阶段中的运动信息，从所述第二候选尺寸预测单元中确定目标预测单元。

可选地，在基于本申请上述方法的另一个实施例中，在所述基于当前编码单元的运动估计结果以及预测单元决策模型，得到多个第一候选尺寸预测单元之前，还包括：

利用哈达玛变换差距绝对值和技术，分别计算当前编码单元的运动估计代价；

确定每个当前编码单元对应的第一运动矢量、第一哈达玛域残差系数信息以及像素差距代价；

基于所述每个当前编码单元对应的第一运动矢量、第一哈达玛域残差系数信息以及像素差距代价，建立所述预测单元决策模型。

可选地，在基于本申请上述方法的另一个实施例中，利用如下公式分别计算当前编码单元的运动估计代价：

J_motion＝SATD+λ_motion·MVBits

其中，SATD代表当前编码单元与其对应的预测单元之间的哈达玛变换后的代价，λ_motion为运动估计拉格朗日乘子，MVBits表示运动矢量对应的比特数。

可选地，在基于本申请上述方法的另一个实施例中，利用如下公式建立所述预测单元决策模型：

J_RDO＝D+λ_mode·(MVBits+ModeBitS+R)

其中，ModeBitS表示预测单元划分模式对应的估计比特数，R代表当前预测单元对应的残差系数产生的比特数，λ_mode为模式决策拉格朗日乘子。

可选地，在基于本申请上述方法的另一个实施例中，所述根据所述分像素运动估计阶段中的运动信息，从所述第二候选尺寸预测单元中确定目标预测单元，包括：

比较当前编码单元内的各个第二候选尺寸预测单元的划分方式，选择其中运动估计代价低于预设阈值的第二候选尺寸预测单元作为所述目标预测单元。

可选地，在基于本申请上述方法的另一个实施例中，所述基于整像素运动估计过程确定的预测单元决策结果，在所述多个第一候选尺寸预测单元中确定进入分像素运动估计阶段的第二候选尺寸预测单元，包括：

当确定所述第一候选尺寸预测单元为当前编码单元中的最小尺寸，则将所述第一候选尺寸预测单元作为所述确定进入分像素运动估计阶段的第二候选尺寸预测单元。

当确定所述第一候选尺寸预测单元不等于当前编码单元中的最小尺寸，则将所述第一候选尺寸预测单元中，尺寸值低于预设阈值的第一候选尺寸预测单元作为所述确定进入分像素运动估计阶段的第二候选尺寸预测单元。

其中，根据本申请实施例的又一个方面，提供的一种预测单元尺寸决策的装置，其特征在于，包括：

生成模块，被配置为基于当前编码单元的运动估计结果以及预测单元决策模型，得到多个第一候选尺寸预测单元；

选择模块，被配置为基于整像素运动估计过程确定的预测单元决策结果，在所述多个第一候选尺寸预测单元中确定进入分像素运动估计阶段的第二候选尺寸预测单元；

确定模块，被配置为根据所述分像素运动估计阶段中的运动信息，从所述第二候选尺寸预测单元中确定目标预测单元。

根据本申请实施例的又一个方面，提供的一种电子设备，包括：

存储器，用于存储可执行指令；以及

显示器，用于与所述存储器执行所述可执行指令从而完成上述任一所述预测单元尺寸决策的方法的操作。

根据本申请实施例的还一个方面，提供的一种计算机可读存储介质，用于存储计算机可读取的指令，所述指令被执行时执行上述任一所述预测单元尺寸决策的方法的操作。

本申请中，可以基于当前编码单元的运动估计结果以及预测单元决策模型，得到多个第一候选尺寸预测单元；基于整像素运动估计过程确定的预测单元决策结果，在多个第一候选尺寸预测单元中确定进入分像素运动估计阶段的第二候选尺寸预测单元；根据分像素运动估计阶段中的运动信息，从第二候选尺寸预测单元中确定目标预测单元。通过应用本申请的技术方案，可以在IME阶段提前对帧间CTU中每个CU所有可能的PU划分模式进行判断，并将划分结果传递给FME和MD，能显著减少进入两者的候选划分数量，减少所需的存储代价以及FME的电路面积。

下面通过附图和实施例，对本申请的技术方案做进一步的详细描述。

附图说明

构成说明书的一部分的附图描述了本申请的实施例，并且连同描述一起用于解释本申请的原理。

参照附图，根据下面的详细描述，可以更加清楚地理解本申请，其中：

图1为本申请提出的一种预测单元尺寸决策的方法示意图；

图2为本申请提出的一种预测单元尺寸决策的电子装置示意图；

图3为本申请提出的一种预测单元尺寸决策的电子设备示意图。

具体实施方式

现在将参照附图来详细描述本申请的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本申请的范围。

同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。

以下对至少一个示例性实施例的描述实际上仅仅是说明性的，不作为对本申请及其应用或使用的任何限制。

对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。

另外，本申请各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本申请要求的保护范围之内。

需要说明的是，本申请实施例中所有方向性指示(诸如上、下、左、右、前、后……)仅用于解释在某一特定姿态(如附图所示)下各部件之间的相对位置关系、运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应地随之改变。

下面结合图1来描述根据本申请示例性实施方式的用于进行预测单元尺寸决策的方法。需要注意的是，下述应用场景仅是为了便于理解本申请的精神和原理而示出，本申请的实施方式在此方面不受任何限制。相反，本申请的实施方式可以应用于适用的任何场景。

本申请还提出一种预测单元尺寸决策的方法、装置、目标终端及介质。

图1示意性地示出了根据本申请实施方式的一种预测单元尺寸决策的方法的流程示意图。如图1所示，该方法包括：

S101，基于当前编码单元的运动估计结果以及预测单元决策模型，得到多个第一候选尺寸预测单元。

S102，基于整像素运动估计过程确定的预测单元决策结果，在多个第一候选尺寸预测单元中确定进入分像素运动估计阶段的第二候选尺寸预测单元。

S103，根据分像素运动估计阶段中的运动信息，从第二候选尺寸预测单元中确定目标预测单元。

可选地，在基于本申请上述方法的另一个实施例中，在基于当前编码单元的运动估计结果以及预测单元决策模型，得到多个第一候选尺寸预测单元之前，还包括：

基于每个当前编码单元对应的第一运动矢量、第一哈达玛域残差系数信息以及像素差距代价，建立预测单元决策模型。

J_motion＝SATD+λ_motion·MVBits

可选地，在基于本申请上述方法的另一个实施例中，利用如下公式建立预测单元决策模型：

J_RDO＝D+λ_mode·(MVBits+ModeBits+R)

可选地，在基于本申请上述方法的另一个实施例中，根据分像素运动估计阶段中的运动信息，从第二候选尺寸预测单元中确定目标预测单元，包括：

比较当前编码单元内的各个第二候选尺寸预测单元的划分方式，选择其中运动估计代价低于预设阈值的第二候选尺寸预测单元作为目标预测单元。

可选地，在基于本申请上述方法的另一个实施例中，基于整像素运动估计过程确定的预测单元决策结果，在多个第一候选尺寸预测单元中确定进入分像素运动估计阶段的第二候选尺寸预测单元，包括：

当确定第一候选尺寸预测单元为当前编码单元中的最小尺寸，则将第一候选尺寸预测单元作为确定进入分像素运动估计阶段的第二候选尺寸预测单元。

当确定第一候选尺寸预测单元不等于当前编码单元中的最小尺寸，则将第一候选尺寸预测单元中，尺寸值低于预设阈值的第一候选尺寸预测单元作为确定进入分像素运动估计阶段的第二候选尺寸预测单元。

首先，本申请可以在整像素运动估计IME过程中以CTU为单位，对其中每个CU对应帧间所有候选尺寸预测单元PU提前判断是否可以进入模式决策MD。进一步的，本申请需要对所有第一候选尺寸PU进行运动估计。需要说明的是，由于传统的差距绝对值和算法SAD仅仅能反映像素之间的差距，而不能反映残差像素的频带信息。因此，本申请在运动估计过程中可以采用哈达玛变换差距绝对值和算法SATD代替SAD算法，从而计算第一候选尺寸PU的运动估计代价，其公式可以为：

J_motion＝SATD+λ_motion·MVBits

可以理解的，通过上述公式，本申请可以将对所有第一候选尺寸PU完成运动估计，比如对AVS2、HEVC中尺寸为64x64到8x8的所有正方形和非正方形PU完成运动估计，产生每个PU对应的第一运动矢量、第一哈达玛域残差系数信息以及像素差距代价，来建立预测单元决策模型。其中，该第一运动矢量可以为最优最优运动矢量MV、第一哈达玛域残差系数信息可以为最优哈达玛域残差系数信息H以及第一像素差距代价可以为最优的像素差距代价SATD。

其次，本申请还可以利用上述IME产生的信息，利用如下公式建立预测单元决策模型：

J_RDO＝D+λ_mode·(MVBits+ModeBits+R)

另外，本申请中在根据残差系数H得到对应哈达玛域的量化步长Q_H计算公式如下：

其中Q_step为编码量化步长，与编码配置有关，f值为1/6。scale为矩阵缩放因子。

进一步的，本申请中的矩阵缩放因子的计算方式如下：

其中W为当前哈达玛PU变换尺寸的宽度。本申请中，在得到量化步长Q_H后，可以对每个系数H进行量化操作。并根据上述公式即可以得到估计的失真代价D和残差比特R。另外比特MVBits直接采用对应AVS2、HEVC等运动估计参考标准中方法实现，而本发明中确定MVBits的方式为：

ModeBits＝log₂(W)

最后，根据以上步骤，可以得到每个候选PU对应的估计代价，基于此，可以通过比较当前CU内各种PU划分方式，选择代价较小的最终进入FME和MD阶段。以尺寸为16x16的CU为例，在AVS2、HEVC等标准中，可以划分的PU尺寸组合为16x16、两个16x8、两个8x16以及4个8x8四种方式，那么，可以通过以下公式进行比较得到最优的PU划分方式：

这意味着在分像素运动估计FME过程中将只进行4个当前选择的PU进行插值和搜索过程，节省资源和降低运动复杂度。

更进一步的，通过以上IME阶段的帧间PU快速尺寸决策方法，可以减少进入FME和MD阶段的候选PU的数量，能够有效的减少所需的电路面积、存储代价和处理复杂度。但是，由于在IME阶段的RDO代价都是估计的，这与真正的RDO代价不同，这意味着提前对PU尺寸进行RDO决策会不可避免的产生编码性能损失。为了尽可能减少帧间编码性能损失，本申请还可以考虑IME阶段PU尺寸划分结果，对帧间PU划分结果进行部分调整，具体策略如下。

一种方式中，如果IME阶段决策出PU尺寸为当前CU的最小尺寸，则在MD阶段保持与当前PU划分结果一致。比如对于尺寸为16x16的CU而言，最终IME阶段选择的PU为4个8x8，那么尺寸为16x16、16x8、8x16的PU划分方式将直接在MD阶段舍弃，不参与MD处理过程。

另外一种方式中，如果IME阶段决策出PU尺寸不是当前PU最小的划分方式，则可以根据PU的尺寸情况，选择性的继续启用部分小尺寸PU进入MD。比如尺寸为16x16的CU而言，最终IME阶段选择的恰好也是尺寸为16x16的PU，这意味着下面所有的尺寸的PU可以共享相同的运动矢量，即尺寸为8x8、16x8、8x16和PU均可以使用相同的运动矢量和预测结果，进而它们也可进入MD的RDO过程。虽然这样会增加一些计算复杂度，但是通常硬件编码器是硬实时处理电路，每个尺寸都有自己的电路，因此可以根据已有的处理电路下选择可以进入RDO的PU划分方式。比如电路中存在处理尺寸为16x16和8x8的PU电路时，这种情况下可以同样对8x8的PU电路进行处理，以获得更好的RDO处理性能。

在本申请的另外一种实施方式中，如图2所示，本申请还提供一种预测单元尺寸决策的装置。其中，包括生成模块201，选择模块202，确定模块203，其中，

生成模块201，被配置为基于当前编码单元的运动估计结果以及预测单元决策模型，得到多个第一候选尺寸预测单元；

选择模块202，被配置为基于整像素运动估计过程确定的预测单元决策结果，在所述多个第一候选尺寸预测单元中确定进入分像素运动估计阶段的第二候选尺寸预测单元；

确定模块203，被配置为根据所述分像素运动估计阶段中的运动信息，从所述第二候选尺寸预测单元中确定目标预测单元。

在本申请的另外一种实施方式中，生成模块201，还包括：

生成模块201，被配置为利用哈达玛变换差距绝对值和算法，分别计算当前编码单元的运动估计代价；

生成模块201，被配置为确定每个当前编码单元对应的第一运动矢量、第一哈达玛域残差系数信息以及第一像素差距代价；

生成模块201，被配置为基于所述每个当前编码单元对应的第一运动矢量、第一哈达玛域残差系数信息以及第一像素差距代价，建立所述预测单元决策模型。

在本申请的另外一种实施方式中，还包括：利用如下公式分别计算当前编码单元的运动估计代价：

J_motion＝SATD+λ_motion·MVBits

在本申请的另外一种实施方式中，还包括：利用如下公式建立所述预测单元决策模型：

J_RDO＝D+λ_mode·(MVBits+ModeBits+R)

在本申请的另外一种实施方式中，生成模块201，还包括：

生成模块201，被配置为比较当前编码单元内的各个第二候选尺寸预测单元的划分方式，选择其中运动估计代价低于预设阈值的第二候选尺寸预测单元作为所述目标预测单元。

在本申请的另外一种实施方式中，生成模块201，还包括：

生成模块201，被配置为当确定所述第一候选尺寸预测单元为当前编码单元中的最小尺寸，则将所述第一候选尺寸预测单元作为所述确定进入分像素运动估计阶段的第二候选尺寸预测单元。

在本申请的另外一种实施方式中，生成模块201，还包括：

生成模块201，被配置为当确定所述第一候选尺寸预测单元不等于当前编码单元中的最小尺寸，则将所述第一候选尺寸预测单元中，尺寸值低于预设阈值的第一候选尺寸预测单元作为所述确定进入分像素运动估计阶段的第二候选尺寸预测单元。

图3是根据一示例性实施例示出的一种电子设备的逻辑结构框图。例如，电子设备300可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等。

在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器，上述指令可由电子设备处理器执行以完成上述预测单元尺寸决策的方法，该方法包括：基于当前编码单元的运动估计结果以及预测单元决策模型，得到多个第一候选尺寸预测单元；基于整像素运动估计过程确定的预测单元决策结果，在所述多个第一候选尺寸预测单元中确定进入分像素运动估计阶段的第二候选尺寸预测单元；根据所述分像素运动估计阶段中的运动信息，从所述第二候选尺寸预测单元中确定目标预测单元。可选地，上述指令还可以由电子设备的处理器执行以完成上述示例性实施例中所涉及的其他步骤。例如，非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。

在示例性实施例中，还提供了一种应用程序/计算机程序产品，包括一条或多条指令，该一条或多条指令可以由电子设备的处理器执行，以完成上述预测单元尺寸决策的方法，该方法包括：基于当前编码单元的运动估计结果以及预测单元决策模型，得到多个第一候选尺寸预测单元；基于整像素运动估计过程确定的预测单元决策结果，在所述多个第一候选尺寸预测单元中确定进入分像素运动估计阶段的第二候选尺寸预测单元；根据所述分像素运动估计阶段中的运动信息，从所述第二候选尺寸预测单元中确定目标预测单元。可选地，上述指令还可以由电子设备的处理器执行以完成上述示例性实施例中所涉及的其他步骤。

图3为电子设备300的示例图。本领域技术人员可以理解，示意图3仅仅是电子设备300的示例，并不构成对电子设备300的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如电子设备300还可以包括输入输出设备、网络接入设备、总线等。

所称处理器302可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器302也可以是任何常规的处理器等，处理器302是电子设备300的控制中心，利用各种接口和线路连接整个电子设备300的各个部分。

存储器301可用于存储计算机可读指令303，处理器302通过运行或执行存储在存储器301内的计算机可读指令或模块，以及调用存储在存储器301内的数据，实现电子设备300的各种功能。存储器301可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据电子设备300的使用所创建的数据等。此外，存储器301可以包括硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)或其他非易失性/易失性存储器件。

电子设备300集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机可读指令来指令相关的硬件来完成，的计算机可读指令可存储于一计算机可读存储介质中，该计算机可读指令在被处理器执行时，可实现上述各个方法实施例的步骤。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本申请的真正范围和精神由下面的权利要求指出。

应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制。

Claims

1.一种预测单元尺寸决策的方法，其特征在于，包括：

2.如权利要求1所述的方法，其特征在于，在所述基于当前编码单元的运动估计结果以及预测单元决策模型，得到多个第一候选尺寸预测单元之前，还包括：

利用哈达玛变换差距绝对值和算法，分别计算当前编码单元的运动估计代价；

确定每个当前编码单元对应的第一运动矢量、第一哈达玛域残差系数信息以及第一像素差距代价；

基于所述每个当前编码单元对应的第一运动矢量、第一哈达玛域残差系数信息以及第一像素差距代价，建立所述预测单元决策模型。

3.如权利要求2所述的方法，其特征在于，利用如下公式分别计算当前编码单元的运动估计代价：

J_motion＝SATD+λ_motion·MVBits

4.如权利要求2所述的方法，其特征在于，利用如下公式建立所述预测单元决策模型：

J_RDO＝D+λ_mode·(MVBits+ModeBits+R)

5.如权利要求1所述的方法，其特征在于，所述根据所述分像素运动估计阶段中的运动信息，从所述第二候选尺寸预测单元中确定目标预测单元，包括：

6.如权利要求1所述的方法，其特征在于，所述基于整像素运动估计过程确定的预测单元决策结果，在所述多个第一候选尺寸预测单元中确定进入分像素运动估计阶段的第二候选尺寸预测单元，包括：

7.如权利要求6所述的方法，其特征在于，所述基于整像素运动估计过程确定的预测单元决策结果，在所述多个第一候选尺寸预测单元中确定进入分像素运动估计阶段的第二候选尺寸预测单元，包括：

8.一种预测单元尺寸决策的装置，其特征在于，包括：

9.一种电子设备，其特征在于，包括：

存储器，用于存储可执行指令；以及，

处理器，用于与所述存储器执行所述可执行指令从而完成权利要求1-7中任一所述预测单元尺寸决策的方法的操作。

10.一种计算机可读存储介质，用于存储计算机可读取的指令，其特征在于，所述指令被执行时执行权利要求1-7中任一所述预测单元尺寸决策的方法的操作。