CN111950587A - 帧内编码块划分处理方法和硬件装置 - Google Patents

Abstract

本发明公开了一种帧内编码块划分处理方法，该方法包括：获取视频帧中待处理的编码单元；根据编码单元内不同位置纹理信息的相似度与处理方式的对应关系，确定所述待处理的编码单元对应的目标处理方式；所述目标处理方式包括不划分所述待处理的编码单元或采用目标划分模式划分所述待处理的编码单元；按照所述目标处理方式处理所述待处理的编码单元。本发明还公开了一种硬件装置。本发明旨在实现实时对编码单元的处理方式进行选择，简化对视频帧进行编码单元划分的过程，减少视频编码过程数据处理所占用的硬件资源，提高硬件完成视频编码单元划分的效率。

Description

帧内编码块划分处理方法和硬件装置

技术领域

本发明涉及视频处理技术领域，尤其涉及帧内编码块划分处理方法和硬件装置。

背景技术

在新一代音视频编码标准(如AVS3、VVC等)中，编码单元的划分增加了更为细分的划分模式，使编码单元的划分模式从原来的2个增加到6个，在如此多的编码单元的划分模式下，为了保证编码质量，需要从中选取最佳划分模式对视频帧进行划分。

然而，目前在对视频帧中的待划分单元选择最佳划分模式时，编码器依次使用可选择的多种划分模式对当前编码单元进行帧内预测、量化、变换、熵编码等后续的编码工作，进而得到该划分模式的预编码信息，在得到所有划分模式的预编码信息后，再根据率失真优化策略从待选的划分模式中选出最佳划分模式，这样会使编码过程产生较强的数据依赖和延迟，占用较多的硬件资源，严重影响硬件完成视频编码单元划分的效率。

发明内容

本发明的主要目的在于提供一种帧内编码块划分处理方法，旨在实现实时对编码单元的处理方式进行选择，简化对视频帧进行编码单元划分的过程，减少视频编码过程数据处理所占用的硬件资源，提高硬件完成视频编码单元划分的效率。

为实现上述目的，本发明提供一种帧内编码块划分处理方法，所述帧内编码块划分处理方法包括以下步骤：

获取视频帧中待处理的编码单元；

根据编码单元内不同位置纹理信息的相似度与处理方式的对应关系，确定所述待处理的编码单元对应的目标处理方式；所述目标处理方式包括不划分所述待处理的编码单元或采用目标划分模式划分所述待处理的编码单元；

按照所述目标处理方式处理所述待处理的编码单元。

可选地，所述对应关系包括决策树模型，所述根据编码单元内不同位置纹理信息的相似度与处理方式的对应关系，确定所述待处理的编码单元对应的目标处理方式的步骤包括：

将所述待处理的编码单元不同位置纹理信息的相似度输入所述决策树模型，将所述决策树模型的输出结果作为所述目标处理方式。

可选地，所述决策树模型包括第一分类器和第二分类器，所述决策树模型对所述待处理的编码单元不同位置纹理信息的相似度的处理流程为：

采用所述第一分类器对输入的所述待处理的编码单元不同位置纹理信息的相似度处理后得到第一分类结果；所述第一分类器用于判断所述待处理的编码单元是否划分所述待处理的编码单元；

当所述第一分类结果为不划分所述待处理的编码单元时，将所述第一分类结果作为所述决策树模型的输出结果；

当所述第一分类结果为划分所述待处理的编码单元时，将所述待处理的编码单元不同位置纹理信息的相似度输入第二分类器处理后得到的第二分类结果；所述第二分类器用于在多于一个设定划分模式中选取其中之一作为划分所述待处理的编码单元的目标划分模式；

将所述第二分类结果作为所述决策树模型的输出结果。

可选地，所述多于一个设定划分模式包括四叉树划分模式、水平二叉树划分模式和垂直二叉树划分模式，所述第二分类器包括第一子分类器和第二子分类器，所述将所述待处理的编码单元不同位置纹理信息的相似度输入第二分类器处理后得到的第二分类结果的步骤包括：

将所述待处理的编码单元不同位置纹理信息的相似度输入所述第一子分类器处理后得到第一结果；所述第一子分类器用于判断是否采用所述四叉树划分模式划分所述待处理的编码单元；

当所述第一结果为采用所述四叉树划分模式划分所述待处理的编码单元时，将所述第一结果作为所述第二分类结果；

当所述第一结果为不采用所述四叉树划分模式划分所述待处理的编码单元时，将所述待处理的编码单元不同位置纹理信息的相似度输入所述第二子分类器处理后得到第二结果；其中，所述第二子分类器用于选取所述水平二叉树划分模式和所述垂直二叉树划分模式之一作为划分所述待处理的编码单元的目标划分模式；

将所述第二结果作为所述第二分类结果。

可选地，所述获取视频帧中待处理的编码单元的步骤之前，还包括：

获取样本视频帧及其对应的最优方案；所述最优方案通过率失真优化策略选取对所述样本视频帧进行编码单元划分的最佳处理方式得到，所述最优方案包括所述样本视频帧中划分形成的多个样本编码单元以及每个所述样本编码单元对应的最佳处理方式；

采用多于一个划分模式对每个所述样本编码单元进行划分，得到每个所述样本编码单元对应的多于一个划分结果；每个划分结果包括至少两个子单元；

确定每个所述划分结果中任意相邻两个子单元的纹理信息的差异度，作为对应的样本编码单元的相似度特征信息；其中，纹理信息包括亮度参数；

将最佳处理方式为不划分的样本编码单元作为第一类编码单元，将最佳处理方式为采用多于一个所述设定划分模式中之一进行划分的样本编码单元作为第二类编码单元；

将所述第一类编码单元的相似度特征信息及其对应的最佳处理方式作为第一样本数据，将所述第二类编码单元的相似度特征信息及其对应的最佳处理方式作为第二样本数据，基于多于一个所述设定划分模式将所述第二样本数据分类得到每个所述设定划分模式对应的子样本数据；

采用所述第一样本数据和所述第二样本数据训练所述第一分类器，采用每个所述设定划分模式对应的子样本数据训练所述第二分类器。

可选地，所述获取视频帧中待处理的编码单元的步骤之前，还包括：

将所述视频帧划分为多个初始编码单元；所述初始编码单元的尺寸为设定最大尺寸；

所述获取视频帧中待处理的编码单元的步骤的包括：

获取每个所述初始编码单元作为所述待处理的编码单元。

可选地，所述按照所述目标处理方式处理所述待处理的编码单元的步骤包括之后，还包括：

当所述目标处理方式为不划分所述待处理的编码单元时，将处理后的编码单元确定为无需划分的编码单元；

当所述目标处理方式为采用所述目标划分模式划分所述待处理的编码单元时，将处理后的编码单元中所形成的子编码单元，定义为子编码单元；

若所述子编码单元的尺寸大于设定最小尺寸，则将所述子编码单元作为所述待处理的编码单元，并返回执行所述按照设定划分模式对所述待处理的编码单元划分，得到对应的划分结果的步骤；

若所述子编码单元的尺寸为所述设定最小尺寸，则将所述子编码单元确定为无需划分的编码单元。

可选地，所述设定最小尺寸大于或等于设定阈值，所述将处理后的编码单元确定为无需进行划分的编码单元的步骤之后，或，所述将处理后的编码单元确定为无需进行划分的编码单元的步骤之后，还包括：

确定所述无需划分的编码单元对应的划分特征信息；所述划分特征信息包括每个无需划分的编码单元的尺寸信息、位置信息和处理方式信息，所述处理方式信息为根据所述目标处理方式生成的特征信息；

确定所述无需划分的编码单元对应的目标存储空间；所述目标存储空间为根据所述设定最大尺寸和所述设定最小尺寸对设定存储空间划分形成；

当所述处理方式信息对应的目标处理方式为不划分所述待处理的编码单元时，不保存所述划分特征信息，以使所述目标存储空间维持空闲状态；

当所述处理方式信息对应的目标处理方式为采用所述设定划分模式划分所述待处理的编码单元时，将所述划分特征信息保存至所述目标存储空间。

此外，为了实现上述目的，本申请还提出一种硬件装置，所述硬件装置包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的帧内编码块划分处理程序，所述帧内编码块划分处理程序被所述处理器执行时实现如上任一项所述的帧内编码块划分处理方法的步骤。

可选地，所述存储器为寄存器，所述处理器用于在运行所述寄存器中的帧内编码块划分处理程序的过程中，将产生的数组分割成多个数据片段、且并行处理各所述数据片段。

本发明提出的一种帧内编码块划分处理方法，该方法根据编码单元内不同位置纹理信息的相似度与处理方式的对应关系，选择不划分该待处理的编码单元或按照目标划分模式划分该待处理的编码单元中其中一种方式对编码单元进行处理，由于本方案在对编码单元进行划分时，直接基于编码单元的纹理信息与处理方式之间的对应关系，可实时对当前待处理的编码单元的处理方式进行选择，而无需对视频帧进行预编码后再选择编码单元的处理方式，＝从而减少编码过程数据的依赖性，实现对视频帧进行编码单元划分的过程的简化，减少视频编码过程数据处理所占用的硬件资源，提高硬件完成视频编码单元划分的效率。

附图说明

图1为本发明帧内编码块划分处理方法一实施例的流程示意图；

图2为本发明帧内编码块划分处理方法另一实施例中决策树模型对待处理的编码单元的处理流程的流程示意图；

图3为本发明帧内编码块划分处理方法实施例中提取样本数据对决策树模型各个分类器进行训练的流程示意图；

图4为本发明帧内编码块划分处理方法实施例中涉及的采用多种划分模式对样本编码单元进行划分得到的划分结果的示意图；

图5为本发明帧内编码块划分处理方法又一实施例的流程示意图；

图6为本发明硬件装置一实施例运行涉及的硬件结构示意图；

图7为本发明实施例涉及的硬件模块框图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明实施例的主要解决方案是：获取视频帧中待处理的编码单元；根据编码单元内不同位置纹理信息的相似度与处理方式的对应关系，确定所述待处理的编码单元对应的目标处理方式；所述目标处理方式包括不划分所述待处理的编码单元或采用目标划分模式划分所述待处理的编码单元；按照所述目标处理方式处理所述待处理的编码单元。

由于现有技术中，在得到所有可选的划分模式的预编码信息后，再根据率失真优化策略从待选的划分模式中选出最佳划分模式，这样会使编码过程产生较强的数据依赖和延迟，占用较多的硬件资源，严重影响硬件完成视频编码单元划分的效率。

本发明提供上述的解决方案，旨在实现实时对编码单元的处理方式进行选择，简化对视频帧进行编码单元划分的过程，减少视频编码过程数据处理所占用的硬件资源，提高硬件完成视频编码单元划分的效率。

本发明实施例提供一种帧内编码块划分处理方法，应用于对视频帧的编码单元的划分，尤其是应用于对超高清视频的视频帧的编码单元进行划分。

参照图1，提出本申请帧内编码块划分处理方法一实施例。在本实施例中，所述帧内编码块划分处理方法包括：

步骤S10，获取视频帧中待处理的编码单元；

这里待处理的编码单元指的是视频帧中需要进行进一步划分的编码单元。

具体的，在步骤S10之前，将所述视频帧划分为多个初始编码单元；所述初始编码单元的尺寸为设定最大尺寸。设定最大尺寸指的是视频帧中所划分的编码单元的上限值，设定最大尺寸的大小可根据实际需求进行具体设置。在本实施例中，设定最大尺寸为在AV3标准帧内编码模式中的64*64。基于此，获取每个所述初始编码单元作为所述待处理的编码单元。此外，在任一编码单元进行划分后，若还未达到停止划分的条件，也可将划分后的编码单元作为待处理的编码单元。

步骤S20，根据编码单元内不同位置纹理信息的相似度与处理方式的对应关系，确定所述待处理的编码单元对应的目标处理方式；所述目标处理方式包括不划分所述待处理的编码单元或采用目标划分模式划分所述待处理的编码单元；

纹理信息具体指的是不同位置的图像特征参数(如亮度参数、色度参数等)对应关系可预先进行设置。不同的编码单元内不同位置纹理信息的相似度对应有不同的处理方式。具体的，编码单元内不同的纹理规律可分别对应有不同的处理方式。其中，当编码单元内纹理信息相似时，可认为不拆分也可保证后续编码过程中可得到较小的残差，因此可确定目标处理方式为不划分编码单元；当编码单元内纹理信息不相似时，可认为需要拆分才可保证后续编码过程可得到较小的残差，可确定处理方式为采用目标划分模式划分所述待处理的编码单元。这里的目标划分模式可为指定的一种模式，也可为多于一个设定划分模式中选取得到的一种可使划分后不同子单元的纹理信息之间的差异度最小的设定划分模式。

基于上述对应关系，则可确定当前待处理的编码单元所对应的目标处理方式。其中，可对按照多于一个设定划分模式划分待处理的编码单元，得到每个设定划分模式对应的划分结果。每个设定划分模式对待处理的编码单元进行划分时，会将待处理的编码单元划分成至少两个第一子单元，作为该设定划分模式对应的划分结果。每个划分结果包括至少两个子单元。基于每个划分结果中不同子单元的纹理信息的差异度，可确定待处理的编码单元内纹理信息是否相似。其中，当每个划分结果对应的差异度均小于设定阈值时，可认为编码单元内纹理信息相似，基于对应关系，可确定待划分的编码单元对应的目标处理方式为不划分所述待处理的编码单元；当存在划分结果对应的差异度大于设定阈值时，可认为编码单元内纹理信息不相似，基于对应关系，可确定目标处理方式为采用目标划分模式划分所述待处理的编码单元。其中，若设定划分模式有一种，可将设定划分模式作为目标划分方式，可确定待划分的编码单元对应的目标处理方式为采用目标划分模式划分所述待处理的编码单元，若设定划分模式多于一种，还可基于差异度选择使划分后不同子单元的纹理信息之间的差异度最小的设定划分模式作为目标划分模式。

步骤S30，按照所述目标处理方式处理所述待处理的编码单元。

当目标处理方式为不划分待处理的编码单元时，不对待处理的编码单元进行进一步的划分，将待处理的编码单元作为视频帧的编码单元的最终划分结果中的子单元；当目标处理方式为采用目标划分模式划分所述待处理的编码单元时，则采用目标划分模式对待处理的编码单元进行划分得到至少两个子单元。若得到的子单元无需进一步划分，则可得到的子单元可作为视频帧的编码单元的最终划分结果中的子单元，若得到的子单元需进一步划分，则可将得到的子单元作为待处理的编码单元并返回执行步骤S10，从而实现对子单元的进一步划分。

本发明实施例提出的一种帧内编码块划分处理方法，该方法根据编码单元内不同位置纹理信息的相似度与处理方式的对应关系，选择不划分该待处理的编码单元或按照目标划分模式划分该待处理的编码单元中其中一种方式对编码单元进行处理，由于本方案在对编码单元进行划分时，直接基于编码单元的纹理信息的相似度与处理方式之间的对应关系，可实时对当前待处理的编码单元的处理方式进行选择，而无需对视频帧进行预编码后再选择编码单元的处理方式，从而减少编码过程数据的依赖性，实现对视频帧进行编码单元划分的过程的简化，减少视频编码过程数据处理所占用的硬件资源，提高硬件完成视频编码单元划分的效率。其中，基于编码单元处理方式可实时选择的特性，使上述方案在应用于4K超高清视频序列的编码单元的划分时，加速的效果尤为显著。

进一步的，由于新一代视频编码标准中增加了编码单元划分的模式，使得待处理的编码单元可能存在的子编码单元的数量大幅增加，而关于子编码单元的纹理信息的相似度众多，为了进一步提高硬件的实现速度，本申请采用决策树的方式确定待处理的编码单元所对应的目标处理方式。基于此,步骤 S20包括：

步骤S21，将所述待处理的编码单元不同位置纹理信息的相似度输入所述决策树模型，将所述决策树模型的输出结果作为所述目标处理方式。

决策树模型具体通过预先采集的大量编码单元及其不同位置的纹理信息的相似度的特征信息(如不同位置的亮度的差异度)以及各编码单元在原始 AVS3标准编码器中的最佳处理方式(按照设定划分模式划分编码单元或不划分编码单元)作为样本对决策树模型进行训练。决策树模型可对输入的待处理编码单元不同位置纹理信息的相似度确定是否对待处理的编码单元进行划分和/或采用何种划分模式对编码单元进行划分。

具体的，所述决策树模型包括第一分类器和第二分类器，参照图2，所述决策树模型对所述待处理的编码单元的处理流程为：

步骤S211，采用所述第一分类器对输入的所述待处理的编码单元不同位置纹理信息的相似度处理后得到第一分类结果；所述第一分类器用于判断所述待处理的编码单元是否划分所述待处理的编码单元；

当所述第一分类结果为不划分所述待处理的编码单元时，执行步骤S212；当所述第一分类结果为划分所述待处理的编码单元时，执行步骤S213；

步骤S212，将所述第一分类结果作为所述决策树模型的输出结果；

步骤S213，将所述待处理的编码单元不同位置纹理信息的相似度输入第二分类器处理后得到的第二分类结果；所述第二分类器用于在多于一个设定划分模式中选取其中之一作为划分所述待处理的编码单元的目标划分模式；

步骤S214，将所述第二分类结果作为所述决策树模型的输出结果。

具体的，当决策树模型的输出结果为不划分所述待处理的编码单元时，确定目标处理方式为不划分所述待处理的编码单元；当决策树模型的输出结果为选取一所述设定划分模式作为目标划分模式划分待处理的编码单元时，确定采用目标划分模式划分所述待处理的编码单元。

设定划分模式指的是预先配置的编码单元的划分方式，可根据实际需求进行配置。在本实施例中，多于一个设定划分模式包括四叉树划分模式、水平二叉树划分模式、垂直二叉树划分模式、水平拓展四叉树划分方式等视频编码标准中规定的编码单元的划分模式中的至少两个。

进一步的，考虑到帧内编码不做帧间参考的实际情况，较为精细的划分模式对提高超高清视频的帧内编码性能意义并不大，因此，本实施例中，所述多于一个设定划分模式包括四叉树划分模式、水平二叉树划分模式和垂直二叉树划分模式，所述第二分类器包括第一子分类器和第二子分类器。基于此，所述将所述待处理的编码单元不同位置纹理信息的相似度输入第二分类器处理后得到的第二分类结果的步骤包括：

步骤S214a，将所述待处理的编码单元不同位置纹理信息的相似度输入所述第一子分类器处理后得到第一结果；所述第一子分类器用于判断是否采用所述四叉树划分模式划分所述待处理的编码单元；

当所述第一结果为采用所述四叉树划分模式划分所述待处理的编码单元时，执行步骤S214b；当所述第一结果为不采用所述四叉树划分模式划分所述待处理的编码单元时，执行步骤S214c、步骤S214d。

步骤S214b，将所述第一结果作为所述第二分类结果；

步骤S214c，将所述待处理的编码单元不同位置纹理信息的相似度输入所述第二子分类器处理后得到第二结果；其中，所述第二子分类器用于选取所述水平二叉树划分模式和所述垂直二叉树划分模式之一作为划分所述待处理的编码单元的目标划分模式；

步骤S214d，将所述第二结果作为所述第二分类结果。

在本实施例中，可供选择用于划分待处理的编码单元的方式保留四叉树划分模式和二叉树划分模式，从而进一步提高硬件加速的效果。

进一步的，在本实施例中，参照图3，步骤S10之前，还包括：

步骤S01，获取样本视频帧及其对应的最优方案；所述最优方案通过率失真优化策略选取对所述样本视频帧进行编码单元划分的最佳处理方式得到，所述最优方案包括所述样本视频帧中划分形成的多个样本编码单元以及每个所述样本编码单元对应的最佳处理方式；

样本视频帧的数量可具体有多个。具体的，可将包括多于一种划分模式以及不划分作为供样本视频帧的编码单元的划分进行选择的处理方式，编码器依次使用可选择的处理方式对视频帧中的初始编码单元进行帧内预测、量化、变换、熵编码等进行编码得到每个可选择的处理方式的预编码信息，再根据率失真优化策略从可选择的处理方式中确定样本视频帧内每个初始编码单元的最佳处理方式，当样本视频帧的初始编码单元以及初始编码单元中的子编码单元均已确定最佳处理方式时，可得到样本视频帧的最优方案。

步骤S02，采用多于一个划分模式对每个所述样本编码单元进行划分，得到每个所述样本编码单元对应的多于一个划分结果；每个划分结果包括至少两个子单元；

例如，参照图4，本实施例采用7种划分模式对图4左侧的样本编码单元进行划分，得到的该样本编码单元的划分结果可具体参见图4右侧。其中，右侧的每个划分结果中的每个字母表征的是对样本编码单元划分得到的子单元。

步骤S03，确定每个所述划分结果中任意相邻两个子单元的纹理信息的差异度，作为对应的样本编码单元的相似度特征信息；其中，纹理信息包括亮度参数；

具体的，确定每个划分结果中任意相邻两个子单元的亮度参数的差异度，每个划分结果对应确定至少一个差异度(例如，划分结果中有两个子单元则对应得到一个差异度，划分结果中有四个子单元则对应得到四个差异度)，基于此，则每个样本编码单元的所有划分结果对应的差异度可作为每个样本编码单元对应的相似度特征信息。例如，本实施例中样本编码单元有7种划分结果，则7种划分结果所对应的差异度均作为该样本编码单元的相似度特征信息。任意相邻两个子单元的亮度参数的差异度具体可通过下列公式(1)、(2) 计算得到：

DC(X,Y)＝1-similarity(X,Y)#(1)；

其中，DC为差异度，X、Y为待求差异度的两个相邻的子单元，式(2) 中xi和yi为两个第一子单元对应的两个亮度分量u、v里每个像素的值，L 为亮度分量u、v中像素数量。

步骤S04，将最佳处理方式为不划分的样本编码单元作为第一类编码单元，将最佳处理方式为采用多于一个所述设定划分模式中之一进行划分的样本编码单元作为第二类编码单元；

这里，基于每个样本编码单元在最佳方案中的最佳处理方式对样本编码单元进行分类。基于划分和不划分的处理方式将样本编码单元划分为两类。

步骤S05，将所述第一类编码单元的相似度特征信息及其对应的最佳处理方式作为第一样本数据，将所述第二类编码单元的相似度特征信息及其对应的最佳处理方式作为第二样本数据，基于多于一个所述设定划分模式将所述第二样本数据分类得到每个所述设定划分模式对应的子样本数据；

在第二类编码单元中包括采用不同设定划分模式进行划分的样本编码单元。基于此，基于多于一个设定划分模式对第二样本数据分类，得到每个设定模式对应的样本数据作为子样本数据。

步骤S06，采用所述第一样本数据和所述第二样本数据训练所述第一分类器，采用每个所述设定划分模式对应的子样本数据训练所述第二分类器。

通过第一样本数据和第二样本数据的训练第一分类器，从而使第一分类器可基于待处理的编码单元内不同位置的纹理信息的相似度区分是否划分该编码单元；通过每个所述设定划分模式对应的子样本数据训练第二分类器，从而使第二分类器可基于待处理的编码单元内不同位置的纹理信息的相似度选择其中一种设定划分模式对该编码单元进行划分。

在本实施例中，通过上述的步骤S01至步骤S06，提取相同的特征同时对决策树分类模型中的每个分类器进行训练，以去除使用不同分类器的判别阶段可能存在的重复特征计算，降低编码过程中资源占用和时间开销。

进一步的，基于上述任一实施例，提出本申请帧内编码块划分处理方法又一实施例。在本实施例中，参照图5，步骤S30之后，还包括：

当所述目标处理方式为不划分所述待处理的编码单元时，执行步骤S31；当所述目标处理方式为采用目标划分模式划分所述待处理的编码单元时，执行步骤S32。

步骤S31，将处理后的编码单元确定为无需划分的编码单元；

步骤S32，将处理后的编码单元中所形成的子编码单元，定义为子编码单元；若所述子编码单元的尺寸大于设定最小尺寸，则执行步骤S321后，返回执行步骤S20；若所述子编码单元的尺寸为所述设定最小尺寸，则执行步骤 S322。

步骤S321，将所述子编码单元作为所述待处理的编码单元；

步骤S322，将所述子编码单元确定为无需划分的编码单元。

具体的，设定最小尺寸为视频帧的编码单元划分的最终结果中子单元的所允许的最小尺寸。也就是说，在视频帧的最终划分结果中，任一编码单元的尺寸不会小于设定最小尺寸。在本实施例中，设定最小尺寸具体为8*8。这里，通过设定最小尺寸作为编码单元停止划分的终止条件。若经过划分的编码单元尺寸大于设定最小尺寸时，可基于上述步骤S20至步骤S30确定是否进一步划分，以保证后续编码过程的残差小于或等于设定值；若经过划分的编码单元尺寸为设定最小尺寸，则可认为无需再进一步的划分。

这里无需划分的编码单元指的是可作为视频帧的最终划分结果中的一个子单元，可认为内部纹理较为相似的编码单元。

在本实施例中，通过上述方式，可使视频帧中部分纹理较简单的子编码单元停止划分，否则便划分至设定最小尺寸为止，从而有利于减少划分次数，进一步提高编码单元划分的效率，提高硬件友好性，同时减少后续编码过程的所需时间。其中，设定最小尺寸为8*8，相较于现有技术中使用4*4作为终止划分条件，可进一步缩短编码时间的同时进一步提高硬件友好性。

进一步的，在本实施例中，所述设定最小尺寸大于或等于设定阈值，这里的设定阈值具体为8*8。基于此，步骤S31或步骤S322之后，还包括：

步骤S40，确定所述无需划分的编码单元对应的划分特征信息；所述划分特征信息包括每个无需划分的编码单元的尺寸信息、位置信息和处理方式信息，所述处理方式信息为根据所述目标处理方式生成的特征信息；

尺寸信息具体包括编码单元的长和宽。位置信息具体指的是无需划分的编码单元在视频帧中的位置信息，具体用编码单元在视频帧形成的图像坐标系中的横坐标和纵坐标作为位置信息。处理方式信息具体包括第一信息和第二信息，当目标处理方式为不划分所述待处理的编码单元时，处理方式信息为第一信息；当目标处理方式为采用目标划分模式划分所述待处理的编码单元时，处理方式信息为第二信息。

步骤S50，确定所述无需划分的编码单元对应的目标存储空间；所述目标存储空间为根据所述设定最大尺寸和所述设定最小尺寸对设定存储空间划分形成；

具体的，在内存空间中，每个原始编码单元可对应有一个设定存储空间用于存储该原始编码单元内最终划分得到的所有无需划分的编码单元的划分特征信息。其中，可基于设定最大尺寸和设定最小尺寸对设定存储空间进行划分，得到多个数组存储空间。每个数组存储空间用于存储一个尺寸为设定最小尺寸的单元的划分特征信息。本实施例中，划分特征信息包括长、宽、x 坐标、y坐标和处理方式信息，基于此，设定最大尺寸为64*64，设定最小尺寸为8*8，则可将设定存储空间划分为256*5维数组空间用于存储划分结果。

在得到初始编码单元中的所有无需划分的编码单元后，可遍历所划分的数组空间，确定每个无需划分的编码单元所对应的数组存储空间作为存储该编码单元的划分特征信息的目标存储空间。其中，由于无需划分的编码单元的尺寸可能大于设定最小尺寸，因此，一个无需划分的编码单元所对应的目标存储空间可能包括多于一个预先划分的数组存储空间。

当所述处理方式信息对应的目标处理方式为不划分所述待处理的编码单元时，执行步骤S61；当所述处理方式信息对应的目标处理方式为采用所述设定划分模式划分所述待处理的编码单元时，执行步骤S62。

步骤S61，不保存所述划分特征信息，以使所述目标存储空间维持空闲状态；

步骤S62，将所述划分特征信息保存至所述目标存储空间。

由于现有技术中编码单元的划分结果会将所有编码单元的划分结果均进行存储，并在存储的时候生成对应的存储索引，以供后续编码过程读取编码单元的划分结果，而终止划分的最小尺寸又较小，导致需要硬件开辟巨大的存储空间才能实现划分结果的存储。而在本实施例中，由于设定最小尺寸较大，而保存的过程中未经划分的编码单元的划分结果不会进行保存，从而大大的减少了硬件开销，以使硬件可有更多的空间用于执行编码单元的划分算法，实现硬件整体运行速度的有效提高，同时可减少后续读取划分结果的时间，有利于缩短编码所需时间。

本发明实施例提出一种硬件装置，可应用于对视频帧的编码单元进行划分，尤其是应用于超高清视频序列中的视频帧进行编码单元的划分。

在本发明实施例中，参照图6，硬件装置包括：处理器1001(例如CPU)，存储器1002等。在本实施中，存储器1002具体为寄存器。此外，在其他实施例中存储器1002可以是高速RAM存储器，也可以是稳定的存储器 (non-volatile memory)，例如磁盘存储器。存储器1002可选的还可以是独立于前述处理器1001的存储装置。

本领域技术人员可以理解，图6中示出的装置结构并不构成对装置的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

如图6所示，作为一种可读存储介质的存储器1002中可以包括帧内编码块划分处理程序。在图6所示的装置中，处理器1001可以用于调用存储器1002 中存储的帧内编码块划分处理程序，并执行以上任一实施例中帧内编码块划分处理方法的相关步骤操作。

本实施例中，所述存储器为寄存器，所述处理器用于在运行所述寄存器中的帧内编码块划分处理程序的过程中，将产生的数组分割成多个数据片段、且并行处理各所述数据片段。其中，所分割形成的数据片段大小相等。具体的，分割形成的数据片段的数量为16个。在本实施例中，在通过硬件实现上述帧内编码块划分处理方法的过程中，将形成的数组分割成多个寄存器阵列的组合，并采用并行方式进行处理，从而有利于提高编码单元划分过程的数据的吞吐量，保证一个时钟周期内可处理更多的数据。其中，分割成的数据片段大小相等且大小小于或等于设定值，从而有利于减少变量所需的内存，便于后续数据的读写处理，实现良好的控制逻辑，降低硬件模块处理的延迟，从而通过软硬联合优化的方式，实现编码单元划分效率的显著提高。

进一步的，结合图7，说明本申请硬件模块框图。参照图7，硬件装置的处理器具体包括划分控制模块、纹理相似度计算模块和划分模式决策模块，其中，划分控制模块包括划分模式写入模块和划分过程终止判断模块。划分控制模块获取原始编码单元后，将原始编码单元的亮度数据输入到纹理相似度计算模块，纹理相似度计算模块计算原始编码单元不同位置的相似度特征信息，并将特征信息输入到划分模式决策模块，划分模式决策模块在确定原始编码单元的划分结果后，将划分结果发送至划分控制模块中的划分模式写入模块，划分模式写入模块接收到划分结果后将划分结果输入至划分过程终止判断模块，划分过程终止判断模块判断当前块是否停止划分，若未停止划分，划分过程终止判断模块则将基于当前块准备待划分单元数据并提取亮度数据输入至纹理相似度计算模块以进一步的划分当前块；若停止划分，则划分过程终止判断模块进一步判断初始编码单元是否全部划分完成，若是全部划分完成则划分过程终止判断模块输出整体划分结果，若未全部划分完成划分过程终止判断模块则将基于当前块准备待划分单元数据并提取亮度数据输入至纹理相似度计算模块以进一步的划分当前块。

此外，本发明实施例还提出一种可读存储介质，所述可读存储介质上存储有帧内编码块划分处理程序，所述帧内编码块划分处理程序被处理器执行时实现如上帧内编码块划分处理方法任一实施例的相关步骤。

进一步的，本发明实施例下面提供上述帧内编码块划分处理程序在不同硬件中运行时占用情况的实验数据，以进一步说明本申请基于上述帧内编码块划分处理方法所能达到的减少视频编码过程数据处理所占用的硬件资源的技术效果：

具体的，为验证上述帧内编码块划分处理方法对应的算法的硬件性能，在Vivado2019.1HLS综合工具中对该帧内编码块划分处理方法的算法进行了硬件资源仿真，实验使用型号为xcvu440-flga2892-1-c的FPGA，硬件资源占用情况如下表所示：

序号	硬件资源	本文算法占用数量	可用数量
				1	BRAM_18K	36	5040
2	DSP48E	52	2880
				3	FF	26803	5065920
4	LUT	126008	2532960

从表中数据可以看出，相对于块划分部分在编码过程中的重要程度，该算法原始的硬件占用数量较少，有利于后续继续面向硬件优化的算法内部并行和算法外部并行。

在C/RTL联合仿真中对于AVS3标准中可能处理到的最大编码单元(64x64)，该算法的延迟为57609个时钟周期，在300Mhz时钟频率的情况下一秒钟可处理5207个64x64的编码单元。在硬件环境中仅需并行13个该算法模块即可支持4K高清视频30fps的全I帧编码。由此可见，上述帧内编码块划分算法在硬件环境中应用时可达到减少视频编码过程数据处理所占用的硬件资源的显著效果。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种帧内编码块划分处理方法，其特征在于，所述帧内编码块划分处理方法包括以下步骤：

获取视频帧中待处理的编码单元；

根据编码单元内不同位置纹理信息的相似度与处理方式的对应关系，确定所述待处理的编码单元对应的目标处理方式；所述目标处理方式包括不划分所述待处理的编码单元或采用目标划分模式划分所述待处理的编码单元；

按照所述目标处理方式处理所述待处理的编码单元。

2.如权利要求1所述的帧内编码块划分处理方法，其特征在于，所述对应关系包括决策树模型，所述根据编码单元内不同位置纹理信息的相似度与处理方式的对应关系，确定所述待处理的编码单元对应的目标处理方式的步骤包括：

将所述待处理的编码单元不同位置纹理信息的相似度输入所述决策树模型，将所述决策树模型的输出结果作为所述目标处理方式。

3.如权利要求2所述的帧内编码块划分处理方法，其特征在于，所述决策树模型包括第一分类器和第二分类器，所述决策树模型对所述待处理的编码单元的不同位置纹理信息的相似度处理流程为：

采用所述第一分类器对输入的所述待处理的编码单元不同位置纹理信息的相似度处理后得到第一分类结果；所述第一分类器用于判断所述待处理的编码单元是否划分所述待处理的编码单元；

当所述第一分类结果为不划分所述待处理的编码单元时，将所述第一分类结果作为所述决策树模型的输出结果；

当所述第一分类结果为划分所述待处理的编码单元时，将所述待处理的编码单元不同位置纹理信息的相似度输入第二分类器处理后得到的第二分类结果；所述第二分类器用于在多于一个设定划分模式中选取其中之一作为划分所述待处理的编码单元的目标划分模式；

将所述第二分类结果作为所述决策树模型的输出结果。

4.如权利要求3所述的帧内编码块划分处理方法，其特征在于，所述多于一个设定划分模式包括四叉树划分模式、水平二叉树划分模式和垂直二叉树划分模式，所述第二分类器包括第一子分类器和第二子分类器，所述将所述待处理的编码单元不同位置纹理信息的相似度输入第二分类器处理后得到的第二分类结果的步骤包括：

将所述待处理的编码单元不同位置纹理信息的相似度输入所述第一子分类器处理后得到第一结果；所述第一子分类器用于判断是否采用所述四叉树划分模式划分所述待处理的编码单元；

当所述第一结果为采用所述四叉树划分模式划分所述待处理的编码单元时，将所述第一结果作为所述第二分类结果；

当所述第一结果为不采用所述四叉树划分模式划分所述待处理的编码单元时，将所述待处理的编码单元不同位置纹理信息的相似度输入所述第二子分类器处理后得到第二结果；其中，所述第二子分类器用于选取所述水平二叉树划分模式和所述垂直二叉树划分模式之一作为划分所述待处理的编码单元的目标划分模式；

将所述第二结果作为所述第二分类结果。

5.如权利要求3所述的帧内编码块划分处理方法，其特征在于，所述获取视频帧中待处理的编码单元的步骤之前，还包括：

获取样本视频帧及其对应的最优方案；所述最优方案通过率失真优化策略选取对所述样本视频帧进行编码单元划分的最佳处理方式得到，所述最优方案包括所述样本视频帧中划分形成的多个样本编码单元以及每个所述样本编码单元对应的最佳处理方式；

采用多于一个划分模式对每个所述样本编码单元进行划分，得到每个所述样本编码单元对应的多于一个划分结果；每个划分结果包括至少两个子单元；

确定每个所述划分结果中任意相邻两个子单元的纹理信息的差异度，作为对应的样本编码单元的相似度特征信息；其中，纹理信息包括亮度参数；

将最佳处理方式为不划分的样本编码单元作为第一类编码单元，将最佳处理方式为采用多于一个所述设定划分模式中之一进行划分的样本编码单元作为第二类编码单元；

将所述第一类编码单元的相似度特征信息及其对应的最佳处理方式作为第一样本数据，将所述第二类编码单元的相似度特征信息及其对应的最佳处理方式作为第二样本数据，基于多于一个所述设定划分模式将所述第二样本数据分类得到每个所述设定划分模式对应的子样本数据；

采用所述第一样本数据和所述第二样本数据训练所述第一分类器，采用每个所述设定划分模式对应的子样本数据训练所述第二分类器。

6.如权利要求1至5中任一项所述的帧内编码块划分处理方法，其特征在于，所述获取视频帧中待处理的编码单元的步骤之前，还包括：

将所述视频帧划分为多个初始编码单元；所述初始编码单元的尺寸为设定最大尺寸；

所述获取视频帧中待处理的编码单元的步骤的包括：

获取每个所述初始编码单元作为所述待处理的编码单元。

7.如权利要求6所述的帧内编码块划分处理方法，其特征在于，所述按照所述目标处理方式处理所述待处理的编码单元的步骤包括之后，还包括：

当所述目标处理方式为不划分所述待处理的编码单元时，将处理后的编码单元确定为无需划分的编码单元；

当所述目标处理方式为采用所述目标划分模式划分所述待处理的编码单元时，将处理后的编码单元中所形成的子编码单元；

若所述子编码单元的尺寸大于设定最小尺寸，则将所述子编码单元作为所述待处理的编码单元，并返回执行所述按照设定划分模式对所述待处理的编码单元划分，得到对应的划分结果的步骤；

若所述子编码单元的尺寸为所述设定最小尺寸，则将所述子编码单元确定为无需划分的编码单元。

8.如权利要求7所述的帧内编码块划分处理方法，其特征在于，所述设定最小尺寸大于或等于设定阈值，所述将处理后的编码单元确定为无需进行划分的编码单元的步骤之后，或，所述将处理后的编码单元确定为无需进行划分的编码单元的步骤之后，还包括：

确定所述无需划分的编码单元对应的划分特征信息；所述划分特征信息包括每个无需划分的编码单元的尺寸信息、位置信息和处理方式信息，所述处理方式信息为根据所述目标处理方式生成的特征信息；

确定所述无需划分的编码单元对应的目标存储空间；所述目标存储空间为根据所述设定最大尺寸和所述设定最小尺寸对设定存储空间划分形成；

当所述处理方式信息对应的目标处理方式为不划分所述待处理的编码单元时，不保存所述划分特征信息，以使所述目标存储空间维持空闲状态；

当所述处理方式信息对应的目标处理方式为采用所述设定划分模式划分所述待处理的编码单元时，将所述划分特征信息保存至所述目标存储空间。

9.一种硬件装置，其特征在于，所述硬件装置包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的帧内编码块划分处理程序，所述帧内编码块划分处理程序被所述处理器执行时实现如权利要求1至8中任一项所述的帧内编码块划分处理方法的步骤。

10.如权利要求9所述的硬件装置，其特征在于，所述存储器为寄存器，所述处理器用于在运行所述寄存器中的帧内编码块划分处理程序的过程中，将产生的数组分割成多个数据片段、且并行处理各所述数据片段。

Images