CN115883832A - 基于人工智能的视频编码处理方法、装置、设备及介质 - Google Patents

Abstract

本公开提供了一种基于人工智能的视频编码处理方法、装置、设备及介质，涉及人工智能领域，具体涉及云计算、视频处理、媒体云技术，可应用在智能云场景下。具体实现方案为：基于待处理单元的残差信息，提取第一特征序列表达和至少一个第二特征序列表达；基于第一特征序列表达、至少一个第二特征序列表达、预先训练的第一预测模型和至少一个第二预测模型，预测待处理单元为全零块的第一预测概率和至少一个第二预测概率；基于第一预测概率、至少一个第二预测概率、第一预设概率阈值和至少一个第二预设概率阈值，获取待处理单元是否为全零块的预测结果；基于预测结果对待处理单元进行编码处理。本公开的技术，能够有效地提高视频编码效率。

Description

基于人工智能的视频编码处理方法、装置、设备及介质

技术领域

本公开涉及计算机技术领域，具体涉及人工智能领域，具体涉及云计算、视频处理、媒体云技术，可应用在智能云场景下。尤其涉及一种基于人工智能的视频编码处理方法、装置、设备及介质。

背景技术

高效率视频编码(HighEfficiencyVideoCoding；HEVC)是一种新的视频编码标准，能够在相同的主观图像质量下，比H.264/高级视频编码(AdvancedVideoCoding；AVC)降低50％的码率。HEVC标准通过采用多种新的压缩工具，包括复杂的编码块结构、具有新的空间预测方向和帧内编码、复杂的插值滤波器、新的环路内滤波器和新的熵编码方案等，将H.264/AVC的编码效率提高一倍，是一种非常高效的视频编码方法。

在HEVC中，变换和量化操作是编码中不可缺少的关键步骤。图像变换编码是指将以空间域中像素形式描述的图像转换至变换域，以变换系数的形式加以表示。绝大多数图像都含有较多平坦区域和内容变化缓慢的区域，适当的变换可使图像能量在空间域的分散分布转为在变换域的相对集中分布，以达到去除空间冗余的目的，获得对图像信息的有效压缩。量化是指将信号的连续取值映射为有限多个离散幅值的过程，实现信号取值多对一的映射。量化不可避免地引入失真。量化器可分为标量量化器和矢量量化器。目前主流的图像、视频编码标准都使用了标量量化器。

发明内容

本公开提供了一种基于人工智能的视频编码处理方法、装置、电子设备及存储介质。

根据本公开的一方面，提供了一种基于人工智能的视频编码处理方法，包括：

基于待处理单元的残差信息，提取第一特征序列表达和至少一个第二特征序列表达；

基于所述第一特征序列表达、所述至少一个第二特征序列表达、预先训练的第一预测模型和至少一个第二预测模型，预测所述待处理单元为全零块的第一预测概率和至少一个第二预测概率；

基于所述第一预测概率、所述至少一个第二预测概率、第一预设概率阈值和至少一个第二预设概率阈值，获取所述待处理单元是否为全零块的预测结果；

基于所述预测结果，对所述待处理单元进行编码处理。

根据本公开的另一方面，提供了一种预测模型的训练方法，包括：

从多个训练视频序列中获取多个训练处理单元；

获取各所述训练处理单元的标签；所述标签用于标识所述待处理单元为全零块或者非全零块；

提取各所述训练处理单元的特征序列表达；

基于所述多个训练处理单元中各所述训练处理单元的特征序列表达和所述标签，对所述预测模型进行训练。

根据本公开的再一方面，提供了一种基于人工智能的视频编码处理装置，包括：

提取模块，用于基于待处理单元的残差信息，提取第一特征序列表达和至少一个第二特征序列表达；

预测模块，用于基于所述第一特征序列表达、所述至少一个第二特征序列表达、预先训练的第一预测模型和至少一个第二预测模型，预测所述待处理单元为全零块的第一预测概率和至少一个第二预测概率；

获取模块，用于基于所述第一预测概率、所述至少一个第二预测概率、第一预设概率阈值和至少一个第二预设概率阈值，获取所述待处理单元是否为全零块的预测结果；

编码模块，用于基于所述预测结果，对所述待处理单元进行编码处理。

根据本公开的又一方面，提供了一种预测模型的训练装置，包括：

单元获取模块，用于从多个训练视频序列中获取多个训练处理单元；

标签获取模块，用于获取各所述训练处理单元的标签；所述标签用于标识所述待处理单元为全零块或者非全零块；

提取模块，用于提取各所述训练处理单元的特征序列表达；

训练模块，用于基于所述多个训练处理单元中各所述训练处理单元的特征序列表达和所述标签，对所述预测模型进行训练。

根据本公开的再另一方面，提供了一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如上所述的方面和任一可能的实现方式的方法。

根据本公开的再又一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行如上所述的方面和任一可能的实现方式的方法。

根据本公开的又另一方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现如上所述的方面和任一可能的实现方式的方法。

根据本公开的技术，能够有效地提高编码效率。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本公开的限定。其中：

图1是根据本公开第一实施例的示意图；

图2是根据本公开第二实施例的示意图；

图3是根据本公开第三实施例的示意图；

图4是HEVC编码处理架构图；

图5是根据本公开第四实施例的示意图；

图6是根据本公开第五实施例的示意图；

图7是根据本公开第六实施例的示意图；

图8是根据本公开第七实施例的示意图；

图9是根据本公开第八实施例的示意图；

图10是根据本公开第九实施例的示意图；

图11是用来实现本公开实施例的方法的电子设备的框图。

具体实施方式

以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

显然，所描述的实施例是本公开一部分实施例，而不是全部的实施例。基于本公开中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的全部其他实施例，都属于本公开保护的范围。

需要说明的是，本公开实施例中所涉及的终端设备可以包括但不限于手机、个人数字助理(PersonalDigitalAssistant，PDA)、无线手持设备、平板电脑(TabletComputer)等智能设备；显示设备可以包括但不限于个人电脑、电视等具有显示功能的设备。

另外，本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。

HEVC编码处理过程，对于任意当前待处理单元即变换单元(TransformUnit；TU)，可以先计算该TU的残差矩阵，然后再对残差矩阵进行变换操作，并对变换矩阵进行量化操作，并输出量化矩阵。然后基于量化矩阵，判断该TU是否为全零块。若是全零块，则进行全零块编码处理。若为非全零块，则进行非全零块的编码处理。由于变换和量化操作涉及到复杂的离散余弦变换(DiscreteCosineTransform；DCT)变化，相对比较浪费时间。上述处理方式中，无论是否为全零块，都进行了复杂的变换和量化操作，导致HEVC编码处理过程中编码效率较低。

图1是根据本公开第一实施例的示意图；如图1所示，本实施例提供一种基于人工智能的视频编码处理方法，应用于HEVC编码的编码模块中，具体可以包括如下步骤：

S101、基于待处理单元的残差信息，提取第一特征序列表达和至少一个第二特征序列表达；

本实施例的待处理单元为HEVC的编码中的编码处理单元，具体可以为TU。待处理单元的残差信息，即指的是TU的残差信息。例如，具体可以为基于TU对应的原图和预测阶段预测的对应的预测单元(Prediction Unit；PU)，获取到的残差矩阵。

本实施例的第一特征序列表达和至少一个第二特征序列表达均包括待处理单元的至少一个特征的表达，即待处理单元的至少一个特征的值。

S102、基于第一特征序列表达、至少一个第二特征序列表达、预先训练的第一预测模型和至少一个第二预测模型，预测待处理单元为全零块的第一预测概率和至少一个第二预测概率；

本实施例中，采用了两大类模型，第一大类模型为第一预测模块，第二大类模型包括至少一个第二预测模型。其中第一大类模型可以为主模型，第二大类模型可以为副模型，用于辅助主模型进行预测。本实施例中，可以认为第一预测模型和第二预测模型的结构不同，在本实施例中所起到的功能作用不同。采用该步骤，可以预测到处理单元为全零块的第一预测概率和至少一个第二预测概率。

需要说明的是，本实施例中，预测待处理单元为全零块指的是预测待处理单元在经过变换处理和量化处理后为全零块。由于全零块的待处理单元即TU，可以省区变换处理和量化处理，以省去复杂的计算处理过程，能够有效地提高编码效率。所以，本实施例，可以准确、合理地以提前预测待处理单元是否为全零块。

S103、基于第一预测概率、至少一个第二预测概率、第一预设概率阈值和至少一个第二预设概率阈值，获取待处理单元是否为全零块的预测结果；

S104、基于预测结果，对待处理单元进行编码处理。

本实施例中，由于不同预测模型的结构不同，预测结果的精准度也不同。所以每一个预测模型对应的预设概率阈值可能不同。例如第一预测模型对应第一预设概率阈值，一个第二预测模型对应一个第二预设概率阈值。实际应用中，第一预设概率阈值和各第二预设概率阈值可以不同，也可以相同。而且，通过调整第一预设概率阈值和各第二预设概率阈值，可以合理地调整预测结果。

本实施例中，采用第一预测模型和至少一个第二预测模型，分别预测待处理单元为全零块的概率，得到第一预测概率和第二预测概率。然后再参考所有的预测结果，如第一预测概率和至少一个第二预测概率，并结合各预测模型对应的预设概率阈值，如第一预测概率阈值和至少一个第二预测概率阈值，综合分析待处理单元是否为全零块的预测结果。由于该预测结果，参考了第一预测模型的预测结果和至少一个第二预测模型的预测结果，能够更加准确地标识待处理单元是否为全零块。而且该预测结果的获取也参考了各预测模型对应的预设概率阈值，进而可以基于各预测模型对应的预设概率阈值，合理地控制预测结果；进而基于该预测结果，对待处理单元进行编码处理时，能够有效地提高编码效率。例如，针对大量的TU，采用本实施例的技术方案，可以准确、合理地控制全零块的TU的数量，不会导致TU数量过少，进而可以有效地节省变换和量化操作的计算量，有效地提高编码效率。

本实施例的编码处理方法，通过采用上述技术方案，根据第一预测模型和至少一个第二预测模型，预测待处理单元为全零块的第一预测概率和至少一个第二预测概率，并参考对应的第一预设概率阈值和至少一个第二预设概率阈值，获取待处理单元是否为全零块的预测结果，可以有效地确保预测结果的合理性以及准确性，进而可以有效地提高待处理单元进行编码的编码效率。

图2是根据本公开第二实施例的示意图；如图2所示，本实施例的基于人工智能的视频编码处理方法，在上述图1所示实施例的技术方案的基础上，进一步更加详细地介绍本公开的技术方案。如图2所示，本实施例的基于人工智能的视频编码处理方法，具体可以包括如下步骤：

S201、基于待处理单元的残差矩阵，提取第一特征序列表达和至少一个第二特征序列表达；

例如，本实施例中，第一特征序列表达和各第二特征序列表达分别包括包括如下至少一种特征的值：

待处理单元的尺寸、亮度均值和亮度方差、待处理单元的残差矩阵的亮度的绝对值和、均值和方差、以及对待处理单元的残差矩阵进行卷积后的亮度的绝对值、均值和方差。其中，对待处理单元的残差矩阵进行卷积时，具体可以进行4*4的卷积，实际应用中，也可以进行其他卷积，在此不做限定。采用本实施例的上述特征，覆盖面非常广，且内容丰富，能够准确地标识待处理单元的信息。

本实施例中，第一特征序列中包括的特征和各第二特征序列中包括的特征可以为预先设置好的。对于各特征序列表达，提取时，依次提取各特征序列中包括的各特征的值，即得到对应的特征序列表达。

需要说明的是，第一特征序列中包括的特征与各第二特征序列中包括的特征可以相同，也可以不同；可以存在特征交集，也可以不存在特征交集。同理，各第二特征序列中包括的特征可以相同，也可以不同；可以存在特征交集，也可以不存在特征交集。

在本公开的一个实施例中，为了提高鲁棒性，第一特征序列和各第二特征序列中包括的特征可以略有不同。

S202、基于第一特征序列表达和第一预测模型，获取待处理单元为全零块的第一预测概率；

S203、基于至少一个第二特征序列表达中各第二特征序列表达和对应的第二预测模型，预测待处理单元为全零块的第二预测概率，得到至少一个第二预测概率；

S204、检测第一预测概率是否大于第一预设概率阈值，且至少一个第二预测概率中至少一个第二预设概率是否大于对应的第二预设概率阈值，若是，执行步骤S205；否则，执行步骤S206；

S205、确定预测结果为待处理单元为全零块；执行步骤S207；

S206、确定预测结果为待处理单元为非全零块；执行步骤S208；

具体使用时，将第一特征序列表达输入第一预测模型，第一预测模型可以输出待处理单元为全零块的第一预测概率。将各第二特征序列表达输入对应的第二预测模型，第二预测模型可以预测并输出待处理单元为全零块的第二预测概率。至少一个第二特征序列表达以及对应的至少一个第二预测模型，可以得到至少一个第二预测概率。采用该方式，可以得到准确地第一预测概率以及各第二预测概率。

另外，由于不同模型结构不同，在进行预测时精度不相同。所以，本实施例中，为不同模型设置不同的预测概率阈值。第一预设概率阈值为第一预测模型对应的预设概率阈值。各第二预测模型对应设置一个第二预设概率阈值，不同的第二预测模型的第二预设概率阈值可以不同，也可以相同。

本实施例的第一预测模型可以采用xgBoost模型。而各第二预测模型可以为支持向量机(SupportVectorMachine；SVM模型或者逻辑回归(LogisticRegression；LR)模型。在本实施例中，第一预测模型可以为主模型，各第二预测模型可以为辅助模型，可以为对第一预测模型的预测结果进行辅助判断，以提高全零块的预测准确性。

例如，第一预测概率大于第一预设概率阈值时，第一预测模型预测该待处理单元为全零块；而各第二预测模型预测的第二预设概率大于对应的第二预设概率阈值时，对应的第二预测模型预测该待处理单元为全零块。本实施例中，在第一预测模型预测该待处理单元为全零块，且只要有一个第二预测模型预测该待处理单元为全零块时，可以认为该待处理单元为全零块，此时确定预测结果为待处理单元为全零块。而若第一预测概率小于或者等于第一预设概率阈值时，即第一预测模型预测该待处理单元为非全零块，此时可以确定预测结果为待处理单元为非全零块。或者虽然第一预测概率大于第一预设概率阈值，即第一预测模型预测该待处理单元为全零块；但是各第二预测模型得到的第二预测概率均小于或者等于对应的第二预设概率阈值，即所有的第二预测模型预测该待处理单元为非全零块，此时仍然可以确定预测结果为待处理单元为非全零块。按照本实施例的方式，至少一个第二预测模型的第二预测结果，可以辅助第一预测模型的第一预测结果，提升预测结果的准确性。而且，待处理单元的预测结果的确定过程合理、准确。

S207、基于待处理单元的残差信息进行全零块编码处理；结束。

S208、基于待处理单元的残差信息进行变换处理、量化处理以及非全零块编码处理，结束。

本实施例的编码处理方法，可以在检测第一预测概率大于第一预设概率阈值，且至少一个第二预测概率中至少一个第二预设概率大于对应的第二预设概率阈值时，确定预测结果为待处理单元为全零块；否则，在其他情况下，确定预测结果为待处理单元为非全零块，能够合理、准确地确定待处理单元的预测结果，进而可以省去全零块的待处理单元进行变换处理和量化处理的操作，具体有效地提升HEVC中的编码效率。

图3是根据本公开第三实施例的示意图；如图3所示，本实施例提供一种编码处理的架构图。如图3所示，本实施例的编码处理架构中，以包括第一预测模型和两个第二预测模型为例，其中第一预测模型采用xgBoost模型，并经过预先训练得到。两个第二预测模型可以分别采用SVM模型和LR模型，该SVM模型和LR模型可以采用现有的已训练的成熟模型，也可以采用本公开相关的任务数据进行精调得到。为方便描述，第一预测模型称为预测模型1、两个第二预测模型分别为预测模型2和预测模型3。

如图3所示，对于任一当前待处理单元即当前TU，分别提取预测模型1所需的第一特征序列表达、预测模型2所需的第二特征序列表达和预测模型3所需的第三特征序列表达，分别输入至对应的预测模型1、预测模型2和预测模型3中，分别得到第一预测概率、第二预测概率和第三预测概率，作为预测结果，并输出结果。然后综合上述结果，判断该TU是否为全零块。例如，可以参考上述图2所示实施例的方法，例如，若第一预测概率大于第一预设概率阈值，第二预测概率和第三预测概率中至少一个大于对应的预设概率阈值，则判断该TU为全零块；否则判断该TU为非全零块。

进一步地，若TU为非全零块，对TU的残差矩阵进行变换操作，并对变换矩阵再进行量化操作，并输出量化矩阵，最后进行非全零块编码。

进一步地，若TU为全零块，则可以跳过变换操作和量化操作，直接进行全零块编码。该方式，能够有效地节省变换操作和量化操作的计算量，提高编码效率。

图4是HEVC编码处理架构图。如图4所示，是HEVC中现有的编码处理架构图。如图4所示，对于当前TU，直接对当前TU的残差矩阵进行变换操作，并对变换矩阵进行量化操作，并输出量化矩阵。然后基于量化矩阵，判断该TU是否为全零块。若是全零块，则进行全零块编码处理。若为非全零块，则进行非全零块的编码处理。

将上述图3所示的本公开的编码处理流程，与图4所示的现有的编码流程进行对比，可以充分体现本公开图3的编码处理的优势，相对于图4，本公开实施例的方式，能够有效地节省变换操作和量化操作，进而可以有效地提高编码效率。

图5是根据本公开第四实施例的示意图；如图5所示，是本实施例提供的另一种编码处理的架构图，图5是在上述图3所示实施例的架构图的基础上，进行一定的变形得到的。具体地，图3中的预测模型1的输出结果和预测模型2和预测模型3的输出结果为串联关系，构成图5所示的架构。即图5中预测模型1的第一预测概率大于第一预设概率阈值、预测模型2的第二预测概率大于第二预设概率阈值，预测模型3的第三预测概率大于第三预设概率阈值时，最终确定预测结果中该TU才为全零块；否则只要有一个预测模型的预设概率不大于对应的预设概率阈值，则最终确定预测结果中该TU则为非全零块。该编码方法是一个较为严格的编码处理方案，可以适用于尺寸较小的小块的TU。

图6是根据本公开第五实施例的示意图；如图6所示，是本实施例提供的再一种编码处理的架构图，图6是在上述图3所示实施例的架构图的基础上，进行一定的变形得到的。具体地，图6中，是将图3中的预测模型2的输出结果和预测模型3的输出结果设为并联关系。预测模型1的输出结果再与预测模型2和预测模型3的并联结果设为串联关系。即图6中预测模型1的第一预测概率大于第一预设概率阈值时，预测模型2的第二预测概率大于第二预设概率阈值和预测模型3的第三预测概率大于第三预设概率阈值中其中至少一个成立时，便可以最终确定预测结果中该TU才为全零块。否则预测模型1的第一预测概率小于或者等于第一预设概率阈值时，可以最终确定预测结果中该TU才为非全零块。或者在预测模型2的第二预测概率小于或者等于第二预设概率阈值、和预测模型3的第三预测概率小于或者等于第三预设概率阈值两者同时成立时，也可以最终确定预测结果中该TU才为非全零块。相对于上述图5的编码方法，该方法是一个非严格的编码处理方案，可以适用于尺寸较大的大块的TU。

图7是根据本公开第六实施例的示意图；如图7所示，本实施例提供一种预测模型的训练方法，具体可以包括如下步骤：

S701、从多个训练视频序列中获取多个训练处理单元；

S702、获取各训练处理单元的标签；该标签用于标识待处理单元为全零块或者非全零块；

S703、提取各训练处理单元的特征序列表达；

S704、基于多个训练处理单元中各训练处理单元的特征序列表达和标签，对预测模型进行训练。

本实施例训练的预测模型具体可以为上述图1所示实施例的第一预测模型。

本实施例的训练处理单元可以为TU，具体地，可以参考HEVC编码处理过程中的相关技术，获取到多个训练处理单元。

训练处理单元的标签为训练中要使用的标签数据，标签用于标识训练处理单元为全零块或者非全零块。具体地，指的是训练处理单元经过变换和量化后为全零块或者非全零块。例如，若为全零块，该训练处理单元的标签可以标识为1，否则若为非全零块，该训练处理单元的标签可以标识为0。

提取训练处理单元的特征序列表达，具体指的是提取训练处理单元的特征序列中各特征的值。该训练处理单元的特征序列中可以包括至少一个特征。

基于多个训练处理单元中各训练处理单元的特征序列表达和标签，对预测模型进行训练时，可以将各训练处理单元的特征序列表达输入至该预测模型，该预测模型可以基于输入的特征序列表达，输出预测概率；然后检测预测概率与标签是否一致，若不一致，调整预测模型的参数。通过按照上述方式，采用多个训练处理单元中各训练处理单元的特征序列表达和标签，不断地对预测模型进行训练，直至模型收敛或者满足训练终止条件，可以得到最终的预测模型。

本实施例的预测模型的训练方法，通过获取各训练处理单元的标签，并提取各训练处理单元的特征序列表达；进而基于多个训练处理单元中各训练处理单元的特征序列表达和标签，对预测模型进行训练，能够有效地保证训练的预测模型的准确性。进一步，可以保证采用该预测模型预测处理单元是否为全零块时的预测准确性，进而可以基于预测结果，进行更加准确地编码，能够有效地提高编码效率。

图8是根据本公开第七实施例的示意图；本实施例的预测模型的训练方法，在上述图7所示实施例的技术方案的基础上，进一步更加详细地描述本公开的技术方案。如图8所示，本实施例的预测模型的训练方法，具体可以包括如下步骤：

S801、从时域复杂度和空域复杂度不同的多个训练视频序列中获取多个训练处理单元；

为了提高训练的预测模型的准确性，本实施例中在获取多个训练处理单元时，可以从时域复杂度和空域复杂度不同的多个训练视频序列中提取，保证多个训练处理单元的时域复杂度和空域复杂度尽可能不同，使得多个训练处理单元可以尽可能地覆盖所有领域的所有可能的情况，内容非常丰富。

S802、获取各训练处理单元的残差信息；

S803、基于各训练处理单元的残差信息，依次进行变换处理和量化处理，其中量化编码处理采用率失真量化(RateDistortionOptimized Quantization；RDOQ)编码处理；

S804、基于量化编码处理的结果，生成各训练处理单元的标签；

本实施例中，基于各训练处理单元的残差信息，进行变换处理和量化处理时，量化处理采用RDOQ，这样得到的结果相对其他的量化更加准确，变换和量化操作后，能够计算出当前TU残差矩阵是否被量化为全零块，如果量化为全零块则标签记为1，如果非全零块则标签记为0。

S805、获取各训练处理单元的多个备选特征表达；

例如，本实施例的各训练处理单元的多个备选特征表达，可以包括如下全部特征或者部分特征的值：

训练处理单元的尺寸、亮度均值和亮度方差、训练处理单元的残差矩阵的亮度的绝对值和、均值和方差、以及对训练处理单元的残差矩阵进行卷积后的亮度的绝对值、均值和方差。其中，对训练处理单元的残差矩阵进行卷积时，具体可以进行4*4的卷积，或者其他尺寸的卷积，在此不做限定。

S806、从各训练处理单元的多个备选特征表达中，获取重要程度高的至少一个备选特征的值，作为各训练处理单元的特征序列表达；

例如，本实施例中，具体可以采用如下步骤来实现:

(1)采用预测模型，基于各训练处理单元的多个备选特征表达和标签，对多个备选特征表达中包括的多个备选特征按照重要程度进行排序；

(2)按照多个备选特征的重要程度的排序，获取至少一个重要程度高的备选特征，构成特征序列；

(3)获取各训练处理单元的特征序列中各特征的值，得到各训练处理单元的特征序列表达。

本实施例的预测模型采用xgBoost模型，该xgBoost模型还具备特征重要性排序的功能。使用时，可以将各训练处理单元的多个备选特征表达输入至预测模型，预测模型可以输出多个备选特征各特征对标识待处理单元是否为全零块的重要程度的排序。由于标签是用于标识待处理单元是否为全零块，所以，也可以说是，预测模型可以输出多个备选特征各特征对标签的重要程度的排序。进一步地，根据多个备选特征的重要程度的排序，可以获取至少一个重要程度较高的备选特征，构成特征序列。对于各训练处理单元，获取特征序列中各特征的值，便得到该训练处理单元的特征序列表达。

其中特征序列中包括的特征的数量，可以根据实际需求来设置。

另外，可选地，上述图1-图6所示实施例中的第二预测模型即SVM模型和/或LR模型所使用的特征序列中包括的特征，也可以基于上述得到的多个备选特征的重要程度的排序来筛选。选择重要程度较高的一些特征，构成特征序列，可以有效地保证全零块预测的准确性，进而可以提高编码效率。而且，各预测模型所采用的特征序列可以不完全相同，以提高鲁棒性。

S807、基于多个训练处理单元中各训练处理单元的特征序列表达和标签，对预测模型进行训练。

最后基于上述获取的各训练处理单元的特征序列表达和标签，对预测模型进行训练，训练方式同上，在此不再赘述。

本实施例的预测模型的训练方法，使用更加科学的特征选择方法，通过机器学习模型的方法给出特征的重要性排序，使得特征和结果有着更大的相关性，使得提取的训练处理单元的特征序列表达非常合理、准确。另外，在获取各训练处理单元的标签时，基于RDOQ的方式来获取，以保证获取的标签的准确性。最后基于获取的各训练处理单元的特征序列表达和标签，对预测模型进行训练，能够有效地提高训练的预测模型的准确性，从而训练出性能更好的预测模型。

本实施例的基于人工智能的视频编码处理方法中，预测模型采用xgBoost模型作为主模型，相较传统方法和简单模型有着更加优越的性能。同时选择至少一个副模型如可以选择两个副模型进行辅助判断。例如，副模型可以采用简单的SVM模型或者LR模型。将主模型的输出作为副模型的输入，充分运用机器学习模型boosting和bagging方法，通过多个模型的输出来综合判断是否为全零块，能够有效地提高全零块预测的准确性。

总之，本实施例中，通过使用性能更好的机器学习模型和更加系统的特征选择方式，采用模型融合的方法，可以选择出与结果相关性更高的特征，训练出更好的预测模型。从而使得对于全零块的预测更加准确，展现在最终的收益上就是使得性能损失更少，速度提升更高。

图9是根据本公开第八实施例的示意图；如图9所示，本实施例提供一种基于人工智能的视频编码处理装置900，包括：

提取模块901，用于基于待处理单元的残差信息，提取第一特征序列表达和至少一个第二特征序列表达；

预测模块902，用于基于所述第一特征序列表达、所述至少一个第二特征序列表达、预先训练的第一预测模型和至少一个第二预测模型，预测所述待处理单元为全零块的第一预测概率和至少一个第二预测概率；

获取模块903，用于基于所述第一预测概率、所述至少一个第二预测概率、第一预设概率阈值和至少一个第二预设概率阈值，获取所述待处理单元是否为全零块的预测结果；

编码模块904，用于基于所述预测结果，对所述待处理单元进行编码处理。

本实施例的基于人工智能的视频编码处理装置900，通过采用上述模块实现编码处理的实现原理以及技术效果，与上述相关方法实施例的实现相同，详细可以参考上述相关方法的记载，在此不再赘述。

进一步可选地，在本公开的一个实施例中，获取模块903，用于：

若所述第一预测概率大于所述第一预设概率阈值，且所述至少一个第二预测概率中至少一个所述第二预设概率大于对应的所述第二预设概率阈值，则确定所述预测结果为所述待处理单元为全零块；

否则，确定所述预测结果为所述待处理单元为非全零块。

进一步可选地，在本公开的一个实施例中，编码模块904，用于：

若所述预测结果标识所述待处理单元为全零块，基于所述待处理单元的残差信息进行全零块编码处理；

若所述预测结果标识所述待处理单元为非全零块，基于所述待处理单元的残差信息进行变换处理、量化处理以及非全零块编码处理。

进一步可选地，在本公开的一个实施例中，预测模块902，用于：

基于所述第一特征序列表达和所述第一预测模型，获取所述待处理单元为全零块的所述第一预测概率；

基于所述至少一个第二特征序列表达中各所述第二特征序列表达和对应的所述第二预测模型，预测所述待处理单元为全零块的所述第二预测概率，得到所述至少一个第二预测概率。

进一步可选地，在本公开的一个实施例中，所述第一特征序列表达和各所述第二特征序列表达分别包括包括如下至少一种特征的值：

所述待处理单元的尺寸、亮度均值和亮度方差、所述待处理单元的残差矩阵的亮度的绝对值和、均值和方差、以及对所述待处理单元的残差矩阵进行卷积后的亮度的绝对值、均值和方差。

图10是根据本公开第九实施例的示意图；如图10所示，本实施例提供一种预测模型的训练装置1000，包括：

单元获取模块1001，用于从多个训练视频序列中获取多个训练处理单元；

标签获取模块1002，用于获取各所述训练处理单元的标签；所述标签用于标识所述待处理单元为全零块或者非全零块；

提取模块1003，用于提取各所述训练处理单元的特征序列表达；

训练模块1004，用于基于所述多个训练处理单元中各所述训练处理单元的特征序列表达和所述标签，对所述预测模型进行训练。

本实施例的预测模型的训练装置1000，通过采用上述模块实现预测模型的训练的实现原理以及技术效果，与上述相关方法实施例的实现相同，详细可以参考上述相关方法的记载，在此不再赘述。

进一步可选地，在本公开的一个实施例中，标签获取模块1002，用于：

获取各所述训练处理单元的残差信息；

基于各所述训练处理单元的残差信息，依次进行变换处理和量化处理，其中量化编码处理采用率失真量化编码处理；

基于所述量化编码处理的结果，生成各所述训练处理单元的标签。

进一步可选地，在本公开的一个实施例中，提取模块1003，用于：

获取各所述训练处理单元的多个备选特征表达；

从各所述训练处理单元的多个备选特征表达中，获取重要程度高的至少一个备选特征的值，作为各所述训练处理单元的特征序列表达。

进一步可选地，在本公开的一个实施例中，提取模块1003，用于：

采用所述预测模型，基于各所述训练处理单元的所述多个备选特征表达和所述标签，对所述多个备选特征表达中包括的多个备选特征按照对所述标签的重要程度进行排序；

按照所述多个备选特征的重要程度的排序，获取至少一个重要程度高的备选特征，构成特征序列；

获取各所述训练处理单元的所述特征序列中各特征的值，得到各所述训练处理单元的所述特征序列表达。

本公开的技术方案中，所涉及的用户个人信息的获取，存储和应用等，均符合相关法律法规的规定，且不违背公序良俗。

根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。

图11示出了可以用来实施本公开的实施例的示例电子设备1100的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。

如图11所示，设备1100包括计算单元1101，其可以根据存储在只读存储器(ROM)1102中的计算机程序或者从存储单元1108加载到随机访问存储器(RAM)1103中的计算机程序，来执行各种适当的动作和处理。在RAM1103中，还可存储设备1100操作所需的各种程序和数据。计算单元1101、ROM1102以及RAM1103通过总线1104彼此相连。输入/输出(I/O)接口1105也连接至总线1104。

设备1100中的多个部件连接至I/O接口1105，包括：输入单元1106，例如键盘、鼠标等；输出单元1107，例如各种类型的显示器、扬声器等；存储单元1108，例如磁盘、光盘等；以及通信单元1109，例如网卡、调制解调器、无线通信收发机等。通信单元1109允许设备1100通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

计算单元1101可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元1101的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元1101执行上文所描述的各个方法和处理，例如本公开的上述方法。例如，在一些实施例中，本公开的上述方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元1108。在一些实施例中，计算机程序的部分或者全部可以经由ROM1102和/或通信单元1109而被载入和/或安装到设备1100上。当计算机程序加载到RAM1103并由计算单元1101执行时，可以执行上文描述的本公开的上述方法的一个或多个步骤。备选地，在其他实施例中，计算单元1101可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行本公开的上述方法。

本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、复杂可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，也可以为分布式系统的服务器，或者是结合了区块链的服务器。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

Claims (21)

1.一种基于人工智能的视频编码处理方法，包括：

基于待处理单元的残差信息，提取第一特征序列表达和至少一个第二特征序列表达；

基于所述第一特征序列表达、所述至少一个第二特征序列表达、预先训练的第一预测模型和至少一个第二预测模型，预测所述待处理单元为全零块的第一预测概率和至少一个第二预测概率；

基于所述第一预测概率、所述至少一个第二预测概率、第一预设概率阈值和至少一个第二预设概率阈值，获取所述待处理单元是否为全零块的预测结果；

基于所述预测结果，对所述待处理单元进行编码处理。

2.根据权利要求1所述的方法，其中，基于所述第一预测概率、所述至少一个第二预测概率、第一预设概率阈值和至少一个第二预设概率阈值，获取所述待处理单元是否为全零块的预测结果，包括：

若所述第一预测概率大于所述第一预设概率阈值，且所述至少一个第二预测概率中至少一个所述第二预设概率大于对应的所述第二预设概率阈值，则确定所述预测结果为所述待处理单元为全零块；

否则，确定所述预测结果为所述待处理单元为非全零块。

3.根据权利要求1所述的方法，其中，基于所述预测结果，对所述待处理单元进行编码处理，包括：

若所述预测结果标识所述待处理单元为全零块，基于所述待处理单元的残差信息进行全零块编码处理；

若所述预测结果标识所述待处理单元为非全零块，基于所述待处理单元的残差信息进行变换处理、量化处理以及非全零块编码处理。

4.根据权利要求1所述的方法，其中，基于所述第一特征序列表达、所述至少一个第二特征序列表达、预先训练的第一预测模型和至少一个第二预测模型，预测所述待处理单元为全零块的第一预测概率和至少一个第二预测概率，包括：

基于所述第一特征序列表达和所述第一预测模型，获取所述待处理单元为全零块的所述第一预测概率；

基于所述至少一个第二特征序列表达中各所述第二特征序列表达和对应的所述第二预测模型，预测所述待处理单元为全零块的所述第二预测概率，得到所述至少一个第二预测概率。

5.根据权利要求1-4任一所述的方法，其中，所述第一特征序列表达和各所述第二特征序列表达分别包括包括如下至少一种特征的值：

所述待处理单元的尺寸、亮度均值和亮度方差、所述待处理单元的残差矩阵的亮度的绝对值和、均值和方差、以及对所述待处理单元的残差矩阵进行卷积后的亮度的绝对值、均值和方差。

6.一种预测模型的训练方法，包括：

从多个训练视频序列中获取多个训练处理单元；

获取各所述训练处理单元的标签；所述标签用于标识所述待处理单元为全零块或者非全零块；

提取各所述训练处理单元的特征序列表达；

基于所述多个训练处理单元中各所述训练处理单元的特征序列表达和所述标签，对所述预测模型进行训练。

7.根据权利要求6所述的方法，其中，获取各所述训练处理单元的标签，包括：

获取各所述训练处理单元的残差信息；

基于各所述训练处理单元的残差信息，依次进行变换处理和量化处理，其中量化编码处理采用率失真量化编码处理；

基于所述量化编码处理的结果，生成各所述训练处理单元的标签。

8.根据权利要求6-7任一所述的方法，其中，提取各所述训练处理单元的特征序列表达，包括：

获取各所述训练处理单元的多个备选特征表达；

从各所述训练处理单元的多个备选特征表达中，获取重要程度高的至少一个备选特征的值，作为各所述训练处理单元的特征序列表达。

9.根据权利要求8所述的方法，其中，从各所述训练处理单元的多个备选特征表达中，获取重要程度高的至少一个备选特征的值，作为各所述训练处理单元的特征序列表达，包括：

采用所述预测模型，基于各所述训练处理单元的所述多个备选特征表达和所述标签，对所述多个备选特征表达中包括的多个备选特征按照重要程度进行排序；

按照所述多个备选特征的重要程度的排序，获取至少一个重要程度高的备选特征，构成特征序列；

获取各所述训练处理单元的所述特征序列中各特征的值，得到各所述训练处理单元的所述特征序列表达。

10.一种基于人工智能的视频编码处理装置，包括：

提取模块，用于基于待处理单元的残差信息，提取第一特征序列表达和至少一个第二特征序列表达；

预测模块，用于基于所述第一特征序列表达、所述至少一个第二特征序列表达、预先训练的第一预测模型和至少一个第二预测模型，预测所述待处理单元为全零块的第一预测概率和至少一个第二预测概率；

获取模块，用于基于所述第一预测概率、所述至少一个第二预测概率、第一预设概率阈值和至少一个第二预设概率阈值，获取所述待处理单元是否为全零块的预测结果；

编码模块，用于基于所述预测结果，对所述待处理单元进行编码处理。

11.根据权利要求10所述的装置，其中，所述获取模块，用于：

若所述第一预测概率大于所述第一预设概率阈值，且所述至少一个第二预测概率中至少一个所述第二预设概率大于对应的所述第二预设概率阈值，则确定所述预测结果为所述待处理单元为全零块；

否则，确定所述预测结果为所述待处理单元为非全零块。

12.根据权利要求10所述的装置，其中，所述编码模块，用于：

若所述预测结果标识所述待处理单元为全零块，基于所述待处理单元的残差信息进行全零块编码处理；

若所述预测结果标识所述待处理单元为非全零块，基于所述待处理单元的残差信息进行变换处理、量化处理以及非全零块编码处理。

13.根据权利要求10所述的装置，其中，所述预测模块，用于：

基于所述第一特征序列表达和所述第一预测模型，获取所述待处理单元为全零块的所述第一预测概率；

基于所述至少一个第二特征序列表达中各所述第二特征序列表达和对应的所述第二预测模型，预测所述待处理单元为全零块的所述第二预测概率，得到所述至少一个第二预测概率。

14.根据权利要求10-13任一所述的装置，其中，所述第一特征序列表达和各所述第二特征序列表达分别包括包括如下至少一种特征的值：

所述待处理单元的尺寸、亮度均值和亮度方差、所述待处理单元的残差矩阵的亮度的绝对值和、均值和方差、以及对所述待处理单元的残差矩阵进行卷积后的亮度的绝对值、均值和方差。

15.一种预测模型的训练装置，包括：

单元获取模块，用于从多个训练视频序列中获取多个训练处理单元；

标签获取模块，用于获取各所述训练处理单元的标签；所述标签用于标识所述待处理单元为全零块或者非全零块；

提取模块，用于提取各所述训练处理单元的特征序列表达；

训练模块，用于基于所述多个训练处理单元中各所述训练处理单元的特征序列表达和所述标签，对所述预测模型进行训练。

16.根据权利要求15所述的装置，其中，所述标签获取模块，用于：

获取各所述训练处理单元的残差信息；

基于各所述训练处理单元的残差信息，依次进行变换处理和量化处理，其中量化编码处理采用率失真量化编码处理；

基于所述量化编码处理的结果，生成各所述训练处理单元的标签。

17.根据权利要求15-16任一所述的装置，其中，所述提取模块，用于：

获取各所述训练处理单元的多个备选特征表达；

从各所述训练处理单元的多个备选特征表达中，获取重要程度高的至少一个备选特征的值，作为各所述训练处理单元的特征序列表达。

18.根据权利要求17所述的装置，其中，所述提取模块，用于：

采用所述预测模型，基于各所述训练处理单元的所述多个备选特征表达和所述标签，对所述多个备选特征表达中包括的多个备选特征按照对所述标签的重要程度进行排序；

按照所述多个备选特征的重要程度的排序，获取至少一个重要程度高的备选特征，构成特征序列；

获取各所述训练处理单元的所述特征序列中各特征的值，得到各所述训练处理单元的所述特征序列表达。

19.一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-5或者6-9中任一项所述的方法。

20.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1-5或者6-9中任一项所述的方法。

21.一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1-5或者6-9中任一项所述的方法。

Images