CN110062237B - 视频编码的帧内编码模式选择方法和装置 - Google Patents

Abstract

本发明涉及视频压缩领域，提供了一种视频编码的帧内编码模式选择方法和装置，该方法包括：选取目标预测单元的第一候选模式列表中的编码模式，将选取出的各个编码模式组成第二候选模式列表；当目标预测单元存在关联预测单元时，则判断第二候选模式列表中是否存在与关联预测单元对应的最优编码模式相同的编码模式，当不存在时，则将所述最优编码模式添加至第二候选模式列表中，以得到第三候选模式列表；对所述第三候选模式列表中的所有编码模式进行率失真优化，以得到目标预测单元的最优编码模式，通过应用本方法，在选择目标预测单元的最优编码模式时，有效减少了目标预测单进行率失真优化的次数，从而降低了视频编码的复杂度。

Description

视频编码的帧内编码模式选择方法和装置

技术领域

本发明涉及视频压缩领域，特别涉及一种视频编码的帧内编码模式选择方法和装置。

背景技术

视频遍布人们生活中的方方面面，原始未经压缩的视频文件数据量非常大，在硬盘容量有限和互联网带宽受限的环境下，视频文件进行存储或传输时需要经过视频编码，即视频压缩。在最新的高效视频编码标准HEVC的帧内编码过程中，高达35种的编码模式增强了空域预测的有效性；在对视频进行编码时，需要对视频中的每一帧图像分割成大小相等的多个预测单元，确定每个预测单元的最优的编码模式，使用最优编码模式对预测单元进行编码。

经发明人研究发现，现有视频编码框架中采用的编码模式选择方式所选出的编码模式个数偏多，而视频编码需要对选出的每一个编码模式进行率失真优化，以确定预测单元的最优编码模式；随着选择的编码模式个数偏多，增加了进行率失真优化操作的次数，从而提高了视频编码的复杂度。

发明内容

本发明所要解决的技术问题是提供一种视频编码的帧内编码模式选择方法，对视频进行编码压缩的过程中确定目标编码模式的最优编码模式时，通过减少可选择的编码模式的数量，减少了进行率失真优化的次数，从而降低了视频编码的复杂度。

本发明还提供了一种视频编码的帧内编码模式选择装置，用以保证上述方法在实际中的实现及应用。

一种视频编码的帧内编码模式选择方法，包括：

获取当前图像帧中处于编码状态的目标预测单元；

将所述目标预测单元输入至已训练完成的神经网络模型，获取所述神经网络模型输出的所述目标预测单元的最少率失真优化模式值，所述最少率失真优化模式值为所述目标预测单元对应的进行率失真优化的编码模式的个数值；

获取与所述目标预测单元对应的第一候选模式列表，并从所述第一候选模式列表中选取预设数目的编码模式组成第二候选模式列表，所述第一候选模式列表中包含多个与所述目标预测单元对应的编码模式，所述预设数目与所述最少率失真优化模式值相等；

确定所述目标预测单元的标签信息，依据所述目标预测单元的标签信息判断所述目标预测单元在所述当前图像帧中是否存在与其对应的关联预测单元，所述关联预测单元为所述当前图像帧在预分割过程中位于所述目标预测单元左边的预测单元、位于所述目标预测单元左上的预测单元或位于所述目标预测单元上边的预测单元；

当所述目标预测单元在所述当前图像帧中存在与其对应的关联预测单元时，确定每个所述关联预测单元对应的最优编码模式；

依次对每个所述关联预测单元对应的最优编码模式执行第一操作，所述第一操作包括：判断所述关联预测单元对应的最优编码模式是否存在于所述第二候选模式列表中，若所述关联预测单元对应的最优编码模式不存在于所述第二候选模式列表中，则将所述关联预测单元对应的最优编码模式添加至所述第二候选模式列表中；

当各个所述关联预测单元的最优编码模式均执行完成所述第一操作时，获得第三候选模式列表；

对所述第三候选模式列表中所有的编码模式进行率失真优化，以确定目标预测单元的最优编码模式。

上述的方法，可选的，所述获取与所述目标预测单元对应的第一候选模式列表，包括：

确定所述目标预测单元的分割类型，依据所述目标预测单元的分割类型确定所述目标预测单元在确定最优编码模式过程中预选取的编码模式的个数；

将预设编码模式集中的各个编码模式按照预设的选取算法进行计算，得到各个编码模式对应的选取值；

按照所述选取值从小到大的顺序，依次获取与所述目标预测单元对应的编码模式，直至获取的编码模式个数与所述目标预测单元在确定最优编码模式过程中预选取的编码模式的个数相等，并将获取的各个编码模式组成所述目标预测单元对应的第一候选模式列表。

上述的方法，可选的，所述从所述第一候选模式列表中选取预设数目的编码模式组成第二候选模式列表，包括：

将所述第一候选模式列表中的各个编码模式按照所述选取值从小到大的顺序依次进行排序，以确定各个编码模式在所述第一候选模式列表中的选取优先级；

按照所述选取优先级从高到低的顺序，依次从所述第一候选模式列表中选取编码模式，直至选取的编码模式的个数等于所述最少率失真优化模式值，将从所述第一候选模式列表中选取的各个编码模式组成第二候选模式列表。

上述的方法，可选的，还包括：

当所述目标预测单元在所述当前图像帧中不存在与其对应的关联预测单元时，则对所述第二候选模式列表中的所有编码模式进行率失真优化，以确定所述目标预测单元的最优编码模式。

上述的方法，可选的，所述判断所述关联预测单元对应的最优编码模式是否存在于所述第二候选模式列表中，包括：

将所述关联预测单元对应的最优编码模式依次与所述第二候选模式列表中的各个编码模式进行比对；

当所述第二候选模式列表中存在与所述关联预测单元对应的最优编码模式相同的编码模式时，则所述关联预测单元对应的最优编码模式存在于所述第二候选模式列表中；否则，所述关联预测单元对应的最优编码模式不存在于所述第二候选模式列表中。

一种视频编码的帧内编码模式选择装置，其特征在于，包括：

获取单元，用于获取当前图像帧中处于编码状态的目标预测单元；

输入单元，用于将所述目标预测单元输入至已训练完成的神经网络模型，获取所述神经网络模型输出的所述目标预测单元的最少率失真优化模式值，所述最少率失真优化模式值为所述目标预测单元对应的进行率失真优化的编码模式的个数值；

选取单元，用于获取与所述目标预测单元对应的第一候选模式列表，并从所述第一候选模式列表中选取预设数目的编码模式组成第二候选模式列表，所述第一候选模式列表中包含多个与所述目标预测单元对应的编码模式，所述预设数目与所述最少率失真优化模式值相等；

判断单元，用于确定所述目标预测单元的标签信息，依据所述目标预测单元的标签信息判断所述目标预测单元在所述当前图像帧中是否存在与其对应的关联预测单元，所述关联预测单元为所述当前图像帧在预分割过程中位于所述目标预测单元左边的预测单元、位于所述目标预测单元左上的预测单元或位于所述目标预测单元上边的预测单元；

确定单元，用于当所述目标预测单元在所述当前图像帧中存在与其对应的关联预测单元时，确定每个所述关联预测单元对应的最优编码模式；

执行单元，用于依次对每个所述关联预测单元对应的最优编码模式执行第一操作，所述第一操作包括：判断所述关联预测单元对应的最优编码模式是否存在于所述第二候选模式列表中，若所述关联预测单元对应的最优编码模式不存在于所述第二候选模式列表中，则将所述关联预测单元对应的最优编码模式添加至所述第二候选模式列表中；当各个所述关联预测单元的最优编码模式均执行完成所述第一操作时，获得第三候选模式列表；

第一优化单元，用于对所述第三候选模式列表中所有的编码模式进行率失真优化，以确定目标预测单元的最优编码模式。

上述的装置，可选的，所述获取单元，包括：

确定子单元，用于确定所述目标预测单元的分割类型，依据所述目标预测单元的分割类型确定所述目标预测单元在确定最优编码模式过程中预选取的编码模式的个数；

计算子单元，用于将预设编码模式集中的各个编码模式按照预设的选取算法进行计算，得到各个编码模式对应的选取值；

第一获取子单元，用于按照所述选取值从小到大的顺序，依次获取与所述目标预测单元对应的编码模式，直至获取的编码模式个数与所述目标预测单元在确定最优编码模式过程中预选取的编码模式的个数相等，并将获取的各个编码模式组成所述目标预测单元对应的第一候选模式列表。

上述的装置，可选的，所述选取单元，包括；

排序子单元，用于将所述第一候选模式列表中的各个编码模式按照所述选取值从小到大的顺序依次进行排序，以确定各个编码模式在所述第一候选模式列表中的选取优先级；

第二选取子单元，用于按照所述选取优先级从高到低的顺序，依次从所述第一候选模式列表中选取编码模式，直至选取的编码模式的个数等于所述最少率失真优化模式值，将从所述第一候选模式列表中选取的各个编码模式组成第二候选模式列表。

上述的装置，可选的，还包括；

第二优化单元，用于当所述目标预测单元在所述当前图像帧中不存在与其对应的关联预测单元时，则对所述第二候选模式列表中的所有编码模式进行率失真优化，以确定所述目标预测单元的最优编码模式。

上述的装置，可选的，所述执行单元，包括：

比对单元，用于将所述关联预测单元对应的最优编码模式依次与所述第二候选模式列表中的各个编码模式进行比对；当所述第二候选模式列表中存在与所述关联预测单元对应的最优编码模式相同的编码模式时，则所述关联预测单元对应的最优编码模式存在于所述第二候选模式列表中；否则，所述关联预测单元对应的最优编码模式不存在于所述第二候选模式列表中。

与现有技术相比，本发明包括以下优点：

本发明提供了一种视频编码的帧内编码模式选择方法，包括：将目标预测单元输入已训练完成的神经网络模型中，以获取神经网络模型中输出的目标预测单元的最少率失真优化模式值，以及在目标预测单元对应的第一候选模式列表中选择各个编码模式，将选中的各个编码模式组成第二候选模式列表，所选取的编码模式的个数与所述最少率失真优化模式值相等；若目标预测单元存在对应的关联预测单元，则将所述关联预测单元的最优编码模式与第二候选模式列表中的编码模式进行比对，并将与所述第二候选模式列表中编码模式不同的最优编码模式添加至第二候选模式列表中，获得第三候选模式列表，对第三候选模式列表中所有的编码模式进行率失真优化，以确定目标预测单元的最优编码模式。通过应用本发明提供的视频编码的帧内编码模式选择方法，在选择目标预测单元的最优编码模式时，通过应用神经网络模型输出的目标预测单元的最少率失真优化模式值，有效减少了目标预测单元第三候选模式列表中编码模式的个数，减少了对目标预测单元进行率失真优化的次数，从而降低了视频编码的复杂度。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明提供的一种视频编码的帧内编码模式选择方法的方法流程图；

图2为本发明提供的一种视频编码的帧内编码模式选择方法的又一方法流程图；

图3为本发明提供的一种视频编码的帧内编码模式选择方法的又一方法流程图；

图4为本发明提供的一种视频编码的帧内编码模式选择方法的一示例图；

图5为本发明提供的一种视频编码的帧内编码模式选择方法的又一示例图；

图6为本发明提供的一种视频编码的帧内编码模式选择装置的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明可用于众多通用或专用的计算装置环境或配置中。例如：个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器装置、包括以上任何装置或设备的分布式计算环境等等。

本发明实施例提供了一种视频编码的帧内编码模式选择方法，该方法可以应用于进行视频编码的设备，其执行主体可以为计算机设备中的编码器，所述方法的方法流程图如图1所示，具体包括：

S101、获取当前图像帧中处于编码状态的目标预测单元。

本发明实施例提供的方法中，视频是由多个图像帧组成的，在对视频进行编码时，是对视频中的每一个图像帧逐帧进行编码，而对图像帧进行编码时，先将进行编码的当前图像帧按照预先设置的分割方法分割成多个大小一致的预测单元；需要说明的是，分割完成的当前图像帧中的多个预测单元有序排列；对当前图像帧中的各个预测单元逐个进行编码，获得当前图像帧中处于编码状态的目标预测单元，需要说明的是，将预测单元输入编码器中，则输入编码器中的预测单元为处于编码状态的目标预测单元。

S102、将所述目标预测单元输入至已训练完成的神经网络模型，获取所述神经网络模型输出的所述目标预测单元的最少率失真优化模式值，所述最少率失真优化模式值为所述目标预测单元对应的进行率失真优化的编码模式的个数值。

本发明实施例提供的方法中，将目标预测单元输入至已训练完成的神经网络模型中，以获得所述目标预测单元对应的最少率失真优化模式值；需要说明的是，神经网络模型在计算预测单元的最少率失真优化模式值时，可以对预测单元逐个进行计算，也同时计算多个预测单元的最少率失真优化模式值；

当神经网络模型同时计算多个预测单元的最少率失真优化模式值时，当前图像帧进行分割成多个大小相同的预测单元，并将各个预测单元进行标记；将预测单元全部输入至所述神经网络模型中，神经网络模型生成各个预测单元的对应的最少率失真优化模式值，并将所述各个预测单元对应的最少率失真优化模式值根据所述预测单元对应的标记进行保存；

当编码器需要获取目标预测单元的最优编码模式值时，将所述目标预测单元输入至神经网络模型中，神经网络模型查找与所述目标预测单元对应标记的最少率失真优化模式值，并将与所述目标预测单元对应标记的最少率失真优化模式值输出至编码器；

当神经网络模型逐个计算预测单元的最少率失真优化模式值时，编码器获取目标预测单元的同时，将所述目标预测单元输入至神经网络模型中，则神经网络模型对所述目标预测单元进行计算，输出与所述目标预测单元对应的最少率失真优化模式值；

需要说明的是，对预测单元进行标记的方法可以为：例如预测单元A的标记为(1，2，0)，其中1表示预测单元在当前帧图像中处于第一行，2表示预测单元在当前帧图像中处于第二列，其中0表示预测单元进行分割的深度，当分割深度为0时，即表示当前预测单元的分割类型为64×64；

需要说明的是，编码器对目标预测单元进行编码操作，以及神经网络模型对所述目标预测单元进行处理输出目标预测单元的最少率失真优化模式值的操作是并行的。

S103、获取与所述目标预测单元对应的第一候选模式列表，并从所述第一候选模式列表中选取预设数目的编码模式组成第二候选模式列表，所述第一候选模式列表中包含多个与所述目标预测单元对应的编码模式，所述预设数目与所述最少率失真优化模式值相等。

本发明实施例提供的方法中，获取与所述目标预测单元对应的第一候选模式列表，所述第一候选模式列表中包含编码器通过预设的第一选取方式，选取出多个与所述目标预测单元对应的编码模式；并按照预设的第二选取方式，从所述第一候选模式列表中选取出各个编码模式，选出的编码模式的个数与所述最少率失真优化模式值相等，并将从所述第一候选模式中选取出的各个编码模式组成所述第二候选模式列表。

S104、确定所述目标预测单元的标签信息，依据所述目标预测单元的标签信息判断所述目标预测单元在所述当前图像帧中是否存在与其对应的关联预测单元，所述关联预测单元为所述当前图像帧在预分割过程中位于所述目标预测单元左边的预测单元、位于所述目标预测单元左上的预测单元或位于所述目标预测单元上边的预测单元。

本发明实施例提供的方法中，确定所述目标预测单元的第二候选列表编码模式后，确定所述目标预测单元的标签信息，所述标签信息可以包括目标预测单元在所述当前图片帧的位置信息和所述目标预测单元的分割信息，所述位置信息可以为坐标信息；

依据所述标签信息判断所述目标预测单元在当前图像帧中是否存在与其对应的关联预测单元；所述关联预测单元为所述当前图像帧在预分割过程中位于所述目标预测单元左边的预测单元、位于所述目标预测单元左上的预测单元或位于所述目标预测单元上边的预测单元；

判断所述目标预测单元是否存在对应的关联预测单元时，逐次判断所述目标预测单元是否存在对应的所述左边的预测单元、所述左上的预测单元或所述上边的预测单元。

S105、当所述目标预测单元在所述当前图像帧中存在与其对应的关联预测单元时，确定每个所述关联预测单元对应的最优编码模式。

本发明实施例提供的方法中，当所述目标预测单元在所述当前图像帧中存在与其对应的关联预测单元时，确定每个所述关联预测单元所对应的最优编码模式；需要说明的是，存在对应的关联预测单元有三种情况：第一种情况为只存在位于所述目标预测单元左边的预测单元；第二种情况为只存在位于所述目标预测单元上边的预测单元；第三种情况是位于所述目标预测单元左边的预测单元、位于所述目标预测单元左上的预测单元以及位于所述目标预测单元上边的预测单元同时存在，此时有三个关联预测单元；

需要说明的是，当所述目标预测单元存在对应的关联预测单元时，则确定所述关联预测单元的最优编码模式，当所述目标预测单元存在关联预测单元是上文中所述的第三种情况时，则确定的最优编码模式有三个。

S106、依次对每个所述关联预测单元对应的最优编码模式执行第一操作，所述第一操作包括：判断所述关联预测单元对应的最优编码模式是否存在于所述第二候选模式列表中，若所述关联预测单元对应的最优编码模式不存在于所述第二候选模式列表中，则将所述关联预测单元对应的最优编码模式添加至所述第二候选模式列表中。

本发明实施例提供的方法中，当目标预测单元对应的关联预测单元存在三个时，则确定的对应的最优编码模式有三个，对每个最优编码模式逐一执行第一操作，所述第一操作的具体内容为：

判断所述关联预测单元对应的最优编码模式是否存在于所述第二候选模式列表中，若所述关联预测单元对应的最优编码模式不存在于所述第二候选模式列表中，则将所述关联预测单元对应的最优编码模式添加至所述第二候选模式列表；

当目标预测单元对应的关联预测单元只存在一个时，则确定的最优编码模式只有一个，则只需执行一次上述的第一操作。

S107、当各个所述关联预测单元的最优编码模式均执行完成所述第一操作时，获得第三候选模式列表。

本发明实施例提供的方法中，当目标预测单元对应的关联预测单元的最优编码模式均执行完S106中的第一操作时，得到第三候选模式列表，当所述关联预测单元的最优编码模式添加至所述第二候选模式列表时，则所述第三候选模式列表包含第二候选模式中的各个编码模式和添加的关联预测单元的最优编码模式。

S108、对所述第三候选模式列表中所有的编码模式进行率失真优化，以确定目标预测单元的最优编码模式。

本发明实施例提供的方法中，得到所述第三候选模式列表之后，则对第三候选模式列表中的所有编码模式进行率失真优化，即使用第三候选模式列表中的每个编码模式对所述目标预测单元逐次进行编码，以确定所述目标预测单元的最优编码模式；需要说明的是，编码器在对预测单元选择最优编码模式时，逐一对当前图像帧中的所有预测单元进行操作，当前图像帧分割成多个大小一致的预测单元之后，将分割好的多个预测单元按照从左到右，从上到下的顺序依次对各个预测单元选取最优编码模式。

本发明实施例提供的方法中，通过应用本方法将目标预测单元输入至预先训练完成的神经网络模型中，得到神经网络模型输出的目标预测单元的最少率失真优化模式值；获得与所述目标预测单元对应的第一候选模式列表，依据得到的最少率失真优化模式值在第一候选模式列表中选取编码模式，将选取出的编码模式组成第二候选模式列表，并判断目标测单元是否存在对应的关联预测单元，若存在关联预测单元，则对所述每个关联预测单元对应的最优编码模式逐一判断其是否存在于第二候选模式列表中，当所述关联预测单元对应的最优编码模式不存在于第二候选模式列表中时，则将其添加至所述第二候选模式列表中；直至每个所述关联预测单元的最优编码模式进行判断完成后，则获取目标预测单元的第三候选模式列表，对第三候选模式列表中的每个编码模式进行率失真优化，以得到所述目标预测单元最优的编码模式；通过应用本发明提供的方法，得到的第三候选模式列表中的各个编码模式均不相同，有效除去了重复的编码模式，以此减少了进行率失真优化的编码模式的个数，从而降低了编码器对所述目标预测单元进行率失真优化时的次数，在维持视频编码的率失真质量的同时，减少了视频编码的复杂度。

本发明实施提供的方法中，获取所述目标预测单元的最少率失真优化模式值之后，需要获取所述目标预测单元的第一候选模式列表，所述目标预测单元的第一候选模式列表的获取过程如图2所示，其具体内容如下所述：

S201、确定所述目标预测单元的分割类型，依据所述目标预测单元的分割类型确定所述目标预测单元在确定最优编码模式过程中预选取的编码模式的个数。

本发明实施例提供的方法中，确定当前图像帧中目标预测单元的分割类型，预测单元的分割类型可以分为以下几种：

1)分割深度为0时，预测单元的分割类型为64×64；

2)分割深度为1时，预测单元的分割类型为32×32；

3)分割深度为2时，预测单元的分割类型为16×16；

4)分割深度为3时，预测单元的分割类型为8×8；

5)分割深度为4时，预测单元的分割类型为4×4；

编码器匹配目标预测单元的分割类型，以确定目标预测单元预选取的编码模式的个数；不同的分割类型进行预选取的编码模式的个数不同，分割类型为64×64，32×32，16×16的这三种类型的预测单元的预选取的编码模式的个数均为3个；而分割类型为8×8和4×4这两种类型的预测单元的预选取的编码模式的个数均为8个；

可选的，当前图像帧在进行分割时，将分割得到的各个预测单元的分割类型进行标记，例如以分割深度来标记预测单元，标记为0时，分割类型为64×64，标记为1时，分割类型为32×32；编码器获得预测单元的标记即可获得预测单元的分割类型；需要说明的是，此处应用分割深度来标记预测单元的分割类型，仅是本发明实施例中提供的一种具体实施，通过其他方法实现标记预测单元的分割类型的方法，本发明均可应用。

S202、将预设编码模式集中的各个编码模式按照预设的选取算法进行计算，得到各个编码模式对应的选取值。

本发明实施例提供的方法中，在确定目标预测单元所对应的选取编码模式的个数之后，根据视频编码标准(High Efficiency Video Coding，HEVC)遍历35种编码模式，所述35种编码模式为预设的编码模式集中的各个编码模式；通过应用预先设置的算法，计算每个编码模式对应的选取值；所述预先设置的算法可以为哈达玛算法，通过应用哈达玛算法对预设编码模式集中的每个编码模式进行运算，得到每个编码模式分别对应的哈达玛值，所述哈达玛值为各个编码模式对应的选取值。

S203、按照所述选取值从小到大的顺序，依次获取与所述目标预测单元对应的编码模式，直至获取的编码模式个数与所述目标预测单元在确定最优编码模式过程中预选取的编码模式的个数相等，并将获取的各个编码模式组成所述目标预测单元对应的第一候选模式列表。

本发明实施例提供的方法中，确定预设编码模式集中各个编码模式的选取值之后，按照选取值从小到大的顺序依次选取编码模式，直至选择的编码模式的个数满足目标预测单元预选取的编码模式个数，此为预设的第一选取方式；所述目标预测单元预选取的编码模式个数为所述目标预测单元对应分割类型所选取的编码模式个数，将选取出的各个编码模式组成目标预测单元的第一候选模式列表；例如目标预测单元的分割类型为16×16，应选取8个编码模式，则编码器运用哈达玛运算，算出35种编码模式各自对应的哈达玛值，按照哈达玛值从小到大的顺序逐个选取编码模式，直至选出8个编码模式。

本发明实施例提供的方法中，确定预设编码模式集中各个编码模式的选取值之后，根据所述选取值选取出对所述目标预测单元进行预选取的各个编码模式，预选取的各个编码模式组成目标预测单元的第一候选模式列表，初步确定了目标预测单元所选取最优编码模式的选取范围，通过对所述第一候选模式列表中的编码模式再次进行选取，以获得第二候选模式列表，此为第二选取方式；进一步减少了目标预测单元所选取的最优编码模式的选取范围，确定所述第二候选模式列表的具体过程如图3所示，具体内容如下所述：

S301、将所述第一候选模式列表中的各个编码模式按照所述选取值从小到大的顺序依次进行排序，以确定各个编码模式在所述第一候选模式列表中的选取优先级。

本发明实施例提供的方法中，确定第一候选模式列表之后，对所述第一候选模式列表中的各个编码模式进行排序，排序的具体方法是按照各个编码模式对应的选取值从小到大的顺序进行排序，在所述第一候选模式列表中形成候选队列，依据所述候选队列的先后顺序确定各个编码模式在候选队列中的选取优先级；需要说明的是，选取值越小的编码模式所对应的选取优先值越高；其中各个编码模式的选取优先级还可以依据各个编码模式对应的哈达玛值来确定，哈达玛值越小的编码模式的选取优先级越高。

S302、按照所述选取优先级从高到低的顺序，依次从所述第一候选模式列表中选取编码模式，直至选取的编码模式的个数等于所述最少率失真优化模式值，将从所述第一候选模式列表中选取的各个编码模式组成第二候选模式列表。

本发明实施例提供的方法中，按照选取优先级从高到低的顺序，依次从所述第一候选模式列表中选取编码模式，直至从所述第一候选模式列表中选取的编码模式个数等于所述目标预测单元对应的最少率失真优化模式值，将选取的各个编码模式组成第二候选模式列表；例如目标预测单元的分割类型为16×16，则目标预测单元的第一候选模式列表中的编码模式的个数为3个，而目标预测单元的最少率失真优化模式值为1，则从第一候选模式列表中选出选取优先级最高的一个编码模式，组成第二候选模式列表。

本发明实施例提供的方法中，通过应用本发明提供的方法，应用神经网络模型输出的最少率失真优化模式值，有效减少了目标预测单元选取最优编码模式的范围，即减少了进行率失真优化的编码模式的个数，从而降低了编码器进行对预测单元进行率失真优化时的复杂性。

需要说明的是，本发明中神经网络模型输出的最少率失真优化模式值与目标预测单元的内容高度相关，所述内容高度与预测单元的纹理复杂度相关，如图4是本发明实施提供的最少率失真优化模式的具体实施例，该图是可以是视频中的其中一张图像帧；由图可知，预测单元1的最少率失真优化模式值为1，预测单元2的最少率失真优化模式值为3；其中预测单元1中的纹理复杂度较低且纹理简单平坦，预测单元2中的纹理复杂度较高，故而预测单元2的最少率失真优化模式值大于预测单元1的最少率失真优化模式值；

本发明实施例还提供了不同类型的预测单元所输出的最少率失真优化模式值的分布情况，具体如图5所示，当预测单元的类型为64×64时，应用本发明所提供的方法，预测单元选择3种编码模式的概率大概为0.3，因此表明了根据HEVC所选出的候选编码模式的个数对于大多数的预测单元都是多余过剩的，故而，应用本发明实施例提供的方法，可以减少预测单元选取的候选编码模式个数，减少进行率失真优化的次数，从而降低了编码复杂性。

编码器先将图片分割成若干个64×64类型的预测单元，将分割好的预测单元按照从左往右，从上到下的顺序进行最优编码模式的预测，获得各个预测单元的最优编码模式；在分割深度为0的基础上对64×64类型的各个预测单元进行分割，得到分割深度为1，32×32类型的若干个预测单元，将分割好的预测单元按照从左往右，从上到下的顺序进行最优编码模式的预测，获得各个预测单元的最优编码模式；在分割深度为1的基础上对32×32类型的各个预测单元进行分割，得到分割深度为2，16×16类型的预测单元；基于当前分割深度的基础上对各个预测单元进行分割，直到分割深度为4，预测单元类型为4×4时，停止分割；在每一次分割完毕之后，对分割好的各个预测单元选取最优编码模式；

本发明实施例提供的方法中，在对目标预测单元进行最优编码模式的预测时，需要获得预先训练好的神经网络模型输出的预测单元对应的最少率失真优化模式值，所述神经网络模型可以为卷积神经网络模型，或者是较浅较窄的低复杂度神经网络模型，在使用神经网络模型之前需要对其进行训练，通过训练以提高神经网络模型预测的最少率失真优化模式值的准确性；在神经网络模型的训练过程中，可以通过控制神经网络模型的不同输出部分所对应的权重，使得神经网络模型预测的最少率失真优化模式值在减少编码复杂度与保持编码性能两方面保持不同的倾向，还可通过输入外部配置参数，以适应不同的实际需求。

本发明实施例提供的方法中，目标预测单元生成第二候选模式列表之后，为减小视频编码的失真，需要判断目标预测单元是否存在对应的关联预测单元，当存在相关的关联预测单元时，需要判断所述关联预测单元的最优编码模式与目标预测单元的第二候选模式列表中的编码模式是否相同，具体的内容如下所述；

将所述关联预测单元对应的最优编码模式依次与所述第二候选模式列表中的各个编码模式进行比对；

当所述第二候选模式列表中存在与所述关联预测单元对应的最优编码模式相同的编码模式时，则所述关联预测单元对应的最优编码模式存在于所述第二候选模式列表中；否则，所述关联预测单元对应的最优编码模式不存在于所述第二候选模式列表中；

本发明实施例提供的方法中，若目标预测单元存在一个关联预测单元时，则确定关联预测单元的最优编码模式，将所述最优编码模式与第二候选模式列表中的各个编码模式逐一进行比对；当所述第二候选模式列表中存在与所述最优编码模式相同的编码模式时，则所述关联预测单元对应的最优编码模式存在于所述第二候选模式列表中，不将所述最优编码模式添加至所述第二候选模式列表中，有效的去除重复的编码模式，减少了进行率失真优化的次数；当所述第二候选模式列表中不存在与所述最优编码模式相同的编码模式时，则所述关联预测单元对应的最优编码模式不存在于所述第二候选模式列表中，将所述最优编码模式添加至所述第二候选模式列表中；

当目标预测单元存在多个关联预测单元时，则逐个对所述关联预测单元对应的最优编码模式进行判断其是否存在于所述第二候选模式列表中，当对各个关联预测单元对应的最优编码模式判断完成后，则获得第三候选模式列表。

本发明实施例提供的方法中，获得第三候选模式列表之后即对所述第三候选模式列表中的各个编码模式进行率失真优化，以从第三候选模式列表中确定目标预测单元的最优编码模式。

本发明实施例提供的方法中，判断目标预测单元是否存在相关的关联预测单元，若目标预测单元不存在对应的关联预测单元时，则对所述第二候选模式列表中的所有编码模式进行率失真优化，以确定目标预测单元的最优编码模式。

本发明实施例提供的方法中，应用各个编码模式对所述目标预测单元进行率失真优化时，得到各个编码模式进行率失真优化后对应的码率Rate以及失真质量PSNR，依据码率以及失真质量这两项指标，确定目标预测编码的最优编码模式。

本发明实施例提供的方法中，通过判断当前预测单元是否存在对应的关联单元，增加了各个预测单元之间的关联，在视频编码的过程中降低了视频编码的失真率，保证了编码器对视频进行编码的质量。

本发明实施例提供的方法中，通过获取神经网络生成的当前预测单元的最少率失真优化模式值，依据所述最少率失真优化模式值对所述预测单元的候选模式列表中的编码模式进行选择，组成第二候选模式列表，第二候选模式列表中的编码模式个数少于按照HEVC选取出的编码模式的个数，在确定目标预测单元的最优编码模式时，在确保视频编码质量的同时有效减少了编码器依据编码模式进行率失真优化的次数，有降低了编码计算的复杂度。

与图1所述的方法相对应，本发明实施例还提供了一种视频编码的帧内编码模式选择装置，用于对图1中方法的具体实现，本发明实施例提供的视频编码快速帧内模式选择装置可应用于计算终端或者各种具备编码能力的智能终端中，其结构示意图如图6所示，具体包括：

获取单元601，用于获取当前图像帧中处于编码状态的目标预测单元；

输入单元602，用于将所述目标预测单元输入至已训练完成的神经网络模型，获取所述神经网络模型输出的所述目标预测单元的最少率失真优化模式值，所述最少率失真优化模式值为所述目标预测单元对应的进行率失真优化的编码模式的个数值；

选取单元603，用于获取与所述目标预测单元对应的第一候选模式列表，并从所述第一候选模式列表中选取预设数目的编码模式组成第二候选模式列表，所述第一候选模式列表中包含多个与所述目标预测单元对应的编码模式，所述预设数目与所述最少率失真优化模式值相等；

判断单元604，用于确定所述目标预测单元的标签信息，依据所述目标预测单元的标签信息判断所述目标预测单元在所述当前图像帧中是否存在与其对应的关联预测单元，所述关联预测单元为所述当前图像帧在预分割过程中位于所述目标预测单元左边的预测单元、位于所述目标预测单元左上的预测单元或位于所述目标预测单元上边的预测单元；

确定单元605，用于当所述目标预测单元在所述当前图像帧中存在与其对应的关联预测单元时，确定每个所述关联预测单元对应的最优编码模式；

执行单元606，用于依次对每个所述关联预测单元对应的最优编码模式执行第一操作，所述第一操作包括：判断所述关联预测单元对应的最优编码模式是否存在于所述第二候选模式列表中，若所述关联预测单元对应的最优编码模式不存在于所述第二候选模式列表中，则将所述关联预测单元对应的最优编码模式添加至所述第二候选模式列表中；当各个所述关联预测单元的最优编码模式均执行完成所述第一操作时，获得第三候选模式列表；

第一优化单元607，用于对所述第三候选模式列表中所有的编码模式进行率失真优化，以确定目标预测单元的最优编码模式。

本发明实施例提供的视频编码的帧内编码模式选择装置，通过将分割好的预测单元输入预先训练好的神经网络中，获得神经网络输出的与预测单元对应的最少率失真优化模式值，依据所述最少率失真优化模式值选取预测单元的第一候选模式列表中的编码模式，组成目标预测单元对应的第二候选模式列表，第二候选模式列表中编码模式的个数不多于候选第一模式列表中编码模式的个数，有效减少了编码器进行率失真优化的次数，减少了视频编码的复杂度。

在本发明所提供的实施例中，基于前述方案，所述获取单元601，可以配置为：

确定子单元，用于确定所述目标预测单元的分割类型，依据所述目标预测单元的分割类型确定所述目标预测单元在确定最优编码模式过程中预选取的编码模式的个数；

计算子单元，用于将预设编码模式集中的各个编码模式按照预设的选取算法进行计算，得到各个编码模式对应的选取值；

第一获取子单元，用于按照所述选取值从小到大的顺序，依次获取与所述目标预测单元对应的编码模式，直至获取的编码模式个数与所述目标预测单元在确定最优编码模式过程中预选取的编码模式的个数相等，并将获取的各个编码模式组成所述目标预测单元对应的第一候选模式列表。

在本发明所提供的实施例中，基于前述方案，所述选取单元603，可以配置为：

排序子单元，用于将所述第一候选模式列表中的各个编码模式按照所述选取值从小到大的顺序依次进行排序，以确定各个编码模式在所述第一候选模式列表中的选取优先级；

第二选取子单元，用于按照所述选取优先级从高到低的顺序，依次从所述第一候选模式列表中选取编码模式，直至选取的编码模式的个数等于所述最少率失真优化模式值，将从所述第一候选模式列表中选取的各个编码模式组成第二候选模式列表。

在本发明所提供的实施例中，基于前述方案，还包括：

第二优化单元，用于当所述目标预测单元在所述当前图像帧中不存在与其对应的关联预测单元时，则对所述第二候选模式列表中的所有编码模式进行率失真优化，以确定所述目标预测单元的最优编码模式。

在本发明所提供的实施例中，基于前述方案，所述执行单元606，可以配置为：

比对单元，用于将所述关联预测单元对应的最优编码模式依次与所述第二候选模式列表中的各个编码模式进行比对；当所述第二候选模式列表中存在与所述关联预测单元对应的最优编码模式相同的编码模式时，则所述关联预测单元对应的最优编码模式存在于所述第二候选模式列表中；否则，所述关联预测单元对应的最优编码模式不存在于所述第二候选模式列表。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本发明时可以把各单元的功能在同一个或多个软件和/或硬件中实现。

通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本发明可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法。

以上对本发明所提供的一种网纹图片生成方法及装置进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种视频编码的帧内编码模式选择方法，其特征在于，包括：

获取当前图像帧中处于编码状态的目标预测单元；

将所述目标预测单元输入至已训练完成的神经网络模型，获取所述神经网络模型输出的所述目标预测单元的最少率失真优化模式值，所述最少率失真优化模式值为所述目标预测单元对应的进行率失真优化的编码模式的个数值；

获取与所述目标预测单元对应的第一候选模式列表，并从所述第一候选模式列表中选取预设数目的编码模式组成第二候选模式列表，所述第一候选模式列表中包含多个与所述目标预测单元对应的编码模式，所述预设数目与所述最少率失真优化模式值相等；

确定所述目标预测单元的标签信息，依据所述目标预测单元的标签信息判断所述目标预测单元在所述当前图像帧中是否存在与其对应的关联预测单元，所述关联预测单元为所述当前图像帧在预分割过程中位于所述目标预测单元左边的预测单元、位于所述目标预测单元左上的预测单元或位于所述目标预测单元上边的预测单元；

当所述目标预测单元在所述当前图像帧中存在与其对应的关联预测单元时，确定每个所述关联预测单元对应的最优编码模式；

依次对每个所述关联预测单元对应的最优编码模式执行第一操作，所述第一操作包括：判断所述关联预测单元对应的最优编码模式是否存在于所述第二候选模式列表中，若所述关联预测单元对应的最优编码模式不存在于所述第二候选模式列表中，则将所述关联预测单元对应的最优编码模式添加至所述第二候选模式列表中；

当各个所述关联预测单元的最优编码模式均执行完成所述第一操作时，获得第三候选模式列表；

对所述第三候选模式列表中所有的编码模式进行率失真优化，以确定目标预测单元的最优编码模式。

2.根据权利要求1所述的方法，其特征在于，所述获取与所述目标预测单元对应的第一候选模式列表，包括：

确定所述目标预测单元的分割类型，依据所述目标预测单元的分割类型确定所述目标预测单元在确定最优编码模式过程中预选取的编码模式的个数；

将预设编码模式集中的各个编码模式按照预设的选取算法进行计算，得到各个编码模式对应的选取值；

按照所述选取值从小到大的顺序，依次获取与所述目标预测单元对应的编码模式，直至获取的编码模式个数与所述目标预测单元在确定最优编码模式过程中预选取的编码模式的个数相等，并将获取的各个编码模式组成所述目标预测单元对应的第一候选模式列表。

3.根据权利要求2所述的方法，其特征在于，所述从所述第一候选模式列表中选取预设数目的编码模式组成第二候选模式列表，包括：

将所述第一候选模式列表中的各个编码模式按照所述选取值从小到大的顺序依次进行排序，以确定各个编码模式在所述第一候选模式列表中的选取优先级；

按照所述选取优先级从高到低的顺序，依次从所述第一候选模式列表中选取编码模式，直至选取的编码模式的个数等于所述最少率失真优化模式值，将从所述第一候选模式列表中选取的各个编码模式组成第二候选模式列表。

4.根据权利要求1所述的方法，其特征在于，还包括：

当所述目标预测单元在所述当前图像帧中不存在与其对应的关联预测单元时，则对所述第二候选模式列表中的所有编码模式进行率失真优化，以确定所述目标预测单元的最优编码模式。

5.根据权利要求1所述的方法，其特征在于，所述判断所述关联预测单元对应的最优编码模式是否存在于所述第二候选模式列表中，包括：

将所述关联预测单元对应的最优编码模式依次与所述第二候选模式列表中的各个编码模式进行比对；

当所述第二候选模式列表中存在与所述关联预测单元对应的最优编码模式相同的编码模式时，则所述关联预测单元对应的最优编码模式存在于所述第二候选模式列表中；否则，所述关联预测单元对应的最优编码模式不存在于所述第二候选模式列表中。

6.一种视频编码的帧内编码模式选择装置，其特征在于，包括：

获取单元，用于获取当前图像帧中处于编码状态的目标预测单元；

输入单元，用于将所述目标预测单元输入至已训练完成的神经网络模型，获取所述神经网络模型输出的所述目标预测单元的最少率失真优化模式值，所述最少率失真优化模式值为所述目标预测单元对应的进行率失真优化的编码模式的个数值；

选取单元，用于获取与所述目标预测单元对应的第一候选模式列表，并从所述第一候选模式列表中选取预设数目的编码模式组成第二候选模式列表，所述第一候选模式列表中包含多个与所述目标预测单元对应的编码模式，所述预设数目与所述最少率失真优化模式值相等；

判断单元，用于确定所述目标预测单元的标签信息，依据所述目标预测单元的标签信息判断所述目标预测单元在所述当前图像帧中是否存在与其对应的关联预测单元，所述关联预测单元为所述当前图像帧在预分割过程中位于所述目标预测单元左边的预测单元、位于所述目标预测单元左上的预测单元或位于所述目标预测单元上边的预测单元；

确定单元，用于当所述目标预测单元在所述当前图像帧中存在与其对应的关联预测单元时，确定每个所述关联预测单元对应的最优编码模式；

执行单元，用于依次对每个所述关联预测单元对应的最优编码模式执行第一操作，所述第一操作包括：判断所述关联预测单元对应的最优编码模式是否存在于所述第二候选模式列表中，若所述关联预测单元对应的最优编码模式不存在于所述第二候选模式列表中，则将所述关联预测单元对应的最优编码模式添加至所述第二候选模式列表中；当各个所述关联预测单元的最优编码模式均执行完成所述第一操作时，获得第三候选模式列表；

第一优化单元，用于对所述第三候选模式列表中所有的编码模式进行率失真优化，以确定目标预测单元的最优编码模式。

7.根据权利要求6所述的装置，其特征在于，所述获取单元，包括：

确定子单元，用于确定所述目标预测单元的分割类型，依据所述目标预测单元的分割类型确定所述目标预测单元在确定最优编码模式过程中预选取的编码模式的个数；

计算子单元，用于将预设编码模式集中的各个编码模式按照预设的选取算法进行计算，得到各个编码模式对应的选取值；

第一获取子单元，用于按照所述选取值从小到大的顺序，依次获取与所述目标预测单元对应的编码模式，直至获取的编码模式个数与所述目标预测单元在确定最优编码模式过程中预选取的编码模式的个数相等，并将获取的各个编码模式组成所述目标预测单元对应的第一候选模式列表。

8.根据权利要求7所述的装置，其特征在于，所述选取单元，包括；

排序子单元，用于将所述第一候选模式列表中的各个编码模式按照所述选取值从小到大的顺序依次进行排序，以确定各个编码模式在所述第一候选模式列表中的选取优先级；

第二选取子单元，用于按照所述选取优先级从高到低的顺序，依次从所述第一候选模式列表中选取编码模式，直至选取的编码模式的个数等于所述最少率失真优化模式值，将从所述第一候选模式列表中选取的各个编码模式组成第二候选模式列表。

9.根据权利要求6所述的装置，其特征在于，还包括；

第二优化单元，用于当所述目标预测单元在所述当前图像帧中不存在与其对应的关联预测单元时，则对所述第二候选模式列表中的所有编码模式进行率失真优化，以确定所述目标预测单元的最优编码模式。

10.根据权利要求6所述的装置，其特征在于，所述执行单元，包括：

比对单元，用于将所述关联预测单元对应的最优编码模式依次与所述第二候选模式列表中的各个编码模式进行比对；当所述第二候选模式列表中存在与所述关联预测单元对应的最优编码模式相同的编码模式时，则所述关联预测单元对应的最优编码模式存在于所述第二候选模式列表中；否则，所述关联预测单元对应的最优编码模式不存在于所述第二候选模式列表中。

Images