CN110913215B - 一种预测模式的选择方法及装置、可读存储介质 - Google Patents

Abstract

本申请提供一种预测模式的选择方法及装置、可读存储介质。该方法包括：确定待处理的图像帧PU单元的多种PU预测模式；基于所述图像帧的亮度信息计算所述多种PU预测模式分别对应的亮度率失真代价；根据所述多种PU预测模式分别对应的亮度率失真代价筛选出需要计算色度率失真代价的目标预测模式，并基于所述图像帧的色度信息计算所述目标预测模式对应的色度率失真代价；根据所述多种PU预测模式分别对应的亮度率失真代价和所述目标预测模式对应的色度率失真代价确定所述图像帧PU单元的最优预测模式。该方法实现了预测流程的优化，降低了模式选择的复杂度，适用性强。

Description

一种预测模式的选择方法及装置、可读存储介质

技术领域

本申请涉及视频编码技术领域，具体而言，涉及一种预测模式的选择方法及装置、可读存储介质。

背景技术

在视频编码中，在进行帧预测时，需要基于多个预测模式(划分方式)选择一个预测模式，然后根据选择的预测模式进行编码。选择预测模式的过程涉及到各种计算，目前常见的预测模式选择的方案有三种：一是不进行优化，所有的预测模式都进行计算；二是优先进行对称划分模式的计算，然后根据一定的优化策略，选择性地跳过部分非对称划分方式。第三种为根据一些统计特性以及阈值判断，策略性选择某几种预测模式进行计算和判断。

对于第一种方式，虽然能够保证编码质量，但是编码复杂度太高，编码时间太长，编码需要的资源量高。对于第二种和第三种，只是简单的利用数值进行比较和判断，并且舍弃了大多数划分模式，最后得到的预测模式的适用性较差。

可见，现有技术的模式选择的方式复杂度高，适用性较差。

发明内容

本申请实施例的目的在于提供一种预测模式的选择方法及装置、可读存储介质，用以提高预测模式选择的适用性和降低计算复杂度。

第一方面，本申请实施例提供一种预测模式的选择方法，包括：确定待处理的图像帧PU单元的多种PU预测模式；基于所述图像帧的亮度信息计算所述多种PU预测模式分别对应的亮度率失真代价；根据所述多种PU预测模式分别对应的亮度率失真代价筛选出需要计算色度率失真代价的目标预测模式，并基于所述图像帧的色度信息计算所述目标预测模式对应的色度率失真代价；根据所述多种PU预测模式分别对应的亮度率失真代价和所述目标预测模式对应的色度率失真代价确定所述图像帧PU单元的最优预测模式。

在本申请实施例中，在确定图像帧的多种PU预测模式后，先基于亮度信息计算亮度率失真代价，然后筛选出一个目标预测模式；对于色度，只计算在该目标预测模式下的色度率失真代价，最后再根据计算出的各个率失真代价确定图像帧的预测模式。与现有技术相比，考虑到人眼视觉体验，色度信号损失相对不敏感，色度信息的计算利用亮度信息计算的结果进行计算，不但减少色度信息的计算量，对最终的结果的影响可以忽略不计。对亮度信息与色度信息采取不同比重的计算量，即亮度进行全划分全模式选择，色度则进行基于亮度模式的选择，实现了预测流程的优化，降低了模式选择的复杂度，提高了模式选择的适用性。

作为一种可能的实现方式，确定待处理的图像帧PU单元的多种PU预测模式，包括：根据所述图像帧的帧类型确定所述图像帧PU单元的预测方式；所述预测方式包括帧内预测或帧间预测；根据所述图像帧的编码标准确定所述图像帧PU单元在所述预测方式下的所述多种PU预测模式。

在本申请实施例中，该预测模式的选择方法不仅可以应用于帧内预测，也可以应用于帧间预测。由于图像帧的帧类型有不同的情况，不同的帧类型都可以采用该选择方法，进一步提高了该选择方法的适用性。

作为一种可能的实现方式，在根据所述多种PU预测模式分别对应的亮度率失真代价和所述目标预测模式对应的色度率失真代价确定所述图像帧的最优预测模式后，所述方法还包括：判断所述对应的预测模式的色度信息是否超过阈值；若所述对应的预测模式的色度信息超过所述阈值，根据所述多种PU预测模式分别对应的亮度率失真代价在所述多种PU预测模式中重新筛选出新的目标预测模式；基于所述图像帧的色度信息计算所述新的目标预测模式对应的色度率失真代价；根据所述多种PU预测模式分别对应的亮度率失真代价和所述新的目标预测模式对应的色度率失真代价确定所述图像帧PU单元的新的最优预测模式。

在本申请实施例中，利用了人眼视觉理论，但是在实际情况中，为了避免过度的色度视觉误差，还可以对色度进行纠错，进一步提高该选择方法的准确性，使其符合不同模式选择的编码特性。

作为一种可能的实现方式，在根据所述多种PU预测模式分别对应的亮度率失真代价筛选出需要计算色度率失真代价的目标预测模式之前，所述方法还包括：判断所述多种PU预测模式的数量是否大于预设值；对应的，根据所述多种PU预测模式分别对应的亮度率失真代价筛选出需要计算色度率失真代价的目标预测模式，包括：当所述多种PU预测模式的数量大于预设值时，根据所述多种PU预测模式分别对应的亮度率失真代价筛选出需要计算色度率失真代价的目标预测模式。

在本申请实施例中，亮度进行全划分模式的计算，色度进行基于亮度模式的计算，可以是在PU预测模式的数量较多的情况下采用，使该选择方法符合不同模式选择的编码特性。

作为一种可能的实现方式，所述方法还包括：当所述多种PU预测模式的数量小于预设值时，根据所述亮度信息和所述色度信息分别计算出所述多种PU预测模式对应的亮度率失真代价和色度率失真代价；根据所述多种PU预测模式对应的亮度率失真代价和色度率失真代价确定所述图像帧PU单元的最优预测模式。

在本申请实施例中，当PU预测模式的数量较少的情况下，可以亮度和色度都进行全划分模式的计算，此时计算量也不会很大，进一步提高了该选择方法的适用性。

作为一种可能的实现方式，在根据所述多种PU预测模式对应的亮度率失真代价和色度率失真代价确定所述图像帧PU单元的最优预测模式后，所述方法还包括：判断所述图像帧PU单元的最优预测模式的色度信息是否超过阈值；若所述图像帧PU单元的最优预测模式的色度信息超过所述阈值，重新根据所述多种PU预测模式对应的亮度率失真代价和色度率失真代价确定所述图像帧PU单元的新的最优预测模式。

在亮度和色度都进行全划分模式的计算时，也可以进行色度和亮度的纠错，进一步提高该选择方法的准确性，使其符合不同模式选择的编码特性。

第二方面，本申请实施例还提供一种预测模式的选择方法，包括：当待处理的图像帧PU单元的预测方式包括帧内预测和帧间预测时，根据所述图像帧的编码标准确定所述图像帧PU单元帧内预测对应的多种第一PU预测模式和帧间预测对应的多种第二PU预测模式；基于所述图像帧的亮度信息计算所述多种第一PU预测模式分别对应的亮度率失真代价；当所述多种第一PU预测模式的数量大于预设值时，根据所述多种第一PU预测模式分别对应的亮度率失真代价筛选出需要计算色度率失真代价的第一目标预测模式，并基于所述图像帧的色度信息计算所述第一目标预测模式对应的色度率失真代价；根据所述多种第一PU预测模式分别对应的亮度率失真代价和所述第一目标预测模式对应的色度率失真代价确定第一预测模式；基于所述图像帧的亮度信息计算所述多种第二PU预测模式分别对应的亮度率失真代价；当所述多种第二PU预测模式的数量大于所述预设值时，根据所述多种第二PU预测模式分别对应的亮度率失真代价筛选出需要计算色度率失真代价的第二目标预测模式，并基于所述图像帧的色度信息计算所述第二目标预测模式对应的色度率失真代价；根据所述多种第二PU预测模式分别对应的亮度率失真代价和所述第二目标预测模式对应的色度率失真代价确定第二预测模式；根据所述第一预测模式和所述第二预测模式确定所述图像帧PU单元的最优预测模式。

在本申请实施例中，当预测方式既包括帧内预测，又包括帧间预测时，帧内预测和帧间预测都可以在模式数量较多时，采用亮度全划分模式计算，色度基于亮度划分模式的计算方式，减少计算量，最后基于两种方式所选择出的预测模式确定图像帧PU单元的最优预测模式。可见，该选择方法的计算复杂度低，适用性高，能够符合不同模式选择的编码特性。

第三方面，本申请实施例还提供一种预测模式的选择装置，所述装置包括用于实现第一方面以及第一方面任意一种可能的实现方式中所述的方法的功能模块。

第四方面，本申请实施例提供一种预测模式的选择装置，所述装置包括用于实现第二方面以及第二方面任意一种可能的实现方式中所述的方法的功能模块。

第五方面，本申请实施例提供一种可读存储介质，所述可读存储介质上存储有计算机程序，所述计算机程序被计算机运行时执行如第一方面以及第一方面任意一种可能的实现方式、第二方面以及第二方面任意一种可能的实现方式中所述的方法。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本申请实施例提供的色度亚采样格式示意图；

图2为本申请实施例提供的预测模式的选择方法的流程图；

图3为本申请实施例提供的inter帧预测流程图；

图4为本申请实施例提供的预测模式的选择装置的功能模块框图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。

为了更清楚的介绍本申请实施例所提供的预测模式的选择方法，在介绍该选择方法之前，先对该选择方法涉及到的应用场景和相关技术进行介绍。

该选择方法应用于视频编码中的帧预测环节，视频编码一般是通过视频编码器实现的，该方法可以应用于各类视频编码器。

该选择方法利用到了人眼视觉理论，在数字视频采集过程中，一般采用两种采集方法：一种是使用相同的空间采样频率对图像的亮度信号和色度信号进行采样，也就是全采样；另一种是对亮度信号和色度信号分别采用不同的空间采样频率进行采样，即色度亚采样。因为人眼对色度信号的敏感程度比亮度信号低，利用该特性可以把图像中的部分色度信息给去掉而不被人察觉。这意味着对色度信号的采样率可以比亮度信号低，即相邻几个像素点可以共用相同的色度值。色度亚采样就是利用人类视觉的这一特性来达到数据压缩的目的。一般色度亚采样的格式为4:4:4、4:2:2、4:1:1和4:2:0，具体直观采样模式见图1。视频编码中最常用的采样格式为4:2:0。从数字视频采集的过程可以看出，利用人眼对色度信号的敏感度，可以降低色度信息的计算量。

对于视频信号来说，一幅图像内邻近像素之间有着较强的空间相关性，相邻图像之间也有很强的时间相关性。因此，视频编码包括帧内预测和帧间预测的方式。帧内预测是指利用视频空间域的相关性，使用当前图像已编码的像素预测当前像素，以达到去除视频空域冗余的目的，然后将预测残差作为后续编码模块的输入，进行下一步编码处理。帧内预测技术是消除视频空间冗余的主要技术之一。帧间预测是指利用视频时间域的相关性，使用邻近已编码图像的重建像素预测当前图像的像素，以达到有效去除视频时域冗余的目的。由于视频序列通常包括较强的时域相关性，因此预测残差通常是“平坦的”，即很多残差值接近于“0”。将残差信号作为后续模块的输入进行变换、量化、扫描及熵编码，可实现对视频信号的高效压缩。

视频编码可以采用不同的编码标准，不同的编码标准中有规定的划分方法，每种划分方式得到的划分模式可视为一种可选择的预测模式。常见的编码标准例如：AVS(AudioVideo coding Standard，信源编码标准)系列编码标准，如AVS2、AVS3等；HEVC(HighEfficiency Video Coding，高效率视频编码)，包括：H.264、H.265。

基于不同的编码标准，设置有不同的PU(Predict Unit，预测单元)划分方式。CTU是coding tree unit的简称，中文叫作编码树单元，是编码一帧图像的基本单元，即图像是首先划分为多个CTU后对每个CTU进行编码的。CTU按照四叉树的方法，分为一个或者一系列的CU。每个CU块包含一个亮度编码块和对应的两个色度编码块。预测时，一个CU按照四叉树的方式，分为一个或者一系列的PU(预测单元)块；变换时，一个CU(变换单元)按照四叉树的方式，分为一个或者一系列的TU块。本申请实施例提供的选择方法应用于PU划分方式的选择，因此，只要涉及到PU划分方式的编码标准以及对应的预测方式都可以采用该选择方法。

进一步的，对于一个编码帧来说，有不同的帧类型，包括：I帧、P帧、B帧。I帧(intraframe)就是俗称的关键帧，它靠尽可能去除图像空间冗余信息来压缩传输数据量的帧内编码图像。I帧仅使用帧内预测进行编码，属于帧内压缩。它是一个全帧压缩编码帧，不需要参考其他画面而生成，解码时仅用I帧的数据就可重构完整图像。I帧所占数据的信息量最大，压缩效率也最小。P帧(predicted frame)就是俗称的单向编码帧。它是通过充分降低于图像序列中前面已编码帧的时间冗余信息来压缩传输数据量的编码图像，也叫预测帧。P帧由在它前面的P帧或者I帧预测而来，或者利用当前P帧内部已编码像素进行预测得到。总体来说，P帧既能考虑时间上的运动特性进行压缩，也能考虑空间冗余信息进行压缩。P帧压缩效率比I帧大。B帧(bi-directional frame)就是俗称的双向编码帧。它既考虑与源图像序列前面已编码帧，也顾及源图像序列后面已编码帧之间的时间冗余信息来压缩传输数据量的编码图像。B帧压缩效率最大。

intra帧是指上述提到的I帧，即整帧只做帧内预测流程的帧类型。inter帧是除I帧以外的所有帧类型，包括上述提到的P帧和B帧都属于inter帧。inter帧既可以进行帧内预测流程，也可以进行帧间预测流程。

基于上述应用场景和相关技术的介绍，接下来请参照图2，图2为本申请实施例提供的预测模式的选择方法，该方法包括：

步骤101：确定待处理的图像帧PU单元的多种PU预测模式。

步骤102：基于图像帧的亮度信息计算多种PU预测模式分别对应的亮度率失真代价。

步骤103：根据多种PU预测模式分别对应的亮度率失真代价筛选出需要计算色度率失真代价的目标预测模式，并基于图像帧的色度信息计算目标预测模式对应的色度率失真代价。

步骤104：根据多种PU预测模式分别对应的亮度率失真代价和目标预测模式对应的色度率失真代价确定图像帧PU单元的最优预测模式。

与现有技术相比，考虑到人眼视觉体验，色度信号损失相对不敏感，色度信息的计算利用亮度信息计算的结果进行计算，不但减少色度信息的计算量，对最终的结果的影响可以忽略不计。对亮度信息与色度信息采取不同比重的计算量，即亮度进行全划分全模式选择，色度则进行基于亮度模式的选择，实现了预测流程的优化，降低了模式选择的复杂度，提高了该选择方法的适用性。

接下来对步骤101-步骤104的流程做介绍。

对于本申请实施例所提供的选择方法，既可以应用于帧内预测，也可以应用于帧间预测，因此，步骤101的一种可选的实施方式：根据图像帧的帧类型确定图像帧PU单元的预测方式；预测方式包括帧内预测或帧间预测；根据图像帧的编码标准确定图像帧PU单元在预测方式下的多种PU预测模式。

其中，在确定预测方式时，根据前述介绍，可以理解，当帧类型为intra帧时，可以确定预测方式为帧内预测；当帧类型为inter帧时，可以确定预测方式为帧内预测或者帧间预测，如果采用的帧内预测，那么预测方式就为帧内预测，如果采用的帧间预测，那么预测方式就为帧间预测。当然，当帧类型为inter帧时，也可以同时采用帧内预测和帧间预测，当预测方式为帧内预测和帧间预测时，在后续的实施例中有另外的预测模式的选择方法，在此先不作介绍。

进一步的，在确定预测方式后，可以根据图像帧的编码标准确定PU单元在对应的预测方式下的多种PU预测模式。需要注意的是，这里的多种PU预测模式指的是通过不同的划分方式所得到的最终的预测模式，例如一种划分方式下的不同角度可视为多种预测模式。

举例来说，假设编码标准为AVS2编码标准，预测方式为帧内预测，此时的PU分为2Nx 2N、N x N、2N x 0.5N、0.5N x 4N总共4种不同划分方式，在每种划分方式下，还有33种不同的方向(角度)，那么预测模式可以包括：在不同的划分方式下采用不同的划分方向得到的预测模式。在最后确定图像帧PU单元的最优预测模式时，需要对划分方式和划分方向进行选择。假设编码标准为AVS2编码标准，预测方式为帧间预测，此时的PU分为Merge模式与AMVP模式，在两种模式下，又有不同的划分方式，那么预测模式可以包括：每种预测模式下的采用不同的划分方式的得到的预测模式。在最后确定图像帧PU单元的最优预测模式时，需要对划分模式和划分方式进行选择。

进一步的，在步骤101中确定出多种预测模式后，可以执行步骤102，即基于图像帧的亮度信息计算多种PU预测模式分别对应的亮度率失真代价。

在步骤102中，举例来说，假设PU分为2N x 2N、N x N、2N x 0.5N、0.5N x 4N总共4种不同划分方式，在每种划分方式下，还有33种不同的方向，在该步骤中就需要计算每种划分方式下的33种不同方向的亮度率失真代价。

进一步的，在步骤102后，执行步骤103，在步骤103中，先根据多种PU预测模式分别对应的亮度率失真代价筛选出需要计算色度率失真代价的目标预测模式。这一步的作用就是在亮度全划分模式的基础上，筛选出目标预测模式，使色度信息直接基于该目标预测模式进行计算。在本申请实施例中，目标预测模式可以只有一种。在筛选时，可以选择亮度率失真代价最小的PU预测模式，例如：在2N x 2N划分方式下的第10种方向的亮度信息所计算出的亮度率失真代价最小，那么就可以将采用2N x 2N划分方式下的第10种方向得到的预测模式作为目标预测模式。

进一步的，可以基于图像帧的色度信息计算目标预测模式对应的色度率失真代价。在计算时，可以通过计算U分量与V分量的色度率失真代价，来得到最终的色度率失真代价，即：RD_cost＝luma_RD_cost+chroma_U_RD_cost+chroma_V_RD_cost，其中，luma_RD_cost为目标预测模式的亮度率失真代价；chroma_U_RD_cost为目标预测模式的U分量的色度率失真代价；chroma_V_RD_cost为目标预测模式的V分量的色度率失真代价。

对于步骤103来说，采用的是亮度全划分和色度基于亮度的划分，这种方式能够减少色度的计算量，可以理解，当可供选择的PU预测模式数量越多的情况下，该方式的效果更显著。因此，作为一种可选的实施方式，在步骤103之前，该方法还包括：判断多种PU预测模式的数量是否大于预设值。对应的，步骤103可以包括：当多种PU预测模式的数量大于预设值时，根据多种PU预测模式分别对应的亮度率失真代价筛选出需要计算色度率失真代价的目标预测模式。在这种实施方式中，会对PU预测模式的数量进行判断，当数量大于预设值时，才采用亮度全划分和色度基于亮度的划分的方式。其中，该预设值可以根据实际的应用场景进行设置，例如该预设值可以为0-5。

进一步的，在步骤103中计算出目标预测模式对应的色度率失真代价后，执行步骤104，即根据多种PU预测模式分别对应的亮度率失真代价和目标预测模式对应的色度率失真代价确定图像帧PU单元的最优预测模式。作为一种可选的实施方式，在步骤104中，若目标预测模式的亮度率失真代价不是最小值，就选择多种PU预测模式中亮度率失真代价最小的预测模式作为最佳的预测模式；若目标预测模式的亮度率失真代价是最小值，就可以选择目标预测模式作为最佳的预测模式。

在前述实施例中，涉及到在步骤103前可以对PU预测模式的数量进行判断，当判断的结果为数量大于预设值时，才执行步骤103以及步骤104。那么对应的，当判断的结果为数量小于预设值时，可以采用另一种实施方式。因此，该选择方法还包括：当多种PU预测模式的数量小于预设值时，根据亮度信息和所述色度信息分别计算出多种PU预测模式对应的亮度率失真代价和色度率失真代价；根据多种PU预测模式对应的亮度率失真代价和色度率失真代价确定图像帧PU单元对应的最优预测模式。

在这种实施方式中，因为PU预测模式的数量较少，色度和亮度都进行全划分，然后进行分别的率失真代价的计算，最后基于分别的率失真代价进行确定最优预测模式。在最终确定时，可以将每种划分方式下的色度率失真代价和亮度率失真代价相加得到总的率失真代价值，然后将总的率失真代价值最小的划分方式对应的预测模式作为图像帧PU单元的最优预测模式。

此外，不管色度和亮度都进行全划分，还是亮度全划分，色度基于亮度的划分，都可以进行色度纠错。

对于亮度全划分，色度基于亮度的划分的这种情况，在步骤104后，该方法还包括：判断最优预测模式的色度信息是否超过阈值；若最优预测模式的色度信息超过阈值，根据多种PU预测模式分别对应的亮度率失真代价在多种PU预测模式中重新筛选出新的目标预测模式；基于图像帧的色度信息计算新的目标预测模式对应的色度率失真代价；根据多种PU预测模式分别对应的亮度率失真代价和新的目标预测模式对应的色度率失真代价确定图像帧PU单元新的最优预测模式。

在这种情况中，当色度信息超过阈值时，需要重新选择新的目标预测模式，在选择时，可以重新计算一次多种PU预测模式的亮度率失真代价，基于重新计算出的亮度率失真代价选择最小的亮度率失真代价对应的预测模式作为新的目标预测模式，然后按照与步骤103和步骤104相同的方式确定新的最优预测模式。当然，也可以不进行重新计算，依旧基于原来计算的，但是选择的规则改变。例如选择亮度率失真代价第二小的，又或者在步骤104中确定最终的预测模式时，与原来采用不同的确定规则。

对于色度和亮度都进行全划分的情况，该方法还包括：判断图像帧PU单元的最优预测模式的色度信息是否超过阈值；若图像帧PU单元的最优预测模式的色度信息超过阈值，重新根据多种PU预测模式对应的亮度率失真代价和色度率失真代价确定图像帧PU单元新的最优预测模式。

在这种情况中，重新确定时，可以再计算一次多种PU预测模式对应的亮度率失真代价和色度率失真代价，然后基于新的计算结果确定新的最优预测模式，选择的方式与前述实施例中介绍的确定方式相同。当然，也可以直接基于原来计算出的亮度率失真代价和色度率失真代价进行选择，例如不再选择和最小的，而是选择亮度率失真代价最小的或者色度率失真代价最小的对应的预测模式作为新的最优预测模式。

在本申请实施例中，利用了人眼视觉理论，但是在实际情况中，为了避免过度的色度视觉误差，对色度进行纠错，进一步提高该选择方法的准确性，使其符合不同模式选择的编码特性。

在前述实施例中，介绍的是针对单独的帧内预测或者单独的帧间预测的情况的实施方式，对于inter帧来说，通常会同时采用帧内预测和帧间预测，基于此，本申请实施例还提供一种预测模式的选择方法，该选择方法包括：当待处理的图像帧PU单元的预测方式包括帧内预测和帧间预测时，根据图像帧的编码标准确定图像帧PU单元帧内预测对应的多种第一PU预测模式和帧间预测对应的多种第二PU预测模式；基于图像帧的亮度信息计算多种第一PU预测模式分别对应的亮度率失真代价；当多种第一PU预测模式的数量大于预设值时，根据多种第一PU预测模式分别对应的亮度率失真代价筛选出需要计算色度率失真代价的第一目标预测模式，并基于图像帧的色度信息计算第一目标预测模式对应的色度率失真代价；根据多种第一PU预测模式分别对应的亮度率失真代价和第一目标预测模式对应的色度率失真代价确定第一预测模式；基于图像帧的亮度信息计算多种第二PU预测模式分别对应的亮度率失真代价；当多种第二PU预测模式的数量大于所述预设值时，根据多种第二PU预测模式分别对应的亮度率失真代价筛选出需要计算色度率失真代价的第二目标预测模式，并基于图像帧的色度信息计算第二目标预测模式对应的色度率失真代价；根据多种第二PU预测模式分别对应的亮度率失真代价和第二目标预测模式对应的色度率失真代价确定第二预测模式；根据第一预测模式和第二预测模式确定图像帧PU单元的最优预测模式。

其中，相当于帧内预测和帧间预测进行分别的处理，对于编码器来说，该分别的处理没有固定的执行顺序。在分别处理后，最终会结合帧内预测所确定出的第一预测模式和帧间预测所确定出的第二预测模式选定图像帧PU单元的最优预测模式。确定的方式，可以是确定两个预测模式中率失真代价较小的预测模式。

此外，在这种实施方式中，对于分别的帧内预测和帧间预测的预测模式的确定过程中，都可以进行色度纠错，与前述实施例中的纠错方式一致。在最后从第一预测模式和第二预测模式中选定图像帧PU单元的预测模式后，还可以按照相同的方式进行一次色度纠错，以充分确保最终结果的准确性，使其符合不同模式选择的编码特性。

为了使本申请实施例所提供的技术方案更便于理解，接下来结合具体的举例对技术方案进行进一步的介绍，在本申请实施例中以inter帧为例进行介绍。

inter帧预测流程既包括帧内预测流程，又包括帧间预测流程，编码器最终是从诸多预测模式中选择出最优预测模式，假设编码标准为AVS2，请参照图3，为一种可选的预测流程示意图。在图3中，分为了帧内预测流程和帧间预测流程。

对于帧内预测流程，主要包括：

(1)将PU分为2N x 2N、N x N、2N x 0.5N、0.5N x 4N总共4种不同划分方式，分别进行预测处理。

(2)在每种PU划分模式下：

I、先只采用亮度信息，计算出33种不同方向的luma_RD_cost(亮度率失真代价)，选择出一种最佳的亮度预测方向。

II、选出最佳亮度预测方向后，色度不进行选择判断，直接沿用最佳亮度预测方向，计算出U分量与V分量的chroma_RD_cost(色度率失真代价)，这样每种PU划分下，色度流程只用进行一次RD_cost(率失真代价)计算，节省了大量的计算消耗。

(3)比较4种PU划分方式的RD_cost，选择出最优划分方向以及划分模式。

(4)根据特定的优化策略，对最优预测模式的色度信息进行阈值判断，若超过了阈值范围，则亮度模式会重新选择判断，再次选出RD_cost最小的一种色度模式。

按照以上4个步骤，可以计算得出帧内预测的最优预测模式的intra_RD_cost(帧内率失真代价)。

对于帧间预测流程，主要包括：

(1)将PU分为Merge模式与AMVP模式，分别进行RD_cost计算。

(2)Merge模式下，skip与direct分别进行亮度和色度的RD_cost计算，即Merge不进行色度优化流程，直接按传统流程算出skip_RD_cost与direct_RD_cost。其中，skip与direct为Merge模式的两种划分方式。

(3)AMVP模式下：

I、将PU分为8种不同的划分方式，有对称形式也有非对称形式。

II、只采用亮度信息，计算出8种不同划分方式的luma_RD_cost，选择出一种最佳的亮度划分方式；

III、选出最佳亮度划分方式后，色度直接采用该划分方式，计算出该划分方式下的chroma_RD_cost，即现在能计算出AMVP下的最佳RD_cost。

(4)比较Merge_RD_cost与AMVP_RD_cost，选择帧间预测的最优预测模式。如果最优预测模式是Merge模式时，按照特定的优化策略对色度信息进行阈值判断，如果超过了阈值范围，则最优预测模式改为AMVP策略。

按照以上4个步骤，可以计算得出帧间预测的最优预测模式的inter_RD_cost(帧间率失真代价)。

最后，比较帧内预测与帧间预测的代价，选择该PU块最优模式。如果该PU块最优模式为AMVP模式，则按照特定的优化策略对色度信息进行阈值判断，如果超过阈值范围，则最优模式改为intra_RD_cost下的预测模式。

通过图3的预测流程可以看出，引入人眼视觉理论，将其运用在视频编码预测流程中，既适应于帧内预测流程，也适用于帧间预测流程；对亮度信息与色度信息采取不同比重的计算量，即亮度进行全划分全模式选择，色度则进行最优亮度模式选择，实现了预测流程优化；利用色度纠错，为了防止过度的色度视觉误差。并且不同的预测模式，有各自特定的纠错策略，更符合不同模式选择的编码特性。

基于同一发明构思，请参照图4，本申请实施例中还提供一种预测模式的选择装置200，包括：确定模块201、计算模块202、处理模块203。

确定模块201，用于确定待处理的图像帧PU单元的多种PU预测模式。计算模块202，用于基于所述图像帧的亮度信息计算所述多种PU预测模式分别对应的亮度率失真代价。处理模块203，用于根据所述多种PU预测模式分别对应的亮度率失真代价筛选出需要计算色度率失真代价的目标预测模式，并基于所述图像帧的色度信息计算所述目标预测模式对应的色度率失真代价。确定模块201还用于：根据所述多种PU预测模式分别对应的亮度率失真代价和所述目标预测模式对应的色度率失真代价确定所述图像帧PU单元的最优预测模式。

可选的，确定模块201还用于：根据所述图像帧的帧类型确定所述图像帧PU单元的预测方式；所述预测方式包括帧内预测或帧间预测；根据所述图像帧的编码标准确定所述图像帧PU单元在所述预测方式下的所述多种PU预测模式。

可选的，处理模块203还用于：判断所述最优预测模式的色度信息是否超过阈值；若所述最优预测模式的色度信息超过所述阈值，根据所述多种PU预测模式分别对应的亮度率失真代价在所述多种PU预测模式中重新筛选出新的目标预测模式；基于所述图像帧的色度信息计算所述新的目标预测模式对应的色度率失真代价。确定模块201还用于根据所述多种PU预测模式分别对应的亮度率失真代价和所述新的目标预测模式对应的色度率失真代价确定所述图像帧PU单元的新的最优预测模式。

可选的，处理模块203还用于：判断所述多种PU预测模式的数量是否大于预设值；当所述多种PU预测模式的数量大于预设值时，根据所述多种PU预测模式分别对应的亮度率失真代价筛选出需要计算色度率失真代价的目标预测模式。

可选的，计算模块202还用于：当所述多种PU预测模式的数量小于预设值时，根据所述亮度信息和所述色度信息分别计算出所述多种PU预测模式对应的亮度率失真代价和色度率失真代价。确定模块201还用于根据所述多种PU预测模式对应的亮度率失真代价和色度率失真代价确定所述图像帧PU单元的最优预测模式。

可选的，处理模块203还用于：判断所述图像帧PU单元的最优预测模式的色度信息是否超过阈值。确定模块201还用于：若所述图像帧PU单元的最优预测模式的色度信息超过所述阈值，重新根据所述多种PU预测模式对应的亮度率失真代价和色度率失真代价确定所述图像帧PU单元的新的最优预测模式。

基于同一发明构思，本申请实施例中还提供另一种预测模式的选择装置，包括确定模块、第一选择模块以及第二选择模块。

确定模块，用于当待处理的图像帧PU单元的预测方式包括帧内预测和帧间预测时，根据所述图像帧的编码标准确定图像帧PU单元帧内预测对应的多种第一PU预测模式和帧间预测对应的多种第二PU预测模式。

第一选择模块，用于：基于所述图像帧的亮度信息计算所述多种第一PU预测模式分别对应的亮度率失真代价；当所述多种第一PU预测模式的数量大于预设值时，根据所述多种第一PU预测模式分别对应的亮度率失真代价筛选出需要计算色度率失真代价的第一目标预测模式，并基于所述图像帧的色度信息计算所述第一目标预测模式对应的色度率失真代价；根据所述多种第一PU预测模式分别对应的亮度率失真代价和所述第一目标预测模式对应的色度率失真代价确定第一预测模式。

第二选择模块，用于：基于所述图像帧的亮度信息计算所述多种第二PU预测模式分别对应的亮度率失真代价；当所述多种第二PU预测模式的数量大于所述预设值时，根据所述多种第二PU预测模式分别对应的亮度率失真代价筛选出需要计算色度率失真代价的第二目标预测模式，并基于所述图像帧的色度信息计算所述第二目标预测模式对应的色度率失真代价；根据所述多种第二PU预测模式分别对应的亮度率失真代价和所述第二目标预测模式对应的色度率失真代价确定第二预测模式。

确定模块还用于：根据所述第一预测模式和所述第二预测模式确定所述图像帧PU单元的最优预测模式。

前述实施例中的预测模式的选择方法中的各实施方式和具体实例同样适用于本申请实施例提供的两种预测模式的选择装置，通过前述对预测模式的选择方法的详细描述，本领域技术人员可以清楚的知道预测模式的选择装置的实施方法，所以为了说明书的简洁，在此不再详述。

基于同一发明构思，本申请实施例还提供一种可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被计算机运行时执行上述任一实施方式的预测模式的选择方法。

在本申请所提供的实施例中，应该理解到，所揭露装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

另外，作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

再者，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。

在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。

以上所述仅为本申请的实施例而已，并不用于限制本申请的保护范围，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (9)

1.一种预测模式的选择方法，其特征在于，包括：

确定待处理的图像帧PU单元的多种PU预测模式；

基于所述图像帧的亮度信息计算所述多种PU预测模式分别对应的亮度率失真代价；

根据所述多种PU预测模式分别对应的亮度率失真代价筛选出需要计算色度率失真代价的目标预测模式，并基于所述图像帧的色度信息计算所述目标预测模式对应的色度率失真代价；

根据所述多种PU预测模式分别对应的亮度率失真代价和所述目标预测模式对应的色度率失真代价确定所述图像帧PU单元的最优预测模式；

判断所述最优预测模式的色度信息是否超过阈值；

若所述最优预测模式的色度信息超过所述阈值，根据所述多种PU预测模式分别对应的亮度率失真代价在所述多种PU预测模式中重新筛选出新的目标预测模式；

基于所述图像帧的色度信息计算所述新的目标预测模式对应的色度率失真代价；

根据所述多种PU预测模式分别对应的亮度率失真代价和所述新的目标预测模式对应的色度率失真代价确定所述图像帧PU单元的新的最优预测模式。

2.根据权利要求1所述的选择方法，其特征在于，确定待处理的图像帧PU单元的多种PU预测模式，包括：

根据所述图像帧的帧类型确定所述图像帧PU单元的预测方式；所述预测方式包括帧内预测或帧间预测；

根据所述图像帧的编码标准确定所述图像帧PU单元在所述预测方式下的所述多种PU预测模式。

3.根据权利要求1所述的选择方法，其特征在于，在根据所述多种PU预测模式分别对应的亮度率失真代价筛选出需要计算色度率失真代价的目标预测模式之前，所述方法还包括：

判断所述多种PU预测模式的数量是否大于预设值；

对应的，根据所述多种PU预测模式分别对应的亮度率失真代价筛选出需要计算色度率失真代价的目标预测模式，包括：

当所述多种PU预测模式的数量大于预设值时，根据所述多种PU预测模式分别对应的亮度率失真代价筛选出需要计算色度率失真代价的目标预测模式。

4.根据权利要求3所述的方法，其特征在于，所述方法还包括：

当所述多种PU预测模式的数量小于预设值时，根据所述亮度信息和所述色度信息分别计算出所述多种PU预测模式对应的亮度率失真代价和色度率失真代价；

根据所述多种PU预测模式对应的亮度率失真代价和色度率失真代价确定所述图像帧PU单元的最优预测模式。

5.根据权利要求4所述的方法，其特征在于，在根据所述多种PU预测模式对应的亮度率失真代价和色度率失真代价确定所述图像帧PU单元的最优预测模式后，所述方法还包括：

判断所述图像帧PU单元的最优预测模式的色度信息是否超过阈值；

若所述图像帧PU单元的最优预测模式的色度信息超过所述阈值，重新根据所述多种PU预测模式对应的亮度率失真代价和色度率失真代价确定所述图像帧PU单元的新的最优预测模式。

6.一种预测模式的选择方法，其特征在于，包括：

当待处理的图像帧PU单元的预测方式包括帧内预测和帧间预测时，根据所述图像帧的编码标准确定所述图像帧PU单元帧内预测对应的多种第一PU预测模式和帧间预测对应的多种第二PU预测模式；

基于所述图像帧的亮度信息计算所述多种第一PU预测模式分别对应的亮度率失真代价；

当所述多种第一PU预测模式的数量大于预设值时，根据所述多种第一PU预测模式分别对应的亮度率失真代价筛选出需要计算色度率失真代价的第一目标预测模式，并基于所述图像帧的色度信息计算所述第一目标预测模式对应的色度率失真代价；

根据所述多种第一PU预测模式分别对应的亮度率失真代价和所述第一目标预测模式对应的色度率失真代价确定第一预测模式；

基于所述图像帧的亮度信息计算所述多种第二PU预测模式分别对应的亮度率失真代价；

当所述多种第二PU预测模式的数量大于所述预设值时，根据所述多种第二PU预测模式分别对应的亮度率失真代价筛选出需要计算色度率失真代价的第二目标预测模式，并基于所述图像帧的色度信息计算所述第二目标预测模式对应的色度率失真代价；

根据所述多种第二PU预测模式分别对应的亮度率失真代价和所述第二目标预测模式对应的色度率失真代价确定第二预测模式；

根据所述第一预测模式和所述第二预测模式确定所述图像帧PU单元的最优预测模式；

判断所述最优预测模式的色度信息是否超过阈值；

若所述最优预测模式的色度信息超过所述阈值，重新筛选出新的第一预测模式和新的第二预测模式；

根据所述新的第一预测模式和所述新的第二预测模式确定新的最优预测模式。

7.一种预测模式的选择装置，其特征在于，包括：

确定模块，用于确定待处理的图像帧PU单元的多种PU预测模式；

计算模块，用于基于所述图像帧的亮度信息计算所述多种PU预测模式分别对应的亮度率失真代价；

处理模块，用于根据所述多种PU预测模式分别对应的亮度率失真代价筛选出需要计算色度率失真代价的目标预测模式，并基于所述图像帧的色度信息计算所述目标预测模式对应的色度率失真代价；

所述确定模块还用于：根据所述多种PU预测模式分别对应的亮度率失真代价和所述目标预测模式对应的色度率失真代价确定所述图像帧PU单元的最优预测模式；

所述处理模块还用于：判断所述最优预测模式的色度信息是否超过阈值；若所述最优预测模式的色度信息超过所述阈值，根据所述多种PU预测模式分别对应的亮度率失真代价在所述多种PU预测模式中重新筛选出新的目标预测模式；基于所述图像帧的色度信息计算所述新的目标预测模式对应的色度率失真代价；根据所述多种PU预测模式分别对应的亮度率失真代价和所述新的目标预测模式对应的色度率失真代价确定所述图像帧PU单元的新的最优预测模式。

8.一种预测模式的选择装置，其特征在于，包括：

确定模块，用于：当待处理的图像帧PU单元的预测方式包括帧内预测和帧间预测时，根据所述图像帧的编码标准确定所述图像帧PU单元帧内预测对应的多种第一PU预测模式和帧间预测对应的多种第二PU预测模式；

第一选择模块，用于：基于所述图像帧的亮度信息计算所述多种第一PU预测模式分别对应的亮度率失真代价；当所述多种第一PU预测模式的数量大于预设值时，根据所述多种第一PU预测模式分别对应的亮度率失真代价筛选出需要计算色度率失真代价的第一目标预测模式，并基于所述图像帧的色度信息计算所述第一目标预测模式对应的色度率失真代价；根据所述多种第一PU预测模式分别对应的亮度率失真代价和所述第一目标预测模式对应的色度率失真代价确定第一预测模式；

第二选择模块，用于：基于所述图像帧的亮度信息计算所述多种第二PU预测模式分别对应的亮度率失真代价；当所述多种第二PU预测模式的数量大于所述预设值时，根据所述多种第二PU预测模式分别对应的亮度率失真代价筛选出需要计算色度率失真代价的第二目标预测模式，并基于所述图像帧的色度信息计算所述第二目标预测模式对应的色度率失真代价；根据所述多种第二PU预测模式分别对应的亮度率失真代价和所述第二目标预测模式对应的色度率失真代价确定第二预测模式；

所述确定模块还用于：根据所述第一预测模式和所述第二预测模式确定所述图像帧PU单元的最优预测模式；

所述确定模块还用于：判断所述最优预测模式的色度信息是否超过阈值；若所述最优预测模式的色度信息超过所述阈值，重新筛选出新的第一预测模式和新的第二预测模式；根据所述新的第一预测模式和所述新的第二预测模式确定新的最优预测模式。

9.一种可读存储介质，其特征在于，所述可读存储介质上存储有计算机程序，所述计算机程序被计算机运行时执行如权利要求1-6任一项所述的方法。

Images