CN116248886A - 基于lcevc的增强层编码模式确定方法及装置 - Google Patents

Abstract

本公开涉及一种基于LCEVC的增强层编码模式确定方法及装置，应用于视频编码技术领域，可以降低视频编码的时间复杂度，进而提高视频编码效率。该方法包括：基于目标特征数据和二分类算法，确定目标置信度，目标置信度用于指示当前待编码增强块的编码模式为帧内模式的概率，目标特征数据包括当前待编码增强块对应的空域相邻块中编码模式为帧内模式的数量和当前待编码增强块对应的增强层量化参数，空域相邻块为当前帧中与当前待编码增强块相邻的增强块；在目标置信度大于或等于置信度阈值的情况下，确定当前待编码增强块的编码模式为帧内模式；在目标置信度小于置信度阈值的情况下，确定当前待编码增强块的编码模式为帧间模式。

Description

基于LCEVC的增强层编码模式确定方法及装置

技术领域

本申请实施例涉及视频编码技术领域。更具体地讲，涉及一种基于LCEVC的增强层编码模式确定方法及装置。

背景技术

低复杂度增强视频编码(Low Complexity Enhancement Video Coding，LCEVC)标准具有扩展性强、编码实现简单等特点。LCEVC表准当中存在基本层和增强层。基本层一般采用H.264/H.265等已有的视频编码标准进行编码，因此基本层编码在时间复杂度的优化上已经比较成熟，而增强层使用LCEVC标准当中描述的工具进行编码，在LCEVC增强层编码中，帧内/帧间模式的选择部分占据了大量的增强层编码时间，如此，LCEVC增强层编码在时间复杂度的优化上仍有很大的空间。

发明内容

为了解决上述技术问题或者至少部分地解决上述技术问题，本申请实施例提供了一种基于LCEVC的增强层编码模式确定方法及装置，可以降低视频编码的时间复杂度，进而提高视频编码效率。

第一方面，本申请实施例提供了一种基于LCEVC的增强层编码模式确定方法，包括：

基于目标特征数据和二分类算法，确定目标置信度，该目标置信度用于指示当前待编码增强块的编码模式为帧内模式的概率，该目标特征数据包括该当前待编码增强块对应的空域相邻块中编码模式为帧内模式的数量和该当前待编码增强块对应的增强层量化参数，该空域相邻块为当前帧中与该当前待编码增强块相邻的增强块；

在该目标置信度大于或等于置信度阈值的情况下，确定该当前待编码增强块的编码模式为帧内模式；

在该目标置信度小于该置信度阈值的情况下，确定该当前待编码增强块的编码模式为帧间模式。

第二方面，本申请实施例提供了一种基于LCEVC的增强层编码模式确定装置，包括：

存储器，被配置为存储计算机程序；

处理器，被配置为用于在调用计算机程序时，使得该基于LCEVC的增强层编码模式确定装置实现如第一方面所述的基于LCEVC的增强层编码模式确定方法。

第三方面，本申请实施例提供了一种终端设备，包括：如第二方面所述的第三方面，本申请实施例提供了一种终端设备，包括：如第二方面所述的基于LCEVC的增强层编码模式确定装置。

第四方面，本申请实施例提供了一种计算机可读存储介质，包括：计算机可读存储介质上存储计算机程序，计算机程序被处理器执行时实现如第二方面所示的基于LCEVC的增强层编码模式确定方法。

第五方面，本申请实施例提供了一种计算机程序产品，包括：当计算机程序产品在计算机上运行时，使得计算机实现如第二方面所示的基于LCEVC的增强层编码模式确定方法。

本申请实施例提供的技术方案与相关技术相比具有如下效果：基于目标特征数据(即当前待编码增强块对应的空域相邻块中编码模式为帧内模式的数量，和该当前待编码增强块对应的增强层量化参数)和二分类算法，确定用于指示当前待编码增强块的编码模式为帧内模式的概率的目标置信度；然后在该目标置信度大于或等于置信度阈值的情况下，确定该当前待编码增强块的编码模式为帧内模式；在该目标置信度小于该置信度阈值的情况下，确定该当前待编码增强块的编码模式为帧间模式。如此，基于目标特征数据和二分类算法得到的目标置信度，快速确定了当前待编码增强块的编码模式为帧内模式还是帧间模式，大大缩短了帧间/帧内模式的选择时间，降低了视频编码的时间复杂度，如此在基本上不影响编码质量的情况下，大幅减少编码时间和计算复杂度，提高了视频编码效率。

附图说明

为了更清楚地说明本申请实施例或相关技术中的实施方式，下面将对实施例或相关技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。

图1示出了本申请一些实施例中的LCEVC编码器的结构示意图；

图2示出了本申请一些实施例中的LCEVC编码器的时域预测过程的结构示意图；

图3示出了本申请一些实施例中的基于LCEVC的增强层编码模式确定方法的流程示意图之一；

图4示出了本申请一些实施例中的增强层L2量化参数和帧间模式占比关系示意图；

图5示出了本申请一些实施例中的空域相邻块和时域同为块示意图；

图6示出了本申请一些实施例中的基于LCEVC的增强层编码模式确定方法的流程示意图之二；

图7示出了本申请一些实施例中的基于LCEVC的增强层编码模式确定方法的流程示意图之三；

图8示出了本申请一些实施例中的基于LCEVC的增强层编码模式确定方法的流程示意图之四；

图9示出了本申请一些实施例中的基于LCEVC的增强层编码模式确定方法的流程示意图之五；

图10示出了本申请一些实施例中的基于LCEVC的增强层编码模式确定方法的流程示意图之六；

图11示出了本申请一些实施例中的基于LCEVC的增强层编码模式确定方法的流程示意图之七；

图12示出了本申请一些实施例中的基于LCEVC的增强层编码模式确定方法的流程示意图之八；

图13示出了本申请一些实施例中的快速算法与原算法的率失真曲线对照图；

图14示出了根据一些实施例的终端设备硬件示意图。

具体实施方式

为使本申请的目的和实施方式更加清楚，下面将结合本申请示例性实施例中的附图，对本申请示例性实施方式进行清楚、完整地描述，显然，描述的示例性实施例仅是本申请一部分实施例，而不是全部的实施例。

需要说明的是，本申请中对于术语的简要说明，仅是为了方便理解接下来描述的实施方式，而不是意图限定本申请的实施方式。除非另有说明，这些术语应当按照其普通和通常的含义理解。

本申请中说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”等是用于区别类似或同类的对象或实体，而不必然意味着限定特定的顺序或先后次序，除非另外注明。应该理解这样使用的用语在适当情况下可以互换。

术语“包括”和“具有”以及他们的任何变形，意图在于覆盖但不排他的包含，例如，包含了一系列组件的产品或设备不必限于清楚地列出的所有组件，而是可包括没有清楚地列出的或对于这些产品或设备固有的其它组件。

LCEVC标准发布于2021年，是一种新的视频编码标准，属于MPEG-5Part 2。LCEVC编码是一个分层的编码器，包括基本层编码器和增强层编码器，基本层编码器用于对原始图像的两次下采样后的数据进行编码得到基本层(也称基础层、底层)码流，增强层编码器用于对原始图像和基本编码器的残差(L1残差，L2残差)进行编码，得到增强层系数。LCEVC对于残差的编码有着相对简单的编码方法。然而，LCEVC标准没有比较成熟的技术实现方法，实用性还较差。LCEVC编码速度仍然较慢，增强层编码时间大于基本层编码时间。如何优化编码方法，以减少编码的时间复杂度，是LCEVC编码从标准到应用的重要问题。

对LCEVC的L2层编码时间进行分析可知，帧内/帧间模式的判断过程占据了增强层编码时间的5/7左右。这是由于帧内/帧间模式判断需要对每一个待编码增强块进行分析判断，通过比较选择帧内率失真代价和帧间率失真代价的大小来选择当前待编码增强块的编码模式。此过程需要基于两种模式分别对当前待编码增强块依次进行变换、量化、反量化、反变换过程，耗费了大量时间。LCEVC标准中，并没有提供一种更快速的方法来对帧内/帧间模式判断的时间复杂度进行优化，导致LCEVC编码器速度仍然处于较慢的水平。

为了解决上述技术问题，本申请一些实施例中，基于目标特征数据(即当前待编码增强块对应的空域相邻块中编码模式为帧内模式的数量，和该当前待编码增强块对应的增强层量化参数)和二分类算法，确定用于指示当前待编码增强块的编码模式为帧内模式的概率的目标置信度；然后在该目标置信度大于或等于置信度阈值的情况下，确定该当前待编码增强块的编码模式为帧内模式；在该目标置信度小于该置信度阈值的情况下，确定该当前待编码增强块的编码模式为帧间模式。如此，基于目标特征数据和二分类算法得到的目标置信度快速确定了当前待编码增强块的编码模式为帧内模式还是帧间模式，无需分别对当前待编码增强块进行变换、量化、反量化、反变换过程，大大缩短了帧间/帧内模式的选择时间，在不影响视频编码质量的情况下，降低了视频编码的时间复杂度，提高了视频编码效率。

本申请一些实施例中提供的基于LCEVC的增强层编码模式确定方法用于优化对LCEVC编码器的第二增强层的编码过程中的帧间/帧内模式选择过程，以在不影响编码质量的情况下，降低视频编码的时间复杂度，提高视频编码的效率。因此，以下首先对LCEVC编码器的结构进行说明。

参照图1所示，LCEVC编码器包括：第一下采样层11、第二下采样层12、基本层13、第一上采样层14、第一增强层15、L1残差重建层16、融合层17、第二上采样层18以及第二增强层19。

第一下采样层11用于对待编码视频进行下采样，以降低待编码视频的分辨率。

第二下采样层12用于进一步对第一下采样层11的输出进行下采样，以进一步降低待编码视频的视频帧的分辨率。需要说明的是，在LCEVC标准中有两次下采样的过程，可以根据实际需求选择每层的下采样方法或者是否进行下采样，此处不做限定。

基本层13用于通过基本层编码器对第二下采样层12的输出进行编码，以生成基本层码流。需要说明的是，基本层编码器可以为任意编码器，例如：x264、x265、高效视频编码(High Efficiency Video Coding，HEVC)编码器、多功能视频编码(Versatile VideoCoding，VVC)编码器等。

第一上采样层14用于对基本层13的编码重建图像进行上采样，以提升基本层13的编码重建图像的分辨率。

第一增强层15用于计算第一下采样层11的输出与所述第一上采样层14的输出的残差(L1残差)，并依次对L1残差进行变换、量化和熵编码，以获取L1增强系数。

L1残差重建层16用于依次对第一增强层15量化得到的数据进行反量化、反变换、滤波，以获取L1残差重建层16的输出，即重建的L1残差。

融合层17，用于对L1残差重建层16的输出和第一上采样层14的输出进行相加融合，以获取融合层17的输出。

第二上采样层18用于对融合层17的输出进行上采样，以提升融合层17输出的图像的分辨率，第二上采样层18的输出的分辨率和原始待编码视频的分辨率一致。

第二增强层19用于计算第二上采样层18的输出与原始待编码视频的差值图像，即L2残差，可根据需要对L2残差执行时域预测，产生的预测系数可以被压缩并传输到终端设备，以及对L2残差依次进行变换、量化和熵编码，以获取L2增强系数。

LCEVC编码器中的时域预测用于确定对L2残差采用帧内模式进行编码，还是采用帧间模式进行编码。如图2所示，为时域预测的具体过程示意图，主要包括21至26几个部分，下面对图2中的各个过程进行详细解释，其中：

21具体为将当前帧的L2残差减去前一帧的L2残差重建，得到帧间预测残差(inter_resi)；

22具体为对inter_resi进行变换和量化，得到帧间符号(inter_symbols)；对inter_symbols进行反量化和反变换，得到帧间残差重建(inter_resi_recon)；

23具体为inter_resi_recon加上前一帧的L2残差重建和当前帧的上采样图像，得到帧间重建图像(inter_recon)；基于inter_recon和inter_symbols，计算帧间率失真代价(inter_cost)；

24具体为对当前帧的L2残差直接进行变换和量化，得到帧内符号(intra_symbols)；对intra_symbols进行反量化和反变换，得到帧内残差重建(intra_resi_recon)；

25具体为intra_resi_recon加上当前帧的上采样图像，得到帧内重建图像(intra_recon)；基于intra_recon和intra_symbols，计算帧内率失真代价(intra_cost)；

26具体为确定是否帧间率失真代价大于帧内率失真代价；在帧间率失真代价大于帧内率失真代价的情况下，确定为帧内模式，然后基于帧内模式进行当前帧的L2残差编码；在帧间率失真代价小于或等于帧内率失真代价的情况下，确定为帧间模式，然后基于帧间模式进行当前帧的L2残差编码。

其中，帧间/帧内率失真代价的计算公式如下所示：

RdCost(i)＝D(i)+λ·R(i)

其中，D(i)表示待编码增强块失真代价，由原始值减去编码后重建值(inter_recon或intra_recon)计算而来，R(i)表示码率代价。R(i)计算流程如下：对于变换后的每一个系数层，判断其量化后系数是否为0，为零则累加1，最终累加得到R(i)。R(i)与D(i)加权后得到当前待编码增强块的帧间/帧内率失真代价。

由于对当前待编码增强块进行帧内模式编码和帧间模式编码、以及计算对应的帧内率失真代价和帧间率失真代价均比较耗费时间，因此，本申请一些实施例中提出快速进行帧内/帧间模式的确定方法，以减少模式选择的时间复杂度。

本申请一些实施例中，该基于LCEVC的增强层编码模式确定方法的执行主体可以为服务器或终端设备，也可以为服务器或终端设备中能够实现该基于LCEVC的增强层编码模式确定方法的功能模块或功能实体，具体可以根据实际情况确定。

其中，上述服务器可以是一个服务器集群，也可以是多个服务器集群，可以包括一类或多类服务器。终端设备可以是电视、智能电视、激光投影设备、显示器(monitor)、电子白板(electronic bulletin board)、电子桌面(electronic table)、手机、平板电脑、笔记本电脑、掌上电脑、车载终端设备等，此处不做具体限定。

图3为本申请一些实施例中提供的基于LCEVC的增强层编码模式确定方法的流程示意图，该基于LCEVC的增强层编码模式确定方法可以包括下述的S301至S304。

S301、基于目标特征数据和二分类算法，确定目标置信度，该目标置信度用于指示当前待编码增强块的编码模式为帧内模式的概率。

其中，该目标特征数据包括该当前待编码增强块对应的空域相邻块中编码模式为帧内模式的数量(以下简称时域同位块帧内个数)和该当前待编码增强块对应的增强层量化参数，该空域相邻块为当前帧中与该当前待编码增强块相邻的增强块。

其中，目标置信度大于或等于0，且小于或等于1。

对大量测试序列进行编码测试，并记录每一个待编码增强块(变换量化块)的编码模式的选择结果。可知，如图4所示，当增强层量化参数为编码常用的500-3000范围内时，编码模式选择为帧间模式所占比重远大于帧内模式；当量化参数小于500时，由于码率太大实际编码中不采用；而量化参数大于2500时，帧间模式占比已超过了99％。因此，待编码增强块对应的增强层量化参数与待编码增强块的编码模式的相关，可以作为快速进行编码模式选择的特征数据。

在高效率视频编码(High Efficiency Video Coding，HEVC)、多功能视频编码)(Versatile Video Coding，VVC)等最新常用视频编码标准中，都利用了运动的时域和空域相关性进行运动状态的预测，这表明了视频编码过程中，利用空域相邻块和时域同位块进行运动预测是一个行之有效的方法。本方案对LCEVC的空域相邻块相关性进行分析：在LCEVC编码标准中，待编码增强块的分辨率相比于1080p、4k等的分辨率极小，待编码增强块的分辨率大小只有2x2和4x4两种，很多情况下可以认为相邻块属于同一个区域，具有相似的运动状态，具有相似的编码模式判断结果。因此，可以将当前待编码增强块对应的空域相邻块中编码模式为帧内模式的数量作为快速进行编码模式选择的特征数据。

由于LCEVC编码顺序为从左到右、从上到下，因此，如图5中的(b)所示，标记“51”指示的为当前待编码增强块，标记“52”、“53”、“54”、“55”指示的分别为与当前待编码增强块相邻的左方、左上方、上方和右上方的空域相邻块。当空域相邻块中编码模式为帧内模式的数量越多时，当前待编码增强块的编码模式为帧内模式的可能性越大。因此，这4个空域相邻块对应的编码模式可以作为快速进行编码模式选择的特征数据。

其中，当前待编码增强块为L2残差块，当前待编码增强块对应的增强层量化参数为L2残差编码的量化参数。

本申请一些实施例中，二分类方法可以为以下任一种：随机森林(Random Forest，RF)算法、ID3算法、C4.5算法、CART算法、支持向量机(Support Vector Machine，SVM)算法。二分类算法还可以为其他决策树(Decision Tree)算法，此处不做限定。

其中，RF算法属于集成学习，核心思想就是集成多个弱分类器以达到较好的效果，具有计算简单，同时适合进行分类和拟合人物的特点。RF算法是基于决策树进行的，众多决策树构成了随机森林，每棵决策树都会有一个投票结果，最终投票结果最多的类别，就是最终的模型预测结果。

本申请一些实施例中，二分类算法为RF算法，RF算法普变性效果好，且推导简单，不会带来太多额外的复杂度提升。

本申请一些实施例中，本方案从已编码信息中提取了几个特征进行当前待编码增强块的编码模式选择的预测。由于提取的数据特征较多，且不同特征对最终编码模式选择的影响程度不一，本方案使用Random Forest算法来联合不同特征进行模式判决，RF算法普遍性效果好，且推导简单，不会带来太多额外的复杂度提升。

Random Forest算法属于集成学习，核心思想就是集成多个弱分类器以达到较好的效果，具有计算简单，同时适合进行分类和拟合人物的特点。RF算法是基于决策树进行的，众多决策树构成了随机森林，每棵决策树都会有一个投票结果，最终投票结果最多的类别，就是最终的模型预测结果。

本申请一些实施例中，基于二分类算法和训练样本数据(不同分辨率的标准序列)，对二分类模型进行拟合训练，得到训练好的二分类模型(如RF模型)，然后将目标特征数据输入二分类模型，得到目标置信度。

本申请一些实施例中，将RF模型应用到编码模式的选择过程中，模型预测过程中复杂度低，不会增加额外的编码时间。

S302、确定目标置信度是否大于或等于置信度阈值。

S303、在该目标置信度大于或等于置信度阈值的情况下，确定该当前待编码增强块的编码模式为帧内模式。

S304、在该目标置信度小于该置信度阈值的情况下，确定该当前待编码增强块的编码模式为帧间模式。

其中，置信度阈值可以根据实际情况确定，此处不做限定。

其中，帧间模式也可以称为帧间预测模式。

本申请一些实施例中，基于目标特征数据和二分类算法得到的目标置信度快速确定了当前待编码增强块的编码模式为帧内模式还是帧间模式，大大缩短了帧间/帧内模式的选择时间，在不影响视频编码质量的情况下，降低了视频编码的时间复杂度，提高了视频编码效率。

本申请一些实施例中，当帧率较高时，相邻帧之间相关性较大，有可能具有相似的图像特征和运动特征，因此具有相似的编码模式判断结果。因此，也可以将当前待编码增强块对应的时域同位块中编码模式为帧内模式的数量作为快速进行编码模式选择的特征数据。

由于LCEVC不具有帧级并行处理，此帧编码时上一帧已经编码完成。因此，可以选取当前待编码增强块在上一帧的同位块，以及与同位块相邻的九个块中编码模式为帧内模式的个数作为预测特征。当时域同位块的帧内模式越多时，当前待编码增强块选择帧内模式进行编码的可能性越大。如图5中的(a)所示，标记“56”指示的区域内的10个增强块为时域同位块。

在LCEVC编码标准中，基本层编码和增强层编码是互相独立的，它们之间的编码信息没有相关性。在基本层选择的标准编码器中，无论是高级视频编码(Advanced VideoCoding，AVC)、HEVC还是VVC编码器都具有三种帧类型，I帧、P帧和B帧。增强层编码中不存在I、P、B帧，除了首帧以外都需要进行帧内/帧间模式的选择。本申请一些实施例中，可以将待编码增强层块对应的基本层块的编码模式，基本层块的运动相关性作为快速进行编码模式选择的特征数据。

当基本层块为I帧时，表明在下采样图像编码的码流中当前帧与上一帧相关性较小。而这提示了增强层码流中两帧相关性也会较小，更有可能采用帧内模式；

当基本层编码为P帧或B帧时，将当前待编码增强块与基本层块进行对应。如果基本层块的编码模式为帧内模式，则当前待编码增强块的编码模式更有可能为帧内模式；

当基本层编码为P帧或B帧时，如过当前待编码增强块对应的基本层块编码模式为帧间模式，基本层运动矢量较小且指向上一帧时，当前待编码增强块的编码模式更有可能为帧间模式。

基本层运动矢量为0且指向上一帧是指：当前帧基本层块对应的上一帧基本层参考块为当前帧基本层块的同位块。

本申请一些实施例中，该目标特征数据还包括以下至少一项：该当前待编码增强块对应的基本层块的编码模式、该基本层块的运动矢量的模值、该当前待编码增强块对应的时域同位块中编码模式为帧内模式的数量(以下简称空域相邻块帧内个数)；其中，该时域同位块为上一帧中与该当前待编码增强块对应同位增强块以及该上一帧中与该同位增强块相邻的增强块。该目标特征数据还可以包括其他特征数据，此处不做限定。

本申请一些实施例中，增加目标特征数据的类型，可以使得得到的目标置信度更准确，能更好的表征当前待编码增强块的编码模式为帧内模式的概率，进而基于目标置信度可以更准确地确定当前待编码增强块的编码模式，进一步保证编码质量。

本申请一些实施例中，提取了底层信息、利用了LCEVC在量化块之间的关联性来辅助判断增强层编码的模式选择过程。

本申请一些实施例中，结合图3，如图6所示，上述S304具体可以通过下述S304a至S304c实现。

S304a、在该目标置信度小于该置信度阈值的情况下，确定该当前待编码增强块对应的帧间率失真代价。

S304b、确定帧间率失真代价是否小于或等于帧间代价阈值。

S304c、在该帧间率失真代价小于或等于帧间代价阈值的情况下，确定该当前待编码增强块的编码模式为帧间模式。

其中，帧间代价阈值可以根据实际情况确定，此处不做限定。

本申请一些实施例中，在该目标置信度小于该置信度阈值的情况下，确定当前待编码增强块对应的帧间率失真代价，且在该帧间率失真代价小于或等于帧间代价阈值的情况下，确定该当前待编码增强块的编码模式为帧间模式，如此，无需计算帧内率失真代价即可以确定当前待编码增强块的编码模式为帧间模式，降低了编码模式的选择时间。

本申请一些实施例中，结合图6，如图7所示，在上述S304b之后，本申请一些实施例中提供的基于LCEVC的增强层编码模式确定方法还可以包括下述S305至S308。

S305、在该帧间率失真代价大于该帧间代价阈值的情况下，确定该当前待编码增强块对应的帧内率失真代价。

S306、确定帧内率失真代价是否大于或等于该帧间率失真代价。

S307、在该帧内率失真代价大于或等于该帧间率失真代价的情况下，确定该当前待编码增强块的编码模式为帧间模式。

S308、在该帧内率失真代价小于该帧间率失真代价的情况下，确定该当前待编码增强块的编码模式为帧内模式。

本申请一些实施例中，在该目标置信度小于该置信度阈值，且该帧间率失真代价大于该帧间代价阈值的情况下，确定该当前待编码增强块对应的帧内率失真代价，然后根据帧间率失真代价和帧内率失真代价的大小，确定编码模式是帧内模式还是帧间模式，如此，可以保证编码模式的准确性，保证编码质量。

本申请一些实施例中，结合图7，如图8所示，上述S303具体可以通过下述S303a至S303c实现。

S303a、在该目标置信度大于或等于该置信度阈值的情况下，确定该当前待编码增强块对应的帧内率失真代价。

S303b、确定帧内率失真代价是否小于或等于帧内代价阈值。

S303c、在该帧内率失真代价小于或等于帧内代价阈值的情况下，确定该当前待编码增强块的编码模式为帧内模式。

本申请一些实施例中，在该目标置信度大于或等于该置信度阈值的情况下，计算当前待编码增强块对应的帧内率失真代价，且在该帧内率失真代价小于或等于帧内代价阈值的情况下，确定该当前待编码增强块的编码模式为帧内模式，如此，无需计算帧间率失真代价即可以确定当前待编码增强块的编码模式为帧内模式，降低了编码模式的选择时间。

本申请一些实施例中，结合图8，如图9所示，在上述S303a之后，本申请一些实施例中提供的基于LCEVC的增强层编码模式确定方法还可以包括下述S309至S312。

S309、在该帧内率失真代价大于帧内代价阈值的情况下，确定该当前待编码增强块对应的帧间率失真代价。

S310、确定帧内率失真代价是否大于或等于该帧间率失真代价。

S311、在该帧内率失真代价大于或等于该帧间率失真代价的情况下，确定该当前待编码增强块的编码模式为帧间模式。

S312、在该帧内率失真代价小于该帧间率失真代价的情况下，确定该当前待编码增强块的编码模式为帧内模式。

其中，帧内代价阈值可以根据实际情况确定，此处不做限定。

本申请一些实施例中，在该目标置信度大于或等于该置信度阈值，且该帧内率失真代价大于帧内代价阈值的情况下，确定该当前待编码增强块对应的帧间率失真代价，然后根据帧间率失真代价和帧内率失真代价的大小，确定编码模式是帧内模式还是帧间模式，如此，可以保证编码模式的准确性，保证编码质量。

本申请一些实施例中，结合图7，如图10所示，上述S303具体可以通过下述S303c至S303e实现，本申请一些实施例中提供的基于LCEVC的增强层编码模式确定方法还可以包括下述S313。

S303c、在该目标置信度大于或等于该置信度阈值的情况下，确定该当前待编码增强块对应的帧内率失真代价和帧间率失真代价。

S303d、确定帧内率失真代价是否大于或等于该帧间率失真代价。

S303e、在该帧内率失真代价小于该帧间率失真代价的情况下，确定该当前待编码增强块的编码模式为帧内模式。

S313、在该帧内率失真代价大于或等于该帧间率失真代价的情况下，确定该当前待编码增强块的编码模式为帧间模式。

本申请一些实施例中，在该目标置信度大于或等于该置信度阈值的情况下，确定该当前待编码增强块对应的帧内率失真代价和帧间率失真代价，然后根据帧间率失真代价和帧内率失真代价的大小，确定编码模式是帧内模式还是帧间模式，如此，可以保证编码模式的准确性，保证编码质量。

本申请一些实施例中，结合图10，如图11所示，上述S301之前，本申请一些实施例中提供的基于LCEVC的增强层编码模式确定方法还可以包括下述S314和S315，上述S301具体可以通过下述S301a实现。

S314、确定是否满足以下四个条件中的至少三个。

其中，该四个条件包括：第一条件，该增强层量化参数大于或等于量化阈值；第二条件，空域相邻块的编码模式均为帧内模式；第三条件，时域同位块的编码模式均为帧内模式；第四条件，该当前待编码增强块对应的基本层块的编码模式为帧内模式，其中，该时域同位块为上一帧中与该当前待编码增强块对应同位增强块以及该上一帧中与该同位增强块相邻的增强块。

S315、在满足该四个条件中的至少三个的情况下，确定该当前待编码增强块的编码模式为帧内模式。

S301a、在不满足该四个条件中的至少两个的情况下，基于目标特征数据和二分类算法，确定目标置信度。

本申请一些实施例中，可以在上述四个条件中的至少三个满足的情况下，直接判断当前待编码增强块的编码模式为帧内模式，而无需再根据目标特征数据确定目标置信度，然后再根据目标置信度确定编码模式，如此可以快速准确地确定当前待编码增强块的编码模式，降低编码模式的选择时间，提高编码效率。

本申请一些实施例中，在上述四个条件中的至少两个不满足的情况下，必须基于目标特征数据和二分类算法，确定目标置信度，然后根据目标置信度确定编码模式，如此可以保证编码模式确定的准确地性，保证编码质量。

本申请一些实施例中，结合图10，如图12所示，上述S301之前，本申请一些实施例中提供的基于LCEVC的增强层编码模式确定方法还可以包括下述S316和S317，上述S301具体可以通过下述S301b实现。

S316、确定是否满足目标条件。

其中，该目标条件为该当前待编码增强块对应的基本层块的编码模式为帧间模式，且该基本层块针对上一帧参考块的运动矢量小于或等于矢量阈值。

其中，矢量阈值可以根据实际情况确定，此处不做限定。

S317、在满足该目标条件的情况下，确定该当前待编码增强块的编码模式为帧间模式。

S301b、在不满足该目标条件的情况下，获取基于目标特征数据和二分类算法，确定目标置信度。

本申请一些实施例中，可以在目标条件满足的情况下，直接判断当前待编码增强块的编码模式为帧间模式，而无需再根据目标特征数据确定目标置信度，然后再根据目标置信度确定编码模式，如此可以快速准确地确定当前待编码增强块的编码模式，降低编码模式的选择时间，提高编码效率。

本申请一些实施例中，在目标条件不满足的情况下，必须基于目标特征数据和二分类算法，确定目标置信度，然后根据目标置信度确定编码模式，如此可以保证编码模式确定的准确地性，保证编码质量。

示例性地，针对每帧图像的增强层中的每个待编码增强块，执行本申请实施例提供的基于LCEVC的增强层编码模式确定方法，以确定每个待编码增强块的编码模式，具体如下：

目标特征数据包括每个待编码增强块对应的时域同位块帧内个数、增强层量化参数、基本层块的编码模式、基本层块的运动矢量的模值、时域同位块帧内个数；二分类算法为RF算法，置信度阈值为P1，帧间代价阈值为P2。

先对目标特征数据进行预先判断，判断以下四个条件和目标条件的满足情况，第一条件，该增强层量化参数大于或等于量化阈值；第二条件，空域相邻块的编码模式均为帧内模式；第三条件，时域同位块的编码模式均为帧内模式；第四条件，该当前待编码增强块对应的基本层块的编码模式为帧内模式；目标条件，对应的基本层块的编码模式为帧间模式，且该基本层块针对上一帧参考块的运动矢量小于或等于矢量阈值。若以上四个条件中至少三个满足，则直接预测为帧内模式；若目标条件满足，则直接预测为帧间模式；若以上四个条件中有至少两个不满足，则将目标特征数据输入RF算法，输出每个待编码增强块对应的目标置信度，目标置信度数值越大表示每个待编码增强块的编码模式为帧内模式的概率越高。当RF算法输出的目标置信度大于或等于P1时进行帧内率失真代价和帧间率失真代价计算，然后若帧内率失真代价大于或等于帧间率失真代价，则确定编码模式为帧间模式，若帧内率失真代价小于帧间率失真代价，则确定编码模式为帧内模式；当目标置信度小于P1时进行帧间率失真代价计算，若帧间率失真代价小于或等于P2，则确定编码模式为帧间模式，若帧间率失真代价大于P2，则计算帧内率失真代价，然后若帧内率失真代价大于或等于帧间率失真代价，则确定编码模式为帧间模式，若帧内率失真代价小于帧间率失真代价，则确定编码模式为帧内模式。

示例性地，本申请一些实施例中，在三个不同分辨率的标准序列上进行RF算法的拟合训练，采用BasketballDrive_1920x1080.yuv序列进行实验测试，如表1所示。

表1

训练序列	PartyScene_832x480.yuv
			FourPeople_1280x720.yuv
	BQTerrace_1920x1080_60.yuv
		测试序列	BasketballDrive_1920x1080.yuv

在实验测试中，根据前序实验结果，设置跳过量化阈值为2300、P1为0.7，P2为20000。对编码测试序列进行编码，得到率失真曲线如图13所示，可知，在各个码率区段，通过本申请实施例提供的基于LCEVC的增强层编码模式确定方法(以下简称快速算法)确定编码模式，几乎未对编码质量造成影响。在高码率区段，通过本申请实施例提供的快速算法确定编码模式的编码质量甚至略优于原算法。分析得这是由于快速算法倾向于将同一片较大范围预测为同一个值，而LCVEC采取熵编码是行程编码(Run-Length-Encoding，RLE)，因此可在熵编码时节约码率。基于快速算法的平均编码时间为20.74，原算法的平均编码时间为23.21。基于快速算法的平均编码时间比原算法的平均编码时间减少10.61％，因此，本申请实施例提供的方法用于模式选择部分，运用快速算法能减少10％左右的编码时间。

基于同一发明构思，作为对上述方法的实现，如图14所示，本申请一些实施例还提供了一种基于LCEVC的增强层编码模式确定装置，包括：存储器1401，被配置为存储计算机程序；处理器1402，被配置为用于在调用计算机程序时，使得该基于LCEVC的增强层编码模式确定装置可以实现上述方法实施例提供的基于LCEVC的增强层编码模式确定方法，且能达到相同的技术效果。

其中，处理器1402，被配置：基于目标特征数据和二分类算法，确定目标置信度，该目标置信度用于指示当前待编码增强块的编码模式为帧内模式的概率，该目标特征数据包括该当前待编码增强块对应的空域相邻块中编码模式为帧内模式的数量和该当前待编码增强块对应的增强层量化参数，该空域相邻块为当前帧中与该当前待编码增强块相邻的增强块；在该目标置信度大于或等于置信度阈值的情况下，确定该当前待编码增强块的编码模式为帧内模式；在该目标置信度小于该置信度阈值的情况下，确定该当前待编码增强块的编码模式为帧间模式。

本申请一些实施例中，通过处理器基于目标特征数据和二分类算法得到的目标置信度快速确定了当前待编码增强块的编码模式为帧内模式还是帧间模式，无需分别对当前待编码增强块进行变换、量化、反量化、反变换过程，大大缩短了帧间/帧内模式的选择时间，在不影响视频编码质量的情况下，降低了视频编码的时间复杂度，提高了视频编码效率。

本申请一些实施例还提供了一种终端设备，包括：上述基于LCEVC的增强层编码模式确定装置，且能达到相同的技术效果，为避免重复，这里不再赘述。

本发明实施例提供还提供了一种计算机可读存储介质，该计算机可读存储介质上存储计算机程序，该计算机程序被处理器执行时实现上述基于LCEVC的增强层编码模式确定方法执行的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

其中，该计算机可读存储介质可以为只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等。

本发明提供一种计算机程序产品，包括：当所述计算机程序产品在计算机上运行时，使得所述计算机实现上述的基于LCEVC的增强层编码模式确定方法。

最后应说明的是：以上各实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述各实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。

为了方便解释，已经结合具体的实施方式进行了上述说明。但是，上述示例性的讨论不是意图穷尽或者将实施方式限定到上述公开的具体形式。根据上述的教导，可以得到多种修改和变形。上述实施方式的选择和描述是为了更好的解释原理以及实际的应用，从而使得本领域技术人员更好的使用所述实施方式以及适于具体使用考虑的各种不同的变形的实施方式。

Claims (10)

1.一种基于LCEVC的增强层编码模式确定方法，其特征在于，包括：

基于目标特征数据和二分类算法，确定目标置信度；

在所述目标置信度大于或等于置信度阈值的情况下，确定当前待编码增强块的编码模式为帧内模式；

在所述目标置信度小于所述置信度阈值的情况下，确定所述当前待编码增强块的编码模式为帧间模式；

其中，所述目标置信度用于指示所述当前待编码增强块的编码模式为帧内模式的概率；

所述目标特征数据包括：所述当前待编码增强块对应的空域相邻块中编码模式为帧内模式的数量和所述当前待编码增强块对应的增强层量化参数；

所述空域相邻块为当前帧中与所述当前待编码增强块相邻的增强块。

2.根据权利要求1所述的方法，其特征在于，所述目标特征数据还包括以下至少一项：

所述当前待编码增强块对应的基本层块的编码模式、所述基本层块的运动矢量的模值、所述当前待编码增强块对应的时域同位块中编码模式为帧内模式的数量；

其中，所述时域同位块为上一帧中与所述当前待编码增强块对应同位增强块以及所述上一帧中与所述同位增强块相邻的增强块。

3.根据权利要求1所述的方法，其特征在于，所述在所述目标置信度小于所述置信度阈值的情况下，确定所述当前待编码增强块的编码模式为帧间模式，包括：

在所述目标置信度小于所述置信度阈值的情况下，确定所述当前待编码增强块对应的帧间率失真代价；

在所述帧间率失真代价小于或等于帧间代价阈值的情况下，确定所述当前待编码增强块的编码模式为帧间模式。

4.根据权利要求3所述的方法，其特征在于，所述确定所述当前待编码增强块对应的帧间率失真代价之后，所述方法还包括：

在所述帧间率失真代价大于所述帧间代价阈值的情况下，确定所述当前待编码增强块对应的帧内率失真代价；

在所述帧内率失真代价大于或等于所述帧间率失真代价的情况下，确定所述当前待编码增强块的编码模式为帧间模式；

在所述帧内率失真代价小于所述帧间率失真代价的情况下，确定所述当前待编码增强块的编码模式为帧内模式。

5.根据权利要求1所述的方法，其特征在于，所述在所述目标置信度大于或等于置信度阈值的情况下，确定所述当前待编码增强块的编码模式为帧内模式，包括：

在所述目标置信度大于或等于所述置信度阈值的情况下，确定所述当前待编码增强块对应的帧内率失真代价；

在所述帧内率失真代价小于或等于帧内代价阈值的情况下，确定所述当前待编码增强块的编码模式为帧内模式。

6.根据权利要求5所述的方法，其特征在于，所述确定所述当前待编码增强块对应的帧内率失真代价之后，所述方法还包括：

在所述帧内率失真代价大于所述帧内代价阈值的情况下，确定所述当前待编码增强块对应的帧间率失真代价；

在所述帧内率失真代价大于或等于所述帧间率失真代价的情况下，确定所述当前待编码增强块的编码模式为帧间模式；

在所述帧内率失真代价小于所述帧间率失真代价的情况下，确定所述当前待编码增强块的编码模式为帧内模式。

7.根据权利要求1所述的方法，其特征在于，所述在所述目标置信度大于或等于置信度阈值的情况下，确定所述当前待编码增强块的编码模式为帧内模式，包括：

在所述目标置信度大于或等于所述置信度阈值的情况下，确定所述当前待编码增强块对应的帧内率失真代价和帧间率失真代价；

在所述帧内率失真代价小于所述帧间率失真代价的情况下，确定所述当前待编码增强块的编码模式为帧内模式；

所述方法还包括：

在所述帧内率失真代价大于或等于所述帧间率失真代价的情况下，确定所述当前待编码增强块的编码模式为帧间模式。

8.根据权利要求1至7中任一项所述的方法，其特征在于，所述基于目标特征数据和二分类算法，确定目标置信度之前，所述方法还包括：

确定是否满足以下四个条件中的至少三个，所述四个条件包括：第一条件，所述增强层量化参数大于或等于量化阈值；第二条件，空域相邻块的编码模式均为帧内模式；第三条件，时域同位块的编码模式均为帧内模式；第四条件，所述当前待编码增强块对应的基本层块的编码模式为帧内模式，其中，所述时域同位块为上一帧中与所述当前待编码增强块对应同位增强块以及所述上一帧中与所述同位增强块相邻的增强块；

在满足所述四个条件中的至少三个的情况下，确定所述当前待编码增强块的编码模式为帧内模式；

所述基于目标特征数据和二分类算法，确定目标置信度，包括：

在不满足所述四个条件中的至少两个的情况下，基于目标特征数据和二分类算法，确定目标置信度。

9.根据权利要求1至7中任一项所述的方法，其特征在于，所述基于目标特征数据和二分类算法，确定目标置信度之前，所述方法还包括：

确定是否满足目标条件，所述目标条件为所述当前待编码增强块对应的基本层块的编码模式为帧间模式，且所述基本层块针对上一帧参考块的运动矢量小于或等于矢量阈值；

在满足所述目标条件的情况下，确定所述当前待编码增强块的编码模式为帧间模式；

所述基于目标特征数据和二分类算法，确定目标置信度，包括：

在不满足所述目标条件的情况下，获取基于目标特征数据和二分类算法，确定目标置信度。

10.一种基于LCEVC的增强层编码模式确定装置，其特征在于，包括：

存储器，被配置为存储计算机程序；

处理器，被配置为用于在调用计算机程序时，使得所述基于LCEVC的增强层编码模式确定装置实现权利要求1至9中任一项所述的基于LCEVC的增强层编码模式确定方法。

Images