CN116668713A - 样点自适应补偿模式决策方法、装置、介质及终端设备 - Google Patents

Abstract

本申请属于视频编码技术领域，尤其涉及一种样点自适应补偿模式决策方法、装置、计算机可读存储介质及终端设备。在上述方法中，可以根据树形编码单元的划分深度从各种非参数融合补偿模式中选取最优非参数融合补偿模式，之后，可以在最优非参数融合补偿模式和参数融合补偿模式中选取最优补偿模式。通过上述方法，可以根据树形编码单元的划分深度选取最优非参数融合补偿模式，节省了在非参数融合补偿模式中的决策时间，提升了样点自适应补偿模式决策方法的效率，具有较强的易用性和实用性。

Description

样点自适应补偿模式决策方法、装置、介质及终端设备

技术领域

本申请属于视频编码技术领域，尤其涉及一种样点自适应补偿模式决策方法、装置、计算机可读存储介质及终端设备。

背景技术

随着信息技术的发展，人们获取各类信息的方式日渐丰富，视频作为现代社会中一种有效的信息传递媒体，人们对视频质量的要求也不断提高。由于当视频数据较大时，通常会经过视频压缩再进行传输，而在视频编码或者解码的过程中则容易产生“振铃效应”，即由于图像边缘在变换/量化过程中损失较多高频信息，造成图像边缘周围在反变换/反量化后产生波纹现象。

为了降低“振铃效应”，高效率视频编码(High Efficiency Video Coding，HEVC)中新加入了样点自适应补偿(Sample Adjust Offset，SAO)技术。样点自适应补偿可以从像素域入手，根据重建像素的特点将重建像素划分为不同类别，然后在像素域对不同类别的像素使用不同的补偿值进行补偿处理。在样点自适应补偿的具体处理过程中，补偿模式的决策是最重要也最费时的环节，然而，现有的样点自适应补偿模式决策方法效率较低。

发明内容

有鉴于此，本申请实施例提供了一种样点自适应补偿模式决策方法、装置、计算机可读存储介质及终端设备，以解决现有的样点自适应补偿模式决策方法效率较低的问题。

本申请实施例的第一方面提供了一种样点自适应补偿模式决策方法，可以包括：

获取树形编码单元的划分深度；

根据所述划分深度在各种非参数融合补偿模式中选取最优非参数融合补偿模式；

在所述最优非参数融合补偿模式和参数融合补偿模式中选取最优补偿模式。

在第一方面的一种具体实现方式中，所述根据所述划分深度在各种非参数融合补偿模式中选取最优非参数融合补偿模式，可以包括：

若所述划分深度为0，则在水平方向边界补偿模式、垂直方向边界补偿模式和边带补偿模式中选取所述最优非参数融合补偿模式。

在第一方面的一种具体实现方式中，所述根据所述划分深度在各种非参数融合补偿模式中选取最优非参数融合补偿模式，可以包括：

若所述划分深度不为0，则获取所述树形编码单元的最小帧内预测单元的数目；

根据所述最小帧内预测单元的数目在各种非参数融合补偿模式中选取所述最优非参数融合补偿模式。

在第一方面的一种具体实现方式中，根据所述最小帧内预测单元的数目在各种非参数融合补偿模式中选取所述最优非参数融合补偿模式，可以包括：

若所述最小帧内预测单元的数目大于或等于预设的数目阈值，则分别获取各个所述最小帧内预测单元在各种帧内角度预测模式下的第一率失真代价；

根据所述第一率失真代价在各种边界补偿模式中选取至少一种候选边界补偿模式；

在所述候选边界补偿模式和边带补偿模式中选取所述最优非参数融合补偿模式。

在第一方面的一种具体实现方式中，所述根据所述第一率失真代价在各种边界补偿模式中选取至少一种候选边界补偿模式，可以包括：

根据所述第一率失真代价分别计算各个所述最小帧内预测单元在各种所述边界补偿模式下的第二率失真代价；

根据所述第二率失真代价分别计算所述树形编码单元在各种所述边界补偿模式下的第三率失真代价；

根据所述第三率失真代价在各种所述边界补偿模式中选取至少一种所述候选边界补偿模式。

在第一方面的一种具体实现方式中，所述根据所述第一率失真代价分别计算各个所述最小帧内预测单元在各种所述边界补偿模式下的第二率失真代价，可以包括：

计算目标最小帧内预测单元在与目标边界补偿模式对应的各种帧内角度预测模式下的所述第一率失真代价的平均值；其中，所述目标最小帧内预测单元为任意一个所述最小帧内预测单元，所述目标边界补偿模式为任意一个所述边界补偿模式；

将所述平均值确定为所述目标最小帧内预测单元在所述目标边界补偿模式下的所述第二率失真代价。

在第一方面的一种具体实现方式中，所述根据所述第三率失真代价在各种所述边界补偿模式中选取至少一种所述候选边界补偿模式，可以包括：

选取所述第三率失真代价最小的所述边界补偿模式作为所述候选边界补偿模式；

分别计算各种未选取的所述边界补偿模式的所述第三率失真代价与基准代价之间的比值；其中，所述基准代价为最小的所述第三率失真代价；

选取所述比值小于预设的比值阈值的所述边界补偿模式作为所述候选边界补偿模式。

在第一方面的一种具体实现方式中，在获取所述树形编码单元的最小帧内预测单元的数目之后，还可以包括：

若所述最小帧内预测单元的数目小于所述数目阈值，则在各种非参数融合补偿模式中选取最优非参数融合补偿模式。

本申请实施例的第二方面提供了一种样点自适应补偿装置，可以包括：

深度获取模块，用于获取树形编码单元的划分深度；

第一选取模块，用于根据所述划分深度在各种非参数融合补偿模式中选取最优非参数融合补偿模式；

第二选取模块，用于在所述最优非参数融合补偿模式和参数融合补偿模式中选取最优补偿模式。

在第二方面的一种具体实现方式中，所述第一选取模块可以包括：

选取单元，用于若所述划分深度为0，则在水平方向边界补偿模式、垂直方向边界补偿模式和边带补偿模式中选取所述最优非参数融合补偿模式。

在第二方面的一种具体实现方式中，所述第一选取模块还可以包括：

数目获取单元，用于若所述划分深度不为0，则获取所述树形编码单元的最小帧内预测单元的数目；

补偿模式选取单元，用于根据所述最小帧内预测单元的数目在各种非参数融合补偿模式中选取所述最优非参数融合补偿模式。

在第二方面的一种具体实现方式中，所述补偿模式选取单元可以包括：

代价获取子单元，用于若所述最小帧内预测单元的数目大于或等于预设的数目阈值，则分别获取各个所述最小帧内预测单元在各种帧内角度预测模式下的第一率失真代价；

补偿模式选取子单元，用于根据所述第一率失真代价在各种边界补偿模式中选取至少一种候选边界补偿模式；

融合补偿模式选取子单元，用于在所述候选边界补偿模式和边带补偿模式中选取所述最优非参数融合补偿模式。

在第二方面的一种具体实现方式中，所述补偿模式选取子单元可以包括：

第一代价计算子单元，用于根据所述第一率失真代价分别计算各个所述最小帧内预测单元在各种所述边界补偿模式下的第二率失真代价；

第二代价计算子单元，用于根据所述第二率失真代价分别计算所述树形编码单元在各种所述边界补偿模式下的第三率失真代价；

补偿模式选取子单元，用于根据所述第三率失真代价在各种所述边界补偿模式中选取至少一种所述候选边界补偿模式。

在第二方面的一种具体实现方式中，所述第一代价计算子单元可以包括：

平均值计算子单元，用于计算目标最小帧内预测单元在与目标边界补偿模式对应的各种帧内角度预测模式下的所述第一率失真代价的平均值；其中，所述目标最小帧内预测单元为任意一个所述最小帧内预测单元，所述目标边界补偿模式为任意一个所述边界补偿模式；

代价确定子单元，用于将所述平均值确定为所述目标最小帧内预测单元在所述目标边界补偿模式下的所述第二率失真代价。

在第二方面的一种具体实现方式中，所述补偿模式选取子单元可以包括：

第一模式选取子单元，用于选取所述第三率失真代价最小的所述边界补偿模式作为所述候选边界补偿模式；

代价比值计算子单元，用于分别计算各种未选取的所述边界补偿模式的所述第三率失真代价与基准代价之间的比值；其中，所述基准代价为最小的所述第三率失真代价；

第二模式选取子单元，用于选取所述比值小于预设的比值阈值的所述边界补偿模式作为所述候选边界补偿模式。

在第二方面的一种具体实现方式中，所述样点自适应补偿装置还可以包括：

模式选取模块，用于若所述最小帧内预测单元的数目小于所述数目阈值，则在各种非参数融合补偿模式中选取最优非参数融合补偿模式。

本申请实施例的第三方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述任一种样点自适应补偿模式决策方法的步骤。

本申请实施例的第四方面提供了一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述任一种样点自适应补偿模式决策方法的步骤。

本申请实施例的第五方面提供了一种计算机程序产品，当计算机程序产品在终端设备上运行时，使得终端设备执行上述任一种样点自适应补偿模式决策方法的步骤。

本申请实施例与现有技术相比存在的有益效果是：本申请实施例可以根据树形编码单元的划分深度从各种非参数融合补偿模式中选取最优非参数融合补偿模式，之后，可以在最优非参数融合补偿模式和参数融合补偿模式中选取最优补偿模式。通过本申请实施例中，可以根据树形编码单元的划分深度选取最优非参数融合补偿模式，节省了在非参数融合补偿模式中的决策时间，提升了样点自适应补偿模式决策方法的效率，具有较强的易用性和实用性。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

图1为HEVC视频编码的整体流程的示意图；

图2为本申请实施例中一种样点自适应补偿模式决策方法的一个实施例流程图；

图3为树形编码单元的划分深度的示意图；

图4为各种边界补偿模式的示意流程图；

图5为边带补偿模式中边带的示意图；

图6为监控视频场景下的最优非参数融合补偿模式的统计图；

图7为候选边界补偿模式的选取过程的示意流程图；

图8为33种帧内角度预测模式的示意图；

图9为参数融合补偿模式中的树形编码单元的示意图；

图10为本申请实施例中一种样点自适应补偿装置的一个实施例结构图；

图11为本申请实施例中一种终端设备的示意框图。

具体实施方式

为使得本申请的发明目的、特征、优点能够更加的明显和易懂，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，下面所描述的实施例仅仅是本申请一部分实施例，而非全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。

应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。

还应当理解，在此本申请说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本申请。如在本申请说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。

还应当进一步理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。

如在本说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。

另外，在本申请的描述中，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

随着信息技术的发展，人们获取各类信息的方式日渐丰富，视频作为现代社会中一种有效的信息传递媒体，人们对视频质量的要求也不断提高。由于当视频数据较大时，通常会经过视频压缩再进行传输，而在视频编码或者解码的过程中则容易产生“振铃效应”，即由于图像边缘在变换/量化过程中损失较多高频信息，造成图像边缘周围在反变换/反量化后产生波纹现象。

为了降低“振铃效应”，高效率视频编码(High Efficiency Video Coding，HEVC)中新加入了样点自适应补偿(Sample Adjust Offset，SAO)技术，作为视频编解码过程中环路后处理模块中的一个子模块。其中，HEVC的视频编码整体流程可以参考图1，主要包括帧内预测、帧间预测(运动估计和运动补偿)、变换/量化、反变换/反量化、环路后处理模块(去方块滤波和样点自适应补偿)和熵编码等几个模块，其中，环路后处理在视频编码过程中对当前编码图像的重建图像进行后处理，以改善图像质量，并将其作为后续待编码图像的参考帧，从而提升视频编码的整体质量。

在进行样点自适应补偿时，具体可以包括以下步骤：(1)统计树形编码单元(Coding Tree Unit，CTU)内的不同类别的像素个数及对应的失真和；(2)通过率失真优化，决策出最优的样点自适应补偿的补偿模式和对应的补偿值；(3)使用最优的样点自适应补偿的补偿模式和对应的补偿值对树形编码单元进行逐像素补偿。其中，补偿模式的决策是最重要也最费时的环节，然而，现有的样点自适应补偿模式决策方法效率较低。

有鉴于此，本申请实施例提供了一种样点自适应补偿模式决策方法、装置、计算机可读存储介质及终端设备，以解决现有的样点自适应补偿模式决策方法效率较低的问题。通过本申请实施例，可以根据树形编码单元的划分深度选取最优非参数融合补偿模式，节省在非参数融合补偿模式中的决策时间，提升了样点自适应补偿模式决策方法的效率，具有较强的易用性和实用性。

需要说明的是，本申请方法的执行主体为终端设备，具体地，可以为桌上型计算机、笔记本、掌上电脑等常见的计算设备，也可以是其他计算设备。

请参阅图2，本申请实施例中一种样点自适应补偿模式决策方法的一个实施例可以包括：

步骤S201、获取树形编码单元的划分深度。

在本申请实施例中，可以以树形编码单元为单位进行样点自适应补偿。

需要说明的是，一张图像可以被划分为若干个互不重叠的树形编码单元，而树形编码单元的内部又可以采用基于四叉树的循环分层结构进行编码单元(Coding Unit，CU)的划分，划分深度的取值可以为0、1、2和3，请参考图3示出的树形编码单元，各个划分深度分别对应的编码单元的尺寸大小可以为64、32、16和8；同一层次上的编码单元具有相同的划分深度，一个树形编码单元可能只包含一个编码单元(即不进行划分)，也可能包含多个编码单元(即进行多次划分)，尺寸较大的编码单元可以提高平缓区域的编码效率，而尺寸较小的编码单元则可以很好地处理图像局部的细节，从而使得复杂图像的预测更准确；因此，通常纹理复杂或者运动复杂的图像区域的树形编码单元的划分深度会较大，以提高预测的准确性；纹理简单或者运动简单的图像区域的树形编码单元的划分深度会较小，以提高编码的效率。

在本申请实施例中，可以根据树形编码单元的划分深度进行样点自适应补偿的补偿模式决策，此处的树形编码单元可以为待编码图像中任意一个树形编码单元。

步骤S202、根据划分深度在各种非参数融合补偿模式中选取最优非参数融合补偿模式。

在本申请实施例中，可以根据树形编码单元的划分深度在4种边界补偿(EdgeOffset，EO)模式和1种边带补偿(Band Offset，BO)模式中选取最优非参数融合补偿模式。

需要说明的是，样点自适应补偿中的非参数融合补偿模式可以包括跳过模式、4种边界补偿模式和1种边带补偿模式。其中，跳过模式是指对树形编码单元的所有像素都不进行补偿，而边界补偿模式是指通过比较当前像素和与当前像素相邻的两个像素的像素值大小，对当前像素进行分类，然后对同类别像素补偿相同的数值，具体地，根据相邻像素的位置，可以将边界补偿模式分为水平方向边界补偿模式(EO_0)、垂直方向边界补偿模式(EO_1)、135度方向边界补偿模式(EO_2)和45度方向边界补偿模式(EO_3)共4种角度方向的边界补偿模式，请参阅图4，其中，c为当前像素的像素值，像素a、b为c的两个相邻像素的像素值。在任意一种方向角度下，可以根据以下规则将一个树形编码单元的所有像素划分为5个种类，并根据种类确定补偿值，5个种类的划分条件可以参考下表：

种类	条件
		1	c<a且c<b
2	c<a且c＝＝b，或者，c＝＝a且c<b
		3	c>a且c＝＝b，或者，c＝＝a且c>b
4	c>a且c>b
		0	其他

其中，HEVC规定了种类1和种类2的补偿值需大于等于0，种类3和种类4的补偿值需小于等于0，种类0则不进行补偿。而边带补偿模式是根据像素强度值对像素进行分类，将像素强度值的范围等分为32个边带，例如，可以参阅图5，对于8比特的图像来说，像素范围为0～255，因此每个边带都可以包含8个像素值，每个边带中的像素都可以使用相同的补偿值进行样点自适应补偿。

在本申请实施例中，若树形编码单元的划分深度为0，则可以通过率失真优化过程在预设的几种非参数融合补偿模式中选取最优非参数融合补偿模式。具体地，可在树形编码单元的划分深度为0的情况下，对具体的应用场景下各种非参数融合补偿模式被分别选取为最优非参数融合补偿模式的次数进行统计，并可以在之后的应用中直接从被选取为最优非参数融合补偿模式次数最多的几种非参数融合补偿模式中选取最优非参数融合补偿模式。

可以理解的是，本申请方法可以应用于具体的场景中，并可以根据具体的应用场景统计各种非参数融合补偿模式被选为样点自适应补偿的最优非参数融合补偿模式的次数。例如，若本申请方法需要具体应用于场景A，则可以在场景A下，统计当树形编码单元的划分深度为0时各种非参数融合补偿模式被选为最优非参数融合补偿模式的次数，即分别统计跳过模式、4种边界补偿模式和边带补偿模式被选为最优非参数融合补偿模式的次数。

在本申请实施例中，样点自适应补偿模式决策方法可以应用于监控视频场景中，因此，可以统计在不同时段及不同监控环境下，各种非参数融合补偿模式被选为最优非参数融合补偿模式的次数。具体地，可以在室内白天、室外白天、室内夜晚和室外夜晚四种具体场景中，统计各种非参数融合补偿模式被选为最优非参数融合补偿模式的次数，统计结果可如图6所示(由于跳过模式的所需的计算资源相对而言较小，因此没有参与统计)，可见，在树形编码单元的划分深度为0时，在监控视频的应用场景下，被选为最优非参数融合补偿模式的绝大多数是水平方向边界补偿模式、垂直方向边界补偿模式和边带补偿模式。因此，在本申请实施例中，若树形编码单元的划分深度为0，则可以在水平方向边界补偿模式、垂直方向边界补偿模式和边带补偿模式中选取最优非参数融合补偿模式。

可以理解的是，在工程实践中，还可以根据样点自适应补偿模式决策方法的实际应用场景，对统计时段、环境和统计次数等进行具体化、情景化设置，包括但不限于本申请实施例的实施方式。

需要说明的是，树形编码单元中的每个编码单元都可以划分为若干个预测单元(Prediction Unit，PU)，用于预测运算。在本申请实施例中，当树形编码单元的划分深度不为0时，还可以根据树形编码单元的最小帧内预测单元的数目和预设的数目阈值之间的关系选取最优非参数融合补偿模式。

具体地，在树形编码单元的划分深度不为0时，可以获取树形编码单元的最小帧内预测单元的数目，并判断最小帧内预测单元的数目是否大于或等于预设的数目阈值；若最小帧内预测单元的数目大于等于数目阈值，则可以认为当前树形编码单元内的帧内预测单元的角度预测模式方向能较好体现当前树形编码单元区域内的图像纹理方向，此时，可以分别获取各个最小帧内预测单元在各种帧内角度预测模式下的第一率失真代价，并可以根据第一率失真代价在各种边界补偿模式中选取至少一种候选边界补偿模式。其中，数目阈值可以根据实际需要进行具体化、情景化设置，本申请实施例中可以将数目阈值优选设为树形编码单元中的最小预测单元的总数的一半。

请参阅图7，本申请实施例中根据第一率失真代价在各种边界补偿模式中选取至少一种候选边界补偿模式的过程可以包括如下步骤：

步骤S701、根据第一率失真代价分别计算各个最小帧内预测单元在各种边界补偿模式下的第二率失真代价。

需要说明的是，在进行样点自适应补偿之前，HEVC会进行帧内预测，并得到帧内预测模式，可以包括DC预测模式、Plannar预测模式和33种帧内角度预测模式，其中，33种帧内角度预测模式的编号为2～34，具体可以参考图8。

在本申请实施例中，可以优选根据帧内预测时得到的33种帧内角度预测模式，计算各个最小帧内预测单元在33种帧内角度预测模式下的第一率失真代价。由于帧内预测得到的预测像素是通过在率失真优化时比较每个角度预测模式的代价后决策出的最优角度预测模式计算而来，因此，帧内角度预测模式的方向能在一定程度上体现出当前预测图像区域的纹理方向；又由于样点自适应补偿的补偿模式的决策中对边界补偿模式的角度方向的选择也与图像区域的纹理方向存在较大的关系，因此，在本申请实施例中，可以使用帧内预测的33种帧内角度预测模式的信息来提前决策出最优边界补偿方向模版，以提升后续选取最优非参数融合补偿模式的效率。

具体地，若某种帧内角度预测模式的角度方向与边界补偿模式的角度方向接近，则可以将该帧内角度预测模式的角度方向映射至该边界补偿模式的角度方向；此处，可以将帧内角度预测模式6～14的角度方向映射至边界补偿模式的水平方向(0度)、帧内角度预测模式22～30的角度方向映射至边界补偿模式的垂直方向(90度)、帧内角度预测模式15～21映射至边界补偿模式的135度方向以及帧内角度预测模式2～5的角度方向和帧内角度预测模式31～34的角度方向映射至边界补偿模式的45度方向；之后，可以根据33种帧内角度预测模式的第一率失真代价按照上述映射规则分别求得各个最小帧内预测单元在4种边界补偿模式角度方向上的第二率失真代价。

为了便于叙述，此处将以各个最小帧内预测单元中的任意一个最小帧内预测单元(记为目标最小帧内预测单元)，及各种边界补偿模式中任意一个边界补偿模式(记为目标边界补偿模式)为例，对第二率失真代价的计算过程进行说明。对于目标最小帧内预测单元，可以计算与目标边界补偿模式具有映射关系的帧内角度预测模式的第一率失真代价的平均值，之后，可以将该平均值作为目标最小帧内预测单元在目标边界补偿模式下的第二率失真代价。例如，若目标边界补偿模式为水平方向边界补偿模式，则与水平方向边界补偿模式具有映射关系的帧内角度预测模式为帧内角度预测模式6～14，此时，可以计算帧内角度预测模式6～14的第一率失真代价的平均值，并将该平均值作为目标最小帧内预测单元在水平方向边界补偿模式下的第二率失真代价。

可以理解的是，对目标帧内最小预测单元中的各种边界补偿模式进行遍历并重复上述过程即可得到目标帧内最小预测单元在各种边界补偿模式下的第二率失真代价；对各个帧内最小预测单元进行遍历并重复上述过程即可得到各个最小帧内预测单元在各种边界补偿模式下的第二率失真代价。

步骤S702、根据第二率失真代价分别计算树形编码单元在各种边界补偿模式下的第三率失真代价。

在本申请实施例中，可以根据各个最小帧内预测单元在各种边界补偿模式下的第二率失真代价，分别计算树形编码单元在各种边界补偿模式下的第三率失真代价。

具体地，可以将各个最小帧内预测单元在某种边界补偿模式下的第二率失真代价进行求和，得到树形编码单元在该种边界补偿模式下的第三率失真代价。例如，可以将各个最小帧内预测单元在垂直方向边界补偿模式下的第二率失真代价进行求和，得到树形编码单元在垂直方向边界补偿模式下的第三率失真代价。

可以理解的是，对各个最小帧内预测单元的各种边界补偿模式进行遍历并重复上述过程，即可得到树形编码单元在各种边界补偿模式下的第三率失真代价。

步骤S703、根据第三率失真代价在各种边界补偿模式中选取至少一种候选边界补偿模式。

在本申请实施例中，若某种边界补偿模式的第三率失真代价满足预设的阈值条件，则可以将该种边界补偿模式选取为候选边界补偿模式。

具体地，可以选取第三率失真代价最小的边界补偿模式作为候选边界补偿模式，并将最小的第三率失真代价作为基准代价，再分别计算未选取的边界补偿模式的第三率失真代价与基准代价之间的比值，从中选取比值小于预设的比值阈值的边界补偿模式作为候选边界补偿模式；其中，比值阈值可以根据实际需要进行具体化、情景化设置，本申请对此不作具体限定，此处可以优选将比值阈值设置为最小的第三率失真代价的1.2倍，即，可以在未选取的边界补偿模式中，选取比值小于最小的第三率失真代价的1.2倍的边界补偿模式作为候选边界补偿模式。

可以理解的是，通常情况下，由于第三率失真代价最小的边界补偿模式会被选为候选边界补偿模式，所以根据第三率失真代价在各种边界补偿模式中至少可以选取到一种候选边界补偿模式。

在本申请实施例中，可以在候选边界补偿模式和边带补偿模式中选取最优非参数融合补偿模式。具体地，在树形编码单元中，可以根据原始像素和重建像素之间的失真及编码补偿模式和其对应补偿值的编码比特数，进行率失真优化计算，计算公式可以为：

J＝D+λR

其中，J为率失真代价，D为原始像素和重建像素之间的失真，λ为与量化参数相关的常数，R为编码补偿模式和其对应补偿值的编码比特数。据此，可以得到候选边界补偿模式的率失真代价和边带补偿模式的率失真代价，并将率失真代价最小的非参数融合补偿模式选取为树形编码单元的最优非参数融合补偿模式。例如，水平方向边界补偿模式和135度方向边界补偿模式均为候选边界补偿模式，而在水平方向边界补偿模式、135度方向边界补偿模式和边带补偿模式中，树形编码单元在135度方向边界补偿模式中的率失真代价最小，所以可以将135度方向边界补偿模式选取为最优非参数融合补偿模式。

在本申请实施例中，在获取当前树形编码单元的最小帧内预测单元的数目之后，若发现最小帧内预测单元的数目小于数目阈值，则可以认为树形编码单元的各种帧内角度预测模式的角度方向难以反映树形编码单元的纹理方向，若根据各种帧内角度预测模式进行最优非参数融合补偿模式的决策，可能对HEVC的性能造成影响，因此，此时可以在各种非参数融合补偿模式中选取最优非参数融合补偿模式。具体地，可以根据树形编码单元的原始像素和重建像素之间的失真及编码补偿模式和其对应补偿值的编码比特数，进行率失真优化计算，得到4种边界补偿模式的率失真代价和边带补偿模式的率失真代价，并选取率失真代价最小的非参数融合补偿模式作为最优非参数融合补偿模式。

需要说明的是，树形编码单元中可以包含亮度分量和色度分量，对树形编码单元中的亮度分量和色度分量分别执行上述过程，可以分别得到亮度分量对应的最优非参数融合补偿模式和色度分量对应的最优非参数融合补偿模式。

步骤S203、在最优非参数融合补偿模式和参数融合补偿模式中选取最优补偿模式。

在本申请实施例中，可以根据最优非参数融合补偿模式的率失真代价和参数融合补偿模式的率失真代价选取树形编码单元的最优补偿模式。

需要说明的是，参数融合补偿模式是指当前的树形编码单元在进行样点自适应补偿时，可以直接使用其左相邻的树形编码单元或者上相邻的树形编码单元的样点自适应补偿参数，此处可以参考图9，其中，C为当前的树形编码单元，树形编码单元A、B分别为当前的树形编码单元的左相邻和上相邻的树形编码单元。而在使用参数融合补偿模式进行样点自适应补偿时，只需要对采用的相邻的树形编码单元的样点自适应补偿模式参数的标志进行编码即可。

在本申请实施例中，具体可以比较最优非参数融合补偿模式的率失真代价和参数融合补偿模式的率失真代价，选取率失真代价更小的补偿模式作为最优补偿模式。

可以理解的是，在本申请实施例中，在确定树形编码单元的最优补偿模式后，还可以在编码过程中将最优补偿模式及其对应的补偿值输入熵编码模块进行编码，对树形编码单元进行样点自适应补偿，得到补偿后的编码单元。

需要说明的是，对于树形编码单元的亮度分量和色度分量，若选取非参数融合补偿模式作为最优补偿模式，则亮度分量和色度分量可以分别根据自身像素的特点确定补偿模式和补偿值；若选取参数融合补偿模式作为最优补偿模式，则亮度分量和色度分量可以同时采用左相邻或者上相邻的树形编码单元的补偿参数。

在本申请实施例中，对待编码图像中的树形编码单元进行遍历并重复执行上述过程，即可完成对待编码图像的样点自适应补偿。

可以理解的是，在实际应用过程中，本申请实施例的样点自适应补偿模式决策方法可以在减少一定率失真性能(BD性能)的前提下减少样点自适应补偿模块的整体时间。当树形编码单元的划分深度为0时，可以从非参数融合补偿模式中排除135度方向边界补偿模式和45度方向边界补偿模式；而当树形编码单元的划分深度不为0时，可以从各个非参数融合补偿模式中选取最优非参数融合补偿模式；仅作为一种参考，在实验条件下，本申请实施例可以在BD性能仅降低0.8％的前提下，减少样点自适应补偿模块42％的整体时间，具体应用场景及数据集的性能统计数据可参考下表：

其中，BDBR为相同峰值信噪比(Peak Signal To Noise Ratio，PSNR)情况下比特率的增加量；当BDBR的值为正数，则表示BD性能下降；反之，则表示BD性能提升；ΔT表示样点自适应补偿模块整体时间的增加量。

综上所述，在本申请实施例中，可以根据树形编码单元的划分深度从各种非参数融合补偿模式中选取最优非参数融合补偿模式，之后，可以在最优非参数融合补偿模式和参数融合补偿模式中选取最优补偿模式。通过本申请实施例，可以根据树形编码单元的划分深度选取最优非参数融合补偿模式，节省了在非参数融合补偿模式中的决策时间，提升了样点自适应补偿模式决策方法的效率，具有较强的易用性和实用性。

应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。

对应于上文实施例所述的一种样点自适应补偿模式决策方法，图10示出了本申请实施例提供的一种样点自适应补偿装置的一个实施例结构图。

本实施例中，一种样点自适应补偿装置可以包括：

深度获取模块1001，用于获取树形编码单元的划分深度；

第一选取模块1002，用于根据所述划分深度在各种非参数融合补偿模式中选取最优非参数融合补偿模式；

第二选取模块1003，用于在所述最优非参数融合补偿模式和参数融合补偿模式中选取最优补偿模式。

在本申请实施例的一种具体实现方式中，所述第一选取模块可以包括：

选取单元，用于若所述划分深度为0，则在水平方向边界补偿模式、垂直方向边界补偿模式和边带补偿模式中选取所述最优非参数融合补偿模式。

在本申请实施例的一种具体实现方式中，所述第一选取模块还可以包括：

数目获取单元，用于若所述划分深度不为0，则获取所述树形编码单元的最小帧内预测单元的数目；

补偿模式选取单元，用于根据所述最小帧内预测单元的数目在各种非参数融合补偿模式中选取所述最优非参数融合补偿模式。

在本申请实施例的一种具体实现方式中，所述补偿模式选取单元可以包括：

代价获取子单元，用于若所述最小帧内预测单元的数目大于或等于预设的数目阈值，则分别获取各个所述最小帧内预测单元在各种帧内角度预测模式下的第一率失真代价；

补偿模式选取子单元，用于根据所述第一率失真代价在各种边界补偿模式中选取至少一种候选边界补偿模式；

融合补偿模式选取子单元，用于在所述候选边界补偿模式和边带补偿模式中选取所述最优非参数融合补偿模式。

在本申请实施例的一种具体实现方式中，所述补偿模式选取子单元可以包括：

第一代价计算子单元，用于根据所述第一率失真代价分别计算各个所述最小帧内预测单元在各种所述边界补偿模式下的第二率失真代价；

第二代价计算子单元，用于根据所述第二率失真代价分别计算所述树形编码单元在各种所述边界补偿模式下的第三率失真代价；

补偿模式选取子单元，用于根据所述第三率失真代价在各种所述边界补偿模式中选取至少一种所述候选边界补偿模式。

在本申请实施例的一种具体实现方式中，所述第一代价计算子单元可以包括：

平均值计算子单元，用于计算目标最小帧内预测单元在与目标边界补偿模式对应的各种帧内角度预测模式下的所述第一率失真代价的平均值；其中，所述目标最小帧内预测单元为任意一个所述最小帧内预测单元，所述目标边界补偿模式为任意一个所述边界补偿模式；

代价确定子单元，用于将所述平均值确定为所述目标最小帧内预测单元在所述目标边界补偿模式下的所述第二率失真代价。

在本申请实施例的一种具体实现方式中，所述补偿模式选取子单元可以包括：

第一模式选取子单元，用于选取所述第三率失真代价最小的所述边界补偿模式作为所述候选边界补偿模式；

代价比值计算子单元，用于分别计算各种未选取的所述边界补偿模式的所述第三率失真代价与基准代价之间的比值；其中，所述基准代价为最小的所述第三率失真代价；

第二模式选取子单元，用于选取所述比值小于预设的比值阈值的所述边界补偿模式作为所述候选边界补偿模式。

在本申请实施例的一种具体实现方式中，所述样点自适应补偿装置还可以包括：

模式选取模块，用于若所述最小帧内预测单元的数目小于所述数目阈值，则在各种非参数融合补偿模式中选取最优非参数融合补偿模式。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的装置，模块和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。

图11示出了本申请实施例提供的一种终端设备的示意框图，为了便于说明，仅示出了与本申请实施例相关的部分。

如图11所示，该实施例的终端设备11包括：处理器110、存储器111以及存储在所述存储器111中并可在所述处理器110上运行的计算机程序112。所述处理器110执行所述计算机程序112时实现上述各个样点自适应补偿模式决策方法实施例中的步骤，例如图2所示的步骤S201至步骤S203。或者，所述处理器110执行所述计算机程序112时实现上述各装置实施例中各模块/单元的功能，例如图10所示模块1001至模块1003的功能。

示例性的，所述计算机程序112可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器111中，并由所述处理器110执行，以完成本申请。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序112在所述终端设备11中的执行过程。

所述终端设备11可以是桌上型计算机、笔记本、掌上电脑等计算设备。本领域技术人员可以理解，图11仅仅是终端设备11的示例，并不构成对终端设备11的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述终端设备11还可以包括输入输出设备、网络接入设备、总线等。

所述处理器110可以是中央处理单元(Central Processing Unit，CPU)，还可以是其它通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其它可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

所述存储器111可以是所述终端设备11的内部存储单元，例如终端设备11的硬盘或内存。所述存储器111也可以是所述终端设备11的外部存储设备，例如所述终端设备11上配备的插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)等。进一步地，所述存储器111还可以既包括所述终端设备11的内部存储单元也包括外部存储设备。所述存储器111用于存储所述计算机程序以及所述终端设备11所需的其它程序和数据。所述存储器111还可以用于暂时地存储已经输出或者将要输出的数据。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

在本申请所提供的实施例中，应该理解到，所揭露的装置/终端设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/终端设备实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读存储介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读存储介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读存储介质不包括电载波信号和电信信号。

以上所述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。

Claims (11)

1.一种样点自适应补偿模式决策方法，其特征在于，包括：

获取树形编码单元的划分深度；

根据所述划分深度在各种非参数融合补偿模式中选取最优非参数融合补偿模式；

在所述最优非参数融合补偿模式和参数融合补偿模式中选取最优补偿模式。

2.根据权利要求1所述的样点自适应补偿模式决策方法，其特征在于，所述根据所述划分深度在各种非参数融合补偿模式中选取最优非参数融合补偿模式，包括：

若所述划分深度为0，则在水平方向边界补偿模式、垂直方向边界补偿模式和边带补偿模式中选取所述最优非参数融合补偿模式。

3.根据权利要求1所述的样点自适应补偿模式决策方法，其特征在于，所述根据所述划分深度在各种非参数融合补偿模式中选取最优非参数融合补偿模式，包括：

若所述划分深度不为0，则获取所述树形编码单元的最小帧内预测单元的数目；

根据所述最小帧内预测单元的数目在各种非参数融合补偿模式中选取所述最优非参数融合补偿模式。

4.根据权利要求3所述的样点自适应补偿模式决策方法，其特征在于，根据所述最小帧内预测单元的数目在各种非参数融合补偿模式中选取所述最优非参数融合补偿模式，包括：

若所述最小帧内预测单元的数目大于或等于预设的数目阈值，则分别获取各个所述最小帧内预测单元在各种帧内角度预测模式下的第一率失真代价；

根据所述第一率失真代价在各种边界补偿模式中选取至少一种候选边界补偿模式；

在所述候选边界补偿模式和边带补偿模式中选取所述最优非参数融合补偿模式。

5.根据权利要求4所述的样点自适应补偿模式决策方法，其特征在于，所述根据所述第一率失真代价在各种边界补偿模式中选取至少一种候选边界补偿模式，包括：

根据所述第一率失真代价分别计算各个所述最小帧内预测单元在各种所述边界补偿模式下的第二率失真代价；

根据所述第二率失真代价分别计算所述树形编码单元在各种所述边界补偿模式下的第三率失真代价；

根据所述第三率失真代价在各种所述边界补偿模式中选取至少一种所述候选边界补偿模式。

6.根据权利要求5所述的样点自适应补偿模式决策方法，其特征在于，所述根据所述第一率失真代价分别计算各个所述最小帧内预测单元在各种所述边界补偿模式下的第二率失真代价，包括：

计算目标最小帧内预测单元在与目标边界补偿模式对应的各种帧内角度预测模式下的所述第一率失真代价的平均值；其中，所述目标最小帧内预测单元为任意一个所述最小帧内预测单元，所述目标边界补偿模式为任意一个所述边界补偿模式；

将所述平均值确定为所述目标最小帧内预测单元在所述目标边界补偿模式下的所述第二率失真代价。

7.根据权利要求5所述的样点自适应补偿模式决策方法，其特征在于，所述根据所述第三率失真代价在各种所述边界补偿模式中选取至少一种所述候选边界补偿模式，包括：

选取所述第三率失真代价最小的所述边界补偿模式作为所述候选边界补偿模式；

分别计算各种未选取的所述边界补偿模式的所述第三率失真代价与基准代价之间的比值；其中，所述基准代价为最小的所述第三率失真代价；

选取所述比值小于预设的比值阈值的所述边界补偿模式作为所述候选边界补偿模式。

8.根据权利要求3至6中任一项所述的样点自适应补偿模式决策方法，其特征在于，在获取所述树形编码单元的最小帧内预测单元的数目之后，还包括：

若所述最小帧内预测单元的数目小于所述数目阈值，则在各种非参数融合补偿模式中选取最优非参数融合补偿模式。

9.一种样点自适应补偿装置，其特征在于，包括：

深度获取模块，用于获取树形编码单元的划分深度；

第一选取模块，用于根据所述划分深度在各种非参数融合补偿模式中选取最优非参数融合补偿模式；

第二选取模块，用于在所述最优非参数融合补偿模式和参数融合补偿模式中选取最优补偿模式。

10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至8中任一项所述的样点自适应补偿模式决策方法的步骤。

11.一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至8中任一项所述的样点自适应补偿模式决策方法的步骤。