CN116347104B - 基于高效判别分析的帧内图像编码方法、装置及存储介质 - Google Patents

Abstract

本发明公开了一种基于高效判别分析的帧内图像编码方法、装置及存储介质，涉及图像处理技术领域，包括步骤：特征向量选择；以各编码块的特征向量为输入量，进行基于最大类分离目标下各划分模式分类间的投影矩阵求解式构建；求解优化；获取当前图像组中的帧内编码帧，并提取帧内编码帧各编码深度下各编码块的特征向量；根据提取出的各特征向量补齐求解优化后投影矩阵求解式的各项参数；根据补齐后的投影矩阵求解式，以目标帧间图像当前编码深度下编码块的特征向量为输入量进行划分模式判定。本发明在分类判定的时候判定标准更符合当前图像组的情况，在保证同类足够接近的同时保证不同类映射距离足够远，从而提高了分类划分准确率。

Description

基于高效判别分析的帧内图像编码方法、装置及存储介质

技术领域

本发明涉及图像处理技术领域，具体涉及一种基于高效判别分析的帧内图像编码方法、装置及存储介质。

背景技术

目前主流视频压缩标准普遍采用基于预测差分编码理论为基础的混合编码框架。该框架以香农信息论为理论基础，以像素和图像块为基本处理单元，对图像单元进行预测、变换、量化、环路滤波以及熵编码等过程，有效地去除视频中的各种冗余信息。VVC拥有优异的压缩性能，同时也具有较高的复杂度。在降低高效视频编码的计算复杂度优化算法中，帧内快速编码通过减少图片内空间冗余实现视频编码，前人方法利用了时空相关性来降低VVC的计算复杂度，但是没有考虑到视频图像局部内容与编码单元尺寸之间的关联性。

发明内容

为了降低VVC编码过程中的计算复杂度，并将编码深度与局部内容关联起来提高编码质量，本发明提出了一种基于高效判别分析的帧内图像编码方法，包括步骤：

S1：以预测残差为包裹式特征选择的特征子集评价标准，基于F-Score获取当前图像组编码块划分判定的特征向量；

S2：以各编码块的特征向量为输入量，进行基于最大类分离目标下各划分模式分类间的投影矩阵求解式构建；

S3：通过凸优化约束对投影矩阵求解式进行求解优化；

S4：获取当前图像组中的帧内编码帧，并提取帧内编码帧各编码深度下各编码块的特征向量；

S5：根据提取出的各特征向量补齐求解优化后投影矩阵求解式的各项参数；

S6：根据补齐后的投影矩阵求解式，以目标帧间图像当前编码深度下编码块的特征向量为输入量进行划分模式判定；

S7：根据判定的划分模式进行编码块划分，并在到达最大编码深度前返回S6步骤。

进一步地，所述S2步骤中，通过线性判别分析来构建最大类分离目标下各划分模式分类间的投影方向求解式。

进一步地，所述投影矩阵求解式表示为如下公式：

式中，为类间离散度矩阵，K为划分模式分类的总量，k为取值范围1至K的常数，为第k类划分模式对应各编码块特征向量的集合，/>为第k类划分模式对应各编码块特征向量的平均向量，/>为所有划分模式对应各编码块特征向量的平均向量，/>为第k类划分模式对应各编码块特征向量的协方差矩阵，/>为各类划分模式协方差矩阵的总和，W为投影矩阵，/>表示为求最大的W，/>为W的比率，T为矩阵转置操作。

进一步地，所述S3步骤中，求解优化后的投影矩阵表示为如下公式：

式中，为拉格朗日乘子，/>为修正常量。

进一步地，若为非奇异矩阵，则求解优化后的投影矩阵表示为如下公式：

式中，为拉格朗日乘子，/>为修正常量。

进一步地，所述S6步骤中，划分模式判定的具体方式为：

根据补齐后的投影矩阵求解式获得投影矩阵W，并提取投影矩阵W中特征值最大的类别作为判定的划分模式。

还包括一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现一种基于高效判别分析的帧内图像编码方法的步骤。

还包括一种处理数据的装置，其特征在于，包括：

储存器，其上存储有计算机程序；

处理器，用于执行所述储存器中的计算机程序，以实现一种基于高效判别分析的帧内图像编码方法的步骤。

与现有技术相比，本发明至少含有以下有益效果：

（1）本发明所述的一种基于高效判别分析的帧内图像编码方法、装置及存储介质，通过对当前画面组进行包裹式特征选择下的特征向量选择，使得后续基于特征向量进行构建的分类判定模型，在分类判定的时候其判定标准能够更符合当前图像组的情况；

（2）通过线性判别分析以及凸优化获得使不同类之间的距离最大的投影矩阵，并从中选取特征值最大的类别作为当前编码块的划分模式，使得分类结果能在保证同类足够接近的同时保证不同类映射距离足够远，从而提高了分类划分准确率。

附图说明

图1为一种基于高效判别分析的帧内图像编码方法的步骤图。

具体实施方式

以下是本发明的具体实施例并结合附图，对本发明的技术方案作进一步的描述，但本发明并不限于这些实施例。

实施例一

在VVC编码标准中，采用了一共六种划分结构，分别为不划分、四叉树划分、水平二叉树划分、垂直二叉树划分、水平三叉树划分、垂直三叉树划分，多类型树划分结构大大增加了VVC编码的计算复杂度，使VVC不适应实时处理的应用场景。为此，针对VVC中编码块划分计算复杂度太高的问题，如图1所示，本发明提出了一种基于高效判别分析的帧内图像编码方法，包括步骤：

S1：以预测残差为包裹式特征选择的特征子集评价标准，基于F-Score获取当前图像组编码块划分判定的特征向量；

S2：以各编码块的特征向量为输入量，进行基于最大类分离目标下各划分模式分类间的投影矩阵求解式构建；

S3：通过凸优化约束对投影矩阵求解式进行求解优化；

S4：获取当前图像组中的帧内编码帧，并提取帧内编码帧各编码深度下各编码块的特征向量；

S5：根据提取出的各特征向量补齐求解优化后投影矩阵求解式的各项参数；

S6：根据补齐后的投影矩阵求解式，以目标帧间图像当前编码深度下编码块的特征向量为输入量进行划分模式判定；

S7：根据判定的划分模式进行编码块划分，并在到达最大编码深度前返回S6步骤。

在帧内编码的过程中，通常对划分模式具有影响的因素有预测残差先关特征、CU编码深度、CU纹理复杂度和率失真函数等，但考虑到不同的图像运动趋势和图像色深变化，并不是所有因素都会对划分模式产生影响，若是在实际划分模式判定过程中将所有因素都考虑进去，势必会提高运算成本。因此，如何选取适当的影响因素作为划分模式的判定依据就成为了影响编码效率的一大因素。在这里，本发明考虑到同一画面组中的帧间图像往往具有相似的划分模式分类趋势。因此，如果能够提取到当前画面组帧内编码帧中与划分模式判定相关性最高的若干个特征向量，就能够极大程度上代表同一画面组中后续帧间图像在帧内编码中所依赖的特征向量。

基于此，本发明选用基于F-Score的包裹式特征选择（Wrapper）方法选择CU划分的最重要的三个特征（实际数量可以根据编码质量和编码效率需求自行选择，本实施例仅以三个为例）作为CU划分的特征向量。具体来说，就是采用直接把最终将要使用的模型的性能作为特征子集的评价标准，并在F-Score打分标准下进行评分，提取出其中分值最大的三个特征作为CU划分的特征向量。

在提取到合适的特征向量后，在划分模式判定过程中我们想要实现不同类之间的最大类分离，从概念上将，来自同一分类的所有投影都应该保持接近，而不同分类应该映射到一些相距较远的区域。为了同时满足这两个目标，本发明选用基于线性判别分析作为实施工具。其中，投影的概念解释如下，也即是找到一个方向，使得数据在这些投影方向上的方差最大，通过计算原始数据在这些正交基上投影的方差，方差越大，就说明在对应正交基上包含了更过的信息量，而这个方向就是主成分（最大概率的划分模式）。

首先，根据当前已知的量，也即是帧内编码帧，按照划分模式分类依次提取出其在各编码深度下各编码块的特征向量，并计算各分类特征向量的均值向量和样本协方差矩阵，公式表达如下：

式中，k为取值范围1至K的常数，K为划分模式分类的总量（在VVC编码标准中K取值为6），为第k类划分模式对应各编码块特征向量的集合，/>为第k类划分模式对应各编码块特征向量的平均向量，/>为所有划分模式对应各编码块特征向量的平均向量，/>为第k类划分模式对应各编码块特征向量的协方差矩阵，/>为/>中第i个编码块对应的特征向量。

根据获得的均值向量和样本协方差矩阵，基于线性判别分析最大化以下比率来导出投影方向W：

其中，为W的比率，分子用于衡量不同类之间的分离，即类间离散度矩阵/>，它通过所有类的均值向量计算：

分母用来衡量来自同一类的所有投影与所谓的类内离散度矩阵的接近程度，其定义为所有编码块特征向量的协方差矩阵的综合：

然而，考虑到这样获得的线性判定分析得到的只是局部最优解，因此，本发明在此基础上对其进行了凸优化改进，将最大化比率问题转换为带有约束的凸优化问题：

求得该优化问题的解为全局最优投影矩阵：，/>为拉格朗日乘子，/>为修正常量。而若是/>为非奇异矩阵，则/>。

根据最终求解优化后的投影矩阵表达式，利用帧内编码帧中的已知量补齐以及/>，即可在对后续同一图像组中的目标帧间图像进行帧内编码时，通过带入当前编码深度下编码块的特征向量为输入量进行划分模式判定，并在到达最大编码深度前重复此操作，即可实现高效准确的帧内编码。当然，获得的W是一组划分模式矩阵，它的每一列向量为/>的前K-1个较大特征值相应的特征向量，还并不是最终判定的划分模式。在这里，我们是根据补齐后的投影矩阵求解式获得的投影矩阵W，提取投影矩阵W中特征值最大的类别作为最终判定的划分模式。

还包括一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现一种基于高效判别分析的帧内图像编码方法的步骤。

还包括一种处理数据的装置，其特征在于，包括：

储存器，其上存储有计算机程序；

处理器，用于执行所述储存器中的计算机程序，以实现一种基于高效判别分析的帧内图像编码方法的步骤。

综上所述，本发明所述的一种基于高效判别分析的帧内图像编码方法、装置及存储介质，通过对当前画面组进行包裹式特征选择下的特征向量选择，使得后续基于特征向量进行构建的分类判定模型，在分类判定的时候其判定标准能够更符合当前图像组的情况。

通过线性判别分析以及凸优化获得使不同类之间的距离最大的投影矩阵，并从中选取特征值最大的类别作为当前编码块的划分模式，使得分类结果能在保证同类足够接近的同时保证不同类映射距离足够远，从而提高了分类划分准确率。

需要说明，本发明实施例中所有方向性指示（诸如上、下、左、右、前、后……）仅用于解释在某一特定姿态（如附图所示）下各部件之间的相对位置关系、运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应地随之改变。

另外，在本发明中如涉及“第一”、“第二”、“一”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

在本发明中，除非另有明确的规定和限定，术语“连接”、“固定”等应做广义理解，例如，“固定”可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系，除非另有明确的限定。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。

另外，本发明各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。

Claims (6)

1.一种基于高效判别分析的帧内图像编码方法，其特征在于，包括步骤：

S1：以预测残差为包裹式特征选择的特征子集评价标准，基于F-Score获取当前图像组编码块划分判定的特征向量；

S2：以各编码块的特征向量为输入量，进行基于最大类分离目标下各划分模式分类间的投影矩阵求解式构建；

S3：通过凸优化约束对投影矩阵求解式进行求解优化；

S4：获取当前图像组中的帧内编码帧，并提取帧内编码帧各编码深度下各编码块的特征向量；

S5：根据提取出的各特征向量补齐求解优化后投影矩阵求解式的各项参数；

S6：根据补齐后的投影矩阵求解式，以目标帧间图像当前编码深度下编码块的特征向量为输入量进行划分模式判定；

S7：根据判定的划分模式进行编码块划分，并在到达最大编码深度前返回S6步骤；

所述S2步骤中，通过线性判别分析来构建最大类分离目标下各划分模式分类间的投影方向求解式；

所述投影矩阵求解式表示为如下公式：

式中，为类间离散度矩阵，K为划分模式分类的总量，k为取值范围1至K的常数，/>为第k类划分模式对应各编码块特征向量的集合，/>为第k类划分模式对应各编码块特征向量的平均向量，/>为所有划分模式对应各编码块特征向量的平均向量，/>为第k类划分模式对应各编码块特征向量的协方差矩阵，/>为各类划分模式协方差矩阵的总和，W为投影矩阵，/>表示为求最大的W，/>为W的比率，T为矩阵转置操作，/>为/>中第i个编码块对应的特征向量。

2.如权利要求1所述的一种基于高效判别分析的帧内图像编码方法，其特征在于，所述S3步骤中，求解优化后的投影矩阵表示为如下公式：

式中，为拉格朗日乘子，/>为修正常量。

3.如权利要求1所述的一种基于高效判别分析的帧内图像编码方法，其特征在于，若为非奇异矩阵，则求解优化后的投影矩阵表示为如下公式：

式中，为拉格朗日乘子，/>为修正常量。

4.如权利要求1所述的一种基于高效判别分析的帧内图像编码方法，其特征在于，所述S6步骤中，划分模式判定的具体方式为：

根据补齐后的投影矩阵求解式获得投影矩阵W，并提取投影矩阵W中特征值最大的类别作为判定的划分模式。

5.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1至4中任一项所述编码方法的步骤。

6.一种处理数据的装置，其特征在于，包括：

储存器，其上存储有计算机程序；

处理器，用于执行所述储存器中的计算机程序，以实现权利要求1至4中任一项所述编码方法的步骤。