CN115955574A - 一种基于权重网络的帧内图像编码方法、装置及存储介质 - Google Patents

Abstract

本发明公开了一种基于权重网络的帧内图像编码方法、装置及存储介质，涉及图像处理技术领域，主要包括步骤：以各特征集为已标记网络节点构建无自环的无向有权网络，并对权重网络进行基于各编码块间相似度的划分模式分类训练；获取目标编码块在当前编码深度下与任一已标记网络节点的相似度权值；将目标编码块的特征集插入权重网络，获取其与其它已标记网络节点的连接权重，结合相似度权值对各已标记网络节点的邻接矩阵进行修正；基于修正后的邻接矩阵优化对应邻接矩阵的第一列元素，并通过随机游走极限概率获取目标编码块的划分模式分类判定结果。本发明大大降低了编码计算的复杂度，提高了整体的帧内编码效率。

Description

一种基于权重网络的帧内图像编码方法、装置及存储介质

技术领域

本发明涉及图像处理技术领域，具体涉及一种基于权重网络的帧内图像编码方法、装置及存储介质。

背景技术

随着多媒体技术的迅速发展，2015年10月，VCEG和MPEG成立了联合视频专家组（Joint Video Experts Team，JVET），便开始了下一代视频编码标准Versatile VideoCoding（VVC）的研发，VVC标准的第一版在2020年7月已经顺利推出，与之前的编码标准相比，VVC标准在编码性能上有了很大的突破，重要的是VVC相比较HEVC在编码的各个模块都做了相应改进，以便更好的适用当前视频压缩编码的需求。

VVC标准中采用了和HEVC中类似的基于块的混合式编码框架，与HEVC不同的是，VVC中的每个编码模块都在之前编码算法的基础之上增添了一些先进的编码技术，这些先进技术的加入使得VVC的编码效率得到了很大的提升，已经在视频质量相当的情况下相比于HEVC节省25%的码率。VVC拥有优异的压缩性能，同时也具有较高的复杂度。很多学者对VVC的快速算法进行了研究。在过去的几年中，基于学习和非基于学习的方法都被提出来实现VVC帧内编码的编码单元（Coding Unit，CU）快速划分。但前人方法没有很好地平衡好编码效率和编码计算复杂度。

发明内容

为了提高VVC编码的效率，降低编码计算复杂度，本发明从帧内编码的角度出发，提出了一种基于权重网络的帧内图像编码方法，包括步骤：

S1：提取目标编码块所属画面组中的帧内编码帧，并以帧内编码帧中各个编码块已标记分类的编码块为样本数据提取其特征集；

S2：以各特征集为已标记网络节点构建无自环的无向有权网络，并对权重网络进行基于各编码块间相似度的划分模式分类训练；

S3：获取目标编码块在当前编码深度下与任一已标记网络节点的相似度权值；

S4：将目标编码块的特征集插入权重网络，获取其与其它已标记网络节点的连接权重，结合相似度权值对各已标记网络节点的邻接矩阵进行修正；

S5：基于修正后的邻接矩阵优化对应邻接矩阵的第一列元素，并通过随机游走极限概率获取目标编码块的划分模式分类判定结果；

S6：根据划分模式分类判定结果对目标编码块进行划分，在进入最大编码深度前进入下一编码深度并返回S3步骤。

进一步地，所述S1步骤中，特征集包括率失真函数、方差和编码深度。

进一步地，所述S2步骤中，节点间相似度通过距离函数获得。

进一步地，所述S4步骤中，连接权重通过相似函数和权重网络形成策略计算获得。

进一步地，所述S4步骤中，邻接矩阵的修正表示为如下公式：

式中，A为各已标记网络节点修正前由连接权重构成的原始邻接矩阵，

为各已标记网络节点修正后的邻接矩阵，

为非负参数，n为样本数据的总量，

为n×n的矩阵，

为n×1的向量，且向量元素均为

，i为取值为1至n的常数，

为目标编码块与第i个已标记网络节点的相似度权值，T为矩阵转置操作。

进一步地，所述S5步骤中，划分模式分类判定结果的获取表示为如下公式：

式中，P为表示各划分模式间转移概率的状态转移矩阵，用于获取目标编码块归属为各划分模式的概率，

为状态转移矩阵的元素，

为目标编码块插入到第i个已标记节点中后与第j个已标记节点的连接权重，j为取值1至n的常数，

为极限概率，通过对P进行迭代获得的特征向量进行单位特征值的转换获得，

为目标编码块属于状态类别m的概率，m为取值1至M的常数，M为划分模式的总量。

进一步地，所述S4步骤中，在获取目标编码块的特征集与其它已标记网络节点的连接权重后，还包括步骤：将目标编码块的特征集从权重网络中删除。

还包括一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现一种基于权重网络的帧内图像编码方法的步骤。

还包括一种处理数据的装置，包括：

储存器，其上存储有计算机程序；

处理器，用于执行所述储存器中的计算机程序，以实现一种基于权重网络的帧内图像编码方法的步骤。

与现有技术相比，本发明至少含有以下有益效果：

本发明所述的一种基于权重网络的帧内图像编码方法、装置及存储介质，通过无向有权网络的构建与训练，将原本通过率失真计算的遍历式帧内编码方式转换为了基于节点间相似性判断的多分类判定方式，大大降低了编码计算的复杂度，提高了整体的帧内编码效率。

附图说明

图1为一种基于权重网络的帧内图像编码方法的步骤示意图。

具体实施方式

以下是本发明的具体实施例并结合附图，对本发明的技术方案作进一步的描述，但本发明并不限于这些实施例。

实施例一

在VVC编码标准中，其引入了四叉树嵌套多叉树的划分结构，包括不划分、四叉树划分、水平二叉树划分、垂直二叉树划分、水平三叉树划分、垂直三叉树划分。多类型树划分结构的引入大大提高了VVC编码在解压缩后的图像还原精度，但过于复杂的编码计算也降低了编码的整体效率，为此，如图1所示，本发明提出了一种基于权重网络的帧内图像编码方法，包括步骤：

S1：提取目标编码块所属画面组中的帧内编码帧，并以帧内编码帧中各个编码块已标记分类的编码块为样本数据提取其特征集；

S2：以各特征集为已标记网络节点构建无自环的无向有权网络，并对权重网络进行基于各编码块间相似度的划分模式分类训练；

S3：获取目标编码块在当前编码深度下与任一已标记网络节点的相似度权值；

S4：将目标编码块的特征集插入权重网络，获取其与其它已标记网络节点的连接权重，结合相似度权值对各已标记网络节点的邻接矩阵进行修正；

S5：基于修正后的邻接矩阵优化对应邻接矩阵的第一列元素，并通过随机游走极限概率获取目标编码块的划分模式分类判定结果；

S6：根据划分模式分类判定结果对目标编码块进行划分，在进入最大编码深度前进入下一编码深度并返回S3步骤。

在本发明中，提出了将复杂网络运用到帧内编码划分模式的判定过程中。而复杂网络简而言之就是呈现高度复杂性的网络，它以简单的措辞描述了大多数网络尽管规模很大但是任意两个节点间却有一条相当短的路径的事实，以及集群即集聚程度的概念。而集聚程度的意义是网络集团化的程度，这是一种网络的内聚倾向。连通集团概念反映的是一个大网络中各集聚的小网络分布和相互联系的状况。例如，它可以反映这个朋友圈与另一个朋友圈的相互关系。同时，复杂网络还具有幂律的度分步概念，度指的是网络中某个节点与其它节点关系（用网络中的边表达）的数量；度的相似性指顶点之间关系的联系紧密性。

不难看出，帧内图像编码也可以看成是相同划分模式的聚类，这是由于同一图像组中，在同一编码深度下，相同位置处的编码块划分模式往往具有较高的相似性。因此，可以将各编码块看成是复杂网络中的一个个节点，通过利用已知信息对复杂网络进行分类训练，从而帮助后续编码帧的帧内编码划分判定。无需通过逐编码深度、逐编码划分模式方式下的率失真代价大小比较，就能实现编码划分模式判定。

为此，本发明以与目标编码块处于同一图像组中的帧内编码帧为训练数据集（

，n为样本数据的总量）来源，鉴于帧内编码帧含有全部编码信息的特点，以帧内编码帧中各个编码块已标记分类了的编码块为样本数据提取相应的特征集。在这里，考虑特征要与编码划分模式具有较高的相关性，以提高训练的精确度，本发明选择编码块的率失真函数、方差和编码深度作为特征集（

，i为取值为1至n的常数），并以各特征集为已标记网络节点构建无自环的无向有权网络

，其中

为连接权重（权重值通过节点间的欧式距离与其高斯相似度乘积计算得到），表示样本数据之间的相似性，

，任一对样本

和

之间的相似性用

表示，可以使用任何距离函数（例如欧式距离）来计算网络相似度矩阵

。最后只需要对权重网络进行基于各编码块间相似度的划分模式分类训练，即可得到所需要的帧内编码划分网络模型。

通过训练后的权重网络，对各未标记分类的目标编码块（

，u为未标记目标编码块的总量）进行分类。而要实现这一点，首先需要计算目标编码块与任一已标记网络节点（假设该节点标号为s）之间特征集的相似度权值。而后，将该目标编码块的特征集作为节点插入到权重网络的节点s上，并计算其与其它已标记网络节点的连接权重，计算完成后将节点s从权重网络中删除。在对全部节点进行插入操作后，根据获得的连接权重和相似度权值对各个节点的加权非对称邻接矩阵进行如下修正：

式中，A为各已标记网络节点修正前由连接权重构成的原始邻接矩阵，

为各已标记网络节点修正后的邻接矩阵，

为非负参数，n为样本数据的总量，

为n×n的矩阵，

为n×1的向量，且向量元素均为

，i为取值为1至n的常数，

为目标编码块与第i个已标记网络节点的相似度权值，T为矩阵转置操作。

修正后的邻接矩阵

也可以称为分类网络模型，通过该网络模型，即可通过随机游走极限概率求解网络中节点所代表的数据标签，转移概率也可以对邻接矩阵

进行修正获得，在此求解方法下，状态转移矩阵

表示为如下公式：

式中，P为表示各划分模式间转移概率的状态转移矩阵，用于获取目标编码块归属为各划分模式的概率，

为状态转移矩阵的元素，

为目标编码块插入到第i个已标记节点中后与第j个已标记节点的连接权重，j为取值1至n的常数。

为了使状态转移矩阵P为最优矩阵，在一优选实施例中，考虑到第一列表示为两个距离最近节点之间的转移概率，故相应权重较大，因此需要在P的第一列每一个元素值乘以2的权重，也即是

。

那么目标编码块CU划分模式极限概率求解方法为：求与状态转移矩阵P的单位特征值相对应的特征向量即为极限概率，极限概率的结果形式为以下向量：

式中，

为极限概率，通过对P进行迭代获得的特征向量进行单位特征值的转换获得，

为目标编码块属于状态类别m的概率，m为取值1至M的常数，M为划分模式的总量。

其中，每个条目

可以被理解为目标编码块属于划分模式类别m的概率。最后，通过选择状态集合中最大概率的状态类别即为最终判定的划分模式。

本发明还提出了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现一种基于权重网络的帧内图像编码方法的步骤。

以及一种处理数据的装置，包括：

储存器，其上存储有计算机程序；

处理器，用于执行所述储存器中的计算机程序，以实现一种基于权重网络的帧内图像编码方法的步骤。

综上所述，本发明提出的一种基于权重网络的帧内图像编码方法、装置及存储介质，通过无向有权网络的构建与训练，将原本通过率失真计算的遍历式帧内编码方式转换为了基于节点间相似性判断的多分类判定方式，大大降低了编码计算的复杂度，提高了整体的帧内编码效率。

需要说明，本发明实施例中所有方向性指示（诸如上、下、左、右、前、后……）仅用于解释在某一特定姿态（如附图所示）下各部件之间的相对位置关系、运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应地随之改变。

另外，在本发明中如涉及“第一”、“第二”、“一”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

在本发明中，除非另有明确的规定和限定，术语“连接”、“固定”等应做广义理解，例如，“固定”可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系，除非另有明确的限定。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。

另外，本发明各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。

Claims (9)

1.一种基于权重网络的帧内图像编码方法，其特征在于，包括步骤：

S1：提取目标编码块所属画面组中的帧内编码帧，并以帧内编码帧中各个编码块已标记分类的编码块为样本数据提取其特征集；

S2：以各特征集为已标记网络节点构建无自环的无向有权网络，并对权重网络进行基于各编码块间相似度的划分模式分类训练；

S3：获取目标编码块在当前编码深度下与任一已标记网络节点的相似度权值；

S4：将目标编码块的特征集插入权重网络，获取其与其它已标记网络节点的连接权重，结合相似度权值对各已标记网络节点的邻接矩阵进行修正；

S5：基于修正后的邻接矩阵优化对应邻接矩阵的第一列元素，并通过随机游走极限概率获取目标编码块的划分模式分类判定结果；

S6：根据划分模式分类判定结果对目标编码块进行划分，在进入最大编码深度前进入下一编码深度并返回S3步骤。

2.如权利要求1所述的一种基于权重网络的帧内图像编码方法，其特征在于，所述S1步骤中，特征集包括率失真函数、方差和编码深度。

3.如权利要求1所述的一种基于权重网络的帧内图像编码方法，其特征在于，所述S2步骤中，节点间相似度通过距离函数获得。

4.如权利要求1所述的一种基于权重网络的帧内图像编码方法，其特征在于，所述S4步骤中，连接权重通过相似函数和权重网络形成策略计算获得。

5.如权利要求1所述的一种基于权重网络的帧内图像编码方法，其特征在于，所述S4步骤中，邻接矩阵的修正表示为如下公式：

式中，A为各已标记网络节点修正前由连接权重构成的原始邻接矩阵，

为各已标记网络节点修正后的邻接矩阵，

为非负参数，n为样本数据的总量，

为n×n的矩阵，

为n×1的向量，且向量元素均为

，i为取值为1至n的常数，

为目标编码块与第i个已标记网络节点的相似度权值，T为矩阵转置操作。

6.如权利要求5所述的一种基于权重网络的帧内图像编码方法，其特征在于，所述S5步骤中，划分模式分类判定结果的获取表示为如下公式：

式中，P为表示各划分模式间转移概率的状态转移矩阵，用于获取目标编码块归属为各划分模式的概率，

为状态转移矩阵的元素，

为目标编码块插入到第i个已标记节点中后与第j个已标记节点的连接权重，j为取值1至n的常数，

为极限概率，通过对P进行迭代获得的特征向量进行单位特征值的转换获得，

为目标编码块属于状态类别m的概率，m为取值1至M的常数，M为划分模式的总量。

7.如权利要求1所述的一种基于权重网络的帧内图像编码方法，其特征在于，所述S4步骤中，在获取目标编码块的特征集与其它已标记网络节点的连接权重后，还包括步骤：将目标编码块的特征集从权重网络中删除。

8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1至7中任一项所述编码方法的步骤。

9.一种处理数据的装置，其特征在于，包括：

储存器，其上存储有计算机程序；

处理器，用于执行所述储存器中的计算机程序，以实现权利要求1至7中任一项所述编码方法的步骤。

Images