CN107113427B - 使用基于图形的变换的视频信号处理方法及其设备 - Google Patents

Abstract

公开了一种使用基于图形的变换处理视频信号的方法和及其设备。具体地，使用基于图形的变换来处理视频信号的方法可以包括：指定可用于处理视频信号的图形配置的集合；从图像的处理块内的样本中推导信号结构信息；使用信号结构信息配置用于处理块内的样本的图形；使用图形确定用于处理块的变换；以及使用变换来变换处理块内的样本，其中信号结构信息被定义为指定的图形配置的集合当中的被应用到处理块内的每个样本的图形配置的信息。

Description

使用基于图形的变换的视频信号处理方法及其设备

技术领域

本发明涉及一种用于处理图像和/或视频信号的方法，更具体地，涉及一种使用基于图形的变换来处理图像和/或视频信号的方法及其支持设备。

背景技术

压缩编码是指用于通过通信线路，传输数字化信息的一系列信号处理技术或用于以适合于存储介质的形式存储信息的技术。包括图片、图像和/或音频的媒体可以是用于压缩编码的目标。特别地，用于执行针对图片的压缩编码的技术被称为“视频图像压缩”。

假定下一代视频内容具有场景表示的高空间分辨率、高帧率和高维度的特性。为了处理这些内容，将需要存储器存储、存储器存取速率和处理能力的急剧增加。

因此，有必要有效地设计用于处理下一代视频内容的编码工具。

发明内容

技术问题

本发明的实施例提出了一种用于配置特定类的图像和/或视频信号的紧凑信号结构描述的方法以及用于为这种信号导出最优的基于图形的变换的方法。

此外，本发明的实施例提出了一种使用信号结构描述导出基于图形的变换的方法。

此外，本发明的实施例提出了一种使用导出的基于图形的变换来处理图像和/或视频信号的方法。

本发明的目的不限于上述技术目的，本领域技术人员可以从下面的描述中理解上面未描述的其它技术目的。

技术方案

在本发明的一个方面，一种使用基于图形的变换来处理视频信号的方法，包括：指定为了处理视频信号可用的图形配置的集合，从图像的处理块内的样本中提取信号结构信息，使用信号结构信息来配置处理块内的样本的图形，使用图形确定用于处理块的变换，以及使用变换来变换处理块内的样本。信号结构信息可以被定义为关于属于指定的图形配置的集合并且被应用到处理块内的每个样本的图形配置的信息。

在本发明的另一方面，一种使用基于图形的变换来处理视频信号的方法，包括：指定为了处理视频信号可用的图形配置的集合，从视频信号的比特流中确定信号结构信息，使用信号结构信息配置视频信号的处理块内的样本的图形，使用该图形确定用于处理块的变换，以及逆变换从比特流确定的变换系数。信号结构信息可以被定义为关于属于指定的图形配置集合并且被应用到处理块内的每个样本的图形配置的信息。

可以取决于样本是否属于处理块内的检测到的对象，或者取决于样本是否位于该对象的边界，来确定图形配置。

可以确定图形配置，使得位于处理块的边界处的样本具有比其它样本更少数量的边。

可以确定图形配置，使得位于处理块的垂直边界处的样本具有沿着位于与处理块相反的一侧上的另一垂直边界处的样本的环形边。

可以确定图形配置，使得与对象相邻的样本不具有沿着与对象的另一侧相邻的样本的边。

可以确定图形配置，使得与对象相邻的样本具有沿着与对象的另一侧相邻的样本的边。

图形配置可以包括关于处理块内的样本和节点之间的关联的信息、关于节点中可用的边的数量的信息、以及节点中可用的所有边的权重。

可以基于信号结构信息将处理块内的样本分类为多个信号类。可以针对多个信号类中的每一个，将偏移值独立地应用到图形的度矩阵。有益效果

根据本发明的实施例，可以提高对图像/视频信号的处理和编码/解码的基于图形的变换的利用。

此外，根据本发明的实施例，不仅可以减少与导出基于图形的变换所需的信号结构描述的信令相关的复杂度，而且可以减少比特开销。

此外，根据本发明的实施例，可以提高使用基于图形的变换或逼近方法的编码系统的压缩效率。

此外，根据本发明的实施例，可以提高使用基于图形的变换或逼近方法的系统，并且可以提高诸如滤波或去噪的处理效率。

本发明的优点不限于上述优点，本领域技术人员将会理解从下面的描述中没有描述的其它技术优点。

附图说明

为了帮助理解本发明，本文包括为说明书的一部分的附图提供本发明的实施例，并且与下述说明书一起，描述本发明的技术特征。

图1示出作为应用本发明的实施例的执行视频信号的编码的编码器的示意框图。

图2示出作为应用本发明的实施例的执行视频信号的解码的解码器的示意框图。

图3至图5是用于示出用于处理基于图形的视频信号的方法的图。

图4是用于示出用于处理基于图形的信号的方法的图。

图6是示出根据该图形的2-D视频信号和度矩阵D和相邻矩阵A的图。

图7是用于示出根据本发明的实施例的基于视频信号的变化来分类视频信号的类的方法的图。

图8示出了根据本发明的实施例的图形结构和图形参数配置。

图9示出了根据本发明的实施例的用于定义视频信号的处理的图形配置的方法。

图10和图11示出了根据本发明实施例的视频信号的块的图形配置。

图12是用于示出根据本发明的实施例的根据视频信号的变化图案导出变换的方法的图。

图13和图14是示出根据本发明的实施例的使用基于图形的变换来处理视频信号的方法的图。

图15是示出根据本发明的实施例的执行基于图形的变换的变换单元的详细图。

图16是示出根据本发明的实施例的使用基于图形的变换来处理视频信号的方法的图。

图17是示出根据本发明的实施例的执行基于图形的变换的逆变换单元的详细图。

具体实施方式

在下文中，通过参考附图，描述本发明的实施例。下文结合附图的描述是描述本发明的示例性实施例，不旨在描述可以实施本发明的唯一实施例。下文的描述包括具体的细节，以便提供本发明的最佳理解。然而，应理解到本领域的技术人员在没有具体细节的情况下，也可以体现本发明。

在一些情况下，为了防止本发明的技术概念不清楚，可以省略公知的结构或设备，或可以图示为以结构或设备的核心功能为中心的框图。

此外，尽管当前广泛使用的通用术语尽可能地被选择为本发明的术语，在特殊情况下，使用由申请人任意选择的术语。由于在这种情况下，在说明书的相应部分中清楚地描述术语的含义，将理解到本发明将不是由仅用在本发明的说明书中的术语简单地解释，而是应当理解术语的含义。

可以提供用在下文描述中的特殊术语以帮助理解本发明。此外，特殊术语可以修改成在本发明的技术概念的范围内的其他形式。例如，在每一编译过程中，可以适当地替换和解释信号、数据、样本、图片、帧、块等。

在下面的说明书中，“处理单元”是指执行诸如预测、变换和/或量化的编码/解码处理过程的单元。为了便于说明，处理单元以下可以称为“处理块”或“块”。

处理单元可以被解释为包括亮度分量的单元和色度分量的单元的含义。例如，处理单元可以对应于编码树单元(CTU)、编码单元(CU)、预测单元(PU)或变换单元(TU)。

此外，处理单元可以被解释为亮度分量的单元或色度分量的单元。例如，处理单元可以对应于针对亮度分量的编码树块(CTB)、编码块(CB)、预测块(PU)或变换块(TB)。或者，处理单元可以对应于色度分量的编码树块(CTB)、编码块(CB)、预测块(PU)或变换块(TB)。此外，本发明不限于这些示例，并且处理单元也可以被解释为包括亮度分量的单元和色度分量的单元的含义。

此外，处理单元不一定限于方块，而是可以包括具有三个或更多个顶点的多边形形状。

此外，在下面的说明书中，图像/视频/图片的像素被统称为“样本”。此外，使用样本可能意味着使用像素值或图片元素值。

图1是作为应用本发明的实施例，执行视频信号的编码的编码器的示意框图。

参考图1，编码器100可以包括图片分割单元110、减法单元115、变换单元120、量化单元130、去量化单元140、逆变换单元150、滤波单元160、解码图片缓冲器(DPB)170、预测单元180和熵编码单元190。并且预测单元180可以包括帧间预测单元181和帧内预测单元182。

图片分割单元110将输入到编码器100的输入视频信号(或图片或帧)分割成一个或多个处理单元。

减法单元115通过从输入的视频信号减去从预测单元180(即，帧间预测单元181或帧内预测单元182)输出的预测信号，生成残差信号。将生成的残差信号传送到变换单元120。

变换单元120通过将变换技术应用于残差信号，生成变换系数。

特别地，在本发明的实施例中，变换单元120可导出由本发明提出的基于图形的变换，并且基于导出的基于图形的变换来执行变换。稍后将详细描述变换单元120。

量化单元130量化该变换系数并且将其传送到熵编码单元190，熵编码单元190执行量化信号的熵编码运算并且将其输出为比特流。

从量化单元130输出的量化信号可以用于生成预测信号。例如，通过去量化单元140和逆变换单元150，将逆量化和逆变换应用于量化信号，可以重构残差信号。通过将重构的残差信号与从帧间预测单元181或帧内预测单元182输出的预测信号相加，可以生成重构信号。

在这种压缩过程期间，通过不同的量化参数目化相邻块，因此，示出块边界的伪影可能发生。这种现象称为块伪影，其是用于评价图像质量的重要因素之一。为了减少这类伪影，可以执行滤波处理。通过这类滤波处理，去除块伪影并且同时减少当前图片的错误，由此提高图像质量。

滤波单元160将滤波应用于重构信号，并且通过回放设备输出或将其传送到解码图片缓冲器170。传送到解码图片缓冲器170的滤波信号可以用作帧间预测单元181中的参考图片。如上所述，在帧间图片预测模式中将滤波图片用作参考图片，可以提高编码速率和图像质量。

解码图片缓冲器170可以存储滤波的图片以便将其用作帧间预测单元181中的参考图片。

帧间预测单元181通过参考重构图片执行时间预测和/或空间预测，以便去除时间冗余和/或空间冗余。其中，当先前编码/解码时，由于用于执行预测的参考图片是以块为单位，所以经过量化或逆量化的变换信号可能存在块伪影或环状伪影。

因此，为了解决由于这类信号或量化的不连续导致的性能下降，通过将低通滤波器应用于帧间预测单元181，可以按子像素为单位内插子像素。在此，子像素是指通过应用内插滤波器生成的虚拟像素，而整像素是指存在于重构图片中的实际像素。作为内插的方法，可以应用线性内插、双线性内插、维纳滤波等。

可以将内插滤波器应用于重构图片，并且可以提高预测的精度。例如，帧间预测单元181可以通过将内插滤波器应用于整像素，生成内插像素，并且通过将包括内插像素的内插块用作预测块来执行预测。

帧内预测单元182通过参考与作为当前要被编码的块相邻的样本，预测当前块。帧内预测单元182可以执行下述过程以便执行帧内预测。首先，帧内预测单元182可以准备用于生成预测信号所需的参考样本。此外，帧内预测单元182可以通过使用准备的参考样本，生成预测信号。因此，帧内预测单元182可以编码预测模式。在这种情况下，可以通过参考样本填充和/或参考样本滤波，准备参考样本。由于参考样本经过预测和重构处理，所以可能存在量化误差。因此，为了减小这种误差，可以对用于帧内预测的每个预测模式执行参考样本滤波处理。

通过帧间预测单元181或帧内预测单元182生成的预测信号可以用于生成重构信号或残差信号

图2作为应用本发明的实施例，示出执行解码视频信号的示意框图。

参考图2，解码器200可以包括熵解码单元210、去量化单元220、逆变换单元230、加法单元235、滤波单元240、解码图片缓冲器(DPB)250和预测单元260。同时，预测单元260可以包括帧间预测单元261和帧内预测单元262。

此外，可以通过回放设备播放通过解码器200输出的重构视频信号。

解码器200接收从图1所示的编码器100输出的信号(例如，比特流)，并且熵解码单元210执行接收信号的熵解码运算。

去量化单元220使用量化步长信息，从熵解码的信号获得变换系数。

逆变换单元230通过逆变换该变换系数，获得残差信号。

特别地，在本发明的实施例中，逆变换单元230可以导出本发明提出的基于图形的变换，并且基于导出的基于图形的变换执行逆变换。逆变换单元230在后面详细描述。

加法单元235通过将获得的残差信号与从预测单元260(即，帧间预测单元261或帧内预测单元262)输出的预测信号相加，生成重构信号。

滤波单元240将滤波应用于重构信号，并且通过回放设备输出它或将其传送到解码图片缓冲器250。传送到解码图片缓冲器250的滤波信号可以用作帧间预测单元261中的参考图片。

在本说明书中，在编码器100的滤波单元160、帧间预测单元181和帧内预测单元182中所述的实施例也可以以相同的方式，分别应用于解码器的滤波单元240、帧间预测单元261和帧内预测单元262。

如今，数字信号处理与基于变换的处理的应用密切相关。最显著的变换类型之一是离散余弦变换(DCT)。DCT被广泛应用于信号压缩系统，例如用于视频去噪的滑动窗口3DDCT算法(SW-3DDCT)、用于音频的MPEG音频层3(MP3)，以及诸如块匹配的图像和视频处理技术用于图像去噪的3D滤波(BM3D)、用于图像的联合摄影专家组(JPEG)、大多数视频编码系统(H.264/高级视频编码(AVC)、和H.265/高效率视频编码(HEVC))。

由于高度相关的信号在相邻样本之间具有接近于1的相关系数、并且对于通过马尔可夫(Markov)处理建模的信号首先非常接近于Karhunen-Loeve变换(KLT)的事实，DCT已经被广泛应用。

计算KLT的基函数作为信号的协方差矩阵的特征向量，并且由于基函数的截断而导致的均方误差被最小化。因此，KLT是能量压缩方面的最优信号自适应变换。

结果，DCT的基向量是与具有相关系数r＝1的AR(1)处理的协方差矩阵的特征向量最接近的值。在诸如常见图像和视频的高相关信号的情况下，这样的协方差矩阵是常见的。因此，DCT在去相关和能量压缩特性方面接近最优。

然而，对于不能由具有r＝1的AR(1)处理描述的信号，KLT(即，从信号的协方差矩阵产生的特征向量)与DCT的基函数不同。因此，DCT不是最优变换，因此可以从去相关和能量压缩特性的角度来设计更有效的变换。

对于不能由具有r＝1的AR(1)处理描述的信号，用于导出最优KLT的现有逼近方法通过可分协方差矩阵展现了2-D信号的统计特性(即，信号的结构)，且KLT基被计算为特征向量。这种逼近方法通常限制处理图像的样本表示(即，采样率)，并将在2D图像内存在的统计依赖性限制为水平和垂直依赖性。

为了克服这种限制，已经发展了针对信号的图形表示的理论。

图形(graph)是由线(即边)连接的点(即，节点或顶点)的集合。在这种信号的图形表示中，多维信号的样本形成图形的节点。换句话说，一个或多个像素可以与图形的节点(或顶点)相关联，并且像素的值可以对应于图形的节点(或顶点)的值。图形的边表示信号的样本之间的统计依赖性。在这种情况下，正权重可以表示强度。例如，图形的每个节点(或顶点)可以连接到所有其它节点(或顶点)。可以将0的权重分配给连接到彼此不相关联或彼此弱关联的节点(或顶点)的边。然而，为了简化表示，可以完全去除权重为0的边。

可以根据信号特性预先设置连接图形节点(或顶点)的边。例如，可以关于音频信号将节点(或顶点)部署在1-D阵列上，可以关于图像(即，静止图像)将节点(或顶点)部署在2-D阵列上，并且可以关于视频帧(即，运动图像)将节点(或顶点)部署在3-D阵列上。在3-D阵列的情况下，时间轴可以是第三维。

图3是用于示出用于处理基于图形的视频信号的方法的图。

图3示出了为4×4大小的图像块配置的图形。

在图3中，圆310表示与图像样本相关的节点，并且节点之间的线320表示图形边(或链路)或样本之间的统计依赖性。在图3，1字12的边表示水平依赖性，13至24的边表示垂直依赖性。

图形的节点可以连接到图形的另一个节点，且统计相似度的强度表示为正权重。如果在两个信号样本之间不存在统计依赖性，或者在信号处理过程期间可以忽略两个信号样本之间的统计依赖性，则连接展现此样本的两个节点的边通常表示为接近0的小权重。

图4是用于示出用于处理基于图形的视频信号的方法的图。

图4示出了为16×16大小的图像块配置的图形。

图像样本与图形节点(小矩形)410相关，并且图像样本之间的水平依赖性被表示为图形边420和430。

边的类型(即实线或虚线)指示节点之间的统计依赖性的等级。例如，实线430指示强依赖性(例如，权重w＝1)，虚线420指示弱依赖性(即，权重w接近于0，例如，w＝0.001)。

图4所示的图形示出了将16×16大小的块分割为8×16大小的两个块并且在位于块分割边界的样本之间不存在依赖性或者依赖性被有意忽略的示例。

也就是说，在位于分割边界的样本之间的统计依赖性不存在(在这种情况下，虚线420具有0的边权重)，或者可能在处理信号的过程期间有意不使用在位于分割边界的样本之间的统计依赖性(例如，8×16大小的两个块被独立地处理)。

通常，图形的每个节点与对应节点相关，且由此与正被处理的样本相邻的一个或多个其它节点可以被连接并且也可以被连接到一个或多个在空间或时间上位于远距离的其它节点。

从每个节点到另一个节点的可能连接的数量根据信号设计(即关于信号的假设)或信号中存在的实际依赖性来指定图形的复杂度。

图5是用于示出用于处理基于图形的视频信号的方法的图。

图5示出了配置成在水平方向上具有环形依赖性的4×4大小的图像块的图形。

如图5所示，与位于块的垂直边界处的样本相关的节点通过图形边连接到位于相反侧的块的边界处的样本。可以解释为这样的边在水平方向上具有数据的环形依赖性。也就是说，在位于左/右块边界的样本510和位于右/左块边界的样本520之间存在水平依赖性。

如果图形G包括N个节点(或顶点){n_i}(i＝0,...,N-1)，则通过对角度矩阵(degree matrix)“D”和相邻矩阵“A”在数学上指示图形G。也就是说，对角度矩阵“D”包括关于图形的每个节点(或顶点)的度(degree)的信息，并且相邻矩阵“A”指示与相邻节点(或顶点)的连接边作为权重。

N×N大小的对角度矩阵D可以包括指示节点n_i中的可用边的数量的元素(或项)d_i,j(i＝j)。

此外，N×N大小的对角度矩阵D可以包括指示从节点n_i连接到节点n_j(i≠j)的边的权重之和的元素(或项)d_i,i，并且d_i,j(i≠j)可以具有值0。也就是说，仅对角元素(或项)可以具有值。

在下文中，在本发明的描述中，为了方便描述，对角度矩阵D的元素(或项)指示可用边的数量，但是本发明不限于此。

包括N个节点的图形G的相邻矩阵A具有N×N的大小。相邻矩阵A的非对角线项a_i,j(i≠j)是从节点i到节点j的边的数量(或边权重)，并且相邻矩阵A的对角线项a_i,j(i＝j)是从节点i到其自身的一个或多个边(即自环)。如果不存在自环，则a_i,j(i＝j)可以具有值0。

图6是示出根据该图形的2-D视频信号和度矩阵D和相邻矩阵A的图形。

参见图6，该图形包括总共四个节点0、1、2和3。

此外，对于每个节点，节点0可以连接到节点1和节点3，节点1可以连接到节点0和节点2，节点2可以连接到节点1和节点3，且节点3可以连接到节点2和节点0。因此，所有边的数量为2。因此，对角度矩阵D的项d_i,j(i＝j)全部是2。

项a_0,1和a_1,0的值为0.1，因为节点0和节点1之间的边距权重为0.1。项a_1,2和a_2,1的值为1，因为节点1和节点2之间的边权重为1。项a_2,3和a_3,2的值为0.1，因为节点2和节点3之间的边权重为0.1。

此外，所有项a_0,0、a_1,1、a_2,2和a_3,3的值为1，因为指示与每个节点自身的连接的边的权重全部为1。

拉普拉斯(Laplacian)矩阵“L”是图形的完整表示，并且如下面的等式1中从度矩阵D和相邻矩阵A计算。

[等式1]

L＝D-A

拉普拉斯矩阵L提供了用于导出最优信号正交变换“U”的图形的充分描述。也就是说，变换(内核)U可以通过特征分解过程如等式2导出。

[等式2]

在等式2中，对角矩阵E包括非负特征值“λ_i”，且变换(内核)U(即本征矩阵)包括对应的特征向量“u_i”。

本征矩阵U可以为相应的图像/视频信号提供指定的基于图形的傅里叶变换。例如，满足式2的本征矩阵U可以指示基于图形的变换核。

结果，基于图形的表示描述了处理依赖性，因为它提供了在正被处理的信号中存在的依赖性的结构化描述，或者指定了关于假定在信号处理期间使用的依赖性的先验知识。也就是说，可以基于图来指定在信号处理期间使用的样本之间的依赖性。

为了精确地对信号进行建模，诸如每个节点的边的数量(即度矩阵D的项)或图形边的强度(即，相邻矩阵A的项)的图形参数需要适合于正被处理的信号或信号的类(或类型)。

因此，根据给定信号的类来配置图形描述的方法和紧凑表示方法现在是开放问题，并且本发明提出了一种用于开放问题的方法。

基于图形的变换提供了使用有限数量的图形参数来描述信号的统计特性的技术，例如信号的结构。从图形导出的最优变换可以用于各种信号处理应用中，例如信号滤波和压缩。在信号压缩的典型情况下，信号的编码器和解码器都需要具有特定信息，使得可以配置图形变换。因此，在使用基于图形的变换方面，用于将图形参数的紧凑表示和/或图形参数的紧凑表示从编码器用信号发送到解码器的方法是重要的。

如图3所示，为了配置N×N图像样本块的图形，需要建立在图像样本与图形节点之间的关系作为图形边的权重。

配置N×N图像样本块的图形所需的描述包括度矩阵D的N^2个项(即，每个节点的图形边的数量)以及相邻矩阵A的项。由在节点之间建立的依赖性确定项的数量。

当配置N×N大小的图像块的图形时，如果块内的样本被限制为水平和垂直依赖性(即，每像素的四个依赖性)，则如在图3的示例中，图形边的数量等于2N(N-1)。也就是说，在这种情况下，相邻矩阵A的项数等于2N(N-1)。

在通常情况下，图形边的权重被限制在0到1的范围内，以便包含存在于信号内的统计依赖性，并且图边的权重的实际值不可能是预先已知的。因此，可能需要参数的浮点的表示。

N×N个样本的图像块的图形描述包括约3N^2个参数。例如，图形描述可以包括用于度矩阵D的项的N^2参数和用于相邻矩阵A的项的约2N^2(例如，2N(N-1))个参数。

在特定信号和/或应用的类(即，类型)中，可以预先固定度矩阵D的参数。可以控制边权重表示中的精度，使得它不影响从图形描述和参数导出的变换U的性能。

例如，根据使用基于图形的变换的深度图压缩算法，对于正被编码的图像的所有样本度矩阵D的项具有固定值，每个节点具有最多四个边(即，两个水平依赖性和两个垂直依赖性)，并且已经预先知道度矩阵D的最大项数和边。

通过处理由边检测算法(即，如果存在边，则边权重为1，并且如果边不存在，则边权重为0)编码的图像，导出相邻矩阵A的项值，并将其用于导出最优变换。使用无损编码方法对样本间相关的二进制图进行编码，并将其用信号发送给解码器。解码器根据从解码的二进制图导出的相邻矩阵A的项和先前已知的度矩阵D来导出最优变换。

需要用信号发送以便(不管对图形施加的限制)描述图形的多个参数并且大约每像素1个参数(即，样本)是必须的。用于这种图形描述的解决方案对于特定信号的类(即，类型)可能是实用的，但是可能不能应用于常见图像。

因此，本发明的实施例提出了一种用于配置特定图像和/或视频信号的类(即，类型)的紧凑图形结构描述的方法和用于针对这种信号导出最优变换的方法。

在本发明的描述中，下面描述四个主要部分。

1)每个图形结构内的信号中的局部图案的分类

本发明的实施例提出了一种用于将局部信号变化图案分类为特定数量的类型并建立与图形的参数的关联的方法。

信号变化可以通过分析函数(例如，梯度)被建模，并且可以被分类为图案类型。

图7是用于示出根据本发明的实施例的基于视频信号的变化来分类视频信号的类的方法的图。

图7示出了一维(1-D)信号的简短表示710a、710b和710c。此外，图7示出了被配置到对应信号的图形(即，节点和边)720a、720b和720c和对应的图形720a、720b和720c的参数，即节点722a、722b和722c的度(即，矩阵D的项)以及边721a、721b和721c的权重(即，矩阵A的项)。

图7(a)示出了相邻样本之间具有高相关性的信号的图案。也就是说，样本的幅值的变化示出了低信号的片段(即平滑片段)。

图7(b)示出了相邻样本之间具有高的空间反相关性的信号的图案。也就是说，图7(b)示出了具有高局部变化(例如信号中存在的边)的信号的片段。

图7(c)示出了可以通过线性关系建模的在信号样本之间具有连续变化的信号的图案。也就是说，图7(c)示出了在样本S(1)至S(3)之间具有线性建模信号变化特性的信号的片段。

在图7(a)和图7(b)的示例中，即，已经关于具有信号幅值的低变化的信号图案和关于包括边的信号图案的图形结构进行了大量的研究。

相比之下，尚未关于如图7(c)的示例中的由多个样本表示并且可以通过分析函数来建模的连续变化(相比于平滑信号变化，诸如图7(a)，或者边，诸如图7(c))的图形结构进行研究。

因此，本发明的一个实施例提出了一种方法，该方法在针对具有连续变化(例如，梯度)特性的信号片段的图形结构中使用不可靠图形边，不可靠图形边在指示具有连续变化特性的样本的节点的两侧上都具有接近0的权重(即，矩阵项A)。

参考图7(c)，1-D信号s_i 710c具有存在于样本s_1、…、s_3中的连续局部变化(例如梯度)的特性。

为1-D信号s_i配置的图形720c包括与相应样本有关的四个节点(即，度矩阵的项)n_i和具有指示在该四个样本(即节点)之间的依赖性的权重(即，相邻矩阵的项)a_i的三个边。

为1-D信号配置的s_i的图形720c由如在下面的等式3中的对角度矩阵D和相邻矩阵A表示。

[等式3]

如在下面的等式4中，从等式3的度矩阵D和相邻矩阵A计算拉普拉斯矩阵L。

[等式4]

在样本s_1和样本s_2之间存在连续变化(例如，梯度)。信号图案的图形可以被设计为具有两个不可靠图形边的节点n_2，在每个图形边中相邻项a_1和a_2接近0(在图7(c)的示例中，0.01)。

在基于图形的变换中，图形参数被反映到矩阵A的项的值。因此，在对应于小特征值(即图形频域中的低频部分)的基函数U(由等式2导出)的边的上方生成线性梯度转换。

关于具有连续信号变化(例如，梯度)特性的信号结构，基函数U的结果提供更好的能量压缩特性。

2)图形参数配置集合

图形参数配置是指配置图形所必要的参数集合。在本说明书中，图形参数配置可以简单地称为图形配置。

包括N个节点{n_i}的图形G的参数配置包括关于针对每个节点在图像(和/或视频)样本与节点之间的关联的信息、节点中可用的依赖性的数量(即，图形边)(即，节点的度)、以及节点中可用的所有图形边的权重，但是本发明不限于此。

可以根据图像(和/或视频)或处理块或每个节点不同地定义在图像(和/或视频)样本和节点之间的关联(即，对于节点i，在样本和节点之间的关系R_i)。例如，如果一个样本与一个节点相关联，则可以设置R＝1。如果一组样本(即，多个样本)与一个节点相关联，则可以设置R≠1。参数R的指示方法不限于此，也可以不同地表示。例如，可以通过节点的数量N来指示M点信号。

节点的度指示节点n_i中的依赖性的数量(即，图形边)，并且被表示为度矩阵的项d_i。

由图形结构利用的或可以在信号的样本之间利用的依赖性的特性被表示为节点n_i和节点n_j(在这种情况下，i≠j)之间的图形边的权重(即，相邻矩阵项a_i)。

用于一般地描述给定信号的样本或样本组的图形结构的包括参数集合的图形参数配置(或图形配置)C_i可以如下面的等式5中定义。

[等式5]

C_i＝{R_i,d_i,a_i}

在等式5中，i指示相关节点的索引。如上所述，R指示图像(和/或视频)样本与节点之间的关联，d指示节点的度，且“a”指示每个图形边的权重。“a”可以具有阵列以便指示每个图形边的权重。然而，在这种情况下，阵列中包含的元素的数量与节点的度相同。

图8示出了根据本发明的实施例的图形结构和图形参数配置。

在图8的示例中，为了便于说明，假设参数R为R＝1(即，每个样本与一个节点的关联)，并且在图形参数配置中已经省略了R。

在图8中，d指定当前节点允许的边的度。阵列“a”(即，a＝{w_i},i＝0,...,d-1)指定当前节点中所有可用的边的权重。例如，指定权重的阵列“a”可以从垂直向上方向的边开始，并以顺时针方向指定每个边的权重。

然而，如上所述的用于指定权重的顺序仅是示例，并且本发明不限于此。此外，图8所示的每个边的权重值只是示例。

图8(a)示出了对于其中在垂直和水平方向上存在四个可用的依赖性、并且所有依赖性具有强权重(边权重＝1)(即，a＝{1,1,1,1})的节点配置的图形的示例。通常，这样的示例出现在同质(homogenous)图像片段(即，局部变化的等级是低图像片段)内的2-D信号的样本中。

图8(b)示出了对于其中在垂直向上方向上不存在依赖性或存在未利用的依赖性(即，a＝{0.1,1,1,1})的节点配置的图形的示例。通常，这样的示例出现在位于处理块的边界处的样本中。

图8(c)示出了对于其中在垂直向上方向和水平向左方向上不存在依赖性或存在禁用的依赖性(即，a＝{0.1,1,1,0.1})的节点配置的图形的示例。通常，这样的示例出现在位于处理块的左上的边的样本中。

图8(d)示出了对于其中除了垂直和水平方向之外在对角线方向上存在八个可用依赖性并且所有依赖性具有强权重(边权重＝1)(即，a＝{1,1,1,1,1,1,1,1})的节点配置的图形的示例。

图8(e)示出了对于其中在垂直和水平方向上存在四个可用依赖性，一些依赖性在垂直向下方向上具有弱权重(边权重＝0.01)且其余依赖性具有强权重(边权重＝1)的节点配置的图形的示例。通常，这样的示例出现在位于对象的边界的2-D信号的样本中。

图8(f)示出了对于其中在垂直和水平方向上存在四个可用依赖性，在垂直向下和水平向右方向的依赖性具有弱权重(边权重＝0.01)且其余依赖性具有强权重(边权重＝1)的节点配置的图形的示例。通常，这样的示例出现在位于对象的右下边的2-D信号的样本中。

图8仅示出了一个说明图形参数配置的示例，并且本发明不限于此。也就是说，可以使用图8中未示出的不同的图形结构和相应的图形参数配置。

编码器和解码器可以指定用于处理当前图像和/或视频信号(即，当前图像和/或视频信号的编码/解码)的可用图形参数配置集合。例如，编码器和解码器可以如图8的示例中那样，将总共六个图形参数配置指定为用于处理当前图像和/或视频信号的可用图形参数配置集合。

在这种情况下，编码器和解码器可以为整个图像和/或视频指定可用图形参数配置集合，但是可以为每个处理块不同地指定可用图形参数配置集合。

在这种情况下，编码器和解码器需要为相同的图像和/或视频信号指定相同的可用图形参数配置集合。因此，编码器和解码器可以基于相同的信息(例如，图像和/或视频的类型、分辨率和大小，或其中使用图像和/或视频的应用)使用相同的规则来指定可用图形参数配置集合)。

替选地，编码器可以通过用于处理当前图像和/或视频信号的比特流将关于可用图形参数配置集合的信息作为信号发送到解码器。

替选地，无论图像和/或视频如何，可用图形参数配置集合可以是先前固定的，并且可以对编码器和解码器两者都是已知的。

3)紧凑信号结构描述(或信息)

本发明的实施例提出了通过诸如方块、体、多维多边形或更复杂的图形(例如，由曲线集合描绘的面或体)的抽象元素来表示的信号的高级结构的信号结构的描述。

这样的抽象元素统称为对象。

编码器可以从处理块内的样本提取(或导出或确定)信号结构描述(或信息)。换句话说，编码器可以检测处理块内的一个或多个对象，并且可以通过考虑检测到的对象来将处理块内的样本分类到可用的图形参数配置。也就是说，编码器可以基于可用的图形参数配置来针对处理块内的每个样本确定应用到相应样本的图形参数配置。

因此，信号结构描述(或信息)可以指基于可用图形参数配置集合来指示应用到处理块内的每个样本的图形参数配置的信息。

更具体地，编码器使用对象检测算法来检测当前处理块内的对象。此外，编码器对属于处理块内的对象的样本和不属于处理块内的对象的样本进行分类，并标记所分类的样本。在这种情况下，处理块内可能存在一个或多个对象。在这种情况下，编码器可以针对每个对象对属于相应对象的样本进行分类并标记样本。此外，编码器可对位于对象边界处的样本进行分类并标记样本。

此外，本发明的实施例提出了一种方法，用于指定预设图形配置{C_i}中的哪个被应用到正被处理的对象内的图像/视频信号样本、哪个图形配置被应用到位于正被处理的对象外部的图像/视频信号样本、和/或哪个图形配置被应用到位于正被处理的对象(或处理块)的边界处的图像/视频信号样本。

也就是说，根据预定规范，即，在处理块内的图像/视频信号样本与图形参数配置之间的映射关系(或映射规则)，基于可用的图形参数配置，编码器可以针对每个样本确定应用到处理块内的对应样本的图形参数配置。

图9示出了根据本发明的实施例的用于定义视频信号的处理的图形配置的方法。

图9示出了其中由圆圈指示2-D信号的样本并且被处理的块910的大小为6×6的示例。假设正被处理且具有6×6大小的块910内的2-D信号包括对象920和其它对象(例如，由其余样本表示的背景)。

关于图形配置{C_i}分类2-D图像/视频信号的样本。图9示出了分类为图8所示的图形配置集合{C_i}的2-D信号样本，为了便于说明，但本发明不限于本示例。

编码器可以使用对象检测算法来检测处理块910内的对象920。此外，编码器可以从处理块910内的样本导出信号结构描述(或信息)。也就是说，编码器可以取决于处理块910内的样本是否位于对象920内部或位于对象920外部，或者取决于处理块910内的样本是否位于处理块910的边界(即，在处理块910与另一处理块之间的边界和/或在处理块910和处理块910内的对象920之间的边界)来确定应用到相应样本的图形配置。

图9示出了为了方便描述而在处理块910中仅包括一个对象920的示例，但是本发明不限于此。在处理块910中可以包括多个对象。如果在处理块910中包括多个对象，则编码器可以针对每个对象对多个对象内的样本进行分类并确定图形配置。

图9示出了根据每个样本分类的类别用小写字母标记的示例。

具有类别“a”的样本不位于处理块910和/或对象920的边界处，并且具有在水平和垂直方向上的依赖性的特性。样本可以被处理为(即，确定为)图8(a)所示的图形配置。

具有类别“b”的样本和具有类别“e”的样本位于处理块的边界处，并且可以被处理为(即，确定为)图8(b)和(e)所示的图形配置。也就是说，如图8(b)和8(e)所示，在图形设计中不存在垂直方向上的依赖性或者有意忽视依赖性(即，依赖性被禁用)。

具有类别“c”和“f”的样本位于处理块910和/或对象920的边，并且可以被处理为(即，确定为)图8(c)和图8(f)所示的图形配置。

如果对象920如上所述存在于处理块910内，则可以设置与对象920的边界相邻的样本(即，在不属于对象920的样本中的与对象920的边界相邻的样本、以及属于对象920的样本中的与对象920的边界相邻的样本)，使得它们不具有依赖性。也就是说，可以确定图形配置，使得与对象920的边界相邻的样本不由边连接。

如图9所示，未由标签指示的2-D样本指示未被分类为图形配置{C_i}的类别的样本，但这只是一个示例。这样的样本也可以被分类为由图8提供的图形配置{C_i}中可用的图形配置，或者可以被分类为具有附加配置(例如，其中在水平方向上应用了限制性依赖性的配置)的扩展集合{C_i}。

如图9所示，编码器使用对象检测算法检测处理块910内的对象920，并且通过考虑检测到的对象920来针对每个样本确定要应用到对应样本的图形配置。也就是说，编码器可以通过考虑处理块910内的样本是否属于对象920、处理块910内的样本是否位于处理块910的边界和/或对象920、处理块910内的样本是否位于处理块910和/或对象920的边等，针对每个样本确定应用到相应样本的图形参数配置。编码器可以如上所述确定要应用到处理块910内的所有样本的图形配置，但是可以确定仅应用到一些样本的图形配置。

在本发明的实施例中，信号结构描述可以被解释为根据应用或使用情况不同地定义的规范。也就是说，可以根据应用或使用情况不同地确定处理块内的图像/视频信号样本与图形参数配置之间的映射关系。这将在下面参考图10和11描述。

图10示出了根据本发明实施例的视频信号块的图形配置。

在本发明的实施例中，可以定义规范，使得如图10(a)所示，位于处理片段(即，图像块)的边界处的样本被解释为不可用节点或具有有限依赖性的节点。

参考图10(a)，可以确定图形配置，使得与位于处理块内除了处理块的边界之外的样本相比，位于处理块的边界的样本具有更少数量的边。例如，可以将位于处理块的上边界的样本1011确定为在具有图形配置“b”(参考图8)的图形中表示。如上所述，确定图形配置，使得与位于处理块内除了处理块的边界之外的样本相比，位于处理块的边界的样本具有更少数量的边。因此，样本可以被保留常见2-D信号布局的节点代替。

此外，图10(a)仅示出了处理块，但是也可以如图9的示例那样相同地应用位于处理块910内的对象920的边界处的样本。可以确定图形配置，使得位于对象920的边界的样本比位于对象920内除了对象920的边界之外的样本(或位于处理块910内除了处理块910的边界之外的样本)(即，被分类为图9的示例中的图形配置“b”和“e”的样本)具有更少数量的边。

在本发明的另一个实施例中，可以定义规范，使得在位于处理块的不同表面的样本之间建立环形依赖性。在图10(b)中示出了包括针对与位于处理块的垂直边界处的样本相关联的节点而引入的环形边的图形。

参见图10(b)，可以确定图形配置，使得与位于处理块的垂直边界处的样本相关的节点1021/1022相对于与位于块的相反侧的垂直边界上的样本相关的节点1022/1021具有环形边。

此外，图10(b)仅示出处理块，但也可以相同地应用位于处理块内存在的对象的垂直边界的样本。也就是说，可以确定图形配置，使得位于对象的垂直边界处的样本相对于位于相反侧上的垂直边界处的样本具有环形边。

在本发明的另一个实施例中，可以解释图形结构，使得特定信号结构防止在节点中可用的依赖性(即，边)。也就是说，可以确定图形配置，使得在处理块内的特定节点中防止依赖性(即，边)。

在本发明的另一个实施例中，可以解释相同的信号结构，使得保留节点中可用的依赖性(即，边)，但是依赖性的源被改变成新的方向(即，重新定义在相应节点中连接的另一个节点)。也就是说，可以确定图形配置，使得防止在处理块内的特定节点中的依赖性(即，边)，但是改变在对应节点中连接的节点。

图11示出了两种类型的这种使用示例。

图11示出了根据本发明实施例的视频信号块的图形配置。

图11示出了6×6大小的处理块，诸如图9的处理块。

图11(a)示出了关于信号结构的信息，其中防止建立在属于处理块内的样本并且位于与对象1120相反的一侧的样本1111a和1112a之间的依赖性。

编码器可以防止在属于背景的样本1111a和1112a(即，除对象1120之外的样本A)之间的依赖性，因为处理块内的对象1120(即，形成2×3大小的块的样本B)存在于处理块内，如图11(a)所示。也就是说，编码器可以确定对应样本1111a和1112a的图形配置，使得属于下述样本的样本1111a和1112a不由边连接，该样本不属于对象1120并且与对象1120相邻。

例如，与对象1120的上边界相邻的样本1111a可以被确定为图8(e)所示的图形配置。可以将与对象1120的下边界相邻的样本1112b确定为图8(b)所示的图形配置。

图11(b)示出了关于信号结构的信息，其被解释为使得不中断位于对象的另一侧上的样本之间的依赖性。也就是说，图11(b)示出了对象的存在不妨碍建立依赖性(即，边)的示例。

尽管如图11(b)所示对象1120存在于处理块中，但是编码器可以维持在属于背景的样本1111b和1112b之间的依赖性。也就是说，编码器可以确定样本1111b和1112b的图形配置，使得与对象1120相邻的样本1111b和1112b通过边连接。例如，可以将与对象1120相邻的样本1111b和1112b确定为图8(a)所示的图形配置。

图11示出了位于对象的上边界和下边界处的样本之间的依赖性，以便于描述，但是本发明不限于此。

在两种情况下，已经描述了在可用的信号结构中，在处理块内存在对象。不属于对象的样本的图形结构可以如在图11的示例中被不同地配置。

4)信号结构到数学图形描述的反映

如果指定了信号结构和可用图形配置{C_i}的描述，则使用建立的规范从可用图形配置{C_i}的元素配置图形。

可以由度矩阵D和相邻矩阵A表示如上所述配置的图。结果，可以通过拉普拉斯矩阵L来数学地描述该图形。按照公式2使用拉普拉斯矩阵L以导出最优变换U。

指示每个节点的依赖性的复杂度的度矩阵D的对角项D_i,j等于相邻矩阵A的第i行的总和(即，第i行除0之外的项的数量)。

本发明的实施例提出了一种通过基于信号结构的紧凑描述，对与属于相同区域的信号样本有关的图形节点的项值应用偏移来修正度矩阵D的方法。这将在下面参照图12进行描述。

图12是用于示出根据本发明的实施例的用于根据视频信号的变化图案导出变换的方法的图。

图12示出形成两个不同变化图案(即，类1和类2)的信号s_i的四个点。

图12示出了4个点的1-D信号“s_i”在位置1和4处包括低幅值样本并且在位置2和3处包括高幅值样本的示例。

为了指定由2个类形成的信号样本，可以使用信号结构描述。图12示出了{s_1，s_4}样本属于类1并且{s_2，s_3}样本属于类2的示例。

在信号“s_i”的图形结构中，度矩阵D和相邻矩阵A可以如下面的等式6导出。

[等式6]

在等式6中，权重0.1(权重＝0.1)指示在位于这两个类的边界的样本之间(即，在第一样本和第二样本之间以及在第三样本与第四样本之间)的低相关性。

在本发明提出的方法中，可以使用信号结构信息将样本1和4分类为一类(即类1)。可以基于将信号分类为多个类的事实来修改度矩阵D。根据本发明提出的方法，如等式7，可以从图12所示的信号导出度矩阵D和相邻矩阵A。

[等式7]

在等式7中，P是随机选择的值。可以选择比当前图形G中的节点中可用度大得多的值作为随机选择的值。

此外，可以使用等式1将这样的信息直接引入下面的等式8中的拉普拉斯矩阵L。

[等式8]

在等式2中，在导出变换U的过程中，通过对拉普拉斯矩阵应用偏移P，清楚地分离类1的样本和类2的样本，即给定信号的类，影响配置特征向量分解的结果值的集合和正交基函数。

也就是说，可以将不同的偏移应用于每类信号的矩阵D的项。在这种情况下，基于对信号结构的描述，处理块内的样本可被分类为多个信号类。换句话说，可以基于为每个样本确定的图形配置将处理块内的样本分类为多个信号类。例如，通过将样本分组为具有高依赖性的连续样本，可以将处理块内的样本分类为多个信号类。对于另一示例，如果对象不存在于处理块中，则处理块内的样本可以被分类为属于对象的样本和不属于对象的样本。

图12示出了为了方便描述而将信号分成两类的示例，但是本发明不限于此。也就是说，可以使用图形结构描述将信号分类为三个或更多个类，并且可以独立地处理每个类(即，通过独立地应用偏移量)，以提高信号处理的效率。

为了信号处理和/或增强的目的，即本发明的目的之一，可以使用基于图形的处理技术作为本发明的实施例。这样的实施例可以包括基于变换的信号滤波、去噪和增强。在这种情况下使用的变换可以从本发明提出的信号结构描述和使用图形结构配置的图形导出。

此外，为了信号压缩的目的，即本发明的目的之一，可以使用基于图形的处理技术作为本发明的实施例。这样的实施例包括基于变换的信号压缩。在这种情况下使用的变换可以从由本发明提出的信号结构描述和使用图形结构配置的图形导出。

在本发明的实施例中，可以从正在使用检测、分割和/或形态操作来处理的信号导出信号结构描述和可用图形配置。

在本发明的实施例中，可以将信号结构描述和在基于图形的处理中使用的可用图形配置在紧凑的比特流内以信号从编码器发送到解码器。

图13是示出根据本发明的实施例的使用基于图形的变换来处理视频信号的方法的图。

参考图13，编码器可以指定用于当前图像/视频信号的处理(例如，编码或滤波)的可用图形配置的集合(S1301)。

在这种情况下，编码器可以使用诸如图像和/或视频的类型、分辨率或大小或其中使用图像和/或视频的应用的信息来指定可用图形参数配置集合。

此外，编码器可以为整个图像和/或视频指定可用图形参数配置集合，但是可以为预设的N×N大小的每个处理块指定可用的图形参数配置的集合。

此外，编码器可以通过比特流向解码器以信号发送(或发送)关于可用图形参数配置集合的信息。

相比之下，无论图像和/或视频如何，可用图形参数配置集合可以是先前固定的，并且可以对编码器和解码器两者均已知。在这种情况下，可以省略步骤S1301。

尽管图13中未示出，在步骤S1301之前，正被处理的图像/视频2-D信号可以被分割为处理块(PB)并且在处理块单元中进行处理(例如，帧间预测或帧内预测)。

编码器从处理块内的样本提取(或导出)信号结构信息(S1303)。

基于可用的图形参数配置，编码器可以通过考虑处理块内的对象来针对每个样本确定应用到对应样本的图形参数配置。也就是说，信号结构信息可以被定义为关于属于指定图形配置的集合并且被应用到处理块内的样本的每个样本的图形配置的信息。

在这种情况下，可以根据样本是否属于处理块内的检测到的对象，或者取决于样本是否位于对象的边界，来确定图形配置。

此外，可以确定图形配置，使得位于处理块的边界处的样本具有比其它样本更少数量的边。

此外，可以确定图形配置，使得位于处理块的垂直边界处的样本与位于相反侧上的处理块的另一垂直边界处的样本具有环形边。

此外，可以确定图形配置，使得与对象相邻的样本相对于与对象的另一侧相邻的样本没有边。

此外，可以确定图形配置，使得与对象相邻的样本具有与对象的另一侧相邻的样本的边。

下面参考图14更详细地描述步骤S1303。

图14是示出根据本发明的实施例的使用基于图形的变换来处理视频信号的方法的图。

参考图14，编码器使用对象检测算法检测处理块中包含的一个或多个对象(S1401)。

编码器将包含在一个或多个对象中的样本分类为属于处理块内的对象的样本和不属于该对象的样本(S1402)。

在这种情况下，编码器可以对属于处理块内的对象的样本和不属于对象的样本进行分类，并对它们进行标记。

在这种情况下，处理块内可能存在一个或多个对象。在这种情况下，编码器可以针对每个对象对属于相应对象的样本进行分类并对它们进行标记。

返回到步骤S1302，如步骤S1401和S1402所示，编码器可以对处理块内的样本是否属于对象进行分类，并且可以基于预定规范(即，处理块内的图像/视频信号样本与图形参数配置之间的映射关系)导出(或提取)关于处理块的信号结构信息(或描述)的信息。也就是说，编码器可以针对处理块内的每个样本确定应用到相应样本的图形参数配置。

在这种情况下，处理块内的图像/视频信号样本与图形参数配置之间的映射关系可以根据如参照图10和11的示例所描述的应用或使用情况来不同地确定。

编码器使用信号结构信息来配置处理块内的样本的图形(S1303)。

也就是说，编码器可以通过应用为处理块内的每个样本确定的图形配置来配置处理块的图形。

编码器使用该图形确定处理块的变换U(S1304)。

如上所述，图形可以由度矩阵D和相邻矩阵A表示。结果，图形可以通过拉普拉斯矩阵L来表示。此外，按照公式2，使用拉普拉斯矩阵L以导出最优变换U。

在这种情况下，如上所述，编码器可以基于对信号结构的描述，即对处理块内的每个样本确定的图形配置，将处理块内的样本分类为多个类。此外，编码器可以针对信号类(或样本类)的每一类，独立地向度矩阵D的项应用偏移值。

编码器使用确定的变换U对处理块内的样本执行变换处理(S1305)。

此后，编码器可以对变换U的谱执行滤波操作(S1311)

此外，编码器可以量化变换U的变换系数，可以对量化的变换系数进行熵编码，并且可以将熵编码的系数作为比特流输出(S1321)。

在这种情况下，比特流可以包括关于当前处理块的信号结构的信息(即，关于针对每个样本的图形配置的信息)。

图15是示出根据本发明的实施例的执行基于图形的变换的变换单元的详细图。

参考图15，变换单元120(参照图1)实现了本发明的1)至4)中提出的功能、过程和/或方法。更具体地，变换单元120可以被配置为包括图形配置集合指定单元1501、信号结构导出单元1502、图形配置单元1503、变换确定单元1504、和变换处理单元1505。

图形配置集合指定单元1501指定用于处理当前图像/视频信号(例如，编码或滤波)的可用图形配置的集合。

替选地，无论图像和/或视频如何，可用图形参数配置的集合可以是先前固定的，并且可以对编码器和解码器两者均是已知的。在这种情况下，可以省略图形配置集合指定单元1501。

信号结构导出单元1502从处理块内的样本中导出(或提取)信号结构信息(或描述)。也就是说，信号结构导出单元1502可以基于可用的图形参数配置通过考虑处理块内的对象针对每个样本确定应用到相应样本的图形参数配置。

图形配置单元1503使用信号结构信息来配置处理块内的样本的图形。也就是说，图形配置单元1503可以通过应用为处理块内的每个样本确定的图形配置来为处理块配置图形。

变换确定单元1504使用该图形来确定处理块的变换U。也就是说，变换确定单元1504可以使用度矩阵D和相邻矩阵A来表示图形，并且可以使用度矩阵D和相邻矩阵A如等式1导出拉普拉斯矩阵L。此外，变换确定单元1504可以如等式2中使用拉普拉斯矩阵L来导出最优变换U。

在这种情况下，如上所述，变换确定单元1504可以基于信号结构的描述将处理块内的样本分类为多个类，并且可以针对信号的每个类(或样本类)独立地将偏移值应用到度矩阵D的项。

变换处理单元1505使用确定的变换U对处理块内的样本执行变换处理。

图16是示出根据本发明的实施例的使用基于图形的变换来处理视频信号的方法的图。

如图16所示，解码器可以指定用于当前图像/视频信号的处理(例如，编码或滤波)的可用图形配置的集合(S1601)。

在这种情况下，解码器可以使用诸如图像和/或视频的类型、分辨率或大小或其中使用图像和/或视频的应用的信息来指定可用图形参数配置的集合。

此外，解码器可以指定用于整个图像和/或视频的可用图形参数配置集合，但是可以为预设N×N大小的每个处理块指定可用图形参数配置集合。

此外，解码器可以通过比特流从编码器接收关于可用图形参数配置集合的信息。

相比之下，无论图像和/或视频如何，可用图形参数配置集合可以是先前固定的，并且可以对编码器和解码器两者均是已知的。在这种情况下，可以省略步骤S1601。

解码器从比特流确定(或导出)关于处理块内的样本的信号结构的信息(S1602)。如上所述，由编码器以信号发送的比特流可以包括关于当前处理块的信号结构的信息(即，关于应用到当前处理块内的每个样本的图形配置的信息)。

解码器使用信号结构信息来配置处理块内的样本的图形(S1603)。

也就是说，解码器可以通过将确定的图形配置应用到处理块内的每个样本来配置处理块的图形。

解码器使用图形来确定处理块的变换U(S1604)。

解码器从比特流确定(或导出)变换系数，并对所确定的变换系数执行逆变换处理(S1605)。

解码器可以通过对变换系数进行逆变换来获得残差信号，并且可以通过将所获得的残差信号与预测信号相加来产生重构信号。

尽管图16中未示出，解码器可以在步骤S1605之前对从比特流确定的变换系数进行逆量化。

图17是示出根据本发明的实施例的执行基于图形的变换的逆变换单元的详细图。

如图17所示，逆变换单元230(参照图2)实现了本发明的1)至4)中提出的功能、过程和/或方法。更具体地，逆变换单元230可以被配置为包括图形配置集合指定单元1701、信号结构确定单元1702、图形配置单元1703、变换确定单元1704和逆变换处理单元1705。

图形配置集合指定单元1701指定用于当前图像/视频信号的处理(例如，编码或滤波)的可用图形配置的集合。

替选地，无论图像和/或视频如何，可用图形参数配置的集合可以是预先固定的，并且可以对编码器和解码器两者均是已知的。在这种情况下，可以省略图形配置集合指定单元1701。

信号结构确定单元170从比特流确定(或导出)关于处理块内的样本的信号结构的信息。

图形配置单元1703使用信号结构信息来配置处理块内的样本的图形。也就是说，图形配置单元1703可以通过应用为处理块内的每个样本确定的图形配置来配置处理块的图形。

变换确定单元1704使用该图形确定处理块的变换U。

逆变换处理单元1705从比特流确定(或导出)变换系数，并对所确定的变换系数执行逆变换处理。

在上述实施例中，本发明的要素和特性已经以具体形式组合。除非另有明确说明，否则每个元素或特性可被认为是可选的。元件或特性中的每一个可以以不与其它元件或特性结合的方式来实现。此外，可以组合一些元件和/或特性以形成本发明的实施例。结合本发明的实施例描述的操作的次序可以被改变。实施例的一些元件或特性可以被包括在另一个实施例中，或者可以被另一个实施例的对应元件或特性替代。很明显，可以通过组合权利要求中没有明确的引用关系的权利要求而构建实施例，或者通过在提交申请之后的修改将实施例包括为新的权利要求。

可以通过各种手段，例如硬件、固件、软件及其组合，实现本发明的实施例。在通过硬件实现的情况下，可以使用一个或多个专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理器件(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、处理器、控制器、微控制器、微处理器等，实现本发明的实施例。

在通过固件或软件实现的情况下，可以以用于执行迄今前述的功能或操作的模块、过程、功能等的形式，实现本发明的实施例。软件代码可以存储在存储器中，并且由处理器驱动。存储器可以位于处理器的内部或外部，并且可以通过各种已知手段，与处理器交换数据。

本领域的技术人员将理解到在不背离本发明的基本特征的情况下，可以做出各种改进和改变。因此，详细描述在各个方面都不应被解释成限制性的，而应当解释为说明性的。应当通过附加权利要求的合理解释，确定本发明的范围，以及等效范围内的所有改进应当包括在本发明的范围中。

工业实用性

已经为了说明性目的公开了本发明的上述实施例，并且本领域技术人员可以在权利要求中公开的本发明的技术精神和范围内修改、改变、替代或添加各种其它实施例。

Claims (7)

1.一种使用基于图形的变换来处理视频信号的方法，所述方法包括：

指定为了处理所述视频信号可用的图形配置的集合；

从图像的处理块内的样本提取信号结构信息，所述信号结构信息表示应用于所述处理块中的每个样本的图形配置的信息，

其中，所述图形配置属于指定的图形配置集合；

使用所述信号结构信息配置用于所述处理块内的所述样本的图形；

使用所述图形确定用于所述处理块的变换；以及

使用所述变换来变换所述处理块内的所述样本，

其中，取决于所述样本是否属于所述处理块内的检测到的对象，或者取决于所述样本是否位于所述对象的边界，来确定所述图形配置，

其中，确定所述图形配置，使得位于所述处理块的边界处的样本具有比其它样本更少数量的边，

其中，基于所述信号结构信息，将所述处理块内的所述样本分类成多个信号类，以及

其中，针对所述多个信号类中的每个信号类，独立地将偏移值应用到所述图形的度矩阵。

2.根据权利要求1所述的方法，其中，确定所述图形配置，使得位于所述处理块的垂直边界处的样本具有沿着位于与所述处理块相反的一侧上的另一垂直边界处的样本的环形边。

3.根据权利要求1所述的方法，其中，确定所述图形配置，使得与对象相邻的样本不具有沿着与所述对象的另一侧相邻的样本的边。

4.根据权利要求1所述的方法，其中，确定所述图形配置，使得与对象相邻的样本具有沿着与所述对象的另一侧相邻的样本的边。

5.根据权利要求1所述的方法，其中，所述图形配置包括关于所述处理块内的样本和节点之间的关联的信息、关于所述节点中可用的边的数量的信息、以及所述节点中可用的所有边的权重。

6.一种使用基于图形的变换来处理视频信号的方法，所述方法包括：

指定为了处理所述视频信号可用的图形配置的集合；

从所述视频信号的比特流确定信号结构信息，所述信号结构信息表示应用于所处理块中的每个样本的图形配置的信息，

其中，所述图形配置属于指定的图形配置集合；

使用所述信号结构信息配置用于所述视频信号的处理块内的样本的图形；

使用所述图形确定用于所述处理块的变换；以及

对从所述比特流确定的变换系数进行逆变换，

其中，取决于所述样本是否属于所述处理块内的检测到的对象，或者取决于所述样本是否位于所述对象的边界，来确定所述图形配置，

其中，确定所述图形配置，使得位于所述处理块的边界处的样本具有比其它样本更少数量的边，

其中，基于所述信号结构信息，将所述处理块内的所述样本分类成多个信号类，以及

其中，针对所述多个信号类中的每个信号类，独立地将偏移值应用到所述图形的度矩阵。

7.根据权利要求6所述的方法，其中，所述图形配置包括关于所述处理块内的样本和节点之间的关联的信息、关于所述节点中可用的边的数量的信息，以及所述节点中可用的所有边的权重。

Images