CN110024391B - 用于编码和解码数字图像或视频流的方法和装置 - Google Patents

用于编码和解码数字图像或视频流的方法和装置 Download PDF

Info

Publication number
CN110024391B
CN110024391B CN201780074349.1A CN201780074349A CN110024391B CN 110024391 B CN110024391 B CN 110024391B CN 201780074349 A CN201780074349 A CN 201780074349A CN 110024391 B CN110024391 B CN 110024391B
Authority
CN
China
Prior art keywords
transformed
graph
image
weights
quantized
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780074349.1A
Other languages
English (en)
Other versions
CN110024391A (zh
Inventor
G·弗拉卡斯托罗
D·塔努
P·弗罗萨德
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ecole Polytechnique Federale de Lausanne EPFL
Sisvel Technology SRL
Original Assignee
Ecole Polytechnique Federale de Lausanne EPFL
Sisvel Technology SRL
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ecole Polytechnique Federale de Lausanne EPFL, Sisvel Technology SRL filed Critical Ecole Polytechnique Federale de Lausanne EPFL
Publication of CN110024391A publication Critical patent/CN110024391A/zh
Application granted granted Critical
Publication of CN110024391B publication Critical patent/CN110024391B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • G06V10/422—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation for representing the structure of the pattern or shape of an object therefor
    • G06V10/426—Graphical representations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • G06V10/431—Frequency domain transformation; Autocorrelation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/19—Recognition using electronic means
    • G06V30/191—Design or setup of recognition systems or techniques; Extraction of features in feature space; Clustering techniques; Blind source separation
    • G06V30/1916—Validation; Performance evaluation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/19—Recognition using electronic means
    • G06V30/196—Recognition using electronic means using sequential comparisons of the image signals with a plurality of references
    • G06V30/1983—Syntactic or structural pattern recognition, e.g. symbolic string recognition
    • G06V30/1988—Graph matching
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H04N19/122—Selection of transform size, e.g. 8x8 or 2x4x8 DCT; Selection of sub-band transforms of varying structure or type
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/625—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using discrete cosine transform [DCT]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Discrete Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本发明涉及用于编码和/或解码数字图像的方法和装置，其中所述编码装置(1100)包括处理部件(1110)，其被配置用于通过最小化成本函数来确定与图像相关的图的权重、通过图傅立叶变换变换所述权重、量化经变换的权重、通过具有所述经变换的权重作为权重的图的图傅立叶变换来计算经变换的系数、对量化的经变换的权重进行去量化、基于去量化的经变换的权重通过逆图傅立叶变换来计算重构图像、基于重构图像和原始图像来计算失真成本、基于所述失真成本来生成最终的编码图像。

Description

用于编码和解码数字图像或视频流的方法和装置
技术领域
本发明涉及用于编码和/解码数字图像的方法和装置；特别是用于借助于所谓的基于图的变换编码和/解码数字图像的方法和装置。
背景技术
离散余弦变换(DCT)是用于基于块的图像和视频压缩的最常见变换(参见K.Sayood，Introduction to data compression，Newnes，2012)；事实上，DCT是基于流行的视频编码标准，诸如MPEG-2(用于例如地面和卫星标准清晰度视频广播并且以DVD存储格式)、H.264/AVC(用于高清晰度视频广播、经IP网络的流传输和蓝光盘)以及最近标准化的H.265/HEVC(预计在上述情况下取代H.264/AVC)。
DCT的一个主要缺点是，当块包含间断时，所得到的变换系数不是稀疏的，并且高频系数可以具有大的量值。这导致更高的位速率或间断周围的重构伪像。最近，已经提出了基于图的做法，根据该做法，高维度数据自然驻留在图的顶点上并且它们可以被可视化为定义为图信号的样本的有限集合，在图的每个顶点处有一个样本(参见D.I.Shuman，S.K.Narang，P.Frossard，A.Ortega和P.Vandergheynst，“The emerging field of signalprocessing on graphs:Extending high-dimensional data analysis to networks andother irregular domains”，Signal Processing Magazine，IEEE，第30卷，第3期，第83-98页，2013)。在过去的几年中，研究人员已经研究了如何在图域中应用经典的信号处理技术。已经开发了用于在图域中过滤、平移、调制和下采样的技术。还已经提出了几种图变换，诸如图傅立叶变换(G.Taubin，“A signal processing approach to fair surfacedesign”，Proceedings of the 22th Annual conference on Computer graphics andinteractive techniques，ACM，1995，第351-358页)。
一般而言，虽然图变换已被示为比常规的基于块的变换更高效，但图传输的开销可以轻易地超过编码效率的好处。因此，设计图表示和对应的图变换非常重要，这些变换在图必须传送到解码器时也是高效的。
Sandryhaila等人在ICIP 2012Proceedings中发表的“Nearest-neighbor imagemodel”中提出将图像表示为节点和弧的图，其中确定弧的权重以使接收器处的预期失真最小化。但是，这个文章没有教导如何压缩图权重，因为难以在真实世界环境中应用这种技术。
在美国专利申请No.US 2011/206288 A1中，Ortega等人描述了使用基于图的像素预测的图像编码和解码系统。这个文档教导如何通过预测器选择对图片进行编码和解码，但它没有教导如何压缩权重图，因为难以在真实世界环境中应用这种技术。
Kim、Narang和Ortega在ICASSP 2012Proceedings中发表的“Graph basedtransforms for depth video coding”中提出寻找最佳邻接矩阵并使用基于上下文的自适应二值化算术编码按照固定次序对其进行压缩；但是，他们的工作并没有教导如何压缩图的权重，因此权重传输所需的附加位速率容易超过优化所允许的编码效率的理论增益。
W.Hu、G.Cheung、A.Ortega和O.C.Au在IEEE Transactions on Image Processing中发表的“Multiresolution graph fourier transform for compression of piecewisesmooth images”中提出了考虑到信号变换系数的稀疏性和变换描述的紧凑性而使用图傅立叶变换(GFT)来压缩分段平滑(PWS)图像(例如，深度图或动画图像)，以最小化每个像素块的总信号表示成本。但是，他们报告的自然图像结果不令人满意，其中描述图所需的成本超过了自适应图变换提供的编码增益。
G.Shen，W.S.Kim、S.K.Narang、A.Ortega、J.Lee和H.Wey在Picture CodingSymposium(PCS2010)proceedings中发表的“Edge adaptive transforms for efficientdepth map coding”提出了基于边自适应图的变换(EAT)作为用于编码在多视图视频编码系统中用于视图合成的深度图的标准DCT的替代。这些变换与H.264/AVC中的DCT组合，并且变换模式选择算法被用于以速率-失真优化的方式在DCT与EAT之间进行选择。但是，由于与上面解释的相同原因，如果在自然图像上使用，他们的方法也会得到不令人满意的结果。
Narang、Chao和Ortega在APSIPA 2013Proceedings中发表的“Criticallysampled graph-based wavelet transforms for image coding”中提出将图像编码为二值化未加权图并使用尺寸为(2N-1)×(N-1)的JBIG对其进行编码，其中N是原始图像中的像素数量。这种编码方案产生具有高编码噪声级别的图像，因为二值化未加权图限制了可以被编码的信息的数量。
在E.Magli和G.Fracastoro于2015年9月18日提交的意大利专利申请No.102015000053132中，描述了使用基于图的像素预测的数字图像或视频流编码和解码系统。这个文档教导了如何量化图的权重矩阵的每个元素，其中每个元素借助于非线性函数(例如Cauchy函数)处理，此外这个文档教导了如何发送像素预测边图以代替更繁琐的权重矩阵。但是，这个文档没有教导如何获得关于视频数据优化速率失真成本的图，因为预定义的非线性函数被认为是评估图的权重。
设计图变换的问题仍然是关键的，并且实际上可以表示有效压缩图像的主要障碍。最近提出了一些尝试来根据数据观察优化(或等效地学习)图。
E.Pavez和A.Ortega在IEEE International Conference on Acoustics Speechand Signal Processing(ICASSP2016)上发表的“Generalized Laplacian precisionmatrix estimation for graph signal processing”中将图学习问题表示为具有广义拉普拉斯约束的精确矩阵估计，其中根据数据估计协方差矩阵并将其作为输入。但是，由于在现实环境中难以应用这种技术，这种方法并没有教导如何压缩图的权重。
X.Dong、D.Thanou、P.Frossard和P.Vandergheynst在arXiv preprint arXiv:1406.7842(2014)中发表的“Learning laplacian matrix in smooth graph signalrepresentations”解决了学习等同于学习图拓扑的图拉普拉斯算子的问题，使得输入数据形成图信号在所得拓扑上具有平滑的变化。他们在因子分析模型的潜在变量上施加了高斯概率先验，该模型是为图信号定义的。但是，由于在现实环境中难以应用这种技术，这种方法也没有教导如何压缩图的权重。
E.Pavez、H.E.Egilmez、Y.Wang和A.Ortega在Picture Coding Symposium(PCS2015)上发表的“GTT:Graph template transforms with applications to imagecoding”中提出了一种图模板来强加稀疏图案并近似基于那个模板的经验逆协方差。通过优化感兴趣的矩阵的条目来求解约束优化问题以学习图。由于在现实环境中难以应用这种技术，即使这个文档也没有教导如何压缩图的权重。
为了更好地理解现有技术的局限性，下面提供基于图的编码-解码图像系统如何工作的简要描述。
根据现有技术的基于图的编码-解码系统的体系架构在其基本功能单元方面在图1和图2中示出。
参考图1和图2，在本发明的实施例中，假设图像f(或其块)具有等于
Figure GDA0003016926720000041
的宽度和高度，使得它包括N个像素
Figure GDA0003016926720000042
此外，假设f被编码为每像素8位的灰度图像，并且f也可以由顶点和弧的图(V，A)表示，其中V是图像的像素，并且A是连接像素的弧，其根据一些适当的标准定义。描述图像像素或样本的图可以表示为N×N矩阵(即，具有N2个元素的矩阵)，其被称为权重矩阵W，如稍后讨论的。
图1图示了基于图变换的图像编码器150和图像解码器170，其目的在于示出关于权重矩阵W的传输/存储的当前技术状态的限制。
编码器150至少包括权重图生成单元100、图拉普拉斯单元110和图变换单元120。
权重图生成单元100将所述N像素图像f作为输入，并生成N×N权重矩阵W，其可以采用两种替代方法来计算，如下所述。
第一种方法使用预定的非线性函数(例如，高斯函数或Cauchy函数)计算权重矩阵W。为了描述如何计算权重矩阵W，假设di，j表示图像f的第i个像素fi和第j个像素fj之间在灰度空间中的距离，例如di，j可以计算为像素fi和fj的值之间的绝对差：
di，j＝|fi-fj| (1)
因此，权重矩阵W的每个元素可以借助于以下Cauchy公式计算：
Figure GDA0003016926720000051
i∈N∧1≤i≤N (2)
j∈N∧1≤j≤N
事实证明，如果fi和fj是相似的像素，那么连接像素fi和fj的图弧的权重值(即，wi，j)将接近于1(“高”弧权重)，而如果fi和fj不相似，那么wi，j将接近于0(“低”弧权重)。
另一方面，第二种方法通过从图像数据f学习权重来计算权重矩阵W。本领域已知的学习算法考虑了图信号f的平滑度，其被定义为
Figure GDA0003016926720000061
其中wi，j表示连接两个相邻顶点i和j的边上的权重，并且fi和fj是与这两个顶点相关联的信号值。
图拉普拉斯单元110生成变换矩阵U，其以权重矩阵W作为输入。这个单元被配置为用于读取W并计算具有N×N维度的对角矩阵E，使得其对角线的第i个元素等于入射到第i个像素的所有弧的所有权重之和，如在W中所描述的；因此，E以矩阵符号定义，如下所示：
Figure GDA0003016926720000062
在已经计算出对角矩阵E之后，该单元计算矩阵L(具有N×N维度)，作为对角矩阵E与权重矩阵W之间的差；L是对称矩阵并且被称为W的拉普拉斯算子。这个计算步骤以矩阵符号总结，如下所示。
L＝E-W (5)
最后，该单元计算被称为变换矩阵的N×N矩阵U，其中U的列是L的特征向量，即，U的列是允许对角化L的向量。
图变换单元120以图像f(其被认为是具有N×1个分量的向量)和变换矩阵U作为输入，并且经由矩阵乘法来计算N×1个系数向量f^。
f^＝UT·f (6)
其中UT是U的转置矩阵。
然后，编码器通过带宽受限的信道将变换矩阵U(或者，可替代地，可以从其计算U的权重矩阵W)和系数向量f^发送到接收器节点，或者将它们存储在存储器支持上以备后用，例如用于解码目的。
应当注意的是，由关系式(3)定义的图信号f的平滑度给出了f的变换系数的速率的估计；确实考虑了拉普拉斯算子矩阵的谱表示
Figure GDA0003016926720000071
其中λ和
Figure GDA0003016926720000072
分别指示L矩阵的特征值和特征向量，图信号f的平滑度可以写为
Figure GDA0003016926720000073
关系式(7)示出图信号f的平滑度与系数
Figure GDA0003016926720000074
的平方成比例，其中，如现有技术中众所周知的，系数的尺寸决定了它们的传输速率。因此，如果图信号f是平滑的(降低Rc)，那么所述信号f的变换系数的速率减小。
解码器170包括至少图拉普拉斯单元140和逆图变换单元180，逆图变换单元180被配置为用于从存储设备或通过通信信道读取权重矩阵W和系数向量f^两者。为了简单起见，我们假设解码器170可用的W和f^与由编码器150生成的W和f^完全相同，因为在实际应用中采取足够的措施来最小化在从编码器到解码器的信息传送期间发生的读/写或信道错误。
在功能上类似于在发送器侧找到的对等部分(单元110)的图拉普拉斯单元140以权重矩阵W作为输入并且如上面针对编码器对等部分所描述的那样生成变换矩阵U。
逆图变换单元180以U和f^作为输入并通过计算其代表性样本的向量f来恢复原始图像f。为了执行这个任务，单元180通过生成N×N逆变换矩阵(UT)-1在内部逆转矩阵UT，在当前情况下，UT等于矩阵U，因为U由W的拉普拉斯矩阵的特征向量组成；之后，该单元经由以下被称为逆图傅立叶变换的矩阵乘法来恢复原始图像f：
f＝(UT)-1·f^ (8)
显然，这第一种编码-解码方法使得编码器向解码器传达权重矩阵W以及系数向量f^是必要的，其中即使在图优化问题得到解决时，W的维度也是N2个元素的量级，并且f^的维度是N的量级。
图2图示了基于图变换的另一个图像编码器210和图像解码器230，其旨在示出当前技术关于边图而不是权重矩阵和系数向量f^的传输/存储的限制。在这个现有技术的上下文中，术语“边”意味着图像的轮廓、边界而不是与图像相关联的图的弧，如在本发明的后续描述中的情况。
编码器210包括至少边图生成单元215、重构权重图生成单元212、图拉普拉斯单元213和图变换单元216。
边图生成单元215将形成N×1向量f的所述N像素图像f作为输入，并生成N×1边图f′，其中每个元素f′i表示像素fi是否是边：首先，使用关系式(2)给出的Cauchy公式计算N×N权重矩阵W，其中考虑两个级别d和D(d<D)量化像素距离di,j，然后给定权重矩阵W，应用边预测算法以便获得边图f′。
重构权重图生成单元212将所述N×1边图f′作为输入，并通过恢复边预测算法输出重构的N×N权重矩阵W’。
图拉普拉斯算子单元213通过执行在单元110中描述的相同动作，通过将重构权重矩阵W’作为输入来生成变换矩阵U。
图变换单元216将图像f(其被视为具有N×1个分量的向量f，即，亮度矩阵的像素或样本)和变换矩阵U作为输入，然后通过执行由单元120完成的相同动作来计算N×1系数向量f^。
然后，编码器通过带宽受限信道将边图f′和系数向量f^发送到接收器节点，或者将它们存储在存储器支持上以供以后使用，例如用于解码目的。
解码器230包括至少重构权重图生成单元232、图拉普拉斯单元233和逆图变换单元231，并且被配置用于从存储设备或通过通信信道读取边图f′和系数向量f^。为了简单起见，我们假设解码器230可用的f′和f^都与编码器210生成的f′和f^完全相同，因为在实际应用中采取了足够的措施来最小化在从编码器到解码器的信息传送期间发生的读/写或信道错误。
重构权重图生成单元232和图拉普拉斯单元233在功能上类似于在发送器侧找到的对等部分。重构权重图生成单元232以边图f′作为输入并生成重构的权重矩阵W′，随后图拉普拉斯单元233以重构的权重矩阵W′作为输入并生成变换矩阵U，如上面针对编码器对等部分所描述的。
逆图变换单元231将U和f^作为输入并且通过执行在单元180中描述的相同动作而输出恢复的图像f～。
这第二种编码-解码方法使得编码器必须将边图f′和系数向量f^传达给解码器，两者均具有大约N的维度。但是，这第二种编码-解码方法不需要考虑图优化问题。
在现实世界的应用中，通信在带宽受限的信道上进行，因此期望f^和W中的任一个(或两者)可以在它们被置于信道上之前经历一些有效的压缩形式。这同样适用于在容量有限的存储单元上存储图像f。
关于压缩系数向量f^的问题，其特性使得它可以经由现有的基于熵的编码方案被有效地压缩。相反，权重矩阵W不能借助于任何现有的压缩技术被有效地压缩，因为其特性不能使得进行有效的压缩。
为了解决自然图像的图优化问题，现有技术仅考虑图的平滑度，这不足以实现令人满意的性能。
发明内容
本发明旨在通过提供用于编码和/或解码数字图像或视频流的方法和装置来解决这些和其它问题，这有效地提高了基于GFT(图傅立叶变换)的图像或视频编码和解码技术的编码效率。
本发明的基本思想是通过将其边权重视为位于对应对偶图上的图信号来对图进行编码。评估权重的图傅立叶变换，并量化经变换的权重。图的选择作为速率-失真优化问题被提出，该问题被视为图学习问题。通过最小化学习图上的图像的平滑度来捕获对图像信号进行编码的成本，同时通过处罚位于对偶图上的边权重信号的图傅立叶系数的稀疏度来控制拓扑的传输成本。优化问题的解决方案是提供变换质量与其传输成本之间的有效折衷的图。
附图说明
从纯粹通过非限制性示例提供的附图中所示的实施例的描述中，本发明的特性和其它优点将变得显而易见，其中：
图1示出了根据现有技术的基于参考图的图像编码-解码系统的框图；
图2示出了根据现有技术的第二基于参考图的图像编码-解码系统的另一个框图；
图3a、3b和3c示出了描绘根据本发明的用于编码数字图像或视频流的装置的功能的流程图；
图4示出了描绘根据本发明的用于解码数字图像或视频流的装置的功能的流程图；
图5示出了灰度图像f的示例(图5(a))和所述灰度图像f的示例性图像块(图5(b))；
图6示出了用于向量化(序列化)表示为4连通的方形网格图的图像或图像块的可能方式；
图7示出了用于向量化(序列化)表示为8连通的方形网格图的图像或图像块的可能方式；
图8示出了图示根据本发明的被配置为压缩/解压缩数字图像或视频流的装置的逻辑或物理单元的框图；
图9示出了表示由4×4像素组成的图像块的4连通方形网格图的示例性入射矩阵(B)；
图10示出了示例性图(图10(a))及其对应的对偶图(图10(b))；
图11示出了图示根据本发明的用于压缩数字图像或视频流的装置的框图；
图12示出了图示根据本发明的用于解压缩数字图像或视频流的装置的框图；
图13示出了基于性能测试的上下文中定义的三个类给出的图像的块分解；
图14示出了根据本发明实现的测试编码器-解码器对的性能；
图15示出了被用于执行根据本发明的编码器-解码器测试的测试图像。
具体实施方式
在这个描述中，对“实施例”的任何引用将指示关于本发明的实现描述的特定配置、结构或特征包括在至少一个实施例中。因此，可以出现在本描述的不同部分中的短语“在实施例中”以及其它类似的短语不一定全都指相同的实施例。此外，任何特定的配置、结构或特征可以以任何被认为合适的方式在一个或多个实施例中组合。因此，使用下面的参考仅仅是为了简单起见，而并不限制各种实施例的保护范围或扩展。
参考图11，用于压缩数字图像或视频流的装置1100(也称为编码装置1100)包括以下部分：
-处理部件1110，就像中央处理单元(CPU)，被配置为用于执行指令集，以执行根据本发明的用于对数字图像或视频流进行编码的方法(所述方法将在下文中详细描述)；
-存储器部件1140，就像基于半导体的存储器单元，易失性或非易失性，包含与要压缩的图像相关的数据以及优选地实现根据本发明的用于编码数字图像或视频流的方法的指令，其中图像数据是所述图像的至少一部分的表示并且优选地采用二值化格式，并且其中所述存储器部件1140还可以包含执行所述方法的指令的结果；
-输入部件1170，例如，I/O(输入/输出)单元，其可以由CPU 1110配置为从(视频)源1000读取要处理的图像或视频流；这种输入部件可以例如包括根据以下标准中的至少一个的数据通信适配器：USB、Firewire、RS232、IEEE 1284、以太网、TCP/IP、Wi-Fi等；
-图学习单元1120，其被配置用于执行根据本发明的用于解决问题的方法的至少一个阶段的一部分，以获得表示数字图像或视频流的图的最佳权重；特别地，这个单元被配置用于考虑变换系数的成本和图描述的成本，其中图的权重被视为放置在其对偶图上的信号，从而获得最佳权重的向量w*然后将其存储在存储器部件1140中；
-对偶图编码单元1130，其被配置用于执行根据本发明的用于编码最佳权重的向量w*的方法的至少一个阶段的一部分；特别地，这个单元被配置用于在对偶图上执行最佳权重w*的图傅立叶变换，其中根据预定量化参数的集合{Δi}量化经变换的最佳权重
Figure GDA0003016926720000121
从而获得量化且经变换的最佳权重的集合
Figure GDA0003016926720000122
然后将其存储在存储器部件1140中；
-图编码单元1150，其被配置用于从存储器单元1140提取原始图像或视频流，执行根据本发明的用于编码数字图像或视频流的方法的至少一个阶段的一部分；特别地，这个单元被配置用于执行图像或视频数据的图傅立叶变换，其中所述图傅立叶变换被确定为每个权重的量化参数{Δi}的量化且经变换的最佳权重的向量
Figure GDA0003016926720000123
的函数，从而获得根据预定量化参数q量化的系数的集合
Figure GDA0003016926720000124
并将得到的系数的集合
Figure GDA0003016926720000125
存储回存储器单元1140；
-图解码单元1155，其被配置用于执行根据本发明的用于解码数字图像或视频流的方法的至少一个阶段的一部分；特别地，这个单元被配置用于使用所述预定量化参数q并且通过执行去量化系数
Figure GDA0003016926720000131
的逆图傅立叶变换来执行系数的集合
Figure GDA0003016926720000132
的去量化处理；其中所述逆图傅立叶变换被确定为每个权重的量化参数{Δi}的量化且经变换的最佳权重
Figure GDA0003016926720000133
的函数，从而获得重构的数字图像或视频流的集合
Figure GDA0003016926720000134
并将所述集合存储到存储器单元1140；
-速率-失真成本评估单元1160，其被配置用于从存储器部件1140提取重构的信号的集合
Figure GDA0003016926720000135
通过考虑与重构信号的集合
Figure GDA0003016926720000136
和重构的最佳权重的向量的集合
Figure GDA0003016926720000137
两者相关的速率-失真成本针对每个权重的量化参数{Δi}计算速率-失真成本{RDi}，并基于最佳速率-失真成本{RDi}选择权重的量化参数Δ、量化且经变换的最佳权重的向量
Figure GDA0003016926720000138
和量化且经变换的图像的系数
Figure GDA0003016926720000139
并将所述选择的值存储到存储器单元1140中；
-输出部件1180(例如网络或存储适配器)，其可以由CPU 1110配置为通过通信信道将处理结果发送到目的地1195(例如，存储介质、远程客户端等)；这种输出部件可以例如包括根据以下标准中的至少一种的数据通信适配器：以太网、SATA、SCSI等；
-通信总线1190，其允许在CPU 1110、图学习单元1120、对偶图编码单元1130、存储器部件1140、图编码单元1150、图解码单元1155、速率-失真单元1160、输入部件1170和输出部件1180之间交换信息。作为使用通信总线1190的替代方案，CPU 1110、图学习单元1120、对偶图编码单元1130、存储器部件1140、图编码单元1150、图解码单元1155、速率-失真单元1160、输入部件1170和输出部件1180可以借助于星形体系架构连接。
视频源1000可以是实况图像的提供者(诸如相机)，或者是存储内容的提供者(诸如盘或其它存储装置和记忆设备)。中央处理单元(CPU)1110负责在由装置1100执行的编码处理中激活单元1120、1130、1150、1155、1160执行的适当操作序列。这些单元可以借助于专用硬件组件(例如，CPLD、FPGA等)实现，或者可以通过存储在存储器单元1140中由CPU 1110执行的一个或多个指令集实现；在后一种情况下，单元1120、1130、1150、1155、1160只是逻辑(虚拟)单元。
当装置1100处于操作状况时，CPU 1110首先从视频源取回图像并将其加载到存储器单元1140中。
接下来，CPU 1110激活图学习单元1120，其从存储器1140提取原始图像f，执行根据本发明的用于从图像f学习最佳权重的向量w*的方法的至少一个阶段的一部分(参见图3a)，并将得到的最佳权重的向量w*存储回存储器单元1140。
接下来，CPU 1110激活对偶图编码单元1130，其从存储器1140提取最佳权重的向量w*，执行根据本发明的用于编码(基于对偶图)以及用于量化最佳权重的向量w*的方法的至少一个阶段的一部分(参见图3a)，并将得到的量化和变换的最佳权重的集合
Figure GDA0003016926720000141
存储回存储器单元1140。
接下来，CPU 1110激活图编码单元1150，其从存储器1140提取量化且经变换的最佳权重
Figure GDA0003016926720000142
执行根据本发明的用于编码和量化数字图像或视频流的方法的阶段的至少一部分(参见图3b)，并将得到的量化系数的集合
Figure GDA0003016926720000143
存储回存储器单元1140。
然后，CPU 1110激活图解码单元1155，其从存储器1140提取量化系数的集合
Figure GDA0003016926720000144
执行根据本发明的用于解码图像或视频流的方法的至少一个阶段的一部分(参见图3b)，并在存储器1140中存储重构的数字图像或视频流的集合
Figure GDA0003016926720000145
接下来，CPU 1110激活速率-失真成本评估单元1160，其从存储器提取重构的数字图像或视频流的集合
Figure GDA0003016926720000151
执行根据本发明的用于计算图像或视频流的速率-失真成本的方法的至少一个阶段的一部分(参见图3c)，并基于最佳速率-失真成本{RDi}(即，最低成本)选择权重的量化参数Δ、量化且经变换的最佳权重的向量
Figure GDA0003016926720000152
和量化且经变换的图像的系数
Figure GDA0003016926720000153
并将它们存储到存储器1140中。
此时，CPU 1110可以在编码器1100处处置来自存储器单元1140的不再需要的数据。
最后，CPU 1110从存储器1140提取权重的量化参数Δ、量化且经变换的最佳权重的向量
Figure GDA0003016926720000154
和量化且经变换的图像的系数
Figure GDA0003016926720000155
并借助于输出部件1180通过通信信道发送它们或将它们保存到存储介质1195中。
还参考图12，用于解压缩数字图像或视频流的装置1200(也称为解码装置1200)包括以下部分：
-处理部件1210，就像中央处理单元(CPU)，被配置为执行指令集，用于执行根据本发明的用于解码数字图像或视频流的方法(所述方法将在下文中详细描述)；
-存储器部件1240，就像易失性或非易失性、基于半导体的存储器单元，包含与接收到的压缩图像相关的数据以及优选地实现根据本发明的用于解压缩数字图像或视频流的方法的指令，其中图像数据是所述图像的至少一部分的表示并且优选地是二值化格式，并且其中所述存储器部件1240还可以包含执行所述方法的指令的结果；
-输入部件1280(例如，网络或存储适配器)，其可以由CPU 1210配置为从通信信道或存储介质1200读取编码图像或视频流；所述输入部件1280可以例如包括根据以下标准中的至少一个的数据通信适配器：以太网、SATA、SCSI等；
-图去量化单元1220，其被配置用于执行用于接收权重的量化参数Δ、量化且经变换的最佳权重的向量
Figure GDA0003016926720000161
以及量化且经变换的图像系数向量
Figure GDA0003016926720000162
的方法的至少一个阶段的一部分，并且被配置用于分别基于量化参数Δ和q执行用于对
Figure GDA0003016926720000163
和
Figure GDA0003016926720000164
进行去量化的方法的至少一个阶段的一部分；
-图解码单元1230，其被配置用于执行根据本发明的用于解压缩数字图像或视频流的方法的至少一个阶段的一部分；特别地，这个单元被配置用于执行逆图傅立叶变换，其被确定为量化且经变换的最佳权重
Figure GDA0003016926720000165
的函数，使得重构图像
Figure GDA0003016926720000166
被恢复；
-输出视频部件1270，就像视频适配器，其可以由CPU 1210配置为以优选地在显示器1295上再现和/或输出经处理(解码或解压缩)的图像或视频流；所述输出视频部件可以例如包括根据以下标准中的至少一个的适配器：VGA、S-video、HDMI、以太网等；
-通信总线1290，其允许CPU 1210、去量化单元1220、图解码单元1230、存储器部件1240、输出视频部件1270和输入部件1280之间的信息交换。作为使用通信总线1290的替代方案，CPU 1210、去量化单元1220、图解码单元1230、存储器部件1240、输出视频部件1270和网络或存储适配器1280可以借助于星形体系架构连接。
就像对于先前描述的编码装置1100，解码装置1200的CPU 1210也负责激活由单元1220和1230执行的适当操作序列。这些单元可以借助于专用硬件组件(例如CPLD、FPGA等)实现，或者可以通过由CPU 1210执行的一个或多个指令集实现；在后一种情况下，单元1220和1230仅仅是逻辑(虚拟)单元。
当装置1200处于操作状况时，CPU 1210首先提取权重的量化参数Δ、量化且经变换的最佳权重的向量
Figure GDA0003016926720000167
以及从信道或存储介质1195接收的量化且经变换的图像系数向量
Figure GDA0003016926720000168
并将它们加载到存储器单元1240中。
然后，CPU 1210激活图去量化单元1220，其从存储器1240接收权重的量化参数Δ、量化且经变换的最佳权重的向量
Figure GDA0003016926720000171
以及量化且经变换的图像的系数向量
Figure GDA0003016926720000172
执行用于分别基于量化参数Δ和q对向量
Figure GDA0003016926720000173
和
Figure GDA0003016926720000174
进行去量化的方法的至少一个阶段的一部分，并且根据本发明(参见图4)，将去量化且经变换的最佳权重的向量
Figure GDA0003016926720000175
和去量化且经变换的图像的系数向量
Figure GDA0003016926720000176
存储到存储器部件1240中。
然后，CPU 1210激活图解码单元1230，其从存储器1240提取去量化且经变换的最佳权重的向量
Figure GDA0003016926720000177
和去量化且经变换的图像的系数向量
Figure GDA0003016926720000178
执行根据本发明的用于解压缩图像或视频流的方法的至少一个阶段的一部分(参见图4)，并将包括重构图像像素的恢复图像或视频信号向量
Figure GDA0003016926720000179
存储到存储器部件1240中，所述重构图像像素可以容易地重新布置以形成图像的原始二维像素网格。
此时，CPU 1210可以在解码器侧处置来自存储器的不再需要的数据。
最后，CPU可以从存储器1240提取恢复的图像
Figure GDA00030169267200001710
，并借助于视频适配器1270将其发送到显示单元1295以进行其可视化。
应当注意的是，附图中描述的编码和解码装置可以如何由CPU 1210控制以在内部以流水线方式操作，从而使得能够减少处理每个图像所需的总时间，即，通过在相同的时间执行更多的指令(例如，使用多于一个CPU和/或CPU核心)。
还应当注意的是，在信道上发送它们或者将它们存储在存储单元上之前，可以对编码设备1100的输出数据执行许多其它操作，如调制、信道编码(即，错误保护)。相反，在对其进行有效处理之前，可以对解码设备1200的输入数据执行相同的逆操作，例如，解调和纠错。那些操作与体现本发明无关，因此将被省略。
另外，图11和图12中所示的框图仅具有示例性质；它们允许理解本发明如何工作以及如何由本领域技术人员实现。本技术技术人员理解这些图表就其中示出的功能、相互关系和信号可以以许多等同的方式布置而言具有非限制性含义；例如，看起来由不同逻辑块执行的操作可以通过硬件和软件资源的任意组合来执行，所述硬件和软件资源也是用于实现不同或全部块的相同资源。
现在将详细描述编码处理和解码处理。
编码
为了示出编码处理如何发生，假设要处理的图像f(或其块)优选地为灰度图像，其中每个像素在8位上被编码，使得所述像素的值可以借助于0和255之间的整数值范围表示，参见图5(a)中所示的f的示例，其中图5(b)示出了图5(a)的4×4像素子集。
还参考图6(b)，图像f借助于N×1的向量f表示，其中第i个元素优选地与以光栅扫描次序计数的图像f中的第i个像素对应；因此，图6(a)示出了从二维矩阵或图形式开始向量化图像块表示的可能方式，其中节点表示像素，并且弧表示水平和垂直邻接，并且其中块具有正方形形状并且N被假设为16。每个第n个像素(节点)根据从1到16的光栅扫描次序被编号并且在图像向量f的第n个元素中被变换(图6(b))。因此，例如，在本发明的实施例中，像素6(即，f6)被认为仅与像素2(f2)、5(f5)、7(f7)和10(f10)相邻，而像素13(f13)与像素9(f9)和14(f14)相邻。
此外，图6(a)示出了4连通的网格图拓扑，其最常用于基于图的图像压缩，因为其边的数量不是太高，因此编码成本是有限的。实际上，在具有N个节点的4连通方形网格中，存在
Figure GDA0003016926720000181
条边。而且，可以考虑其它图拓扑，图7(a)示出了具有N个节点的8连通方形网格图拓扑，其中那种情况存在
Figure GDA0003016926720000182
条边。
还参考图8，现在描述编码装置810的不同部分如何交互以压缩数字图像或视频流。
还参考图3a，图学习单元815优选地包括以下(物理或逻辑)部分：
-学习问题解决单元305，被配置用于解决由以下表达式(或等同物)描述的优化问题
Figure GDA0003016926720000191
其中图拓扑是固定的(例如，4连通的方形网格)，并且图的权重被收集在M×1向量w中，其可以变化。具有N个节点和M条边的图的拓扑由N×M个入射矩阵B描述，使得
Figure GDA0003016926720000192
其中e＝(x，y)表示存在具有从节点x到y的索引为e的边；边的朝向可以任意选择；e是包括在1和M之间的整数。图9示出了4×4像素块的入射矩阵的示例，其中考虑了4连通的方形网格图拓扑，如图6中表示的具有对应边标签的拓扑；在图图片中省略了顶点和边的索引的初始零点；始终从较低节点索引到较高节点索引选择边的朝向(未示出)。数学公式(9)的第一项考虑了图像f的变换系数的成本RC，而数学公式(9)的第二项考虑了图描述的成本RG。数学公式(9)的对数项对低权重值进行处罚，从而避免了全零权重平凡解。可以基于图像(或者对于其每个块)的一些特点来选择实际参数α和β，诸如，例如通过结构张量分析(I.Rotondo、G.Cheung、A.Ortega和H.E.Egilmez，“Designing sparse graphs viastructure tensor for block transform coding of images”，发表于APSIPA2015)执行的图像结构的复杂度的度量。
考虑图上的图像f的平滑度来评估图像f(或其块)的变换系数的成本Rc，其通过以下关系获得：
Figure GDA0003016926720000201
其中L＝B(diag(w))BT是图的拉普拉斯矩阵，W是图的权重矩阵(用术语wij表示)，它与权重的向量w有关，作为we＝Wij，其中e＝(i，j)是权重矩阵W的边连接节点i到节点j的索引。表达式diag(x)指示对角矩阵，其左上角开始的对角条目是向量x的元素x1，x2，...，xn。
通过将边权重的向量w视为存在于对应的对偶图上的信号来获得图描述的成本RG。给定图，其对偶图是未加权的图，其中每个节点表示图的边，并且当且仅当它们在图中对应的边共享公共端点时，才连接对偶图的两个节点。图10示出了图的示例(图10(a))及其对应的对偶图(图10(b))：图中用小写字母标记的边成为用整数标记的对应对偶图的节点。因为相邻节点之间的连续边通常具有相似的权重，所以选择对偶图允许提供权重向量w的平滑表示。对于与图像f相关的对偶图，可以使用关系式(4)和(5)来计算M×M拉普拉斯矩阵Ld；Ld的特征向量定义了对偶图Ud的变换矩阵。通过以下数学表达式在公式(9)中考虑图描述的成本RG
Figure GDA0003016926720000202
其中符号
Figure GDA0003016926720000203
指示向量v的1-范数，并且
Figure GDA0003016926720000204
是对偶图的转置变换矩阵。
学习问题解决单元305的输出是根据关系式(9)给出的优化问题评估的最佳权重的向量w*。应当注意的是，在现有技术中，通过仅考虑图的平滑性来解决从图中学习权重的问题，或者通过使用例如由关系式(2)给出的Cauchy公式指定图的权重来完全忽略该问题。解决整体速率失真成本的最小化的选择确保编码效率方面的最佳结果；相反，考虑图平滑度或使用Cauchy函数不能保证如本发明中的最佳编码效率。
还参考图3a，对偶图编码单元820优选地包括以下(物理或逻辑)部分：
-图变换计算单元310，被配置为通过以下数学表达式计算图像f的对偶图上的最佳权重的向量w*的图傅立叶变换
Figure GDA0003016926720000211
其中最佳权重的向量w*被认为是放在对偶图上的信号。由于连续边通常具有相似的权重，因此选择对偶图允许仅考虑通常最重要的前
Figure GDA0003016926720000212
个系数，并将其它
Figure GDA0003016926720000213
个系数设置为零。可选地，图变换计算单元310可以将
Figure GDA0003016926720000214
的值或差
Figure GDA0003016926720000215
的值插入到输出数据位流中，以便向解码器通知已被忽略且未插入到流中的边权重的数量。因此，经变换的权重向量
Figure GDA0003016926720000216
的分量的数量可以从M减少到
Figure GDA0003016926720000217
这意味着图描述的成本的降低，这在原始的非对偶图中是不可能的。换句话说，处理部件1110还被配置用于减小权重向量(w*)的尺寸，并通过输出部件1180发送所述权重向量(w*)的原始尺寸。以这种方式，编码/解码效率增加。
-权重量化单元315，被配置为借助于Q个权重的量化参数的集合Δ1，Δ2，...，ΔQ来量化经变换的最佳权重的向量
Figure GDA0003016926720000218
从而对于每个权重的量化参数获得对应的量化且经变换的最佳权重的向量
Figure GDA0003016926720000219
其中i＝1,2，...，Q并且round(x)表示将x舍入到最接近的整数。
还参考图3b，图编码单元825优选地包括以下(物理或逻辑)部分：
-图变换计算单元320，被配置为通过借助于以下数学表达式对每个权重的量化参数Δi(i＝1，2，…，Q)执行图傅立叶变换，计算图像f的图傅立叶变换：
Figure GDA00030169267200002110
其中，对于每个权重的量化参数Δi(i＝1，2，…，Q)，从图拉普拉斯矩阵Li的特征向量获得图变换矩阵Ui。拉普拉斯矩阵Li借助于以下数学公式计算
Figure GDA0003016926720000221
其中，通过借助于以下表达式对去量化且经变换的最佳权重的向量
Figure GDA0003016926720000222
的对偶图执行逆图傅立叶变换，为每个权重的量化参数Δi(i＝1，2，…，Q)获得去量化且经逆变换的最佳权重的向量
Figure GDA0003016926720000223
Figure GDA0003016926720000224
-系数量化单元325，被配置为使用所述系数的量化参数q对于每个权重的量化参数Δi(i＝1，2，…，Q)量化由关系式(14)给出的经变换的图像的系数
Figure GDA0003016926720000225
使得
Figure GDA0003016926720000226
还参考图3b，图解码单元830优选地包括以下(物理或逻辑)部分：
-系数去量化单元330，被配置为使用所述系数的量化参数q对于每个权重的量化参数Δi(i＝1，2，…，Q)去量化量化且经变换的图像的系数
Figure GDA0003016926720000227
使得
Figure GDA0003016926720000228
-逆图变换计算单元335，被配置为借助于以下数学表达式对于每个权重的量化参数Δi(i＝1，2，…，Q)计算去量化且经变换的图像的系数
Figure GDA0003016926720000229
的逆图傅立叶变换：
Figure GDA00030169267200002210
其中图变换矩阵Ui是如单元320中所解释的那样获得的。
还参考图3c，速率-失真单元835优选地包括以下(物理或逻辑)部分：
-速率-失真计算单元340，被配置为针对每个权重的量化参数Δi(i＝1，2，…，Q)评估速率-失真成本RDi，其中RDi包括与通过关系式(17)给出的去量化且经逆变换的图像的系数
Figure GDA00030169267200002211
相关的速率-失真成本，以及与由关系式(16)给出的去量化且经逆变换的最佳权重
Figure GDA0003016926720000231
相关的速率-失真。可以考虑由接收
Figure GDA0003016926720000232
和
Figure GDA0003016926720000233
作为输入的熵编码器输出的位的量来评估速率，而对于图像系数和最佳权重，失真可以分别被评估为
Figure GDA0003016926720000234
和
Figure GDA0003016926720000235
其中符号
Figure GDA0003016926720000236
指示向量(v)的2-范数；
-速率-失真评估单元345，被配置为选择速率-失真成本RDi最小的索引i∈[i，Q]；
-输出单元350，被配置为输出权重的量化参数Δi、量化且经变换的最佳权重的向量
Figure GDA0003016926720000237
和量化且经变换的图像的系数
Figure GDA0003016926720000238
它们由所选择的索引i选择。
总的来说，还参考图8和图11，根据本发明的用于编码数字图像和/或视频流的方法包括以下阶段：
-获取阶段，其中借助于输入部件(1170)从源1000获取图像f的至少一部分；
-权重向量确定阶段，其中，通过处理部件1110，通过最小化考虑到所述图的经变换的系数的成本RC和所述图的描述的成本RG的成本函数，确定与图像f的所述至少一部分相关的图的权重向量w*，并将所述图的权重视为放置在对偶图上的信号，该对偶图是未加权的图，其中每个节点表示所述图的边，并且所述对偶图的两个节点只有当它们在图中的对应边共享公共端点时才被连接；
-权重向量变换阶段，其中，通过处理部件1110，通过计算放置在所述对偶图上的权重向量w*的图傅立叶变换，生成经变换的权重向量
Figure GDA0003016926720000239
-权重向量量化阶段，其中，通过处理部件1110，根据所述量化参数的集合{Δi}中的每个元素Δi来量化经变换的权重向量
Figure GDA0003016926720000241
以便生成量化的经变换的权重向量的集合
Figure GDA0003016926720000242
-变换阶段，其中，借助于处理部件1110，通过与图像(f)的所述至少一部分相关并且将所述量化的经变换的权重
Figure GDA0003016926720000243
作为权重的图的图傅立叶变换，为所述量化的经变换的权重向量的集合
Figure GDA0003016926720000244
的每个量化的经变换的权重
Figure GDA0003016926720000245
计算经变换的系数
Figure GDA0003016926720000246
以便生成经变换的系数的集合
Figure GDA0003016926720000247
-去量化阶段，其中，借助于处理部件1110，根据用于量化它的量化参数Δi，对量化的经变换的权重向量的集合
Figure GDA0003016926720000248
的每个元素
Figure GDA0003016926720000249
进行去量化，以便生成去量化的经变换的权重向量的集合
Figure GDA00030169267200002410
-逆变换阶段，其中通过处理部件1110为所述去量化的经变换的权重向量
Figure GDA00030169267200002411
的每个元素
Figure GDA00030169267200002412
基于在图傅立叶变换中使用的所述元素
Figure GDA00030169267200002413
和经变换的系数
Figure GDA00030169267200002414
计算逆图傅立叶变换，以便获得重构图像样本的集合
Figure GDA00030169267200002415
-失真计算阶段，其中通过处理部件1110为重构图像样本的集合
Figure GDA00030169267200002416
的每个重构图像样本
Figure GDA00030169267200002417
基于所述重构图像样本
Figure GDA00030169267200002418
和图像f的所述至少一部分计算失真成本；
-选择阶段，其中通过处理部件1110选择与具有最低失真成本的重构图像样本
Figure GDA00030169267200002419
相关联的经变换的系数
Figure GDA00030169267200002420
量化的经变换的权重
Figure GDA00030169267200002421
以及用于量化所述经变换的量化的经变换的权重的量化参数Δ；
-传输阶段，其中借助于输出部件1180发送和/或存储所选择的元素
Figure GDA00030169267200002422
Δ。
此外，编码方法还可以包括以下可选阶段：
-系数量化阶段，其中，通过处理部件1110，根据第二量化参数q对经变换的系数的集合
Figure GDA0003016926720000251
的每个元素
Figure GDA0003016926720000252
进行量化，以便生成量化的经变换的系数的集合
Figure GDA0003016926720000253
-系数去量化阶段，其中，通过处理部件1110，根据第二量化参数q，对量化的变换系数集合
Figure GDA0003016926720000254
的每个元素
Figure GDA0003016926720000255
进行去量化，以便生成去量化的变换系数的集合
Figure GDA0003016926720000256
它证明了在逆变换阶段、选择阶段和传输阶段期间使用的变换系数包含在去量化变换系数的集合
Figure GDA0003016926720000257
中。以这种方式，有可能提高编码效率。
解码
参考图8和图4，解码器850包括去量化单元855和图解码单元860。
去量化单元855优选地包括以下(物理或逻辑)部分：
-接收单元405，被配置为接收所选择的权重的量化参数Δ、量化且经变换的最佳权重的向量
Figure GDA0003016926720000258
和量化且经变换的图像的系数
Figure GDA0003016926720000259
-权重和系数去量化单元410，被配置为对量化且经变换的最佳权重的向量
Figure GDA00030169267200002510
以及量化且经变换的图像的系数向量
Figure GDA00030169267200002511
进行去量化，从而获得去量化且经变换的最佳权重的向量
Figure GDA00030169267200002512
和去量化且经变换的图像的系数向量
Figure GDA00030169267200002513
图解码单元860优选地包括以下(物理或逻辑)部分：
-逆图变换计算单元415，被配置为通过以下数学关系式计算去量化且经变换的图像的系数向量
Figure GDA00030169267200002514
的逆图傅立叶变换
Figure GDA00030169267200002515
其中图变换矩阵U是从图拉普拉斯矩阵L的特征向量获得的。拉普拉斯矩阵L借助于以下数学公式计算
Figure GDA00030169267200002516
其中，借助于以下表达式，通过在对偶图上对去量化且经变换的最佳权重的向量
Figure GDA0003016926720000261
进行逆图傅立叶变换，获得去量化且经逆变换的最佳权重的向量
Figure GDA0003016926720000262
Figure GDA0003016926720000263
-图像恢复单元420，被配置为通过反转图6或7(其示出了本发明的实施例)中所描绘的序列，输出重构图像信号向量
Figure GDA0003016926720000264
然后将其转换成
Figure GDA0003016926720000265
像素的方形网格，作为二维信号。
总的来说，根据本发明的用于解码数字图像或视频流的方法包括以下阶段：
-接收阶段，其中通过输入部件1280接收经变换的系数
Figure GDA0003016926720000266
量化的经变换的权重
Figure GDA0003016926720000267
以及量化参数Δ；
-去量化阶段，其中量化的经变换的权重
Figure GDA0003016926720000268
通过处理部件1210根据量化参数Δ进行去量化，以便生成去量化的经变换的权重
Figure GDA0003016926720000269
-权重重构阶段，其中通过处理部件1210通过计算去量化的经变换的权重
Figure GDA00030169267200002610
的逆图傅立叶变换来确定去量化的重构权重
Figure GDA00030169267200002611
其被认为是放置在对偶图上，该对偶图是未加权的图，其中每个节点表示与图像(f)相关的图的边，并且所述对偶图的两个节点只有在图中它们的对应边共享公共端点时才被连接；
-逆变换阶段，其中通过处理部件1210，通过基于去量化的重构权重
Figure GDA00030169267200002612
和经变换的系数
Figure GDA00030169267200002613
计算逆图傅立叶变换来生成重构图像的至少一部分；
-输出阶段，其中所述重构图像的所述至少一部分通过输出视频部件1270输出。
此外，解码方法还可以包括以下可选阶段：
-系数去量化阶段，其中，根据第二量化参数q，通过处理部件1210对经变换的系数
Figure GDA00030169267200002614
进行去量化，以便生成去量化的经变换的系数
Figure GDA0003016926720000271
结合这个附加阶段并且在逆变换阶段期间，通过处理部件1210，通过基于去量化的经变换的权重
Figure GDA0003016926720000272
和去量化的经变换的系数
Figure GDA0003016926720000273
计算逆图傅立叶变换，生成所述重构图像的至少一部分。以这种方式，有可能提高编码/解码效率。
可选地，图解码单元可以从输入的位流中读取，例如以元数据的形式，
Figure GDA0003016926720000274
的值或差
Figure GDA0003016926720000275
的值，该值将包含量化且经变换的最佳权重的向量
Figure GDA0003016926720000276
的元素的数量信号化。换句话说，处理部件1210还被配置为，在确定去量化的重构权重
Figure GDA0003016926720000277
之前，通过输入部件1280接收表示量化的经变换的权重
Figure GDA0003016926720000278
的原始尺寸的尺寸值，并通过添加空值(例如，零值或表示空分量的值)来增加量化的经变换的权重
Figure GDA0003016926720000279
的尺寸。以这种方式，有可能提高编码/解码效率。
最后，在本发明的实施例中，重构的二维图像可以借助于向量
Figure GDA00030169267200002710
的向量到矩阵的转换来重构，然后借助于输出视频部件1270输出。
性能测试
参考图13和图14，将讨论申请人进行的性能测试的结果。在这个测试中，已经评估了根据本发明实现的编码器-解码器对。
为了执行编码-编码测试，考虑了四个标准灰度图像(Lena，Boat，Peppers和House)，这些图像被拆分成非重叠的16×16像素块。所选择的图的拓扑结构是4连通的网格，其给出M＝480条边，而在所有实验中设置
Figure GDA00030169267200002711
并且Q＝8。由关系式(9)给出的图学习问题的参数α和β的值取决于块的特点。为此，执行使用结构张量分析的块结构复杂度分类(I.Rotondo、G.Cheung、A.Ortega和H.E.Egilmez，“Designing sparse graphs viastructure tensor for block transform coding of images”，发表于APSIPA2015)。定义了三类块的结构复杂度，对于每个类，设置参数α的不同值，而对于每个类，选择β＝1。图13示出了例如基于三个定义的类给出的Lena图像的块分解。特别地，图13(a)、图13(b)和图13(c)分别示出了与类1、2和3对应的块分解。
将本发明中描述的方法的性能与经典DCT变换的性能进行比较。对于每个类，通过对所有图像的给定类的每个块的速率-失真成本进行平均，评估平均速率-失真成本。接下来，考虑Bjontegaard度量(G.Bjontegaard，“Calculation of average PSNR differencesbetween RD curves”文件VCEG-M33 ITU-T Q6/16，Austin,TX,USA，2001年4月2日至4日)，以便计算PSNR与DCT相比的平均增益。特别地，本发明中描述的方法优于DCT，对于第二类中的块提供0.6dB的平均PSNR增益，并且对于第三类中的块提供0.64dB。图14示出了例如第二类(图14(a))和第三类(图14(b))(其仅涉及House图像(图15))的性能。有趣的是，第二类和第三类之间的性能没有显著差异。代替地，在第一类中，增益几乎为0，因为在这种情况下DCT已经是最佳的。
总之，所获得的结果表明，本发明中描述的方法可以胜过经典的固定DCT变换。
其它实施例和一般化
在本发明的第二实施例中，可以对要编码的图像进行初步滤波，以去除高频分量。适当的滤波器的示例包括高斯滤波器或各向异性滤波器。换句话说，处理部件1110还可以被配置用于对要编码的图像f的至少一部分进行滤波，以便移除至少其频率(值)高于阈值的频率分量。以这种方式，有可能提高编码效率，尤其是当编码中不需要高频分量时，例如，当它们与图像传感器等产生的噪声相关联时。
在第三实施例中，本发明可以适于也用于压缩彩色图像。例如，在RGB图像的情况下，本发明可以用于压缩R G或B分量中的至少一个；由于分量一般具有强相关性，因此有可能基于起始分量推断或预测其它分量。换句话说，解码装置1200的处理部件1210、1220还可以被配置用于基于重构图像的至少一部分生成所述RGB图像的至少另一个分量。以这种方式，有可能进一步提高编码效率。
类似地，在YUV编码的彩色图像的情况下，可以根据本发明压缩亮度分量Y，而色度分量U和V可以以与它们与Y的差值信号(Y-U和Y-V)相似的方式被压缩和解压缩，其中一些适应考虑了色度分量相对于亮度的不同统计特征。换句话说，要编码的图像的至少一部分和重构图像的至少一部分可以是YUV编码的彩色图像的亮度分量或在亮度分量与色度分量之间的差。以这种方式，有可能进一步提高编码效率。
在第四实施例中，本发明集成在视频编码技术中，其中不同图像之间的时间相关性也必须被考虑。为此，与常规视频压缩标准中使用的预测机制相似的预测机制可以与本发明结合使用，以有效地压缩和解压缩视频信号。
在本描述中作为输入二维信号使用的术语“图像”和“图像块”必须以其最广泛的含义来解释。它们可以涵盖从自然图像、人造图像、图像的预测误差、更高分辨率的图像的二次采样版本、所述类型的图像的任何部分等等直接导出或提取的像素值。
在优选实施例中，通过求解由关系式(9)给出的学习问题来计算与图像或视频数据相关的图的最佳权重的向量。在任何实施例中，都可以使用学习问题的任何其它定义，其考虑图像f(或其块)的变换系数的成本RC和图描述的成本RG，以便评估所述最佳权重的向量，而不脱离本发明的教导。
所描述的用于导出图像或其一部分的一维向量表示的向量化处理仅仅是可选的，并且对于实现本发明而言不是必需的。它只是允许图像输入数据的更紧凑的表示和更简单的数据结构以及距离和权重矩阵的处理。其它类型的表示和数据结构可以用于输入图像或其块，并且相反，也可以用于距离和权重矩阵，其结构一般取决于输入图像数据的结构。
描述本发明实施例时提到的图像块的维度是示例性的。在其它实施例中，它们可以具有任何尺寸，形成矩形或正方形，对于整个图像是均匀的或者适应于图像的局部特征。例如，对于具有更复杂边的图像区域，图像块可以更小，而对于具有更少边或没有边的区域，图像块可以更大。
在另一个实施例中，可以将图像初步细分成较小的块，该较小的块优选地各自由相同数量的N个像素组成，然后根据本发明对其进行独立编码和解码。如果必要，那么可以添加填塞(填补)像素，以便使编码器和解码器在相同(预定)尺寸的块上操作。在重构图像f之后，这个附加像素可以被解码设备去除。
在另一个实施例中，图像可以预先细分为非重叠的块，优选地由相同数量的N个像素组成，然后，基于诸如块结构复杂度或速率-失真成本等一些标准，根据本发明或者使用其它编码/解码技术(例如，DCT)独立地编码和解码。
在另一个实施例中，权重的量化参数Δ、量化且经变换的最佳权重的向量
Figure GDA0003016926720000301
以及向量的量化且经变换的图像的系数
Figure GDA0003016926720000302
在它们在信道上传输之前利用现有的熵编码技术进一步压缩，目标是进一步减少其表示所需的带宽，并在解码单元处理它们之前在接收器处解压缩。换句话说，处理部件1110还可以被配置用于在通过输出部件1180发送它们(所选择的元素)之前，借助于熵编码算法压缩所选择的经变换的系数、所选择的量化的经变换的权重以及所选择的量化参数。
本描述已经解决了一些可能的变体，但是对于本领域技术人员来说显而易见的是，还可以实现其它实施例，其中一些元件可以用其它技术上等同的元件来代替。因此，本发明不限于本文描述的解释性示例，而是可以在不背离如下面的权利要求中所阐述的基本发明构思的情况下经历许多修改、改进或者等同部分和元件的代替。

Claims (18)

1.一种用于编码数字图像和/或视频流的装置(1100)，包括
-输入部件(1170)，被配置用于从源(1000)获取图像(f)的至少一部分，
-输出部件(1180)，被配置用于将编码图像的至少一部分发送到目的地(1195)，
-处理部件(1110，1120，1130，1150，1155，1160)，被配置用于读取所述图像(f)的至少一部分，
-存储器部件(1140)，与处理部件(1110，1120，1130，1150，1155，1160)通信，
其特征在于
存储器部件(1140)至少包含量化参数的集合({Δi})，并且其中处理部件(1110，1120，1130，1150，1155，1160)还被配置用于
-通过最小化考虑了与图像(f)的所述至少一部分相关的图的经变换的系数的成本(Rc)和所述图的描述的成本(RG)的成本函数来确定所述图的权重向量(w*)，其中所述描述的成本(RG)取决于作为放置在对偶图上的信号的所述图的权重的图傅立叶变换，所述对偶图是其中每个节点表示所述图的边的未加权的图，并且所述对偶图的两个节点只有在图中所述节点的对应的边共享公共端点时才被连接，
-通过计算放置在所述对偶图上的权重向量(w*)的图傅立叶变换来生成经变换的权重向量
Figure FDA0003096140940000011
-根据量化参数的所述集合({Δi})的每个元素(Δi)来量化经变换的权重向量
Figure FDA0003096140940000012
以便生成量化的经变换的权重向量的集合
Figure FDA0003096140940000013
-通过与图像(f)的所述至少一部分相关的图的图傅立叶变换，为量化的经变换的权重向量的所述集合
Figure FDA0003096140940000021
的每个量化的经变换的权重
Figure FDA0003096140940000022
计算经变换的系数
Figure FDA0003096140940000023
其中所述图具有所述量化的经变换的权重
Figure FDA0003096140940000024
作为权重，以便生成经变换的系数的集合
Figure FDA0003096140940000025
-根据用于量化其的量化参数(Δi)对量化的经变换的权重向量的集合
Figure FDA0003096140940000026
的每个元素
Figure FDA0003096140940000027
进行去量化，以便生成去量化的经变换的权重向量的集合
Figure FDA0003096140940000028
-针对所述去量化的经变换的权重向量的集合
Figure FDA0003096140940000029
的每个元素
Figure FDA00030961409400000210
基于所述元素
Figure FDA00030961409400000211
和在图傅立叶变换中使用的经变换的系数
Figure FDA00030961409400000212
来计算逆图傅立叶变换，以便获得重构图像样本的集合
Figure FDA00030961409400000213
-针对重构图像样本的集合
Figure FDA00030961409400000214
的每个重构图像样本
Figure FDA00030961409400000215
基于所述重构图像样本
Figure FDA00030961409400000216
和图像(f)的所述至少一部分来计算失真成本，
-选择与具有最低失真成本的重构图像样本
Figure FDA00030961409400000217
相关联的经变换的系数
Figure FDA00030961409400000218
量化的经变换的权重
Figure FDA00030961409400000219
和用于量化所述量化的经变换的权重的量化参数(Δ)，并通过输出部件(1180)发送和/或存储它们
Figure FDA00030961409400000220
2.如权利要求1所述的编码装置(1100)，其中处理部件(1110，1150，1155，1160)还被配置用于
-根据第二量化参数(q)量化经变换的系数的集合
Figure FDA00030961409400000221
的每个元素
Figure FDA00030961409400000222
以便生成量化的经变换的系数的集合
Figure FDA00030961409400000223
-根据第二量化参数(q)对量化的变换系数的集合
Figure FDA00030961409400000224
的每个元素
Figure FDA00030961409400000225
进行去量化，以便生成去量化的变换系数的集合
Figure FDA00030961409400000226
其中用于计算逆图傅立叶变换、基于失真成本选择并通过输出部件(1180)发送的变换系数包含在去量化的变换系数的集合
Figure FDA0003096140940000031
中。
3.如权利要求1或2所述的编码装置(1100)，其中处理部件(1110)还被配置用于
-过滤图像(f)的所述至少一部分，以便至少移除其频率高于阈值的频率分量。
4.如权利要求1或2所述的编码装置(1100)，其中处理部件(1110)还被配置用于
-通过在前
Figure FDA0003096140940000032
个元素处截断权重向量(w*)来减小权重向量(w*)的尺寸，其中M是与图像的所述至少一部分相关的图的边数，以及
-通过输出部件(1180)发送所述权重向量(w*)的原始尺寸。
5.如权利要求1或2所述的编码装置(1100)，其中图像(f)的所述至少一部分是RGB图像的分量。
6.如权利要求1或2所述的编码装置(1100)，其中图像(f)的所述至少一部分是YUV编码彩色图像的亮度分量或在亮度分量与色度分量之间的差。
7.如权利要求1或2所述的编码装置(1100)，其中处理部件(1110)还被配置用于
-在通过输出部件(1180)发送所选择的经变换的系数
Figure FDA0003096140940000033
所选择的量化的经变换的权重
Figure FDA0003096140940000034
以及所选择的量化参数(Δ)之前，借助于熵编码算法压缩它们
Figure FDA0003096140940000035
8.一种用于解码数字图像和/或视频流的装置(1200)，包括：
-输入部件(1280)，被配置用于从通信信道或存储介质(1195)至少获取图像(f)的压缩部分，
-输出视频部件(1270)，被配置用于输出重构图像的至少一部分，
-处理部件(1210，1220，1230)，其与输入部件(1280)和输出视频部件(1270)通信，
其特征在于
处理部件(1210，1220，1230)被配置用于
-通过输入部件(1280)接收经变换的系数
Figure FDA0003096140940000041
量化的经变换的权重
Figure FDA0003096140940000042
以及与所述量化的经变换的权重相关的至少量化参数(Δ)，
-根据所述至少量化参数(Δ)对量化的经变换的权重
Figure FDA0003096140940000043
进行去量化，以便生成去量化的经变换的权重
Figure FDA0003096140940000044
-通过计算所述去量化的经变换的权重
Figure FDA0003096140940000045
的逆图傅立叶变换来确定去量化的重构权重
Figure FDA0003096140940000046
其被认为是放置在对偶图上，所述对偶图是其中每个节点表示与图像(f)相关的图的边的未加权的图，并且所述对偶图的两个节点只有在图中它们的对应边共享公共端点时才被连接，
-通过基于去量化的重构权重
Figure FDA0003096140940000047
和经变换的系数
Figure FDA0003096140940000048
计算逆图傅立叶变换，生成所述重构图像的所述至少一部分，
-通过输出视频部件(1270)，输出所述重构图像的所述至少一部分。
9.如权利要求8所述的解码装置(1200)，其中根据至少第二量化参数(q)量化接收到的经变换的系数
Figure FDA0003096140940000049
其中处理部件(1210，1220)还被配置用于
-根据所述至少第二量化参数(q)对经变换的系数
Figure FDA0003096140940000051
进行去量化，以便生成去量化的经变换的系数
Figure FDA0003096140940000052
-通过基于去量化的经变换的权重
Figure FDA0003096140940000053
和去量化的经变换的系数
Figure FDA0003096140940000054
计算逆图傅立叶变换，生成所述重构图像的所述至少一部分。
10.如权利要求8或9所述的解码装置(1200)，其中处理部件(1210)还被配置用于
-通过输入部件(1280)接收表示量化的经变换的权重
Figure FDA0003096140940000055
的原始尺寸的尺寸值，
-在确定去量化的重构权重
Figure FDA0003096140940000056
之前，通过添加空值来增加量化的经变换的权重
Figure FDA0003096140940000057
的尺寸。
11.如权利要求8或9所述的解码装置(1200)，其中所述重构图像的所述至少一部分是RGB图像的分量，并且其中处理部件(1210，1220)还被配置用于
-基于所述重构图像的所述至少一部分生成所述RGB图像的至少另一个分量。
12.如权利要求8或9所述的解码装置(1200)，其中重构图像的所述至少一部分是YUV编码彩色图像的亮度分量或在亮度分量与色度分量之间的差。
13.如权利要求8或9所述的解码装置(1200)，其中处理部件(1210)还被配置用于
-在对接收到的经变换的系数
Figure FDA0003096140940000058
接收到的量化的经变换的权重
Figure FDA0003096140940000059
以及接收到的量化参数(Δ)进行去量化之前，借助于熵编码算法解压缩它们
Figure FDA0003096140940000061
14.一种用于编码数字图像和/或视频流的方法，包括
-获取阶段，其中借助于输入部件(1170)从源(1000)获取图像(f)的至少一部分，
其特征在于所述方法还包括
-权重向量确定阶段，其中，通过处理部件(1110，1120)，通过最小化考虑了与图像(f)的所述至少一部分相关的图的经变换的系数的成本(Rc)和所述图的描述的成本(RG)的成本函数来确定所述图的权重向量(w*)，并且其中所述描述的成本(RG)取决于作为放置在对偶图上的信号的所述图的权重的图傅立叶变换，所述对偶图是其中每个节点表示所述图的边的未加权的图，并且所述对偶图的两个节点只有在图中所述节点的对应的边共享公共端点时才被连接，
-权重向量变换阶段，其中，通过处理部件(1110，1130，1150)，通过计算放置在所述对偶图上的权重向量(w*)的图傅立叶变换来生成经变换的权重向量
Figure FDA0003096140940000062
-权重向量量化阶段，其中，借助于处理部件(1110，1130，1150)，根据量化参数的集合({Δi})的每个元素(Δi)来量化经变换的权重向量
Figure FDA0003096140940000063
以便生成量化的经变换的权重向量的集合
Figure FDA0003096140940000064
-变换阶段，其中，借助于处理部件(1110，1150)，通过与图像(f)的所述至少一部分相关并且具有所述量化的经变换的权重
Figure FDA0003096140940000065
作为权重的图的图傅立叶变换，为量化的经变换的权重向量的所述集合
Figure FDA0003096140940000066
的每个量化的经变换的权重
Figure FDA0003096140940000067
计算经变换的系数
Figure FDA0003096140940000068
以便生成经变换的系数的集合
Figure FDA0003096140940000069
-去量化阶段，其中，借助于处理部件(1110，1155)，根据用于量化其的量化参数(Δi)对量化的经变换的权重向量的集合
Figure FDA0003096140940000071
的每个元素
Figure FDA0003096140940000072
进行去量化，以便生成去量化的经变换的权重向量的集合
Figure FDA0003096140940000073
-逆变换阶段，其中，通过处理部件(1110，1155)，针对所述去量化的经变换的权重向量的集合
Figure FDA0003096140940000074
的每个元素
Figure FDA0003096140940000075
基于所述元素
Figure FDA0003096140940000076
和在图傅立叶变换中使用的经变换的系数
Figure FDA0003096140940000077
来计算逆图傅立叶变换，以便获得重构图像样本的集合
Figure FDA0003096140940000078
-失真计算阶段，其中，通过处理部件(1110，1160)，针对重构图像样本的集合
Figure FDA0003096140940000079
的每个重构图像样本
Figure FDA00030961409400000710
基于所述重构图像样本
Figure FDA00030961409400000711
和图像(f)的所述至少一部分来计算失真成本，
-选择阶段，其中，通过处理部件(1110，1160)，选择与具有最低失真成本的重构图像样本
Figure FDA00030961409400000712
相关联的经变换的系数
Figure FDA00030961409400000713
量化的经变换的权重
Figure FDA00030961409400000714
和用于量化所述量化的经变换的权重的至少量化参数(Δ)，
-传输阶段，其中，借助于输出部件(1180)，发送和/或存储所选择的元素
Figure FDA00030961409400000715
15.如权利要求14所述的编码方法，还包括：
-系数量化阶段，其中，通过处理部件(1110，1150)，根据第二量化参数(q)量化经变换的系数的集合
Figure FDA00030961409400000716
的每个元素
Figure FDA00030961409400000717
以便生成量化的经变换的系数的集合
Figure FDA00030961409400000718
-系数去量化阶段，其中，通过处理部件(1110，1155)，根据第二量化参数(q)对量化的变换系数的集合
Figure FDA00030961409400000719
的每个元素
Figure FDA00030961409400000720
进行去量化，以便生成去量化的变换系数的集合
Figure FDA00030961409400000721
其中，在逆变换阶段、选择阶段和传输阶段期间使用的变换系数包含在去量化的变换系数的集合
Figure FDA0003096140940000081
中。
16.一种用于解码数字图像和/或视频流的方法，包括：
-接收阶段，其中，通过输入部件(1280)，接收经变换的系数
Figure FDA0003096140940000082
量化的经变换的权重
Figure FDA0003096140940000083
以及量化参数(Δ)，
-去量化阶段，其中，通过处理部件(1210，1220)，根据量化参数(Δ)对量化的经变换的权重
Figure FDA0003096140940000084
进行去量化，以便生成去量化的经变换的权重
Figure FDA0003096140940000085
-权重重构阶段，其中，通过处理部件(1210，1220)，通过计算所述去量化的经变换的权重
Figure FDA0003096140940000086
的逆图傅立叶变换来确定去量化的重构权重
Figure FDA0003096140940000087
所述量化的经变换的权重
Figure FDA0003096140940000088
被认为放置在对偶图上，该对偶图是其中每个节点表示与图像(f)相关的图的边的未加权的图，并且所述对偶图的两个节点只有在图中所述节点的对应的边共享公共端点时才被连接，
-逆变换阶段，其中，通过处理部件(1210，1230)，通过基于去量化的重构权重
Figure FDA0003096140940000089
和经变换的系数
Figure FDA00030961409400000810
计算逆图傅立叶变换，生成重构图像的至少一部分，
-输出阶段，其中，通过输出视频部件(1270)，输出所述重构图像的所述至少一部分。
17.如权利要求16所述的解码方法，其中根据第二量化参数(q)量化在接收阶段期间接收到的经变换的系数
Figure FDA00030961409400000811
其中所述方法还包括：
-系数去量化阶段，其中，通过处理部件(1210，1220)，根据第二量化参数(q)对经变换的系数
Figure FDA00030961409400000812
进行去量化，以便生成去量化的经变换的系数
Figure FDA00030961409400000813
并且其中在逆变换阶段期间，通过处理部件(1210，1230)，通过基于去量化的经变换的权重
Figure FDA0003096140940000091
和去量化的经变换的系数
Figure FDA0003096140940000092
计算逆图傅立叶变换，生成所述重构图像的所述至少一部分。
18.一种计算机可读介质，包括用于执行如权利要求14至15中任一项和/或权利要求16至17中任一项所述的方法的阶段的可执行指令。
CN201780074349.1A 2016-12-02 2017-11-29 用于编码和解码数字图像或视频流的方法和装置 Active CN110024391B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
IT102016000122898 2016-12-02
IT102016000122898A IT201600122898A1 (it) 2016-12-02 2016-12-02 Metodi e apparati per codificare e decodificare immagini o flussi video digitali
PCT/IB2017/057487 WO2018100503A1 (en) 2016-12-02 2017-11-29 Methods and apparatuses for encoding and decoding digital images or video streams

Publications (2)

Publication Number Publication Date
CN110024391A CN110024391A (zh) 2019-07-16
CN110024391B true CN110024391B (zh) 2021-07-30

Family

ID=58545062

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780074349.1A Active CN110024391B (zh) 2016-12-02 2017-11-29 用于编码和解码数字图像或视频流的方法和装置

Country Status (5)

Country Link
US (1) US11122298B2 (zh)
EP (1) EP3549344B1 (zh)
CN (1) CN110024391B (zh)
IT (1) IT201600122898A1 (zh)
WO (1) WO2018100503A1 (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10417364B2 (en) 2017-01-04 2019-09-17 Stmicroelectronics International N.V. Tool to create a reconfigurable interconnect framework
CN108304846B (zh) * 2017-09-11 2021-10-22 腾讯科技（深圳）有限公司 图像识别方法、装置及存储介质
US11693924B2 (en) * 2019-06-06 2023-07-04 Hitachi, Ltd. System and method for maintenance recommendation in industrial networks
US10963188B1 (en) * 2019-06-27 2021-03-30 Seagate Technology Llc Sensor processing system utilizing domain transform to process reduced-size substreams
US11593609B2 (en) 2020-02-18 2023-02-28 Stmicroelectronics S.R.L. Vector quantization decoding hardware unit for real-time dynamic decompression for parameters of neural networks
US11531873B2 (en) 2020-06-23 2022-12-20 Stmicroelectronics S.R.L. Convolution acceleration with embedded vector decompression
CN115618051B (zh) * 2022-12-20 2023-03-21 楠楠聚智信息科技有限责任公司 一种基于互联网的智慧校园监控视频存储方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014007477A (ja) * 2012-06-21 2014-01-16 Research Organization Of Information & Systems 濃淡画像符号化装置及び復号装置
CN104737540A (zh) * 2012-11-13 2015-06-24 英特尔公司 用于下一代视频的视频编解码器架构
CN105336005A (zh) * 2014-06-27 2016-02-17 华为技术有限公司 一种获取目标物体体征数据的方法、装置及终端
WO2016064242A1 (ko) * 2014-10-24 2016-04-28 엘지전자(주) 그래프 템플릿으로부터 유도된 변환을 이용하여 비디오 신호를 디코딩/인코딩하는 방법 및 장치
WO2016076624A1 (ko) * 2014-11-16 2016-05-19 엘지전자(주) 그래프 기반 변환(graph based transform)을 이용한 비디오 신호 처리 방법 및 이를 위한 장치

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7519233B2 (en) * 2005-06-24 2009-04-14 Microsoft Corporation Accumulating transforms through an effect graph in digital image processing
EP2360927A3 (en) * 2010-02-12 2011-09-28 Samsung Electronics Co., Ltd. Image encoding/decoding system using graph based pixel prediction and encoding system and method
US8866845B2 (en) * 2010-03-10 2014-10-21 Empire Technology Development Llc Robust object recognition by dynamic modeling in augmented reality
HUE025960T2 (en) * 2010-04-13 2016-04-28 Ge Video Compression Llc Video coding using multi-tree subdivisions of images
KR20110135787A (ko) * 2010-06-11 2011-12-19 삼성전자주식회사 엣지-적응 변환을 이용한 영상 부호화/복호화 시스템 및 방법
US9418468B2 (en) * 2013-01-07 2016-08-16 Centralesupelec Method and device for elastic registration between a two-dimensional digital image and a slice of a three-dimensional volume with overlapping content
US9619755B2 (en) * 2013-10-23 2017-04-11 Mitsubishi Electric Research Laboratories, Inc. Method for estimating parameters of a graph spectral filter using training data
US9600865B2 (en) * 2014-05-05 2017-03-21 Mitsubishi Electric Research Laboratories, Inc. Method for graph based processing of signals
JP6392453B2 (ja) * 2014-09-26 2018-09-19 エルジー エレクトロニクス インコーポレイティド 幾何要素を用いてグラフに基づく信号を処理する方法及び装置
KR101901355B1 (ko) * 2014-10-21 2018-09-21 엘지전자 주식회사 최적화 함수를 이용하여 그래프 기반 예측을 수행하는 방법 및 장치
JP6592086B2 (ja) * 2014-11-14 2019-10-23 エルジー エレクトロニクス インコーポレイティド 一般化されたグラフパラメータを用いてグラフ基盤変換を行う方法及び装置
US10742988B2 (en) * 2015-02-12 2020-08-11 Lg Electronics Inc. Method and apparatus for processing video signal using graph-based transform
WO2016154366A1 (en) * 2015-03-23 2016-09-29 Arris Enterprises, Inc. System and method for selectively compressing images
WO2016190690A1 (ko) * 2015-05-26 2016-12-01 엘지전자(주) 적응적인 분리가능한 그래프 기반 변환을 이용하여 비디오 신호를 처리하는 방법 및 장치
WO2016195455A1 (ko) * 2015-06-04 2016-12-08 엘지전자(주) 그래프 기반 변환을 이용하여 비디오 신호를 처리하는 방법 및 장치
WO2017010850A1 (ko) * 2015-07-15 2017-01-19 엘지전자(주) 분리 가능한 그래프 기반 변환을 이용하여 비디오 신호를 처리하는 방법 및 장치
WO2017014585A1 (ko) * 2015-07-21 2017-01-26 엘지전자(주) 그래프 기반 변환을 이용하여 비디오 신호를 처리하는 방법 및 장치
WO2017043941A1 (ko) * 2015-09-10 2017-03-16 엘지전자(주) 예측 각도에 따른 그래프 기반 변환을 이용하여 비디오 신호를 처리하는 방법 및 장치
ITUB20153724A1 (it) 2015-09-18 2017-03-18 Sisvel Tech S R L Metodi e apparati per codificare e decodificare immagini o flussi video digitali
KR20180079314A (ko) * 2015-09-29 2018-07-10 엘지전자 주식회사 그래프 기반 리프팅 변환을 이용하여 비디오 신호를 인코딩, 디코딩하는 방법 및 장치
US10715802B2 (en) * 2015-09-29 2020-07-14 Lg Electronics Inc. Method for encoding/decoding video signal by using single optimized graph

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014007477A (ja) * 2012-06-21 2014-01-16 Research Organization Of Information & Systems 濃淡画像符号化装置及び復号装置
CN104737540A (zh) * 2012-11-13 2015-06-24 英特尔公司 用于下一代视频的视频编解码器架构
CN105336005A (zh) * 2014-06-27 2016-02-17 华为技术有限公司 一种获取目标物体体征数据的方法、装置及终端
WO2016064242A1 (ko) * 2014-10-24 2016-04-28 엘지전자(주) 그래프 템플릿으로부터 유도된 변환을 이용하여 비디오 신호를 디코딩/인코딩하는 방법 및 장치
WO2016076624A1 (ko) * 2014-11-16 2016-05-19 엘지전자(주) 그래프 기반 변환(graph based transform)을 이용한 비디오 신호 처리 방법 및 이를 위한 장치

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Graph Fourier transform based on directed Laplacian;Rahul Singh; Abhishek Chakraborty; B.S.Manoj;《2016 International Conference on Signal Processing and Communication (SPCOM)》;20160615;全文 *
Multiresolution Graph Fourier Transform for Compression of Piecewise Smooth Images;Wei Hu; Gene Cheung; Antonio Ortegal; Oscar C. Au;《IEEE TRANSACTION ON IMAGE PROCESSING》;20150131;全文 *

Also Published As

Publication number Publication date
WO2018100503A1 (en) 2018-06-07
US11122298B2 (en) 2021-09-14
US20200228840A1 (en) 2020-07-16
IT201600122898A1 (it) 2018-06-02
EP3549344A1 (en) 2019-10-09
EP3549344B1 (en) 2021-03-03
CN110024391A (zh) 2019-07-16

Similar Documents

Publication Publication Date Title
CN110024391B (zh) 用于编码和解码数字图像或视频流的方法和装置
CN108141592B (zh) 用于编码和解码数字图像或视频流的方法和装置
CN108028941B (zh) 用于通过超像素编码和解码数字图像的方法和装置
US8223837B2 (en) Learning-based image compression
EP3590193B1 (en) Method and apparatus for encoding and decoding digital images or video streams
Gao et al. Block-based compressive sensing coding of natural images by local structural measurement matrix
JP7168896B2 (ja) 画像符号化方法、及び画像復号方法
WO2017023152A1 (ko) 싱글톤 계수 업데이트를 이용하여 변환을 수행하는 방법 및 장치
Fracastoro et al. Predictive graph construction for image compression
Akbari et al. Downsampling based image coding using dual dictionary learning and sparse representations
Naidu et al. A novel framework for JPEG image compression using baseline coding with parallel process
Poolakkachalil et al. Comparative analysis of lossless compression techniques in efficient DCT-based image compression system based on Laplacian Transparent Composite Model and An Innovative Lossless Compression Method for Discrete-Color Images
Hashim et al. Correlated Block Quad-Tree Segmented and DCT based Scheme for Color Image Compression
JP7453561B2 (ja) 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、及びプログラム
Neethu et al. Improved quality of JPEG compressed image using approximate K-SVD algorithm
Ameer Investigating polynomial fitting schemes for image compression
Singh et al. COMPARATIVE STUDIES OF VARIOUS TECHNIQUES FOR IMAGE COMPRESSION ALGORITHM
Kapoor et al. DCT image compression for color images
Florea et al. Computationally efficient formulation of sparse color image recovery in the JPEG compressed domain
CN115880379A (zh) 语义可伸缩图像编码方法、系统、设备及存储介质
Bhardwaj Generalized Digital Pulse Code Modulation and its comparison with other compression schemes
Schmalz Digital Images: Compression
Gao Deblocking and embedded coding in image communication systems
Fore Active-positive leader: Applying James Barber to Theodore Roosevlet's life

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant