CN108141592B - 用于编码和解码数字图像或视频流的方法和装置 - Google Patents

用于编码和解码数字图像或视频流的方法和装置 Download PDF

Info

Publication number
CN108141592B
CN108141592B CN201680060868.8A CN201680060868A CN108141592B CN 108141592 B CN108141592 B CN 108141592B CN 201680060868 A CN201680060868 A CN 201680060868A CN 108141592 B CN108141592 B CN 108141592B
Authority
CN
China
Prior art keywords
image
map
edge
weight
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201680060868.8A
Other languages
English (en)
Other versions
CN108141592A (zh
Inventor
G·弗拉卡斯托罗
E·麦格丽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sisvel Technology SRL
Original Assignee
Sisvel Technology SRL
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sisvel Technology SRL filed Critical Sisvel Technology SRL
Publication of CN108141592A publication Critical patent/CN108141592A/zh
Application granted granted Critical
Publication of CN108141592B publication Critical patent/CN108141592B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H04N19/126—Details of normalisation or weighting functions, e.g. normalisation matrices or variable uniform quantisers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H04N19/463—Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B29—WORKING OF PLASTICS; WORKING OF SUBSTANCES IN A PLASTIC STATE IN GENERAL
    • B29C—SHAPING OR JOINING OF PLASTICS; SHAPING OF MATERIAL IN A PLASTIC STATE, NOT OTHERWISE PROVIDED FOR; AFTER-TREATMENT OF THE SHAPED PRODUCTS, e.g. REPAIRING
    • B29C2948/00—Indexing scheme relating to extrusion moulding
    • B29C2948/92—Measuring, controlling or regulating
    • B29C2948/92009—Measured parameter
    • B29C2948/92209—Temperature
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B29—WORKING OF PLASTICS; WORKING OF SUBSTANCES IN A PLASTIC STATE IN GENERAL
    • B29C—SHAPING OR JOINING OF PLASTICS; SHAPING OF MATERIAL IN A PLASTIC STATE, NOT OTHERWISE PROVIDED FOR; AFTER-TREATMENT OF THE SHAPED PRODUCTS, e.g. REPAIRING
    • B29C2948/00—Indexing scheme relating to extrusion moulding
    • B29C2948/92—Measuring, controlling or regulating
    • B29C2948/92323—Location or phase of measurement
    • B29C2948/92361—Extrusion unit
    • B29C2948/9238—Feeding, melting, plasticising or pumping zones, e.g. the melt itself
    • B29C2948/924—Barrel or housing

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明涉及用于编码和/或解码数字图像或视频流的方法和装置，其中编码装置(1100)包括处理部件(1110)，处理部件(1110)被配置用于读取所述图像(f)的一部分、计算图像的像素值之间的差值、量化这种像素差值以获得经量化的权重图(W)、基于经量化的权重图计算由指示图像的所述部分的对应像素是否是边缘的元素(f'i)组成的边缘图(f')、基于边缘图(f')确定重构的权重图(W')、基于重构的权重图(W')确定图变换矩阵(U)、基于图变换矩阵(U)和图像(f)的所述部分计算变换系数(f^)、发送所计算的变换系数(f^)和边缘图(f')。

Description

用于编码和解码数字图像或视频流的方法和装置
技术领域
本发明涉及用于编码和/解码数字图像的方法和装置；特别是用于借助于所谓的基于图的变换来编码和/解码数字图像的方法和装置。
背景技术
离散余弦变换(DCT)是用于基于块的图像和视频压缩的最常见变换(参见K.Sayood，Introduction to data compression，Newnes，2012)；事实上，DCT是流行的视频编码标准的基础，诸如MPEG-2(用于例如地面和卫星标准清晰度视频广播和DVD存储格式)、H.264/AVC(用于高清晰度视频广播、经IP网络的流传输以及蓝光盘)以及最近标准化的H.265/HEVC(预计在上述场景中取代H.264/AVC)。
DCT的一个主要缺点是，当块包含不连续(discontinuity)时，所得到的变换系数不是稀疏的，并且高频系数可能具有大的量值。这导致较高的位速率或在不连续周围有重建伪像。最近，已经提出了基于图的做法，根据这种基于图的做法，高维度数据自然地驻留在图的顶点上并且它们可以被可视化为定义为图信号的样本的有限集，其中在图的每个顶点处有一个样本(参见D.I.Shuman，S.K.Narang，P.Frossard，A.Ortega和P.Vandergheynst，“The emerging field of signal processing on graphs:Extendinghigh-dimensional data analysis to networks and other irregular domains”，信号处理杂志，IEEE，第30卷，第3期，第83-98页，2013)。在过去的几年中，研究人员已经研究了如何在图域中应用经典的信号处理技术。已经开发出了用于在图域中滤波、平移、调制和下采样的技术。还已经提出了几种图变换(graph transform)，诸如图傅立叶变换(G.Taubin，“A signal processing approach to fair surface design”，计算机图形和交互技术第22届年会论文集，ACM，1995，第351-358页)。
一般而言，虽然已经表明图变换比常规的基于块的变换更高效，但图传输的开销可以轻易地掩盖编码效率的益处。因此，非常重要的是设计出在必须将图传送到解码器时仍然高效的图表示和对应的图变换。
Sandryhaila等人在ICIP 2012论文集中发表的“Nearest-neighbor imagemodel”中提出将图像表示为节点和弧的图，其中确定弧权重以使接收器处的预期失真最小化。但是，这个文章没有教导如何压缩权重图，这导致难以在真实世界环境中应用这种技术。
在美国专利申请No.US 2011/206288A1中，Ortega等人描述了使用基于图的像素预测的图像编码和解码系统。这个文档教导如何通过预测器选择来编码和解码图片，但它没有教导如何压缩权重图，这导致难以在真实世界环境中应用这种技术。
Kim、Narang和Ortega在ICIP 2012论文集中发表的“Graph based transformsfor depth video coding”中提出寻找最佳邻接矩阵并使用基于上下文的自适应二值化算术编码按照固定次序对其进行压缩；但是，他们的文章也没有教导如何压缩权重图，这导致难以在真实世界环境中应用这种技术。
Narang、Chao和Ortega在APSIPA 2013论文集中发表的“Critically sampledgraph-based wavelet transform for image coding”中提出将图像编码为二值化的未加权图并使用尺寸为(2N-1)×(N-1)的JBIG对其进行编码，其中N是原始图像中的像素数量。这种编码方案产生具有高级别的编码噪声的图像，因为二值化的未加权图限制了可以被编码的信息量。
为了更好地理解现有技术的局限性，下面提供基于图的编码-解码图像系统如何工作的简要描述。
根据现有技术的基于图的编码-解码系统的体系架构按照其基本功能单元被示出在图1中。
参考图1，假设图像f(或其块)具有等于
Figure BDA0001631938010000031
的宽度和高度，使得它包括N个像素
Figure BDA0001631938010000032
此外，假设f被编码为每像素8位的灰度级图像，并且f也可以由顶点和弧的图(V，A)表示，其中V是图像的像素，并且A是连接像素的弧，如根据一些适当的标准定义的。描述图像像素的图可以被表示为N×N矩阵(即，具有N2个元素的矩阵)，其被称为权重矩阵，如稍后讨论的。
图1例示了基于图变换的图像编码器150和图像解码器170，其目的在于示出关于权重矩阵W*的传输/存储的当前技术状态的限制。
编码器150至少包括权重图生成单元100、图拉普拉斯(graph Laplacian)单元110和图变换单元120。
权重图生成单元100以所述N像素图像f作为输入，并生成如下所述的那样计算的N×N权重矩阵W*。
为了描述如何计算权重矩阵W*，假设di，j表示图像f的第i个像素fi和第j个像素fj之间在灰度级空间中的距离，例如di，j可以计算为像素fi和fj的值之间的绝对差：
di，j＝|fi-fj|
此外，假设借助于以下公式计算权重矩阵W*的每个元素：
Figure BDA0001631938010000033
结果，如果fi和fj是相似的像素，那么连接像素fi和fj的图弧的权重(即，wi，j)的值将会接近1(“高”弧权重)，而如果fi和fj不相似，那么wi，j将接近0(“低”弧权重)。
图拉普拉斯单元110生成以权重矩阵W*作为输入的变换矩阵U。这个单元被配置用于读取W*并计算具有N×N维度的对角矩阵E，使得其对角线的第i个元素等于如W＊中所描述的进入第i个像素的所有弧的所有权重之和；因此，E以矩阵符号定义，如下所示：
E＝diag(W＊·V1)
Figure BDA0001631938010000041
在已经计算出对角矩阵E的至少一部分之后，该单元计算矩阵L(具有N×N维度)作为对角矩阵E与权重矩阵W＊之间的差，即，矩阵L是W＊的拉普拉斯算子。这个计算步骤以矩阵符号总结，如下所示。
LE-W*
最后，该单元计算被称为变换矩阵的N×N矩阵U，其中U的行是L的特征向量，即，U的行是允许对角化L的向量。
图变换单元120以图像f(其被认为是N×1的向量)和变换矩阵U作为输入，并且经由矩阵乘法来计算N×1个系数向量f^
f^＝U·f
然后，编码器通过带宽受限的信道将变换矩阵U(或者，可替代地，可以用于计算U的权重矩阵W＊)和系数向量f^发送到接收器节点，或者将它们存储在存储器支持上以备后用，例如用于解码目的。
解码器170至少包括图拉普拉斯单元110和逆图变换单元180，逆图变换单元180被配置用于从存储设备或经由通信信道读取权重矩阵W和系数向量f^这两者。为了简单起见，我们假设解码器170可用的W＊和f^均与编码器150生成的W＊和f^完全相同，因为在实际应用中采取了足够的措施来最小化在从编码器到解码器的信息传送期间发生的读/写或信道错误。
在功能上类似于在发送器侧找到的对等部分的图拉普拉斯单元110以权重矩阵W＊作为输入并且如上面针对编码器对等部分所描述的那样生成变换矩阵U。
逆图变换单元180以U和f^作为输入并恢复原始图像f。为了执行这个任务，单元180通过生成N×N逆变换矩阵U-1在内部对矩阵U求逆，在当前情况下，U-1等于转置矩阵UT，因为U由W'的拉普拉斯矩阵的特征向量组成；之后，该单元经由以下被称为逆图傅立叶变换的矩阵乘法来恢复原始图像f：
f＝U-.1·f∧。
显然，这种编码-解码做法需要编码器向解码器传递维度为N2个元素的数量级的权重矩阵W*和维度为N的数量级的系数向量f^。
在现实世界的应用中，通信是在带宽受限的信道上发生的，因此期望f^和W*中的任一者(或两者)可以在它们被置于信道上之前经历一些有效的压缩形式。这同样适用于图像f在容量有限的存储单元上的存储。
关于压缩系数向量f^的问题，其特性使得它可以经由现有的基于熵的编码方案被有效地压缩。相反，权重矩阵W*不能借助于任何现有的压缩技术被有效地压缩，因为其特性不允许有效的压缩。
请注意，在现有技术的描述中，权重矩阵已被命名为W*，因为它与本发明中使用的那些(称为W和W')不同。W*未被量化，并且已经根据数学公式(1)直接从距离矩阵D计算，而没有采用任何特定的加权函数和/或预测技术。它必须被发送，以便允许解码器设备重建原始图像。
发明内容
本发明旨在通过提供用于编码和/或解码数字图像或视频流的方法和装置来解决这些和其它问题。
本发明的基本思想是借助于非线性函数、优选地在对权重矩阵W*的每个元素进行处理(即，映射)之后量化每个元素，并然后发送所谓的“边缘图”代替更繁琐的权重矩阵。这使得可以减少以能够在接收器处恢复权重矩阵的每个元素的方式表示权重矩阵的每个元素所必需的位数。由于一般来说权重矩阵W的值更可能是“高”，即，连接高度相关的像素，因此如果出去的弧中的至少一个具有“低”值，那么将f的每个像素编码为“边缘”值，否则编码为“非边缘”。接下来，权重图可以被编码在预定义尺寸的位的向量上，优选地恰好N位的向量，即，图像的边缘图f'，其表示图像的与不连续邻接的像素。除了能够被表示在N位的向量上，鉴于权重矩阵被表示为向量需要多达N2位，边缘图还表现出适于用现有的熵编码技术(例如，位图压缩)进一步压缩的特性，从而提高了压缩效率。
本发明提供的解决方案使得可以获得质量与通过根据现有技术的解决方案处理的重构图像相当的重构图像，但是位速率要低得多。
另外，本发明利用像素间预测来进一步增加压缩比，这使得图像编码率能够比Ortega等人在前面引用的现有技术文献(“Critically sampled graph-based wavelettransform for image coding”，APSIPA 2013论文集)中提出的做法降低两倍。
附图说明
通过阅读纯粹以非限制性示例的方式提供的附图中所示的实施例的描述，本发明的特性和其它优点将变得清楚，其中：
图1示出了根据现有技术的参考基于图的图像编码-解码系统的框图；
图2示出了例示根据本发明的用于压缩/解压缩数字图像或视频流的装置的框图；
图3示出了用于向量化(序列化)被表示为由边连接的节点的图的图像或图像块的可能方式；
图4示出了3×3像素图像f的三种可能的像素邻接情况；
图5示出了根据本发明的基于图的图像编码-解码系统的框图；
图6示出了用于编码图2中所示的数字图像或视频流的装置的功能；
图7示出了灰度级图像f(图7(a))、如由图2中所示的图编码单元生成的对应的边缘图f'(图7(b))以及恢复的图像f～(图7(c))的示例；
图8和9示出了示例性图像块(图8(a)和9(a))以及相关的由图5中的单元1150在内部产生的权重矩阵W(以图形(图8(b))和文本(图9(b))形式绘出)；
图10示出了用于解码图2中所示的数字图像或视频流的装置的功能；
图11示意性地示出了根据本发明的用于构建边缘图的基于预测的方法图；
图12a和12b示出了例示由图2中所示的图解码单元1120、1320执行的用于从边缘图f'恢复权重矩阵W的计算步骤的流程图；
图13和14示出了图像块(图13(a)和14(a))以及对应的由图解码单元1120、1320恢复的示例性16×16权重矩阵W'(以图形(图13(b))和文本(图14(b))形式绘出)；
图15示出了根据本发明实现的测试编码器-解码器对的性能。
具体实施方式
在本说明书中，对“实施例”的任何引用将表示关于本发明的实现描述的特定配置、结构或特征被包括在至少一个实施例中。因此，可能出现在本说明书的不同部分中的短语“在实施例中”以及其它类似的短语不一定全都指同一个实施例。此外，任何特定的配置、结构或特征可以以任何被认为合适的方式组合在一个或多个实施例中。因此，下面的参考仅仅是为了简单起见，而并不限制各种实施例的保护范围或扩展。
参考图2，用于压缩数字图像或视频流的装置1100(也称为编码装置1100)包括以下部分：
-处理部件1110，如中央处理单元(CPU)，被配置用于执行指令集，以执行根据本发明的用于编码数字图像或视频流的方法(所述方法将在下文中详细描述)；
-存储器部件1140，包含与待压缩的图像相关的数据以及优选地实现根据本发明的用于编码数字图像或视频流的方法的指令，其中图像数据是所述图像的至少一部分的表示并且优选地采用二进制格式，并且其中所述存储器部件1140还可以包含执行所述方法的指令的结果；
-图解码单元1120，其被配置用于执行根据本发明的用于解压缩数字图像或视频流的方法的阶段；特别地，这个单元被配置用于恢复权重矩阵W'，然后将其存储在存储器部件1140中；
-图拉普拉斯单元1130，其被配置用于从存储器部件1140提取所恢复的权重图W'、计算特征向量U并且将所述特征向量U存储在存储器1140中；
-图编码单元1150，其被配置用于从存储器提取原始图像f、执行根据本发明的用于编码数字图像或视频流的方法的阶段(在图6中示出)，并且将所得到的边缘图f存回到存储单元1140中；
-DFT(离散傅立叶变换)单元1160(也称为图变换单元)，其被配置用于从原始图像和在矩阵U中包含的特征向量开始计算变换系数f^；
-输入部件1170(例如，I/O部件)，其可以由CPU 1110配置为从(视频)源1000读取待处理的图像或视频流；这种输入部件可以例如包括根据以下标准中的至少一种的适配器：USB、火线、RS232、IEEE 1284、以太网、Wi-Fi等；
-输出部件1180(例如，网络或存储适配器)，其可以由CPU 1110配置为通过通信信道将处理结果发送到目的地1200(例如，存储介质、远程客户端等)；这种输出部件可以例如包括根据以下标准中的至少一种的适配器：以太网、SATA、SCSI等；
-通信总线1190，其允许CPU 1110、图解码单元1120、图拉普拉斯单元1130、存储器部件1140、图编码单元1150、DFT单元1160、输入部件1170以及输出部件1180之间的信息交换。
作为使用通信总线17的替代，CPU 1110、图解码单元1120、图拉普拉斯单元1130、存储器部件1140、图编码单元1150、DFT单元1160、输入部件1170以及输出部件1180可以借助于星形体系架构相连接。
视频源1000可以是实况图像的提供者(诸如相机)，或者是存储内容的提供者(诸如盘或其它存储装置和记忆设备)。中央处理单元(CPU)1110负责在由装置1100执行的编码处理中激活单元1120、1130、1150、1160执行的适当操作序列。这些单元可以借助于专用硬件部件(例如，CPLD、FPGA等)实现，或者可以通过由CPU 1110执行的一个或多个指令集实现；在后一种情况下，单元1120、1130、1150、1160只是逻辑(虚拟)单元。
当装置1100处于操作状况时，CPU 1110首先从视频源提取图像并将其加载到存储器单元1140中。接下来，CPU激活图编码单元1150，图编码单元1150从存储器提取原始图像f、执行根据本发明的用于编码图像或视频流的方法的阶段(参见图6)，并将所得到的边缘图f存回到存储器单元1140中。
然后，CPU激活图解码单元1120，图解码单元1120从存储器1140提取边缘图f'、执行根据本发明的用于解码图像或视频流的方法的阶段(参见图10，其在本说明书的下文中被描述)并将恢复的权重矩阵W'存储在存储器1140中。接下来，CPU激活图拉普拉斯单元1130，图拉普拉斯单元1130从存储器提取恢复的权重图W'、计算特征向量U并将它们存储到存储器1140中。在这个时候，CPU可以从存储器中丢弃恢复的权重矩阵W'，因为在编码器侧1100不再需要。随后，CPU激活DFT单元1160，DFT单元1160从存储器提取特征向量U并计算存储在存储器单元1140中的傅立叶变换系数f^的矩阵。在这个时候，CPU可以从存储器中丢弃特征向量U，因为在编码器处不再需要。最后，CPU从存储器提取边缘图f'和变换系数f^，并将它们放入信道或将它们保存到存储介质1200中。
还参考图2(b)，用于解压缩数字图像或视频流的装置1300(也称为解码装置1300)包括以下部分：
-处理部件1305，如中央处理单元(CPU)，被配置用于执行实施根据本发明的解码数字图像或视频流的方法(所述方法将在本说明书的下文中详细描述)的指令集；
-存储器部件1340，包含与接收到的压缩图像相关的数据以及优选地实现根据本发明的用于解压缩数字图像或视频流的方法的指令，其中图像数据是所述图像的至少一部分的表示并且优选地是二进制格式，并且其中所述存储器部件1140还可以包含执行所述方法的指令的结果；
-图解码单元1320，与编码装置1100的图解码单元1120类似，并且被配置用于执行根据本发明的用于解压缩数字图像或视频流的方法的阶段；特别地，这个单元被配置用于恢复权重矩阵W'并然后将其存储到存储器部件1340中；
-图拉普拉斯单元1330，类似于编码装置1100的图拉普拉斯单元1130，并且被配置用于从存储器部件1340提取恢复的权重图W'、计算特征向量U并将所述特征向量U存储在存储器中1340；
-IDFT(逆离散傅里叶变换)单元1310，被配置用于从存储器1140提取特征向量U，并且对系数f^进行变换以恢复图像f；
-输出视频部件1370，如视频适配器，其可以由CPU 1110配置为优选地在显示器1400上再现和/或输出经处理的(解码或解压缩的)图像或视频流；所述输出视频部件可以例如包括根据以下标准中的至少一种的适配器：VGA、S-视频、HDMI、以太网等；
-输入部件1380(例如，网络或存储适配器)，其可以由CPU 1110配置为从通信信道或存储介质1200读取已编码的图像或视频流；所述输入部件1380可以例如包括根据以下标准中的至少一种的适配器：以太网、SATA、SCSI等；
-通信总线1390，其允许CPU 1305、图解码单元1320、图拉普拉斯单元1330、存储器部件1340、输出视频部件1370和输入部件1380之间的信息交换。
作为使用通信总线1390的替代，CPU 1305、图解码单元1320、图拉普拉斯单元1330、存储器部件1340、输出视频部件1370以及网络或存储适配器1380可以借助于星形体系架构相连接。
就像对于前面描述的编码装置1100，解码装置1300的CPU 1305也负责在由装置1300执行的解码处理中激活由单元1310-1330执行的适当操作序列。这些单元可以借助于专用硬件部件(例如，CPLD、FPGA等)实现，或者可以通过由CPU 1110执行的一个或多个指令集实现；在后一种情况下，单元1310-1330仅仅是逻辑(虚拟)单元。
当装置1300处于操作状况时，CPU首先从信道或存储介质1200提取已编码的边缘图f'和变换系数f^，并将它们加载到存储器单元1340中。然后，CPU激活图解码单元1320，图解码单元1320从存储器提取边缘图f'、执行根据本发明的用于解压缩图像或视频流的方法的阶段(参见图10)，并将恢复的权重矩阵W'存储到存储器部件1340中。随后，CPU 1305激活图拉普拉斯单元1330，图拉普拉斯单元1330从存储器1340提取恢复的权重图W'、计算特征向量U，并将它们存储在存储器部件1340中。在这个时候，CPU可以从存储器丢弃恢复的权重矩阵W'，因为在解码器侧不再需要。接下来，CPU激活逆DFT单元1360，逆DFT单元1360从存储器1140提取特征向量U和变换系数f^并恢复图像f，将图像f存储在存储器单元1340中。最后，CPU可以从存储器提取恢复的图像f并借助于视频适配器1370将其发送到显示单元1400。
应当注意的是，附图中描述的编码和解码装置可以如何由CPU控制以在内部以流水线方式操作，从而使得能够减少处理每个图像所需的总时间，即，通过在相同的时间执行更多的指令(例如，使用多于一个CPU和/或CPU核心)。
还应当注意的是，在信道上发送编码设备1100的输出数据或者将编码设备1100的输出数据存储在存储单元上之前，可以对它们执行许多其它操作，如调制、信道编码(即，错误保护)。相反，在对解码设备1300的输入数据进行有效处理之前，可以对它们执行相同的逆操作，例如，解调和纠错。那些操作与体现本发明无关，因此将被省略。
此外，图2中所示的框图仅具有示例性质；它们允许理解本发明如何工作以及可以如何由本领域技术人员实现。他/她理解这些图表就其中示出的功能、相互关系和信号可以以许多等同的方式布置而言具有非限制性含义；例如，看起来由不同逻辑块执行的操作可以通过硬件和软件资源的任意组合来执行，所述硬件和软件资源也是用于实现不同或全部块的相同资源。
现在将详细描述编码处理和解码处理。
编码
为了示出编码处理如何发生，假设待处理的图像f优选地为灰度级图像，其中每个像素被编码在8位上，使得所述像素的值可以借助于范围在0和255之间的整数值表示(参见图8(a)和图9(a)中示出的示例图f，其中后者示出图7的4×4子集)。
还参考图3，图像f借助于N×1的向量表示，其中第i个元素优选地与以光栅扫描次序计数的图像f中的第i个像素对应；因此，图3示出了从二维矩阵或图形式(图3(a))开始向量化图像块表示的可能方式，其中节点表示像素并且弧表示水平和垂直邻接，并且其中块具有正方形形状并且N被假设为16。每个第n个像素(节点)根据从1到16的光栅扫描次序被编号并且被变换在图像向量f的第n个元素中(图3(b))。因此，例如，在本发明的实施例中，像素6(f6)被认为仅与像素2(f2)、5(f5)、7(f7)和10(f10)邻接，而像素13(f13)与像素9(f9)和14(f14)邻接。
还参考图4，现在更详细地描述在本发明的优选实施例中什么被认为是邻接。
在图4(a)中，参考像素(黑色)位于图像的中心，并且在顶部、左侧、底部和右侧具有四个邻接(深灰色像素)，而在本发明的实施例中，其余四个像素(浅灰色)优选地不被认为是参考像素的邻接。通过使用这种邻接结构，即，其中每个像素是图的顶点并连接到其4个连接的近邻中的每个近邻的正方形网格，可以有利地简化特征向量的确定，因为已经证明，当图是4连接网格并且所有四个边具有相同权重时，2D DCT基函数是图拉普拉斯算子的特征向量，因此变换矩阵U可以是2D DCT矩阵。以这种方式，可以降低执行根据本发明的编码和解码方法的计算复杂度，使得可以增加处理后的图像或视频流的质量。
在图4(b)中，参考像素(黑色)位于图像的边界上并且被认为在顶部、底部和右侧具有三个邻接(深灰色像素)；在本发明的实施例中，其余五个像素(浅灰色)不被认为是参考像素的邻接。
在图4(c)中，参考像素(黑色)位于图像的一角并且被认为在底部和右侧具有两个邻接(深灰色像素)；在本发明的实施例中，其余六个像素(浅灰色)不被认为是参考像素的邻接。
还参考图5，现在描述编码装置1100的不同部分如何交互以压缩数字图像或视频流。如上面已经描述的，编码装置1100至少包括图编码单元1150、图解码单元1120、图拉普拉斯单元1130和图变换单元1160。
还参考图6，图编码单元1150优选地包括以下(物理或逻辑)部分：
-距离计算单元305，被配置用于计算像素之间的距离；
-距离量化单元315，被配置用于基于量化信息来量化基于像素之间的距离计算出的弧的权重的值；
-非线性加权单元325，被配置用于将弧的权重的量化值从距离域映射到权重域；
-边缘预测单元335，被配置用于基于映射在第二域中的弧的权重来确定边缘图；
-孤立边缘去除单元350，被配置用于删除没有近邻边缘的边缘。
距离计算单元305处理图像f并产生距离的矩阵D，其中每个元素di，j是图/块f的第i个和第j个节点/像素之间在像素空间中的绝对距离，即，di，j＝|fi-fj|。例如，假设图像被编码为8位的灰度级图像，如图7(a)中所绘出的，任何一对像素之间的距离将在[0,255]区间的范围内。f的所有像素对(fi，fj)之间的距离被表示为N×N矩阵，我们称之为距离矩阵并在下面表示为D，其中di，j指示像素fi和fj之间的距离，如上所述。因为距离是对称的(即，di，j＝dj，i)，所以矩阵D将是对称的。因为节点和该节点本身之间的距离是0，所以矩阵D将在对角线上具有零值，即，对于j＝i，di，j＝0。为了本发明的目的，我们感兴趣的是只计算第i个像素与它的顶部、底部、右侧和左侧的第j个邻接像素(如果有的话)之间的距离，在下文中我们将其称为邻接；否则，我们假设所有其它距离都表示为无穷。如上面已经描述的，图4(a)-(c)取决于像素在图像内的位置示出了像素的不同的可能邻接。更详细地说，矩阵D的对角线的零值和未连接节点之间的无穷值都可以在计算中被忽略，因为它们对于本发明的目的而言并不重要。这些距离值被命名为“不关心的值”。
距离量化单元315处理距离矩阵D并在输出中产生N×N量化距离矩阵D'。量化单元使得能够减少表示距离矩阵的每个元素所需的位数，这是获得图像f的带宽高效表示的关键步骤，从而可以增加被处理的数字图像或视频流的质量。
对应的距离矩阵D的每个元素(非“不关心”)需要至多8位来表示：量化单元的目标是减少这种表示所需的空间。实验证据表明，距离di，j的分布遵循拉普拉斯分布，因此它们应当经由适当的量化器量化。申请人发现，借助于具有统一阈值和过载区域的量化器，可以实现意想不到的压缩结果。
期望的输出位的数量驱动量化距离矩阵D'的速率与质量之间的折衷。我们的实验证据表明，一位(即，两个可能的输出值)足以实现距离矩阵D'的紧凑但信息量大的表示。因此，下面我们考虑量化，其中d′i，j可以仅仅在两个级别上表示，即，只有一位；因此，量化距离d′i，j可以采取分别由符号'd'和'D'识别的“低”或“高”值，其中d和D都是正实数并且D>d。
关于过载阈值参数，我们的实验揭示，编码器-解码器链的总效率与这种参数在很大程度上不相关：在下文中，我们假设这种参数在20～30的范围内。量化器的输出是N×N的量化距离矩阵D'，其中每个距离d′i，j等于“d”或“D”符号，以及将每个输出符号(在我们的示例中为“d”和“D”)映射到实数值域中的实际值的表格。当d′i，j＝d(即，“低”值)时，意味着两个邻接的像素fi和fj是相似的并且它们之间没有(尖锐的)不连续。否则，当d′i，j＝D(即，“高”值)时，意味着两个邻接的像素fi和fj不相似并且它们之间可能存在不连续(例如，图像中两个物体之间的边缘界)。
总之，处理装置1110优选地被配置用于通过基于量化信息将权重图的每个元素映射到仅两个可能的符号来计算边缘图f'，其中所述量化信息包括阈值和分别与所述两个符号相关联的值。
量化器将与量化器输出符号关联的实际值估计为使量化器的输入与输出之间(即，权重图W与经量化的差值之间)的平方重构误差最小化的那些值。
要注意的是，在量化期间图结构未改变，即，没有发生如下情况：由于将连接两个像素的弧的权重设置为“不关心”，两个节点变为断开连接。以这种方式，可以在接收器侧恢复高质量的权重图。
最后，量化单元315在输出中产生N×N的量化弧权重矩阵，其中未被编码为“不关心”的那些元素各自被编码在一个位上。
非线性加权单元325接收量化距离矩阵D'作为输入并生成根据某个相逆且非线性的函数加权的N×N的距离矩阵W。连接图的两个节点的弧的权重在概念上是两个节点之间的距离的逆。因此，加权函数必须是相逆类型，以便将低的距离映射到高的权重并将高的距离映射到低的权重。相对于我们考虑的图应用，即，表示两个像素是否属于同一个平滑区域，期望加权函数也是非线性的。
非线性函数实际上具有使输入朝着所考虑的动态范围的较低端和较高端极化的期望特性，即，它们倾向于更好地强调两个像素是否属于相同的平滑区域。几个函数可以用来确定弧的权重，其中有高斯函数(L.J.Grady和J.R.Polimeni，“Discrete calculus：Applied analysis on graphs for computational science”，Springer，2010)，其定义如下
Figure BDA0001631938010000161
以及柯西函数，其定义如下
Figure BDA0001631938010000162
这两个函数都具有相逆关系和非线性的所需特性。但是，根据我们的实验，对于压缩图像能量，柯西函数产生最佳结果。要注意的是，柯西函数在输入中需要α参数：我们将这种参数设置为等于D'矩阵中元素的标准偏差。
所得到的权重矩阵W使得每个重要元素可以等于我们指示为m的“低”值和我们指示为M的某个“高”值，即，wi，j＝m或wi，j＝M。当Wi，j＝M时，意味着两个邻接的节点/像素fi和fj是相似的并且它们之间没有(尖锐的)不连续，即，它们属于同一个平滑区域。否则，当wi，j＝m时，意味着两个邻接的节点/像素fi和fj不相似并且它们之间可能存在不连续，即，它们不属于同一个平滑区域。
还参考图8和9，图8(a)和9(a)示出了属于图7(a)中的原始图像的同一个4×4像素块，而图8(b)和9(b)示出了对应的16×16权重矩阵W。图8(a)和9(a)中的块被从左下角到右上角的对角不连续穿过。图9(b)中的对应权重矩阵使得不关心元素“-”对应于不连接的节点，“m”元素表示“低”弧权重(即，不相似的像素)，并且“M”元素表示“高”权重(即，“相似”的像素)。
图8(b)示出了基于作为单元305的输入给出的4×4图像块，由单元325在内部产生的16×16权重矩阵W的示例。连接不相似的像素的弧具有“低”权重m，而连接相似的像素的弧具有“高”权重M。例如，图8(a)中的f13和f14由对角线不连续隔开：结果是对应的权重w13，14被设置为m值。相反，例如，f1和f2属于同一个平滑区域，并且不被任何不连续穿过，因此对应的弧权重w1，2被设置为M权重。应当注意的是，W矩阵的每一行或每一列具有最多4个非空的元素，因为只有与原始图像块的像素的顶部、左侧、底部和右侧邻接对应的弧才可以有权重。
必须注意的是，作为从距离矩阵推导权重矩阵的示例提到的函数在前者的值与后者的值之间建立了紧密且一对一的关联。因此，从两个矩阵中的一个矩阵可导出的任何信息都可以在加以必要的变通的情况下从另一个矩阵中导出，只要考虑由变换中采用的函数引入的修改，即，将高的距离转换为低的权重，等等。特别地，本发明的边缘图可以直接从距离矩阵或者从权重矩阵导出；在本说明书中，仅为了简单起见而仅详细描述了第二种情况。
边缘预测单元335以N×N权重矩阵W作为输入并产生图像f的N×1二值化边缘图，其在下文中被命名为f'。边缘图f'使得每个像素被标记为边缘(下文中的“b”标记“黑色”)或者非边缘(下文中的“w”标记“白色”)；以这种方式，可以利用邻接的像素之间的空间预测。在以下描述中，f'的第i个像素被指示为f'i。
下面描述用于从权重矩阵W开始计算边缘图f'的方法。
首先，单元检查矩阵W中连接像素/节点fi与其底部邻接的弧是否等于m，即，单元检查是否wi，j＝m。其次，单元检查矩阵W中连接像素/节点fi与其右邻接fj的弧是否等于m，即，单元检查是否wi，j＝m，其中j使得wi，j是连接fi与其右邻接fj的弧的权重。如果两项检查中的至少一项成功，则单元标记f′i以指示它是边缘像素，即，f′i＝b；否则，单元标记f′i以指示它是非边缘像素，即，f′i＝w。
孤立边缘去除单元350删除边缘图f'中存在的不具有近邻边缘像素的边缘像素，以产生更平滑的二值化图像(因此其更容易被压缩)，使得装置可以处理具有更高质量的数字图像和/或视频流。即，对于边缘图f'中的每个f′i像素，边缘去除单元350计数多少个近邻像素具有边缘类型。我们回想一下，如果我们认为近邻是最近的水平、垂直和对角线像素，那么图像中的每个像素如果位于图像的四个角落之一处则具有三个近邻，如果位于图像的除角落之外的四个边界之一上则具有五个近邻，并且对于其余情况具有八个近邻。因此，单元计数像素f′i在图中具有多少个边缘近邻：如果这个计数低于某个阈值t值，那么将f′i设置为非边缘值。申请人的实验显示最佳阈值t取决于针对压缩所考虑的图像块的实际尺寸：越小的块需要越低的阈值。例如，我们的实验显示，对于32×32像素的块，孤立像素去除的合理阈值等于t＝10个像素。在本描述中，术语“邻接”和“近邻”元素是同义词，而在某个计算中被认为邻接与否在每个上下文中明确地指定。
还参考图10和12a、12b，编码装置1100的图解码单元1120以N×1二值化边缘图f'作为输入并产生N×N重构的权重矩阵W'作为输出。
对于f'的每个元素执行图12a、12b中所示的除初始化步骤610之外的所有计算步骤，该初始化步骤610被执行一次并且涉及整个重构的(或“预测的”)权重矩阵W'。
典型地，在只有两个可能的弧权重的情况下，权重矩阵W中绝大多数弧将具有“高”弧权重，这意味着它连接的两个像素是相似的；相反，只有少量的弧将具有“低”弧权重，这指示由弧连接的两个像素之间存在不连续。
还参考图11，示意性地示出了用于构建基于预测的图的方法。每个节点表示图像的一个像素，并且节点表示解码器接收到的二值化(黑色或白色)边缘图像素：黑点是边缘像素，白点是非边缘像素。表示图像的图以光栅扫描次序被扫描，并且由图解码单元1120接收N个白色/黑色节点的向量。图解码单元1120通过基于所发送的边缘/非边缘值预测不连续来恢复图权重的原始矩阵。点线表示在图解码单元1120处重构的图像不连续。矩阵W中的弧权重根据不连续来设置；线条较粗的弧具有较高权重，线条较细的弧具有较低权重。
特别参考图11(a)，如果当前第i个像素fi500是边缘像素，如右侧的邻接像素505，而底部的邻接像素510不是，那么预测在像素500和510之间存在水平不连续，如点线所示。相反，参考图11(b)，如果当前第i个像素fi500是边缘像素，并且如果底部的邻接像素510'是如像素505那样的边缘像素，而右侧的邻接像素505'不是，那么预测在像素500和505'之间存在垂直不连续，如点线所示。最后，参考图11(c)，如果当前第i个像素fi500是边缘像素但是底部的邻接像素510”和右侧的邻接像素505”都不是如像素505那样的边缘像素，那么预测在像素500与像素505”和510”之间存在对角线不连续，如点线表示。
图解码单元1120以光栅扫描次序独立地处理N-像素的边缘图f'中的每个第i个像素并恢复N×N-节点权重图W'。回想一下，取决于特定的边缘图f'，W'的每个非空元素假设是“高”值M(即，w′i，j＝M)或者“低”值m(即，w′i，j＝m)。还回想当w′i，j＝M时，这意味着原始图像f中的像素fi和fj属于同一个平滑区域，即，它们不被任何不连续分开。相反，当W′i，j＝m时，原始图像f的像素fi和fj属于两个不同的区域，即，它们被不连续分开。图编码单元1150还向图像解码单元1120传达“低”权重m和“高”权重M的实际值W′i，j＝m，例如作为边缘图f'的辅助信息，使得解码单元1120能够正确地恢复W'。
我们回想一下，所恢复的权重矩阵W'以及原始权重矩阵W是稀疏的，因为仅为2、3或4个邻接像素定义了权重(参见图14)；除了每个像素的上、下、右和左(如果有的话)之外，依赖于矩阵的对角线，矩阵的未定义权重可以被设置为0。
还参考图12a、12b，作为开始的初始化步骤，图解码单元1120设置为“高”值，即，对于根据定义不等于“不关心”的所有元素，它设置W′i，j＝M(步骤605)。
首先，对于从i＝1开始的每个f′i像素(步骤610)，单元检查它是否被标记为“边缘”像素(步骤615)。如果不是这种情况，那么像素计数器递增(步骤620)并且处理边缘图的下一个元素。否则，图解码单元计数f′i的多少水平近邻(步骤630中称为Nhor)被标记为边缘：如果这种计数大于0，那么W'中表示f′i与其底部邻接f′j之间的连接的弧权重(被命名为垂直w′i，j)被设置为“低”值，即，w′i，j＝m(步骤640)。这是例如图11(a)中绘出的f'的情况，其中边缘像素500在像素505中具有边缘邻接并且通过水平不连续与非边缘像素510分开。
其次，单元计数f′i有多少个垂直邻接(在步骤650中被称为Nver)被标记为边缘：如果这种计数大于0，那么连接fi与其右邻接fj的弧权重(被命名为水平w′i，j)被设置为“低”值，即，w′i，j＝m(步骤660)。这是例如图11(b)中所描绘的f'的情况，其中边缘像素500在像素510'中具有边缘邻接并且通过垂直不连续与非边缘像素505'分开。
最后，如果f'的第i个像素f′i的水平和垂直邻接的数量都等于0(步骤670)，那么连接fi与其右侧和底部邻接fj的弧权重w′i，j都分别设置为“低”值，即，对于这两个相关的邻接都有wi，j＝m(步骤680)。这是在图11(c)中绘出的边缘图f'中发生的情况，其中边缘像素500没有边缘邻接，并且通过对角线不连续与非边缘像素505”和510”分开。在步骤620，计数器i在每次迭代时递增；当它变得大于f'的元素数量(假定为N)时(步骤625的验证)，W'的重构过程结束。
由于f'最初根据原始权重矩阵W计算的方式，证明W'是W的紧密近似，这最终使得接收器能够重构原始f的紧密近似，详见后文。
编码器装置1100的图拉普拉斯单元1130以权重矩阵W'作为输入并生成N×N变换矩阵U。
首先，单元从W'计算N×N对角矩阵E，使得其对角线的第i个元素等于进入第i个像素的所有弧的所有权重之和，如W'中所述。
其次，单元计算N×N矩阵L＝E-W'，其中L是W'的图拉普拉斯算子。
最后，单元计算被称为变换矩阵的N×N矩阵U，其中U的行是L的特征向量，即，U的行是允许对角化L的转置向量。
编码装置1100的图变换单元1160以原始图像f和变换矩阵U作为输入，并且经由矩阵乘法来计算N×1系数向量f^
f^＝U·f。
因此，编码器的输出主要由边缘图f'和系数向量f^组成，它们与指定要被恢复到权重矩阵W'中的实际“m”和“M”数值的表一起被输送到解码器，例如通过信道或存储单元1200，如图2和5中所示。
如上面已经描述的，图9示出了属于图7(a)中的原始图像的4×4像素块(图9(a))以及对应的16×16权重矩阵W(图9(b))；图9(a)中的块被从左下角到右上角的对角线不连续穿过。图9(b)中的对应权重矩阵使得：不关心元素“-”对应于不连接的节点，“m”元素表示“低”弧权重(即，不相似的像素)，而“M”元素表示“高”权重(即，“相似”的像素)。
例如f2(图像块的像素f1，2，即，位于图像块的第一行第二列中的像素)与f6(块的像素f2，2)在灰度级空间中具有低的距离；因此W矩阵的W2，6元素被设置为高值“M”，参见图9(b)中圈出的值；当然，对称的值W6，2也取相同的值M。
参考图13和14，图13(a)和14(a)示出了与在编码装置1100处或者在解码装置1300处由图解码单元恢复的16×16重构(或“预测”)权重矩阵W对应的4×4像素块。图13(b)中的重构权重矩阵W'由图解码单元1120基于边缘图f'恢复；与图8(b)中的原始权重矩阵W的比较示出了由于图编码单元1150执行的权重矩阵W到边缘图f'的编码而引起的重构误差。例如，图13(b)示出了w′3,7＝m，而图8(b)示出了W3，7＝M，使得f3(图像块的像素f1，3)和f7(图像块的像素f2，3)之间的弧的权重从(正确的)“高”(M)变到(错误)“低”(m)。如上面已经提到的，图13(a)中的重构块也是解码装置1300的输出，并且与图8(a)中的原始块的比较示出了由于编码引起的伪像。但是，应当注意的是，所提出的压缩方法如何保留穿过块的不连续。
综上所述，根据本发明的用于编码数字图像或视频流的方法包括以下阶段：
-接收阶段，其中借助于输入部件1170接收图像f的至少一部分；
-权重图计算阶段，其中通过由处理部件1110计算图像f的所述部分的每个像素的值与同一部分的其它像素的每个值之间的差值，由单元1150在本地确定权重图W；
-边缘图计算阶段，其中由处理部件1110、1120通过基于量化信息量化用于确定权重图W的像素差值来计算边缘图f'，其中边缘图f'由指示图像的所述至少一部分的对应像素是否是边缘的元素f'i组成，其中每个所述元素基于与对应于该元素的图像像素和邻接对应于该像素的图像像素的至少一个图像像素相关联的经量化的像素差值而被标记为边缘“b”或非边缘“w”；
-权重图恢复阶段，其中由处理部件1120处理边缘图f'，以确定近似(重构)的恢复的权重图W'；
-图变换矩阵计算阶段，其中借助于处理部件1110基于所述重构的权重图W'来确定图变换矩阵U，例如，恢复的权重图W'的特征向量(即，变换矩阵U)是借助于处理部件1110确定的(在这种情况下，这个阶段也可以被称为“特征向量计算阶段”)；
-变换系数计算阶段，其中借助于处理部件1110基于所述图变换矩阵U(例如，恢复的权重图W'的特征向量)和图像f的所述部分来确定变换系数f^。
最后，可以借助于输出部件1180发送和/或存储边缘图(f')和变换系数。
解码
参考图5，解码器1300包括图解码单元1320、图拉普拉斯单元1330和逆图变换单元1330。
解码器装置1300的图解码单元1320类似于编码装置1100的图解码单元1120。我们回想一下，该单元以边缘图f'作为输入并输出N×N重构的近似权重矩阵W'。
解码装置1300的图拉普拉斯单元1330类似于编码装置1100的图拉普拉斯单元1130，以权重矩阵W'作为输入，并且产生N×N变换矩阵U作为输出。
首先，该单元从W'计算N×N对角矩阵E，使得其对角线的第i个元素等于如W'中所述的进入第i个像素的所有弧的所有权重之和。其次，该单元计算N×N矩阵L＝E-W'。
最后，逆图变换单元1310以变换矩阵U和系数向量f^作为输入，并恢复原始N×1图像f(的近似重构)，我们将其表示为f～。首先，单元转置矩阵U，从而生成N×N矩阵UT。然后，该单元经由矩阵乘法恢复原始图像f
f～＝UT·f^
图7(c)示出了恢复的图像f～的示例：与图7(a)的比较显示了由原始图像的压缩和解压缩产生的重构伪像。
综上所述，根据本发明的用于解码数字图像或视频流的方法包括以下阶段：
-接收阶段，其中借助于输入部件1380接收变换系数f^和边缘图f'；
-权重图重构阶段，其中借助于处理部件1320基于所述边缘图f'确定(重构的)权重图W'；
-逆图变换矩阵计算阶段，其中借助于处理部件1320基于所述重构的权重图(W')确定逆图变换矩阵U-1，例如，所述重构的权重图W'的特征向量(即，变换矩阵U)是借助于处理部件1320确定的(在这种情况下，这个阶段也可以被称为“特征向量计算阶段”)；
-图像重构阶段，其中借助于处理部件1310基于变换系数f^和所述逆图变换矩阵U-1(例如，恢复的权重图W'的特征向量)来确定至少重构的图像f～。
最后，可以借助于输出视频部件1370输出重构的图像f～。
性能测试
参考图15，将要讨论由申请人进行的性能测试的结果。在这个测试中，已经评估了根据本发明实现的编码器-解码器对。
特别地，图15(a)按照非线性加权单元325中采用的加权函数(即，高斯函数和柯西函数)，示出了图变换的性能。即，该图示出了在系数向量f^的前n个元素中保留的能量百分比。越陡峭的曲线指示将信息压缩成越低位数的越好的能力，因此具有越好的压缩特性。该图显示柯西函数在较低数量的系数中压缩相同量的能量，这意味着就本发明的目的而言它具有比高斯函数更好的压缩性能。
图15(b)按照距离量化单元315中使用的量化区间(quantization bin)的数量示出了图变换的性能。如同图15(a)，图15(b)示出了在系数向量f∧的前n个元素中保留的能量百分比。未量化的权重曲线表示所提出的发明的性能的上限，并且与如图1中例示的参考体系架构中所示的将W*矩阵发送到解码器的理想情况对应，其中矩阵的每个元素以浮点类型(其需要32位(4字节)进行表示)表示。
当距离量化单元315分别在3和1位上量化每个w′i，j时，经量化的权重(八个值)和经量化的权重(两个值)表示图2和5中所示并在本发明中提出的体系架构的性能。在这个配置中，经量化的权重由非线性加权单元325使用非线性柯西函数来处理，但是W矩阵不经历任何形式的通过预测的压缩，即，编码装置1100向解码装置1300发送或传送由单元325生成的W矩阵。这两条曲线与未量化的权重曲线的比较使得能够评估由于权重矩阵的单一量化而引起的性能损失。可以看到，当W矩阵的每个元素仅用1位而不是未量化的权重曲线的32位来表示时，压缩能量的能力方面的性能损失是最小的，即，W表示率的减少超过90％。
最后，“经量化的权重(两个值)和边缘预测”曲线通过增加弧权重预测而相对于经量化的权重(两个值)曲线有所改进，并且对应于如图2、5中所示并且如分别在图6和图10中针对编码和解码部分详细描述的本发明提出的实际编码器-解码器体系架构。这个比较表明，所考虑的曲线非常接近于其它曲线，并且特别地，尽管本发明中提出的边缘预测方法将传送弧权重所需的位数从O(N^2)减少到O(N)，但其与经量化的权重(两个值)曲线几乎重叠。
最后，图15(b)示出了本发明中提出的其中权重图被量化和预测的体系架构的性能(曲线“经量化的权重(两个值)和边缘预测”)非常接近于如图1中所示的其中权重图不经历任何形式的量化或预测的参考体系架构(曲线“未量化的权重”)。
其它实施例和推广
在本发明的第二实施例中，可以对待编码的图像进行初步滤波，以去除高频分量。适当的滤波器的示例包括高斯滤波器或各向异性滤波器。
在第三实施例中，本发明可以被更改，以便还用于压缩彩色图像。例如，在RGB图像的情况下，本发明可以用于压缩R、G或B分量中的至少一个；由于这些分量一般是强关联的，所以至少就关心的边缘而言，可以基于起始的分量的边缘推断或预测其它分量的边缘。类似地，在YUV编码的彩色图像的情况下，可以根据本发明压缩亮度分量Y，而色度分量U和V可以以与它们与Y的差信号(Y-U和Y-V)相似的方式被压缩和解压缩，其中一些更改考虑了色度分量相对于亮度的不同统计特征。
在第四实施例中，本发明集成在视频编码技术中，其中不同图像之间的时间相关性也必须被考虑。为此，与常规的视频压缩标准中使用的预测机制相似的预测机制可以与本发明结合使用，以有效地压缩和解压缩视频信号。
在本说明书中作为输入二维信号使用的术语“图像”和“图像块”必须以其最广泛的含义来解释。它们可以涵盖从自然图像、人造图像、图像的预测误差、更高分辨率的图像的二次采样版本、所述类型的图像的任何部分等直接导出或提取的像素值。
在优选实施例中，灰度级色彩空间中两个像素之间的距离已经被选择为相关像素值之间的代数差的绝对值。在任何实施例中，像素空间中的距离的任何其它定义可以被用作用于从图像或其任何部分开始导出矩阵D的两个像素的相互相似性的量度。
一般而言，可以使用任何类型的函数来向矩阵D分配权重，以便填充W矩阵；非线性函数允许更加急剧地将较高的距离(意味着有边缘界)与较低的距离(意味着没有边缘界)分开。此外，本领域技术人员可以配置非线性加权单元325，以便使用其它非线性函数而不是柯西来确定与距离矩阵D相关联的W矩阵的权重，而不偏离本发明的教导。
所描述的用于导出图像或其部分的一维向量表示的向量化处理仅仅是可选的，并且对于实现本发明而言不是必需的。它只是允许图像输入数据的表示更紧凑，并且数据结构以及距离和权重矩阵的处理更简单。其它类型的表示和数据结构可以用于输入图像或其块，并且相反，也可以用于距离和权重矩阵(其结构一般取决于输入图像数据的结构)。
相同的考虑适用于边缘图的向量表示：使用这种单维数据结构对于体现本发明并不是严格必需的；取决于用于距离和权重矩阵的表示，其它解决方案也是可能的，像例如二维矩阵。上面详细描述的向量表示具有特别简单且易于处理的优点。
在构建图像或其部分的不连续的预测模型时，根据本发明的实施例，考虑了水平和垂直的最接近的像素(如果有的话)，如迄今为止所描述的。技术人员可以配置本发明的其它实施例，以便使用更复杂的邻接区域(像素图案)：例如也可以考虑最接近的对角像素以确定给定像素是否属于边缘；其在像素空间中的距离可以被测量并且因此可以被加权。此外，在图像的边缘预测和相关重构中也可以涉及更远的像素。
而且，在决定是否从边缘图中去除孤立边缘时，孤立边缘去除单元可以使用不同的近邻区域和不同的阈值。例如，也可以在该处理中涉及移位两行或列的像素；取决于它们与关心的参考像素之间的距离，它们的值可以在去除决定中被考虑为具有不同的权重。
描述本发明实施例时提到的图像块的尺寸是示例性的。在其它实施例中，它们可以具有任何尺寸，形成矩形或正方形，对于整个图像是均匀的或者适应于图像的局部特征。例如，对于具有较复杂边缘的图像区域，图像块可以较小，而对于具有较少边缘或没有边缘的区域，图像块可以较大。
在另一个实施例中，可以将图像初步细分成较小的块，该较小的块优选地各自由相同数量的N个像素组成，然后根据本发明对其进行独立编码和解码。如果有必要，那么可以添加填塞(填补)像素，以便使编码器和解码器在相同(预定)尺寸的块上操作。在重构图像f之后，这个附加像素可以被解码设备去除。
在另一个实施例中，二值化边缘图f'在其在信道上传输之前利用现有的熵编码技术进一步压缩，其目标是进一步减少其表示所需的带宽，并且在其被图解码单元处理之前在接收器处被解压缩。
在本发明的其它实施例中，以与本文所示的方式不同的任何其它方式，即，通过经由图变换矩阵U计算图变换系数f^，来确定通常包含在向量中的图变换系数f^基于重构的权重图W'，其中图变换矩阵U由W'的图拉普拉斯矩阵的特征向量组成。
本领域技术人员可以容易地配置编码和解码装置，以用许多不同的方式来确定直接的变换矩阵U和逆变换矩阵U-1而不偏离本发明的教导。
本说明书已经解决了一些可能的变体，但是本领域技术人员将清楚，还可以实现其它实施例，其中一些要素可以用其它技术上等同的要素来代替。因此，本发明不限于本文描述的解释性示例，而是可以在不背离如所附权利要求中所阐述的基本发明构思的情况下经历许多修改、改进或者等同部分和要素的代替。

Claims (12)

1.一种用于编码数字图像的装置(1100)，包括
-输入部件(1170)，被配置用于从源(1000)获取图像(f)的至少一部分，
-输出部件(1180)，被配置用于将编码图像的至少一部分发送到目的地(1200)，
-处理部件(1110)，被配置用于读取所述图像(f)的至少一部分，
其中处理部件(1110、1120、1150)被配置用于
-计算所述图像的所述部分的每个像素值与同一部分的邻接像素的每个值之间的差值，
-通过基于量化信息量化所述差值来确定经量化的像素差值，
-基于所述经量化的像素差值确定权重图(W)，
其特征在于，处理部件(1110、1120、1150)还被配置用于
-计算由指示图像的所述至少一部分的对应的像素是否是边缘的元素(f'i)组成的边缘图(f')，其中所述元素中的每个元素基于与对应于该元素的图像像素和与对应于该元素的所述图像像素邻接的至少一个图像像素相关联的所述权重图(W)的值而被标记为边缘(“b”)或非边缘(“w”)，
-通过基于在边缘图(f')中作为其元素(f'i)的水平和/或垂直的近邻的边缘(“b”)的数量向表示所述图像的两个给定像素之间的相似性的权重(w′ij)分配较高的值(M)或较低的值(m)，来基于边缘图(f')确定重构的权重图(W')，其中如果在边缘图(f')中作为其元素(f'i)的水平和/或垂直的近邻的边缘(“b”)的数量高于0，则向所述权重(w′ij)分配较低的值(m)，
-确定从所述重构的权重图(W')导出的图变换矩阵(U)，
-基于所述图变换矩阵(U)和图像(f)的所述部分来确定变换系数(f^)，
-借助于输出部件(1180)将所计算的变换系数(f^)和所述边缘图(f')发送到所述目的地(1200)。
2.如权利要求1所述的编码装置(1100)，其中所述邻接像素是在所述像素的顶部、左侧、底部和右侧的像素。
3.如权利要求1至2中任一项所述的编码装置(1100)，其中处理部件(1110、1150)还被配置用于通过基于量化信息将权重图(W)的每个元素映射到仅两个可能的符号来计算边缘图(f')，其中量化信息包括阈值和分别与所述两个符号相关联的两个值。
4.如权利要求1至2中任一项所述的编码装置(1100)，其中处理部件(1110、1150)还被配置用于处理边缘图(f')，以删除没有近邻边缘的孤立边缘。
5.如权利要求1所述的编码装置(1100)，其中当计算所述边缘图(f')时，与对应于所述元素(f'i)的所述图像像素邻接的至少一个图像像素包括位于所述图像像素的右侧和底部的至少两个近邻像素。
6.一种用于解码数字图像的装置(1300)，包括
-输入部件(1380)，被配置用于从通信信道或存储介质(1200)获取图像(f)的经压缩的至少一部分，
-输出视频部件(1370)，被配置用于输出重构图像(f～)，
-处理部件(1305)，被配置用于通过输入部件(1380)接收变换系数(f^)以及边缘图(f')，所述边缘图(f')由元素(f'i)组成并且针对图像的每个像素表示该像素是边缘(“b”)还是非边缘(“w”)，
其特征在于，处理部件(1305、1310、1320、1330)还被配置用于
-通过基于在边缘图(f')中作为所述元素(f'i)的水平和/或垂直的近邻的边缘(“b”)的数量向表示所述图像的两个给定像素之间的相似性的权重(w′ij)分配较高的值(M)或较低的值(m)，来基于所述边缘图(f')确定重构的权重图(W')，其中如果在边缘图(f')中作为所述元素(f'i)的水平和/或垂直的近邻的边缘(“b”)的数量高于0，则向所述权重(w′ij)分配较低的值(m)，
-基于所述重构的权重图(W')确定逆图变换矩阵(U-1)，
-基于逆图变换矩阵(U-1)和变换系数(f^)计算重构图像(f～)，
-通过所述输出视频部件(1370)输出所述重构图像(f～)。
7.一种用于编码数字图像或视频流的方法，包括
-接收阶段，其中借助于输入部件(1170)接收图像(f)的至少一部分，
-权重图计算阶段，其中通过由处理部件(1110)计算图像(f)的所述部分的每个像素的值与同一部分的邻接像素的每个值之间的差值来确定权重图(W)，
其特征在于，该方法还包括
-边缘图计算阶段，其中由处理部件(1110、1120)通过基于量化信息量化用于确定权重图(W)的像素差值来计算边缘图(f')，其中边缘图(f')由指示图像的所述至少一部分的对应的像素是否是边缘的元素(f'i)组成，其中所述元素中的每个元素基于与对应于该元素的图像像素和与对应于该元素的所述图像像素邻接的至少一个图像像素相关联的经量化的像素差值而被标记为边缘(“b”)或非边缘(“w”)，并且其中所述边缘图(f')借助于输出部件(1180)被发送和/或存储，
-权重图恢复阶段，其中通过基于在边缘图(f')中作为所述元素(f'i)的水平和/或垂直的近邻的边缘(“b”)的数量向表示所述图像的两个给定像素之间的相似性的权重(w′ij)分配较高的值(M)或较低的值(m)，确定重构的权重图(W')，其中如果在边缘图(f')中作为所述元素(f'i)的水平和/或垂直的近邻的边缘(“b”)的数量高于0，则向所述权重(w′ij)分配较低的值(m)，
-图变换矩阵计算阶段，其中借助于处理部件(1110)基于所述重构的权重图(W')来确定图变换矩阵(U)，
-变换系数计算阶段，其中借助于处理部件(1110)基于所述图变换矩阵(U)和图像(f)的所述部分来确定变换系数(f^)，并且其中所述变换系数(f^)和所述边缘图(f')借助于输出部件(1180)被发送和/或存储。
8.如权利要求7所述的编码方法，其中，在权重图计算阶段期间，所述邻接像素是在所述像素的顶部、左侧、底部和右侧的像素。
9.如权利要求7至8中任一项所述的编码方法，其中，在边缘图计算阶段期间，通过基于量化信息将权重图(W)的每个元素映射到仅两个可能的符号来确定边缘图(f')，其中所述量化信息包括阈值和分别与所述两个符号相关联的两个值。
10.如权利要求7至8中任一项所述的编码方法，包括边缘图处理阶段，其中借助于处理部件(1110、1150)来处理边缘图(f')，以删除没有近邻边缘的孤立边缘。
11.如权利要求7至8中任一项所述的编码方法，其中当计算所述边缘图(f')时，与对应于所述元素(f'i)之一的所述图像像素邻接的至少一个图像像素包括位于所述图像像素的右侧和底部的至少两个近邻像素。
12.一种用于解码数字图像的方法，包括
-第一接收阶段，其中借助输入部件(1380)接收变换系数(f^)，
-第二接收阶段，其中借助于输入部件(1380)接收边缘图(f')，该边缘图(f')由元素(f'i)组成且针对图像的每个像素表示该像素是边缘(“b”)还是非边缘(“w”)，
其特征在于，该方法还包括
-权重图重构阶段，其中借助于处理部件(1320)，通过基于在边缘图(f')中作为所述元素(f'i)的水平和/或垂直的近邻的边缘(“b”)的数量向表示所述图像的两个给定像素之间的相似性的权重(w′ij)分配较高的值(M)或较低的值(m)，来基于所述边缘图(f')确定重构的权重图(W')，其中如果在边缘图(f')中作为所述元素(f'i)的水平和/或垂直的近邻的边缘(“b”)的数量高于0，则向所述权重(w′ij)分配较低的值(m)，
-逆图变换矩阵计算阶段，其中借助于处理部件(1320)基于所述重构的权重图(W')来确定逆图变换矩阵(U-1)，
-图像重构阶段，其中借助于处理部件(1310)基于所述逆图变换矩阵(U-1)和所述变换系数(f^)来至少确定重构图像(f～)，并且其中所述重构图像(f～)借助于输出视频部件(1370)被输出。
CN201680060868.8A 2015-09-18 2016-09-16 用于编码和解码数字图像或视频流的方法和装置 Active CN108141592B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
IT102015000053132 2015-09-18
ITUB2015A003724A ITUB20153724A1 (it) 2015-09-18 2015-09-18 Metodi e apparati per codificare e decodificare immagini o flussi video digitali
PCT/IB2016/055526 WO2017046750A1 (en) 2015-09-18 2016-09-16 Methods and apparatuses for encoding and decoding digital images or video streams

Publications (2)

Publication Number Publication Date
CN108141592A CN108141592A (zh) 2018-06-08
CN108141592B true CN108141592B (zh) 2020-10-27

Family

ID=56134451

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680060868.8A Active CN108141592B (zh) 2015-09-18 2016-09-16 用于编码和解码数字图像或视频流的方法和装置

Country Status (5)

Country Link
US (1) US10609373B2 (zh)
EP (1) EP3350992B1 (zh)
CN (1) CN108141592B (zh)
IT (1) ITUB20153724A1 (zh)
WO (1) WO2017046750A1 (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
IT201600122898A1 (it) 2016-12-02 2018-06-02 Ecole Polytechnique Fed Lausanne Epfl Metodi e apparati per codificare e decodificare immagini o flussi video digitali
CN110490213B (zh) * 2017-09-11 2021-10-29 腾讯科技（深圳）有限公司 图像识别方法、装置及存储介质
DE102018112215B3 (de) * 2018-04-30 2019-07-25 Basler Ag Quantisiererbestimmung, computerlesbares Medium und Vorrichtung, die mindestens zwei Quantisierer implementiert
CN109788286B (zh) * 2019-02-01 2021-06-18 北京大学深圳研究生院 一种编码、解码变换方法、系统、设备及计算机可读介质
US11272158B2 (en) 2019-03-01 2022-03-08 Tencent America LLC Method and apparatus for point cloud compression
CN112616050B (zh) * 2021-01-05 2022-09-27 清华大学深圳国际研究生院 一种压缩成像分类方法及系统
CN112784709B (zh) * 2021-01-06 2023-06-20 华南理工大学 一种远程多目标的高效检测和识别方法
CN112954261B (zh) * 2021-03-18 2021-09-10 深圳奇实科技有限公司 一种视频会议网络流量控制方法和系统
CN114077850B (zh) * 2021-11-22 2023-06-20 西安交通大学 一种变工况下的基于图数据的旋转机械设备状态监测方法
CN115278263B (zh) * 2022-06-08 2024-04-02 西安韵通网络科技有限公司 一种高效的大数据实时传输方法及系统

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103093179A (zh) * 2011-10-28 2013-05-08 浙江大华技术股份有限公司 视频条纹量化计算方法

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4392782B2 (ja) * 2001-08-21 2010-01-06 Ｋｄｄｉ株式会社 低レート映像符号化における量子化制御方法
US7620261B2 (en) * 2004-11-23 2009-11-17 Stmicroelectronics Asia Pacific Pte. Ltd. Edge adaptive filtering system for reducing artifacts and method
JP4920986B2 (ja) * 2006-02-07 2012-04-18 株式会社日立製作所 グラフ構造を利用した類似概念抽出システム及び類似概念抽出方法
EP2374107B1 (en) * 2008-12-11 2020-07-08 Imax Corporation Devices and methods for processing images using scale space
EP2360927A3 (en) * 2010-02-12 2011-09-28 Samsung Electronics Co., Ltd. Image encoding/decoding system using graph based pixel prediction and encoding system and method
US8861853B2 (en) * 2010-03-19 2014-10-14 Panasonic Intellectual Property Corporation Of America Feature-amount calculation apparatus, feature-amount calculation method, and program
KR20110135787A (ko) * 2010-06-11 2011-12-19 삼성전자주식회사 엣지-적응 변환을 이용한 영상 부호화/복호화 시스템 및 방법
JP6188005B2 (ja) * 2012-06-21 2017-08-30 大学共同利用機関法人情報・システム研究機構 濃淡画像符号化装置及び復号装置
US10412415B2 (en) * 2014-10-24 2019-09-10 Lg Electronics Inc. Method and apparatus for decoding/encoding video signal using transform derived from graph template
US10666960B2 (en) 2014-11-14 2020-05-26 Lg Electronics Inc. Method and device for performing graph-based transform using generalized graph parameter
US10356420B2 (en) * 2014-11-16 2019-07-16 Lg Electronics Inc. Video signal processing method using graph based transform and device therefor
US10742988B2 (en) * 2015-02-12 2020-08-11 Lg Electronics Inc. Method and apparatus for processing video signal using graph-based transform
US20180220158A1 (en) * 2015-07-21 2018-08-02 Lg Electronics Inc. Method and device for processing video signal using graph-based transform
US10469838B2 (en) * 2015-09-10 2019-11-05 Lg Electronics Inc. Method and apparatus for processing video signal using graph-based transformation based on prediction angle

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103093179A (zh) * 2011-10-28 2013-05-08 浙江大华技术股份有限公司 视频条纹量化计算方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
高效视频编码;沈燕飞;《计算机学报》;20131130;全文 *

Also Published As

Publication number Publication date
ITUB20153724A1 (it) 2017-03-18
WO2017046750A1 (en) 2017-03-23
EP3350992B1 (en) 2021-07-14
US20180262759A1 (en) 2018-09-13
CN108141592A (zh) 2018-06-08
EP3350992A1 (en) 2018-07-25
US10609373B2 (en) 2020-03-31

Similar Documents

Publication Publication Date Title
CN108141592B (zh) 用于编码和解码数字图像或视频流的方法和装置
CN108028941B (zh) 用于通过超像素编码和解码数字图像的方法和装置
CN110024391B (zh) 用于编码和解码数字图像或视频流的方法和装置
JP5718363B2 (ja) 大きいサイズの変換単位を用いた映像符号化、復号化方法及び装置
EP3590193B1 (en) Method and apparatus for encoding and decoding digital images or video streams
EP3590194B1 (en) Methods and apparatuses for encoding and decoding superpixel borders
CN105474642A (zh) 使用频域差对图像集合进行重新编码
KR20180079314A (ko) 그래프 기반 리프팅 변환을 이용하여 비디오 신호를 인코딩, 디코딩하는 방법 및 장치
Chawla et al. Image compression techniques: a review
KR20230115043A (ko) 영상의 화질에 따라 초해상도 딥러닝 네트워크를 적용하는 비디오 처리 방법 및 비디오 처리 장치
JP7401822B2 (ja) 画像符号化方法、画像符号化装置及びプログラム
KR100412176B1 (ko) 문자와 이미지가 포함된 문서의 압축, 복원 시스템 및방법
Kamble et al. Quadtree partitioning and extended weighted finite automata-based fractal colour video coding
Hashim et al. Correlated Block Quad-Tree Segmented and DCT based Scheme for Color Image Compression
Kavitha et al. Lossy compression through segmentation on low depth-of-field images
Altaay Developed a Method for Satellite Image Compression Using Enhanced Fixed Prediction Scheme
Renji et al. A Reversible Data Hiding Technique for Secure Image Transmission
Singh et al. COMPARATIVE STUDIES OF VARIOUS TECHNIQUES FOR IMAGE COMPRESSION ALGORITHM
Montajabi Deep Learning Methods for Codecs
Senapatil et al. Color image compression using fractal geometry
Babu et al. Lossy compression algorithm using advanced quantization technique for color image
Ponlatha et al. High Quality Video Compression for Noise Removal Classification using Discrete Cosine Transforms based Spatial Detection
CN117376576A (zh) 多级超分的jpeg无损转码方法、系统、设备及存储介质
Bhagat et al. High Quality Color Image Compression using DCT
Hussien et al. Color Image Compression by Using Absolute Moment Block Truncation Coding and Hadamard Transform

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant