CN102918838B - 图像序列的一个块的编码方法和重构方法 - Google Patents

图像序列的一个块的编码方法和重构方法 Download PDF

Info

Publication number
CN102918838B
CN102918838B CN201180026637.2A CN201180026637A CN102918838B CN 102918838 B CN102918838 B CN 102918838B CN 201180026637 A CN201180026637 A CN 201180026637A CN 102918838 B CN102918838 B CN 102918838B
Authority
CN
China
Prior art keywords
atom
dictionary
vector
block
dough sheet
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201180026637.2A
Other languages
English (en)
Other versions
CN102918838A (zh
Inventor
D.索罗
A.马丁
S.切里吉
E.弗朗索瓦
J.维罗恩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Thomson Licensing SAS
International Digital Madison Patent Holding SAS
Original Assignee
Thomson Licensing SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thomson Licensing SAS filed Critical Thomson Licensing SAS
Publication of CN102918838A publication Critical patent/CN102918838A/zh
Application granted granted Critical
Publication of CN102918838B publication Critical patent/CN102918838B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00Image coding
    • G06T9/004Predictors, e.g. intraframe, interframe coding
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00Image coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/105Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/97Matching pursuit coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及一种编码当前块的方法,其包含将至少包含与位于当前块的因果邻域中的像素相联系的重构图像数据的数据的矢量分解成第一字典的原子的迭代步骤。在每次迭代时,分解成原子的步骤包含如下步骤:在原子的第一字典中选择(32)第一原子;当第一原子是带纹理原子时,应用(34,340)与第一原子相联系的面片与当前残差矢量之间的相位关联;从面片中至少抽取(34,342)与残差矢量最关联的部分,该抽取部分形成第二原子;从第一原子和第二原子当中选择(36)与当前残差矢量最关联的原子;以及按照所选原子更新(38)残差矢量。

Description

图像序列的一个块的编码方法和重构方法
技术领域
本发明涉及图像编码的一般领域。
本发明涉及编码一系列图像的一个块的方法以及重构这样块的相应方法。
背景技术
参考图1,在现有技术中已知通过空间或时间预测来编码属于几个图像的序列的当前图像的像素的当前块Bc。为此,在现有技术中已知在空间预测的情况下从以前重构的在空间上与当前块相近的像素中,或从叫做参考图像、以前重构的除了当前图像之外的其他图像的像素中为要编码的当前块Bc确定预测块Bp。
在步骤12期间,通过从当前块Bc中抽取预测块Bp确定残差块Br。
在步骤14期间,将残差块编码在流F中。这个编码步骤一般包含将残差块变换成系数块,量化这些系数以及将它们熵编码在流F中。
为了确定预测块Bp,在现有技术中已知将像“匹配追踪”那样的原子分解的迭代方法应用于至少包含与所述当前块相近的块的重构图像数据的数据的矢量。该原子分解包含以迭代方式选择原子字典中的原子。通常,该字典包含称为解析或理论原子,即,与一种变换,例如,DCT(离散余弦变换)或DFT(离散傅里叶变换)的基本函数相对应的原子。解析或理论原子通过它们的数学公式得到完全描述。在图2中,这些解析原子形成原子字典的前8列。预测块与当前块的相关性,即,它的保真度在很大程度上取决于存在于字典中的原子。为了改进预测,可以通过加入称为带纹理原子的来自自然纹理的纹理样本增大字典的大小。在图2中,这些带纹理原子形成原子字典的后8列。它们是,例如,从自然或合成图像中抽取的。
字典大小的这种增大引起了计算成本的增加。事实上,在原子分解期间,必须测试更多的原子。
发明内容
本发明的目的是克服现有技术的至少一个缺点。为此,本发明涉及编码一系列图像的当前块的方法,其包含如下步骤:
-迭代地将至少包含与位于当前块的因果邻域中的像素相联系的重构图像数据的数据的矢量分解成第一字典的原子,该第一字典包含解析原子和带纹理原子;和
-从与当前块相对应的分解矢量数据中抽取数据,该抽取数据形成预测块;
-通过从当前块中抽取预测块确定残差块;以及
-编码残差块。
在每次迭代时,分解成原子的步骤包含如下步骤:
-在原子的第一字典中选择第一原子;
-当第一原子是带纹理原子时,应用与第一原子相联系的面片(patch)与当前残差矢量之间的相位关联;
-从该面片中至少抽取与残差矢量最关联的部分,该抽取部分形成第二原子;
-从第一原子和第二原子当中选择与当前残差矢量最关联的原子;以及
-按照所选原子更新残差矢量。
有利地是,由于面片的使用,按照本发明的编码方法使大量原子都能够得到测试。尤其由于相位关联的步骤,对于第一所选带纹理原子,这些面片使得可以测试与这个带纹理原子有关的若干重新定相原子。
为了利用现有技术的一种方法测试相同数量的原子,必须为每个带纹理原子插入重新定相原子来增大第一字典的大小。但是,分解成这样扩大字典当中的原子要昂贵得多。例如,在根据匹配追踪型算法分解的情况下,这种做法需要对第一字典的每个原子进行至少一次标量积,这比如本发明的编码方法所做的那样,在缩小尺寸的第一字典上进行标量积并使用第二字典通过简单相位关联测试几个重新定相原子要昂贵得多。
另外,使用第二字典测试若干重新定相原子的事实使迭代次数减少。
按照本发明的一个具体特征,第二字典的面片具有圆形对称性。
按照本发明的另一个具体特征,第二字典的面片具有取决于它们的内容的形式。
按照一个具体特征,第二字典包含不同尺寸的至少两个面片。
按照一种实施例变体,抽取步骤包含抽取与残差矢量最关联的N个部分,抽取的每个部分形成重新定相原子,以及选择步骤包含从第一原子和重新定相原子当中选择与当前残差矢量最关联的原子。
本发明还涉及重构具有流形式的一系列图像的当前块的方法,其包含如下步骤:
-从流中解码当前块的残差块;
-迭代地将至少包含与位于当前块的因果邻域中的像素相联系的重构图像数据的数据的矢量分解成第一字典的原子,该第一字典包含解析原子和带纹理原子;
-从与当前块相对应的分解矢量数据中抽取数据,该抽取数据形成预测块;以及
-通过合并解码残差块和预测块重构当前块。
在每次迭代时,分解成原子的步骤包含如下步骤:
-在原子的第一字典中选择第一原子;
-当第一原子是带纹理原子时,应用与第一原子相联系的面片与当前残差矢量之间的相位关联;
-从该面片中至少抽取与残差矢量最关联的部分,该抽取部分形成第二原子;
-从第一原子和第二原子当中选择与当前残差矢量最关联的原子;以及
-按照所选原子更新残差矢量。
该重构方法具有与针对编码方法所述的那些相同的优点。
按照本发明的一个具体特征,第二字典的面片具有圆形对称性。
按照本发明的另一个具体特征,第二字典的面片具有取决于它们的内容的形式。
按照一个具体特征,第二字典包含不同尺寸的至少两个面片。
按照一种实施例变体,抽取步骤包含抽取与残差矢量最关联的N个部分,抽取的每个部分形成重新定相原子,以及选择步骤包含从第一原子和重新定相原子当中选择与当前残差矢量最关联的原子。
附图说明
本发明可以参考附图,通过决不是限制性的实施例和有利实现得到更好了解和例示,在附图中:
图1示出了按照现有技术的编码方法;
图2示出了包含解析和带纹理原子的原子字典;
图3示出了按照现有技术的原子分解方法;
图4示出了图像的一组块;
图5示出了按照本发明细化的原子解码方法;
图6示出了按照本发明的原子解码方法的细节;
图7示出了按照本发明的编码方法;
图8示出了按照本发明的编码方法的具体元素;
图9示出了按照本发明的重构方法;
图10示出了按照本发明的编码设备;
图11示出了按照本发明的解码设备;以及
图12示出了因果区的不同形式。
具体实施方式
图像包含每一个与至少一项图像数据相联系的像素或图像点。一项图像数据是,例如,一项亮度数据或一项色度数据。
术语“残差”表示抽取了其他数据之后获得的数据。该抽取一般是从源像素中减去预测像素。但是,该抽取更一般,尤其包含加权相减。
术语“重构”表示将残差与预测数据合并之后获得的数据(例如,像素、块)。该合并一般是残差与预测像素之和。但是,该合并更一般,并尤其包含加权相加。重构块是重构像素的块。
关于图像解码,术语“重构”和“解码”经常用作同义词。因此,“重构块”也表示为“解码块”。
按照本发明的编码方法基于原子分解方法。存在能够从信号Y中实现原子分解的各种方法。其中,最众所周知的一种被称为“匹配追踪”。注意,也可以使用像“正交匹配追踪”或“全局匹配过滤”那样“匹配追踪”的变体。
下文描述原子分解和“匹配追踪”的一般原理。假设Y为N维的源矢量和A为N×M(M>>N)维的矩阵。A的列aj是用于表示源矢量Y的字典的解析或带纹理原子。源信号Y的原子分解的目的是确定M维的矢量X,以便Y=AX。对于矢量X,存在无限个解。简约表示的目的是在Y=AX的所有解当中搜索简约的那些解,即,矢量X只有少数几个非零系数的那些解。搜索精确解实在太复杂,因为需要非常昂贵的组合手段。一般说来,取而代之的是寻找核实N(Y-AX)≤ρ的简约表示,其中ρ是控制该表示的简约性的容忍阈值,和N(.)是,例如,平方范数L2。当然,N(.)也可以是除了范数L2之外的其他范数。
“匹配追踪(MP)”的方法使这样的次最佳,即,非精确解可以使用迭代方法获得。该方法在每次迭代k时,生成具有在每次新迭代k数量通常增加(除了在几次迭代期间选择相同原子之外)的非零系数的表示Xk,即M维矢量。下面参考图3详细描述MP方法。
已知数据是源信号Y、字典A和阈值ρ。在初始化步骤20(迭代k=0)期间,将数据X0和R0初始化,其中R0是残差误差或残差矢量的初始矢量。例如,X0=0,以及残差误差或残差矢量的初始矢量R0按如下初始化:R0=Y-AX0=Y。
在对应于第k次迭代的步骤22期间,选择与当前残差矢量Rk-1具有最高关联的基函数其中Rk-1=Y-AXk-1,和 j k = arg max j | < R k - 1 , a j > | = arg max j ( a j T R k - 1 ) 2 a j T a j , 其中<.>是标量积运算符。
在步骤24期间,更新矢量Xk和残差矢量Rk。矢量Xk的系数按照如下公式计算:残差矢量Rk按照如下公式更新: R k = R k - 1 - x j k a j k = R k - 1 - a j T R k - 1 a j T a j a j k . 将刚计算的系数加入Xk-1中,因此形成新表示Xk
在步骤26期间,校验一下看看是否满足停止准则。如果N(Y-AXk)≤ρ,则终止该过程,否则,在步骤28期间将k加1,使该过程从步骤22重新开始。最终矢量AXk是源信号Y的近似,其中K是最后一次迭代的索引。
在图4中,示出了大小为n×n的像素块。整数“n”可以取像,例如,4、8、16等那样的不同值。灰色块(P区)代表要预测的当前块,阴影块(C区)代表因果区,和白色区(NC区)代表无因果关系区。因果区包含当前块被编码之前编码和重构的像素。因果区的定义取决于图像中的块的编码次序。在图4中,假设按照称为“光栅扫描”的标准编码次序编码这些块。但是,本发明决不会局限于这种编码次序。按照本发明的编码方法包含原子分解由按行扫描的区域L的像素形成的观察矢量Y,L=C∪P∪NC。因此矢量Y是大小为9n2×1的矢量。实际上,例如,通过初步预测步骤,将原子分解应用于包含与区域C的像素相联系的图像数据的矢量YC,可能应用于与该区域的像素相联系的图像数据。事实上,该区域L的其他像素的图像数据是未知的,被认为是零。
图5示出了按照本发明细化的原子分解方法。按照本发明细化的原子分解方法使用两部字典。第一字典A包含通常被MP型方法使用的解析和/或带纹理原子。例如,解析原子是大小与区域L(3n×3n)相同、和假设具有将信号分解成基本信号的正确特性的二维基函数。例如,将像DCT(离散余弦变换)或DFT(离散傅里叶变换)那样的普通变换的核心用于定义解析原子。在这些特定情况下,进行信号的频率分解。分别与DFT和DCT相联系的基函数或解析原子的表达式如下: g p , q ( m , n ) = e 2 i&pi; ( mp M + nq N ) 以及
g p , q ( m , n ) = cos ( p&pi; ( 2 m + 1 ) 2 M ) cos ( q&pi; ( 2 n + 1 ) 2 N )
字典A由大小与解析原子相同的带纹理原子形成。字典A必须包含代表区域L的至少9n2个原子。为了能够包含9n2个二维原子,该二维原子在2D矩阵中每一个的大小是3n×3n,将原子矢量化。因此,字典A由至少9n2个列构成,其每一列代表大小为9n2×1的解析或带纹理原子。A表示字典和相应矩阵两者。
DCT和DFT原子的选择不是限制性的。事实上,该字典可以从能够代表图像中的任何图案类型的任何基函数(Gabor原子、各向异性原子等)中得到充实。原子的数量或矩阵A中的列数具有最小值,即,矢量化区域L的大小(即,9n2),但没有理论最大值。原子的数量越多,恢复信号的机会就越大。
第二字典由比第一字典的原子大的面片形成。这些面片与带纹理原子一样来自自然图像。更具体地说,第一字典的每个带纹理原子或只有一部分第一字典的每个带纹理原子与第二字典的面片相联系。第二字典的面片是例如从自然或合成图像中抽取的。该面片可以具有长方形形式。按照一种变体,面片的形式取决于内容。例如,如果面片包含大致垂直结构,则优选地是宽度大于高度的长方形。在相反情况下,即,如果包含大致水平结构,则优选地是高度大于宽度的长方形。同样,面片可以具有圆形对称性。有利地,第一字典的带纹理原子通过从第二字典的每个面片中抽取带纹理原子获得,例如,带纹理原子处在面片的中心上。第二字典的面片的大小也可以随面片而异。但是,带纹理原子处在面片的中心上的事实不具有强制特点。同样,本发明决不会受从面片中生成带纹理原子的方式,或从自然图像中确定面片的方式限制。与前面参考图3所述的MP方法一样,按照本发明的原子分解方法是迭代方法。
在步骤32期间,例如,按照MP方法的步骤22从原子的第一字典中选择第一原子当原子是带纹理原子以及第二字典的一个面片与之相联系时,该方法接着继续到步骤34。当原子是没有面片与之相对应的解析原子或带纹理原子时,该方法接着继续到步骤38。是与当前残差Rk-1最强关联,例如,标量积最高的原子。将这个标量积标记成c_max。
在步骤34期间,从第二字典中确定第二原子这个步骤由图6详细示出。
在步骤340期间,通过相位关联将用于确定的残差矢量Rk-1与对应于的第二字典的面片相关联。相位关联在这里提供了残差矢量Rk-1与面片的内容之间的位移(dx,dy)。这个位移决定大小与第一字典的原子相同的新原子的位置。
在步骤342期间,从面片中抽取就相位关联而言与残差矢量Rk-1最关联的面片部分。这个抽取部分被称为重新定相原子并标记成
按照一种变体,相位关联提供了残差Rk-1与面片的内容之间的N个位移(dx,dy)。这N个位移指示就相位关联而言与残差矢量Rk-1最关联的N个面片部分。然后从面片中抽取这些N个部分,抽取的每个部分形成一个重新定相原子。当面片具有圆形对称性时,相位关联的残差可以在面片组上以循环方式位移。
在步骤36期间,从当中,以及可能从和在步骤342中抽取几个重新定相原子时重新定相的N个原子,选择与Rk-1最关联的原子。例如,比较关联c_max,即,和与第二原子相联系的标记成c_phase的关联,即,如果c_phase>c_max,则选择第二原子否则,选择第一原子在N个重新定相原子的情况下,所选的原子是就所涉及的原子与Rk-1之间的标量积而言,与Rk-1最关联的原子。
在步骤38期间,按照所选的原子更新矢量Xk和残差矢量Rk。当选择时,矢量Xk的系数按照如下公式计算:而当选择时,矢量Xk的系数按照如下公式计算:按照所选的原子,按如下: R k = R k - 1 - x i k p i k 或按如下: R k = R k - 1 - x j k a j k 更新残差Rk
在步骤40期间,校验一下看看是否满足停止准则。如果N(Y-A'Xk)≤ρ,则终止该方法,否则,在步骤42期间将k加1,并使该方法从步骤32重新开始。A′包含第一字典的原子和可能包含从第二字典中选择的原子。最终矢量A′Xk是源信号Y的近似,其中K是最后一次迭代的索引。
将参考图5和图6所述的细化原子分解方法用于编码当前块。按照本发明的编码方法参考图7来描述。
在步骤52期间,如参考图5所述将原子分解应用在包含观察区,即,相邻块(在图4中C区)的像素的值作为数据的大小4n2×1的矢量Yp上。按照一种变体,将原子分解应用在包含观察区,即,相邻块(在图4中C区)的像素和已经取代了要预测的当前块的数据的初始预测块Bp0(在图4中P区)的像素的图像数据作为数据的大小5n2×1的矢量Ycp上。以前未重构的当前块的其他相邻块(在图3上NC区)的数据是零。初始预测块是,例如,按照标准块匹配方法通过标准时间预测确定的。本发明决不会受观察区的定义限制。在下文中,在已知可以将相同的分解应用于矢量Ycp的情况下考虑原子分解矢量Yp的情况。这个观察矢量Yp正是可用于MP方法的预测支持。
为了能够表示具有4n2×1维的Yp的数据(不是Y的那些),通过移除其与C区外部的所有像素相对应的行来修改矩阵A。事实上,所有这些像素都是未知的,并具有零的值。因此获得大小为4n2×9n2、就高度而言更紧凑、标记为Ac的矩阵。因此迭代地应用参考图5所述的步骤32到40,以便利用矢量Yp作为观察数据确定Xopt。一旦停止准则N(Yc-A′cXk)≤ρ得到核实,就停止该方法:Xopt=XK,K是最后一次迭代的索引,且A′c包含第一字典的原子和可能包含就高度而言更紧凑的从第二字节选择的原子。最终矢量是与L区相对应的矢量Y的近似。
在步骤54期间,如图8所示从中抽取与P区相对应的大小n2的矢量以块的形式重组(矢量化操作的逆操作)抽取的数据重组数据代表当前块的新预测块Bp。
在步骤56期间,通过从当前块Bc中抽取预测块Bp确定残差块Br。
在步骤58期间,编码残差块。这个编码步骤一般包含将残差块变换成系数块,量化这些系数以及将它们熵编码在流F中。按照一种变体,它可以包含量化残差以及将它们熵编码在流F中。
按照一种变体,将迭代期间确定的序列组Xk存储在存储器中。按照这种变体,Xopt不再等于XK,K是最后一次迭代的索引,而是 k opt = min k &Element; [ 1 , K ] N ( Y p - A &prime; p X k ) ,
其中:
-A′p是与要预测的P区相联系的矩阵部分A′;以及
-Yp是与要预测的P区相联系,即包含P区的像素的图像数据的大小n2×1的矢量。
在图8中示出了Ap和Yp。这种变体使Xopt能够被确定为未必与C区上的最佳表示相对应的P区的最佳表示。以块的形式重组(矢量化操作的逆操作)数据重组数据代表当前块的新预测块Bp。按照这种变体,也将系数kopt编码在流F中。事实上,矢量YP的数据是解码器未知的。
图9示意性地示出了按照本发明重构当前块的方法。
在步骤60期间,为当前块解码残差块Br。例如,将流F的一部分解码成系数。去量化该系数,然后如果有必要,通过逆变换将其变换成在步骤58中编码方法使用的那种。因此获得残差块。按照一种变体,省略逆变换步骤,尤其当没有在步骤58中在编码器侧应用变换步骤时。
在步骤62期间,应用原子分解。这个步骤与编码方法的步骤52相同。这个步骤使矢量Y的近似能够得到确定
在步骤64期间,如图8所示从中抽取与P区相对应的大小n2的矢量以块的形式重组(矢量化操作的逆操作)抽取的数据重组数据代表当前块的新预测块Bp。
在步骤66期间,通过合并在步骤64中确定的预测块Bp和在步骤60中解码的残差块,例如,通过逐个像素相加重构当前块Bc。
图10示意性地示出了编码设备12。编码设备12在输入端上接收一个或多个图像。编码设备12能够实现参考图7所述的按照本发明的编码方法。每个图像被划分成多个像素的块,其每一个与至少一项图像数据相联系。编码设备12尤其实现利用时间预测的编码。在图10中只示出了编码设备12与通过时间预测的编码或INTER编码有关的模块。未示出视频编码器的普通技术人员熟知的其他模块(例如,选择编码模式、空间预测)。编码设备12尤其包含了计算模块1200,其能够例如通过逐个像素相减,从当前块Bc中抽取预测块Bp以生成残差块Br。计算模块1200能够实现按照本发明的编码方法的步骤56。它进一步包含能够变换残差块Br然后将其量化成量化数据的模块1202。变换T是,例如,离散余弦变换(DCT)。编码设备12还包含能够将量化数据编码成流F的熵编码模块1204。它还包含进行模块1202的逆操作的模块1206。模块1206先进行逆量化Q-1再进行逆变换T-1。模块1206与计算模块1208连接,计算模块1208能够,例如,通过逐个像素相加,合并来自模块1206的数据块和预测块Bp,以生成存储在存储器1210中的重构块。
预测模块1216确定预测块。预测模块1216能够实现按照本发明的编码方法的步骤52和54。
该编码方法的步骤58在模块1202和1204中实现。
图11示意性地示出了解码设备13。解码设备13在输入端上接收代表图像的流F。流F是,例如,编码设备12经由信道发送的。解码设备13能够实现参考图9所述的按照本发明的解码方法。解码设备13包含能够生成解码数据的熵解码模块1300。然后将解码数据发送给能够先进行逆量化后进行逆变换的模块1302。模块1302与生成流F的编码设备12的模块1206相同。模块1302与计算模块1304连接,计算模块1304能够,例如,通过逐个像素相加,合并来自模块1302的块和预测块Bp,以生成存储在存储器1306中的重构当前块Bc。计算模块1304能够实现重构方法的步骤66。解码设备13包含预测模块1308。预测模块1308从存储在存储器1306中的已经重构的数据中确定预测块Bp。预测模块1308能够实现按照本发明的重构方法的步骤62和64。该重构方法的步骤60在模块1300和1302中实现。
当然,本发明不局限于上述的实施例子。
尤其,本领域的普通技术人员可以将任何变体应用于所述实施例,并组合它们以便从它们的各种优点中获益。事实上,除了MP方法之外的其他方法也可以用于确定矢量Xopt。同样,如图12所示,也可以改变因果区的形式。在这个图形中,加阴影的是所考虑的因果区。本发明决不会局限于因果区只作为例示性例子示出的那些形式。在这个图形中,方块具有任何尺寸。从按照本发明的方法独立于图像中的方块的扫描次序的意义上来讲,因果块可以处在与预测块有关的任何位置中。
可以改变面片的形式和尺寸。同样,第二字典可以包含比第一字典中的带纹理原子少的面片。

Claims (14)

1.一种编码一系列图像的当前块的方法,其包含如下步骤:
-迭代地将至少包含与位于所述当前块的因果邻域中的像素相联系的重构图像数据的数据的矢量分解(52)成第一字典的原子,所述第一字典包含解析原子和带纹理原子;以及
-从与所述当前块相对应的所述分解矢量数据中抽取(54)数据,所述抽取数据形成预测块;
-通过从所述当前块中抽取所述预测块确定(56)残差块;
-编码(58)所述残差块,
该编码方法的特征在于,在每次迭代时,分解成原子的所述步骤包含如下步骤:
-在原子的所述第一字典中选择(32)第一原子;
-当所述第一原子是带纹理原子时,应用(34,340)第二字典的面片与当前残差矢量之间的相位关联,其中所述第二字典的所述面片与所述第一原子相联系并大于所述第一原子;
-从所述第二字典的所述面片中至少抽取(34,342)与所述残差矢量最关联的部分,所述抽取部分形成大小与所述第一原子相同的第二原子;
-从所述第一字典的所述第一原子和所述第二原子当中选择(36)与所述当前残差矢量最关联的原子;以及
-按照所述所选原子更新(38)所述残差矢量。
2.按照权利要求1所述的编码方法,其中第二字典的面片具有圆形对称性。
3.按照权利要求1或2所述的编码方法,其中第二字典的面片具有取决于它们的内容的形式。
4.按照权利要求1或2所述的编码方法,其中所述第二字典包含不同尺寸的至少两个面片。
5.按照权利要求1或2所述的编码方法,其中至少抽取(34,342)与所述残差矢量最关联的部分的步骤包含抽取与所述残差矢量最关联的N个部分,抽取的每个部分形成重新定相原子,以及
其中选择与所述当前残差矢量最关联的原子的步骤包含从所述第一原子和所述重新定相原子当中选择与所述当前残差矢量最关联的原子。
6.一种重构以流的形式出现的一系列图像的当前块的方法,其包含如下步骤:
-从所述流中解码(60)所述当前块的残差块;
-迭代地将至少包含与位于所述当前块的因果邻域中的像素相联系的重构图像数据的数据的矢量分解(62)成第一字典的原子,所述第一字典包含解析原子和带纹理原子;
-从与所述当前块相对应的所述分解矢量数据中抽取(64)数据,所述抽取数据形成预测块;
-通过合并所述解码残差块和所述预测块重构(66)所述当前块,
该重构方法的特征在于,在每次迭代时,分解成原子的所述步骤包含如下步骤:
-在原子的所述第一字典中选择(32)第一原子;
-当所述第一原子是带纹理原子时,应用(34,340)第二字典的面片与当前残差矢量之间的相位关联,其中所述第二字典的所述面片与所述第一原子相联系并大于所述第一原子;
-从第二字典的所述面片中至少抽取(34,342)与所述残差矢量最关联的部分,所述抽取部分形成大小与所述第一原子相同的第二原子;
-从所述第一字典的所述第一原子和所述第二原子当中选择(36)与所述当前残差矢量最关联的原子;以及
-按照所述所选原子更新(38)所述残差矢量。
7.按照权利要求6所述的重构方法,其中第二字典的面片具有圆形对称性。
8.按照权利要求6或7所述的重构方法,其中第二字典的面片具有取决于它们的内容的形式。
9.按照权利要求6或7所述的重构方法,其中所述第二字典包含不同尺寸的至少两个面片。
10.按照权利要求6或7所述的重构方法,其中至少抽取(34,342)与所述残差矢量最关联的部分的步骤包含抽取与所述残差矢量最关联的N个部分,抽取的每个部分形成重新定相原子,以及其中选择与所述当前残差矢量最关联的原子的步骤包含从所述第一原子和所述重新定相原子当中选择与所述当前残差矢量最关联的原子。
11.一种编码一系列图像的当前块的设备,其包含:
-迭代地将至少包含与位于所述当前块的因果邻域中的像素相联系的重构图像数据的数据的矢量分解成第一字典的原子的部件,所述第一字典包含解析原子和带纹理原子;以及
-从与所述当前块相对应的所述分解矢量数据中抽取数据的部件,所述抽取数据形成预测块;
-通过从所述当前块中抽取所述预测块确定残差块的部件;
-编码所述残差块的部件,
该编码设备的特征在于,迭代地将数据的矢量分解成第一字典的原子的所述部件包含:
-在原子的所述第一字典中选择第一原子的部件;
-当所述第一原子是带纹理原子时,应用第二字典的面片与当前残差矢量之间的相位关联的部件,其中所述第二字典的所述面片与所述第一原子相联系并大于所述第一原子;
-从所述第二字典的所述面片中至少抽取与所述残差矢量最关联的部分的部件,所述抽取部分形成大小与所述第一原子相同的第二原子;
-从所述第一字典的所述第一原子和所述第二原子当中选择与所述当前残差矢量最关联的原子的部件;以及
-按照所述所选原子更新所述残差矢量的部件。
12.按照权利要求11所述的编码设备,其中所述设备适用于执行按照权利要求1到5的任何一项所述的编码方法的步骤。
13.一种重构以流的形式出现的一系列图像的当前块的解码设备,其包含:
-从所述流中解码所述当前块的残差块的部件;
-迭代地将至少包含与位于所述当前块的因果邻域中的像素相联系的重构图像数据的数据的矢量分解成第一字典的原子的部件,所述第一字典包含解析原子和带纹理原子;
-从与所述当前块相对应的所述分解矢量数据中抽取数据的部件,所述抽取数据形成预测块;
-通过合并所述解码残差块和所述预测块重构所述当前块的部件,
该解码设备的特征在于,迭代地将数据的矢量分解成第一字典的原子的所述部件包含:
-在原子的所述第一字典中选择第一原子的部件;
-当所述第一原子是带纹理原子时,应用第二字典的面片与当前残差矢量之间的相位关联的部件,其中所述第二字典的所述面片与所述第一原子相联系并大于所述第一原子;
-从所述第二字典的所述面片中至少抽取与所述残差矢量最关联的部分的部件,所述抽取部分形成大小与所述第一原子相同的第二原子;
-从所述第一字典的所述第一原子和所述第二原子当中选择与所述当前残差矢量最关联的原子的部件;以及
-按照所述所选原子更新所述残差矢量的部件。
14.按照权利要求13所述的解码设备,其中所述设备适用于执行按照权利要求6到10的任何一项所述的重构方法的步骤。
CN201180026637.2A 2010-04-02 2011-03-28 图像序列的一个块的编码方法和重构方法 Active CN102918838B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
FR1052517A FR2958489A1 (fr) 2010-04-02 2010-04-02 Procede de codage et procede de reconstruction d'un bloc d'une sequence d'images
FR1052517 2010-04-02
PCT/EP2011/054682 WO2011120894A1 (en) 2010-04-02 2011-03-28 Method for coding and method for reconstruction of a block of an image sequence

Publications (2)

Publication Number Publication Date
CN102918838A CN102918838A (zh) 2013-02-06
CN102918838B true CN102918838B (zh) 2015-09-30

Family

ID=42937143

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201180026637.2A Active CN102918838B (zh) 2010-04-02 2011-03-28 图像序列的一个块的编码方法和重构方法

Country Status (8)

Country Link
US (1) US8755618B2 (zh)
EP (1) EP2553926B1 (zh)
JP (1) JP5799080B2 (zh)
KR (1) KR101822677B1 (zh)
CN (1) CN102918838B (zh)
BR (1) BR112012025175A2 (zh)
FR (1) FR2958489A1 (zh)
WO (1) WO2011120894A1 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2958489A1 (fr) * 2010-04-02 2011-10-07 Thomson Licensing Procede de codage et procede de reconstruction d'un bloc d'une sequence d'images
US9547915B2 (en) * 2013-03-19 2017-01-17 Thomson Licensing Inter-image prediction method and device and corresponding coding method and apparatus
US9042468B2 (en) * 2013-06-27 2015-05-26 Intel Mobile Communications GmbH Channel estimation technique
JP6883219B2 (ja) 2016-04-22 2021-06-09 ソニーグループ株式会社 符号化装置及び符号化方法、並びに、システム
FR3066873A1 (fr) * 2017-05-29 2018-11-30 Orange Procedes et dispositifs de codage et de decodage d'un flux de donnees representatif d'au moins une image
CN113139918B (zh) * 2021-04-23 2023-11-10 大连大学 一种基于决策灰狼优化字典学习的图像重构方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5581638A (en) * 1993-07-26 1996-12-03 E-Systems, Inc. Method for autonomous image registration
US7187730B1 (en) * 2001-03-21 2007-03-06 Marvell International Ltd. Method and apparatus for predicting CCK subsymbols
US8000392B1 (en) * 2004-02-27 2011-08-16 Vbrick Systems, Inc. Phase correlation based motion estimation in hybrid video compression
US8477848B1 (en) * 2008-04-22 2013-07-02 Marvell International Ltd. Picture rate conversion system architecture
FR2958489A1 (fr) * 2010-04-02 2011-10-07 Thomson Licensing Procede de codage et procede de reconstruction d'un bloc d'une sequence d'images

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Atomic decomposition dedicated to AVC and spatial SVC prediction;AURELIE MARTIN ET AL;《IMAGE PROCESSING,2008.ICIP2008.15TH IEEE INTERNATIONAL CONFERENCE,IEEE,PISCATAWAY,NJ,USA,12 October 2008(2008-10-12)》;20081012;第2492-2495页 *
Phase refinement for image prediction based on sparse representation;MARTIN A ET AL;《PROCEEDINGS OF THE SPIE,SPIE,BELLINGHAM,VA,US》;20100119;第7543卷;第75430H-1页 *
Tree-Based Pursuit:Algorithm and Properties;PHILIPPE JOST ET AL;《IEEE TRANSACTIONS ON SIGNAL PROCESSING,IEEE SERVICE CENTER,NEW YORK,NY》;20061201;第54卷(第12期);第4685-4697页 *

Also Published As

Publication number Publication date
WO2011120894A1 (en) 2011-10-06
FR2958489A1 (fr) 2011-10-07
BR112012025175A2 (pt) 2016-06-21
KR101822677B1 (ko) 2018-03-08
JP5799080B2 (ja) 2015-10-21
KR20130024909A (ko) 2013-03-08
EP2553926A1 (en) 2013-02-06
CN102918838A (zh) 2013-02-06
JP2013524597A (ja) 2013-06-17
US8755618B2 (en) 2014-06-17
US20130136372A1 (en) 2013-05-30
EP2553926B1 (en) 2015-02-25

Similar Documents

Publication Publication Date Title
CN102918838B (zh) 图像序列的一个块的编码方法和重构方法
US10834425B2 (en) Image compression/decompression method and device, and image processing system
US20130195177A1 (en) Method and device for the transformation and method and device for the reverse transformation of images
CN104822063A (zh) 一种基于字典学习残差重建的压缩感知视频重建方法
CN107027025B (zh) 一种基于宏像素块自适应预测的光场图像压缩方法
CN108235020A (zh) 一种面向量化分块压缩感知的螺旋式逐块测量值预测方法
CN105408935A (zh) 上采样和信号增强
CN103473797A (zh) 基于压缩感知采样数据修正的空域可缩小图像重构方法
JP2013239923A (ja) 色変換装置、符号化器および復号器ならびにそれらのプログラム
US11601661B2 (en) Deep loop filter by temporal deformable convolution
CN108182712B (zh) 图像处理方法、装置及系统
Jiao et al. Shape-adaptive reversible integer lapped transform for lossy-to-lossless ROI coding of remote sensing two-dimensional images
CN104937938A (zh) 用于比较两个像素块的方法和设备
CN206698375U (zh) 一种滑动像素块整数dct核心矩阵变换运动补偿器
CN103139563A (zh) 编码和重构像素块的方法以及相应设备
CN102763414B (zh) 编码和重构图像序列的块的方法
CN106954070B (zh) 一种滑动像素块整数dct核心矩阵变换运动补偿器及方法
CN102263954A (zh) 一种基于对象的快速分形视频压缩与解压缩方法
Boesandi et al. Compressive sensing in the Huffman coding DWT SVD medical image watermarking
CN116916033B (zh) 一种基于随机自适应傅里叶分解的联合时空视频压缩方法
Zhao et al. Study on super-resolution reconstruction algorithm based on sparse representation and dictionary learning for remote sensing image
CN103002279A (zh) 编码并重构像素块的方法及其对应设备
Kong et al. End-to-end feature domain residual coding network for multispectral image compression based on interspectral prediction
CN104361614A (zh) 基于多方向字典学习的极化sar图像压缩方法
Catalin-Dumitru et al. Motion estimation in 2D-DCT transform domain

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20190131

Address after: Paris France

Patentee after: International Digital Madison Patent Holding Co.

Address before: I Si Eli Murli Nor, France

Patentee before: THOMSON LICENSING

Effective date of registration: 20190131

Address after: I Si Eli Murli Nor, France

Patentee after: THOMSON LICENSING

Address before: I Si Eli Murli Nor, France

Patentee before: THOMSON LICENSING

TR01 Transfer of patent right