CN102763414B - 编码和重构图像序列的块的方法 - Google Patents

编码和重构图像序列的块的方法 Download PDF

Info

Publication number
CN102763414B
CN102763414B CN201180009281.1A CN201180009281A CN102763414B CN 102763414 B CN102763414 B CN 102763414B CN 201180009281 A CN201180009281 A CN 201180009281A CN 102763414 B CN102763414 B CN 102763414B
Authority
CN
China
Prior art keywords
vector
current block
data
parts
piece
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201180009281.1A
Other languages
English (en)
Other versions
CN102763414A (zh
Inventor
A.马丁
D.索罗
E.弗朗索瓦
J.维尔隆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Thomson Licensing SAS
Original Assignee
Thomson Licensing SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thomson Licensing SAS filed Critical Thomson Licensing SAS
Publication of CN102763414A publication Critical patent/CN102763414A/zh
Application granted granted Critical
Publication of CN102763414B publication Critical patent/CN102763414B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00Image coding
    • G06T9/004Predictors, e.g. intraframe, interframe coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/105Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/97Matching pursuit coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

本发明涉及一种编码当前块的方法,其包含如下步骤:-从当前块中确定(30,32,34)预测块;-通过从当前块中提取预测块确定(36)残差块;-编码(38)残差块,该方法的特征在于,按照如下步骤从当前块中确定预测块:-从运动数据和以前编码和重构的至少一个参考图像中确定(30)初始预测块;-将原子分解方法应用(32)在数据矢量Ycp上,数据矢量Ycp包含以前编码和重构的当前块的邻近块的图像数据和初始预测块的数据;以及-从分解矢量中提取(34)与当前块相对应的数据,该提取数据形成预测块。

Description

编码和重构图像序列的块的方法
技术领域
本发明涉及图像编码的一般领域。
本发明涉及编码图像序列的一个块的方法以及重构这样块的相应方法。
背景技术
参考图1,在现有技术中已知通过空间或时间预测编码属于几个图像的序列的当前图像的像素的当前块Bc。为此,在现有技术中已知在空间预测的情况下从在空间上与以前重构的当前块邻近的像素中,或从叫做参考图像、除了以前重构的当前图像之外的其它图像的像素中为要编码的当前块Bc确定预测块Bp。
在步骤12期间,通过从当前块Bc中提取预测块Bp确定残差块Br。
在步骤14期间,将残差块编码在流F中。这个编码步骤一般包含将残差块变换成系数块,量化这些系数以及将它们熵编码在流F中。
在时间预测的情况下,在现有技术中已知从像块匹配方法那样的运动估计方法中确定预测像素块。但是,这样的预测块相对于重构当前块的邻近块一般是非均匀的。
发明内容
本发明的目的是克服现有技术的至少一个缺点。为此,本发明涉及编码图像序列的当前块的方法,其包含如下步骤:
-为当前块确定预测块;
-通过从当前块中提取预测块确定残差块;以及
-编码残差块。
按照本发明,当前块的预测块按照如下步骤确定:
-从运动数据和以前编码和重构的至少一个参考图像中确定初始预测块;
-将原子分解方法应用在数据矢量Ycp上,该数据矢量包含以前编码和重构的当前块的邻近块的图像数据和初始预测块的数据;以及
-从该分解矢量中提取与当前块相对应的数据,该提取数据形成预测块。
当前块的时间预测由于所得预测块结合了来自参考图像的时间信息项和来自当前图像的空间信息项两者得到改进。由于考虑了当前块的空间环境,即,以前重构的邻近像素,使所得预测块更加均匀。
按照本发明的一个具体方面,该编码方法包含按照如下步骤,确定对于其N(Ycp-AcX)最小的矢量Xk,其中Ac是每列代表原子aj的矩阵,和N(.)是标准:
a)选择与Rk-1最相关的原子ajk,其中Rk-1是在矢量Ycp与Ac*Xk-1之间计算的残差,其中Xk-1是在第k-1次迭代确定的X值,以及k是整数;
b)从所选原子中计算Xk和Rk;以及
c)迭代步骤a和b直到如下停止准则N(Ycp-AcXk)≤ρ,其中ρ是阈值,
-从矢量中提取预测块,其中是矢量Xk之一。
按照本发明的一个具体特征,其中K是最后一次迭代的索引。
按照一种变型,是按照如下步骤确定的:
-在每次迭代时存储Xk
-从存储的Xk中选择对于其N(Yp-ApXk)值最低的Xk,其中YP是Ycp与当前块相对应的部分,和Ap是矩阵Ac与当前块相对应的部分;以及
-从中确定预测块,其中是在以前步骤中选择的Xk
本发明还涉及以编码数据流的形式重构图像的序列的当前块的方法,其包含如下步骤:
-通过解码编码数据流的一部分确定残差块;
-确定当前块的预测块;以及
-通过合并残差块和预测块重构当前块。
按照本发明,当前块的预测块按照如下步骤确定:
-从运动数据和以前编码和重构的至少一个参考图像中确定初始预测块;
-将原子分解方法应用在数据矢量Ycp上,该数据矢量Ycp包含以前编码和重构的当前块的邻近块的图像数据和初始预测块的数据;以及
-从该分解矢量中提取与当前块相对应的数据,该提取数据形成预测块。
按照一个具体实施例,该重构方法包含按照如下步骤,确定使N(Ycp-AcX)最小化的矢量Xk,其中Ac是每列代表原子aj的矩阵,和N(.)是标准:
a)选择与Rk-1最相关的原子ajk,其中Rk-1是在矢量Ycp与Ac*Xk-1之间计算的残差,其中Xk-1是在第k-1次迭代确定的X值,以及k是整数;
b)从所选原子中计算Xk和Rk;以及
c)迭代步骤a和b直到如下停止准则N(Ycp-AcXk)≤ρ,其中ρ是阈值,
-从矢量中提取预测块,其中是矢量Xk之一。
按照本发明的一个具体特征,其中K是最后一次迭代的索引。
按照一种变型,是按照如下步骤确定的:
-在每次迭代时存储Xk
-从存储的Xk中选择对于其N(Yp-ApXk)值最低的Xk,其中YP是Ycp与当前块相对应的部分,和Ap是矩阵Ac与当前块相对应的部分;以及
-从中确定预测块,其中是在以前步骤中选择的Xk
附图说明
通过参考附图借助决不是限制性的实施例和有利实现方式,可以更好地理解和例示本发明,在附图中:
图1示出了按照现有技术的编码方法;
图2示出了按照现有技术的原子分解(atomicdecomposition)方法;
图3示出了图像的一组块;
图4示出了按照本发明的编码方法;
图5示出了按照本发明的解码方法;
图6、7和8示出了按照本发明的编码方法的具体元素;
图9示出了按照本发明的重构方法;
图10示出了按照本发明的编码设备;
图11示出了按照本发明的解码设备;以及
图12示出了因果区的不同形式。
具体实施方式
图像包含每一个与至少一项图像数据相关联的像素或图像点。一项图像数据是,例如,一项亮度数据或一项色度数据。
术语“残差”表示提取了其它数据之后获得的数据。该提取一般是从源像素中减去预测像素。但是,该提取更一般,并且尤其包含加权相减。
术语“重构”表示将残差与预测数据合并之后获得的数据(例如,像素、块)。该合并一般是预测像素与残差之和。但是,该合并更一般,并且尤其包含加权相加。重构块是一块重构像素。
关于图像解码,术语“重构”和“解码”经常用作同义词。因此,“重构块”也表示为术语“解码块”。
按照本发明的编码方法基于原子分解方法。存在使得能够从信号Y中获得原子分解的各种方法。其中,最众所周知的一种被称为术语“匹配追踪”。注意,也可以使用像“正交匹配追踪”或“全局匹配过滤”那样“匹配追踪”的变型。
下文描述一般原子分解和“匹配追踪”的一般原理。假设Y为N元(dimension)的源矢量和A为N×M(M>>N)元的矩阵。A的列aj是用于表示源矢量Y的字典(dictionary)的基本函数或原子(atom)。源信号Y的原子分解的目的是确定M元的矢量X,以便Y=AX。对于矢量X,存在无限个解。简约(parsimonious)表示的目的是在Y=AX的所有解当中搜索简约的那些解,即,矢量X只有少数几个非零系数的那些解。搜索精确解实际上太复杂,因为需要非常昂贵的组合途径。一般说来,取而代之的是寻找核实N(Y-AX)≤ρ的简约表示,其中ρ是控制该表示的简约性的容限阈值(tolerancethreshold),并且其中N(.)是,例如,平方标准L2。当然,N(.)可以是除了标准L2之外的其它标准。
“匹配追踪(MP)”的方法使这样的次最佳,即,非精确解可以使用迭代过程获得。该方法在每次迭代k,生成具有数量在每次新迭代k一般增加(除了在两次迭代期间选择相同原子之外)的非零系数的表示Xk,即M元矢量。下面参考图2详细描述MP方法。
已知数据是源信号Y、字典A和阈值ρ。在初始化步骤20(迭代k=0)期间,X0=0,并按如下计算残差误差R0的初始矢量:R0=Y-AX0=Y。
在对应于第k次迭代的步骤22期间,选择与当前残差矢量Rk-1具有最高相关性的基函数其中Rk-1=Y-AXk-1. j k = arg max j | ⟨ R k - 1 , a j ⟩ | = arg max j ( a j T R k - 1 ) 2 a j T a j .
在步骤24期间,更新矢量Xk和残差矢量Rk。矢量Xk的系数按照如下公式计算:残差矢量Rk按照如下公式更新: R k = R k - 1 - x j k a j k = R k - 1 - a j T R k - 1 a j T a j a j k . 将刚计算的系数加入Xk-1中,以由此形成新表示Xk
在步骤26期间,校验一下看看是否满足停止准则。如果N(Y-AXk)≤ρ,则终止该过程,如果不是,则在步骤28期间将k加1,使该过程从步骤22重新开始。最终矢量AXk是源信号Y的近似,其中K是最后一次迭代的索引。
在图3中,示出了大小为n×n的像素块。整数“n”可以采用像,例如,4、8、16等那样的不同值。灰色块(P区)代表要预测的当前块,阴影块(C区)代表因果区,以及白色区(NC区)代表无因果区(non–causalzone)。因果区包含在当前块之前重构的像素。因果区的定义取决于图像中的块的编码次序。在图3中,假设按照称为“光栅扫描”的标准编码次序编码这些块。但是,本发明决不会局限于这种编码次序。按照本发明的编码方法包含原子分解由按行扫描的区L的像素形成的观察矢量Y,L=C∪P∪NC。因此矢量Y是大小为9n2×1的矢量。
下面参考图4详细描述按照本发明的编码方法。
在步骤30期间,例如,按照标准块匹配方法确定初始预测块Bp0。该块匹配包含在参考图像中选择使在这个预测块与要预测的当前块之间计算的失真最小化的块。这样的块Bp0是参考图像的一个块或这样块的内插版本。在这个步骤结束时,可获得以前重构的当前块的邻近块,以及对于当前块,可获得如图5所示代表当前块的数据的第一次近似的预测块Bp0。
在步骤32期间,将原子分解应用在大小为5n2×1的矢量Ycp上,该矢量Ycp包含观察区,即,邻近块(图3中的C区)的像素和已经取代要预测的当前块(图3中的P区)的数据的初始预测块Bp0的像素的数值作为数据。以前未重构的当前块的其它邻近块(图3上的NC区)的数据是零。C,NC和P区的并集(union)形成大小为3n×3n的L区。字典A包含大小与L(3n×3n)区相同、和假设具有将信号分解成基本信号的正确特性的二维基函数。当然可以考虑将像DCT(离散余弦变换)或DFT(离散傅立叶变换)那样的常用变换内核用于A。在这些特定情况下,进行信号的频率分解。分别与DFT和DCT相关联的基函数或原子的表达式如下:
g p , q ( m , n ) = e 2 iπ ( mp M + nq N ) , 以及
g p , q ( m , n ) = cos ( pπ ( 2 m + 1 ) 2 M ) cos ( qπ ( 2 n + 1 ) 2 N ) .
字典A必须至少包含代表L区的9n2个原子。为了能够包含在2D矩阵中每个大小是3n×3n的9n2个二维原子,必须将原子矢量化。因此,字典A由每一列代表大小为9n2×1的原子的9n2个列构成。因此,字典A由9n2×9n2元构成。
DCT和DFT的选择不是限制性的。事实上,可以从能够代表图像中的任何图案类型的任何基函数(Gabor原子、各向异性原子等)丰富该字典。原子的数量,或此外矩阵A中的列的数量具有矢量化区L的大小(即,9n2)作为最小值,但没有理论最大值。原子的数量越大,恢复信号的机会就越大。
唯一有用的像素是C和P区的那些像素,其它像素是零。这个观察矢量Ycp就是可用于MP方法的预测支持。
在步骤34期间,从如图7所示的中提取与P区相对应的大小为n2的矢量以块形式重组(矢量化操作的逆操作)提取的数据重组数据代表当前块的新预测块Bp。这个预测块Bp比Bp0更均匀,尤其由于考虑了当前块的空间环境。
在步骤36期间,通过从当前块Bc中提取预测块Bp,例如,通过逐个像素相减确定残差块Br。
在步骤38期间,编码残差块。这个编码步骤一般包含将残差块变换成系数块,量化这些系数以及将它们熵编码在流F中。按照一种变型,可以包含量化残差以及将它们熵编码在流F中。
按照一种变型,将迭代(MP方法的步骤24)期间确定的序列组Xk存储在存储器中。Xopt不再等于XK,K是最后一次迭代的索引,但 k opt = min k ∈ [ 1 , K ] N ( Y p - A p X k )
其中:
-Ap是与要预测的P区相关联的大小n2×9n2的矩阵;以及
-Yp是与要预测的P区相关联的大小n2×1的矢量。
在图8中示出了Ap和Yp。这种变型使Xopt能够被确定为未必与C∪P区上的最佳表示相对应的P区的最佳表示。以块形式重组(矢量化操作的逆操作)数据按照这种变型,也将系数kopt编码在流F中。事实上,矢量Yp的数据是解码器未知的。重组数据代表当前块的新预测块Bp。
在标准编码方法中,这种编码模式可以通过与Bp0相对应的时间预测取代标准编码模式,或可以补充它,通过编码模式判定模块测试的两种模式以及提供最佳位速率失真的模式保持折衷。
图9示意性地示出了按照本发明重构当前块的方法。
在步骤40期间,为当前块解码残差块Br。例如,将流F的一部分解码成系数。去量化该系数,然后如果有必要,通过逆变换将其变换成在步骤14中在编码器侧使用的那种。因此获得残差块。按照一种变型,省略逆变换步骤,尤其当没有在步骤14中在编码器侧应用变换步骤时。
在步骤42期间,例如,依据从流F中解码的一个或多个运动矢量确定初始预测块Bp0。按照一种变型,初始预测块Bp0是通过“模板匹配”技术确定的。这样的技术尤其描述在T.K.Tan等人在2006年ICIP会议期间发表的标题为“Intrapredictionbytemplatematching(通过模板匹配的内部预测)的文献中。
这样的块Bp0是参考图像的一个块或这样块的内插版本。在这个步骤结束时,可获得以前重构的当前块的邻近块,以及对于当前块,可获得如图5所示代表当前块的数据的第一次近似的预测块Bp0。
在步骤44期间,将原子分解应用在大小为9n2×1的矢量Y上,该矢量Y包含观察区,即,邻近块(图3中的C区)的像素和已经取代要预测的当前块(图3中的P区)的数据的初始预测块Bp0的像素的数值、和代表以前未重构的当前块的其它邻近块(图3中的NC区)的数据的零值作为数据。C,NC和P区的并集形成大小为3n×3n的L区。字典A包含大小与L(3n×3n)区相同、和假设具有将信号分解成基本信号的正确特性的二维基函数。当然可以考虑将像DCT(离散余弦变换)或DFT(离散傅立叶变换)那样的常用变换内核用于A。在这些特定情况下,进行信号的频率分解。分别与DFT和DCT相关联的基函数或原子的表达式如下:
g p , q ( m , n ) = e 2 iπ ( mp M + nq N ) , 以及
g p , q ( m , n ) = cos ( pπ ( 2 m + 1 ) 2 M ) cos ( qπ ( 2 n + 1 ) 2 N ) . 字典A必须至少包含代表L区的9n2个原子。为了能够包含在2D矩阵中每个大小是3n×3n的9n2个二维原子,必须将原子矢量化。因此,字典A由每一列代表大小为9n2×1的原子的9n2个列构成。因此,字典A由9n2×9n2元构成。
DCT和DFT的选择不是限制性的。事实上,可以从能够代表图像中的任何图案类型的任何基函数(Gabor原子、各向异性原子等)丰富该字典。原子的数量,或此外矩阵A中的列的数量具有矢量化区L的大小(即,9n2)作为最小值,但没有理论最大值。原子的数量越大,恢复信号的机会就越大。
唯一有用的像素是C和P区的那些像素,其它像素是零。注意,Ycp的元数等于5n2×1个像素,该矢量只包含因果区C和初始预测块Bp0的像素。这个观察矢量Ycp将是可用于MP方法的预测支持。
如图6所示,为了能够表示5n2×1元的Ycp的数据(而不是Y的那些),通过消除其与C和P区以外的所有像素相对应的行修改矩阵A。事实上,所有这些像素都是未知的,并且具有零值。因此获得大小为5n2×9n2的在高度方面缩减的记作Ac的矩阵。将匹配追踪方法或另一等效方法用于在Ycp=AcX问题的该组简约解当中确定使重构误差最小化的记作Xopt的那个。因此迭代地应用参考图2所描述的步骤20到28,以便确定Xopt,以及作为观察数据的Ycp和作为字典的矩阵Ac。只要停止准则N(Ycp-AcXk)≤ρ得到核实就停止该方法:Xopt=XK,K是最后一次迭代的索引。最后矢量是矢量Y的近似。
在步骤46期间,从如图7所示的中提取与P区相对应的大小为n2的矢量以块形式重组(矢量化操作的逆操作)提取的数据重组数据代表当前块的新预测块Bp。这个预测块Bp比Bp0更均匀,尤其由于考虑了当前块的空间环境。
在步骤48期间,通过合并在步骤46中确定的预测块Bp和在步骤40中解码的残差块,例如,通过逐个像素相加重构当前块Bc。
按照一种变型,从流F中解码索引Kopt。Xopt不再等于XK,K是最后一次迭代的索引,但这种变型使Xopt能够被确定为未必与C∪P区上的最佳表示相对应的P区的最佳表示。以块形式重组(矢量化操作的逆操作)数据重组数据代表当前块的新预测块Bp。
图10示意性地示出了编码设备12。编码设备12在输入端上接收一个或多个图像。编码设备12能够实现参考图4所述的按照本发明的编码方法。每个图像被划分成每一个与至少一项图像数据相关联的像素的块。编码设备12尤其实现利用时间预测的编码。在图10中只示出了编码设备12与通过时间预测的编码或INTER编码有关的模块。未示出视频编码器的普通技术人员熟知的其它模块(例如,选择编码模式、空间预测)。编码设备12尤其包含了能够,例如,通过逐个像素相减,从当前块Bc中提取预测块Bp以生成残差块Br的计算模块1200。计算模块1200能够实现按照本发明的编码方法的步骤36。它进一步包含能够变换残差块Br然后将其量化成量化数据的模块1202。变换T是,例如,离散余弦变换(DCT)。编码设备12还包含能够将量化数据编码成流F的熵编码模块1204。它还包含进行模块1202的逆操作的模块1206。模块1206进行逆量化Q-1然后进行逆变换T-1。模块1206与计算模块1208连接,计算模块1208能够,例如,通过逐个像素相加,合并来自模块1206的数据块和预测块Bp,以生成存储在存储器1210中的重构块。
第一预测模块1216确定初始预测块Bp0。第一预测模块1216能够实现按照本发明的编码方法的步骤30。编码设备12包含第二预测模块1218。第二预测模块1218从存储在存储器1210中的已经重构的数据中以及从初始预测块Bp0中确定预测块Bp。第二预测模块1218能够实现按照本发明的编码方法的步骤32和34。该编码方法的步骤38在模块1202和1204中实现。
图11示意性地示出了解码设备13。解码设备13在输入端上接收代表图像的流F。流F是,例如,编码设备12经由信道发送的。解码设备13能够实现参考图9所描述的按照本发明的解码方法。解码设备13包含能够生成解码数据的熵解码模块1300。然后将解码数据发送给能够进行逆量化后进行逆变换的模块1302。模块1302与生成流F的编码设备12的模块1206相同。模块1302与计算模块1304连接,计算模块1304能够,例如,通过逐个像素相加,合并来自模块1302的块和预测块Bp,以生成存储在存储器1306中的重构当前块Bc。计算模块1304能够实现重构方法的步骤48。解码设备13包含预测模块1308。预测模块1308确定初始预测块Bp0。预测模块1308能够实现按照本发明的重构方法的步骤42。它还包含第二预测模块1310。第二预测模块1310从存储在存储器1310中的已经重构的数据中以及从初始预测块Bp0中确定预测块Bp。第二预测模块1310能够实现按照本发明的重构方法的步骤44和46。该重构方法的步骤40在模块1300和1302中实现。
当然,本发明不局限于上述的实施示例。
尤其,本领域的技术人员可以将任何变型应用于所述实施例,并组合它们以便从它们的各种优点中获益。事实上,除了匹配追踪方法之外的其它方法也可以用于确定矢量Xopt。同样,如图12所示,也可以改变因果区的形式。在这个图中,加阴影的是所考虑的因果区。本发明决不会局限于因果区只作为例示性示例示出的这些形式。在这个图中,方块具有任何尺寸。从按照本发明的方法独立于图像中的方块的扫描次序的意义上来讲,因果区可以处在与预测块有关的任何位置上。在参考图5所述的实施例中,以与P型时间预测相对应的显示次序从位于当前图像之前的参考图像中导出初始预测Bp0。本发明不局限于这种预测类型。事实上,预测块Bp0可以以显示次序从位于当前图像之后的参考图像中预测得到。它还可以从双向或双预测的预测中得到。

Claims (16)

1.一种编码图像的序列的当前块的方法,其包含如下步骤:
-为所述当前块确定(30,32,34)预测块;
-从所述当前块中和从所述预测块中确定(36)残差块;以及
-编码(38)所述残差块,
该方法的特征在于,按照如下步骤确定所述预测块:
-从至少一个运动矢量和至少一个参考图像中确定(30)初始预测块;
-对数据矢量Ycp应用(32)原子分解以获得分解矢量,其中所述数据矢量Ycp包含所述当前块的重构邻近块的图像数据和初始预测块的数据,并且其中应用原子分解包含:
a)在原子字典中选择与Rk-1最相关的原子,其中Rk-1是在数据矢量Ycp与Ac*Xk-1之间计算的残差,其中Xk-1是在第k-1次迭代确定的矢量,其中k是整数,Ac是每列代表所述字典的原子的矩阵,
b)从所述所选原子中计算Xk和Rk
c)迭代a)和b)直到如下停止准则N(Ycp-AcXk)≤ρ,其中ρ是阈值,N(.)是范数;
以及
-从所述分解矢量中提取(34)与所述当前块相对应的数据以及将所述提取数据重组成所述预测块。
2.按照权利要求1所述的编码方法,其中从所述分解矢量中提取(34)与所述当前块相对应的数据包含从矢量中提取预测块,其中是矢量Xk之一。
3.按照权利要求2所述的编码方法,其中其中K是最后一次迭代的索引。
4.按照权利要求2所述的编码方法,其中是按照如下步骤确定的:
-在每次迭代时存储Xk
-从存储的Xk中选择对于其N(Yp-ApXk)值最低的Xk,其中YP是Ycp与当前块相对应的部分,和Ap是矩阵Ac与当前块相对应的部分;以及
-从中确定预测块,其中是在以前步骤中选择的Xk
5.一种以编码数据流的形式重构图像的序列的当前块的方法,其包含如下步骤:
-通过解码所述编码数据流的一部分确定(40)残差块;
-为所述当前块确定(42,44,46)预测块;
-从所述残差块中和从所述预测块中重构(48)所述当前块,
该方法的特征在于,按照如下步骤确定所述预测块:
-从至少一个运动矢量和至少一个参考图像中确定(42)初始预测块;
-对数据矢量Ycp应用(44)原子分解方法以获得分解矢量,其中所述数据矢量Ycp包含所述当前块的重构邻近块的图像数据和初始预测块的数据,并且其中应用原子分解方法包含:
a)在原子字典中选择与Rk-1最相关的原子,其中Rk-1是在数据矢量Ycp与Ac*Xk-1之间计算的残差,其中Xk-1是在第k-1次迭代确定的矢量,其中k是整数,Ac是每列代表所述字典的原子的矩阵,
b)从所述所选原子中计算Xk和Rk
c)迭代a)和b)直到如下停止准则N(Ycp-AcXk)≤ρ,其中ρ是阈值,N(.)是范数;
以及
-从所述分解矢量中提取(46)与所述当前块相对应的数据以及将所述提取数据重组成所述预测块。
6.按照权利要求5所述的重构方法,其中从所述分解矢量中提取(46)与所述当前块相对应的数据包含从矢量中提取预测块,其中是矢量Xk之一。
7.按照权利要求6所述的重构方法,其中其中K是最后一次迭代的索引。
8.按照权利要求6所述的重构方法,其中是按照如下步骤确定的:
-在每次迭代时存储Xk
-从存储的Xk中选择对于其N(Yp-ApXk)值最低的Xk,其中YP是Ycp与当前块相对应的部分,和Ap是矩阵Ac与当前块相对应的部分;以及
-从中确定预测块,其中是在以前步骤中选择的Xk
9.一种编码图像的序列的当前块的设备,其包含如下:
-为所述当前块确定(1216,1218)预测块的部件;
-从所述当前块中和从所述预测块中确定(1200)残差块的部件;
-编码(1204)所述残差块的部件,
其特征在于,为所述当前块确定(1216,1218)预测块的所述部件包含:
-从至少一个运动矢量和至少一个参考图像中确定(1216)初始预测块的部件;
-对数据矢量Ycp应用(1218)原子分解以获得分解矢量的部件,其中所述数据矢量Ycp包含所述当前块的重构邻近块的图像数据和初始预测块的数据,并且其中应用原子分解的部件被配置为:
a)在原子字典中选择与Rk-1最相关的原子,其中Rk-1是在数据矢量Ycp与Ac*Xk-1之间计算的残差,其中Xk-1是在第k-1次迭代确定的矢量,其中k是整数,Ac是每列代表所述字典的原子的矩阵,
b)从所述所选原子中计算Xk和Rk
c)迭代a)和b)直到如下停止准则N(Ycp-AcXk)≤ρ,其中ρ是阈值,N(.)是范数;
以及
-从所述分解矢量中提取(1218)与所述当前块相对应的数据以及将所述提取数据重组成所述预测块的部件。
10.按照权利要求9所述的编码设备,其中从所述分解矢量中提取与所述当前块相对应的数据的部件包含用于从矢量中提取预测块的部件,其中是矢量Xk之一。
11.按照权利要求10所述的编码设备,其中其中K是最后一次迭代的索引。
12.按照权利要求10所述的编码设备,其中是通过如下部件确定的:
-用于在每次迭代时存储Xk的部件;
-用于从存储的Xk中选择对于其N(Yp-ApXk)值最低的Xk的部件,其中YP是Ycp与当前块相对应的部分,和Ap是矩阵Ac与当前块相对应的部分;以及
-用于从中确定预测块的部件,其中是由用于选择的部件选择的Xk
13.一种以编码数据流的形式重构图像的序列的当前块的解码设备,其包含:
-通过解码所述编码数据流的一部分确定(130)残差块的部件;
-为所述当前块确定(1308,1310)预测块的部件;以及
-从所述残差块中和从所述预测块中重构(1304)所述当前块的部件,
其特征在于,为所述当前块确定(1308,1310)预测块的所述部件包含:
-从至少一个运动矢量和至少一个参考图像中确定(1308)初始预测块的部件;
-对数据矢量Ycp应用(1310)原子分解方法以获得分解矢量的部件,其中所述数据矢量Ycp包含所述当前块的重构邻近块的图像数据和初始预测块的数据,并且其中应用原子分解的部件被配置为:
a)在原子字典中选择与Rk-1最相关的原子,其中Rk-1是在数据矢量Ycp与Ac*Xk-1之间计算的残差,其中Xk-1是在第k-1次迭代确定的矢量,其中k是整数,Ac是每列代表所述字典的原子的矩阵,
b)从所述所选原子中计算Xk和Rk
c)迭代a)和b)直到如下停止准则N(Ycp-AcXk)≤ρ,其中ρ是阈值,N(.)是范数;
以及
-从所述分解矢量中提取(1310)与所述当前块相对应的数据以及将所述提取数据重组成所述预测块的部件。
14.按照权利要求13所述的解码设备,其中从所述分解矢量中提取与所述当前块相对应的数据的部件包含用于从矢量中提取预测块的部件,其中是矢量Xk之一。
15.按照权利要求14所述的解码设备,其中其中K是最后一次迭代的索引。
16.按照权利要求14所述的解码设备,其中是通过如下部件确定的:
-用于在每次迭代时存储Xk的部件;
-用于从存储的Xk中选择对于其N(Yp-ApXk)值最低的Xk的部件,其中YP是Ycp与当前块相对应的部分,和Ap是矩阵Ac与当前块相对应的部分;以及
-用于从中确定预测块的部件,其中是由用于选择的部件选择的Xk
CN201180009281.1A 2010-02-11 2011-02-09 编码和重构图像序列的块的方法 Expired - Fee Related CN102763414B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
FR1050963 2010-02-11
FR1050963 2010-02-11
PCT/EP2011/051896 WO2011098488A1 (en) 2010-02-11 2011-02-09 Method for coding and for reconstruction of a block of an image sequence

Publications (2)

Publication Number Publication Date
CN102763414A CN102763414A (zh) 2012-10-31
CN102763414B true CN102763414B (zh) 2016-05-04

Family

ID=42633075

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201180009281.1A Expired - Fee Related CN102763414B (zh) 2010-02-11 2011-02-09 编码和重构图像序列的块的方法

Country Status (7)

Country Link
US (1) US20130195371A1 (zh)
EP (1) EP2534840A1 (zh)
JP (1) JP5931747B2 (zh)
KR (1) KR20130001220A (zh)
CN (1) CN102763414B (zh)
BR (1) BR112012017686A2 (zh)
WO (1) WO2011098488A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013155875A1 (en) * 2012-04-16 2013-10-24 The Hong Kong University Of Science And Technology Distributive source coding and signal processing
EP3211894B1 (en) * 2014-10-21 2020-03-04 LG Electronics Inc. Method and apparatus for performing graph-based prediction by using optimization function

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1592421A (zh) * 2003-05-07 2005-03-09 株式会社Ntt都科摩 活动图像编码装置和方法以及活动图像解码装置和方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7746929B2 (en) * 2003-08-05 2010-06-29 Trident Microsystems (Far East) Ltd. Video encoding and decoding methods and corresponding devices
CN101518085A (zh) * 2006-09-22 2009-08-26 汤姆森许可贸易公司 多通道视频编码和解码的方法及装置
FR2939264B1 (fr) * 2008-12-03 2011-04-08 Institut National De Rech En Informatique Et En Automatique Dispositif d'encodage d'un flux d'images numeriques et dispositif de decodage correspondant

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1592421A (zh) * 2003-05-07 2005-03-09 株式会社Ntt都科摩 活动图像编码装置和方法以及活动图像解码装置和方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
A Two Pass H.264-Based Matching Pursuit Video Coder;BEIBEI WANG ET AL;《IMAGE PROCESSING, 2006 IEEE INTERNATIONAL CONFERENCE ON, IEEE, PI》;20061001;第3149-3152页 *
Atomic decomposition dedicated to AVC and spatial SVC prediction;AURELIE MARTIN ET AL;《IMAGE PROCESSING, 2008. ICIP 2008. 15TH IEEE INTERNATIONAL CONFERENCE, IEEE, PISCATAWAY, NJ, USA》;20081012;正文第2492-2494页 *
CAUSAL FRACTAL COMPRESSION OF VIDEO SEQUENCES USING MATCHING PURSUIT;GHARAVI-ALKHANSARI M ET AL;《INTERNATIONAL JOURNAL OF IMAGING SYSTEMS AND TECHNOLOGY, WILEY AND SONS, NEW YORK, US LNKD-DOI》;19980101;第9卷(第5期);第305-319页 *
Intra Prediction by Template Matching;THIOW KENG TAN ET AL;《IMAGE PROCESSING, 2006 IEEE INTERNATIONAL CONFERENCE ON, IEEE, PI》;20061001;第1693-1696页 *
Very Low Bit-Rate Video Coding Based on Matching Pursuits;RALPH NEFF ET AL;《IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY, IEEE SERVICE CENTER, PISCATAWAY, NJ, US》;19970201;第7卷(第1期);第158-166页 *

Also Published As

Publication number Publication date
KR20130001220A (ko) 2013-01-03
JP5931747B2 (ja) 2016-06-08
BR112012017686A2 (pt) 2016-04-05
WO2011098488A1 (en) 2011-08-18
EP2534840A1 (en) 2012-12-19
US20130195371A1 (en) 2013-08-01
CN102763414A (zh) 2012-10-31
JP2013520058A (ja) 2013-05-30

Similar Documents

Publication Publication Date Title
CN102474608B (zh) 解码代表图像序列的编码数据流的方法和编码图像序列的方法
KR102011491B1 (ko) 템플릿 매칭을 이용한 영상 부호화 방법 및 장치, 그리고 복호화 방법 및 장치
CN102714721A (zh) 编码图像块的方法和重构图像块的方法
CN103098473A (zh) 对帧内预测使用自适应dct/dst的低复杂度变换编码
CN103329522A (zh) 用于使用字典编码视频的方法
US11516478B2 (en) Method and apparatus for coding machine vision data using prediction
CN105474642A (zh) 使用频域差对图像集合进行重新编码
CN105850136B (zh) 使用预测信号和变换编译信号预测视频信号的方法和装置
TWI468018B (zh) 使用向量量化解區塊過濾器之視訊編碼
JP5909149B2 (ja) 色変換装置、符号化器および復号器ならびにそれらのプログラム
CN102918838B (zh) 图像序列的一个块的编码方法和重构方法
Narmatha et al. A LS-compression scheme for grayscale images using pixel based technique
Duong et al. Multi-rate adaptive transform coding for video compression
CN102726045B (zh) 编码和解码图像块的方法
Abou-Elailah et al. Fusion of global and local motion estimation using foreground objects for distributed video coding
CN102763414B (zh) 编码和重构图像序列的块的方法
CN110100437A (zh) 用于有损视频编码的混合域协作环路滤波器
CN103139563A (zh) 编码和重构像素块的方法以及相应设备
US10616602B2 (en) Method and device for deriving inter-view motion merging candidate
CN104937938A (zh) 用于比较两个像素块的方法和设备
CN103430543A (zh) 重构和编码图像块的方法
Vijay et al. A review of image transmission using real time technique over wmsn
Rhee et al. Resolution-Adaptive Lossless Image Compression Using Frequency Decomposition Network
WO2012005537A2 (ko) 템플릿 매칭을 이용한 영상 부호화 방법 및 장치, 그리고 복호화 방법 및 장치
CN103002279A (zh) 编码并重构像素块的方法及其对应设备

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20160504

Termination date: 20180209