CN103718560B - 用于对图像进行编码和解码的方法和装置 - Google Patents

用于对图像进行编码和解码的方法和装置 Download PDF

Info

Publication number
CN103718560B
CN103718560B CN201280036747.1A CN201280036747A CN103718560B CN 103718560 B CN103718560 B CN 103718560B CN 201280036747 A CN201280036747 A CN 201280036747A CN 103718560 B CN103718560 B CN 103718560B
Authority
CN
China
Prior art keywords
cause
subregion
effect
coding
current partition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201280036747.1A
Other languages
English (en)
Other versions
CN103718560A (zh
Inventor
J-M.蒂斯
J.琼
M.安东尼尼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Orange SA
Original Assignee
France Telecom SA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by France Telecom SA filed Critical France Telecom SA
Publication of CN103718560A publication Critical patent/CN103718560A/zh
Application granted granted Critical
Publication of CN103718560B publication Critical patent/CN103718560B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/513Processing of motion vectors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/19Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding using optimisation based on Lagrange multipliers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/105Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146Data rate or code amount at the encoder output
    • H04N19/147Data rate or code amount at the encoder output according to rate distortion criteria
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46Embedding additional information in the video signal during the compression process
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/547Motion estimation performed in a transform domain
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/567Motion estimation based on rate distortion criteria
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/11Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H04N19/122Selection of transform size, e.g. 8x8 or 2x4x8 DCT; Selection of sub-band transforms of varying structure or type
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46Embedding additional information in the video signal during the compression process
    • H04N19/463Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/513Processing of motion vectors
    • H04N19/517Processing of motion vectors by encoding
    • H04N19/52Processing of motion vectors by encoding by predictive encoding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明涉及至少一个图像(IN)的编码,该图像(IN)被分割为分区(PA1、PA2、……、PAn),其特征在于,所述方法对于要编码的当前分区来实现以下步骤:选择(C2)已经编码并然后解码的至少一个因果分区;通过比较应用于所述所选择的因果分区的多个编码参数,根据编码性能的预定准则,来计算(C4)与所述所选择的因果分区相关联的至少一个最优编码参数(Idx1、Idx2、……、IdxK);以及借助于所述所计算的最优编码参数来对该当前分区进行编码。

Description

用于对图像进行编码和解码的方法和装置
技术领域
本发明一般地涉及图像处理的领域,且更具体地,涉及数字图像和数字图像序列的基于竞争的编码和解码。
更具体地,本发明涉及使用视频序列的块表现的图像或视频序列的压缩。
本发明可特别地(但是非排他性地)应用于在现有的视频编码器及其修改(MPEG、H.264、H.264SVC、H.264MVC等)或者将来的视频编码器(ITU-T/VCEG(H.265)或ISO/MPEG(HVC))中使用的视频编码,并且可应用于对应的解码。
背景技术
数字图像和图像序列占用大量存储器,这需要当进行发送时必须对这种图像进行压缩,以避免用于这种传送的通信网络上的拥塞问题(假设在这种网络上的可用比特率通常受到限制的情况下)。在存储这种数据时,这种压缩也是期望的。
已知用于对视频数据进行压缩的众多技术。这些技术包括众多的视频编码技术(尤其是H.264技术),其使用当前图像的像素块组相对于属于相同图像或者属于在前或随后图像的其他像素块组的空间或时间预测技术。
更具体地,在H.264技术中,相对于使用运动补偿所编码/解码的其他I、P或B图像,使用空间预测(帧内预测)来对I图像进行编码,并且使用时间预测(帧间预测)来对P和B图像进行编码。
通常将这种图像划分为宏块,所述宏块自身被划分为分区(partition),所述分区包括像素集合(例如,8×8)。对于每个分区来编码残差(residual)分区,该残差分区还已知为预测残差,其表现了原始分区减去预测。在此预测性编码之后,通过离散余弦变换(DCT)来对残差分区进行变换,并然后进行量化。然后,按照读取顺序来对量化后的残差分区的系数进行扫描,这使得可能利用高频中的可观数目的零系数,并然后通过熵编码来对所述系数进行编码。
根据本发明,分区可以由通常为正方形或者矩形的块组成,尽管它可以具有不同的形状,诸如线性、L形状等。根据本发明的分区还可以具有完全任意的形状。
在H.264技术中,例如,如果将宏块划分为块,则将与每个块对应的数据信号发送到解码器。这种信号包括:
-残差数据,所述残差数据是残差量化块的系数,并且可能地,当在帧间模式中进行编码时,所述残差数据是运动向量的残差数据,
-编码参数,所述编码参数表现了所使用的编码模式,具体地:
·预测方法(帧内预测、帧间预测、通过执行其中不向解码器发送信息的预测的默认预测(中文中的“跳过(skip)”));
·用于标识预测类型的信息(定向、参考图像等);
·分区类型;
·变换类型,例如,DCT 4×4、DCT 8×8等
·运动信息,当必要时;
·等等;
逐图像地执行解码,并且对于每个图像,逐宏块地进行解码。对于宏块的每个分区,读取信号的对应元素。进行块的系数的逆量化和逆变换。然后,计算分区的预测,并且通过将该预测添加到所解码的预测残差来重构该分区。
因而,(如在H264标准中实现的)基于竞争的帧内或帧间编码依赖于对各种编码参数(诸如,上述的那些编码参数)进行竞争性地比较,以便选择最佳的编码模式,即,将根据本领域技术人员公知的预定性能准则(例如,速率/失真成本)来对所考虑的分区的编码进行优化的模式。
按照通常称为竞争索引(competition index)的标识符的形式,将表现了所选择的编码模式的编码参数包含在由编码器向解码器传送的数据信号中。因而,解码器能够标识在编码器处选择的编码模式,然后,能够根据此模式来应用预测。
向这些竞争索引分配的带宽是不可忽略的,其至少在30%左右。而且,由于新的编码参数(诸如,新的分区维度、新的分区形状、新的帧内预测参数等)的不断增加的范围,它也倾向于增加。
已经提出了众多的解决方案来减少这种索引的信令成本。
文献J.-M.Thiesse,J.Jung,M.Antonini,“Data Hiding of motioninformationin chroma and luma samples”,ICIP,Hong Kong,Sep.2010提出了,使用标记(marking)技术来减少源自于帧间编码上的改善的编码信令信息的成本。主要想法是将编码信令索引隐藏在精心挑选的变换后的和量化后的色度和亮度系数中。为了使得预测误差最小化,使用率失真优化来实现该修改。这种解决方案的优点在于它仅仅向解码器添加有限的复杂度。尽管如此,所隐藏的信令索引的数目是有限的,从而不会导致预测上的过分劣化。
文献Jingjing Dai;Au,O.C.;Wen Yang;Chao Pang;Feng Zou;Yu Liu;"Motionvector encoding based on predictor selection and boundary-matchingestimation",Multimedia Signal Processing,2009-MMSP'09.pp.1-5,5-7Oct.2009提出了,在对当前分区进行编码时,通过使用模板匹配技术的竞争来选择至少一个运动向量预测器。随后,在解码器中使用此技术,以消除在编码流中发送运动信息的需求,其信令成本是很高的。模板匹配技术涉及比较当前分区的像素的强度与一个或多个已经编码然后解码的因果(causal)分区的像素的强度,选择指向以下因果分区的运动向量,该因果分区包含在强度上最接近于当前分区像素的像素,然后对如此选择的运动向量进行预测。此技术的一个缺点在于,当前分区与所选择的因果分区之间的匹配限于像素强度的比较,并没有考虑例如在要编码(或解码)的当前分区与该因果分区之间可能存在的尺寸或形状上的任何不匹配。此外,使用此技术来竞争性比较的因果分区经常是位于相对于要编码的当前分区的某些预定方向(即,通常为当前分区的上边或左边)的分区。这导致当前分区的不精确预测,其导致在当前分区的编码(或解码)期间的不可忽略的误差。
文献Laroche,G.;Jung,J.;Pesquet-Popescu,B.;"Intra Encoding withPrediction Mode Information Inference,"Circuits and Systems for VideoTechnology,IEEE Transactions on circuits and systems for video technology,vol.20,no.12,pp.1786-1796,December 2010提出了,对于当前分区的帧内编码,在对预定帧内预测器的集合进行竞争性比较之前,从此集合中删除一个或多个冗余帧内预测器。这种删除取决于预定的删除准则,该删除准则不取决于要编码的原始图像,并因此在解码器中是可再现的。这种方法无疑使得可能使用更少的帧内预测器来对当前分区进行编码,但是它既没有完全地去除信令成本,也没有考虑到新预测器的添加。
发明内容
本发明的目标之一在于,克服前述现有技术的缺点。
为此目的,本发明的一个目的涉及一种用于对至少一个图像进行编码的方法,该图像被划分为分区,这种方法值得注意之处在于,所述方法对于要编码的当前分区,实现以下步骤:
-选择已经编码然后解码的至少一个因果分区;
-通过竞争性地比较应用于所选择的所述因果分区的多个编码参数,使用预定的编码性能准则,来计算与所选择的所述因果分区相关联的至少一个最优编码参数,
-使用所计算的所述最优编码参数来对该当前分区进行编码。
这种方式消除了在基于竞争的帧内或帧间编码中、用于在已经竞争性地比较了多个编码参数之后、在要发送到解码器的信号中包括所计算的一个或多个合成索引(composition index)的需求。这产生了信令成本上不可忽略的减少,这是因为可以在解码器中再现这种方式。
这种方式使得可能对于固定的编码参数来增加倾向于被竞争性比较的相同类型的或相似类型的参数的数目。例如,在使用其中可以竞争性地比较九个空间预测器的标准H.264的帧内8×8或4×4编码的情况下,本发明使得可能在竞争性比较期间、容易地添加其他空间预测器,而不会由此使比特率劣化,同时作为结果而改善了图像的重构。
根据另一特定实施例,所述因果分区选择步骤涉及:
-确定多个因果分区,
-使用所述预定编码性能准则来计算与所述因果分区中的每一个相关联的至少一个最优编码参数,
-使用所述预定编码性能准则来计算与所述当前分区相关联的至少一个最优编码参数,
-比较相对于所述当前分区所确定的最优编码参数、和相对于所述因果分区中的每一个分别确定的每一个最优编码参数,
-选择以下因果分区,该因果分区具有与所述当前分区的最优编码参数值最接近的最优编码参数值。
与使用仅仅基于像素关联性的块匹配算法的现有技术中的默认选择相比,这种方式使得因果分区选择更加严格且更加准确。
这种方式使得可能选择不但在纹理(texture)方面、而且在编码模式或其他代表性准则方面与当前分区最相似的因果分区。
这种因果分区可以位于当前图像中或位于预先编码然后解码的另一图像中。
一般地,在对当前分区进行编码时,可以在任何可用层中找到该因果分区。具体地,在可伸缩视频编码的情况下,可以在基本层或增强层中找到该因果分区。在多视点(multiview)视频编码的情况下,还可以在与另一视点对应的层中找到它。
应该注意的是,一旦已经选择了至少一个因果分区,就确定了用于定义要编码的当前分区与所选择的因果分区之间的移动的运动参数。
根据本发明的优选实施例,不必在编码流中向解码器发送这种运动参数,特别是当解码器自身能够重新计算此参数时。
替换地,在编码流中向解码器发送这种运动参数,该解码器只需读取它即可。
例如,这种运动参数包括指向所选择的所述因果分区的运动向量。例如,使用与相邻于所选择的所述因果分区的另一因果分区相关联的至少一个运动向量来计算这种向量。
根据另一特定实施例,使用不同类型的至少两个最优编码参数来对所述当前分区进行编码。
这种方式使得可能更加精细地对当前分区进行编码,这是因为它使用不同类型的两个编码参数,而所述两个编码参数都是被最优选择的。例如,它们可以是第一参数,用于优化因果分区的帧内预测;以及第二参数,用于优化另一因果分区的预测的变换后和量化后参数的欠采样。
自然地,可以确定多于两个最优编码参数,其中当前分区的编码的精度作为所使用的最优编码参数的数目的函数而增加。
根据另一特定实施例,使用以下编码性能准则中的至少一个:
-率失真准则,其中通过仿真来计算该率,
-失真准则。
根据另一特定实施例,所选择的所述因果分区来自于在先的几何变换,并然后,对与此变换相关联的索引进行编码。
这种方式倾向于根据本发明来对预先选择的因果分区进行变形,以便优化该预先选择的因果分区与要编码的当前分区之间的尺寸和形状匹配。
例如,这种变换涉及将旋转、对称等应用于该因果分区,几何变换类型与被设计为在数据流中发送到解码器的索引相关联。
这种方式使得可能进一步优化预测,这利用编码成本(中文中的“比特率”)上的有限增加而提高了要重构的图像的质量,这是由于通常向几何变换索引分配单一比特。
本发明还涉及一种用于对至少一个图像进行编码的装置,该图像被划分为分区,这种装置值得注意之处在于,所述装置对于要编码的当前分区,包括以下部件:
-用于选择已经编码然后解码的至少一个因果分区的部件,
-能够通过竞争性地比较应用于所选择的所述因果分区的多个编码参数、使用预定的编码性能准则、来计算与所选择的所述因果分区相关联的至少一个最优编码参数的处理部件,
-用于使用所计算的所述最优编码参数来对该当前分区进行编码的部件。
本发明还涉及一种用于对表现了至少一个图像的数据信号进行解码的方法,该至少一个图像被划分为包括已经编码然后解码的至少一个因果分区的分区,这种解码方法值得注意之处在于,所述方法对于前述图像中的要重构的至少一个当前分区,包括以下步骤:
-根据与要重构的所述当前分区相关联的至少一个运动参数来确定至少一个因果分区,
-竞争性地比较应用于所确定的所述因果分区的多个编码参数,
-使用预定的编码性能准则来确定与所述因果分区相关联的至少一个最优编码参数,
-使用被用作所述当前分区的解码参数的、所确定的所述最优编码参数来重构所述当前分区。
这种解码方法的一个优点在于以下事实,即在编码期间执行的用于确定运动参数并计算最优编码参数的操作可以在解码期间被再现。这消除了用于在由解码器接收的数据信号中发送与运动参数相关的索引和与最优编码参数相关的索引的需求,其显著地减少了这种索引的信令成本。如上面相对于编码方法所提及的,竞争性地比较应用于所解码的因果分区的任何编码参数类型与在编码期间获得的优点相同,并且它们使得解码能够获得具有更高质量的当前分区的(并最终地,图像的)重构。
根据特定实施例,通过计算或从所述数据信号中读取所述运动参数来确定它。
根据其中没有将运动参数索引添加到向解码器发送的信号的第一替换方案中,在解码期间,独立地执行与要重构的当前分区相关联的运动参数的计算,其与在编码期间执行的计算一致。
根据其中与第一替换方案相比在信令方面成本稍高的、并且其中将至少一个运动参数索引添加到要向解码器发送的信号的第二替换方案中,在解码期间,通过简单地从所接收到的信号中提取该运动参数来读取与要重构的当前分区相关联的运动参数。
根据另一特定实施例,该运动参数是指向所述因果分区的运动向量,根据与相邻于所述因果分区的另一因果分区相关联的至少一个参考运动向量来计算这种运动向量。
在应用标准H264/AVC时,该另一因果分区是与由运动向量所指向的因果分区相邻的最接近的一个因果分区。将这个因果分区称为并置分区(collocated partition)。在此情况下,所述运动向量等于与此另一因果分区相关联的参考运动向量。根据变体,所述运动向量等于与以下多个因果分区分别相关联的多个运动向量的均值,所述多个因果分区被选择为与该运动向量所指向的因果分区相邻的最接近的因果分区。
根据另一特定实施例,使用被用作用于所述当前分区的解码参数的不同类型的至少两个最优编码参数,来重构该当前分区。
根据另一特定实施例,使用以下编码性能准则中的至少一个:
-率失真准则,其中通过仿真来计算该率,
-失真准则。
这种编码性能准则的选择使得能够优化图像重构质量。
根据另一特定实施例,所述因果分区源自于先前的几何变换,通过从所述信号中读取与所述几何变换相关的索引来对所述因果分区进行解码。
如上面相对于编码方法所提及的,这种方式使得能够优化在对当前分区重构时所使用的因果分区的选择,并因此利用编码成本(中文中的“比特率”)上的稍微增加来增加要重构的图像的质量,这是由于向几何变换索引分配单一比特。
相应地,本发明还涉及一种用于对表现了至少一个图像的数据信号进行解码的装置,该至少一个图像被划分为包括已经编码然后解码的至少一个因果分区的分区,这种装置值得注意之处在于,所述装置对于前述图像中的要重构的至少一个当前分区,包括以下部件:
-用于根据与要重构的所述当前分区相关联的至少一个运动参数来确定至少一个因果分区的部件,
-用于竞争性地比较应用于所确定的所述因果分区的多个编码参数的部件,
-用于使用预定的编码性能准则来确定与所述因果分区相关联的至少一个最优编码参数的部件,
-用于使用被用作所述当前分区的解码参数的、所确定的所述最优编码参数来重构所述当前分区的部件。
本发明还涉及一种计算机程序,包含以下指令,当在计算机上运行时,所述指令用于实现根据本发明的方法之一。
此程序可以使用任何编程语言,并且可以是源代码、目标代码或源代码与目标代码之间的中间代码(诸如,处于部分编译形式中),或者处于所需的任何其他形式中。
本发明还涉及一种计算机可读存储介质,包含计算机程序,该程序包含用于如上所述地实现根据本发明的方法之一的指令。
该数据介质可以是能够存储该程序的任何单元或装置。例如,该介质可以是存储介质(诸如,ROM(例如,CD ROM或微型电子电路ROM))、或磁记录介质(例如,软盘或硬盘)。
而且,该数据介质可以是诸如电信号或光信号之类的可传送介质,其可以经由电缆或光缆、通过无线电或使用其他手段而进行路由。具体地,可以从因特网网络上下载根据本发明的程序。
替换地,该数据介质可以是合并了该程序的集成电路,该电路被设计为运行本方法或在本方法的运行中使用。
上面提及的解码方法、编码装置、解码装置和计算机程序至少提供了与根据本发明的编码方法所提供的益处相同的益处。
附图说明
在参考附图所描述的优选实施例中,阐明了其他特性和优点,在附图中:
-图1示出了根据本发明的编码方法的步骤,
-图2示出了根据本发明的编码装置的实施例,
-图3示出了根据本发明的解码装置的实施例,
-图4示出了根据本发明的解码方法的步骤,
-图5A示出了最优帧内预测器的确定的示例,
-图5B示出了最优帧间预测器的确定的示例,
-图6示出了不同的空间预测器,
-图7示出了不同类型的两个编码参数的确定的示例。
具体实施方式
下面,描述本发明的实施例,其中使用根据本发明的编码方法来使用以下比特流对图像的序列进行编码,该比特流相似于通过使用标准H.264/MPEG-4AVC进行编码所获得的比特流。在此实施例中,例如,通过修改初始地符合标准H.264/MPEG-4AVC的编码器,作为软件或硬件来实现根据本发明的编码方法。按照包括如图1所示的步骤C1到C8的算法的形式,来示出根据本发明的编码方法。
根据本发明的实施例,在图2所示的编码装置CO中实现根据本发明的编码方法。
在第一步骤C1期间,将图像IN的当前宏块MBC初始地划分为多个分区PA1、PA2、……、PAn,如图2所示。传统上,通过未示出的分区软件模块来执行这个步骤。
例如,这种分区模块使用基于穷尽竞争的选择方法或基于预先确定的算法的选择方法。这种方法对于本领域技术人员而言是公知的(参见G.J.Sullivan and T.Wiegand,"Rate-distortion optimization for video compression",IEEE Signal Proc.Mag.,pp.74-90,1998),并照这样,下面将不进一步描述。
在编码器CO的数据库(未示出)中对不同类型的可能分区算法进行编组。它们使得可能将图像或此图像的宏块划分为多个分区,所述分区可以是矩形、正方形的,或具有另一几何形状(诸如,实质上线性的形状),或完全任意的形状。
在图2所示的示例中,将当前图像IN的当前宏块MBC划分为16个分区PA1、PA2、……、PA16。例如,所获得的这些分区都具有正方形的块形状,并且都具有相同的尺寸。
在图1所示的步骤C2期间,从多个可用的因果分区PA1r、PA2r、……、PAir、……PAKr(1≤i≤K)中选择至少一个因果分区PAir,即预先编码然后解码的分区,以便对当前图像IN的当前分区PAc(1≤c≤n)进行编码。
为此目的,将图2所示的匹配软件模块APP_CO设计为,使用应用于像素域的传统块匹配准则,或使用当前分区PAc的特征函数(诸如,到变换域或到当前分区PAc的编码模式域上的投影),来从所有的前述因果分区中选择与当前分区PAc最类似的第一因果分区,如下所述。
所选择的因果分区PAir属于在图像IN之前编码然后解码的图像,或属于所述图像IN
为了优化所选择的因果分区PAir与要编码的当前分区PAc的尺寸和形状匹配,在可选的步骤C21期间,通过使用众所周知的几何变换软件模块MTG_CO、向所述因果分区应用诸如旋转或对称之类的几何变换,来对所述因果分区进行几何变形,如图2所示。在所述步骤完成时,获得了变换后的因果分区Patir
在步骤C3期间,计算用于定义当前分区PAc与所选择的因果分区PAir之间运动的运动参数。例如,这种运动参数是运动向量MVc
通过第一计算软件子模块CAL1_CO来执行这个步骤,该第一计算软件子模块CAL1_CO属于处理软件模块TR_CO,如图2所示。
由于所述运动参数信息发送到解码器十分昂贵,所以可以使用用于减少此信息的成本的任何传统方法(跳过、运动预测等)。
在图1所示的步骤C4期间,根据本发明,通过竞争性地比较与所选择的所述因果分区PAir或所选择的所述变换后的因果分区PAtir相关联的多个编码参数,使用预定的编码性能准则,来计算与所选择的所述因果分区PAir或与所选择的所述变换后的因果分区PAtir相关联的至少一个最优编码参数。
根据本发明,编码参数表现了所使用的编码模式,并且非排他性地具有下面定义的类型:
·预测方法(帧内预测、帧间预测、通过执行其中不向解码器发送信息的预测的默认预测(中文中的“跳过(skip)”));
·用于标识预测类型的信息(定向、参考图像等);
·分区类型;
·变换类型,例如,DCT 4×4、DCT 8×8、小波等;
·等等。
为此目的,在子步骤C41期间,将在前述步骤C2中选择的因果分区PAir或在前述步骤C21中变换的因果分区PAtic发送到子模块TEST_CO,以用于测试编码模式,如图2所示。
在图1所示的子步骤C42期间,子模块TEST_CO计算用于所考虑的因果分区PAir或变换后的因果分区PAtir的不同可能编码模式。
一旦测试子模块TEST_CO已经测试了不同可能编码模式,在图1所示的子步骤C43期间,图2所示的判决子模块DCN_CO就选择与最优编码模式相关联的第一类型的编码参数Idx1,根据预定性能准则,这种选择是最优预测,在所示的示例中,该预定性能准则是本领域技术人员公知的率失真准则。这种准则通过下面的等式(1)来表达:
(1)J=D+λR,其中
D是原始分区与所重构的分区之间的失真,R是对编码参数进行编码的比特成本,并且λ表现了拉格朗日乘子。
根据在减少编码器中的计算时间方面尤其有利的变体,预定性能准则仅仅取决于失真,并且通过下面的等式(2)来表达:
(2)J’=D。
传统地,通过仿真来计算准则J和J’。
例如,在步骤C43完成时获得的第一类型的最优编码参数是所选择的因果分区PAir的帧间8×8预测模式。
对于所选择的K-1个其他因果分区来重复前述步骤C2到C43,这使得可能获得至少K-1个其他的最优编码参数idx2、idx3、……、idxK。
在图1所示的步骤C5期间,图2所示的计算软件子模块PRED_CO使用在步骤C43期间选择的最优编码参数idx1、idx2、idx3、……、idxK,相对于因果分区PA1r、PA2r、……、PAKr中的至少一个来预测当前分区PAc
在此步骤完成时,得到了所预测的当前分区PApc
在图1所示的步骤C6(其仅仅对于所选择的某些最优编码参数而发生)期间,图2所示的第二计算子模块CAL2_CO通过比较与当前分区PAc相关的数据和与所获得的所预测当前分区PApc相关的数据来确定残差数据a1、a2、……、aL
在图1所示的步骤C7期间,将残差数据a1、a2、……、aL发送到图2所示的变换和量化子模块MTQ_CO,以经历其后跟随有量化的变换(例如,离散余弦变换)。
假设对于所预测当前分区PApc,在步骤C7完成时获得M个变换后和量化后的残差数据。例如,将这种变换后和量化后的残差数据标记为c1、c2、……、cM
然后,在图1所示的步骤C8期间,借助于在前述步骤C43中选择的最优编码参数来有利地对所预测当前分区PApc进行编码。然后,在步骤C8完成时得到数据信号F。
通过如图2所示的编码器ENC来执行这种编码。例如,这种编码器符合标准H.264/MPEG-4AVC。
根据本发明,数据信号F有利地不包含选择于步骤C43中的最优编码参数,这是由于这些参数与已经编码然后解码的因果分区相关联,并因此对解码器可用。因此,无需在数据信号F中发送此数据,该数据信号F可能包含以下各项:
-在前述步骤C3中获得的运动信息MVc,仅仅是当解码器不能自己重新计算此信息时,
-如图2所示的几何变换索引IdTG,仅仅是当在图1中的步骤C21中经历了因果分区的几何变换时,
-系数的编码值c1、c2、……、cM,当它们存在时。
然后,使用编码器CO的传送接口(未示出)来在通信网络上向远程终端发送数据信号F。该远程终端具有如图3所示的解码器DO。
首先将信号F发送到熵解码软件模块DE,该解码与由图2所示的编码器ENC执行的过程相逆。然后,对于要重构的当前分区PAic,将所解码的系数c1、c2、……、cM(当它们存在时)发送到逆变换和逆量化模块QTI_DO,该逆变换和逆量化模块QTI_DO用于得到在前述编码步骤C6中获得的残差数据a1、a2、……、aL
然后,如图3所示的处理软件模块TR_DO实现根据本发明的解码方法的步骤D1到D5,如图4所示。
通过修改初始地符合标准H.264/MPEG-4AVC的解码器,作为软件或硬件来实现根据本发明的解码方法。
在图4所示的第一步骤D1期间,确定与要重构的当前分区PAic相关联的运动参数MVc。这种运动参数例如是运动向量MVc
如果数据信号F不包含任何运动参数,则如图3所示的计算子模块CAL1_DO计算与要重构的当前分区PAc和因果分区PAir之间运动相关的所述运动向量MVc
如果在数据信号F中包含运动向量MVc,则读取子模块LC_DO在所接收到的数据信号F中读取此信息。
在图4所示的步骤D2期间,确定由读取子模块LC_DO在数据信号F中读取的或由读取子模块CAL1_DO所计算的运动向量MVc所指向的因果分区PAir。通过如图3所示的第二计算子模块CAL2_DO来实现这个步骤。
如果数据信号F包含指示出因果分区PAir已经在编码器CO中经历了诸如旋转、对称等几何变换的几何变换索引IdTG,则通过使用如图3所示的几何变换软件模块MTG_DO向所述因果分区PAir应用由索引IdTG指示的几何变换,所述因果分区PAir在图4所示的步骤D21中经历几何变形,该几何变换软件模块MTG_DO与图2中的几何变换软件模块MTG_CO完全一致。在所述步骤完成时,获得了变换后的因果分区PAtir
在图4所示的步骤C3期间,根据本发明,通过竞争性地比较与所选择的所述因果分区PAir相关联的多个编码参数,使用预定的编码性能准则,来计算与所确定的所述因果分区PAir或与所确定的所述变换后的因果分区PAtir相关联的至少一个最优编码参数。
所述编码参数具有与上面在描述该编码方法时提及的类型相同的类型。
为此目的,在图4所示的子步骤D31期间,向子模块TEST_DO发送在前述步骤D2中确定的因果分区PAir或在前述步骤D21中确定的变换后的因果分区Patir,以用于测试编码模式,如图3所示。
在图4所示的子步骤C32期间,子模块TEST_DO计算用于所考虑的因果分区PAir或变换后的因果分区PAtir的不同可能编码模式。
一旦测试子模块TEST_DO已经测试了不同可能编码模式,在图4所示的子步骤C33期间,图3所示的判决子模块DCN_DO就选择与最优编码模式相关联的第一类型的编码参数Idx1,根据预定性能准则,这种选择是最优预测,在所示的示例中,该预定性能准则是本领域技术人员公知的率失真准则。这种准则通过下面的等式(1)来表达:
(1)J=D+λR,其中
D是原始分区与所重构的分区之间的失真,R是对编码参数进行编码的比特成本,并且λ表现了拉格朗日乘子。
根据在减少编码器中的计算时间方面尤其有利的变体,预定性能准则仅仅取决于失真,并且通过下面的等式(2)来表达:
(2)J’=D。
例如,在步骤D33完成时获得的第一类型的最优编码参数是所确定的因果分区PAir的帧间8×8预测模式。
对于倾向于被确定的K-1个其他因果分区来重复前述步骤D2到D33,这使得可能获得至少K-1个其他的最优编码参数idx2、idx3、……、idxK。
在图4所示的步骤D4期间,图3所示的计算软件子模块PRED_DO使用在步骤D33中获得的且用作解码参数的最优编码参数idx1、idx2、idx3、……、idxK、以及(当它们存在时)由如图3所示的逆量化和逆变换模块QTI_DO所得到的残差数据a1、a2、……、aL,相对于已经编码然后解码的K个因果分区PA1r、PA2r、……、PAKr之中的至少一个因果分区来预测要重构的当前分区PAic
在此步骤完成时,得到了所预测的当前分区PApc
然后,在步骤D5期间,通过向所预测的当前分区PApc添加(当它们存在时)由如图3所示的逆量化和逆变换模块QTI_DO所得到的残差数据a1、a2、……、aL,来对所预测的当前分区PApc进行解码。使用符合标准H.264/MPEG-AVC的重构子模块RI来实现这个步骤。
一旦已经解码了图像IN的所有分区PA1、……、PAn,图像重构子模块RI就提供与图像IN的解码对应的图像IDN,作为来自解码器DO的输出。
第一实施例的详细描述
下面,描述用于帧内模式编码/解码方法的第一实施例。
取决于对当前宏块进行分区的方式,在标准H264/MPEG-AVC中提出若干类型的帧内编码/解码模式。对于帧内16×16编码而言,将宏块认为是相对于四个空间预测器的集合来预测的单一分区。在帧内8×8或4×4编码的情况下,相对于九个空间预测器的集合来预测每一个较小的块,该九个空间预测器的集合包括了在帧内16×16编码中使用的四个空间预测器。
如在H264/MPEG-AVC标准中实现的这种基于竞争的帧内编码/解码,依赖于竞争性地比较前述不同的空间预测器,以便选择最佳的预测器,即将根据性能准则(例如,率/失真成本)来优化当前分区的编码的预测器。
存在许多这种预测器的事实增加了由这些多个预测器所导致的竞争信息比特率。结果,尽管竞争性地比较新的帧内预测器的选择可以优化帧内预测,但是当前避免进行这种选择。
本发明提出了对于帧内模式编码/解码来应用上述的编码和解码步骤,而没有特别限于已经在标准H264/MPEG-AVC中规定的空间预测器的数目,并且将基于竞争的编码/解码应用于倾向于在将来提出的新的帧内预测器。
如在图2所示的示例中一样地,在前述步骤C1期间,将当前图像IN的当前宏块MBC划分为十六个分区PA1、PA2、……、PA16。例如,所获得的这些分区都具有正方形的块形状,并且具有相同的尺寸。在图5A中示出了如此划分的宏块MBC。为了附图的清楚起见,仅仅示出了分区PA4、PA8、PA12、PA13和PA16。
在用于将如图1所示的前述步骤C2和C4编组到一起的随后子步骤期间,对于分区PA1到PA16中的每一个,选择包含了多个K个可用因果分区PA1r、PA2r、……、PAir、……PAKr(1≤i≤K)的至少一个因果宏块。
在图5A所示的示例中,根据当前宏块MBC中的要预测当前分区与在多个E个可用因果宏块MB1r、MB2r、……、MBjr、……MBEr(其中,1≤j≤E)中包括的因果宏块的因果分区之间的预测模式关联准则来实行这种选择。为了附图的清楚起见,仅仅示出了因果宏块MB1r、MB2r和MBjr,使用阴影线来示意性地示出了剩余的因果宏块。
为此目的,执行以下操作:
-计算用于所考虑的当前宏块MBC的每一个分区的最优空间预测器,
-计算用于所考虑的因果宏块的每一个分区的最优空间预测器。
在计算完成时,与当前宏块MBC的当前分区PA1到P16中的每一个相关的最优空间预测器分别是H、H、V、DC、H、V、Vleft、Vleft、Hup、V、V、DC、H、Vleft、DC、DC。
参考图6,预测器H、V、DC、Vleft和H分别对应于帧内模式中九种可能预测方向之中的5种可能方向,相对于所述方向,可以相对于在相同图像中包含的因果分区来预测当前分区。传统地,这五种方向包括:
-水平,标记为H,
-垂直,标记为V,
-借助于两个先前方向所形成的方向,标记为DC,
-第一对角线方向,标记为V left,
-第二对角线方向,标记为Hup。
如图5A所示,其中所计算的最优空间预测器与相对于当前宏块MBc所计算的那些最优空间预测器最为相似的因果宏块是第一因果宏块MB1r。因此,选择此因果宏块MB1r
与使用传统的块匹配本将做出的选择相比,使用模式关联准则所获得的因果宏块MB1r是更好的选择,这是由于它逐预测器地考虑了当前宏块MBC与因果宏块之间的关联性。另一方面,在传统块匹配的情况下,所选择的因果宏块的空间预测器可能不同于对于所述因果宏块所实际计算的最优预测器,这显著地降低了选择此因果宏块的准确性。
还执行前述步骤C3,其中计算当前宏块MBC与因果宏块MB1r之间的运动向量MVC
然后,在前述步骤C5期间,使用对于因果宏块MB1r的每一个分区所分别计算的最优预测器,来预测当前宏块MBC的当前分区PA1到PA16中的每一个。
然后,实现前述步骤C6到C8,以对当前宏块MBC进行编码。
在步骤C8完成时向解码器DO发送的数据信号F可以包含运动向量MVC和存在的任何残差数据。另一方面,数据信号F有利地不包含在前述步骤C4中计算的一个或多个因果宏块的一个或多个最优预测器,这是由于这些预测器与已经编码然后解码的宏块相关联,并且照这样,解码器DO可以独立地确定它们。
参考图4,然后向所编码的数据信号F应用前述解码步骤D1,以对在步骤C3中计算的运动向量MVC进行解码。
然后,在前述解码步骤D2期间,确定由运动向量MVC指向的因果宏块MB1r
然后,通过实现前述步骤D3来对于因果宏块MB1r的每一个分区计算最优预测器。根据第一实施例,这些是与因果宏块MB1r的分区PA1r到PA16r分别相关联的空间预测器H、H、V、DC、H、V、Vleft、Vleft、Hup、V、V、DC、H、Vleft、DC、DC。
在前述步骤D4期间,使用最优空间预测器H、H、V、DC、H、V、Vleft、Vleft、Hup、V、V、DC、H、Vleft、DC、DC,相对于因果宏块MB1r来预测要重构的当前宏块MBc
在此步骤完成时,得到了所预测的当前宏块MBpc
然后,在前述步骤D5期间,重构所预测的当前宏块MBpc
显然,本发明不限于以下事实,即从当前图像IN中系统性地选择一个或多个因果宏块。
参考示出了图5A中实施例的变体的图5B,因果宏块MB1r存在于预先编码/解码器的图像中,而不是存在于当前图像IN中。例如,这种预先编码/解码器的图像是紧接在当前图像IN之前的图像IN-1
根据这种变体,与在图像IN-1中选择的因果宏块MB1r一致地再现上面参考图5A所描述的编码/解码步骤,并照这样,没有在下面进行描述。
第二实施例的详细描述
下面,描述了用于以下编码/解码方法的第二实施例,在该编码/解码方法中应用了迭代压缩采样方法(中文中的“压缩感测”)。这是一种传统方法,并且例如描述在以下文献中,即T.T.Do,Xiaoan Lu,and J.Sole.“Compressive sensing with adaptive pixeldomainreconstruction for block-based video encoding”.Proceedings of 2010IEEE17th International Conference on Image Processing,pages 3377–3380,2010。
此方法使得可能去除若干变换后和量化后的残差系数,并然后有效地重构对应的当前分区。然而,为了优化效率,这种方法需要大量的参数。因此,该方法由于去除前述系数所有利获得的减少的信令成本因为需要将大量参数添加到要传送到解码器的数据信号的需求而不利地增加。此成本增加减少了此方法的价值。
在此方法中使用以下参数:
-欠采样参数,
-获取运算符,诸如变换类型:DCT、小波等,
-重构运算符,
-重构算法所使用的参数。
本发明有利地使得能够应用此迭代方法,而没有影响这些参数的信令成本,这是由于有利地没有将这些参数包括在要发送到解码器的数据信号中。
如在图2所示的示例中一样地,在前述步骤C1期间,将当前图像IN的当前宏块MBC划分为十六个分区PA1、PA2、……、PA16。例如,所获得的这些分区都具有正方形的块形状,并且具有相同的尺寸。例如,如此划分的宏块MBC与图5A所示的宏块一致。
在如图1所示的前述步骤C2期间,对于分区PA1到PA16中的每一个,选择包含了多个K个可用因果分区PA1r、PA2r、……、PAir、……PAKr(1≤i≤K)的至少一个因果宏块。
在所示的示例中,使用传统的块匹配准则来做出此选择。例如,如此选择的宏块是图5A所示的宏块MBjr
替换地,使用修改后的块匹配准则来执行这种选择。此准则涉及选择以下因果宏块,该因果宏块具有与当前宏块MBC的变换后残差数据最接近的变换后残差数据。
在如图1所示的前述步骤C3期间,计算当前宏块MBC与因果宏块MBjr之间的运动向量MV’C。该运动向量MV’C如图5A所示。
在如图1所示的前述步骤C4期间,计算与因果宏块MBjr相关的一个或多个最优编码参数。
为此目的,对于所选择的因果宏块MBjr的每一个分区,根据前述率失真准则J或J’,竞争性地比较加权系数、欠采样参数、获取运算符、重构运算符或这些元素的组合,以确定这些元素之中的至少一个最优编码参数。
在步骤C4完成时,例如是欠采样参数被认为用于对所选择的因果宏块MBjr的每一个因果分区的编码进行优化。
然后,在前述步骤C5期间,对当前宏块MBC的当前分区PA1到PA16中的每一个进行预测。在此步骤完成时,得到了所预测的当前宏块MBpc
在如图1所示的前述步骤C6期间,通过比较与当前宏块MBc相关的数据和与所获得的所预测当前宏块MBpc相关的数据来确定残差数据a1、a2、……、aL
在如图1所示的前述步骤C7期间,对残差数据a1、a2、……、aL进行变换然后量化,以获得系数c1、c2、……、cM
根据第二实施例,在步骤C7以后,在使用确定于步骤C4中的所述最优欠采样参数的系数的欠采样(未示出)以后,仅仅保留系数c1、c2、……、cM中的一些。
然后,实现如图1所示的前述步骤C8,以对当前宏块MBC进行编码。
在步骤C8完成时向解码器DO发送的数据信号F可以包含运动向量MV’C(当解码器DO不能独立地重新计算它时)、以及根据第二实施例的在步骤C6中计算的残差数据。另一方面,数据信号F有利地不包含在前述步骤C4中确定的欠采样参数,这是由于该参数与已经编码并解码的因果宏块MBjr相关联,并照这样,可以由解码器DO独立地确定。
参考图4,然后向所编码的数据信号F应用前述解码步骤D1,以对在步骤C3中计算的运动向量MV’C进行解码。
然后,在前述解码步骤D2期间,确定由运动向量MV’c指向的因果宏块MBjr
然后,通过实现前述步骤D3来对于因果宏块MBjr的每一个分区计算最优编码参数。根据第二实施例,此计算步骤得到了用于因果宏块MBjr的每一个因果分区的最优欠采样参数。
在前述步骤D4期间,传统地对要重构的当前宏块MBC的当前分区PA1到PA16中的每一个进行预测,以便得到所预测的当前宏块MBpc
然后,在前述步骤D5期间,通过将在数据信号F中包括的残差数据添加到所预测的当前宏块MBpC并且通过以下系数c1、c2、……、cM的欠采样来重构所预测的当前宏块MBpC,该系数c1、c2、……、cM是通过使用在步骤D3中计算的最优欠采样参数来对所述残差数据进行变换和量化而生成的。
第三实施例的详细描述
下面,描述了用于以下编码/解码方法的第三实施例,该编码/解码方法合并了在第一实施例中描述的帧内或帧间预测以及如在第二实施例中描述的迭代压缩采样方法。
这种实施例提供了分别来自第一和第二实施例的实现的至少两个最优编码参数。这种方式使得可能更加精确地对当前宏块进行编码,这是由于使用了不同类型的两种最优参数,而不是仅仅一种。
假设,根据第一实施例而使用帧内预测。
如在图2所示的示例中一样地,在前述步骤C1期间,将当前图像IN的当前宏块MBC划分为十六个分区PA1、PA2、……、PA16。例如,所获得的这些分区都具有正方形的块形状,并且具有相同的尺寸。在图7中示出了如此划分的宏块MBC。为了附图的清楚起见,仅仅示出了分区PA4、PA8、PA12、PA13和PA16。
如在第一实施例中一样,在步骤C2和C4期间,对于当前宏块MBC的分区PA1到PA16中的每一个,选择包含了多个K个可用因果分区PA1r、PA2r、……、PAir、……PAKr(1≤i≤K)的至少一个因果宏块。
在图7所示的示例中,按照与第一实施例中相同的方式,即根据当前宏块MBC中的要预测当前分区与在多个E个可用因果宏块MB1r、MB2r、……、MBjr、……MBEr(其中,1≤j≤E)中包括的因果宏块的因果分区之间的预测模式关联准则,来实行这种选择。为了附图的清楚起见,仅仅示出了因果宏块MB1r、MB2r和MBjr,使用阴影线来示意性地示出了剩余的因果宏块。
为此目的,执行以下操作:
-计算用于所考虑的当前宏块MBC的每一个分区的最优空间预测器,
-计算用于所考虑的因果宏块的每一个分区的最优空间预测器。
在计算完成时,与当前宏块MBC的当前分区PA1到P16中的每一个相关的最优空间预测器分别是H、H、V、DC、H、V、Vleft、Vleft、Hup、V、V、DC、H、Vleft、DC、DC。
如图7所示,其中所计算的最优空间预测器与相对于当前宏块MBc所计算的那些最优空间预测器最为相似的因果宏块是第一因果宏块MB1r。因此,选择因果宏块MB1r
还执行前述步骤C3,其中计算当前宏块MBC与因果宏块MB1r之间的运动向量MV1C
与此并行地,实现上面相对于第二实施例所描述的步骤C2到C4,以获得用于给定因果宏块的最优压缩采样参数。
在前述步骤C2期间,对于当前宏块MBC的分区PA1到PA16中的每一个,选择包含了多个K个可用因果分区PA1r、PA2r、……、PAir、……PAKr(1≤i≤K)的至少一个因果宏块。
在图7所示的示例中,使用传统的块匹配准则来做出此选择。例如,所选择的因果宏块是宏块MB3r
替换地,使用修改后的块匹配准则来执行这种选择。
在前述步骤C3期间,计算当前宏块MBC与刚刚在步骤C2中选择的因果宏块MB3r之间的运动向量MV2C
在步骤C4期间,计算与所选择的因果宏块MB3r相关的一个或多个最优编码参数。
为此目的,对于所选择的因果宏块的每一个分区,根据前述率失真准则J或J’,竞争性地比较加权系数、欠采样参数、获取运算符、重构运算符或这些元素的组合,以确定这些元素之中的至少一个最优编码参数。
在步骤C4完成时,例如是欠采样参数被认为用于对所选择的因果宏块MB3r的编码进行优化。
然后,在前述步骤C5期间,使用对于因果宏块MB1r的每一个分区分别计算的最优预测器,并且还相对于因果宏块MB3r的每一个分区,来对当前宏块MBC的当前分区PA1到PA16中的每一个进行预测。
在前述步骤C6期间,通过比较与当前宏块MBc相关的数据和与所获得的所预测当前宏块MBpc相关的数据来确定残差数据a1、a2、……、aL
在前述步骤C7期间,对残差数据a1、a2、……、aL进行变换然后量化,以获得系数c1、c2、……、cM
根据第三实施例,在步骤C7以后,在使用确定于步骤C4中的所述最优欠采样参数的系数的欠采样(未示出)以后,仅仅保留系数c1、c2、……、cM中的一些。
然后,实现前述步骤C8,以对当前宏块MBC进行编码。
在步骤C8完成时向解码器DO发送的数据信号F可以包含:在前述步骤C3中计算的运动向量MVC和MV2C(当解码器DO不能独立地重新计算它们时)、连同在步骤C6中计算的残差数据。另一方面,数据信号F有利地不包含在前述步骤C4中确定的空间预测器或欠采样参数,这是由于所述空间预测器或欠采样参数与已经编码然后解码的因果宏块MB1r和MB3r相关联,并且照这样,解码器DO可以独立地确定它们。
在前述解码步骤D1期间对在步骤C3中计算的运动向量MV1C和MV2C进行解码。
然后,在前述解码步骤D2期间,确定分别由运动向量MV1C和MV2C指向的因果宏块MB1r和MB3r
在前述步骤D3期间,计算与因果宏块MB1r的分区PA1r到PA16r分别相关联的最优预测器H、H、V、DC、H、V、Vleft、Vleft、Hup、V、V、DC、H、Vleft、DC、DC。在此相同步骤期间,对于因果宏块MBjr的每一个因果分区计算最优欠采样参数。
在前述步骤D4期间,如下地预测要重构的当前宏块MBc
-首先使用最优空间预测器H、H、V、DC、H、V、Vleft、Vleft、Hup、V、V、DC、H、Vleft、DC、DC,相对于因果宏块MB1r,
-并且其次相对于因果宏块MB3r。
在此步骤完成时,得到了所预测的当前宏块MBpc
然后,在前述步骤D5期间,通过将在数据信号F中发送的残差数据添加到所预测的当前宏块MBpC并且通过以下系数c1、c2、……、cM的欠采样来重构所预测的当前宏块MBpC,该系数c1、c2、……、cM是通过使用在步骤D3中计算的最优欠采样参数来对所述残差数据进行变换和量化而生成的。
自然地,提供了上述的实施例,以专门用于说明性目的,而绝对不是限制性的,并且本领域技术人员可以容易地做出众多修改,而并不由此移出到本发明的范围之外。

Claims (11)

1.一种用于对至少一个图像进行编码的方法,该图像被划分为分区,其特征在于,所述方法对于要编码的当前分区,包括以下步骤:
-选择(C2)已经编码然后解码的至少一个因果分区,
-通过竞争性地比较应用于所选择的所述因果分区的多个编码参数,使用预定的编码性能准则,独立于该当前分区来计算(C4)与所选择的所述因果分区相关联的至少一个最优编码参数,
-使用所计算的所述最优编码参数来对该当前分区进行编码(C8)。
2.根据权利要求1的编码方法,其中,所述因果分区选择步骤涉及:
-确定多个因果分区,
-使用所述预定编码性能准则来计算与所述因果分区中的每一个相关联的至少一个最优编码参数,
-使用所述预定编码性能准则来计算与所述当前分区相关联的至少一个最优编码参数,
-比较相对于所述当前分区所计算的最优编码参数、和相对于所述因果分区中的每一个分别计算的每一个最优编码参数,
-选择以下因果分区,该因果分区具有与所述当前分区的最优编码参数值最接近的最优编码参数值。
3.根据权利要求1或2的编码方法,其中,所选择的所述因果分区源自于在先的几何变换,所述方法包括以下步骤,其中对与所述变换相关联的索引进行编码。
4.一种用于对至少一个图像进行编码的装置(CO),该图像被划分为分区,其特征在于,所述装置对于要编码的当前分区,包括以下部件:
-用于选择已经编码然后解码的至少一个因果分区的部件(APP_CO),
-能够通过竞争性地比较应用于所选择的所述因果分区的多个编码参数、使用预定的编码性能准则、独立于该当前分区来计算与所选择的所述因果分区相关联的至少一个最优编码参数的处理部件(TR_CO),
-用于使用所计算的所述最优编码参数来对该当前分区进行编码的部件(ENC)。
5.一种用于对表现了至少一个图像的数据信号进行解码的方法,该至少一个图像被划分为包括已经解码的至少一个因果分区的分区,其特征在于,所述方法对于所述图像中的要重构的至少一个当前分区,包括以下步骤:
-根据与要重构的所述当前分区相关联的至少一个运动参数来确定(D2)至少一个因果分区,
-竞争性地比较(D32)应用于所确定的所述因果分区的多个编码参数,
-使用预定的编码性能准则、独立于该当前分区来确定(D33)与所述因果分区相关联的至少一个最优编码参数,
-使用被用作所述当前分区的解码参数的、所确定的所述最优编码参数来重构(D5)所述当前分区。
6.根据权利要求5的解码方法,其中,通过计算或从所述数据信号中读取所述运动参数来确定它。
7.根据权利要求5或权利要求6的解码方法,其中,该运动参数是指向所述因果分区的运动向量,所述运动向量等于与相邻于所述因果分区的另一因果分区相关联的至少一个参考运动向量。
8.根据权利要求5的解码方法,其中,使用被用作用于所述当前分区的解码参数的不同类型的至少两个最优编码参数,来重构该当前分区。
9.根据权利要求5的解码方法,其中,从包括以下各项的组中的至少一个准则中选择该编码性能准则:
-率失真准则,其中通过仿真来计算该率,
-失真准则。
10.根据权利要求5的解码方法,其中,所述因果分区源自于在先的几何变换,通过从所述信号中读取与所述几何变换相关的索引来确定所述变换。
11.一种用于对表现了至少一个图像的数据信号进行解码的装置(DO),该至少一个图像被划分为包括已经解码的至少一个因果分区的分区,其特征在于,所述装置对于所述图像中的要重构的至少一个当前分区,包括以下部件:
-用于根据与要重构的所述当前分区相关联的至少一个运动参数来确定至少一个因果分区的部件(CAL2_DO),
-用于竞争性地比较应用于所确定的所述因果分区的多个编码参数的部件(TEST_DO),
-用于使用预定的编码性能准则、独立于该当前分区来确定与所述因果分区相关联的至少一个最优编码参数的部件(DCN_DO),
-用于使用被用作所述当前分区的解码参数的、所确定的所述最优编码参数来重构所述当前分区的部件(RI)。
CN201280036747.1A 2011-05-26 2012-05-23 用于对图像进行编码和解码的方法和装置 Active CN103718560B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
FR1154595A FR2975856A1 (fr) 2011-05-26 2011-05-26 Procede de codage et de decodage d'images, dispositif de codage et de decodage d'images et programmes d'ordinateur correspondants
FR1154595 2011-05-26
PCT/FR2012/051158 WO2012160313A1 (fr) 2011-05-26 2012-05-23 Procédé de codage et de décodage d'images, dispositif de codage et de décodage d'images et programmes d'ordinateur correspondants

Publications (2)

Publication Number Publication Date
CN103718560A CN103718560A (zh) 2014-04-09
CN103718560B true CN103718560B (zh) 2018-12-25

Family

ID=46420362

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280036747.1A Active CN103718560B (zh) 2011-05-26 2012-05-23 用于对图像进行编码和解码的方法和装置

Country Status (6)

Country Link
US (1) US9967585B2 (zh)
EP (3) EP3972246A1 (zh)
CN (1) CN103718560B (zh)
ES (1) ES2907382T3 (zh)
FR (1) FR2975856A1 (zh)
WO (1) WO2012160313A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2982446A1 (fr) 2011-11-07 2013-05-10 France Telecom Procede de codage et decodage d'images, dispositif de codage et decodage et programmes d'ordinateur correspondants
FR2982447A1 (fr) * 2011-11-07 2013-05-10 France Telecom Procede de codage et decodage d'images, dispositif de codage et decodage et programmes d'ordinateur correspondants
US11523112B2 (en) * 2020-04-09 2022-12-06 Tencent America LLC Intra coding with L-type partitioning tree
US11343512B1 (en) 2021-01-08 2022-05-24 Samsung Display Co., Ltd. Systems and methods for compression with constraint on maximum absolute error

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010072946A2 (fr) * 2008-12-22 2010-07-01 France Telecom Prediction d'images par repartionnement d'une portion de zone causale de reference, codage et decodage utilisant une telle prediction

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8160150B2 (en) * 2007-04-10 2012-04-17 Texas Instruments Incorporated Method and system for rate distortion optimization
TW201119407A (en) * 2009-11-19 2011-06-01 Thomson Licensing Method for coding and method for reconstruction of a block of an image

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010072946A2 (fr) * 2008-12-22 2010-07-01 France Telecom Prediction d'images par repartionnement d'une portion de zone causale de reference, codage et decodage utilisant une telle prediction

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
"Improved H.264 intra coding based on bi-directional intra prediction,directional transform,and adaptive coefficient scanning";Yan Ye et al;《2008 15th IEEE International Conference on Image Processing》;20081015;2116-2119页 *
"Novel residual prediction scheme for hybrid video coding";Sung Dae Kim at al;《2009 16th IEEE International Conference on Image Processing》;20091110;617-620页 *
"Suggestion for a Test Model";T. Davies et al;《JCTVC-A033》;20100423;第5页第4-28行,第6页附图3 *

Also Published As

Publication number Publication date
CN103718560A (zh) 2014-04-09
EP3972246A1 (fr) 2022-03-23
WO2012160313A1 (fr) 2012-11-29
ES2907382T3 (es) 2022-04-25
US9967585B2 (en) 2018-05-08
EP3972247A1 (fr) 2022-03-23
FR2975856A1 (fr) 2012-11-30
US20140348237A1 (en) 2014-11-27
EP2716045B1 (fr) 2021-12-08
EP2716045A1 (fr) 2014-04-09

Similar Documents

Publication Publication Date Title
JP6701409B2 (ja) 符号化装置、復号装置、符号化方法、復号方法、及びプログラム
CN103688541B (zh) 在视频译码中缓冲预测数据的设备和方法
CN104584549B (zh) 用于视频编码的方法和装置
TWI572196B (zh) 用於次世代視訊編碼之投射式內插預測產生之技術
CN109076218A (zh) 在视频译码中自适应环路滤波中的多个滤波器的混淆
CN109792532A (zh) 用于视频译码的适应性运动向量精准度
CN109792531A (zh) 用于视频译码的运动向量译码
CN110352598A (zh) 基于双向光流(bio)的帧间预测细化
CN110870314A (zh) 用于运动补偿的多个预测器候选
WO2011121894A1 (ja) 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法
US20080075170A1 (en) Methods and devices for coding and decoding images, computer program implementing them and information carrier enabling their implementation
US20120269268A1 (en) Motion vector encoding/decoding method and device and image encoding/decoding method and device using same
JP2011512766A (ja) ピクセルブロックに分割された画像または画像のシーケンスの符号化及び復号化
WO2011054879A2 (en) Hybrid video coding
CN110089116A (zh) 通过光照补偿和整数运动向量限制进行编码优化
US11206418B2 (en) Method of image encoding and facility for the implementation of the method
CN107211161A (zh) 包括最后阶段处理的扩展空间的视频编码优化
CN103718560B (zh) 用于对图像进行编码和解码的方法和装置
CN106134194B (zh) 用于低复杂度编码及后台检测的系统及方法
CN107079168A (zh) 对残差积分图像的生成和编码
KR20060085003A (ko) H.264/avc에서의 시방향 에러은닉 방법
GB2506592A (en) Motion Vector Prediction in Scalable Video Encoder and Decoder
CN107343391A (zh) 通过向量量化对图像进行编码
CN105933709B (zh) 运动图像编码方法、装置以及运动图像解码方法、装置
Meng Research on Video Coding Technology Based on Neural Network

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant