CN101184240A - 以可扩展格式编码的设备和方法及相应解码设备和方法 - Google Patents

以可扩展格式编码的设备和方法及相应解码设备和方法 Download PDF

Info

Publication number
CN101184240A
CN101184240A CNA2007101816271A CN200710181627A CN101184240A CN 101184240 A CN101184240 A CN 101184240A CN A2007101816271 A CNA2007101816271 A CN A2007101816271A CN 200710181627 A CN200710181627 A CN 200710181627A CN 101184240 A CN101184240 A CN 101184240A
Authority
CN
China
Prior art keywords
block
macro block
pred
video data
macroblock
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CNA2007101816271A
Other languages
English (en)
Inventor
文森特·博特罗
多米尼克·托罗
扬妮克·奥利维耶
爱德华·弗朗索瓦
热罗姆·维耶龙
克里斯托夫·舍旺斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Thomson Licensing SAS
Original Assignee
Thomson Licensing SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thomson Licensing SAS filed Critical Thomson Licensing SAS
Publication of CN101184240A publication Critical patent/CN101184240A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/105Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/11Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/137Motion inside a coding unit, e.g. average field, frame or block difference
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明公开了以可扩展格式编码的设备和方法及相应解码设备和方法,具体地,涉及一种对以底层和至少一个增强层的形式呈现出的图像序列中的图像数据宏块(MBEL)进行编码的方法。图像数据宏块(MBEL)属于增强层,底层中与该图像数据宏块(MBEL)相对应的图像数据块(BBL)称为相应块。该方法包括以下步骤:针对图像数据宏块(MBEL),根据底层中先前已编码(E70)并重构(E71)的图像数据块,产生(E72,E73,E73’)图像数据的预测宏块(MBpred),根据预测宏块(MBpred)以及增强层中的图像数据宏块MBEL,产生(E74)残留宏块(MBEL residues),以及对残留宏块(MBEL residues)进行编码(E75)。根据本发明,所述底层的图像数据块不同于相应块(BBL)。

Description

以可扩展格式编码的设备和方法及相应解码设备和方法
技术领域
本发明涉及一种用于以可扩展格式对图像序列进行编码的设备。本发明还涉及一种为了图像序列的重构而对可扩展数据流进行解码的设备。本发明还涉及一种为了用于以可扩展格式对图像序列进行编码而对图像数据宏块进行编码的方法,以及一种为了图像序列中的宏块的重构而对可扩展比特流的一部分进行解码的方法。
背景技术
参考图1,编码设备ENC1使得能够以可扩展格式来对以底层(BL)和至少一个增强层(EL)的形式呈现出的图像序列进行编码。BL层中的图像通常是EL层图像的子采样版本。编码设备ENC1包括用于对BL层进行编码的第一编码模块ENC_BL1以及用于对EL层进行编码的至少一个第二编码模块ENC_EL1。通常地,该编码设备ENC1还包括与编码模块ENC_BL1和ENC_EL1相连的模块MUX,以便对由所述编码模块ENC_BL1和ENC_EL1所产生的比特流进行多路复用。多路复用模块MUX可以位于编码设备ENC1的外部。
通常地,第一编码模块ENC_BL1根据视频编码器领域的技术人员已知的视频编码标准(例如MPEG-2、MPEG-4 AVC、H.261、H.262、H.263等),来对BL层的图像数据块进行编码。
为了减少EL层的图像之间的空间冗余,将第二编码模块ENC_EL1适配用于根据标准编码模式来对EL层的图像数据宏块进行编码,例如根据EL层的其他图像数据宏块来对所述图像数据宏块进行时间或空间预测。根据图2,对于EL层中帧内(intra)类型的图像数据宏块(称为MBEL),第二编码模块ENC_EL1可以根据在空间上与所述宏块MBEL相邻并在先前进行编码然后又进行了重构的图像数据宏块(例如,A、B、C和D),对所述宏块MBEL进行预测和编码。例如,根据与名为“Information technology--Coding of audio-visualobjects--Part 10:Advanced Video Coding”的ISO/IEC 14496-10文档中的MPEG-4 AVC标准所定义的那些为相同类型的标准帧内模式,来对宏块MBEL进行预测和编码。此外,为了减少BL层的图像和EL层的图像之间的冗余,还将第二编码模块ENC_EL1适配用于根据已知为“层间(inter-layer)”的编码模式来根据BL层的图像数据对EL层的图像数据宏块进行编码。第二编码模块ENC_EL1还可以根据先前在宏块MBBL UP中已编码、重构并进行了上采样(up-sample)的底层中相应图像数据块BBL(即,根据层间帧内模式,写成intraBL),来对图像数据宏块MBEL进行预测和编码。
再次参照图1,第二编码模块ENC_EL1传统地包括:判决模块10,适用于根据预定选择准则来选择针对EL层中的给定宏块的编码模式(例如intraBL模式)。例如,此选择是基于速率-失真类型准则而实现的,即所选模式是提供了最佳速率-失真折衷的模式。图1仅示出了以intraBL模式来对EL层中的图像数据宏块进行编码所需的ENC_BL1和ENC_EL1模块。没有在此图中示出的其他模块(例如,运动估计模块)对于视频编码器领域的技术人员是已知的,这些模块使得能够根据诸如ISO/IEC 14496-10文档中所定义的那些标准模式(例如,帧内、帧间(inter)等)来对EL层的宏块进行编码。为此,第二编码模块ENC_EL1包括模块20,用于例如通过双线性插值来对由第一编码模块ENC_BL1所重构的图像数据块BBL rec进行上采样,以获得上采样图像数据宏块MBBL UP,也称为预测宏块。第二编码模块ENC_EL1还包括模块30,适用于从增强层的图像数据宏块MBEL中逐像素地减去预测宏块MBBL UP。因此,模块30产生被称为MBEL residues的残留宏块,然后通过模块40对该残留宏块进行变换、量化和编码。在传统意义上,图像数据是分配给每个像素的亮度或色度值。
通常地,当BL层的相应块BBL并非以帧内模式进行编码(即,以帧间模式进行编码)时,编码设备ENC1不允许宏块MBEL以intraBL模式进行编码。这种限制使得能够在重构EL层之前防止BL层的全部重构,此外还可以减少解码设备对由编码设备ENC1所产生的比特流进行解码的复杂度。实际上,如果编码设备ENC1以intraBL模式来对宏块MBEL进行编码,而以帧间模式来对相应块BBL进行编码,则适用于对该宏块MBEL进行重构的解码设备必须首先对以帧间模式编码的块BBL进行重构。这种编码设备ENC1具有必须实行反向运动补偿的缺点。然而,这种反向运动补偿的实行很复杂。此外,在以帧间模式对相应块BBL进行编码时不允许宏块MBEL以intraBL模式进行编码的编码设备ENC1具有如下缺点:并不充分使用EL层的图像数据和BL层的图像数据之间的冗余来对EL层进行编码。
发明内容
本发明的目的是克服现有技术的至少一个缺点。
本发明涉及一种用于对以底层和至少一个增强层的形式呈现出的图像序列中的图像数据宏块进行编码的方法。所述图像数据宏块属于增强层,底层中与所述图像数据宏块相对应的图像数据块被称为相应块。该方法包括以下步骤:
-针对图像数据宏块,根据底层中先前已编码并重构的一个或若干个图像数据块,产生图像数据的预测宏块,
-根据预测宏块以及增强层的图像数据宏块MBEL,产生残留宏块,以及
-对该残留宏块进行编码。
优选地,仅根据底层中不同于相应块的图像数据块来产生该预测宏块。
根据一个特定特征,底层中用于产生预测宏块的图像数据块与相应块相邻。
根据另一个特定特征,底层中用于产生预测宏块的图像数据块位于相应块的非因果相邻区域。
根据另一个特定特征,预测宏块是根据底层中属于以下集合的一个或若干图像数据块产生的,该集合包括:
-位于相应块(BBL)的左下方的块;
-位于相应块(BBL)的右下方的块;
-位于紧靠相应块(BBL)右边的块;以及
-位于紧靠相应块(BBL)下方的块。
本发明还涉及一种用于对以底层和至少一个增强层的形式呈现出的图像序列进行编码的设备。该增强层包括至少一个图像数据宏块,底层中与所述图像数据宏块相对应的的块被称为相应块。该设备包括:第一编码模块,用于对底层中的图像数据块进行编码;以及第二编码模块,用于对增强层中的图像数据宏块进行编码。第二编码模块包括:
-第一装置,用于针对增强层的图像数据宏块,根据底层中先前由第一编码模块编码并重构的一个或若干图像数据块,产生预测宏块,
-第二装置,用于根据预测宏块以及增强层中的图像数据宏块,产生残留宏块,以及
-第三装置,用于对残留宏块进行编码。
有利地,第一装置适于仅根据底层中不同于相应块的图像数据块来产生预测宏块。
本发明还涉及一种用于对表示以底层和至少一个增强层的形式呈现出的图像序列的比特流的一部分进行解码,以便重构所述增强层中的图像数据宏块的方法,底层中与所述图像数据宏块相对应的图像数据块被称为相应块。该方法包括以下步骤:
-针对图像数据宏块,根据底层中先前所重构的一个或若干图像数据块,产生预测宏块,其中所述一个或若干图像数据块根据表示所述图像数据块的比特流的第一部分而重构,
-根据表示残留宏块的比特流的第二部分,重构残留宏块,以及
-根据预测宏块以及所重构的残留宏块,重构增强层中的宏块。
优选地,仅根据底层中不同于相应块的图像数据块来产生预测宏块。
本发明还涉及一种用于对表示以底层和至少一个增强层的形式呈现出的图像序列的比特流进行解码的设备。该设备包括:第一解码模块,适用于重构底层中的图像数据块;以及第二解码模块,适用于重构增强层中的图像数据宏块。第二解码模块包括:
-第一装置,针对增强层中的图像数据宏块,根据由第一解码模块先前所重构的底层中的一个或若干图像数据块,产生预测宏块,其中底层中与所述图像数据宏块相对应的图像数据块被称为相应块,所述一个或若干图像数据块根据表示所述图像数据块的比特流的第一部分而重构,
-第二装置,用于根据表示残留宏块的比特流的第二部分,重构残留宏块,以及
-第三装置,用于根据预测宏块以及所重构的残留宏块,重构图像数据宏块。
有利地,该第一装置适于仅根据底层中不同于相应块的图像数据块来产生预测宏块。
本发明还涉及一种表示以底层和至少一个增强层的形式呈现出的图像序列的编码数据流。该编码数据流包括与增强层中的图像数据宏块相关联的二进制数据,底层中的图像数据块与所述图像数据宏块相对应,。根据一个特定特征,该二进制数据指示了仅根据底层中不同于相应块的图像数据块来对该宏块进行编码。
例如,该编码数据流根据MPEG类型的句法。
附图说明
参考附录中所附的图,通过有利实施例和实施方式非限制性地例证了本发明,并且本发明可被更好地理解,在附图中:
-图1示出了根据现有技术的用于以可扩展格式对图像序列进行编码的设备,
-图2示出了增强层中的宏块MBEL及其空间上相邻的宏块A、B、C和D,以及底层中与宏块MBEL相对应的块BBL,及其空间上相邻的块a、b、c、d、e、f、g和h,
-图3示出了根据本发明的用于对宏块进行编码的方法,
-图4示出了增强层中的宏块MBEL及其空间上相邻的宏块A、B、C和D,以及底层中与宏块MBEL相对应的块BBL,及其空间上相邻的块a、b、c、d、e、f、g和h及其上采样版本,
-图5示出了增强层中的轮廓线C1的位置以及底层中的轮廓线C2的位置,
-图6示出了根据本发明的用于对宏块进行编码的方法的第二实施例,
-图7示出了根据本发明的用于对宏块进行解码的方法,
-图8示出了根据本发明的用于对宏块进行解码的方法的第二实施例,
-图9示出了根据本发明的用于以可扩展的格式对图像序列进行编码的设备,
-图10示出了根据本发明用于以可扩展的格式对图像序列进行解码的设备,
-图11示出了增强层中的宏块MBEL,底层中与宏块MBEL相对应的块BBL,及其空间上相邻的块a、b、c、d、e、f、g和h及其上采样版本,以及
-图12示出了像素块或宏块以及两个关联轴。
具体实施方式
在描述中,所使用的术语与以下标准中所定义的那些相对应:MPEG-4 AVC(ISO/IEC 14496-10)和SVC(ISO/IEC MPEG & ITU-TVCEG JVT-R202名为“Draft of the Joint Draft 7”)。同样地,所使用的数学运算符是ISO/IEC 14496-10文档中所定义的那些。运算符‘>>’指示右移。在图3以及图6到图10中,所示的模块是可以或可以不与物理上可区别的单元相对应的功能单元。例如,可以将这些模块或这些模块中的一些集中在单一部件中,或者可以构成相同软件的功能。反之,一些模块可以由单独的物理实体组成。这些图仅示出了本发明的主要部件。
根据图3,本发明涉及一种为了由一种用于对以底层和至少一个增强层的形式呈现出的图像序列进行编码的方法所使用而用于对图像数据宏块MBEL进行编码的方法。图像数据宏块MBEL是EL层中的宏块。根据本发明的编码方法适用于根据诸如MPEG4 AVC编码标准中所定义的那些标准编码模式来对宏块MBEL进行编码。该编码方法还适用于在块BBL以帧内模式进行编码时以层间模式(即以intraBL模式)根据BL层中的相应块BBL对宏块MBEL进行编码;如果相应块BBL以帧间模式进行编码,则不允许intraBL模式。根据本发明并根据图4,该编码方法还适用于以层间模式根据从BL层中与块BBL相邻的图像数据块(例如,e、f、g和h)(即不同于相应块BBL)对宏块MBEL进行编码。在图4中,块e、f、g和h与块BBL相邻,并且位于块BBL的非因果(non-causal)相邻区域,即在对块h、g、f和e进行编码之前对块BBL进行编码,而与块BBL相邻的块a、b、c和d位于块BBL的因果相邻区域,即在对块BBL进行编码之前对这些块进行编码。词“相邻”暗示了相邻块与块BBL共享侧边或角。
根据第一实施例,定义了以下四种模式:intraBL_DC、intraBL_Vert、intraBL_Hor、intraBL_Plane。这些新的层间帧内模式使得能够根据底层中的图像数据块e、f和/或g对宏块MBEL进行编码,图像数据块e、f和/或g先前已经在步骤E70中进行编码,在步骤E71进行重构,以及在步骤E72进行了上采样,并且分别将上采样后的块称为eUP、fUP和gUP。这四种模式是针对亮度图像数据定义的;这四种模式可以在色度块的情况中进行直接扩展。以MBpred表示用于预测宏块MBEL的预测宏块,以MBpred[x,y]表示与宏块中坐标(x,y)的像素相关联的亮度值,其中x指示宏块中的像素的水平位置,y指示垂直位置。同样地,以eUP[x,y]表示与宏块eUP中坐标(x,y)的像素相关联的亮度值,以gUP[x,y]表示与宏块gUp中坐标(x,y)的像素相关联的亮度值,以及以fUP[x,y]表示与宏块fUP中坐标(x,y)中的像素相关联的亮度值。像素块的左上角的像素具有坐标(0,0),而右下角的像素具有坐标(N-1,N-1),其中N是块的大小,坐标(x,y)的像素位于块的x列和y行。例如,以cod_mode表示先前基于速率-失真类型的预定准则所定义的编码模式。使用宏块MBpred来预测宏块MBEL,宏块MBpred是在步骤E73中根据所选的编码模式cod_mode从宏块eUP、fUP和/或gUP构造而来的。在步骤E74中,逐像素地从增强层的图像数据宏块MBEL减去预测宏块MBpred。此步骤E74产生表示为MBEL residues的残留宏块,然后在步骤E75中对该残留宏块进行变换、量化和编码。步骤E75产生比特流,即一连串比特。
根据本发明,如果以intraBL_DC模式来对宏块MBEL进行编码,即如果cod_mode=intraBL_DC,则宏块MBpred如下构造:
-如果用于构造MBpred的块eUP和gUP的像素可用,即如果所使用的像素不在图像之外,则:
MB pred [ x , y ] = 1 / 32 * ( Σ X = 0 15 g up [ X , 0 ] + Σ Y = 0 15 e up [ 0 , Y ] ) , 其中,x,y=0..15
-否则,如果用于构造MBpred的块gUP的像素不可用,则 MB pred [ x , y ] = 1 / 16 * ( Σ Y = 0 15 e up [ 0 , Y ] ) , 其中x,y=0..15
-否则,如果用于构造MBpred的块eUP的像素不可用,则: MB pred [ x , y ] = 1 / 16 * ( Σ X = 0 15 g up [ X , 0 ] ) , 其中x,y=0..15
-否则
MBpred[x,y]=128,其中x,y=0..15
如果以intraBL_Vert模式来对宏块MBEL进行编码,即如果cod_mode=intraBL_Vert,则宏块MBpred如下构造:
-如果用于构造MBpred的块gUP的像素可用,即如果所使用的像素不在图像之外,则:
MBpred[x,y]=gUP[x,0],其中x,y=0..15
-否则,不允许这种模式。
如果以intraBL_Hort模式来对宏块MBEL进行编码,即,如果cod_mode=intraBL_Hort,则宏块MBpred如下构造:
-如果用于构造MBpred的块eUP的像素可用,即如果所使用的像素不在图像之外,则:
MBpred[x,y]=eUP[0,y],其中x,y=0..15
-否则不允许这种模式。
如果以intraBL_Plane模式来对宏块MBEL进行编码,即如果cod_mode=intraBL_Plane,则宏块MBpred如下构造:
-如果用于构造MBpred的块eUP、fUP和gUP中的像素可用,即如果所使用的像素不在图像之外,则设置gUP[16,0]=fUP[0,0]以及eUP[0,16]=fUP[0,0],因此:
MBpred[x,y]=(a+b*(x-7)+c*(y-7)),其中,x,y=0..15
其中:-a=16*(eUP[0,0]+gUP[0,0]),b=(5*H+32)/64,c=(5*V+32)/64
- H = Σ x = 1 8 x ( g UP [ 8 - x , 0 ] - g UP [ x + 8,0 ] ) ,
- V = Σ y = 1 8 y ( e UP [ 0,8 - y ] - e UP [ 0,8 + y ] ) .
-否则不允许这种模式。
根据第二实施例,以一种不必完全重构BL层中的图像来重构EL层中的图像的方式来定义四种模式:intraBL_DC、intraBL_Vert、intraBL_Hor、intraBL_Plane。这些层间帧内模式使得能够根据底层的图像数据块e、f和/或g对宏块MBEL进行编码,图像数据块e、f和/或g先前已经在步骤E70中进行编码,在步骤E71进行重构,以及在步骤E72进行了上采样,并且分别将上采样后的块称为eUP、fUP和gUP。这四种模式是针对亮度图像数据定义的;这四种模式可以在色度块的情况下直接扩展。以MBpred表示用于预测宏块MBEL的预测宏块,以MBpred[x,y]表示与宏块中坐标(x,y)的像素相关联的亮度值,其中x指示宏块中的像素的水平位置,y指示垂直位置。同样地,以eUP[x,y]表示与宏块eUP中坐标(x,y)的像素相关联的亮度值,以gUP[x,y]表示与宏块gUP中坐标(x,y)的像素相关联的亮度值,以及以fUP[x,y]表示与宏块fUP中坐标(x,y)的像素相关联的亮度值。像素块或宏块的左上角的像素具有坐标(0,0),而右下角的像素具有坐标(N-1,N-1),其中N是块的大小,坐标(x,y)的像素位于块的x列和y行。例如,以cod_mode表示先前基于速率-失真类型的预定准则所定义的编码模式。使用在步骤E73中根据所选的编码模式cod_mode从宏块eUP、fUP和/或gUP所构造的宏块MBpred,来预测宏块MBEL。在步骤E74中,逐像素地从增强层MBEL的图像数据宏块中减去预测宏块MBpred。此步骤E74产生表示为MBEL residues的残留宏块,然后在步骤E75中对该残留宏块进行变换、量化和编码。步骤E75产生比特流,即一连串比特。根据本实施例,在步骤E73过程中唯一从BL层中以帧内模式进行编码的块e、f和/或g中构造宏块MBpred
如果以intraBL_DC模式来对宏块MBEL进行编码,即如果cod_mode=intraBL_DC,则宏块MBpred如下构造:
-如果用于构造MBpred的块eUP和gUP的像素可用,即如果所使用的像素不在图像之外以及如果块e和g是以帧内模式进行编码的,则: MB pred [ x , y ] = 1 / 32 * ( Σ X = 0 15 g up [ X , 0 ] + Σ Y = 0 15 e up [ 0 , Y ] ) , 其中,x,y=0..15
-否则,如果用于构造MBpred的块gUP的像素不可用,则: MB pred [ x , y ] = 1 / 16 * ( Σ Y = 0 15 e up [ 0 , Y ] ) , 其中x,y=0..15
-否则,如果用于构造MBpred的块eUP的像素不可用,则: MB pred [ x , y ] = 1 / 16 * ( Σ X = 0 15 g up [ X , 0 ] ) , 其中x,y=0..15
-否则
MBpred[x,y]=128,其中x,y=0..15
如果以intraBL_vert模式来对宏块MBEL进行编码,即如果cod_mode=intraBL_Vert,则宏块MBpred如下构造:
-如果用于构造MBpred的块gUP的像素可用,即如果所使用的像素不在图像之外以及如果块g以帧内模式进行编码,则:
MBpred[x,y]=gUP[x,0],其中x,y=0..15
-否则,不允许这种模式。
如果以intraBL_Hort模式来对宏块MBEL进行编码,即,如果cod_mode=intraBL_Hort,则宏块MBpred如下构造:
-如果用于构造MBpred的块eUP的像素可用,即如果所使用的像素不在图像之外以及如果块e以帧内模式进行编码,则:
MBpred[x,y]=eUP[0,y],其中x,y=0..15
-否则,不允许这种模式。
如果以intraBL_Plane模式来对宏块MBEL进行编码,即如果cod_mode=intraBL_Plane,则宏块MBpred如下构造:
-如果用于构造MBpred的块eUP、fUP和gUP中的像素可用,即如果所使用的像素不在图像之外,则设置gUP[16,0]=fUP[0,0]以及eUP[0,16]=fUP[0,0],因此:
MBpred[x,y]=(a+b*(x-7)+c*(y-7)),其中x,y=0..15
其中:-a=16*(eUP[0,0]+gUP[0,0]),b=(5*H+32)/64,c=(5*V+32)/64
- H = Σ x = 1 8 x ( g UP [ 8 - x , 0 ] - g UP [ x + 8,0 ] ) ,
- V = Σ y = 1 8 y ( e UP [ 0,8 - y ] - e UP [ 0,8 + y ] ) .
-否则,不允许这种模式。
这两个实施例有利地使得能够根据层间帧内模式对EL层中的图像数据宏块MBEL进行编码,而不管用于对BL层中的相应块BBL进行编码的模式,即不管是以帧内或是帧间模式来对块BBL进行编码。实际上,在这两个实施例中,并没有将相应块BBL用于根据新定义的模式来构造预测宏块MBpred。更精确地,预测宏块MBpred仅根据底层中不同于相应块BBL的图像数据块来产生。因此,根据本发明的编码方法更大限度地使用在BL层中的图像数据和EL层中的图像数据之间的空间冗余,并由此更有效地对EL层进行编码,即使用较少的比特。此外,根据这两个实施例,仅使用位于相应块BBL的非因果相邻区域中的块e、f和g来构造预测宏块MBpred,这通过限制所增加的模式数而限制了编码方法的复杂度。将位于块BBL的非因果相邻区域中的块e、f和g用于克服不能根据EL层中的宏块E、F、G和H(见图2)来空间预测宏块MBEL的事实,因为这些宏块位于EL层的非因果相邻区域。此外,如图5所示,如果宏块A、B、C、D和宏块MBEL之间存在转变(即,与底层的轮廓C2相对应的轮廓C1),则可以将这些块用于更精确地预测宏块MBEL。实际上,从与MBEL相邻的宏块A、B、C和D所构造出的预测宏块MBpred没有足够的精确度来预测宏块MBEL。在这种情况下,对宏块MBEL进行编码将在比特数方面花费很大的成本。另一方面,从块e、f、g和h所构造出的预测宏块MBpred以更高的精确度来预测宏块MBEL。在这种情况下,在比特数方面,宏块MBEL进行编码的成本较之先前情况减少。通过类推可以定义相同的模式:intraBL_DC、intraBL_Vert、intraBL_Hor、intraBL_Plane以便对与色度值相关的像素块进行预测和编码。
提供图6中所示的第三实施例作为题为“Draft of the Joint Draft 7”(J.Reichel,H.Schwarz,M.Wien)的ISO/IEC MPEG & ITU-T VCEG的JVT-T005文档中所定义的SVC编码标准的一部分。在图6中使用相同的附图标记对图6中所示的编码方法中与图3中所示的编码方法中相同的步骤进行标识,并不再进一步描述。根据SVC,可以根据MPEG-4 AVC标准中相对于可扩展性的扩展所定义的模式intra16×16、intra4×4、或intra8×8来对宏块MBEL进行编码。根据本实施例,定义了表示为intra4×4BL、intra8×8BL以及intra16×16BL的新编码模式,并对其进行选择用以对宏块MBEL进行编码。还定义了宏块MBEL的新的块预测模式。新的层间帧内模式intra4×4BL、intra8×8BL和intra16×16BL使得能够从底层中的图像数据块e、f、g和/或h对宏块MBEL进行编码,图像数据块e、f、g和/或h先前已经在步骤E70中进行编码,并在步骤E71进行重构,以及在步骤E72进行了上采样,并且分别将上采样后的块称为eUP、fUP gUP和hUP。这些模式是针对亮度图像数据定义的;它们可以在色度块的情况下直接扩展。使用在步骤E73’期间根据所选编码模式cod_mode以及可能地根据形成所述宏块MBEL的每个块的预测模式blc_mode所构造的预测宏块MBpred,来预测宏块MBEL。在步骤E74期间,逐像素地从增强层的图像数据宏块MBEL中减去预测宏块MBpred。此步骤E74产生表示为MBEL residues的残留宏块,然后在步骤E75中对该残留宏块进行变换、量化和编码。步骤E75产生比特流,即一连串比特。
如果以intra4×4BL模式来对宏块MBEL进行编码,则根据以下模式之一来预测宏块中16个4乘4的像素块中(表示为4×4块)的每个块:
Hier_Intra_4×4_Vertical_Up,Hier_Intra_4×4_Horizontal_Left,
Hier_Intra_4×4_DC_Down_Right,Hier_Intra_4×4_Diagonal_Top_Right,
Hier_Intra_4×4_Diagonal_Top_Left,Hier_Intra4×4_Vertical_Up_Left,
Hier_Intra_4×4_Horizontal_Top,Hier_Intra_4×4_Vertical_Up_Right以及Hier_Intra_4×4_Horizontal_Down_Left。
可以根据速率-失真类型准则来选择4×4块的预测模式(表示为blc_mode)。这个选择可以在选择宏块的编码cod_mode同时来进行。
以pred4×4L表示用于预测宏块MBEL中的4×4块(表示为BEL,并在图12中以灰色示出)的预测块,以及以pred4×4L[x,y]表示与预测块中坐标(x,y)的像素相关联的亮度值,其中x指示块中的像素的水平位置,y指示垂直位置,预测块的左上角的像素具有坐标(0,0),而右下角的像素具有坐标(N-1,N-1),其中N是块的大小,坐标(x,y)的像素位于块的x列和y行。根据图12,第一轴(x,y)与块BEL相关联,且以块的左上角的像素作为原点,第二轴(X’,Y’)与块BEL相关联,且以块BEL的右下角的像素作为原点。设置x’=3-x,y’=3-y以及p’[x’,y’]=p[3-x’,3-y’]=p[x,y],p[x,y]是与第一轴中坐标(x,y)的像素相关联的亮度值,而p’[x’,y’]是与第二轴中坐标(x’,y’)的像素相关联的亮度值。
与宏块MBEL中的每个4×4块相关联的预测块pred4×4L形成预测宏块MBpred
如果以intra4×4BL模式来对宏块MBEL进行编码,以及如果根据模式Hier_Intra_4×4_Vertical_Up对块BEL进行预测,则块pred4×4L如下构造:
pred4×4L[x,y]=p’[x’,-1],其中x=0..3并且y=0..3
只有在像素p’[x’,-1]可用,即像素p’[x’,-1]存在,并且是从BL层中以帧内模式编码的像素块(即e、f、g、h)产生的情况下,才允许预测模式Hier_Intra_4×4_Vertical_Up。
如果以intra4×4BL模式来对宏块MBEL进行编码,以及如果根据模式Hier_Intra_4×4_Horizontal_Left来对块BEL进行预测,则块pred4×4L如下构造:
pred4×4L[x,y]=p’[-1,y’],其中x=0..3并且y=0..3
只有在像素p’[-1,y’]可用,即像素p’[-1,y’]存在,并且是从BL层中以帧内模式编码的像素块产生的情况下,才允许预测模式Hier_Intra_4×4_Horizontal_Left。
如果以intra4×4BL模式来对宏块MBEL进行编码,以及如果根据模式Hier_Intra_4×4_DC_Down_Right来对块BEL进行预测,则块pred4×4L如下构造:
-如果像素p’[x’,-1](其中x=0..3)和像素p’[-1,y’](其中y=0..3)可用,即如果像素p’[x’,-1]和像素p’[-1,y’]存在,并且是从BL层中以帧内模式编码的像素块产生的,则值pred4×4L[x,y]如下确定,其中x=0..3并且y=0..3:
pred4×4L[x,y]=(p’[0,-1]+p’[1,-1]+p’[2,-1]+p’[3,-1]+p’[-1,0]+p’[-1,1]+p’[-1,2]+p’[-1,3]+4)>>3
-否则,即如果像素p’[x’,-1](其中x=0..3)之一不可用,而所有的像素p’[-1,y’](其中y=0..3)都可用,则值pred4×4L[x,y]如下确定,其中x=0..3并且y=0..3:
pred4×4L[x,y]=(p’[-1,0]+p’[-1,1]+p’[-1,2]+p’[-1,3]+2)>>2
-否则,即如果像素p’[-1,y’](其中y=0..3)之一不可用,并且如果所有的像素p’[x’,-1](其中x=0..3)都可用,则值pred4×4L[x,y]如下确定,其中x=0..3并且y=0..3:
pred4×4L[x,y]=(p’[0,-1]+p’[1,-1]+p’[2,-1]+p’[3,-1]+2)>>
-否则,如果像素p’[x’,-1](其中x=0..3)中的一些和像素p’[-1,y’](y=0..3)中的一些可用,则值pred4×4L[x,y]如下确定,其中x=0..3并且y=0..3:pred4×4L[x,y]=(1<<(BitDepthY-1))
预测模式Hier_Intra_4×4_DC_Down_Right可以始终使用。
如果以intra4×4BL模式来对宏块MBEL进行编码,以及如果根据模式Hier_Intra_4×4_Diagonal_Top_Right来对块BEL进行预测,则块pred4×4L如下构造:
-如果x’=3以及y’=3,则
pred4×4L[x,y]=(p’[6,-1]+3*p’[7,-1]+2)>>2
-否则(即x’不等于3或y’不等于3),
pred4×4L[x,y]=(p’[x’+y’,-1]+2*p’[x’+y’+1,-1]+p’[x’+y’+2,-1]+2)>>2
只有像素p’[x’,-1](其中x=0..7)可用,才允许预测模式Hier_Intra_4×4_Diagonal_Top_Right。
如果以intra4×4BL模式对宏块MBEL进行编码,以及如果根据模式Hier_Intra_4×4_Diagonal_Top_Left来对块BEL进行预测,则块pred4×4L如下构造:
-如果x’>y’,
pred4×4L[x,y]=(p’[x’-y’-2,-1]+2*p’[x’-y’-1,-1]+p’[x’-y’,-1]+2)>>2
-否则,如果x’>y’,
pred4×4L[x,y]=(p’[-1,y’-x’-2]+2*p’[-1,y’-x’-1]+p’[-1,y’-x’]+2)>>2
-否则(即,如果x’等于y’),
pred4×4L[x,y]=(p’[0,-1]+2*p’[-1,-1]+p’[-1,0]+2)>>2
只有像素p’[x’,-1](其中,x=0..7)和p’[-1,y’](其中y=0..7)可用,才允许预测模式Hier_Intra_4×4_Diagonal_Top_Left。
如果以intra4×4BL模式对宏块MBEL进行编码,以及如果根据模式Hier_Intra_4×4_Vertical_Up_Left来对块BEL进行预测,则以变量zVR’等于2*x’-y’,块pred4×4L如下构造,其中x=0..3并且y=0..3:
-如果zVR’等于0、2、4或6,
pred4×4L[x,y]=(p’[x’-(y’>>1)-1,-1]+p’[x’-(y’>>1),-1]+1)>>1
-否则,如果zVR’等于1、3或5,
pred4×4L[x,y]=(p’[x’-(y’>>1)-2,-1]+2*p’[x’-(y’>>1)-1,-1]+p’[x’-(y’>>1),-1]+2)>>2
-否则,如果zVR’等于-1,
pred4×4L[x,y]=(p’[-1,0]+2*p’[-1,-1]+p’[0,-1]+2)>>2
-否则(即,如果zVR’等于-2或-3),
pred4×4L[x,y]=(p’[-1,y’-1]+2*p’[-1,y’-2]+p’[-1,y’-3]+2)>>2。
只有像素p’[x’,-1](其中,x=0..7)和p’[-1,y’](其中y=0..7)可用,才允许预测模式Hier_Intra_4×4_Vertical_Up_Left。
如果以intra4×4BL模式来对宏块MBEL进行编码,以及如果根据模式Hier_Intra_4×4_Horizontal_Top来对块BEL进行预测,则以变量zHD’等于2*y’-x’,块pred4×4L如下构造,其中x=0..3以及y=0..3:
-如果zHD’等于0、2、4或6,
pred4×4L[x,y]=(p’[-1,y’-(x’>>1)-1]+p’[-1,y’-(x’>>1)]+1)>>1
-否则,如果zHD’等于1、3或5,
pred4×4L[x,y]=(p’[-1,y’-(x’>>1)-2]+2*p’[-1,y’-(x’>>1)-1]+p’[-1,y’-(x’>>1)]+2)>>2
-否则,如果zHD’等于-1,
pred4×4L[x,y]=(p’[-1,0]+2*p’[-1,-1]+p’[0,-1]+2)>>2
-否则(即,如果zHD’等于-2或-3),
pred4×4L[x,y]=(p’[x’-1,-1]+2*p’[x’-2,-1]+p’[x’-3,-1]+2)>>2
只有像素p’[x’,-1](其中,x=0..7)和p’[-1,y’](其中y=0..7)可用,才允许预测模式Hier_Intra_4×4_Horizontal_Top。
如果以intra4×4BL模式来对宏块MBEL进行编码,以及如果根据模式Hier_Intra_4×4_Vertical_Up_Right来对块BEL进行预测,则块pred4×4L如下构造,其中x=0..3以及y=0..3:
-如果y’等于0或2,
pred4×4L[x,y]=(p’[x’+(y’>>1),-1]+p’[x’+(y’>>1)+1,-1]+1)>>1
-否则(y’等于1或3),
pred4×4L[x,y]=(p’[x’+(y’>>1),-1]+2*p’[x’+(y>>1)+1,-1]+p’[x’+(y’>>1)+2,-1]+2)>>2
如果以intra4×4BL模式来对宏块MBEL进行编码,以及如果根据模式Hier_Intra_4×4_Horizontal_Down_Left来对块BEL进行预测,则以变量zHU’等于x’+2*y’,块pred4×4L如下构造,其中x=0..3以及y=0..3:
-如果zHU’等于0、2或4
pred4×4L[x,y]=(p’[-1,y’+(x’>>1)]+p’[-1,y’+(x’>>1)+1]+1)>>1
-否则,如果zHU’等于1或3
pred4×4L[x,y]=(p’[-1,y’+(x’>>1)]+2*p’[-1,y’+(x’>>1)+1]+p’[-1,y’+(x’>>1)+2]+2)>>2
-否则,如果zHU’等于5,
pred4×4L[x,y]=(p’[-1,2]+3*p’[-1,3]+2)>>2
-否则(即如果zHU’>5),
pred4×4L[x,y]=p’[-1,3]
如果以intra8×8BL模式对宏块MBEL进行编码,则根据以下模式之一来对宏块中4个8乘8像素块(表示为8×8块)中的每个块进行预测:
Hier_Intra_8×8_Vertical,Hier_Intra_8×8_Horizontal,Hier_Intra_8×8_DC,
Hier_Intra_8×8_Diagonal_Up_Right,Hier_Intra_8×8_Diagonal_Up_Left,
Hier_Intra_8×8_Vertical_Left,Hier_Intra_8×8_Horizontal_Up,
Hier_Intra_8×8_Vertical_Right以及Hier_Intra_8×8_Horizontal_Down。
可以根据速率-失真类型准则来选择8×8块的预测模式。
以pred8×8L表示用于预测宏块MBEL中的8×8块(表示为BEL,并在图12中以灰色示出)的预测块,以及以pred8×8L[x,y]表示与块中坐标(x,y)的像素相关联的亮度值,其中x指示8×8块中的像素的水平位置,y指示垂直位置。像素块的左上角的像素具有坐标(0,0),而右下角的像素具有坐标(N-1,N-1),其中N是8×8块的大小,坐标(x,y)的像素位于块的x列和y行。
根据图12,第一轴(x,y)与块BEL相关联,且以块的左上角的像素作为原点,第二轴(X’,Y’)  块BEL相关联,且与以块BEL的右下角的像素作为原点。假设x’=7-x,y’=7-y  以及p’[x’,y’]=p[7-x’0.7-y’]=p[x,y],其中p[x,y]是与第一轴中坐标(x,y)的像素相关联的亮度值,而p’[x’,y’]是与第二轴中坐标(x’,y’)的像素相关联的亮度值。
所述已过滤的并表示为p”[x’,y’]的参考像素(x’=-1,y’=-1..7以及x’=0..15,y’=-1)如下构造:
●如果所有像素p’[x’,-1](其中x’=0..7)可用,则:
○如下获得p”[0,-1]的值:
■如果p’[-1,-1]可用
p”[0,-1]=(p’[-1,-1]+2*p’[0,-1]+p’[1,-1]+2)>>2
■否则
p”[0,-1]=(3*p’[0,-1]+p’[1,-1]+2)>>2
○如下获得p”[x’,-1](其中x’=1..7)的值:
p”[x’,-1]=(p’[x’-1,-1]+2*p’[x’,-1]+p’[x’+1,-1]+2)>>2
●如果所有像素p’[x’,-1](其中x’=7..15)可用,则:
○如下获得p”[x’,-1](其中x’=8..14)的值:
p”[x’,-1]=(p’[x’-1,-1]+2*p’[x’,-1]+p[x’+1,-1]+2)>>2
○如下获得p”[15,-1]的值:
p”[15,-1]=(p’[14,-1]+3*p’[1 5,-1]+2)>>2
●如果像素p’[-1,-1]可用,则如下获得p”[-1,-1]的值:
○如果像素p’[0,-1]可用或像素p’[-1,0]不可用,则
■如果像素p’[0,-1]可用,则
p”[-1,-1]=(3*p’[-1,-1]+p’[0,-1]+2)>>2
■否则(p’[0,-1]不可用并且p’[-1,0]可用),则
p”[-1,-1]=(3*p’[-1,-1]+p’[-1,0]+2)>>2
○否则(p’[0,-1]可用并且p’[-1,0]可用)
p”[-1,-1]=(p’[0,-1]+2*p’[-1,-1]+p’[-1,0]+2)>>2
●如果所有像素p’[-1,y’](其中y’=0..7)可用,则:
○如下获得p”[-1,0]的值:
■如果p’[-1,-1]可用
p”[-1,0]=(p’[-1,-1]+2*p’[-1,0]+p’[-1,1]+2)>>2
■否则(如果p’[-1,-1]不可用)
p”[-1,0]=(3*p’[-1,0]+p’[-1,1]+2)>>2
●如下获得p”[-1,y’](其中y’=1..6)的值
p”[-1,y’]=(p’[-1,y’-1]+2*p’[-1,y’]+p’[-1,y’+1]+2)>>2
●如下获得p”[-1,7]的值:
p”[-1,7]=(p’[-1,6]+3*p’[-1,7]+2)>>2
如果以intra8×8BL模式来对宏块MBEL编码,以及如果根据模式Hier_Intra_8×8_Vertical来对块BEL进行预测,则块pred8×8L如下构造:
pred8×8L[x,y]=p”[x’,-1],其中x’=0..7并且y’=0..7
只有像素p”[x’,-1]可用,即像素p”[x’,-1]存在并且如果像素p”[x’,-1]是从BL层中以帧内模式编码的像素块g产生的,才允许预测模式Hier_Intra_8×8_Vertical。
如果以intra8×8BL模式来对宏块MBEL进行编码,以及如果根据模式Hier_Intra_8×8_Horizontal来对块BEL进行预测,则块pred8×8L如下构造:
pred8×8L[x,y]=p”[-1,y’],其中x’=0..7并且y’=0..7
只有像素p’[-1,y’]可用,即如果像素p’[-1,y’]存在并且如果像素p’[-1,y’]是从BL层中以帧内模式编码的像素块e产生的,才允许预测模式Hier_Intra_4×4_Horizontal。
如果以intra8×8BL模式对宏块MBEL进行编码,以及如果根据模式Hier_Intra_8×8_DC对块BEL进行预测,则块pred8×8L如下构造:
●如果所有像素p’[x’,-1](其中x=0..7)和像素p’[-1,y’](其中y=0..7)可用,即如果这些像素都存在,并且这些像素是从BL层中以帧内模式编码的像素块产生的,则值pred8×8L[x,y]如下确定,其中x=0..7并且y=0..7:
pred 8 × 8 L [ x , y ] = ( Σ x ′ = 0 7 p ′ ′ [ x ′ , - 1 ] + Σ y ′ = 0 7 p ′ ′ [ - 1 , y ′ ] + 8 ) > > 4
●否则,即如果像素p’[x’,-1](其中x=0..3)之一不可用,以及所有像素p’[-1,y’](其中y=0..3)都可用,则值pred4×4L[x,y]如下确定,其中x=0..3并且y=0..3:
pred4×4L[x,y]=(p’[-1,0]+p’[-1,1]+p’[-1,2]+p’[-1,3]+2)>>2
●否则,即如果像素p’[x’,-1](其中x=0..7)之一不可用,以及所有像素p’[-1,y’](其中y=0..7)都可用,则值pred8×8L[x,y]如下确定,其中x=0..7并且y=0..7:
pred 8 × 8 L [ x , y ] = ( Σ y ′ = 0 7 p ′ ′ [ - 1 , y ′ ] + 4 ) > > 3
●否则,如果像素p’[-1,y’](其中y’=0..7)中的一些,以及所有像素p’[x’,-1](其中x’=0..7)可用,则值pred8×8L[x,y]如下确定,其中x’=0..7并且y’=0..7:
pred 8 × 8 L [ x , y ] = ( Σ x ′ = 0 7 p ′ ′ [ x ′ , - 1 ] + 4 ) > > 3
●否则,一些像素p’[x’,-1](其中x’=0..7)和一些像素p’[-1,y’](其中y’=0..7)不可用,则如下获得值pred8×8L[x,y],其中x’=0..7并且y’=0..7:
pred8×8L[x,y]=(1<<(BitDepthY-1))
预测模式Hier_Intra_4×4_DC始终可以使用。
如果以intra8×8BL模式对宏块MBEL进行编码,以及如果根据模式Hier_Intra_8×8_Diagonal_Up_Right来对块BEL进行预测,则块pred8×8L如下构造:
●如果x’等于7并且y’等于7,
pred8×8L[x,y]=(p”[14,-1]+3*p”[15,-1]+2)>>2
●否则(即x’不等于7或y’不等于7),
pred8×8L[x,y]=(p”[x’+y’,-1]+2*p”[x’+y’+1,-1]+p”[x’+y’+2,-1]+2)>>2
只有像素p’[x’,-1](其中x=0..15)可用,才允许预测模式Hier_Intra_8×8_Diagonal_Up_Right。
如果以intra8×8BL模式来对宏块MBEL进行编码,以及如果根据模式Hier_Intra_8×8_Diagonal_Up_Left来对块BEL进行预测,则块pred8×8L如下构造:
●如果x’大于y’,
pred8×8L[x,y]=(p”[x’-y’-2,-1]+2*p”[x’-y’-1,-1]+p”[x’-y’,-1]+2)>>2
●否则,如果x’小于y’,
pred8×8L[x,y]=(p”[-1,y’-x’-2]+2*p”[-1,y’-x’-1]+p”[-1,y’-x’]+2)>>2
●否则(即如果x’等于y’),
pred8×8L[x,y]=(p”[0,-1]+2*p”[-1,-1]+p”[-1,0]+2)>>2
只有像素p’[x’,-1](其中x’=0..7)和p’[-1,y’](其中y’=-1..7)可用,才允许预测模式Hier_Intra_8×8_Diagonal_Up_Right。
如果以intra8×8BL模式来对宏块MBEL进行编码,以及如果根据模式Hier_Intra_8×8_Vertical_Left来对块BEL进行预测,则以变量zVR’等于2*x’-y’,块pred4×4L如下构造,其中x’=0..7并且y’=0..7:
●如果zVR’等于0、2、4、6、10、12或14
pred8×8L[x,y]=(p”[x’-(y’>>1)-1,-1]+p”[x’-(y’>>1),-1]+1)>>1
●否则,如果zVR’等于1、3、5、7、9、11或1 3
pred8×8L[x,y]=(p”[x’-(y’>>1)-2,-1]+2*p”[x’-(y’>>1)-1,-1]+p”[x’-(y’>>1),-1]+2)>>2
●否则,如果zVR’等于-1,
pred8×8L[x,y]=(p”[-1,0]+2*p”[-1,-1]+p”[0,-1]+2)>>2
●否则(即如果zVR’等于-2、-3、-4、-5、-6、-7),
pred8×8L[x,y]=(p”[-1,y’-2*x’-1]+2*p”[-1,y’-2*x’-2]+p”[-1,y’-2*x’-3]+2)>>2
只有像素p’[x’,-1](其中x=0..7)和像素p’[-1,y’](其中y=-1..7)可用,才允许预测模式Hier_Intra_8×8_Vertical_Left。
如果以intra8×8BL模式来对宏块MBEL进行编码,以及如果根据模式Hier_Intra_8×8_Horizontal_Up来对块BEL进行预测,则以变量zHD’等于2*y’-x’,块pred8×8L如下构造,其中x’=0..7并且y’=0..7:
●如果zHD’等于0、2、4、6、10、12或14
pred8×8L[x,y]=(p”[-1,y”-(x”>>1)-1]+p”[-1,y’-(x’>>1)]+1)>>1
●否则,如果zHD’等于1、3、5、7、9、11或13
pred8×8L[x,y]=(p”[-1,y’-(x’>>1)-2]+2*p”[-1,y’-(x’>>1)-1]+p”[-1,y’-(x’>>1)]+2)>>2
●否则,如果zHD’等于-1,
pred8×8L[x,y]=(p”[-1,0]+2*p”[-1,-1]+p”[0,-1]+2)>>2
●否则(即,如果zHD’等于-2、-3、-5、-6、-7),
pred8×8L[x,y]=(p”[x’-2*y’-1,-1]+2*p”[x’-2*y’-2,-1]+p”[x’-2*y’-3,-1]+2)>>2
只有像素p’[x’,-1](其中x=0..7)和像素p’[-1,y’](其中y=-1..7)可用,才允许预测模式Hier_Intra_8×8_Horizontal_Up。
如果以intra8×8BL模式来对宏块MBEL进行编码,以及如果根据模式Hier_Intra_8×8_Vertical_Right来对块BEL进行预测,则块pred8×8L如下构造,其中x’=0..7并且y’=0..7:
●如果y’等于0、2、4或6
pred8×8L[x,y]=(p”[x’+(y’>>1),-1]+p”[x’+(y’>>1)+1,-1]+1)>>1
●否则(y’等于1、3、5、7),
pred8×8L[x,y]=(p”[x’+(y’>>1),-1]+2*p”[x’+(y>>1)+1,-1]+p”[x’+(y’>>1)+2,-1]+2)>>2
只有像素p’[x’,-1](其中x=0..15)可用,才允许预测模式
Hier_Intra_8×8_Vertical_Right。
如果以intra8×8BL模式对宏块MBEL进行编码,以及如果根据模式Hier_Intra_8×8_Horizontal_Down来对块BEL进行预测,则以zHU’作为等于x’+2*y’的变量,块pred8×8L如下构造,其中x’=0..7并且y’=0..7:
●如果zHU’等于0、2、4、6、8、10或12
pred8×8L[x,y]=(p”[-1,y’+(x’>>1)]+p”[-1,y’+(x’>>1)+1]+1)>>1
●否则,如果zHU’等于1、3、5、7、9或11
pred8×8L[x,y]=(p”[-1,y’+(x’>>1)]+2*p”[-1,y’+(x’>>1)+1]+p”[-1,y’+(x’>>1)+2]+2)>>2
●否则,如果zHU’等于13,
pred8×8L[x,y]=(p”[-1,6]+3*p”[-1,7]+2)>>2
●否则(如果zHU’大于13),
pred8×8L[x,y]=p”[-1,7]
只有像素p’[-1,y’](其中y=0..7)可用,才允许预测模式Hier_Intra_8×8_Horizontal_Down。
如果以intra16×16BL模式对宏块MBEL进行编码,则根据以下模式之一对所述宏块MBEL进行预测:
Hier_Intra_16×16_Vertical,Hier_Intra_16×16_Horizontal,
Hier_Intra_16×16_DC以及Hier_Intra_16×16_Plane。
可以根据速率-失真类型准则来选择16×16宏块的预测模式。
以pred16×16L表示用于预测在图12中以灰色示出的宏块MBEL的预测宏块,以及以pred16×16L[x,y]表示与宏块中坐标(x,y)的像素相关联的亮度值,其中x指示宏块中像素的水平位置,y指示垂直位置。像素块的左上角的像素具有坐标(0,0),而右下角的像素具有坐标(N-1,N-1),其中N是宏块的大小,坐标(x,y)的像素位于宏块的x列和y行。根据图12,第一轴(X,Y)与宏块MBEL相关联,且以宏块的左上角的像素作为原点,第二轴(X’,Y’)与宏块MBEL相关联,且以块MBEL的右下角的像素作为原点。假设x’=15-x,y’=15-y以及p’[x’,y’]=p[15-x’,15-y’]=p[x,y],其中p[x,y]是与第一轴中坐标(x,y)的像素相关联的亮度值,而p’[x’,y’]是与第二轴中坐标(x’,y’)的像素相关联的亮度值。
如果以intra16×16BL模式对宏块MBEL进行编码,以及根据Hier_Intra_16×16_Vertical来对宏块MBEL进行预测,则宏块pred16×16L如下构造,其中x=0..15并且y=0..15:
pred16×16L[x,y]=p’[x’,-1]
只有像素p’[x’,-1]可用,即如果像素p’[x’,-1]存在并且如果像素p’[x’,-1]是从BL层中以帧内模式编码的像素块g产生的,才允许预测模式Hier_Intra_16×16_Vertical。
如果以intra16×16BL模式来对宏块MBEL进行编码,以及如果根据模式Hier_Intra_16×16_Horizontal对宏块MBEL进行预测,则宏块pred16×16L如下构造,其中x=0..15并且y=0..15:
pred16×16L[x,y]=p’[-1,y’]
只有像素p’[-1,y’]可用,即如果像素p’[-1,y’]存在并且如果像素p’[-1,y’]是从BL层中以帧内模式编码的像素块e产生的,才允许预测模式Hier_Intra_16×16_Vertical。
如果以intra16×16BL模式来对宏块MBEL进行编码,以及如果根据模式Hier_Intra_16×16_DC对块MBEL进行预测,则宏块pred16×16L如下构造,其中x=0..15并且y=0..15:
-如果所有像素p’[x’,-1]和所有像素p’[-1,y‘]都可用,即如果这些像素都存在,并且这些像素是从BL层中以帧内模式编码的像素块g和e产生的
pred 16 × 16 L [ x , y ] = ( Σ x ′ = 1 15 p ′ [ x ′ , - 1 ] + Σ y ′ = 1 15 p ′ [ - 1 , y ′ ] + 16 ) > > 5
-否则,如果像素p’[x’,-1]之一不可用,以及如果所有像素p’[-1,y’]都可用,如果这些像素存在,并且这些像素是从BL层中以帧内模式编码的像素块e产生的
pred 16 × 16 L [ x , y ] = ( Σ y ′ = 1 15 p ′ [ - 1 , y ′ ] + 8 ) > > 4
-否则,如果像素p’[-1,y’]之一不可用,以及如果所有像素p’[x’,-1]都可用,如果这些像素存在,并且这些像素是从BL层中以帧内模式编码的像素块g产生的
pred 16 × 16 L [ x , y ] = ( Σ x ′ = 1 15 p ′ [ x ′ , - 1 ] + 8 ) > > 4
-否则,如果像素p’[-1,y’]之一不可用,以及如果像素p’[x’,-1]之一不可用,则:
pred16×16L[x,y]=(1<<(BitDepthY-1))
如果以intra16×16BL模式来对宏块MBEL进行编码,以及如果根据模式Hier_Intra_16×16_Plane来对宏块MBEL进行预测,则宏块pred16×16L如下构造,其中x=0..15并且y=0..15:
-如果所有像素p’[x’,-1]和所有像素p’[-1,y’]都可用,即如果这些像素都存在,并且这些像素是从BL层中以帧内模式编码的像素块g和e产生的
pred16×16L[x,y]=Clip1Y((a’+b’*(x’-7)+c’*(y’-7)+16)>>5),
其中:-Clip1Y(x)=clip3(0,(1<<BitDepthY)-1,x),其中
clip 3 ( x , y , z ) = x if z < x = y if z > y = z other wise
-a’=16*(p’[-1,15]+p’[15,-1])
-b’=(5*H’+32)>>6
-c’=(5*V’+32)>>6
- H &prime; = &Sigma; x &prime; = 0 7 ( x &prime; + 1 ) * ( p &prime; [ 8 + x &prime; , - 1 ] - p &prime; [ 6 - x &prime; , - 1 ] )
- V &prime; = &Sigma; y &prime; = 0 7 ( x &prime; + 1 ) * ( p &prime; [ - 1,8 + y &prime; ] - p &prime; [ 1 - , 6 - y &prime; ] )
根据以下四种预测模式对每个8×8色度块进行预测:Hier_Intra_Chroma_DC、Hier_Intra_Chroma_Horizontal、Hier_Intra_Chroma_Vertical和Hier_Intra_Chroma_Plane。这些模式是通过对intra16×16预测模式即Hier_Intra_16×16_DC、Hier_Intra_16×16_Horizontal、Hier_Intra_16×16_Vertical和Hier_Intra_16×16_Plane进行类推来定义的。始终将相同的预测模式用于两个色度块。应注意的是,如果以帧内模式对8×8亮度块之一进行编码,则也以帧内模式对两个色度块进行编码。
此第三实施例具有与第二实施例相同的优点,即:
-更大限度使用存在于BL层的图像和EL层的图像之间的空间冗余,即,即使在以帧间模式对底层中与宏块MBEL相对应的块BBL进行编码时,因为不将所述块BBL用于构造预测宏块MBpred
-通过从块e、f、g和/或h中预测所述宏块MBEL,对通过轮廓线与相邻宏块A、B、C和D分开的宏块MBEL实现了更加有效的编码;以及
-使得能够以一种不必重构整个BL层来重构EL层的方式来对宏块MBEL进行编码,尤其是对于BL层中以帧内模式编码的块,即在时间上进行预测,而不必进行重构。
此外,只使用位于相应块BBL的非因果相邻区域中的块e、f、g和h,这通过限制所增加的模式数来限制编码方法的复杂度。由于块e、f、g和h位于块BBL的非因果相邻区域,使用它们来克服不能从EL层的宏块E、F、G和H(见图2)空间预测宏块MBEL的事实,因为这些宏块位于宏块MBEL的非因果相邻区域。
本发明还涉及一种用于为了以底层和至少一个增强层的形式呈现出的图像序列中表示为MBEL rec的宏块的重构而对比特流的一部分进行解码的方法。与底层中被称为相应块的块相对应的宏块MBEL rec属于增强层。根据图7和图8,该方法包括用于从比特流的第一部分中重构图像数据块e、f、g和/或h的步骤E80。在步骤E81过程中,例如通过双线性插值,对在步骤E80处所重构的块e、f、g和/或h进行上采样,其中将从这些块e、f、g和/或h来重构宏块MBEL rec。在步骤E82期间,根据在步骤E83期间所解码的模式cod_mode来从上述针对编码方法(第一和第二实施例)所定义的方程式中构造出预测宏块MBpred。根据图8中所示的变体,在步骤E82’期间,根据在步骤E83期间解码的编码模式cod_mode以及可能地根据所解码的预测模式blc_mode,来从上述针对编码方法(第三实施例)所定义的方程式中构造出预测宏块MBpred。不必对底层中未用于构造预测宏块MBpred的块进行重构和上采样。解码方法在步骤E82或E82’期间,使用与编码方法在E73或E73’期间的相同方式来构造预测宏块MBpred。在步骤E83或E83’期间,还从比特流的第二部分中重构残留宏块MBEL res_rec。在步骤E84中,逐像素地将预测宏块MBpred加到所重构的残留宏块MBEL res_rec中。步骤E84产生重构宏块MBEL rec
根据图9,本发明涉及一种用于对以底层BL和至少一个增强层EL呈现出的图像序列进行编码的设备ENC2。在图9中使用相同的附图标记来表示编码设备ENC2中与编码设备ENC1中相同的模块,并且不对其进一步描述。编码设备ENC2包括编码模块ENC_BL1、适用于对增强层进行编码的新编码模块ENC_EL2、以及多路复用模块MUX。
编码模块ENC_EL2适用于根据标准编码模式(即帧间模式或帧内模式)来对EL层中的宏块进行编码,即通过从EL层中的其他宏块来空间或时间预测所述宏块。此外,为了减少底层的图像和增强层的数据之间的冗余,编码模块ENC_EL2还适于根据被称为层间的编码模式来根据BL层的图像数据块对EL层中的宏块进行编码,即,从BL层的图像数据块中预测EL层中的所述图像数据宏块。
图9仅示出了根据底层的图像数据块对帧内类型的EL层图像数据宏块MBEL进行预测和编码(即根据层间预测模式)、以及对所述宏块MBEL进行编码所需的ENC_BL1和ENC_EL1模块。其他没有在附图中示出的模块(例如,运动估计模块、空间预测模块、时间预测模块等)对于视频编码器领域的技术人员是已知的,这些模块使得能够根据标准帧间模式(例如,双向模式)或者根据标准帧内模式(诸如在AVC中所定义的那些)来根据相邻宏块A、B、C和/或D对EL层的宏块进行编码。根据图9,模块ENC_EL2具体包括:编码模块40和上采样模块20。该模块ENC_EL2还包括判决模块15,适用于在一组模式之中(尤其是在上述针对编码方法所描述的实施例中所定义的那些模式之中)例如根据速率-失真类型的预定准则来选择宏块MBEL的编码模式cod_mode,以及可能地选择形成所述宏块的每个块的预测模式blc_mode。最后,该模块ENC_EL2包括模块25,适用于根据由模块15所确定的编码模式以及可能的模式blc_mode来从经过模块20上采样的块e、f、g和/或h中产生预测宏块MBpred。模块ENC_EL2还包括用于从宏块MBEL中逐像素地减去预测宏块MBpred的减法模块30,所述模块产生由编码模块40所编码的残留宏块MBEL residues
根据图10,本发明还涉及一种用于对表示以底层和至少一个增强层的形式呈现出的图像序列的比特流进行解码的设备DEC。由解复用模块DEMUX来对在解码设备DEC的输入处所接收到的比特流进行解复用,以产生相对于底层的比特流T_BL以及相对于增强层的至少一个比特流T_EL。根据一个变体,解复用模块DEMUX位于解码设备DEC的外部。此外,解码设备DEC包括可以至少部分地根据比特流T_BL对底层进行重构的第一解码模块DEC_BL。有利地,根据本发明,不必对底层的图像进行完全重构以重构增强层的图像。实际上,第一解码模块DEC_BL必须至少对底层中重构增强层中的图像所需的图像数据进行重构。设备DEC还包括可以根据比特流T_EL以及可能地根据先前由第一解码模块DEC_BL所重构的底层中的图像数据来对增强层进行重构的第二解码模块DEC_EL。第二解码模块DEC_EL包括模块70,用于从比特流T_EL的一部分来重构残留宏块MBEL res_rec,以及对与所述重构的残留宏块MBEL res_rec相关联的模式cod_mode以及可能地对与宏块中的每个块相关联的模式blc_mode进行解码。第二解码模块DEC_EL还包括模块50,用于对由第一解码模块DEC_BL所重构的底层中的块进行上采样。模块50例如是双线性插值滤波器。第二解码模块DEC_EL还包括模块60,用于根据模式cod_mode以及可能的模式blc_mode来从底层中经过模块50上采样的块中重构预测宏块MBpred。此外,第二解码模块DEC_EL还包括模块80,用于逐像素地将由模块60所产生的预测宏块MBpred与由模块70所重构的残留宏块MBEL res_rec相加。模块80对增强层中表示为MBEL rec的宏块进行重构。
本发明还涉及一种包括例如以1个比特所编码字段(例如hier_intra_bl_flag)的MPEG数据比特流,该字段指示了根据层间帧内模式来根据底层中与相应块BBL相邻的至少一个块对EL层的宏块MBEL进行编码。
任何一个视频编码标准都定义了所有比特流都必须遵守的句法,以便与此标准相兼容。该句法具体定义了如何对不同的信息进行编码(例如,与序列中所包括的图像有关的数据,运动向量等)。根据SVC,根据MPEG-4 AVC标准来对底层进行编码。在下面的表中将所建议的新的MPEG-4 AVC句法提出作为与JVT-T005文档具有相同规则的伪代码,或者更一般地部分相对于ISO/IEC 14496-10文档中的可扩展性。具体地,操作符‘==’指示了“等于”。操作符‘!’是逻辑操作符“非”。在此表中,以斜体字示出所添加的信息。
    A  macroblock_layer_in_scalable_extension(){     C     Descriptor
        if(in_crop_window(CUrrMbAddr))  {
            if(adaptive_prediction_flag)
                base_mode_flag     2     u(l)|ae(v)
            }
        if(!base_mode_flag){
           hier_intra_bl_flag     2     u(l)|ae(v)
           mb_type     2     ue(v)|ae(v)
        }
        if(mb_type==I_PCM){
           while(!byte_aligned())
              pcm_alignment_zero_bit     2     f(l)
           for(i=0;i<256;i++)
              pcm_sample_luma[i]     2     u(v)
           for(i=0;i<2*MbWidthC*MbHeightC;i++)
              pcm_sample_chroma[i]     2     u(v)
      } else {
         NoSubMbPartSizeLessThan8×8Flag=1
         if(mb_type!=I_N×N   &&MbPartPredMode(mb_type,0)    !=Intra_16×16  &&NumMbPart(mb_type)==4){
sub_mb_pred_in_scalable_extension(mb_type)     2
             for(mbPartIdx=0;mbPartIdx<4;mbPartIdx++)
  if(     sub_mb_type[mbParrtIdx]         !=B_Direct_8×8){
  if(          NumSubMbPart(sub_mb_type[mbPartIdx])> 1)
  NoSubMbPartSizeLessThan8×8Flag=0
             }                              elseif(!direct_8×8_inference_flag)
     NoSubMbPartSizeLessThan8×8Flag=0
          }else {
             if(transform_8×8_mode_flag   &&mb_type  ==  I_N×N)
                transform_size_8×8_flag    2      u(l)|ae(v)
mb_pred_in_scalable_extension(mb_type)    2
        }
        if(  MbPartPredMode(mb_type,0)  !=Intra_16×16){
             coded_block_pattern    2       me(v)|ae(v)
             if( CodedBlockPatternLuma  >  0&&transform_8×8_mode_flag  &&mb_type  !=  I_N×N  &&NoSubMbPartSizeLessThan8×8Flag  &&!(  MbPartPredMode(mb_type,0)    =  =B_Direct_16×16  &&!direct_8×8_inference_flag))
             transform_size_8×8_flag    2      u(l)|ae(v)
         }
         if(CodedBlockPatternLuma  >  0   | |CodedBlockPatternChroma>0  | |MbPartPredMode(mb_type,0)    ==Intra_16×16){-{}-
             mb_qp_delta    2      se(v)|ae(v)
             residual_in_scalable_extension()    3|4
           }
       }
    }
hier_intra_bl_flag是以例如1比特所编码的字段,其指示了是否根据层间类型帧内模式来根据底层中与相应块BBL相邻的至少一个块对EL层中的宏块MBEL进行编码。
当然,本发明不局限于上面所提到的实施例示例。具体地,可以将针对SVC标准所描述的本发明应用于以可扩展格式来对图像序列进行编码的其他定义的编码标准。此外,可以将除了下面所定义的那些以外的其他方程式用于产生宏块MBpred或预测块pred4×4L。所提供的方程式仅作为参考。
此外,可以将使用底层中的块e、f、g和h所描述的编码和解码方法用于与所述宏块MBEL相对应的块BBL周围的块a、b、c和d。根据图11中所示的实施例,从分别作为块a、b、c和d的上采样版本的一个或若干宏块aUP、bUP、cUP和dUP中构造预测宏块MBpred。例如,可以根据MPEG-4 AVC标准中针对宏块的空间预测(即帧内)所定义的方程式来构造宏块MBpred。在这些方程式中,宏块A由宏块aUP所代替,宏块B由宏块bUP所代替,宏块C由宏块cUP所代替,以及宏块D由宏块dUP所代替。同样地,可以将本发明扩展到相应块的不一定邻近的其他相邻块。
当然,可以将先前实施例结合起来。然后,可以从块A、B、C和/或D,从块b、c、d、e、f、g和/或h,或从块BBL构造宏块MBpred,例如,在用于对宏块MBEL进行编码并因此进行预测的模式的判决步骤根据速率-失真准则做出选择。

Claims (8)

1.一种用于对以底层和至少一个增强层的形式呈现出的图像序列中的图像数据宏块(MBEL)进行编码的方法,所述图像数据宏块(MBEL)属于所述增强层,所述底层中与所述图像数据宏块(MBEL)相对应的图像数据块(BBL)被称为相应块,所述方法包括以下步骤:
-针对所述图像数据宏块(MBEL),根据所述底层中先前已编码(E70)并重构(E71)的一个或若干图像数据块,产生(E72,E73,E73’)图像数据的预测宏块(MBpred),
-根据预测宏块(MBpred)以及增强层中的图像数据宏块MBEL,产生(E74)残留宏块(MBEL residues),以及
-对所述残留宏块(MBEL residues)进行编码(E75),
所述编码方法的特征在于,仅根据底层中不同于相应块(BBL)的图像数据块来产生所述预测宏块(MBpred)。
2.如权利要求1所述的方法,其中,底层中的所述图像数据块与所述相应块(BBL)相邻。
3.如权利要求1所述的方法,其中,底层中的所述图像数据块位于相应块(BBL)的非因果相邻区域。
4.如权利要求3所述的方法,其中,所述预测宏块(MBpred)是根据底层中属于以下集合的一个或若干图像数据块产生的,所述集合包括:
-位于相应块(BBL)的左下方的块;
-位于相应块(BBL)的右下方的块;
-位于紧靠相应块(BBL)右边的块;以及
-位于紧靠相应块(BBL)下方的块。
5.一种以底层和至少一个增强层的形式呈现出的图像序列的编码设备(ENC2),所述增强层包括至少一个图像数据宏块(MBEL),所述底层中与所述图像数据宏块(MBEL)相对应的的块(BBL)被称为相应块,所述设备(ENC2)包括用于对所述底层中的图像数据块进行编码的第一编码模块(ENC_BL1),以及用于对所述增强层中的图像数据宏块进行编码的第二编码模块(ENC_EL2),所述第二编码模块(ENC_EL2)包括:
-第一装置(20,25),用于针对所述增强层中的所述图像数据宏块(MBEL),根据所述底层中先前由所述第一编码模块(ENC_BL1)编码并重构的一个或若干图像数据块,产生预测宏块(MBpred),
-第二装置(30),用于根据预测宏块(MBpred)以及增强层的图像数据宏块(MBEL)产生残留宏块(MBEL residues),以及
-第三装置(40),用于对所述残留宏块(MBEL residues)进行编码,
所述编码设备的特征在于:所述第一装置(20,25)适于仅根据底层中不同于相应块(BBL)的图像数据块来产生所述预测宏块(MBpred)。
6.一种用于对表示以底层和至少一个增强层的形式呈现出的图像序列的比特流的一部分进行解码,以便重构所述增强层中的图像数据宏块(MBEL rec)的方法,底层中与所述图像数据宏块(MBEL rec)相对应的图像数据块被称为相应块,所述解码方法包括以下步骤:
-针对所述图像数据宏块(MBEL rec),根据所述底层中先前所重构(E80)的一个或若干图像数据块,产生(E81,E82,E82’)预测宏块(MBpred),  其中所述一个或若干图像数据块根据表示所述图像数据块的比特流的第一部分而重构,
-根据表示残留宏块的比特流的第二部分,重构(E83,E83’)所述残留宏块(MBEL res_rec),以及
-根据预测宏块(MBpred)以及所重构的残留宏块(MBEL res_rec),重构(E84)所述增强层中的所述宏块(MBEL rec),
所述解码方法的特征在于,仅根据底层中不同于相应块(BBL)的图像数据块来产生所述预测宏块(MBpred)。
7.一种表示以底层和至少一个增强层的形式呈现出的图像序列的比特流的解码设备(DEC),所述设备(DEC)包括适用于重构所述底层的图像数据块的第一解码模块(DEC_BL),以及适用于重构所述增强层的图像数据宏块的第二解码模块(DEC_EL),所述第二解码模块(DEC_EL)包括:
-第一装置(50,60),针对所述增强层中的图像数据宏块(MBEL rec),根据由所述第一解码模块(DEC_BL)先前所重构的一个或若干图像数据块,产生预测宏块(MBpred),其中所述底层中与所述图像数据宏块(MBEL rec)相对应的图像数据块被称为相应块,所述一个或若干图像数据块根据表示所述图像数据块的比特流的第一部分而重构,
-第二装置(70),用于根据表示残留宏块的比特流的第二部分,重构所述残留宏块(MBEL res_rec),以及
-第三装置(80),用于根据预测宏块(MBpred)以及所重构的残留宏块(MBEL res_rec),重构所述图像数据宏块(MBEL rec),
所述解码设备的特征在于,所述第一装置(20,25)适于仅根据底层中不同于相应块(BBL)的图像数据块来产生所述预测宏块(MBpred)。
8.一种表示以底层和至少一个增强层的形式呈现出的图像序列的编码数据流,所述流包括与所述增强层中的图像数据宏块(MBEL)相关联的二进制数据,所述底层中的图像数据块(BBL)与所述图像数据宏块(MBEL rec)相对应,所述编码数据流的特征在于,所述二进制数据指示了仅根据底层中不同于相应块(BBL)的图像数据块来对所述宏块(MBEL)进行编码。
CNA2007101816271A 2006-10-19 2007-10-19 以可扩展格式编码的设备和方法及相应解码设备和方法 Pending CN101184240A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR0654367A FR2907630A1 (fr) 2006-10-19 2006-10-19 Dispositif et procede de codage sous forme scalable d'une sequence d'images et dispositif et procede de decodage correspondants
FR0654367 2006-10-19

Publications (1)

Publication Number Publication Date
CN101184240A true CN101184240A (zh) 2008-05-21

Family

ID=38180040

Family Applications (1)

Application Number Title Priority Date Filing Date
CNA2007101816271A Pending CN101184240A (zh) 2006-10-19 2007-10-19 以可扩展格式编码的设备和方法及相应解码设备和方法

Country Status (6)

Country Link
US (1) US20080260043A1 (zh)
EP (1) EP1914996A2 (zh)
JP (1) JP2008104188A (zh)
KR (1) KR20080035497A (zh)
CN (1) CN101184240A (zh)
FR (1) FR2907630A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102396228A (zh) * 2009-02-19 2012-03-28 索尼公司 图像处理设备和方法
WO2014075552A1 (en) * 2012-11-15 2014-05-22 Mediatek Inc. Inter-layer texture coding with adaptive transform and multiple inter-layer motion candidates
CN104412593A (zh) * 2012-07-03 2015-03-11 夏普株式会社 图像解码装置以及图像编码装置

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100939917B1 (ko) 2008-03-07 2010-02-03 에스케이 텔레콤주식회사 움직임 예측을 통한 부호화 시스템 및 움직임 예측을 통한부호화 방법
JP5333449B2 (ja) * 2008-07-25 2013-11-06 ソニー株式会社 画像処理装置および方法、プログラム、並びに、記録媒体
TWI463878B (zh) 2009-02-19 2014-12-01 Sony Corp Image processing apparatus and method
TWI440363B (zh) 2009-02-19 2014-06-01 Sony Corp Image processing apparatus and method
US8767816B2 (en) * 2009-07-10 2014-07-01 Samsung Electronics Co., Ltd. Spatial prediction method and apparatus in layered video coding
KR101066117B1 (ko) * 2009-11-12 2011-09-20 전자부품연구원 스케일러블 영상 코딩 방법 및 장치
JP5625342B2 (ja) * 2009-12-10 2014-11-19 ソニー株式会社 画像処理方法、画像処理装置、プログラム
JP5428886B2 (ja) * 2010-01-19 2014-02-26 ソニー株式会社 情報処理装置、情報処理方法、及びそのプログラム
KR20120086232A (ko) * 2011-01-25 2012-08-02 (주)휴맥스 율-왜곡 최적화를 위한 영상 부호화/복호화 방법 및 이를 수행하는 장치
JP5703781B2 (ja) 2010-09-03 2015-04-22 ソニー株式会社 画像処理装置および方法
WO2013139212A1 (en) * 2012-03-21 2013-09-26 Mediatek Singapore Pte. Ltd. Method and apparatus for intra mode derivation and coding in scalable video coding
US9420285B2 (en) 2012-04-12 2016-08-16 Qualcomm Incorporated Inter-layer mode derivation for prediction in scalable video coding
US9491458B2 (en) * 2012-04-12 2016-11-08 Qualcomm Incorporated Scalable video coding prediction with non-causal information
US9467692B2 (en) * 2012-08-31 2016-10-11 Qualcomm Incorporated Intra prediction improvements for scalable video coding
US10375405B2 (en) * 2012-10-05 2019-08-06 Qualcomm Incorporated Motion field upsampling for scalable coding based on high efficiency video coding
US20140185671A1 (en) * 2012-12-27 2014-07-03 Electronics And Telecommunications Research Institute Video encoding and decoding method and apparatus using the same
JP6210375B2 (ja) * 2012-12-28 2017-10-11 サン パテント トラスト 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置及び画像符号化復号装置
FR3008840A1 (fr) * 2013-07-17 2015-01-23 Thomson Licensing Procede et dispositif de decodage d'un train scalable representatif d'une sequence d'images et procede et dispositif de codage correspondants

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100679031B1 (ko) * 2004-12-03 2007-02-05 삼성전자주식회사 다 계층 기반의 비디오 인코딩 방법, 디코딩 방법 및 상기방법을 이용한 장치
KR100703748B1 (ko) * 2005-01-25 2007-04-05 삼성전자주식회사 다 계층 기반의 비디오 프레임을 효율적으로 예측하는 방법및 그 방법을 이용한 비디오 코딩 방법 및 장치
WO2006080779A1 (en) * 2005-01-25 2006-08-03 Samsung Electronics Co., Ltd. Method of effectively predicting multi-layer based video frame, and video coding method and apparatus using the same
KR100725407B1 (ko) * 2005-07-21 2007-06-07 삼성전자주식회사 방향적 인트라 잔차 예측에 따라 비디오 신호를 인코딩하고디코딩하는 방법 및 장치
KR100746011B1 (ko) * 2005-08-24 2007-08-06 삼성전자주식회사 잔차 예측의 성능 개선 방법, 상기 방법을 이용한 비디오인코더 및 비디오 디코더
KR100891663B1 (ko) * 2005-10-05 2009-04-02 엘지전자 주식회사 비디오 신호 디코딩 및 인코딩 방법
EP1972154A4 (en) * 2006-01-09 2014-11-19 Lg Electronics Inc INTERLAYER PREDICTION METHOD FOR VIDEO SIGNAL
US9014280B2 (en) * 2006-10-13 2015-04-21 Qualcomm Incorporated Video coding with adaptive filtering for motion compensated prediction

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102396228A (zh) * 2009-02-19 2012-03-28 索尼公司 图像处理设备和方法
CN102396228B (zh) * 2009-02-19 2016-07-06 索尼公司 图像处理设备和方法
CN105915900A (zh) * 2009-02-19 2016-08-31 索尼公司 图像处理设备和方法
US10491919B2 (en) 2009-02-19 2019-11-26 Sony Corporation Image processing apparatus and method
CN105915900B (zh) * 2009-02-19 2019-12-10 索尼公司 图像处理设备和方法
CN104412593A (zh) * 2012-07-03 2015-03-11 夏普株式会社 图像解码装置以及图像编码装置
CN104412593B (zh) * 2012-07-03 2018-11-06 夏普株式会社 图像解码装置以及图像编码装置
CN109257601A (zh) * 2012-07-03 2019-01-22 夏普株式会社 图像解码装置以及图像编码装置
WO2014075552A1 (en) * 2012-11-15 2014-05-22 Mediatek Inc. Inter-layer texture coding with adaptive transform and multiple inter-layer motion candidates
US9955177B2 (en) 2012-11-15 2018-04-24 Mediatek Inc. Inter-layer texture coding with adaptive transform and multiple inter-layer motion candidates
US10440375B2 (en) 2012-11-15 2019-10-08 Mediatek Inc. Inter-layer texture coding with adaptive transform and multiple inter-layer motion candidates
US11223837B2 (en) 2012-11-15 2022-01-11 Mediatek Inc. Inter-layer texture coding with adaptive transform and multiple inter-layer motion candidates

Also Published As

Publication number Publication date
US20080260043A1 (en) 2008-10-23
JP2008104188A (ja) 2008-05-01
EP1914996A2 (en) 2008-04-23
FR2907630A1 (fr) 2008-04-25
KR20080035497A (ko) 2008-04-23

Similar Documents

Publication Publication Date Title
CN101184240A (zh) 以可扩展格式编码的设备和方法及相应解码设备和方法
KR100891662B1 (ko) 비디오 신호 디코딩 및 인코딩 방법
KR100913104B1 (ko) 영상 신호의 인코딩 및 디코딩 방법
CN104247423B (zh) 可伸缩视频编码系统的帧内模式编码方法和装置
KR100891663B1 (ko) 비디오 신호 디코딩 및 인코딩 방법
CN104396249B (zh) 可伸缩视频编码的层间预测的方法和设备
RU2400941C1 (ru) Устройство для кодирования динамических изображений, устройство для декодирования динамических изображений, способ кодирования динамических изображений и способ декодирования динамических изображений
CN108111846B (zh) 用于可伸缩视频编码的帧间层预测方法及装置
EP2039171B1 (en) Weighted prediction for video coding
US8264968B2 (en) Inter-layer prediction method for video signal
CN101601300B (zh) 用自适应增强层预测对位深度可分级视频数据进行编码和/或解码的方法和设备
US20080267291A1 (en) Method for Deriving Coding Information for High Resolution Images from Low Resolution Images and Coding and Decoding Devices Implementing Said Method
CN109845263B (zh) 用于视频编码的设备和方法
KR102606414B1 (ko) 디블로킹 필터의 경계 강도를 도출하는 인코더, 디코더 및 대응 방법
CN105103563B (zh) 关于缩放列表数据信令的方法和装置
CN108293136A (zh) 用于编码360度全景视频的方法、装置和计算机程序产品
CN110999290B (zh) 使用跨分量线性模型进行帧内预测的方法和装置
EP3516867B1 (en) Devices and methods for video coding
KR20140102324A (ko) 화상 복호 장치, 화상 복호 방법, 화상 부호화 장치 및 화상 부호화 방법
CN102656885A (zh) 合并编码比特流
GB2459568A (en) Overlap transform and de-blocking of decompressed video signal using an edge filter on sub-blocks for upper and left macroblocks
CN101491100B (zh) 从低分辨率画面的运动数据导出高分辨率画面的运动数据的方法和设备
WO2007065796A2 (en) Method of predicting motion and texture data
Choi et al. Internal memory optimization scheme for spatial scalable inter-layer prediction
KR20060080294A (ko) 화면내 예측에서의 예측값 계산 장치

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C12 Rejection of a patent application after its publication
RJ01 Rejection of invention patent application after publication

Open date: 20080521