CN101502124B - 图像编码和解码的方法以及装置 - Google Patents

图像编码和解码的方法以及装置 Download PDF

Info

Publication number
CN101502124B
CN101502124B CN2006800554415A CN200680055441A CN101502124B CN 101502124 B CN101502124 B CN 101502124B CN 2006800554415 A CN2006800554415 A CN 2006800554415A CN 200680055441 A CN200680055441 A CN 200680055441A CN 101502124 B CN101502124 B CN 101502124B
Authority
CN
China
Prior art keywords
mentioned
prediction
block
pixels
predictive mode
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN2006800554415A
Other languages
English (en)
Other versions
CN101502124A (zh
Inventor
盐寺太一郎
谷泽昭行
中条健
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Publication of CN101502124A publication Critical patent/CN101502124A/zh
Application granted granted Critical
Publication of CN101502124B publication Critical patent/CN101502124B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/19—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding using optimisation based on Lagrange multipliers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

图像编码装置包括：第1选择部，从预先决定的多个预测顺序中，选择针对将分割输入图像信号的帧而得到的多个像素块进一步分割后的多个子块的预测顺序；第2选择部，从对参照编码完成像素而生成各子块的第1预测信号时的该编码完成像素的参照方法进行规定的多个预测模式中，选择第1预测信号的预测中使用的预测模式的数量；第3选择部，从多个预测模式中，选择用于在第1预测信号的预测中使用的、所选择的数量的预测模式；生成部，为了生成与像素块对应的第2预测信号，使用所选择的数量的所选择的预测模式，以所选择的预测顺序生成第1预测信号；以及编码部，为了生成基于预测编码的编码数据，对表示像素块的图像信号和第2预测信号之差的预测残差信号进行编码。

Description

图像编码和解码的方法以及装置
技术领域
本发明涉及一种用于运动图像或者静止图像的编码和解码的方法以及装置。
背景技术
近年来，作为大幅提高编码效率的图像编码方法，ITU-T和ISO/IEC共同建议使用ITU-T Rec.H.264以及ISO/IEC 14496-10(以下称作H.264)。在ISO/IEC MPEG-1、2以及4、ITU-T H.261以及H.263这样的编码方式中，进行正交变换后的频域(DCT系数)上的帧内预测，从而减少变换系数的码量。与此相对，在H.264中通过引入空间区域(像素区域)中的方向预测(参照Greg Conklin，“New IntraPrediction Modes”，ITU-T Q.6/SG16 VCEG，VCEG-N54，Sep.2001.)，与ISO/IEC MPEG-1、2以及4中的帧内预测相比，实现了更高的预测效率。
在H.264高规格(High profile)中，对亮度信号规定了3种帧内预测方式，能够将其中之一选择为宏块(16×16像素块)单位。3种帧内预测方式被称作4×4像素预测、8×8像素预测以及16×16像素预测。
在16×16像素预测中，规定了被称作垂直预测、水平预测、DC预测以及平面预测的4个预测模式。在4个预测模式中，将应用去块滤波器(Deblocking filter)前的局部解码信号中的编码对象宏块周围的宏块的像素值用作参照像素值来进行预测。
4×4像素预测将宏块分割为16个4×4像素块(子块)，对于各个4×4像素块，对每个块选择9个预测模式中的某一个。9个预测模式中除了以可利用的参照像素的平均像素值进行预测的DC预测(模式2)之外的8个模式，分别具有以22.5度间隔错开的预测方向。通过使用参照像素在预测方向上进行外插插值，从而生成预测信号。
8×8像素预测将宏块分割为4个8×8像素块(子块)，对于各个8×8像素块，按每块选择上述9个预测模式中的某一个。预测模式是以与4×4像素预测相同的框架进行设计的。但是追加了如下处理：通过对编码完成的参照像素进行3抽头的滤波，使预测中使用的参照像素平坦化，从而使编码失真平均化。
在Kenneth K.C.Lee et al.“Spatial Domain Contribution to aHigh Compression Efficiency System”IWAIT2006，Jun.2006中公开了如下方法：从上述9个预测模式候补中选择2个预测模式，对按照所选择的2个预测模式而生成的预测信号以像素为单位求出平均值，从而生成预测信号。根据该方法，对于在通常的4×4像素预测、8×8像素预测中无法假想的复杂的结构，也实现了较高的预测效率。
根据Kenneth K.C.Lee et al.“Spatial Domain Contribution to aHigh Compression Efficiency System”IWAIT2006，Jun.2006，宏块内的子块(4×4像素块或者8×8像素块)的预测顺序被统一固定。例如，在4×4像素块的预测中，考虑将宏块进行了4分割的8×8像素块，对将8×8像素块进一步进行4分割的4×4像素块依次进行外插预测。通过将这种8×8像素块单位的处理重复进行4次，从而完成16个4×4像素块的预测编码。另一方面，在8×8像素块的预测中，对将宏块进行了4分割的8×8像素块依次进行外插预测。
发明内容
H.264的帧内预测以外插预测为基本，因此理论上对于宏块内的子块只能参照左以及上的像素。因而，当子块的像素和左以及上的像素之间的亮度的相关性低时，预测残差增大，结果使编码效率下降。
另外，在Kenneth K.C.Lee et al.“Spatial Domain Contribution toa High Compression Efficiency System”IWAIT2006，Jun.2006中，始终使用2个预测模式。即，即使利用单一的预测模式就足够时，也使用2个模式来进行预测，因此在编码效率方面具有改良的余地。
本发明的目的在于，提供一种编码效率高的图像编码和解码的方法以及装置。
根据本发明的一个观点，提供一种图像编码装置，具备：第1选择部，从预先决定的多个预测顺序中，选择针对将分割输入图像信号的帧而得到的多个像素块进一步分割后的多个子块的预测顺序；第2选择部，从对参照编码完成像素而生成上述各子块的第1预测信号时的该编码完成像素的参照方法进行规定的多个预测模式中，选择上述第1预测信号的预测中使用的预测模式的数量；第3选择部，从上述多个预测模式中，选择用于在上述第1预测信号的预测中使用的、上述所选择的数量的预测模式；生成部，为了生成与上述像素块对应的第2预测信号，使用上述所选择的数量的上述所选择的预测模式，以所选择的预测顺序生成上述第1预测信号；以及编码部，为了生成基于上述预测编码的编码数据，对表示上述像素块的图像信号和上述第2预测信号之差的预测残差信号进行编码。
根据本发明的其它观点，提供一种图像解码装置，具备：第1选择部，从预先决定的多个预测顺序中，选择针对将分割图像信号的帧而得到的多个像素块进一步分割后的多个子块的预测顺序；第2选择部，从对参照解码完成像素而生成上述各子块的第1预测信号时的该解码完成像素的参照方法进行规定的多个预测模式中，选择上述第1预测信号的预测中使用的预测模式的数量；第3选择部，从上述多个预测模式中，选择用于在上述第1预测信号的预测中使用的、上述所选择的数量的预测模式；为了生成与上述像素块对应的第2预测信号，使用上述所选择的数量的上述所选择的预测模式，以所选择的预测顺序生成上述第1预测信号的生成部；以及使用上述第2预测信号来生成解码图像信号的生成部。
在本发明的另外其它观点中，提供一种保存有用于使计算机执行上述图像编码处理以及图像解码处理中的至少一个处理的程序的计算机可读取的记录介质。
附图说明
图1是表示一个实施方式的图像编码装置的框图。
图2A是表示编码对象帧中的编码对象块以及编码完成块的图。
图2B是表示宏块的块大小的图。
图3A是表示8×8像素块的图。
图3B是表示4×4像素块的图。
图3C是表示8×8/4×4像素块的图。
图4是表示图1中的预测部的详细结构的框图。
图5是表示图1中的预测信号生成部的详细结构的框图。
图6A是表示8×8像素块和块索引的图。
图6B是表示对图6A的块进行依次预测的预测顺序的图。
图6C是表示对图6A的块进行外插/内插预测的预测顺序的变更例的图。
图6D是表示针对图6A的块的其它预测顺序的变更例的图。
图7A是表示4×4像素块和块索引的图。
图7B是表示对图7A的块进行依次预测的预测顺序的图。
图7C是表示对图7A的块进行外插/内插预测的预测顺序的变更例的图。
图7D是表示针对图7A的块的其它预测顺序的变更例的图。
图8是说明预测顺序切换部中所使用的预测顺序表格的图。
图9A是表示单方向预测部中的依次块预测的预测模式的图。
图9B是表示4×4像素预测中的预测像素和参照像素之间的关系的图。
图9C是说明模式0中的预测信号生成方法的图。
图9D是说明模式4中的预测信号生成方法的图。
图10是表示单方向预测部中的预测模式的名称和模式索引的图。
图11是表示双方向预测部中的预测模式的名称和模式索引的图。
图12A是4×4像素预测中的垂直/水平预测(模式01)的概念图。
图12B是4×4像素预测中的垂直/正交右下预测(模式04)的概念图。
图13A是说明对8×8像素块进行外插/内插块预测的图。
图13B是说明对4×4像素块进行外插/内插块预测的图。
图14A是表示外插块预测中的参照像素和预测像素的位置关系的图。
图14B是表示4×4像素预测中的内插块(1)和参照像素之间的关系的图。
图14C是表示4×4像素预测中的内插块(2)和参照像素之间的关系的图。
图14D是表示4×4像素预测中的内插块(3)和参照像素之间的关系的图。
图15A是说明在外插块预测中选择了垂直预测(模式0)的情况下的预测信号生成方法的图。
图15B是说明在外插块预测中选择了正交右下预测(模式4)的情况下的预测信号生成方法的图。
图16是表示单方向预测部中的内插块预测的预测模式的图。
图17是表示单方向预测部中的内插块预测中进行的单方向预测的预测模式的图。
图18A是表示在单方向预测部中对内插块(1)能够选择的预测模式的图。
图18B是表示在单方向预测部中对内插块(2)能够选择的预测模式的图。
图18C是表示在单方向预测部中对内插块(3)能够选择的预测模式的图。
图18D是表示在单方向预测部中对外插块(4)能够选择的预测模式的图。
图19A是说明反方向垂直预测(模式9)中的内插块(1)的预测信号生成方法的图。
图19B是说明反方向垂直预测(模式9)中的内插块(2)的预测信号生成方法的图。
图20A是说明反方向水平预测(模式10)中的内插块(1)的预测信号生成方法的图。
图20B是说明反方向水平预测(模式10)中的内插块(3)的预测信号生成方法的图。
图21A是说明正交左值预测(模式12)中的内插块(1)的预测信号生成方法的图。
图21B是说明正交左值预测(模式12)中的内插块(1)的预测信号生成方法的图。
图21C是说明正交左值预测(模式12)中的内插块(2)的预测信号生成方法的图。
图22是表示双方向预测部中的内插块预测的预测模式的名称和模式索引的图。
图23是表示一个实施方式的图像编码的处理过程的流程图。
图24是详细地表示图23的一部分处理过程的流程图。
图25是表示图像编码部中所使用的语法(syntax)构造的一个例子的图。
图26是表示宏块层语法的数据构造的一个例子的图。
图27是表示宏块预计语法的数据构造的一个例子的图。
图28是说明将预测模式变换为编码索引的公式的图。
图29是说明将预测模式变换为编码索引的表格的图。
图30是表示对于内插块(1)、(2)以及(3)和外插块(4)能够利用的预测模式的名称和模式索引的图。
图31是表示宏块预计语法的数据构造的其它例子的图。
图32是表示预测模式的导出方法的图。
图33是表示对预测模式进行预测时所参照的块位置的图。
图34是表示宏块预计语法的数据构造的其它例子的图。
图35是表示序列参数设置语法的数据构造的一个例子的图。
图36是表示图片参数设置语法的数据构造的一个例子的图。
图37是表示片头语法(slice header syntax)的数据构造的一个例子的图。
图38是表示宏块层语法的数据构造的一个例子的图。
图39是表示宏块预计语法的另外其它例子的图。
图40是表示一个实施方式的图像解码装置的框图。
图41是表示图40中的预测信号生成部的详细结构的框图。
图42是说明将进行了解码的索引逆变换为预测模式的公式的图。
图43是说明将进行了解码的索引逆变换为预测模式的表格的图。
图44A是说明对预测模式进行内插块(1)的预测时所参照的块位置的图。
图44B是说明对预测模式进行内插块(2)的预测时所参照的块位置的图。
图44C是说明对预测模式进行内插块(3)的预测时所参照的块位置的图。
图44D是说明对预测模式进行外插块(4)的预测时所参照的块位置的图。
具体实施方式
下面参照附图说明本发明的实施方式。
<关于图像编码装置>
如图1所示，在本发明的一个实施方式的图像编码装置中，运动图像或者静止图像的输入图像信号120被输入到图像编码部100。图像编码部100具有帧分割部101、预测部102、模式选择部103、正交变换/量化部104、逆量化/逆正交变换部105、加法器106、参照图像存储器107以及熵编码部108。
编码控制部110为了对图像编码部100的全部编码处理进行控制，将编码控制信息140提供给图像编码部100，并且从图像编码部100适当接受反馈信息150。在编码控制信息140中包括后述的预测模式索引信息、块大小切换信息、预测顺序切换信息、预测模式数切换信息以及量化参数信息等。量化参数信息包括量化幅度(量化阶跃大小)以及量化矩阵等信息。反馈信息150中包括决定量化参数所需的、图像编码部100中的产生码量信息。
在图像编码部100内，输入运动图像信号120被输入到帧分割部101。在帧分割部101中，通过将输入图像信号120的编码对象帧分割为多个像素块来生成块图像信号121。例如，图2A的编码对象帧被分割为如图2B所示的16×16像素/块的大小的多个块。图2B的块被称作宏块，它成为编码的基本处理单位。即，编码是以宏块为单位进行的。
从帧分割部101输出的块图像信号121首先被预测部102施以帧内预测。已知帧内预测是进行在帧内封闭的预测的方式。预测部102通过将编码完成的像素用作参照像素来预测编码对象块，从而生成以宏块为单位的预测信号122。
在预测部102中，准备了用于帧内预测的多个预测模式，按照可选择的全部预测模式进行预测。预测部102也可以具有进行H.264的帧内预测、即图3A的8×8像素预测、图3B的4×4像素预测或者图3C的8×8/4×4像素预测(在宏块内混合存在8×8像素预测和4×4像素预测)的预测模式。在这种H.264的帧内预测中，如果在宏块内没有制作局部解码图像，则无法进行接下来的预测。这种情况下，也可以在预测部102的内部进行正交变换/量化、逆量化/逆正交变换。
在8×8像素预测以及4×4像素预测中，将宏块分别分割为8×8像素块以及4×4像素块的子块。在此，预测模式规定生成子块预测信号时的编码完成像素的参照方法。子块的形状(包括大小)没有被特定限定，例如可以是16×8像素、8×16像素、8×4像素、4×8像素之类的形状。因而，8×4像素预测、2×2像素预测也能够以同样的框架来实现。
当减小子块的块大小时，即增大宏块的分割数时，对后述的块大小切换信息进行编码时的编码量将增加，但是能够实现预测效率更高的帧内预测，因此预测残差将被削减。因而，考虑后述的变换系数信息的码量和局部解码信号之间的平衡来选择块大小即可。另外，也可以对利用区域分割方法所生成的任意形状的像素区域进行相同处理。
在预测部102中，生成预测信号122和从块图像信号121减去预测信号122得到的预测残差信号123。预测残差信号123被输入到正交变换/量化部104和模式选择部103。在正交变换/量化部104中，对预测残差信号123施以正交变换，并且对通过正交变换所得到的变换系数进行量化，从而生成量化变换系数信息127。
关于作为正交变换/量化部104中的处理单位的变换/量化块的形状，也能够选择8×8像素、4×4像素、16×8像素、8×16像素、8×4像素、4×8像素之类的形状。或者使变换/量化块的形状在一个宏块内不同，例如如图3C所示，也可以在宏块内使8×8像素块和4×4像素块混合存在。
在模式选择部103中，根据预测残差信号123和经预测部102输入的预测模式索引信息、块大小切换信息、预测顺序切换信息以及预测模式数切换信息之类的与预测模式有关的信息(以下将预测模式索引信息、块大小切换信息、预测顺序切换信息以及预测模式数切换信息统称为预测模式信息)124，计算出编码成本，并基于该编码成本选择最佳的预测模式。
更具体地说，例如将预测模式信息124设为OH、将预测残差信号的绝对值和(sum of absolute value)设为SAD时，模式选择部103将给出由下式计算出的编码成本K的最小值的预测模式选择为最佳模式。
[式1]
K＝SAD+λ×OH    (1)
这里，λ是常数，是根据量化参数的值来确定的。
作为模式选择部103中的成本计算的其它例子，也可以只使用预测模式信息OH、或者预测残差信号的绝对值和SAD。也可以使用将预测模式信息或者预测残差信号进行阿达玛(アダマ一ル)变换、或进行近似得到的值。也可以使用量化幅度、量化参数来制作成本函数。
作为成本计算的另外其它例子，也可以使用准备伪编码部对在各预测模式中生成的预测残差信号123实际进行了编码的情况下的码量、以及将编码数据进行局部解码而得到的解码图像信号130和块图像信号121之间的平方误差。在这种情况下，将给出由下式计算出的编码成本J的最小值的预测模式选择为最佳模式。
[式2]
J＝D+λ×R    (2)
在此，D是表示块图像信号121和解码图像信号130之间的平方误差的编码失真。另一方面，R表示通过伪编码估计的码量。
在使用了式(2)的编码成本J的情况下，每个预测模式都需要伪编码和局部解码(逆量化、逆正交变换)，因此处理量或者电路规模增大。但是，由于J反映正确的码量和编码失真，因此能够选择更适合的预测模式。其结果，能够得到更高的编码效率。在式(2)中，在编码成本J的计算中使用了编码失真D以及码量R，但是也可以只使用D以及R中的任一个来计算编码成本。另外，也可以使用近似D以及R的值来制作成本函数。
从模式选择部103输出表示所选择的预测模式的最佳预测模式信息125、和与所选择的预测模式相对应的预测信号126。最佳预测模式信息125和来自预测部102的预测残差信号123被一起输入到正交变换/量化部104。正交变换/量化部104参照最佳预测模式信息125，对预测残差信号123施以正交变换、例如离散余弦变换(DCT)。作为正交变换，除此之外也可以使用小波变换、独立成分分析等。在正交变换/量化部104中，通过正交变换所得到的变换系数被量化，生成量化变换系数信息127。在此，在正交变换/量化部104中量化所需的量化幅度等量化参数，根据来自编码控制部110的编码控制信息140中包括的上述量化参数信息而被指示。
量化变换系数信息127、和编码控制信息140中包括的预测模式索引信息141、块大小切换信息142、预测顺序切换信息143、预测模式数切换信息144以及量化参数等的与预测有关的信息被一起输入到熵编码部108。熵编码部108对量化变换系数信息127以及与预测有关的信息施以例如霍夫曼编码、对象关系映射(GORM)编码或者算术编码那样的熵编码，生成编码数据146。编码数据146通过多路复用部111被多路复用，并且通过输出缓冲器112作为编码比特流147而被输出。
量化变换系数信息127还被输入到逆量化/逆正交变换部105。逆量化/逆正交变换部105按照来自编码控制部110的量化参数信息对量化变换系数信息127进行逆量化，对通过逆量化所得到的变换系数施以例如逆离散余弦变换(IDCT)那样的逆正交变换，从而生成与从预测部102输出的预测残差信号123等效的预测残差信号128。
由逆量化/逆正交变换部105生成的预测残差信号128在加法器106中与来自模式选择部103的预测信号126相加，从而生成局部解码信号129。局部解码信号129被存储到参照图像存储器106。存储在参照图像存储器107中的局部解码信号作为参照图像信号130而被读出，在由预测部102生成预测残差信号123时被参照。
当针对编码对象块中可选择的所有预测模式的处理结束时，编码循环(图1中的预测部102→正交变换/量化部104→逆量化/逆正交变换部105→参照图像存储器130→预测部102)完成一次。当针对某个编码对象宏块的编码循环处理结束时，下个编码对象块的块图像信号121被输入到预测部101，再次进行编码。
编码控制部110进行基于产生码量的反馈控制、量化参数控制进行的比率(rate)控制、编码模式控制以及预测部的控制等编码全体的控制。图1的图像编码装置通过LSI芯片等硬件来实现、或者通过在计算机中执行图像编码程序来实现。
<关于预测部102>
接着，使用图4说明预测部102。预测部102具有生成预测信号的预测信号生成部113，并且为了进行将宏块进行分割得到的多个小像素块(称为子块)单位的预测，具有内部模式选择部114、内部正交变换/量化部115、内部逆量化/逆正交变换部116以及内部参照图像存储器118。
当块图像信号121被输入到预测部102时，通过预测信号生成部113生成基于后述的单方向预测或者后述的双方向预测的预测信号122。此时，在预测生成部113中，从编码控制部110传递包括预测模式索引信息141、块大小切换信息142、预测顺序切换信息143以及预测模式切换信息144的预测模式信息。编码控制部110将多个预测模式传递给预测生成部113，使预测信号生成部113进行基于多个预测模式中的各个模式的预测。预测信号生成部113除了基于各个预测模式的预测信号122之外，还生成与预测信号122相对应的预测模式信息161。
减法器119从块图像信号121减去预测信号114而生成预测残差信号123。内部模式选择部114根据经预测信号生成部113传递过来的预测模式信息161(包括预测模式索引信息141、块大小切换信息142、预测顺序切换信息143以及预测模式切换信息144)和预测残差信号123，进行预测模式的选择，输出表示所选择的预测模式的预测模式信息124。
预测误差信号123和从内部模式选择部114输出的预测模式信息124被输入到内部正交变换/量化部115。在内部正交变换/量化部115中，参照预测模式信息124对预测残差信号123施以正交变换例如DCT。作为正交变换，除此之外还可以使用小波变换、独立成分解析等。在内部正交变换/量化部115中，通过正交变换所得到的变换系数被量化，生成量化变换系数信息163。在此，在正交变换/量化部115中量化所需的量化幅度等量化参数，是根据来自编码控制部110的编码控制信息140中包括的上述量化参数信息而被指示的。
量化变换系数信息163被输入到内部逆量化/逆正交变换部116。内部逆量化/逆正交变换部116按照来自编码控制部110的量化参数信息将量化变换系数信息163进行逆量化，对通过逆量化所得到的变换系数施以例如IDCT这样的逆正交变换，从而生成与预测残差信号123等效的预测残差信号164。
由内部逆量化/逆正交变换部116生成的预测残差信号164在加法器117中与来自内部模式选择部114的预测信号162相加，从而生成内部解码信号165。内部解码信号165被存储到内部参照图像存储器118中。
存储到内部参照图像存储器118中的局部解码信号作为内部参照图像信号166而被读出，在由预测信号生成部113生成预测残差信号时被参照。当在预测部102中完成所有子块中的预测时，与宏块相对应的预测信号122、预测残差信号123以及预测模式信息124被输出到向预测部102的外部。
<关于预测信号生成部113>
接着，使用图5说明预测信号生成部113。图5只示出了预测信号生成部113中的与预测信号122的生成相关的部分。在图5中，预测顺序切换部170针对块图像信号121，根据预测顺序切换信息143切换宏块中的子块的预测顺序。即，预测顺序切换部170从预先确定的多个预测顺序中选择针对分割像素块(宏块)得到的多个子块的预测顺序。由预测顺序切换部170切换了预测顺序的块图像信号被输入到单方向预测部171以及双方向预测部172。
单方向预测部171以及双方向预测部172为了生成与宏块相对应的预测信号，按照由预测顺序切换部170切换选择的预测顺序和分别选择的预测模式，参照编码完成像素来预测宏块。
即，单方向预测部171根据预测模式索引信息141，选择已准备的多个预测模式中的一个预测模式。单方向预测部171按照这样选择的预测模式以及块大小切换信息142，参照参照图像信号166来生成预测信号。双方向预测部172根据预测模式索引信息141，选择上述已准备的多个预测模式中的两个预测模式。双方向预测部172按照这样选择的两个预测模式以及块大小切换信息142，参照参照图像信号166来生成预测信号。从单方向预测部171以及双方向预测部172输出的预测信号被输入到预测模式数切换部173。
预测模式数切换部173按照预测模式数切换信息144而被控制，从而选择由单方向预测部171生成的预测信号以及由双方向预测部172生成的预测信号中的任一个，并输出所选择的预测信号122。换言之，预测模式数切换部173从预先确定的多个预测模式中选择可使用的预测模式的数量。
使用图6A～图6D、图7A～图7D以及图8说明预测顺序切换部170的动作。图6A示出了8×8像素预测中的成为宏块内的子块(8×8像素块)基准的索引blk。同样地，图7A示出了4×4像素预测中的宏块内的子块(4×4像素块)的索引blk。在图6A中，以对4分割宏块得到的8×8像素块进行依次预测以及编码处理的方式分配顺序。在图7A中，考虑4分割宏块得到的8×8像素块，以对将该8×8像素块内进一步进行4分割得到的4×4像素块进行依次预测以及编码处理的方式分配顺序。
预测顺序切换部170根据预测顺序切换信息143而被控制，通过根据表示预测顺序切换信息143的后述的标志block_order_flag的值来变换成为上述基准的索引blk，从而切换子块的预测顺序。对于子块的次序idx，由下式给出实际编码时的子块的索引order(表示预测顺序)。
[式3]
order＝blkConv[block_order_flag][idx]    (3)
图8示出了blkConv[][]的具体的变换表格的例子。在标志block_order_flag是0(FALSE：假)的情况下，实际进行预测编码时的子块的索引order是编码对象的子块的索引idx本身，不变更块的预测以及预测顺序(以后将根据这种预测顺序进行的预测称为依次预测)。
图6B以及图7B分别示出了对图6A以及图7A进行依次预测的预测顺序。即，在图6B中，预测顺序被设定为按照索引idx的顺序(0→1→2→3)。同样地，在图7B中预测顺序被设定为按照索引idx的顺序(0→1→2→…→14→15)。
另一方面，在标志block_order_flag是1(TRUE：真)的情况下，实际进行预测编码的子块的索引order表示如下的预测顺序：首先通过外插来预测4个子块中的对角的1块，并通过外插或者内插来预测剩余的3块。以下，将根据这种预测顺序进行的预测称为外插/内插预测。
图6C以及图7C分别示出了对图6A以及图7A进行外插/内插预测的预测顺序变更例。在图6C中，最初通过外插来预测idx＝3的子块，接着预测idx＝1以及idx＝2的子块，最后通过外插来预测相对idx＝3的子块位于对角位置的idx＝0的子块。在图7C中，对将8×8像素块内进行4分割得到的4×4像素的4个子块的每个子块，与图6C相同地设定预测顺序。
并且作为其它例子，也可以根据宏块内的像素的相关等性质，例如像图6D以及图7D那样任意地设定子块的预测顺序。
如上所述，由预测顺序切换部170切换了预测顺序的子块被输入到单方向预测部171或者双方向预测部172，从而生成与各子块相对应的预测信号。当预测模式数切换信息144表示预测模式数“1”时，模式数切换开关173输出由单方向预测部171得到的预测信号，当预测模式数切换信息144表示预测模式数“2”时，输出由双方向预测部172得到的预测信号。从模式数切换开关173输出的预测信号作为预测信号生成部113的输出122而被取出。
接着，说明与根据标志block_order_flag设定的预测顺序相对应的单方向预测部171以及双方向预测部172的处理。如上所述，单方向预测部171以及双方向预测部172将图4中所示的内部参照图像存储器118中保存的已经完成解码的像素用作参照图像信号166，从而进行编码对象的子块的预测。
(依次块预测中的单方向预测部171的处理)
作为单方向预测部171中的依次块预测的预测模式，例如存在模式0至模式8的9个模式。如图9A所示，除了模式2的8个模式(模式0、模式1、模式3～8)具有在输入图像信号100所形成的图像空间内以22.5度间隔进行了偏移的预测方向(参照编码完成像素的方向)，被称作方向预测模式。在单方向预测部171中，模式2是DC预测模式。图10示出了单方向预测部171中的依次块预测的预测模式即模式0～8的名称，对各名称标记了表示模式0～8的模式索引。
图9B示出了4×4像素预测中的预测像素和参照像素之间的关系。在图9B中像素A～M是参照像素，像素a～p是预测像素。下面使用图9A、图9B、图9C以及图9D说明具体的预测方法。
在单方向预测部171中，在选择了模式2的DC预测的情况下，通过下式计算出预测像素a～p的值，从而生成预测信号。
[式4]
a～p＝ave(A，B，C，D，I，J，K，L)(4)
在此，ave(·)表示()内所示的参照像素的像素值(亮度值)的平均(称为平均像素值)。
在()内的参照像素的一部分无法利用的情况下，仅计算出能够利用的参照像素的平均像素值，从而生成预测信号。在能够利用的参照像素一个都不存在的情况下，在预测信号生成部113中，预测信号的最大亮度值的一半的值(如果是8比特则是128)被视作预测信号。
在选择了模式2以外的模式的情况下，单方向预测部171使用如下的预测方法：对图9A中所示的各预测方向，将参照像素复制到预测像素。具体地说，在下式中示出选择了模式0(垂直预测)的情况下的预测信号生成方法。
[式5]
a，e，i，m＝A
b，f，j，n＝B
c，g，k，o＝C    (5)
d，h，l，p＝D
只在能够利用参照像素A～D时，才能够选择该模式0。在模式0中，如图9C所示，参照像素A～D直接被复制到在垂直方向上排列的预测像素，从而生成预测信号。
另一方面，在下式中示出选择了模式4(正交右下预测)的情况下的预测信号生成方法。
[式6]
d＝(B+(C＜＜1)+D+2)＞＞2
c，h＝(A+(B＜＜1)+C+2)＞＞2
b，g，l＝(M+(A＜＜1)+B+2)＞＞2
a，f，k，p＝(I+(M＜＜1)+A+2)＞＞2    (6)
e，j，o＝(J+(I＜＜1)+M+2)＞＞2
i，n＝(K+(J＜＜1)+I+2)＞＞2
m＝(L+(K＜＜1)+J+2)＞＞2
只在能够利用参照像素A～D以及I～M时，才能够选择模式4。在模式4中，如图9D所示，由3抽头的滤波器生成的值被复制到右下45度方向上，从而生成预测信号。
关于模式0、2、4以外的预测模式，也是相同的框架。即，通过将相对预测方向可利用的参照像素复制到在预测方向上排列的预测像素这样的方法，来生成预测信号。
(依次块预测中的双方向预测部172的处理)
单方向预测是在块内图像中的空间方向性为一个这样的前提下生成预测信号。在块内的图像中有两个以上的空间方向性的情况下，这种前提不成立，因此只在单方向预测中有预测残差信号增大的倾向。因此，在具有两个以上的空间方向性的情况下，通过在双方向预测部172中同时使用单方向预测部171的9个预测模式(还包括DC预测)中的2个模式，来进行考虑了多个空间方向性的预测，抑制预测残差信号的增大。
图11示出了双方向预测部172中的预测模式的名称和相对应的模式索引。在图11中，存在使用两个模式的预测模式。例如，将使用垂直预测(模式0)和水平预测(模式1)的预测模式的名称以及模式索引分别表述为“垂直/水平预测”以及“模式01”。另外，例如将使用垂直预测(模式0)和DC预测(模式2)的预测模式的名称以及模式索引分别表述为“垂直/DC预测”以及“模式02”。
作为例子，说明根据使用了垂直预测(模式0)和水平预测(模式1)的垂直/水平预测进行的预测信号生成方法。图12A示出了4×4像素预测中的垂直/水平预测(模式01)的概念。4×4像素预测中的预测像素和参照像素之间的关系与图9B相同。例如，在预测像素a中将在垂直预测中参照的像素A和在水平预测中参照的像素I之间的平均像素值设为预测信号。在预测像素b中，将垂直预测中的参照像素B与正交右下预测中的参照像素I的平均像素值设为预测信号。对于其它预测像素，也以相同的方法生成预测信号。
具体地说，在垂直/水平预测(模式01)中使用下式计算预测像素。
[式7]
X(01，n)＝(X(0，n)+X(1，n)+1)＞＞1    (7)
在此，n是与图9B中所示的预测像素a～p相对应的索引。X(0，n)以及X(1，n)分别是通过作为单方向预测的垂直预测以及水平预测而生成的预测信号。预测信号X(0，n)以及X(1，n)的具体生成方法与式(5)以及式(6)所示的方法相同，因此省略说明。
另一方面，在垂直/DC预测(模式02)中使用下式来计算预测像素。
[式8]
X(02，n)＝(X(0，n)+X(2，n)+1)＞＞1    (8)
在垂直/正交右下预测(模式04)中，使用下式来计算预测像素。
[式9]
X(04，n)＝(X(0，n)+X(4，n)+1)＞＞1    (9)
图12B示出了模式04中的预测方法的概念。
对于模式01、02以外的多个方向的外插预测，也能够同样地计算预测像素。以上所述的多个方向的外插预测可以由下面的一般公式表示。
[式10]
X(UV，n)＝(X(U，n)+X(V，n)+1)＞＞1    (10)
在此，X(U，n)、X(V，n)分别是单方向预测的模式“U”以及模式“V”，X(UV，n)是多个方向的外插预测的模式“UV”的预测信号。
这样以像素为单位通过任意两种单方向预测来求出预测像素，将这些预测像素平均化后的值设为预测信号。由此，在块内存在多个空间方向性的情况下能够进行精度高的预测，能够改善编码效率。
(外插/内插块预测)
在如图6B中所说明的外插/内插块预测中，将宏块内的各子块的次序从依次块预测变更为依据公式(3)的预测顺序。例如，在对8×8像素块进行预测的情况下，如图13A所示首先将外角的1块作为能够进行外插预测的块(以下称作外插块)而先进行预测，接着将其它3块作为能够进行内插预测的块(以下称作内插块)而进行预测。即，首先预测外插块(1)，接着预测内插块(2)(3)以及(4)。另一方面，在对4×4像素块进行预测的情况下，如图13B所示对各4×4像素块以8×8像素块为单位进行外插块的预测和内插块的预测，从而设定预测顺序。
下面说明选择了4×4像素预测的情况下的8×8像素块单位的预测处理。在该预测处理中，像如果8×8像素块单位的预测结束则对下一8×8像素块进行预测那样，将8×8像素块单位的预测共重复进行4次。
(外插块的预测)
在预测外插块的情况下，参照像素和预测像素之间的距离变远，因此参照像素的范围成为如图14A所示。在图14A中像素A～X以及Z是参照像素，像素a～p是预测像素。虽然参照像素的范围扩大，但是关于按照预测角度复制参照像素从而生成预测信号的方法，与先前的依次块预测情况相同。
具体地说，在外插块中选择了模式2的DC预测的情况下，通过下式计算出预测像素a～p。
[式11]
a～p＝ave(E，F，G，H，U，V，W，X)    (11)
在此，ave(·)表示()内所示的参照像素的平均像素值。
在()内的参照像素的一部分无法利用的情况下，通过仅计算出能够利用的参照像素的平均像素值来生成预测信号。在能够利用的参照像素一个都不存在的情况下，在预测信号生成部113中将预测信号的最大亮度值的一半的值(如果是8比特则是128)视作预测信号。
在选择了模式2以外的模式的情况下，单方向预测部171使用如下的预测方法：对于图9A中所示的各预测方向，将参照像素复制到预测像素。具体地说，在下式中示出选择了模式0(垂直预测)的情况下的预测信号生成方法。
[式12]
a，e，i，m＝E
b，f，j，n＝F
c，g，k，o＝G    (12)
d，h，l，p＝H
只在能够利用参照像素E～H时，才能够选择该模式0。在模式0中，如图15A所示，参照像素E～H直接被复制到在垂直方向上排列的预测像素，从而生成预测信号。
另一方面，在下式中示出在外插块中选择了模式4(正交右下预测)时的预测信号生成方法。
[式13]
d＝(B+(C＜＜1)+D+2)＞＞2
c，h＝(A+(B＜＜1)+C+2)＞＞2
b，g，l＝(Z+(A＜＜1)+B+2)＞＞2
a，f，k，p＝(Q+(Z＜＜1)+A+2)＞＞2    (13)
e，j，o＝(R+(Q＜＜1)+Z+2)＞＞2
i，n＝(S+(R＜＜1)+Q+2)＞＞2
m＝(T+(S＜＜1)+R+2)＞＞2
只在能够利用参照像素A～D、Q～T以及Z时，才能够选择该模式4。在模式4中，如图15B所示，将通过3抽头的滤波器而生成的值复制到在右下45度方向上排列的预测像素，从而生成预测信号。
关于模式0、2、4以外的预测模式，也是几乎相同的框架。即，通过将相对预测方向可利用的参照像素或者从该参照像素生成的插值复制到在预测方向上排列的预测像素的方法，来生成预测信号。
(内插块预测)
在图13A以及图13B中，在预测内插块(2)时，由于外插块(4)的预测已经结束，因此能够进行参照外插块(4)像素的预测。在预测内插块(3)时，除了外插块(4)之外还能够进行参照内插块(2)像素的预测。在预测外插块(1)时，除了外插块(4)以及内插块(2)之外还能够进行参照内插块(3)像素的预测。
图14B、图14C以及图14D示出了4×4像素预测中的内插块(1)(2)以及(3)和参照像素之间的关系。像素RA～RI是对图14A新追加的参照像素，像素a～p是预测像素。
(内插块预测中的单方向预测部171的处理)
在单方向预测部171中，如图16所示关于内插块预测具有外插块中的方向预测以及参照编码完成宏块内的参照像素的反方向外插预测共计17个模式，除了模式2的17个模式具有各偏移22.5度的预测方向。
图17示出了单方向预测部171中的内插块预测中所进行的单方向预测的预测模式00～16的名称，对各名称标记了表示模式0～16的模式索引00～16。在图17中，对图10所示的外插块预测(依次块预测)的预测模式追加了反方向的预测模式。
即，垂直预测、水平预测、DC预测、正交左下预测、正交右下预测、垂直右预测、水平下预测、垂直左预测以及水平上预测的各模式在图10和图17中是相同的。另一方面，在图17中除了图10所示的模式之外，还追加了反方向垂直预测(模式9)、反方向水平预测(模式10)、正交右上预测(模式11)、正交左上预测(模式12)、反方向垂直左预测(模式13)、反方向水平上预测(模式14)、反方向垂直右预测(模式15)以及反方向水平下预测(模式16)。
预测模式根据如图13A以及图13B所示的针对内插块的参照像素位置关系以及有无参照像素，来决定是否能够进行选择。例如，在内插块(1)中，在左右上下全部方向上配置有参照像素，因此不能如图18A所示选择所有的模式0～16。在内插块(2)中，在右侧未配置参照像素，因此如图18B所示不能选择模式10、模式14以及模式16。在内插块(3)中，在下侧未配置参照像素，因此如图18C所示不能选择模式9、模式13以及模式15。
下面说明内插块预测中的单方向预测部171的预测信号生成方法。在单方向预测部171中，当选择了模式2的DC预测的情况下，通过计算上下左右各自最近的参照像素的平均像素值来生成预测信号。
具体地说，对于内插块(1)，根据下式来计算预测信号。
[式14]
a～p＝ave(A，B，C，D，RA，RB，RC，RD，            Q，R，S，T，RE，RF，RG，RH)(14)
对于内插块(2)，根据下式来计算预测信号。
[式15]
a～p＝ave(Q，R，S，T，E，F，G，H，            RA，RB，RC，RD)    (15)
对于内插块(3)，根据下式来计算预测信号。
[式16]
a～p＝ave(A，B，C，D，U，V，W，X，            RE，RF，RG，RH)    (16)
在此，在式(14)、(15)以及(16)中，ave(·)表示()内所示的参照像素的平均像素值。
在()内的参照像素的一部分无法利用的情况下，通过仅计算出能够利用的参照像素的平均像素值来生成预测信号。
在选择了模式2以外的模式的情况下，单方向预测部171使用对于图16中所示的各预测方向将参照像素复制到预测像素的预测方法。关于模式0～模式8的预测像素的计算是以与上述外插块相同的预测角度进行预测，因此省略说明。
关于模式9～模式16，参照编码完成的外插块(4)的像素或者根据预测顺序配置在宏块内的编码完成块。具体地说，在选择了模式9(反方向垂直预测)的情况下，根据在下方向位于最近的参照像素而生成预测信号。关于内插块(1)以及内插块(2)，根据下式来计算预测信号。
[式17]
a，e，i，m＝RA
b，f，j，n＝RB
c，g，k，o＝RC    (17)
d，h，l，p＝RD
图19A以及图19B示出了基于模式9的针对内插块(1)以及内插块(2)的预测信号的生成方法。参照像素RA～RD直接被复制到在垂直方向上排列的预测像素，从而生成预测信号。关于内插块(3)，由于在下方向不存在参照像素，因此无法利用模式9。
另一方面，在选择了模式10(反方向水平预测)的情况下，根据在右方向位于最近的参照像素而生成预测信号。关于内插块(1)以及内插块(3)，根据下式来计算预测信号。
[式18]
a，b，c，d＝RE
e，f，g，h＝RF
i，j，k，h＝RG    (18)
m，n，o，p＝RH
图20A以及图20B示出了基于模式10的针对内插块(1)以及内插块(3)的预测信号的生成方法。参照像素RE～RH直接被复制到在水平方向上排列的预测像素，从而生成预测信号。关于内插块(2)，由于在右方向不存在参照像素，因此无法利用模式10。
并且，在选择了模式12(正交左上预测)的情况下，对于内插块(1)，根据下式来计算预测信号。
[式19]
d＝(RE+(RF＜＜1)+RG+2)＞＞2
c，h＝(RF+(RG＜＜1)+RH+2)＞＞2
b，g，l＝(RG+(RH＜＜1)+RI+2)＞＞2
a，f，k，p＝(RH+(RI＜＜1)+RD+2)＞＞2    (19)
e，j，o＝(RI+(RD＜＜1)+RC+2)＞＞2
i，n＝(RD+(RC＜＜1)+RB+2)＞＞2
m＝(RC+(RB＜＜1)+RA+2)＞＞2
关于内插块(2)，根据下式来计算预测信号。
[式20]
d，c，h，b，g，l，a，f， k，p＝RD
e，j，o＝(RC+(RD＜＜1)+RD+2)＞＞2
i，n＝(RB+(RC＜＜1)+RD+2)＞＞2         (20)
m＝(RA+(RB＜＜1)+RC+2)＞＞2
关于内插块(3)，根据下式来计算预测信号。
[式21]
d＝(RE+(RF＜＜1)+RG+2)＞＞2
c，h＝(RF+(RG＜＜1)+RH+2)＞＞2
b，g，l＝(RG+(RH＜＜1)+RH+2)＞＞2      (21)
a，f，k，p，e，j，o，m＝RH
图21A、图21B以及图21C示出了基于模式12的针对内插块(1)、内插块(2)以及内插块(3)的预测信号的生成方法。将通过3抽头的滤波器而生成的值复制到左上45度方向上从而生成预测信号。
关于上述模式2、9以及11以外的预测模式(模式12～16)，也使用如下的预测方法：对于图18A、图18B、图18C以及图18D中所示的预测方向，复制可参照且从最近的像素中进行了插值的预测信号。在对于预测方向未配置参照像素的情况下，也可以复制最近的参照像素的值来生成参照像素并利用，或者也可以根据多个参照像素的内插插值而生成虚拟的参照像素，并将该虚拟的参照像素利用于预测。
(内插块预测中的双方向预测部172的处理)
双方向预测部172通过同时使用在内插块预测中由单方向预测部171进行的内插块预测的17个预测模式(也包括DC预测)中的两个模式来进行包括多个方向性的预测。具体的预测信号生成方法与式(10)相同。即，将基于所选择的两个模式(在式(10)中是模式“U”以及模式“V”)的预测信号以像素为单位平均化后的值，设为预测像素的预测信号。
图22示出了在双方向预测部172中与在内插块预测中进行的预测模式的名称相对应的模式索引。在图22中存在使用两个模式的预测模式。例如，将使用垂直预测(模式0)和反方向水平预测(模式10)的情况下的预测模式的名称以及模式索引表述为“垂直/反方向水平预测”以及“模式0010”。在各预测模式的编号是1位数的情况下，在开头加0而标记为2位数。模式0和模式00具有相等的意思。
这样，内插块的双方向预测不仅是预测模式的方向完全正对的单纯的内插预测，而且还能够进行与该块的极小的方向性变化、或者复杂度相对应的内插预测。因而，能够得到降低预测残差信号的效果。
(图像编码的处理过程)
参照图23说明图像编码部100的处理过程。当图像编码部100被输入1帧的输入图像信号120时(步骤S101)，输入图像信号120的编码对象帧被帧分割部101分割为多个像素块(宏块)，生成块图像信号121。对块图像信号121开始进行编码(步骤S102)。块图像信号121被输入到预测部102。
在预测部102中，首先判断是否根据预测顺序切换信息143来变更子块的预测顺序(步骤S103)。在不变更预测顺序的情况下(S103的结果是“否”)，block_order_flag是FALSE，预测顺序切换部170选择按照式(3)所示的order对子块进行预测编码的“依次块预测”。
在依次块预测中，根据预测模式数切换信息144判断是否对子块进行单方向预测(步骤S104)。在此，在进行单方向预测的情况下(S104的结果是“是”)，单方向预测部171进行预测(步骤S106)，在不进行单方向预测的情况下(S104的结果是“否”)，双方向预测部172进行预测(步骤S107)。
另一方面，在变更预测顺序的情况下(S103的结果是“是”)，block_order_flag是TRUE，预测顺序切换部170按照式(3)所示的order选择对子块进行预测编码的“外插/内插块预测”。
在外插/内插块预测中，根据预测模式数切换信息144判断是否对子块进行单方向预测(步骤S105)。在此，在进行单方向预测的情况下(S105的结果是“是”)，单方向预测部171进行预测(步骤S108)，在不进行单方向预测的情况下(S105的结果是“否”)，双方向预测部172进行预测(步骤S109)。
当步骤S106、S107、S108或者S109的预测结束时，根据式(3)以及式(4)计算出宏块内的总成本(1)(2)(3)或者(4)(步骤S111、S112、S113或者S114)。比较通过步骤S111、S112、S113或者S114计算出的各总成本，来确定预测方法(步骤S115)。以这样决定的预测方法由正交变换/量化部104以及熵编码部108进行编码，并输出编码数据146(步骤S116)。
此时由逆量化/逆正交变换部105对量化变换系数信息127进行逆量化以及逆正交变换，从而生成被解码的预测残差信号128。通过加法器106将被解码的预测残差信号128和从模式选择部103输入的预测信号126进行相加，从而生成局部解码信号129。局部解码信号129被存储到参照图像存储器106中。
判定输入运动图像信号120的1帧的预测编码是否结束(步骤S117)。在预测编码结束的情况下(S117的结果是“是”)，输入下1帧的输入图像信号120，再次进行预测编码。另一方面，在1帧的预测编码没有结束的情况下(S117的结果是“否”)，返回到步骤S102，对下个宏块的块图像信号121进行预测编码。
接着，使用图24说明图23中的步骤S104以及S105的预测处理过程。
当预测部102被输入块图像信号121时，首先对预测信号生成部113设置以blk＝0表示的子块(步骤S201)。并且，进行模式选择部103以及内部模式选择部114中的预测模式以及编码成本的初始化(步骤S202)。例如，将预测模式index设置为0，将最小编码成本min_cost设置为无穷大。
接着，由预测信号生成部113根据对于以blk＝0表示的子块能够选择的一个模式，生成预测信号122(步骤S203)。取块图像信号121和预测信号122之间的差分来生成预测残差信号123，根据式(1)或者式(2)计算编码成本(步骤S204)。
模式选择部103判别所计算出的编码成本是否小于最小编码成本min_cost(步骤S205)，在小的情况下(S205的结果是“是”)，以所计算出的编码成本来更新最小编码成本，并且将此时的预测模式信息作为表示是最佳预测模式信息的best_mode索引而保持(步骤S206)。在所计算出的成本大于最小编码成本min_cost的情况下(S205的结果是“否”)，使模式索引index递增，判断递增后的index是否大于模式的最后的编号(MAX)(步骤S207)。
在index大于MAX的情况下(S207的结果是“是”)，从模式选择部103将最佳预测模式信息125以及预测残差信号126传递到正交变换/量化部104，进行正交变换以及量化。通过熵编码部108将由正交变换/量化部104所得到的量化变换系数信息127与预测模式索引信息141一起进行熵编码(步骤S208)。另一方面，在index小于MAX的情况下(S207的结果是“否”)，返回步骤S203，生成由下个index表示的预测模式的预测信号122。
当进行best_mode下的编码时，将通过内部正交变换/量化部115所得到的量化变换系数信息163传递给内部逆量化/逆正交变换部116，进行逆量化和逆变换。通过内部加法器117将由内部逆量化/逆正交变换部116生成的被解码的预测残差信号164与从内部模式选择部114输入的best_mode的预测信号162进行相加。将由内部加法器117生成的内部解码信号165保存到内部参照图像存储器118中(步骤S208)。
使该块编码数blk递增，判断递增后的blk的值是否大于宏块内的小块的总数BLK_MAX(如果是4×4像素预测则为16，如果是8×8像素预测则为4)(步骤S209)。在递增后的blk的值大于BLK_MAX的情况下(S209的结果是“是”)，该宏块内的预测处理结束。另一方面，在递增后的blk小于BLK_MAX的情况下(S209的结果是“否”)，返回步骤S202，进行由下一个blk表示的小块的预测处理。
如上所述，根据本实施方式，根据图像的每个区域的性质(方向性、复杂度以及结构)适应性地进行预测顺序的切换、以及单方向预测和双方向预测的切换(预测模式数的切换)。因而，提高了预测效率，结果提高了编码效率。
在本发明一个实施方式的图像编码装置中，能够进行如下的各种变更。
(a)在一个实施方式中，叙述了与4×4像素预测有关的帧内预测。然而，在8×8像素、16×16像素预测中，或者对于色差信号，也能够进行相同的帧内预测。
(b)为了抑制运算成本，也可以进一步减少预测模式数。关于预测方向并不限定于22.5度间隔，既可以将角度间隔设定得更细，也可以将角度间隔设定得更粗。
(c)在一个实施方式中，帧内预测的预测模式除去模式2而利用了方向预测。然而，作为预测模式不仅是方向预测，也可以将平面预测、共一次内插预测、三次卷积内插预测、最近内插预测这样的内插预测设定为一个预测模式。
(d)在一个实施方式中，从多个预测模式中将为了双方向预测模式而准备的两个模式下的平均像素值设为预测值。代替计算平均像素值，也可以通过使用了1∶3、1∶4等权重系数的加权平均来求出预测值。在这种情况下，也可以将各预测模式的权重系数表格化。
或者也可以利用记述了与最大值滤波器、最小值滤波器、中间值滤波器、方向预测的角度、使用预测模式数相应的权重系数的权重表格来计算预测像素。也可以从多个预测模式中选择三个以上的预测模式来生成预测值。关于来自多个预测模式的模式的选择数、上述权重表格，也可以按每个序列、每个图片、每个片(slice)、每个宏块、或者像素这样的每个单位，保持多个候补，并以各单位进行切换。
(d)在一个实施方式中，针对16×16像素的每个宏块，切换对于子块的预测顺序是进行变更还是不进行变更。也可以对32×32像素、64×64像素、64×32像素这样的每个其它像素大小或者每帧，进行预测顺序变更的切换。
(e)在一个实施方式中，说明了对宏块内的子块从帧的左上块向右下进行依次预测的情况，但是预测顺序不限于此，例如既可以从右下向左上进行依次预测，也可以从帧的中央螺旋状地进行依次预测。既可以从右上向左下进行依次预测，也可以从帧的周边部向中心部进行依次预测。
(f)在一个实施方式中，作为预测模式只说明了帧内预测。但是，也可以使用利用帧间的相关性来进行预测的帧间预测。当从多个预测模式候补中选择至少一个预测模式时，既可以选择基于帧内预测的预测模式和基于帧间预测的预测模式中的某一个，也可以选择两者。当选择基于帧内预测的预测模式和基于帧间预测的预测模式两者时，可实现将参照像素和预测像素的空间相关性以及时间相关性并用的3维预测。
(g)也可以在帧间编码片中进行在一个实施方式中使用的帧内预测。在这种情况下，帧内预测和帧间预测的切换无需是宏块单位，既可以是8×8像素块单位，也可以是8×4像素块单位。对于利用区域分割方法生成的任意形状的像素区域，也可以进行相同的处理。
(h)在一个实施方式中，根据从式(1)或者式(2)计算出的编码成本，来切换是否变更预测顺序以及是进行单方向预测还是进行双方向预测。编码成本不限于式(1)以及(2)，还能够使用从对象块、邻接块中计算出的分散、标准偏差、频度分布或者相关系数这样的活度(activity)信息。也可以根据该活度信息切换预测顺序变更切换是进行单方向预测还是进行双方向预测。
例如，对于对象块内的预测像素，计算与左以及上的参照像素之间的相关系数，如果相关系数例如大于某阈值，则判断为预测像素和左以及上的参照像素之间的相关性高，不变更预测顺序。例如，计算对象块内的分散，如果分散值例如大于某阈值，则判断为块内的结构复杂而进行双方向预测。另一方面，如果该分散值例如小于阈值，则判断为块内的结构单调而进行单方向预测。
(j)在图3所示的正交变换/量化部104以及逆量化/逆正交变换部105中，无需对全部的预测残差信号进行处理。例如，也可以由熵编码部108直接对预测残差信号的一部分进行编码。或者既可以省略量化以及逆量化的处理，也可以省略正交变换和逆正交变换的处理。
(语法构造的第1例子)
接着，参照图25说明在图像编码部100中所使用的语法构造的概要。
语法主要包括高级别语法201、片级别语法204以及宏块级别语法207这样的三个部分。在高级别语法201中，填入有片以上的上位层的语法信息。在片级别语法204中，明确记载有每个片所需的信息。在宏块级别语法207中，明确记载有每个宏块所需的量化参数的变更值、模式信息等。
三个部分由进一步详细的多个语法构成。即，高级别语法201包括序列参数设置语法202以及图片参数设置语法203这样的序列级别以及图片级别的语法。片级别语法204包括片头语法205以及片数据语法206。宏块级别语法207包括宏块层语法208以及宏块预计语法209。
在本实施方式中特别需要的语法信息是宏块层语法208以及宏块预计语法209。下面使用图26以及图27详细地说明宏块层语法208以及宏块预计语法209。
图26的宏块层语法内所示的block_order_flag表示是否在宏块内进行预测顺序的切换。即，标志block_order_flag为FALSE表示在宏块内不进行预测顺序的切换，标志block_order_flag为TRUE表示在宏块内进行预测顺序的切换。
在图27的宏块预计语法中，明确记载有宏块内的每个子块(4×4像素块或者8×8像素块)的预测模式信息。关于单方向预测，以intra4×4(8×8)_pred_mode_l0_org或者intra 4×4(8×8)_pred_mode_l1_org示出表示从多个预测模式中所使用的模式的预测模式信息。关于双方向预测中，预测模式信息具备两个语法。在此，以intra4×4(8×8)_pred_mode_l0_org表示从多个预测模式中选择2种预测模式时的模式索引较小的一方(列表0)的预测模式，以intra4×4(8×8)_pred_mode_l1_org表示模式索引较大的一方(列表1)的预测模式。也可以以intra4×4(8×8)_pred_mode_l0_org表示模式索引较大的一方(列表0)的预测模式，以intra 4×4(8×8)_pred_mode_l1_org表示模式索引较小的一方(列表1)的预测模式。
下面使用图27说明选择了4×4像素预测的情况下的宏块预计语法的结构。
图27中的blkConv[block_order_flag][luma4×4BlkIdx]具有进行如图8所示的预测顺序变换的变换表格，输出编码对象块的索引。
图27中的intra4×4_pred_mode_l0[block_order_flag][order]是将intra4×4_pred_mode_l0_org[block_order_flag][order]按照后述的modeConv[block_order_flag][intra4×4_pred_mode_l0_org]进行变换后的索引的数据。
图27中的intra4×4_bi_pred_flag是切换对该4×4像素块进行双方向预测还是不进行双方向预测的标志。即，该标志intra4×4_bi_pred_flag为FALSE意味着该4×4像素块是单方向预测，该标志intra4×4_bi_pred_flag为TRUE意味着该4×4像素块是双方向预测。
图27中的intra4×4_pred_mode_l1是将intra4×4_pred_mode_l1_org[block_order_flag][order]按照后述的modeConv[block_order_flag][intra4×4_pred_mode_l1_org]进行变换后的索引的数据。该数据intra4×4_pred_mode_l1在intra4×4_bi_pred_flag为TRUE时被编码。
下面详细说明各语法。
对于luma4×4Blk，针对每个block_order_flag按照blkConv[block_order_flag][luma4×4BlkIdx]所示的表格施以变换，计算出表示编码对象子块的块索引order(参照图8)。
在对块索引order所示的4×4像素块进行预测的情况下，如图28所示将intra4×4_pred_mode_l0_org[block_order_flag][order]变换为intra4×4_pred_mode_l0[order]。这是由于可利用的预测模式根据block_order_flag以及宏块内的4×4像素块的位置而不同因此所进行的处理。具体地说，如图29所示，在block_order_flag为0(FALSE)的情况下，将intra4×4_pred_mode_l0_org直接代入intra 4×4_pred_mode_l0。此时，intra4×4_pred_mode_l0成为如下数据，该数据表示将已准备的单方向预测的9种预测模式中的哪个模式用于4×4像素块的预测。
另一方面，在block_order_flag是1(TRUE：外插/内插块预测)的情况下，根据编码对象宏块内的4×4像素块的位置来切换表格。图30示出了在能够参照相对于编码对象宏块在左、上、右上以及左上邻接的宏块的情况下对应于由图13B所示的子块(内插块(1)(2)和(3)、以及外插块(4))而可利用的预测模式及其名称。
从图30可知，内插块(1)能够利用全部的17个模式，与此相对，内插块(2)以及(3)存在不能利用的模式。因此，如图28所示通过modeConv[][]将intra4×4_pred_mode_l0_org[block_order_flag][order]变换为intra4×4_pred_mode_l0，预先去除不能利用的预测模式，从而提高后述的熵编码的效率。如果示出具体变换例子，在内插块(2)的预测模式是模式15(反方向垂直右预测)的情况下，向intra4×4_pred_mode_l0代入“13”。在内插块(3)的预测模式是模式14(反方向水平上预测)的情况下，向intra4×4_pred_mode_l0代入“12”。
对intra4×4_pred_mode_l0进行编码时，在每个block_order_flag以及块位置上能够利用的模式的状态数不同，因此根据编码对象的4×4像素块的位置进行熵编码(霍夫曼编码、对象关系映射编码或者算术编码等)。具体的符号可获取的状态数示出在图30中。以上是与intra4×4_pred_mode_l0_org的编码相关的语法说明。
在intra4×4_bi_pred_flag为TRUE的情况下，进一步对intra4×4_pred_mode_l1_org进行编码。关于intra4×4_pred_mode_l1_org的编码，进行与intra4×4_pred_mode_l0_org时大致相同的处理。
首先，按照modeConv[][]将intra4×4_pred_mode_l1_org变换为intra4×4_pred_mode_l1，根据与block_order_flag及order相应的可变长度码对intra4×4_pred_mode_l1进行熵编码。但是，intra4×4_pred_mode_l1在与intra4×4_pred_mode_l0之间不会成为相同的预测模式，因此从intra4×4_pred_mode_l0的状态数减去1得到的数变成intra4×4_pred_mode_l1能够获取的符号的状态数。根据该状态数进行熵编码。
作为其它例子，也可以不将intra4×4(8×8)_pred_mode_l0_org以及intra4×4(8×8)_pred_mode_l1_org按照modeConv[][]进行变换，而是直接进行熵编码。以上是各语法的详细情况。
在此，关于block_order_flag以及intra4×4_bi_pred_flag，也可以是将它们进行编码后多路复用为编码流来传送。另一方面，也可以不进行这种多路复用以及传送，而是利用从编码完成块以及像素计算出的活度信息来表示block_order_flag以及intra4×4_bi_pred_flag的信息。在这种情况下，通过在解码侧也使用与编码侧相同的逻辑，block_order_flag以及intra4×4_bi_pred_flag的信息表示与编码侧相同的信息。
关于8×8像素预测，由于与如图27所示的4×4像素预测时的语法相同，因此省略说明。
作为其它例子，也可以利用与邻接块中的intra4×4_pred_mode_l0_org之间的相关性来对intra4×4_pred_mode_l0_org进行编码。具体的语法构造示出在图31中，图27所示的宏块预计语法的结构被替换为图31。图31中的prev_intra4×4_pred_mode_l0_flag[block_order_flag][order]是表示从后述的参数块计算出的列表0的预测模式ref_pred_mode_org与该块的列表0的预测模式intra4×4_pred_mode_l0_org[block_order_flag][order]是否相同的标志。
图32示出了prev_intra4×4_pred_mode_l0_flag[block_order_flag][order]的导出方法。在此，图32中的ref_blkA_mode_l0表示相对于块blkA位于左侧的最近的编码完成的块blkA的列表0的预测模式，ref_blkB_mode_l0表示相对于块blkB位于上侧的最近的编码完成的块的列表0的预测模式。ref_blkA_mode_l0及ref_blkB_mode_l0针对每个block_order_flag的位置不同，具体表示在图33、44A、图44B、图44C以及图44D中。在block_order_flag为FALSE的情况下，blkA以及blkB成为与该块邻接的左以及上的编码完成块(参照图33)。另一方面，在该标志为TRUE的情况下，块blkA以及blkB成为离blkA以及blkB最近的左以及上的编码完成块(参照图44A、图44B、图44C以及图44D)。
在prev_intra4×4_pred_mode_l0_flag[block_order_flag][order]是TRUE的情况下，由于能够利用与邻接块之间的相关性以1比特表示intra4×4_pred_mode_l0_org的信息，因此提高了编码效率。
另一方面，在prev_intra4×4_pred_mode_l0_flag[block_order_flag][order]是FALSE的情况下，作为prev_intra4×4_pred_mode_l0_flag[block_order_flag][order]以外的列表0的预测模式，示出rem_intra4×4_pred_mode_l0[block_order_flag][order]。这是如下的数据，该数据表示是从rem_intra4×4_pred_mode_l0[block_order_flag][order]中除去ref_pred_mode_org的预测模式中的哪个模式。该数据根据从在列表0的预测模式中能够获得的符号除去ref_pred_mode_org得到的状态数而被熵编码。
关于8×8像素预测，由于与如图31所示的4×4像素预测时的语法相同，因此省略说明。
通过具备如上所述的语法构造，从而在预测模式的编码中也提高了编码效率。
(语法构造的第2例子)
图34示出了图像编码部100中所使用的语法构造的其它例子。所需的语法信息是图25中的宏块层语法208，在此将图26所示的宏块层语法的结构替换为图34。下面说明各语法。
图34的宏块层语法内所示的block_order_flag是表示是否在该宏块内进行预测顺序切换的标志。当block_order_flag是TRUE时，切换预测顺序并进行外插/内插块预测。另一方面，当block_order_flag是FALSE时，不切换预测顺序而进行依次块预测。block_order_flag是TRUE时的预测顺序的具体记述方法被示出在block_order_in_mb_mode中。block_order_in_mb_mode如下地表示预测顺序。
在预测模式是模式0的情况下，提供进行第1实施方式中示出的外插/内插块预测时的预测顺序。在预测模式是模式1的情况下，将预测顺序的组合变换为索引，以索引信息表示预测顺序。当对于4个块决定预测顺序时，从根据排列从24个(＝4P4)除去依次块预测的23个预测顺序中，对每个宏块决定一个。具体地说，图34中的block_order_idx给出上述块组合索引。在预测模式是模式2的情况下，对各块直接示出顺序编号。对于4×4像素块，在16个block_order4×4[BLK]中示出其次序。另外，对于8×8像素块，在4个block_order8×8[BLK]中示出其次序。
上述的语法构造还能够进行如下变形。
(a)当block_order_in_mb_mode是1时，也可以只示出最初编码的1块。
(b)在4×4像素预测中，预测顺序的索引变得庞大，因此也可以通过将以8×8像素块为单位表示的4×4像素块的预测顺序重复4次，从而削减索引的信息。
(c)在block_order_in_mb_mode是2的情况下，对于block_order4×4[BLK]既可以利用来自外部的表格来表示，也可以利用可变的码长来表现与邻接block_order4×4[]之间的差分。
(d)最后的block_order4×4[15]是剩余的一个预测顺序，因此无需示出block_order4×4[15]。对于8×8像素块也相同。在4×4像素预测的情况下，也可以通过将以8×8像素块为单位表示的4×4像素块的预测顺序重复4次，从而削减block_order4×4的信息。
(e)也可以对每个序列、每个图片、每个片或者每个宏块，适应性地设定block_order_in_mb_mode、block_order_idx、block_order4×4、block_order8×8这样的信息的值。
(语法构造的第3例子)
图35、图36、图37、图38以及图39示出了图像编码部100中所使用的语法构造的另外其它例子。本例所需的语法信息是图25中的序列参数设置语法702、图片参数设置语法703、片头语法705以及宏块层语法708，对第1例子的语法构造追加图35、图36、图37、图38以及图39中所示的语法。下面说明各语法。
图35的序列参数设置语法内所示的block_order_in_seq_flag是表示是否能够在序列内进行预测顺序切换的标志。当block_order_in_seq_flag是TRUE时，能够在序列内切换预测顺序。另一方面，当block_order_in_seq_flag是FALSE时，不能在序列内切换预测顺序。
图36的图片参数设置语法内所示的block_order_in_pic_flag是表示是否能够在该图片内进行预测顺序切换的标志。当block_order_in_pic_flag是TRUE时，能够在图片内切换预测顺序。另一方面，当block_order_in_pic_flag是FALSE时，不能在图片内切换预测顺序。
图37的片头语法内所示的block_order_in_slice_flag是表示是否能够在该片内进行预测顺序切换的标志。当block_order_in_slice_flag是TRUE时，能够在片内切换预测顺序。另一方面，当block_order_in_slice_flag是FALSE时，不能在片内切换预测顺序。
图38的宏块层语法内所示的block_order_flag是表示是否在该宏块内进行预测顺序切换的标志。当block_order_flag是TRUE时，切换预测顺序，进行外插/内插块预测。另一方面，当block_order_flag是FALSE时，不切换预测顺序而进行依次块预测。block_order_flag只在block_order_in_slice_flag是TRUE时有效，另外只能在宏块的预测类型是帧内预测时利用。
图35的序列参数设置语法内所示的intra_bi_pred_in_seq_flag是表示是否能够在该序列内进行双方向预测的标志。当intra_bi_pred_in_seq_flag是TRUE时，能够在序列内进行双方向预测。另一方面，当intra_bi_pred_in_seq_flag是FALSE时，不能在序列内进行双方向预测。
图36的图片参数设置语法内所示的intra_bi_pred_in_pic_flag是表示是否能够在该图片内进行双方向预测的标志。当intra_bi_pred_in_pic_flag是TRUE时，能够在图片内进行双方向预测。另一方面，当intra_bi_pred_in_pic_flag是FALSE时，不能在图片内进行双方向预测。
图37的片头语法内所示的intra_bi_pred_in_slice_flag是表示是否能够在片内进行双方向预测的标志。当intra_bi_pred_in_slice_flag是TRUE时，能够在片内进行双方向预测。另一方面，当intra_bi_pred_in_slice_flag是FALSE时，不能在片内进行双方向预测。
图38的宏块层语法内所示的intra_bi_pred_in_mb_flag是表示是否能够在宏块内进行双方向预测的标志。当intra_bi_pred_in_mb_flag是TRUE时，能够在宏块内进行双方向预测。另一方面，当intra_bi_pred_in_mb_flag是FALSE时，不能在宏块内进行双方向预测。
图39的宏块预计语法内所示的intra4×4_bi_pred_flag是表示是否能够在预测块内进行双方向预测的标志。当intra4×4_bi_pred_flag是TRUE时，能够在预测块内进行双方向预测。另一方面，当intra4×4_bi_pred_flag是FALSE时，在宏块内不进行双方向预测。intra4×4_bi_pred_flag只在intra_bi_pred_in_mb_flag是TRUE时有效，另外只能在宏块的预测类型是帧内预测时利用。此外，上述语法的初始值设为FALSE。
<关于图像解码装置>
在图40所示的本发明的一个实施方式的图像解码装置中，被输入从未图示的图像编码装置(例如图1的图像编码装置)发送并经过传送系统或者蓄积系统而发送过来的编码比特流320。编码比特流320被临时存储到输入缓冲器901中，并且由逆多路复用部302按每1帧根据语法进行分离后，被输入到解码部304。解码部304具有熵解码部305、逆量化/逆正交变换部306、加法器307、参照图像存储器308以及预测信号生成部309。
在解码部304内，被逆多路复用部302分离后的编码比特流被输入到熵解码部303。在熵解码部303中，按照图25所示的语法构造，分别对编码比特流的高级别语法、片级别语法以及宏块级别语法，码串被熵解码。
由此，从熵解码部303除了量化变换系数信息321以及量化参数信息之外还输出预测模式索引信息331、块大小切换信息332、预测顺序切换信息333、预测模式数切换信息334这样的与预测模式相关的信息(以下将预测模式索引信息、块大小切换信息、预测顺序切换信息以及预测模式数切换信息统称为预测模式信息)。量化变换系数信息321是对预测残差信号进行正交变换以及量化后的信息。量化参数信息包括量化幅度(量化阶跃大小)以及量化矩阵等信息。
量化变换系数信息321按照被复原的量化参数通过逆量化/逆正交变换部306被逆量化，并且施以如IDCT那样的逆正交变换。在此说明了逆正交变换，但是在编码侧进行小波变换等的情况下，逆量化/逆变换部306也可以进行相对应的逆量化/逆小波变换等。
从逆量化/逆变换部306输出预测误差信号322，并输入到加法器307。在加法器307中，将从预测信号生成部309输出的预测信号323与预测残差信号322进行相加，生成解码图像信号324。解码图像信号324被输入到参照图像存储器308并且传递到输出缓冲器311，从输出缓冲器311以解码控制部310所管理的定时(timing)被输出。
另一方面，由熵解码部305进行解码的预测模式索引信息331、块大小切换信息332、预测顺序切换信息333以及预测模式数切换信息334被输入到预测信号生成部309。还从参照图像存储器308向预测信号生成部309输入已经被解码的参照图像信号325。预测信号生成部309根据预测模式索引信息331、块大小切换信息332、预测顺序切换信息333以及预测模式数切换信息334，参照参照图像信号325来生成预测信号323。解码控制部310进行解码部304的全部解码处理的控制、例如输入缓冲器301以及输出缓冲器311的控制、解码定时的控制等。
<关于预测信号生成部309>
接着，参照图41说明预测信号生成部309。图41所示的预测信号生成部309与上述图像编码装置内的预测信号生成部113基本相同。在图41中，预测顺序切换部370对于来自参照图像存储器308的参照图像信号325，根据预测顺序切换信息333来切换宏块中的子块的预测顺序。由预测顺序切换部370切换预测顺序后的图像信号被输入到单方向预测部371以及双方向预测部372。
单方向预测部371根据预测模式索引信息331，选择已准备的多个预测模式中的一个预测模式，按照所选择的预测模式以及块大小切换信息332，参照参照图像信号325而生成预测信号。双方向预测部372根据预测模式索引信息331，选择上述已准备的多个预测模式中的两个预测模式，按照所选择的预测模式以及块大小切换信息332，参照参照图像信号325而生成预测信号。从单方向预测部371以及双方向预测部372输出的预测信号被输入到预测模式数切换部373。在此，预测模式规定生成子块的预测信号时的解码完成像素的参照方法。
按照预测模式数切换信息344来控制预测模式数切换部373，从而选择由单方向预测部371生成的预测信号以及由双方向预测部372生成的预测信号中的任一个，并输出所选择的预测信号323。
根据预测顺序切换信息333来控制预测顺序切换部370，根据表示预测顺序切换信息333的后述的标志block_order_flag的值来变换成为上述基准的索引blk，从而切换子块的预测顺序。对于子块的次序idx，实际编码时的子块的索引order(表示预测顺序)如式(3)所示。另外，用于blkConv[][]变换的变换表格如图8所示。
在标志block_order_flag是0(FALSE)的情况下，实际进行预测编码时的子块的索引order是编码对象的子块的索引idx本身，不变更块的预测以及预测顺序(以下将根据这种预测顺序进行的预测称为依次预测)。图6B以及图7B示出了分别针对图6A以及图7A的依次预测的预测顺序。
另一方面，在标志block_order_flag是1(TRUE)的情况下，实际进行预测编码的子块的索引order，表示首先通过外插来预测4个子块中的对角的1块、并通过外插预测或者内插来预测剩余的3块这样的预测顺序。以下将根据这种预测顺序进行的预测称为外插/内插预测。图6C以及图7C示出了分别针对图6A以及图7A的外插/内插预测的预测顺序变更例。
如上所述，由预测顺序切换部370切换了预测顺序的子块被输入到单方向预测部371或者双方向预测部372，从而生成与各子块相对应的预测信号。当预测模式数切换信息334表示预测模式数“1”时，模式数切换开关373输出由单方向预测部371得到的预测信号，当预测模式数切换信息334表示预测模式数“2”时，模式数切换开关373输出由双方向预测部372得到的预测信号。从模式数切换开关373输出的预测信号作为预测信号生成部309的输出323而被取出。
按照提供给每个预测块(4×4像素块或者8×8像素块)的预测模式数切换信息334来控制模式数切换开关373，从而输出预测信号323。具体地说，4×4像素预测时，按每个4×4像素块记述有intra4×4_bi_pred_flag。
即，在预测模式数切换信息334即标志intra4×4_bi_pred_flag是FALSE的情况下，模式数切换开关373选择由单方向预测部371所得到的预测信号，在intra4×4_bi_pred_flag是TRUE的情况下，选择由双方向预测部372所得到的预测信号。
单方向预测部371以及双方向预测部372的具体处理与图像编码装置中的单方向预测部171以及双方向预测部172相同，因此省略说明。
语法构造基本上如图19所示，下面使用图27说明选择了4×4像素预测的情况下的宏块预计语法的结构。
图27中的blkConv[block_order_flag][luma4×4BlkIdx]具有如图8所示的进行预测顺序变换的变换表格，输出解码对象块的索引。intra4×4_pred_mode_l0[block_order_flag][order]是被解码的索引的数据。
图27中的intra4×4_bi_pred_flag是切换对该4×4像素块进行双方向预测还是不进行双方向预测的标志。即，该标志intra4×4_bi_pred_flag为FALSE意味着该4×4像素块是单方向预测，TRUE意味着该4×4像素块是双方向预测。
图27中的intra4×4_pred_mode_l1是被解码的索引的数据。该数据intra4×4_pred_mode_l1在intra4×4_bi_pred_flag为TRUE时被解码。
下面说明各语法的详细情况。
对于luma4×4Blk，对每个block_order_flag按照blkConv[block_order_flag][luma4×4BlkIdx]所示的表格施以变换，计算出表示编码对象子块的块索引order(参照图8)。
在对块索引order所示的4×4像素块进行解码的情况下，对intra4×4_pred_mode_l0[block_order_flag][order]进行解码，如图42所示将其逆变换为intra4×4_pred_mode_l0_org[block_order_flag][order]。这是由于能够利用的预测模式根据block_order_flag以及宏块内的该块的位置而不同从而所进行的处理。具体地说，如图43所示，在block_order_flag是0(FALSE)的情况下，向intra4×4_pred_mode_l0_org直接代入intra4×4_pred_mode_l0的值。此时，intra4×4_pred_mode_l0_org成为如下数据，该数据表示在已准备的单方向预测的9种预测模式中将哪个预测模式用于4×4像素块的解码。
另一方面，在block_order_flag是1(TRUE：外插/内插块预测)的情况下，根据该4×4像素块位于宏块内的何处，来切换表格。具体地说，在对内插块(2)进行了解码的intra4×4_pred_mode_l0[1][order]是13的情况下，该预测模式intra4×4_pred_mode_l0_org[1][order]变成15(反方向垂直右预测)。另外，在对内插块(3)进行了解码的intra4×4_pred_mode_l0[1][order]是12的情况下，该预测模式intra4×4_pred_mode_l0_org[1][order]变成14(反方向水平上预测)。
在intra4×4_bi_pred_flag是TRUE的情况下，进一步对intra4×4_pred_mode_l1[block_order_flag][order]进行解码。被解码的intra4×4_pred_mode_l0[block_order_flag][order]如图43所示，变换为intra4×4_pred_mode_l0_org[block_order_flag][order]。
在其它例子中，block_order_flag以及intra4×4_bi_pred_flag信息从编码比特流中分离而被解码，但是也可以利用从解码完成的块以及像素计算出的上述活度信息，表示block_order_flag以及intra4×4_bi_pred_flag的信息。在这种情况下，通过使用与编码侧相同的逻辑，block_order_flag以及intra4×4_bi_pred_flag信息与编码侧示出的相同，因此无需进行从编码比特流分离以及解码的处理。
作为另外其它例子，也可以利用与邻接块中的intra4×4_pred_mode_l0_org之间的相关性来对intra4×4_pred_mode_l0_org进行编码。具体的语法构造示出在图31中，图27所示的宏块预计语法的结构被替换为图31。图31中的prev_intra4×4_pred_mode_l0_flag[block_order_flag][order]是如下的标志，该标志表示从后述的参照块计算出的列表0的预测模式ref_pred_mode_org、与对象块的列表0的预测模式intra4×4_pred_mode_l0_org[block_order_flag][order]是否相同。
图32示出了prev_intra4×4_pred_mode_l0_flag[block_order_flag][order]的导出方法，在此，图32中的ref_blkA_mode_l0表示相对于块blkA位于左侧的最近的编码完成的块blkA的列表0的预测模式。ref_blkB_mode_l0表示相对于块blkB位于上侧的最近的编码完成的块的列表0的预测模式。
ref_blkA_mode_l0以及ref_blkB_mode_l0的位置按每个block_order_flag而不同，具体表示在图33、图44A、图44B、图44C以及图44D中。在block_order_flag是FALSE的情况下，blkA以及blkB成为与对象块邻接的左以及上的解码完成块(参照图33)。另一方面，在block_order_flag是TRUE的情况下，ref_blkA以及ref_blkB成为离对象块最近的左以及上的解码完成块(参照图44A、图44B、图44C以及图44D)。
在prev_intra4×4_pred_mode_l0_flag[block_order_flag][order]是TRUE的情况下，利用对象块和邻接块之间的相关性，以1比特来表示intra4×4_pred_mode_l0_org的信息。
另一方面，在prev_intra4×4_pred_mode_l0_flag[block_order_flag][order]是FALSE的情况下，作为prev_intra4×4_pred_mode_l0_flag[block_order_flag][order]以外的列表0的预测模式，示出rem_intra4×4_pred_mode_l0[block_order_flag][order]。表示是从rem_intra4×4_pred_mode_l0[block_order_flag][order]除去ref_pred_mode_org的预测模式中的哪个预测模式的数据，是根据从按照列表0的预测模式可获取的符号中除去ref_pred_mode_org后的状态数而被解码的。
关于8×8像素预测，由于如图27所示与4×4像素预测时的语法相同，因此省略说明。
接着，以与到目前为止的说明不同的部分为中心对其它实施方式的图像编码装置进行说明。图33的宏块层语法内所示的block_order_flag是表示是否在宏块内进行预测顺序切换的标志。当block_order_flag是TRUE时，切换预测顺序而进行外插/内插块预测。另一方面，当block_order_flag是FALSE时，不进行预测顺序的切换而进行依次块预测。
在block_order_flag是TRUE时，预测顺序的具体记述方法由block_order_in_mb_mode表示。block_order_in_mb_mode按照以下来表示预测顺序。
(a)在模式是0的情况下，给出进行外插/内插块预测时的预测顺序。
(b)在模式是1的情况下，将预测顺序的组合变换为索引信息，以索引信息表示预测顺序。对4个块决定预测顺序时，根据通过排列从4P4＝24个除去依次块预测的23个预测顺序，对每个宏块决定一个预测顺序。具体地说，图33中的block_order_idx给出上述块组合索引。
(c)在模式是2的情况下，对各块直接表示顺序编号。对于4×4像素块，在16个block_order4×4[BLK]中示出其顺序。另外，对于8×8像素块，在4个block_order8×8[BLK]中示出其顺序。
作为其它例子，当block_order_in_mb_mode是1时，也可以只示出最初进行解码的1块。4×4像素预测时，预测顺序的索引变得庞大，因此也可以将以8×8像素块为单位表示的4×4像素块的顺序重复4次，削减索引的信息。
另外，当block_order_in_mb_mode是2时，也可以通过来自外部的表格来示出block_order4×4[BLK]。也可以计算与邻接的block_order4×4[]之间的差分，以可变的码长来表现。最后的block_order4×4[15]是剩余的一个的顺序，因此没有必要示出block_order4×4[15]。对于8×8像素块也相同。4×4像素预测时，也可以将以8×8像素块为单位示出的4×4像素块的顺序重复4次，削减block_order4×4的信息。
block_order_in_mb_mode、block_order_idx、block_order4×4以及block_order8×8这样的信息，也可以按每个序列、每个图片、每个片、每个宏块，适应性地设定值。
根据本发明的一个实施方式，通过设为能够选择预测顺序，不仅能够进行例如利用与左、上的像素之间的相关性的外插预测，还能够进行有效利用与右、下的像素之间的相关性的内插预测。另外，能够选择可使用的预测模式数，因此例如通过选择以像素为单位计算基于多个预测模式的预测信号的双方向预测，对复杂的结构也可实现高的预测效率。并且，关于预测顺序切换信息、预测模式选择数信息，能够按每个序列、每个图片、每个片、每个宏块、或者每个子块，适应性地进行切换而进行编码。因而，能够实现编码效率高的图像编码以及被编码的图像的解码。
基于以上所说明的一个实施方式的图像编码处理以及图像解码处理可以由硬件来实现，但是还可以使用如个人计算机那样的计算机通过软件来实现。因而，根据本发明的观点，还能够提供用于使计算机执行上述图像编码处理以及图像解码处理中的至少一个处理的图像编码程序或图像解码程序、或者保存该程序的计算机可读取的记录介质。
此外，本发明并不限定于上述实施方式本身，在实施阶段中，能够在不超出其要旨的范围内使结构要素变形而具体化。另外，通过适当组合上述实施方式中公开的多个结构要素，能够形成各种发明。例如，也可以从实施方式中示出的全部结构要素中删除几个结构要素。并且，也可以将不同实施方式中的结构要素适当进行组合。
产业上的可利用性
本发明能够利用于运动图像、静止图像的高效率压缩编码/解码技术。

Claims (31)

1.一种图像编码方法，对分割输入图像信号的帧而得到的多个像素块中的每个像素块进行预测编码，其中，该图像编码方法具备如下步骤：
从预先决定的多个预测顺序中，选择针对分割上述像素块而得到的多个子块的预测顺序；
从对参照编码完成像素而生成上述各子块的第1预测信号时的该编码完成像素的参照方法进行规定的多个预测模式中，选择上述第1预测信号的预测中使用的预测模式的数量；
从上述多个预测模式中，选择用于在上述第1预测信号的预测中使用的上述所选择的数量的预测模式；
为了生成与上述像素块对应的第2预测信号，使用上述所选择的数量的上述所选择的预测模式，以所选择的预测顺序生成上述第1预测信号；以及
为了生成基于上述预测编码的编码数据，对表示上述像素块的图像信号和上述第2预测信号之差的预测残差信号进行编码。
2.一种图像编码装置，对分割输入图像信号的帧而得到的多个像素块中的每个像素块进行预测编码，其中，该图像编码装置具备：
第1选择部，从预先决定的多个预测顺序中，选择针对分割上述像素块而得到的多个子块的预测顺序；
第2选择部，从对参照编码完成像素而生成上述各子块的第1预测信号时的该编码完成像素的参照方法进行规定的多个预测模式中，选择上述第1预测信号的预测中使用的预测模式的数量；
第3选择部，从上述多个预测模式中，选择用于在上述第1预测信号的预测中使用的上述所选择的数量的预测模式；
生成部，为了生成与上述像素块对应的第2预测信号，使用上述所选择的数量的上述所选择的预测模式，以所选择的预测顺序生成上述第1预测信号；以及
编码部，为了生成基于上述预测编码的编码数据，对表示上述像素块的图像信号和上述第2预测信号之差的预测残差信号进行编码。
3.根据权利要求2所述的图像编码装置，其特征在于，
上述图像编码装置构成为使用帧内预测以及帧间预测中的至少一个来进行上述预测编码。
4.根据权利要求2所述的图像编码装置，其特征在于，
上述第1选择部对每个上述像素块选择上述预测顺序。
5.根据权利要求2所述的图像编码装置，其特征在于，
上述第1选择部对每个上述像素块选择第1预测顺序和第2预测顺序中的某一个。
6.根据权利要求2所述的图像编码装置，其特征在于，
上述第1选择部构成为能够控制是否对每个上述像素块切换并选择上述预测顺序。
7.根据权利要求2所述的图像编码装置，其特征在于，
上述第1选择部构成为对每个上述像素块能够控制选择第1预测顺序和第2预测顺序中的哪一个。
8.根据权利要求2所述的图像编码装置，其特征在于，
上述编码部构成为为了生成上述编码数据还对表示上述所选择的预测顺序的信息进行编码。
9.根据权利要求2所述的图像编码装置，其特征在于，
上述预测模式中的至少一个是在上述输入图像信号所形成的空间内从特定的方向参照上述编码完成像素的方向预测模式。
10.根据权利要求2所述的图像编码装置，其特征在于，
上述生成部具有：
第1预测部，在从上述多个预测模式中选择了一个预测模式的情况下，按照上述所选择的预测顺序以及该所选择的一个预测模式来预测上述像素块；以及
第2预测部，在从上述多个预测模式中选择了2个以上的数量的预测模式的情况下，为了生成多个预测信号且以像素单位进行组合从而生成上述第2预测信号，按照上述所选择的预测顺序以及该所选择的2个以上的数量的预测模式，预测上述像素块。
11.根据权利要求10所述的图像编码装置，其特征在于，
上述第2预测部构成为根据
(a)加权平均、
(b)最大值滤波器、
(c)最小值滤波器、
(d)中间值滤波器、以及
(e)记述了与在上述输入图像信号形成的空间内从特定的方向参照上述编码完成像素的方向预测的角度或者上述所选择的预测模式的数量数相应的权重系数的表格
中的至少一个，来进行上述像素单位的组合。
12.根据权利要求2所述的图像编码装置，其特征在于，
上述编码部构成为为了生成上述编码数据还对表示上述所选择的预测模式的数量的信息进行编码。
13.根据权利要求2所述的图像编码装置，其特征在于，
上述第1选择部构成为根据上述像素块或者邻接像素块的活度信息来选择上述预测顺序。
14.根据权利要求2所述的图像编码装置，其特征在于，
上述第1选择部构成为根据上述像素块或者邻接像素块的活度信息来选择上述预测顺序，
上述编码部构成为为了生成上述编码数据还对表示上述所选择的预测顺序的信息进行编码。
15.根据权利要求2所述的图像编码装置，其特征在于，
上述第2选择部构成为根据上述像素块或者邻接像素块的活度信息来选择上述第1预测信号的预测中使用的预测模式的数量。
16.根据权利要求2所述的图像编码装置，其特征在于，
上述第2选择部构成为根据上述像素块或者邻接像素块的活度信息来选择上述第1预测信号的预测中使用的预测模式的数量，
上述编码部构成为为了生成上述编码数据还对表示上述所选择的预测模式的数量的信息进行编码。
17.一种图像解码方法，对分割图像信号的帧而得到的多个像素块中的每个像素块解码编码数据，其中，该图像解码方法具备如下步骤：
从预先决定的多个预测顺序中，选择针对分割上述像素块而得到的多个子块的预测顺序；
从对参照解码完成像素而生成上述各子块的第1预测信号时的该解码完成像素的参照方法进行规定的多个预测模式中，选择上述第1预测信号的预测中使用的预测模式的数量；
从上述多个预测模式中，选择用于在上述第1预测信号的预测中使用的上述所选择的数量的预测模式；
为了生成与上述像素块对应的第2预测信号，使用上述所选择的数量的上述所选择的预测模式，以所选择的预测顺序生成上述第1预测信号；以及
使用上述第2预测信号来生成解码图像信号。
18.一种图像解码装置，对分割图像信号的帧而得到的多个像素块中的每个像素块解码编码数据，其中，该图像解码装置具备：
第1选择部，从预先决定的多个预测顺序中，选择针对分割上述像素块而得到的多个子块的预测顺序；
第2选择部，从对参照解码完成像素而生成上述各子块的第1预测信号时的该解码完成像素的参照方法进行规定的多个预测模式中，选择上述第1预测信号的预测中使用的预测模式的数量；
第3选择部，从上述多个预测模式中，选择用于在上述第1预测信号的预测中使用的上述所选择的数量的预测模式；
为了生成与上述像素块对应的第2预测信号，使用上述所选择的数量的上述所选择的预测模式，以所选择的预测顺序生成上述第1预测信号的生成部；以及
使用上述第2预测信号来生成解码图像信号的生成部。
19.根据权利要求18所述的图像解码装置，其特征在于，
上述第1选择部对每个上述像素块选择上述预测顺序。
20.根据权利要求18所述的图像解码装置，其特征在于，
上述第1选择部对每个上述像素块选择第1预测顺序和第2预测顺序中的某一个。
21.根据权利要求18所述的图像解码装置，其特征在于，
上述第1选择部构成为能够控制是否对每个上述像素块切换并选择上述预测顺序。
22.根据权利要求18所述的图像解码装置，其特征在于，
上述第1选择部构成为对每个上述像素块能够控制选择第1预测顺序和第2预测顺序中的哪一个。
23.根据权利要求18所述的图像解码装置，其特征在于，
还具备分离上述编码数据中包括的第1信息的分离部，其中，所述第1信息表示针对分割上述像素块而得到的多个子块的预测顺序，
上述第1选择部构成为选择由第1信息所表示的预测顺序。
24.根据权利要求18所述的图像解码装置，其特征在于，
上述预测模式中的至少一个是在上述图像信号所形成的空间内从特定的方向参照上述解码完成像素的方向预测模式。
25.根据权利要求18所述的图像解码装置，其特征在于，
上述生成部具有：
第1预测部，在从上述多个预测模式中选择了一个预测模式的情况下，按照上述所选择的预测顺序以及该所选择的一个预测模式，预测上述像素块；以及
第2预测部，在从上述多个预测模式中选择了2个以上的数量的预测模式的情况下，为了生成多个预测信号且以像素为单位进行组合从而生成与上述像素块对应的预测信号，按照上述所选择的预测顺序以及该所选择的2个以上的数量的预测模式，预测上述像素块。
26.根据权利要求25所述的图像解码装置，其特征在于，
上述第2预测部构成为根据
(a)加权平均、
(b)最大值滤波器、
(c)最小值滤波器、
(d)中间值滤波器、以及
(e)记述了与在上述输入图像信号所形成的空间内从特定的方向参照上述编码完成像素的方向预测角度或者上述所选择的预测模式的数量相应的权重系数的表格
中的至少一个，进行上述像素单位的组合。
27.根据权利要求18所述的图像解码装置，其特征在于，
还具备分离上述编码数据中包括的第2信息的分离部，其中，所述第2信息表示上述第1预测信号的预测中使用的预测模式的数量，
上述第2选择部构成为选择由第2信息所表示的预测模式的数量。
28.根据权利要求18所述的图像解码装置，其特征在于，
上述第1选择部构成为根据上述像素块或者邻接像素块的活度信息来选择上述预测顺序。
29.根据权利要求18所述的图像解码装置，其特征在于，
还具备分离上述编码数据中包括的第1信息的分离部，其中，所述第1信息表示针对分割上述像素块而得到的多个子块的预测顺序，
上述第1选择部构成为根据上述第1信息、以及上述像素块或邻接像素块的活度信息中的至少一个来选择上述预测顺序。
30.根据权利要求18所述的图像解码装置，其特征在于，
上述第2选择部构成为根据上述像素块或者邻接像素块的活度信息来选择上述第1预测信号的预测中使用的预测模式的数量。
31.根据权利要求18所述的图像解码装置，其特征在于，
还具备分离上述编码数据中包括的第2信息的分离部，其中，所述第2信息表示上述第1预测信号的预测中使用的预测模式的数量，
上述第2选择部构成为根据上述第2信息、以及上述像素块或邻接像素块的活度信息中的至少一个来选择上述第1预测信号的预测中使用的预测模式的数量。
CN2006800554415A 2006-07-28 2006-07-28 图像编码和解码的方法以及装置 Expired - Fee Related CN101502124B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2006/315039 WO2008012918A1 (fr) 2006-07-28 2006-07-28 Procédé et appareil de codage et de décodage d'image

Publications (2)

Publication Number Publication Date
CN101502124A CN101502124A (zh) 2009-08-05
CN101502124B true CN101502124B (zh) 2011-02-23

Family

ID=38981234

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2006800554415A Expired - Fee Related CN101502124B (zh) 2006-07-28 2006-07-28 图像编码和解码的方法以及装置

Country Status (10)

Country Link
US (1) US20090310677A1 (zh)
EP (1) EP2056606A1 (zh)
JP (1) JPWO2008012918A1 (zh)
KR (1) KR101011303B1 (zh)
CN (1) CN101502124B (zh)
AU (1) AU2006346583B2 (zh)
BR (1) BRPI0621935A2 (zh)
CA (1) CA2659351A1 (zh)
TW (1) TW200820790A (zh)
WO (1) WO2008012918A1 (zh)

Families Citing this family (84)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103338364B (zh) 2007-06-29 2016-07-06 夏普株式会社 图像编码装置、图像编码方法、图像译码装置、图像译码方法
KR101375662B1 (ko) * 2007-08-06 2014-03-18 삼성전자주식회사 이미지 데이터 압축 방법 및 장치
JP2009094828A (ja) 2007-10-10 2009-04-30 Hitachi Ltd 画像符号化装置及び画像符号化方法、画像復号化装置及び画像復号化方法
WO2009122463A1 (ja) * 2008-03-31 2009-10-08 富士通株式会社 画像データ圧縮装置、復元装置、圧縮方法、復元方法及びプログラム
EP2279620B1 (fr) * 2008-04-15 2019-08-07 Orange Prediction d'images par determination prealable d'une famille de pixels de reference, codage et decodage utilisant une telle prediction
RU2518390C2 (ru) * 2008-04-15 2014-06-10 Франс Телеком Кодирование и декодирование изображения или последовательности изображений, разбитых на пиксельные разделы линейной формы
KR101596829B1 (ko) 2008-05-07 2016-02-23 엘지전자 주식회사 비디오 신호의 디코딩 방법 및 장치
JP4831114B2 (ja) * 2008-05-09 2011-12-07 日本ビクター株式会社 画像符号化装置、画像符号化プログラム、画像復号装置及び画像復号プログラム
WO2010001045A1 (fr) * 2008-07-01 2010-01-07 France Telecom Procede et dispositif de codage d'images mettant en oeuvre une prediction amelioree, procede et dispositif de decodage, signal et programmes d'ordinateur correspondants
KR101517768B1 (ko) * 2008-07-02 2015-05-06 삼성전자주식회사 영상의 부호화 방법 및 장치, 그 복호화 방법 및 장치
KR101356448B1 (ko) * 2008-10-01 2014-02-06 한국전자통신연구원 예측 모드를 이용한 복호화 장치
US8867854B2 (en) 2008-10-01 2014-10-21 Electronics And Telecommunications Research Institute Image encoder and decoder using undirectional prediction
KR20100095992A (ko) * 2009-02-23 2010-09-01 한국과학기술원 비디오 부호화에서의 분할 블록 부호화 방법, 비디오 복호화에서의 분할 블록 복호화 방법 및 이를 구현하는 기록매체
JP5169978B2 (ja) 2009-04-24 2013-03-27 ソニー株式会社 画像処理装置および方法
WO2011016248A1 (ja) * 2009-08-06 2011-02-10 パナソニック株式会社 符号化方法、復号方法、符号化装置及び復号装置
KR101671460B1 (ko) * 2009-09-10 2016-11-02 에스케이 텔레콤주식회사 움직임 벡터 부호화/복호화 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
MX2012004501A (es) * 2009-10-20 2012-06-08 Sharp Kk Dispositivo de codificacion de imagen en movimiento, dispositivo de decodificacion de imagen en movimiento, sistema de codificacion/decodificacion de imagen, en movimiento, metodo de codificacion de imagen en movimiento y metodo de decodificacion de imagen en movimiento.
CN102098519B (zh) * 2009-12-09 2013-04-17 浙江大学 视频编码方法、解码方法、编码及解码装置
KR20110068792A (ko) 2009-12-16 2011-06-22 한국전자통신연구원 적응적 영상 부호화 장치 및 방법
EP3595316B1 (en) * 2010-01-08 2022-03-30 Nokia Technologies Oy Apparatus and method for video coding and decoding
FR2955730A1 (fr) 2010-01-25 2011-07-29 Thomson Licensing Procedes de codage et de decodage
KR101464057B1 (ko) 2010-02-08 2014-11-21 노키아 코포레이션 비디오 코딩을 위한 장치, 방법 및 컴퓨터 프로그램
US20110249741A1 (en) * 2010-04-09 2011-10-13 Jie Zhao Methods and Systems for Intra Prediction
US20110249734A1 (en) * 2010-04-09 2011-10-13 Segall Christopher A Methods and Systems for Intra Prediction
MX2012011695A (es) * 2010-04-09 2012-11-16 Mitsubishi Electric Corp Dispositivo codificador de imagen en movimiento y dispositivo decodificador de imagen en movimento.
US8644375B2 (en) * 2010-04-09 2014-02-04 Sharp Laboratories Of America, Inc. Methods and systems for intra prediction
US20110249735A1 (en) * 2010-04-09 2011-10-13 Jie Zhao Methods and Systems for Intra Prediction
US20110249733A1 (en) * 2010-04-09 2011-10-13 Jie Zhao Methods and Systems for Intra Prediction
US8619857B2 (en) * 2010-04-09 2013-12-31 Sharp Laboratories Of America, Inc. Methods and systems for intra prediction
KR20110113561A (ko) * 2010-04-09 2011-10-17 한국전자통신연구원 적응적인 필터를 이용한 인트라 예측 부호화/복호화 방법 및 그 장치
EP3457689B1 (en) 2010-05-25 2020-09-09 LG Electronics Inc. New planar prediction mode
US8879619B2 (en) 2010-07-15 2014-11-04 Sharp Laboratories Of America, Inc. Method of parallel video coding based on scan order
US8873617B2 (en) 2010-07-15 2014-10-28 Sharp Laboratories Of America, Inc. Method of parallel video coding based on same sized blocks
US8848779B2 (en) 2010-07-15 2014-09-30 Sharp Laboratories Of America, Inc. Method of parallel video coding based on block size
US8837577B2 (en) 2010-07-15 2014-09-16 Sharp Laboratories Of America, Inc. Method of parallel video coding based upon prediction type
JP6342116B2 (ja) * 2010-07-15 2018-06-13 シャープ株式会社 イントラ予測モード推定装置
US8855188B2 (en) 2010-07-15 2014-10-07 Sharp Laboratories Of America, Inc. Method of parallel video coding based on mapping
US8548062B2 (en) 2010-07-16 2013-10-01 Sharp Laboratories Of America, Inc. System for low resolution power reduction with deblocking flag
US8767828B2 (en) 2010-07-16 2014-07-01 Sharp Laboratories Of America, Inc. System for low resolution power reduction with compressed image
KR101530284B1 (ko) 2010-07-16 2015-06-19 삼성전자주식회사 영상의 인트라 예측 부호화, 복호화 방법 및 장치
US9313523B2 (en) 2010-07-16 2016-04-12 Sharp Laboratories Of America, Inc. System for low resolution power reduction using deblocking
US9398308B2 (en) * 2010-07-28 2016-07-19 Qualcomm Incorporated Coding motion prediction direction in video coding
KR20120012385A (ko) * 2010-07-31 2012-02-09 오수미 인트라 예측 부호화 장치
EP3125554B1 (en) * 2010-08-17 2018-08-01 M&K Holdings Inc. Apparatus for encoding an intra prediction mode
US11284072B2 (en) 2010-08-17 2022-03-22 M&K Holdings Inc. Apparatus for decoding an image
US9716886B2 (en) * 2010-08-17 2017-07-25 M&K Holdings Inc. Method for restoring an intra prediction mode
CN108347620B (zh) 2010-09-27 2022-08-30 Lg 电子株式会社 用于分割块的方法和解码设备
CN105516722B (zh) * 2010-09-30 2018-12-07 三菱电机株式会社 运动图像编码装置及方法、运动图像解码装置及方法
US8923395B2 (en) 2010-10-01 2014-12-30 Qualcomm Incorporated Video coding using intra-prediction
US20130215963A1 (en) * 2010-10-26 2013-08-22 Humax Co., Ltd. Adaptive intra-prediction encoding and decoding method
US9066102B2 (en) 2010-11-17 2015-06-23 Qualcomm Incorporated Reference picture list construction for generalized P/B frames in video coding
US10142630B2 (en) * 2010-12-10 2018-11-27 Texas Instruments Incorporated Mode adaptive intra prediction smoothing in video coding
PL2656507T3 (pl) * 2010-12-21 2017-08-31 Ntt Docomo, Inc. Kodowanie o rozszerzonej predykcji wewnątrzramkowej z wykorzystaniem reprezentacji planarnych
AU2016202817B2 (en) * 2010-12-21 2017-12-21 Ntt Docomo, Inc. Enhanced intra-prediction coding using planar representations
AU2015203228B2 (en) * 2010-12-21 2016-03-31 Ntt Docomo, Inc. Enhanced intra-prediction coding using planar representations
US9299133B2 (en) * 2011-01-12 2016-03-29 Mitsubishi Electric Corporation Image encoding device, image decoding device, image encoding method, and image decoding method for generating a prediction image
JP5781313B2 (ja) 2011-01-12 2015-09-16 株式会社Ｎｔｔドコモ 画像予測符号化方法、画像予測符号化装置、画像予測符号化プログラム、画像予測復号方法、画像予測復号装置及び画像予測復号プログラム
JP5875236B2 (ja) 2011-03-09 2016-03-02 キヤノン株式会社 画像符号化装置、画像符号化方法及びプログラム、画像復号装置、画像復号方法及びプログラム
CN105933709B (zh) * 2011-03-09 2020-04-28 株式会社东芝 运动图像编码方法、装置以及运动图像解码方法、装置
JP2013012995A (ja) * 2011-06-30 2013-01-17 Sony Corp 画像処理装置および方法
JP5815853B2 (ja) 2011-08-23 2015-11-17 メディア テック シンガポール ピーティーイー．リミテッド ビデオコーディングにおける量子化マトリクスに従うトランスフォームブロック処理の方法及びシステム
WO2013047811A1 (ja) * 2011-09-29 2013-04-04 シャープ株式会社 画像復号装置、画像復号方法および画像符号化装置
WO2013058541A1 (ko) * 2011-10-19 2013-04-25 주식회사 케이티 영상 부호화/복호화 방법 및 그 장치
US9756327B2 (en) * 2012-04-03 2017-09-05 Qualcomm Incorporated Quantization matrix and deblocking filter adjustments for video coding
JP5488685B2 (ja) * 2012-12-28 2014-05-14 ソニー株式会社 画像処理装置および方法、プログラム、並びに記録媒体
JP5488684B2 (ja) * 2012-12-28 2014-05-14 ソニー株式会社 画像処理装置および方法、プログラム、並びに記録媒体
TWI512642B (zh) * 2013-01-25 2015-12-11 Delta Electronics Inc 快速圖形比對方法
GB2516425B (en) * 2013-07-17 2015-12-30 Gurulogic Microsystems Oy Encoder and decoder, and method of operation
JP5776804B2 (ja) * 2014-02-20 2015-09-09 ソニー株式会社 画像処理装置および方法、並びに記録媒体
JP5776803B2 (ja) * 2014-02-20 2015-09-09 ソニー株式会社 画像処理装置および方法、並びに記録媒体
EP2938073A1 (en) * 2014-04-24 2015-10-28 Thomson Licensing Methods for encoding and decoding a picture and corresponding devices
JP5886922B2 (ja) * 2014-09-22 2016-03-16 日立マクセル株式会社 画像復号化方法
WO2016137089A1 (ko) * 2015-02-27 2016-09-01 엘지전자(주) 비디오 신호의 인코딩/디코딩 방법 및 장치
JP5887012B2 (ja) * 2015-09-11 2016-03-16 日立マクセル株式会社 画像復号化方法
JP5891333B2 (ja) * 2015-09-11 2016-03-22 日立マクセル株式会社 画像復号化方法
JP5887013B2 (ja) * 2015-09-11 2016-03-16 日立マクセル株式会社 画像復号化方法
JP2016129391A (ja) * 2016-02-22 2016-07-14 日立マクセル株式会社 画像復号化方法
US10404989B2 (en) * 2016-04-26 2019-09-03 Google Llc Hybrid prediction modes for video coding
CN106162197B (zh) * 2016-08-31 2019-07-12 北京奇艺世纪科技有限公司 一种视频编码帧内预测方法和装置
CN108810556B (zh) * 2017-04-28 2021-12-24 炬芯科技股份有限公司 压缩参考帧的方法、装置及芯片
EP3622713A1 (en) * 2017-05-09 2020-03-18 Google LLC Directional intra-prediction coding
JP7194539B2 (ja) * 2017-09-14 2022-12-22 日本放送協会 符号化装置、復号装置及びプログラム
JP6975070B2 (ja) * 2018-02-27 2021-12-01 シャープ株式会社 画像処理装置、画像処理方法、及び画像処理プログラム
CN110896476B (zh) * 2018-09-13 2021-11-26 阿里巴巴（中国）有限公司 图像处理方法、装置及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1455600A (zh) * 2003-05-19 2003-11-12 北京工业大学 基于相邻像素预测的帧内预测方法
JP2004140473A (ja) * 2002-10-15 2004-05-13 Sony Corp 画像情報符号化装置、復号化装置並びに画像情報符号化方法、復号化方法
CN1535027A (zh) * 2004-01-16 2004-10-06 北京工业大学 一种用于视频编码的帧内预测方法
JP2005260464A (ja) * 2004-03-10 2005-09-22 Nippon Telegr & Teleph Corp <Ntt> 画像符号化装置，画像復号装置，画像符号化方法，画像復号方法，画像符号化プログラム，画像復号プログラム，画像符号化プログラム記録媒体および画像復号プログラム記録媒体

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101050828B1 (ko) * 2003-08-26 2011-07-21 톰슨 라이센싱 하이브리드 인트라-인터 코딩된 블록을 디코딩하기 위한 방법 및 장치

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004140473A (ja) * 2002-10-15 2004-05-13 Sony Corp 画像情報符号化装置、復号化装置並びに画像情報符号化方法、復号化方法
CN1455600A (zh) * 2003-05-19 2003-11-12 北京工业大学 基于相邻像素预测的帧内预测方法
CN1535027A (zh) * 2004-01-16 2004-10-06 北京工业大学 一种用于视频编码的帧内预测方法
JP2005260464A (ja) * 2004-03-10 2005-09-22 Nippon Telegr & Teleph Corp <Ntt> 画像符号化装置，画像復号装置，画像符号化方法，画像復号方法，画像符号化プログラム，画像復号プログラム，画像符号化プログラム記録媒体および画像復号プログラム記録媒体

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
KennethK.C.Lee,Marian Choy and Y.K.Chan.Spatial Domain Contribution to a High Compression Efficiency System.《International Workshop on Advanced Image Technology 2006》.2006,89-94. *

Also Published As

Publication number Publication date
AU2006346583A1 (en) 2008-01-31
AU2006346583B2 (en) 2011-04-28
WO2008012918A1 (fr) 2008-01-31
KR20090048573A (ko) 2009-05-14
EP2056606A1 (en) 2009-05-06
CA2659351A1 (en) 2008-01-31
CN101502124A (zh) 2009-08-05
US20090310677A1 (en) 2009-12-17
KR101011303B1 (ko) 2011-01-28
TW200820790A (en) 2008-05-01
BRPI0621935A2 (pt) 2016-09-13
TWI348871B (zh) 2011-09-11
JPWO2008012918A1 (ja) 2009-12-17

Similar Documents

Publication Publication Date Title
CN101502124B (zh) 图像编码和解码的方法以及装置
KR101903101B1 (ko) 기준 모드 값의 도출 및 예측 모드를 나타내는 정보의 인코딩 및 디코딩
KR101822214B1 (ko) 복수의 이웃 양자화 파라미터들로부터 양자화 파라미터 예측 변수들을 결정하기 위한 방법들 및 장치
AU2011349244B2 (en) Enhanced intra-prediction coding using planar representations
JP6164600B2 (ja) ビデオ符号化での分割ブロック符号化方法、ビデオ復号化での分割ブロック復号化方法及びこれを実現する記録媒体
US20100118945A1 (en) Method and apparatus for video encoding and decoding
US20100118943A1 (en) Method and apparatus for encoding and decoding image
CN101401435A (zh) 运动图像编码/译码方法、装置以及程序
US20060159354A1 (en) Method and apparatus for predicting frequency transform coefficients in video codec, video encoder and decoder having the apparatus, and encoding and decoding method using the method
JP2010135864A (ja) 画像符号化方法及び装置並びに画像復号化方法及び装置
JP6233465B2 (ja) 映像復号装置、映像復号方法及びプログラム
KR20130091800A (ko) 인트라 예측 복호화 방법
KR20110073263A (ko) 인트라 예측 부호화 방법 및 부호화 방법, 그리고 상기 방법을 수행하는 인트라 예측 부호화 장치 및 인트라 예측 복호화 장치
RU2427976C2 (ru) Способ и устройство для кодирования и декодирования изображения
KR20140129417A (ko) 복수의 트랜스폼들을 이용한 영상 부호화/복호화 방법 및 장치
AU2019210553B2 (en) Enhanced intra-prediction coding using planar representations
KR20150105348A (ko) 트랜스폼을 이용한 영상 부호화/복호화 방법 및 장치
MX2009000832A (es) Metodo y aparato de codificacion y decodificacion de imagenes.
KR20140129410A (ko) 트랜스폼을 이용한 영상 부호화/복호화 방법 및 장치
KR20140129409A (ko) 트랜스폼을 이용한 영상 부호화/복호화 방법 및 장치
KR20140129416A (ko) 트랜스폼을 이용한 영상 부호화/복호화 방법 및 장치
KR20140129411A (ko) 트랜스폼을 이용한 영상 부호화/복호화 방법 및 장치
KR20140129414A (ko) 트랜스폼을 이용한 영상 부호화/복호화 방법 및 장치

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C17 Cessation of patent right
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20110223

Termination date: 20120728