CN101360240B - 编码方法、译码方法、编码装置、译码装置、图象处理系统 - Google Patents

Abstract

为了通过少的开销将图像中的活动信息编码或译码，在使用运动补偿预测进行运动图像的压缩编码的编码方法中，包括按对各个分割运动图像的帧的宏块进而分割所得的子块的单位分配1个或多个运动矢量(例如，最大2条的运动矢量)而进行运动补偿预测的运动补偿预测步骤(运动检测部2、运动补偿部5、空间预测部9等进行的处理步骤)和将关于对子块所进行的运动矢量的分配状况的信息多路化为位流而输出的分配信息编码步骤(可变长编码部23等进行的处理步骤)。

Description

编码方法、译码方法、编码装置、译码装置、图象处理系统

本申请是申请日为2002年9月12日，申请号为02803222.5，发明名称为“编码方法、译码方法、编码装置、译码装置、图象处理系统、编码程序和译码程序”申请的分案申请。

技术领域

本发明涉及使用运动补偿预测进行运动图像的压缩编码的编码方法、编码装置和编码程序、使用运动补偿预测进行压缩运动图像数据的解压及译码的译码方法、译码装置和译码程序、包含上述编码装置和译码装置而构成的图象处理系统。

背景技术

作为先有的图像编码方式的事例，大家所熟知的有基于国际标准化工作文档ITU-T SG16VCEG-M81、“H.26L Test Model LongTerm Number7(TML-7)”draft0(http://standard.pictel.com/ftp/video-site/0104_Aus/VCEG-M81d0.doc)所记载的H.26L光方式的图像编码·译码方式。

在该H.26L图像编码中，作为帧间预测模式，准备了图4A～图4G所示的很多运动分割图形(pattern)，可以进行精致的运动补偿。借助于这样的技术，在宏块的内部发生细微的活动的情况时可以有效地捕捉该活动，从而可以提高预测效率。

但是，在作为帧间预测模式准备了很多运动分割图形的方式中，运动分割的数越多，就必须传输越多的运动矢量信息，从而开销将大增。图5表示对图4A～图4G的各模式所需要的传输信息量。图5所示的“模式位”表示用于表现预测模式的可变长代码的代码长，“最小运动矢量位”表示作为关于应按宏块单位传输的运动矢量的信息量所能取的最小的信息量，“最小需要位数”表示模式位和最小运动矢量位的总和的值。运动矢量位是水平、垂直方向的2个值的总位数，最小的情况是水平和垂直都与运动矢量预测值相同的矢量的情况(运动矢量在指定的规则中将附近的运动矢量作为预测值，将其差分值进行编码)。但是，通常这样的情况很稀少，总是需要传输比该位数的多的信息。由图5可知，在模式4或5以上，总开销非常多。

另一方面，在一般的图像中，不将宏块区域细分为4部分以上精致地进行运动检测，而大致地分割为2部分捕捉其活动就可以进行充分的运动补偿。但是，在H.26L编码方式准备的16×8像素单位、8×16像素单位这样的固定的运动分割中，不能正确地表现宏块内部的运动分割，这就是准备图4A～图4G的7个帧内预测模式的理由。

发明内容

本发明就是为了解决上述问题而提案的，目的旨在提供可以以少的开销将图像中的动信息进行编码或译码的编码方法、译码方法、编码装置、译码装置、图象处理系统、编码程序和译码程序。

为了达到上述目的，本发明的编码方法是使用运动补偿预测进行运动图像的压缩编码的编码方法，其特征在于：包括按对各个分割运动图像的帧所得的第1块进而分割所得的第2块的单位分配1个或多个运动矢量而进行运动补偿预测的运动补偿预测步骤和将关于对上述第2块进行的运动矢量的分配状况的信息多路化为位流而输出的分配信息编码步骤。

作为这里的第1块，可以采用例如16×16像素的块，作为第2块，可以采用例如4×4像素的块。在该编码方法中，在运动补偿预测步骤以对各个分割运动图像的帧所得的第1块进而分割所得的第2块的单位分配1个或多个运动矢量而进行运动补偿预测的运动补偿预测，在分配信息编码步骤，将关于对上述第2块进行的运动矢量的分配状况的信息多路化为位流而输出，所以，可以通过很少的开销而可靠地捕捉第1块内的各种各样的活动，从而可以有效地进行图像传输、记录、再生。

这时，在运动补偿预测步骤中，可以与第2块的位置和数无关地分配运动矢量。即，在运动补偿预测步骤中，与第1块内的第2块的位置和数无关地按第2块的单位分配运动矢量，进行运动补偿预测，在分配信息编码步骤中，可以将第2块的位置和关于按该第2块分配的运动矢量的信息作为关于运动矢量的分配状况的信息使用。

另外，在运动补偿预测步骤中，也可以按照预先决定的分配图形按第2块的单位分配运动矢量。即，在运动补偿预测步骤中，通过将1个或多个第2块编组，按照预先决定的分配图形，按第2块的单位分配运动矢量，将运动补偿预测，在分配信息编码步骤中，可以将上述分配图形的识别信息作为关于运动矢量的分配状况的信息使用。

作为按照这样预先决定的分配图形的形式，在运动补偿预测步骤中，选择将对由第1块单位决定的第2块的运动矢量分配图形预先编组的多个图形组中的某一组，根据包含在该选择的图形组中的分配图形对第2块分配运动矢量，进行运动补偿预测，在分配信息编码步骤中，可以采用将关于按第1块单位编码的运动矢量分配状况的信息作为从上述选择的图形组中特定的运动矢量分配图形的识别信息而输出的形式。

由于将关于运动矢量分配状况的信息作为数据量少的该运动矢量分配图形的识别信息而输出，所以，可以用很少的开销而可靠地捕捉第1块内的各种各样的活动，从而可以有效地进行图像传输、记录、再生。

另外，在分配信息编码步骤中，可以采用根据成为编码对象的第1块的运动矢量分配图形的形状决定运动矢量的预测值并将该预测值的预测差分值作为运动矢量信息进行编码的形式。

这样，就根据运动矢量分配图形的形状决定运动矢量的预测值，并将数据量少的该预测值的预测差分值作为运动矢量信息进行编码，所以，通过少的开销可以可靠地捕捉第1块内的各种各样的活动，从而可以有效地进行图像传输、记录、再生。

这里，在分配信息编码步骤中，根据成为编码对象的第1块的运动矢量分配图形的形状决定运动矢量的预测候补位置，根据位于成为上述编码对象的第1块的附近的第1块的分配图形的形状将预测候补位置中的某一个作为预测值，并将该预测值的预测差分值作为运动矢量信息进行编码。

另外，作为符合预先决定的分配图形的形式，在运动矢量预测步骤中，根据成为编码对象的第1块的运动矢量分配图形的形状决定运动矢量的预测值，设置以该预测值为中心的运动矢量探索窗，检测运动矢量，在分配信息编码步骤中，可以采用将上述检测的运动矢量与上述运动矢量预测值的预测差分值作为运动矢量信息进行编码的形式。

这样，将数据量少的检测的运动矢量与运动矢量预测值的预测差分值作为运动矢量信息进行编码，所以，通过少的开销可以可靠地捕捉第1块内的各种各样的活动，从而可以有效地进行图像传输、记录、再生。

在符合上述预先决定的分配图形的各种形式中，在运动补偿预测步骤，取可以按第2块单位分配的运动矢量数最大为2条，同时根据表示向包含在由第1块单位决定的该第1块中的第2块的分配状态的预先决定的多个分配图形中的某一个图形对第2块分配运动矢量，进行运动补偿预测，在分配信息编码步骤中，采用就关于由第1块单位决定的运动矢量的分配状况的信息作为上述分配图形的识别信息而输出的形式。

这时，分配图形包含将上述第1块在水平方向或垂直方向不均匀分割的图像和将上述第1块在倾斜方向分割的图形。

另外，在分配信息编码步骤中，根据各分配图形的形状对各分配图形分配可变长的代码，将上述分配图形的识别信息编码。

另外，在分配信息编码步骤中，根据位于成为编码对象的第1块附近的第1块的分配图形的状况，对于成为上述编码对象的第1块，对各分配图形分配可变长的代码，将上述分配图形的识别信息编码。

另外，在分配信息编码步骤中，根据图像内容对各分配图形分配可变长的代码，将上述分配图形的识别信息编码。

在符合上述预先决定的分配图形的各种形式和与第2块的位置无关地进行分配的形式中，可以进而包括将在运动补偿预测步骤中得到的预测残差信号按与上述第2块的尺寸相同的块单位进行编码的残差信号编码步骤。

即，可以采用包括以对将运动图像的帧分割后所得的各个第1块进而分割所得的第2块的单位分配1个或多个运动矢量而进行运动补偿预测的运动补偿预测步骤、将关于对上述第2块的运动矢量的分配状况的信息多路化为位流而输出的分配信息编码步骤和将在运动补偿预测步骤得到的预测残差信号按与上述第2块的尺寸相同的块单位进行编码的残差信号编码步骤的形式。这时，由于将在运动补偿预测步骤得到的预测残差信号按与第2块的尺寸相同的块单位进行编码，所以，可以将编码的数据量抑制为很少，通过少的开销可以可靠地捕捉第1块内的各种各样的活动，从而可以有效地进行图像传输、记录、再生。

另外，在符合预先决定的分配图形的各种形式和与第2块的位置和数无关地进行分配的形式中，在分配信息编码步骤中，可以采用根据上述运动矢量的分配状况将识别在由1个或多个第2块构成的运动矢量分配区域中是否有应编码的预测残差信号的信息编码的形式。这时，根据运动矢量的分配状况将识别在由1个或多个第2块构成的运动矢量分配区域中是否有应编码的预测残差信号的信息编码，所以，可以将编码的数据量抑制为很少，通过少的开销可以可靠地捕捉第1块内的各种各样的活动，从而可以有效地进行图像传输、记录、再生。

另外，在与第2块的位置和数无关地进行分配的形式中，在分配信息编码步骤中，可以采用根据成为编码对象的第1块和相邻的第1块的运动矢量的分配状况将表示该分配状况下的运动矢量分配的变化点的信息作为关于与上述运动矢量的分配状况的信息而多路化为位流而输出的形式。

另外，在符合预先决定的分配图形的各种形式和与第2块的位置和数无关地进行分配的形式中，在运动补偿预测步骤中，除了按第1块单位设定帧间预测模式或帧内预测模式的情况外，包含按由第2块的1个或多个构成的单位设定帧间预测模式或帧内预测模式的情况，可以采用进行运动补偿预测的形式。

为了达到上述目的，本发明的编码方法是使用运动补偿预测进行运动图像的压缩编码的编码方法，其特征在于：包括按由对将运动图像的帧分割后所得的各个第1块进而分割所得的第2块的1个或多个构成的单位为了进行运动补偿预测而保持的多个参照帧中选择1个参照帧进行运动补偿预测的补偿预测步骤和将关于对上述1个或多个第2块的参照帧的选择状况的信息多路化为位流而输出的参照帧信息编码步骤。

按照该编码方法，关于对1个或多个第2块的参照帧的选择状况的信息，数据量少，所以，可以将编码的数据量抑制为很少，通过少的开销可以可靠地捕捉第1块内的各种各样的活动，从而可以有效地进行图像传输、记录、再生。

在参照帧信息编码步骤中，可以采用作为对在上述第1块的单位中包含的上述1个或多个第2块的参照帧的选择状况的组合信息进行编码的形式。

另外，在参照帧信息编码步骤中，根据位于附近的上述第1块或者1个或多个上述第2块的参照帧的选择状况分别求对1个或多个第2块的参照帧的预测值，可以采用将该预测值与选择的参照帧的差分信息作为关于参照帧的选择状况的信息使用的形式。

为了达到上述目的，本发明的编码方法是使用运动补偿预测进行运动图像的压缩编码的编码方法，其特征在于：包括以由对将运动图像的帧分割后所得的各个第1块进而分割所得的由1个或多个第2块构成的单位选择双向帧间预测使用的预测方向进行运动补偿预测的运动补偿预测步骤，和将关于对上述1个或多个第2块的预测方向的选择状况的信息多路化为位流而输出的预测信息编码步骤。

按照该编码方法，可以通过少的开销可靠地捕捉第1块内的各种各样的活动，同时可以分别对捕捉别的活动的1个或多个第2块应用适当的双向帧内预测，从而可以有效地进行图像传输、记录、再生。

为了达到上述目的，本发明的编码方法是使用运动补偿预测进行运动图像的压缩编码的编码方法，其特征在于：包括以由对将运动图像的帧分割后所得的各个第1块进而分割所得的由1个或多个第2块构成的单位选择帧间预测模式或帧内预测模式进行帧间预测或帧内预测的预测步骤，和将关于对上述1个或多个第2块的帧间预测模式或帧内预测模式的选择状况的信息多路化为位流而输出的预测模式信息编码步骤。

按照该编码方法，可以通过少的开销可靠地捕捉第1块内的各种各样的活动，同时可以分别对捕捉别的活动的1个或多个第2块应用适当的帧间预测模式或帧内预测模式，从而可以有效地进行图像传输、记录、再生。

在上述预测信息编码步骤或预测模式信息编码步骤中，可以采用将上述关于选择状况的信息与关于对包含在上述第1块的单位中的上述第1块的运动矢量的分配状况的信息一起作为组合向进行编码并多路化为位流而输出的形式。

另外，在上述预测信息编码步骤或预测模式信息编码步骤中，可以采用将关于上述选择状况的信息与关于对包含在上述1个或多个第2块单位中的上述1个或多个第2块的多个参照帧的参照帧的选择状况的信息一起作为组合信息进行编码并多路化为位流而输出的形式。

为了达到上述目的，本发明的译码方法是使用运动补偿预测进行压缩运动图像数据的解压、译码的译码方法，其特征在于：包括将表示按对分割运动图像的帧后所得的各个第1块进而分割所得的第2块的单位进行分配的运动矢量是按上述第1块的单位译码的1个或多个运动矢量中的哪一个的运动矢量分配信息进行译码的分配信息译码步骤和根据该运动矢量分配信息使用按上述第2块的单位特定的运动矢量进行运动补偿从而生成预测图像的运动补偿步骤。

在该译码方法中，在分配信息译码步骤将表示按对分割运动图像的帧后所得的各个第1块进而分割所得的第2块的单位进行分配的运动矢量是按上述第1块的单位译码的1个或多个运动矢量中的哪一个的运动矢量分配信息进行译码，在运动补偿步骤根据该运动矢量分配信息使用按第2块的单位特定的运动矢量进行运动补偿从而生成预测图像。因此，将关于按第2块的单位分配的运动矢量的运动矢量分配信息进行译码，根据该运动矢量分配信息使用按第2块的单位特定的运动矢量进行运动补偿，生成预测图像。这样，通过少的开销可以可靠地进行译码，从而可以有效地进行图像传输、记录、再生。

这时，在分配信息译码步骤中，可以采用与分配对象的第2块的位置和数无关地作为该第2块的位置和分配给该第2块的运动矢量的信息而将上述运动矢量分配信息译码的形式。

另外，在分配信息译码步骤，通过将1个或多个块编组，可以采用作为预先决定的分配图形的识别信息而将上述运动矢量分配信息译码的形式。

这样采用作为预先决定的分配图形的识别信息而将运动矢量分配信息译码的形式，在分配信息译码步骤中，将上述运动矢量分配信息作为作为识别按第1块单位预先决定的向第2块的运动矢量分配图形的信息进行译码，根据该分配图形识别信息特定分配图形时，将识别该分配图形所属的图形组的信息译码，可以采用按照由该图形组识别信息特定的图形组的定义，根据上述分配图形识别信息决定向第2块的运动矢量分配的形式。这时，将运动矢量分配信息作为识别预先决定的向第2块的运动矢量分配图形的信息，可以通过少的开销可靠地进行译码，从而可以有效地进行图像传输、记录、再生。

另外，采用作为预先决定的分配图形的识别信息而将运动矢量分配信息进行译码的形式，在分配信息译码步骤中，可以采用将通过根据成为译码对象的第1块的运动矢量分配图形的形状决定的运动矢量的预测值的预测差分值进行编码而得到的运动矢量信息进行译码的形式。这时，由于将将通过根据成为译码对象的第1块的运动矢量分配图形的形状决定的运动矢量的预测值的预测差分值进行编码而得到的运动矢量信息进行译码，所以，通过将数据量少的预测差分值编码而得到的运动矢量信息可以译码，从而可以有效地进行图像传输、记录、再生。

这时，在分配信息译码步骤中，根据位于附近的第1块的分配图形的形状将根据成为译码对象的第1块的运动矢量分配图形的形状决定的运动矢量预测候补位置中的某一个作为预测值，对通过将该预测值的预测差分值进行编码而得到的运动矢量信息进行译码。

在作为上述预先决定的分配图形的识别信息而译码的形式中，将按第1块的单位它们的运动矢量最大取为2条，运动矢量分配信息作为识别表示由第1块单位决定的该第1块包含的向第2块的运动矢量分配状态的、预先决定的多个分配图形的信息而进行译码。

这时，分配图形包含将上述第1块在水平方向或垂直方向不均匀分割的图形和将上述第1块在倾斜方向分割的图形。

另外，在分配信息译码步骤中，将根据各分配图形的形状分配给各分配图形的可变长的代码作为各分配图形的识别信息进行译码。

另外，在分配信息译码步骤中，将根据位于成为译码对象的第1块附近的第1块的分配图形的状况分配给各分配图形的可变长的代码作为成为译码对象的第1块的各分配图形的识别信息进行译码。

另外，在分配信息译码步骤中，将根据图像内容分配给各分配图形的可变长的代码作为各分配图形的识别信息进行译码。

在作为上述预先决定的分配图形的识别信息进行译码的形式和与第2块的位置和数关地将运动矢量分配信息译码的形式中，进而包括将通过按照与第2块的尺寸相同的块单位进行的编码处理而得到的运动补偿预测的预测残差信号进行译码的残差信号译码步骤。

即，可以采用包括将表示按对分割运动图像的帧后所得的各个第1块进而分割所得的第2块的单位进行分配的运动矢量是按上述第1块的单位译码的1个或多个运动矢量中的哪一个的运动矢量分配信息进行译码的分配信息译码步骤、根据该运动矢量分配信息使用按上述第2块的单位特定的运动矢量进行运动补偿从而生成预测图像的运动补偿步骤和将通过按照与第2块的尺寸相同的块单位进行的编码处理而得到的运动补偿预测的预测残差信号进行译码的残差信号译码步骤的结构。这时，由于将将通过按照与第2块的尺寸相同的块单位进行的编码处理而得到的运动补偿预测的预测残差信号进行译码，所以，可以将应编码的数据量少的预测残差信号译码，从而可以有效地进行图像传输、记录、再生。

另外，在作为上述预先决定的分配图形的识别信息进行译码的形式和与第2块的位置和数无关地将运动矢量分配信息译码的形式中，在分配信息译码步骤中，将根据成为译码对象的第1块的运动矢量分配图形的形状识别在由1个或多个第2块构成的运动矢量分配区域内是否有应译码的预测残差信号的信息进行译码。这时，可以将应编码的数据量少的预测残差信号译码，从而可以有效地进行图像传输、记录、再生。

另外，在与上述第2块的位置和数无关地将运动矢量分配信息译码的形式中，在分配信息译码步骤中，将作为关于运动矢量的分配状况的信息而输出的表示运动矢量分配的变化点的信息进行译码。

另外，在作为上述预先决定的分配图形的识别信息进行译码的形式和与第2块的位置和数无关地将运动矢量分配信息译码的形式中，运动矢量是除了按第1块单位设定帧间预测模式或帧内预测模式的情况外通过也包含以由第2块的1个或多个构成的单位设定帧间预测模式或帧内预测模式的情况的运动补偿预测得到的运动矢量。

为了达到上述目的，本发明的译码方法是使用运动补偿预测进行压缩运动图像数据的解压和译码的译码方法，其特征在于：包括将关于以由对运动图像的帧分割后所得的各个第1块进而分割所得的第2块的1个或多个构成的单位进行分配的运动补偿预测使用的参照帧的选择状况的信息进行译码的参照帧信息译码步骤，和根据该参照帧信息从为了进行运动补偿所保持的多个参照帧中选择1个参照帧进行运动补偿从而生成预测图像的补偿步骤。

按照该形式，关于对上述1个或多个第2块的参照帧的选择状况的信息，数据量少，所以，可以将数据量少的关于该参照帧的选择状况的信息译码，从而可以有效地进行图像传输、记录、再生。

这时，在参照帧信息译码步骤中，根据对包含在上述第1块的单位中的上述1个或多个第2块的参照帧的选择状况的组合信息将对上述1个或多个第2块的参照帧信息进行译码。

另外，在参照帧信息译码步骤中，根据位于附近的上述第1块或者1个或多个上述第2块的参照帧的选择状况分别求对1个或多个第2块的参照帧的预测值，根据作为关于参照帧的选择状况的信息而输出的参照帧的差分信息和上述求出的预测值进行译码。

为了达到上述目的，本发明的译码方法是使用运动补偿预测进行压缩运动图像数据的解压和译码的译码方法，其特征在于：包括将关于以由对运动图像的帧分割后所得的各个第1块进而分割所得的第2块的1个或多个构成的单位进行分配的双向帧内预测使用的预测方向的选择状况的信息进行译码的预测信息译码步骤和根据该预测信息从对顺向和逆向两方面保持的参照帧中选择双向帧间运动补偿使用的预测方向进行运动补偿从而生成预测图像的运动补偿步骤。

按照该形式，可以通过少的开销可靠地捕捉第1块内的各种各样的活动，同时可以对分别捕捉别的活动的1个或多个第2块应用适当的双向帧间预测，从而可以有效地进行图像传输、记录、再生。

为了达到上述目的，本发明的译码方法是使用运动补偿预测进行压缩运动图像数据的解压和译码的译码方法，其特征在于：包括将关于以由对运动图像的帧分割后所得的各个第1块进而分割所得的第2块的1个或多个构成的单位进行分配的帧间预测模式或帧内预测模式的选择状况的信息进行译码的预测模式信息译码步骤，和根据该预测信息选择帧间预测模式或帧内预测模式进行帧间预测或帧内预测从而生成预测图像的预测图像生成步骤。

按照该形式，可以通过少的开销可靠地捕捉第1块内的各种各样的活动，同时可以分别对捕捉别的活动的1个或多个第2块应用适当的帧内预测或帧内预测，从而可以有效地进行图像传输、记录、再生。

在预测信息译码步骤或预测模式信息译码步骤中，可以采用根据将关于包含在上述第1块的单位中的对上述第1块的运动矢量的分配状况的信息与关于上述选择状况的信息组合的信息将关于对上述1个或多个第2块的上述选择状况的信息进行译码的形式。

另外，在预测信息译码步骤或预测模式信息译码步骤中，可以采用根据将关于对包含在上述1个或多个第2块的单位中的上述1个或多个第2块的多个参照帧中的参照帧的选择状况的信息与关于上述选择状况的信息组合的信息将关于对上述1个或多个第2块的上述选择状况的信息进行译码的形式。

本发明在作为编码方法、译码方法的发明以外，也可以捕捉作为使用编码方法的编码装置、使用译码方法的译码装置、包含这些编码装置和译码装置而构成的图象处理系统、由编码装置执行的编码程序和由译码装置执行的译码程序等各个发明而获得同样的作用和效果。即，可以进行以下所示的描述。

为了达到上述目的，本发明的编码装置是使用运动补偿预测进行运动图像的压缩编码的编码装置，其特征在于：具有按对各个分运动图像的帧所得的第1块进而分割所得的第2块的单位分配1个或多个运动矢量而进行运动补偿预测的运动补偿预测单元和将关于对上述第2块的运动矢量的分配状况的信息多路化为位流而输出的分配信息编码单元。

这时，可以采用运动补偿预测单元与第1块内的第2块的位置和数无关地按第2块的单位分配运动矢量进行运动补偿预测、而分配信息编码单元将第2块的位置和分配给该第2块的运动矢量的信息作为关于运动矢量的分配状况的信息使用的形式。

另外，可以采用运动补偿预测单元按照通过将1给或多个第2块编组而预先决定的分配图形按第2块的单位分配运动矢量进行运动补偿预测、而分配信息编码单元将上述分配图形的识别信息作为关于运动矢量的分配状况的信息使用的形式。

为了达到上述目的，本发明的译码装置是使用运动补偿预测进行压缩运动图像数据的解压和译码的译码装置，其特征在于：具有将表示按对分割运动图像的帧后所得的各个第1块进而分割所得的第2块的单位进行分配的运动矢量是按上述第1块的单位译码的1个或多个运动矢量中的哪一个的运动矢量分配信息进行译码的分配信息译码单元和根据该运动矢量分配信息使用按上述第2块的单位特定的运动矢量进行运动补偿从而生成预测图像的运动补偿单元。

这时，可以采用分配信息译码单元作为分配对象的第2块的位置和分配给该第2块的运动矢量的信息而将上述运动矢量分配信息进行译码的形式。

另外，也可以采用分配信息译码单元作为通过将1个或多个第2块编组而预先决定的分配图形的识别信息而将上述运动矢量分配信息进行译码的形式。

为了达到上述目的，本发明的图象处理系统是包含使用运动补偿预测进行运动图像的压缩编码的编码装置和使用运动补偿预测进行压缩运动图像数据的解压和译码的译码装置而构成的图象处理系统，其特征在于：编码装置具有按对各个分运动图像的帧所得的第1块进而分割所得的第2块的单位分配1个或多个运动矢量而进行运动补偿预测的运动补偿预测单元和将关于对上述第2块的运动矢量的分配状况的信息多路化为位流而输出的分配信息编码单元，译码装置具有将表示按对分割运动图像的帧后所得的各个第1块进而分割的第2块的单位进行分配的运动矢量是按上述第1块的单位译码的1个或多个运动矢量中的哪一个的运动矢量分配信息进行译码的分配信息译码单元和根据该运动矢量分配信息使用按上述第2块的单位特定的运动矢量进行运动补偿从而生成预测图像的运动补偿单元。

这时，可以采用编码装置的运动补偿预测单元与第1块内的第2块的位置和数无关地按第2块的单位分配运动矢量进行运动补偿预测、而分配信息编码单元将第2块的位置和分配给该第2块的运动矢量的信息作为关于运动矢量的分配状况的信息使用，译码装置的分配信息译码单元作为分配对象的第2块的位置和分配给该第2块的运动矢量的信息而将上述运动矢量分配信息进行译码的形式。

另外，也可以采用编码装置的运动补偿预测单元按照通过将1个或多个第2块编组而预先决定的分配图形按第2块的单位分配运动矢量进行运动补偿预测、而分配信息编码单元将上述分配图形的识别信息作为关于运动矢量的分配状况的信息使用、译码装置的分配信息译码单元作为通过将1个或多个第2块编组而预先决定的分配图形的识别信息而将上述运动矢量分配信息进行译码的形式。

为了达到上述目的，本发明的编码程序的特征在于：使内藏在使用运动补偿预测进行运动图像的压缩编码的编码装置中的计算机执行上述编码方法的各个发明的各步骤。

为了达到上述目的，本发明的译码程序的特征在于：使内藏在使用运动补偿预测进行压缩运动图像数据的解压和译码的译码装置中的计算机执行上述译码方法的各个发明的各步骤。

本发明的上述目的和其他特征及优点，通过参照附图阅读以下的详细的说明即可明白。

附图的简单说明

图1是编码装置的结构图。

图2是译码装置的结构图。

图3A是表示运动补偿帧内预测的说明所使用的前一帧的内容的图。

图3B是表示运动补偿帧内预测的说明所使用的现在帧的内容的图。

图4A是表示H.26L的帧间预测模式的模式1的图。

图4B是表示H.26L的帧间预测模式的模式2的图。

图4C是表示H.26L的帧间预测模式的模式3的图。

图4D是表示H.26L的帧间预测模式的模式4的图。

图4E是表示H.26L的帧间预测模式的模式5的图。

图4F是表示H.26L的帧间预测模式的模式6的图。

图4G是表示H.26L的帧间预测模式的模式7的图。

图5是表示对帧内预测模式的各模式所需要的最小的传输信息量的表。

图6A是表示本发明实施例的固定分割方式的第1组的图。

图6B是表示本发明实施例的固定分割方式的第2组的图。

图6C是表示本发明实施例的固定分割方式的第3组的图。

图6D是表示本发明实施例的固定分割方式的第4组的图。

图7A是表示现在的宏块是模式1、而其左、上、右上的宏块分别为模式0、1、8的情况的图。

图7B是表示上的宏块使用与现在的宏块不同的参照帧的情况的图。

图8A是用于说明在模式0的情况下的运动矢量预测值决定处理的流程的图。

图8B是用于说明在模式1的情况下的运动矢量预测值决定处理的流程的图。

图8C是用于说明在模式7的情况下的运动矢量预测值决定处理的流程的图。

图9是表示考虑与附近的宏块的活动的连续性对各预测模式定义的上部优先度和左部优先度的一例的表。

图10A是表示对固定分割方式的第1组的各预测模式固定地提供的运动矢量的预测值的图。

图10B是表示对固定分割方式的第2组的各预测模式固定地提供的运动矢量的预测值的图。

图10C是表示对固定分割方式的第3组的各预测模式固定地提供的运动矢量的预测值的图。

图10D是表示对固定分割方式的第4组的各预测模式固定地提供的运动矢量的预测值的图。

图11A是表示H.26L中的压缩流的宏块数据的语法的图。

图11B是表示实施例1的压缩流的宏块数据的语法的图。

图12是表示实施例1的译码装置的处理内容的流程图。

图13A是表示为了指定任意的分配状况而作为4×4的二进制映射信息而表现的预测模式的第1定义例的图。

图13B是表示为了指定任意的分配状况而作为4×4的二进制映射信息而表现的预测模式的第2定义例的图。

图13C是表示为了指定任意的分配状况而作为4×4的二进制映射信息而表现的预测模式的第3定义例的图。

图14是表示实施例2的运动矢量检测的顺序的图。

图15是表示运动矢量检测的别的顺序的图。

图16A是用于说明实施例2的预测模式信息的编码方法中宏块A的活动的连续性高的例子的图。

图16B是用于说明实施例2的预测模式信息的编码方法中宏块B的活动的连续性高的例子的图。

图17是表示实施例2的编码处理的内容的流程图。

图18A是表示代码长CB(4)的例子的表。

图18B是表示代码长CB(3)的例子的表。

图18C是表示代码长CB(2)的例子的表。

图19A是表示H.26L中的压缩流的宏块数据的语法的图。

图19B是表示实施例2的压缩流的宏块数据的最简单的语法例的图。

图19C是表示实施例2的压缩流的宏块数据的别的语法例的图。

图20是表示实施例2的译码装置的处理内容的流程图。

图21是表示实施例3的编码装置的处理内容的流程图。

图22是实施例3的编码装置的处理内容的说明图。

图23A是表示扫描表的锯齿形扫描的例子的图。

图23B是扫描表的水平扫描的例子的图。

图23C是表示扫描表的希尔伯特扫描的例子的图。

图24A是表示在实施例4的对角方向进行内部/中间的区别而在内部中使用2个运动矢量的预测模式的定义例的图。

图24B是表示实施例4的宏块分割为上下两部分、上部按内部而下部按中间进行预测的预测模式的定义例的图。

图25A是表示内部/中间分类的平面的图。

图25B是表示帧内预测方法的平面的图。

图25C是表示运动矢量分配的平面的图。

图26A是表示内部/中间分类的平面的图。

图26B是表示仅将与内部、中间对应的子块作为位平面数据时的帧内预测方法的平面的图。

图26C是表示仅将与内部、中间对应的子块作为位平面数据时的运动矢量分配的平面的图。

图27是表示按实施例4的编码方法2将图24A的情况进行变换的例子的图。

图28是表示与实施例4的编码方法1对应的压缩流的宏块数据的语法的图。

图29是表示与实施例4的编码方法2对应的压缩流的宏块数据的语法的图。

图30是表示与实施例4的编码方法3对应的压缩流的宏块数据的语法的图。

图31是表示与实施例4的编码方法4对应的压缩流的宏块数据的语法的图。

图32A是表示使用最小限度的预测模式的预测模式设定的定义例的图。

图32B是表示使用在实施例1中提示的少的运动矢量的预测模式设定的定义例的图。

图32C是表示多数分割多数运动矢量的预测模式设定的定义例的图。

图33A是表示H.26L中的参照帧信息的代码结构的表。

图33B是表示对参照帧信息的组合分配的代码的例子的表。

图33C是表示与图33B对应的宏块数据的语法的图。

图34A是表示变更前或在预测值为0时根据预测值切换的代码的表。

图34B是表示预测值为4时根据预测值切换的代码的表。

图35A是表示说明正交变换系数数据的编码的效率方面宏块的分割例的图。

图35B是表示按8×8块单位传输有无有意义系数的例子的图。

图35C是表示对分割领域传输有无有意义系数的例子的图。

图36A是用于说明实施例5的进行运动矢量探索范围的适应化时的运动矢量检测处理的图。

图36B是用于说明实施例5的不进行运动矢量探索范围的适应化时的运动矢量检测处理的图。

图37A是用于说明实施例5的关于固定分割方式的第1组的运动矢量预测规则的图。

图37B是用于说明实施例5的关于固定分割方式的第2组的运动矢量预测规则的图。

图37C是用于说明实施例5的关于固定分割方式的第3组的运动矢量预测规则的图。

图37D是用于说明实施例5的关于固定分割方式的第4组的运动矢量预测规则的图。

图38是表示实施例5的运动矢量检测处理的流程图。

图39是表示实施例6的双向预测的例子的图。

图40A是表示H.26L中的双向运动补偿预测时的语法的图。

图40B是表示实施例6的压缩流的宏块数据的语法的图。

图41是实施例6的宏块类型信息的代码表。

图42是实施例6的参照帧信息的代码表。

图43是表示编码装置的基本的动作的流程图。

图44是表示译码装置的基本的动作的流程图。

具体实施方式

下面，顺序说明本发明的各种实施例。

首先，在本发明的实施例1中，说明在按宏块单位进行编码的图像编码装置中对将宏块分割为4×4像素单位的各子块最大可以分配2条运动矢量进行运动补偿预测的图像编码装置和译码装置。

首先，说明基于应用本发明的H.26L编码方式的图像编码和译码装置的结构和动作。

图1表示编码装置的结构，图2表示译码装置的结构。在图1的编码装置中，通过运动补偿帧间预测削减时间方向存在的冗余度，通过正交变换进而削减空间方向存在的残余的冗余度，进行图像信号的信息压缩。运动补偿帧间预测的说明图分别示于图3A和图3B，块匹配处理的概要分别示于图4A～图4G。另外，图43是表示编码装置的基本的动作的流程图，图44是表示译码装置的基本的动作的流程图。

下面，参照这些图说明图1和图2的编码和译码装置的动作。

图1的输入图像信号1是帧图像的时间序列，以后，作为表示帧图像单位的信号。另外，设成为编码对象的帧图像为图3B的现在帧30B。现在帧30B分割为16像素×16行固定的正方形区域(称为宏块)，按该单位进行以下的编码处理。

现在帧30B的各宏块先向运动检测部2传送，在此进行预测模式3的决定和与其对应的条数的运动矢量4的检测。在H.26L编码方式中，作为预测模式3，预先准备了多个使用已完成同一空间上的编码的附近像素进行空间预测的帧内预测模式和使用在时间上不同的已完成编码的帧图像(图3A的前一帧30A)进行运动补偿预测的帧间预测模式，根据图像信号的局部所在的性质将它们按宏块单位进行切换，从而可以进行有效的信息压缩。

即，在图43的流程图中，输入图像信号1输入编码装置(S01)，进行运动检测(S02)和运动补偿(S03)，同时，利用空间预测部9进行后面所述的空间预测(S04)。

所谓运动补偿预测，如图3A、图3B所示，根据前一帧30A的译码图像在指定的探索范围32内探索与现在帧30B的输入图像类似的信号图形(预测值)，将空间的位移量作为运动矢量而检测(例如，将圆圈31的空间的位移量作为运动矢量33而检测)，是将预测残差信号和运动矢量作为编码信息进行传输的技术。在H.26L中，如图4A～图4G所示，有7种帧内预测模式。正确地说，也准备了图像静止时等有用的直接复制前一帧的相同位置的像素的预测模式(跳跃模式)，但是，为了便于说明此处省略了。图4A的模式1按16×16像素单位、图4B的模式2按8×16像素单位、图4C的模式3按16×8像素单位、图4D的模式4按8×8像素单位、图4E的模式5按4×8像素单位、图4F的模式6按8×4像素单位、图4G的模式7按4×4像素单位检测运动矢量。即，这7种预测模式可以细分宏块内的运动检测单位，是为了正确地捕捉在宏块内可能存在的各种活动而设置的。

在运动检测部2中，按各宏块对图4A～图4G的所有的帧间预测模式进行评价，选择判定编码效率最高的模式。帧内预测模式同样也进行编码效率的评价，在效率比帧间预测模式好时就选择帧内预测模式。选择了帧间预测模式时，就检测和传输由预测模式3决定的条数(最大每宏块16条)传输运动矢量4。选择了帧内预测模式时，运动矢量4不传输。

选择了帧间预测模式时，向运动补偿部5传输决定的预测模式3和运动矢量4，使用运动矢量4参照帧存储器6中的前一帧的已完成编码的图像信号7取出各宏块的运动补偿预测图像8。

选择了帧内预测模式时，在空间预测部9中，参照附近的已完成编码的图像信号7生成预测值10。最终使用的预测值11，根据预测模式3由开关12选择运动补偿预测图像8和预测值10中的某一个。

生成表示上述预测值11与输入图像信号1的差分值的预测残差信号13(图43的S05)，预测残差信号13向正交变换部14传输，通过正交变换成为正交变换系数15(S06)。正交变换系数15向量化部16传输，通过量化处理成为量化正交变换系数17(S07)，并向可变长编码部23传输。在此进行熵编码，并多路化为压缩流24(S08)。

另一方面，虽然在图43中省略了，但是，量化正交变换系数17经过逆量化部18和逆正交变换部19进行局部译码，并与预测值11相加，成为局部译码图像20。局部译码图像20为了除去在正交变换块的边界处的块变形等劣化而由环形滤波器21对边界像素进行滤波处理，成为滤波后局部译码图像22，并存储到帧存储器6中。存储在帧存储器6中的图像数据作为以后的帧的运动补偿预测的参照数据7使用。

另外，预测模式3也按宏块的单位由可变长编码部23进行熵编码，并多路化为压缩流24(S08)。然后，输出这样得到的压缩流24(S09)。

下面，根据图2和图44说明译码装置的动作。在译码装置中，接收作为编码数据的压缩流24(图44的S21)之后，由可变长译码部25检测表示各帧的开头的同步字，然后，按宏块单位复原预测模式3、运动矢量4和量化正交变换系数17(S22)。

在预测模式3表示帧内预测模式时(在S23为肯定判断时)，运动矢量4向运动补偿部5传输，运动补偿部5和编码装置的动作一样，从帧存储器26(与帧存储器6一样使用)中将运动矢量4活动的图像部分作为运动补偿预测图像8取出(S24)。另一方面，预测模式3表示帧内预测模式时(在S23为否定判断时)，在空间预测部9中参照附近的已完成编码的图像信号7生成预测值10(S25)。

与S23～S25并行地对预测残差信号顺序利用逆量化部16进行逆量化处理(S26)和利用逆正交变换部19进行逆正交变换处理(S27)，生成预测残差信号的译码值。

另一方面，根据预测模式3，由开关12决定最终的预测值11，并将其与上述生成的预测残差信号的译码值相加，从而成为译码图像20(S28)。此外，通过环形滤波器21得到最终的译码再生图像22(S29)，在指定的显示时刻向显示设备输出(S30)，从而再生图像。译码再生图像22同时为了用于以后的帧的运动补偿而存储到帧存储器26中。这里，图像数据20、22成为与编码装置中的相同号码的数据相同的值。

下面，详细说明本实施例，在本实施例中，在上述图1和图2所示的编码装置和译码装置中，包含在压缩流24中的预测模式3(特别是帧间预测模式)和运动矢量4的定义、运动检测部2和运动补偿部5的动作有特征。因此，下面，对于编码装置以运动检测部2的动作和预测模式3、运动矢量4的定义为中心进行说明，对于译码装置以根据预测模式3和运动矢量4将图像信号进行译码的顺序为中心进行说明。

①固定的运动矢量分配图形的定义

运动检测部2对所准备的所有的预测模式进行评价，检测与编码效率最好的模式对应的运动矢量。在先有例的H.26L编码方式中，作为帧间预测模式，选择了图4所示的图形，但是，在本实施例中，对于按4×4块(子块)单位最大分配2条运动矢量的方法，作为帧间预测模式准备了图6A～图6D所示的固定的分割图形，采用从中选择编码效率最好的图形的结构。作为固定分割方式，使用图6A～图6D的图形的理由在于，将宏块内分割为2部分时，这些图形作为分割规则，预测其利用频度最高。例如，在中央部分和周边部分进行矢量分配的图形表示有16像素×16行的内部这样的非常局部的活动的情况，但是，这样的情况在图像中很少发生。另一方面，图6A～图6D所示的分割图形表示水平、垂直、倾斜方向的典型的活动也与宏块外相联系的图形，估计利用频度很高。其中，在图6B～图6D中，白区域和灰色区域表示运动矢量分配的区别，可以将宏块内动态地分割为这些图形进行运动补偿预测。

在图6A的模式0中，用1条运动矢量预测宏块(16×16像素)区域。这是与H.26L编码方式的帧间预测模式的模式1完全相同的定义。另外，图6B的模式1、2将宏块分割为16×8、8×16像素的区域，这和图4B、图4C中的模式2、3等价。另一方面，图6C、图6D的模式3以后的模式是本实施例特有的模式定义，在图6C的模式3～6中，允许将宏块在水平、垂直方向不均匀地分割。不均匀的水平、垂直方向的分割，特别如画面端部那样在逐渐出现新的图案的地方利用价值很高。此外，图6D的模式7以后允许将宏块在倾斜方向分割。倾斜方向的分割捕捉沿物体的边界部分的活动的不连续性，在根据画面角预测出现的新的图案方面利用价值很高。以上，在除了图6A的模式0以外的所有的模式中，运动矢量仅为2条，但是，通过预先准备各种各样的分割图形，利用少的运动矢量数可以可靠地捕捉用图6B的模式1、2这样的均匀分割所不能捕捉的宏块内的活动。

对图6A～图6D的模式0～14所分的4个组(图6A的组G1、图6B的组G2、图6C的组G3、图6D的组G4)表示传输各预测模式时的代码量的不同。在本实施例中，与图4A～图4G的H.26L预测模式信息相比，具有多1倍的模式数，所以，为了将其开销有效地进行编码，根据各模式的分割数、分割方向、或者分割的区域的面积比进行可变代码长分配的可变长编码。首先，从分割数的观点出发，对运动矢量的数少、开销少的模式0在全部模式中分配最短的代码。通常，由于图像信号与时间相关的关系非常高，所以，如果与按宏块单位进行运动补偿(Motion Compensation：MC)的情况相比，可以认为根据运动分割宏块内的必要性很低。另外，对于分割为2部分的图形，在图像信号的性质上，可以认为水平、垂直分割的频度比倾斜分割的图形高。此外，从以块尺寸均匀、两数据段相同的面积为单位进行MC容易降低平均的预测残差功率的观点考虑，将均匀分割的代码长设定得短。另一方面，特别是在画面端部等出现新的图案时，可以认为不均匀分割适用于更好地预测已在帧内存在的图案部分的用途。倾斜分割适用于在图像中的运动体的简档中捕捉仅靠水平-垂直的活动所不能捕捉的活动，但是，通常可以认为其发生频度比其他模式少。

但是，可变长编码方法不是唯一的在进行某一宏块的预测模式的可变长编码时，也可以采用考虑其附近的预测模式的状况(前后关系、上下文关系)而进行代码长分配的方法。例如，将某一宏块的预测模式进行编码时，在左宏块为模式0、左上的宏块为模式9时，可以认为现在的宏块容易发生继承模式9的图形的活运动分割。即，在这样的情况下，考虑了缩短模式9的代码长等将左、上、右上方等的附近宏块的预测模式状况(上下文关系)作为参量而变更代码表等这样的作法。不论图像的种类如何，通过决定通用的上下文关系，可以有效地进行代码分配。同时，通过发现这样的上下文关系，采用算术编码取代固定的代码分配，根据上下文关系切换算术编码的功率表，可以期待通过编码而削减冗余度的效果。

预测模式编码用的可变长编码表，也可以根据图像活动的内容进行切换。例如，在包含活动非常激烈的图像或场景变换的帧中，可以认为图6C、图6D的模式3～14那样的倾斜分割或不均匀分割等的不规则的图形将大量发生，另一方面，在静止图像中，可以认为这些预测模式不太发生。即，可以认为在帧或序列的单位中，有效的预测模式的比例发生相当大的变化是很自然的事情。为了进行这样的区别，可以考虑将帧中使用的预测模式编码用的可变长编码表或用于上下文关系定义的标志信息多路化为例如该帧或帧群的开头的标题信息的一部分。另外，考虑到预测模式值的分布与编码压缩率有关，可以按照帧单位的量化参量初始值切换多个准备的预测模式值的可变长编码表。

这样，通过根据图像信号的局部性质进行预测模式的上下文关系的设定，可以将所能出现的预测模式限定在某一程度，所以，即使准备了比图6C、图6D所示的更多的预测模式，通过将预测模式信息编码可以将开销抑制少。例如，除了图4A～图4G的变化外，也可以使用图6C、图6D的预测模式变化。但是，在以上下文关系为前提的可变长编码中，由于附近区域的压缩数据传输错误等而未正确地译码时，就不能独立而正确地将现在的预测模式信息译码。为了避免这样的问题，可以如在例如MPEG-2图像编码方式等中使用的那样在帧图像内划分为更细的独立编码图像区域(切片)的单位，而在切片的边界不使用跨越切片的上下文关系。在该方法中，在切片的边界，虽然有若干的编码效率的降低，但是，在其协调中可以提高错误性。

此外，也可以根据编码条件切换多个预测模式信息。以往，在根据先有例所述的H.26L在以前的标准编码方式(MPEG-1或MPEG-2等)中所见到的利用运动补偿的预测编码中，将1个运动矢量分配给1个宏块，代码量的调整可以以作为残差编码的结果的DCT系数的精度进行。然而，根据近年来的编码(H.263或MPEG-4)，具有在1个宏块内分割为多个块的预测模式，代码量的调整不仅在DCT系数中而且在关于预测的代码量的平衡中进行。在其后的H.26L进而准备了多个预测模式，代码量的调整以与所使用的运动矢量数相应的运动补偿的精度进行的倾向很强。在H.26L中，在高速率时，使用图4A～图4G的模式中可以利用很多运动矢量数的模式，通过运动补偿的精致化调整代码量。但是，在低速率下，为了用运动矢量数进行代码量的调整，图4A～图4G的模式中可以选择的模式几乎限定每1个宏块为1或2个模式(模式1～3)，不希望利用运动补偿精致化提高编码效率的问题可以作为1个课题进行考虑。

从代码量对误差(Rate-Distortion)的最佳化的观点考虑，最佳的运动补偿模型应随给定的编码速度(代码量)而不同。即，在低速率下使用的运动补偿模型应与在高速率下使用的运动补偿模型不同。在高的编码速率下，利用多模式、多数运动矢量在波形保存的意义上将运动补偿精致化，另一方面，在低的编码速率下，需要利用有限的运动矢量数进行更高效率的运动补偿的近似方法。根据这样的速率切换运动补偿模型的近似方法不能按迄今为止的编码标准进行。

这里，在低速率下，如图6A～图6D所示，考虑在1个宏块中存在单一的活动或者即使不存在单一的活动时也存在1个活动不同的物体的边界(即每1个宏块的运动矢量数限定为2)的运动补偿模型。作为每1个宏块的运动矢量限定为2的情况，不是通过单纯的水平、垂直分割将宏块分割为2部分，而是通过扩张为增加了水平、垂直、倾斜和相位的分割，对在1个宏块中存在活动不同的物体的边界的情况进行处置。另一方面，在高速率下，也容许图4A～图4G所示的容许很多运动矢量条数的运动补偿模型。即，根据图像的编码条件切换这样的运动补偿模型的变更的结构是有用的。例如，在帧或帧群(例如与例如MPEG-2图像编码方式的序列或GOP、MPEG-4图像编码方式的视频目标层、视频目标平面等的单位相当)单位中，将用于进行所使用的运动补偿模型(即预测模式的集合定义)的动态的变更的识别信息多路化为其开头的标题信息的一部分。

另外，这样的运动补偿模型的变更，作为定标结构，可以提高安装上和编码数据利用上的便利性。例如，如图32A～图32C所示，定义了3个预测模式的集合。在图32A中，可以使用最小限度的预测模式，在图32B中，除此之外，可以使用本实施例提示的使用了少的运动矢量的预测模式。在图32C中，进而采用了增加利用多分割、多个运动矢量的预测模式的集合。

通过定义这样的集合，如果在降低计算量负担为最优先的情况时使用图32A的预测模式集合、在高的编码速率中利用多模式多个运动矢量追求更精致的运动补偿时使用图32C的预测模式集合、在没有特别的要求时使用图32B的预测模式集合，则可根据编码条件切换运动补偿模型。另外，在图32A～图32C的结构中，各个预测模式成为预测模式数更多的集合的子集合。例如，图32B的预测模式集合成为图32C的集合的子集合。因此，根据各个预测模式集合进行编码的编码数据在基于更高位的集合的安装中可以进行译码。

这样的运动补偿模型的变更，也可以作为图像编码方式的简档进行定义，从而按用途不同规定可以利用的运动补偿模型。所谓简档，在规定多个编码功能的编码方式中，是通过按用途不同定义所需要的编码功能的子集合而获得安装、计算量负担与编码效率的平衡的结构。图32A～图32C所示的预测模式的集合，可以将它们作为在各个简档中利用的预测模式集合进行处理，另外，也可以将各个简档作为更高位的简档的子集合，采用定标简档结构。

这时，将运动补偿的变更和残差编码的单位独立地处理时，则编码器和译码器在安装上就非常理想。在H.26L的情况时，残差编码按4×4像素单位进行，所以，宏块的分割模型也采用4×4像素单位块。这样，运动补偿模型的变更作为向残差编码块的各运动矢量的归属的改换进行处理，所以，从安装效率的观点看，效果很大。

②运动矢量信息的预测编码

通常，在低位速率下，为了提高运动矢量信息的开销比率，必须将检测的运动矢量信息高效率地编码。通常，在宏块的单位中，活动的大小和方向都是平衡的，在这个意义上，通常运动矢量其中与附近块类似的值。从这样的观点考虑，运动矢量根据附近的运动矢量决定预测值，并将其预测残差数据进行编码。下面，说明本实施例的运动矢量编码方法。

在H.26L编码方式中，具有将过去的多个已编码的帧图像作为参照图像存储到帧存储器6内并指定其中的某一个进行运动补偿预测的结构。这在特别是静止背景前存在动区域而由于动区域的活动而背景掩蔽的图像中，可以期待有效的预测。在本实施例中，在运动检测部2中可以利用该结构，并且在宏块内存在2条运动矢量时，可以分别变更参照帧。

在H.26L图像编码方式的帧间预测模式中，不论在宏块内如何进行动态分割，由于运动矢量的条数多，必须根据同一参照帧求各运动矢量，但是，在本实施例中，不使用多数的运动矢量削减开销，通过允许将参照帧切换信息赋予各运动矢量，可以进一步提高运动补偿预测的效率。这时，参照帧切换信息多数可以采用同一宏块内或邻近的宏块或者与子块的切换信息近似的值。通过利用这一点预测切换信息或统一进行编码，可以削减参照帧切换信息所需要的代码量。

当然，参照帧切换信息本身必须作为附加信息进行传输，所以，在是需要这样的切换的简单的图像时，可以采用在宏块内可以选择使参照帧相同的规则的结构。这时，例如，在帧或帧群的单位中，可以考虑多路化用于识别是否允许宏块内的参照帧变更的标志信息。这样，译码装置在宏块内参照帧不变更时可以对宏块逐个将参照帧切换信息进行译码。

另一方面，可以使参照帧按运动检测的单位变化时，在相互相邻的运动检测单位间参照帧不同时，这些运动矢量间的相关关系降低。即，这时运动矢量的预测精度降低。

例如，图7A表示现在的宏块为模式1而其左、上、右上的宏块分别为模式0、1、8的情况。这时，如图中的箭头所示，根据附近预测模式的上下文关系即动态分割的连续性，左片段的运动矢量都与左、上方的相关关系高，右片段的运动矢量都与上、右上方的相关关系高。即，在图7A中，现在、左、上、右上都参照相同的参照帧时，不论哪个预测值都可以高精度地进行预测。但是，例如，在使用上方的宏块的2个运动矢量与现在的宏块的运动矢量不同的参照帧、左方的宏块使用同一参照帧时，则左侧的宏块的运动矢量的预测精度更高。

另一方面，在图7B中，上方的宏块使用与现在的宏块不同的参照帧时，与上方的宏块的活动的连续性就没有了，并且，不仅上下文关系不能决定预测应使用上、左方的宏块中的哪个运动矢量，而且由于不能期待活动的连续性，所以，不能期待高的预测精度。

为了解决这样的问题，在本实施例中，根据附近预测模式的上下文关系添加预测候补的优先度，自适应地决定运动矢量预测值。附近预测模式信息和参照帧切换信息本身使用已译码的信息，所以，不需要运动矢量预测值决定步骤用的特别的附加信息。下面，说明具体的运动矢量预测值决定处理的流程。

1)对各片段决定成为预测值候补的附近运动矢量。图8A～图8C表示模式0、1、7的例子。在图8A的模式0中，运动矢量只有1条，所以，将划了斜线的块位置的运动矢量作为候补。在图8B的模式1中，白区域、灰色区域(在图8B的宏块内划了斜线的区域)分别存在运动矢量，所以，对于白区域的运动矢量，将划了斜线的块作为预测值候补，对于灰色区域的运动矢量，将划了横线的块位置的运动矢量作为预测值候补。在模式1的图8B中，在宏块上方的中央部，划了斜线的块与划了横线的块叠加。在图8C的模式7中，白区域与上部缺乏活动的连续性，所以，仅在左方的划了斜线的块位置的运动矢量作为预测值候补。在灰色区域，将划了横线的块位置的运动矢量作为预测值候补。对各模式预先决定这些预测候补位置，并在编码装置和译码装置间所共有。

2)在包含预测值候补的宏块中特定包含使用同一参照帧的预测值的宏块。只要保持了已译码的附近宏块的信息，就可以判断附近是否使用了同一参照帧。

3)在2)特定的宏块中根据预测模式信息特定预测使用优先度高的宏块和运动矢量，将该运动矢量作为预测值。预测使用优先度如图9所示的那样考虑与附近的活动的连续性，对各预测模式预先固定地定义，在编码装置和译码装置中所共有。在图9中，例如以模式5为例进行说明时，成为现在运动矢量预测的对象的宏块的预测模式为模式5时，在其上方的宏块中，定义模式值在0、6、2、8、9、12、13的顺序中活动的连续性的优先度高。另外，左方的宏块的模式值定义在5、0、2、8、12的顺序中优先度高。对于右上方的宏块，同样也进行定义。例如，在上方和左方优先顺序相同时，可以将任意某一方定为预测值。即，在本例中，在本身的预测模式为模式5而进行灰色区域的运动矢量的预测时，上方、左方的预测候补位置的运动矢量使用同一参照帧，右上方的使用不同的参照帧，并且，在上方出现模式13、在左方出现模式5时，就将左方的运动矢量作为预测值，处于最优先地位。

4)如图8C的模式7的白区域那样，预测候补位置仅为1个时，如果是同一参照帧，就直接将其作为预测值使用，如果是不同的参照帧，就使用指定位置的多个预测值候补决定预测值(例如，使用帧间预测)。

5)尽管有多个预测值候补位置，不论哪个附近宏块都不能期待活动的连续性时(是未包含在图9的优先顺序的预测模式时)，就使用所有的预测值候补进行预测值的决定(例如，帧间预测)。

6)预测值候补的所有的运动矢量在使用与要预测的运动矢量不同的参照帧时，使用所有的预测值候补进行预测值的决定(例如，帧间预测)。运动矢量的编码使用根据以上处理的结果而得到的预测值将预测残差数据进行可变长编码。

另外，运动矢量的预测值也可以如图10A～图10D那样固定地供给。在这些图中，白箭头表示对白区域的运动矢量的预测的方向，黑箭头表示对黑区域的运动矢量的预测的方向。以图10C的模式4为例时，在模式4的白区域的运动矢量的预测中，从白区域中的上方开始位于与第3个子块左邻的位置的子块的运动矢量作为预测值。在该规则中，未充分考虑与附近的活动的连续性，但是，由于固定地分配了预测位置，所以，可以轻而易举地获得关于运动矢量预测处理的装置。在图10A～图10D中，作为预测值所使用的预定的块使用不同的参照帧时，其连续性将不存在，最好切换为帧间预测等方法。

③压缩流语法

将从本实施例的编码装置输出的压缩流24的宏块数据的语法与图11A的H.26L的现行语法比较，示于图11B。

这些图所示的行程信息(RUN)，是将判定为上述跳跃模式的宏块的数编码的数据，从第n个宏块到第n+5个宏块之间是跳跃、第n+6个宏块不跳跃时，行程信息＝5中央的编码数据就赋予第n+6个宏块数据的开头。宏块类型信息(MB_Type)表示图1的预测模式3。

作为帧间预测模式，此处识别图4A～图4G所示的7种。图11A的帧内预测模式信息(Intra_pred_mode)是在帧内预测模式中为了识别多个空间预测方法而使用的信息，在选择了帧内预测模式时可以省去(图11A的箭头P1)。参照帧信息(Ref_frame)是在选择了帧内预测模式时指定运动矢量指示的参照帧的号码的数据，仅将此前的1帧作为参照帧使用时可以省去(箭头P2)。运动矢量差分值(MVD)是与运动矢量的预测值的差分值，按水平、垂直成分的顺序分别多路化。这里，如图4G所示，在H.26L中，运动矢量最大为16条，所以，运动矢量差分值的数据最大多路化16个(即，箭头Q1表示最大16次的循环)。运动矢量差分值的个数由宏块类型信息决定。在选择了帧内预测模式时可以省去(箭头P3)。在以上的数据之后，多路化预测残差信号的正交变换系数数据(Texture Coding Syntax)。

另一方面，在图11B所示的本实施例的语法中，在宏块类型信息中识别图6A～图6D所示的14种帧间预测模式(帧内预测模式视为与H.26L相同)。另外，对于1个运动矢量，使之与1个参照帧信息对应，所以，参照帧信息与运动矢量差分值总是作为1组而多路化的。参照帧信息与运动矢量差分值的组的个数由宏块类型信息决定。最大个数为2个(即，图11B的箭头Q2表示最大2次的循环)。选择了帧间预测模式时就如箭头P4所示的那样省略帧内预测模式信息，另外，选择了帧内预测模式时就如箭头P5所示的那样省略参照帧信息和运动矢量差分值。

这时，参照帧信息大多采用与同一宏块内或邻近的宏块或者子块的参照帧信息近似的值，所以，可以利用它进行编码。例如，对于同一宏块内的2个参照帧信息的值的组合分配1个代码，根据组合图形的发生概率构成代码，可以降低多数发生的组合的代码量。

图33A表示H.26L的参照帧信息的代码结构，图33B表示对参照帧信息的组合分配的代码的例子。例如，同一宏块内的参照帧信息不论哪个块都为0时，则在图33A的代码中，2个参照帧信息需要2位，与此相反，在图33B的代码中，用1位就可以进行编码，从而可以降低代码量。这时，关于参照帧信息的代码与图11B的语法不同，如图33C所示，与运动矢量差分值不成组，仅与各宏块多路化1个。图33C的箭头P26、P27表示省略该处理而进行跳跃，箭头Q11表示最大2次的循环。

另外，也可以根据邻近的宏块或子块的参照帧信息进行预测，切换代码。例如，和上述运动矢量的预测一样，可以如图10A～图10D所示的那样固定地分配预测位置，将与预测位置对应的参照帧信息作为预测值。由于也存在象模式0那样不分配固定的预测位置的情况或由于是帧内预测模式等而预测位置与参照帧信息不对应的情况，所以，对于这些情况就使用已定的预测值。根据得到该预测值时的参照帧信息的值的发生概率构成代码，并根据预测值切换代码。

例如，将图34A的代码采用变更前或预测值为0时的代码，作为一例，预测值为4时的代码，使用图34B那样构成的代码。参照帧信息大多采用与预测值相同的值，预测值为4时，如果参照帧信息成为4的概率高于参照帧信息成为2的概率，通过使用图34B的代码，可以比仍然使用图34A的代码时降低参照帧信息的代码量。这时，参照帧信息与图11B相同，与运动矢量差分值总是成组地多路化。

虽然图中未示出，但是，在正交变换系数数据中，有表示是否存在应按宏块内的8×8块的单位进行编码的数据的有意义系数存在识别信息(CBP：Coded Block Pattern的略称)，通过使用该数据，在没有有意义系数的8×8块中可以省去一切信息传输，从而可以提高正交变换系数数据的编码效率。图35A～图35C表示该例。宏块如图35A所示的那样进行分割而编码，并且在各子块(4×4块)中，用空白表示的块中没有有意义系数。这时，如图35B所示，按8×8块的单位将有无有意义系数的信息进行编码并传输，通过预先指示有无包含在8×8块中的各4×4块的正交变换系数数据，可以省去各4×4块的信息传输，从而可削减代码量。

使用本实施例的预测模式时，在选择了使用2条运动矢量的图形的情况下，通过该分割提高了预测效率，所以，可以预想在位于分割边界处的预测残差信号中应编码的系数数据很少。特别是在模式3以后的不均匀分割、倾斜分割中，在8×8块的内部存在分割边界，可以认为对于该部分不存在需要编码的系数数据的概率增高。因此，与该状况对应地，可以根据预测模式变更有意义系数存在识别信息的可变长编码表或算术编码的概率表。这样，便可根据预测模式而提高有意义系数存在识别信息的编码效率。

另外，使用本实施例的预测模式时，宏块分割为没有变化的部分和变化大的部分，可以认为有无有意义系数在各分割区域是一定的。这时，如在H.26L中使用的那样，对各8×8块不是指示有无有意义系数，而是如对各分割区域指示有无有意义系数那样构成有意义系数存在识别信息并进行编码，从而可以降低有意义系数存在识别信息所需要的代码量。图35C表示该例。如图35B所示的那样按8×8块单位传输有无有意义系数的信息时，其图形数增多，但是，如图35C所示的那样对分割区域传输有无有意义系数的信息时，可以减小图形数，从而可以削减有意义系数存在识别信息所需要的代码量。

下面，说明译码装置的译码处理顺序。图12表示译码装置的处理流程。

首先，在可变长译码部25中，检测表示图片(即图像的各个帧的编码数据)的开头的同步字(S101)，将图片头译码(S102)。在图片头中，包含识别该图片是内部编码的图片(通过帧内预测将所有的宏块编码的图片，以下称为I图片)还是使用帧间预测的图片(以下称为P图片)的图片类型信息和正交变换系数数据的量化参量等的值。然后，进入由图11B的语法构成的各个宏块数据的译码。在宏块的层中，先将行程信息译码(S103)。行程信息的数据的定义如前所述，发生与该行程信息的数等量的跳跃宏块。对于跳跃宏块，在帧存储器26中存储的指定的参照帧上，将位于相同位置的16×16像素区域直接作为译码图像数据而获得(S104、S105)。获得译码图像的处理，通过将运动矢量0和指定的参照帧号码供给运动补偿部5而进行。在行程信息表示该图片的最终宏块时(S106)，在该时刻结束该图片的可变长译码处理，在循环滤波器21中进行块变形除去处理后(S118)，转移到下一图片的可变长译码处理。

关于通常的编码宏块，进入步骤S107，进行宏块类型信息的译码。据此，确定预测模式3。预测模式3表示帧内预测模式时(在S108为肯定的判断时)，进行帧内预测模式信息的译码(S109)。正确地说，在H.26L中有按字块(4×4块)单位进行帧内预测的内部4×4模式和按16×16像素的单位进行帧内预测的内部16×16模式的2种帧内预测模式，而需要帧内预测模式信息的只有内部4×4模式，作为本实施例的说明由于主旨不同，所以省略了对这些处理的不同的详细说明。在确定了帧内预测模式信息时，在空间预测部9中，根据附近的图像数据生成帧内预测值(S110)。

另一方面，在预测模式3表示帧内预测模式时(在S108为否定的判断时)，该模式就成为表示图6所示的某一模式的值。因此，在该时刻确定应将哪些组的参照帧信息和运动矢量充分值进行译码(在模式0为1组，在除此以外的模式中为2组)。按照该信息，将参照帧信息与运动矢量充分值的组进行译码。但是，参照帧信息是否多路化，要与上述图片类型的信息协调，所以，必须判断在图片类型的值中是否存在参照帧信息(S111)。

另外，虽然图中未示出，但是，如前所述，在利用同一宏块内或邻近的宏块或者子块的参照帧信息的值进行参照帧信息的编码时，与其相应地根据参照帧信息的组合信息或者在利用预测值进行代码的切换后，进行参照帧信息的译码。

有参照帧信息时，在将该值译码之后，将运动矢量差分值译码(S112、113)，在没有参照帧信息时，仅将运动矢量差分值译码(S113)。根据这样得到的参照帧信息、运动矢量差分值、由宏块类型信息表示的预测模式和附近的预测模式信息以及与图8A～图8C和图9所示的编码装置相同的预测值候补位置和预测使用优先度决定运动矢量的预测值，将与宏块内的所有的子块对应的各运动矢量信息复原。将该运动矢量信息4向运动补偿部5传输，运动补偿部5根据指定的参照帧信息和运动矢量生成对各个子块的运动补偿预测值(S114)。

以上的处理结束时，由可变长译码部25进行该宏块的预测残差信号的正交变换系数数据17的译码(S115)，然后由逆量化部18和逆正交变换部19进行预测残差信号的复原(S116)。最后，通过将在S110或S114得到的预测值相加，获得该宏块的译码图像(S117)。然后，转移到下一宏块的译码处理。

按照以上所述的编码装置和译码装置，通过少的开销可以可靠地捕捉宏块内的各种各样的活动，从而可以高效率地进行图像传输、记录、再生。另外，在本实施例中，在以各种各样的形状动态分割宏块内提高预测效率的同时，成为运动补偿预测对象的区域通过子块的组合而构成，所以，在如H.26L图像编码方式那样进行子块单位的预测残差信号编码时，由于在子块的内部不存在预测的分割边界，所以，不会发生不连续的波形。这在预测残差信号编码中使用DCT时不会发生多余的高频波系数，在使用矢量量化时也可以抑制特异的信号波形，在以由代码簿规定的通用的波形的表现的意义上，可以进行高效率的编码。

实施例2.

下面，说明实施例2。在本实施例中，说明在按宏块单位进行编码的图像编码装置中每个宏块最大使用2条运动矢量、对将宏块分割为4×4像素单位的各子块分配上述2条运动矢量而进行运动补偿预测的图像编码装置和译码装置。实施例1对子块的运动矢量分配是以固定图形供给的，与此相反，在本实施例中，说明可以任意指定向子块的运动矢量分配的编码装置和译码装置。

在本实施例中，除了与在先有例的图1和图2所示的编码装置和译码装置中包含在压缩流24中的预测模式3(特别是帧间预测模式)、运动矢量4的定义、运动检测簿2和运动补偿簿5的动作不同外，可以用相同的部件和动作说明。下面，对于编码装置以运动检测部2的动作和预测模式3、运动矢量4的定义为中心进行说明，对于译码装置以根据预测模式3和运动矢量4将图像信号译码的顺序为中心进行说明。

首先，以本实施例的预测模式3的结构和与其相应的运动矢量4的检测顺序为中心说明编码装置的处理和向译码装置传输的压缩流的结构。本实施例的预测模式3如图13A～图13C所示，不仅上述图6A～图6D的固定的运动矢量分配而且作为可以指定任意的分配状况而扩张的信息进行定义。即，如果令2条运动矢量的ID分别为0、1，则可如图13A～图13C那样作为4×4的二进制映射信息来表现。这里，ID的分配具有例如作为压缩流中的传输顺序的意义。

下面，说明如图13A～图13C那样可以分配的运动矢量4的决定方法(在运动检测部2中实施)和图13A～图13C表现的预测模式3的编码方法。在实施例1中只要评价了固定的运动矢量的分配已决定的多个图形就可以了，所以，运动矢量的检测，在各个区域固定地实施就可以了，但是，本实施例中运动矢量的检测，必须考虑运动矢量分配的最佳情况而进行实施。

图14表示检测的一例的顺序。首先，在S201实施以16×16像素为单位的运动矢量的检测。这可以是和图4A的模式1、图6A的模式0的情况相同的运动矢量检测。设根据检测结果而得到的运动矢量为第1运动矢量V1。其次，使用根据该检查结果而得到的预测值求各4×4的子块的预测评价值(这里，使用充分绝对值和SAD：Sum of AbsoluteDifference)，将预测评价值比指定值大的子块作为例外子块区域而抽出(S202)。这样，可以得到斜线部表示例外子块区域的运动矢量分配图40。该例外子块区域表示用第1运动矢量V1不能进行充分的预测的区域，通过特定例外子块区域，可以根据预测效率进行运动矢量分配。然后，进行仅将例外子块作为对象的运动矢量的检测，检测第2运动矢量V2(S203)。

在以上的处理过程中，不仅预测评价值而且也考虑运动矢量值或由例外子块区域决定的运动矢量分配信息(即，图1的预测模式3)的代码量进行检测处理。另外，也可以如实施例1那样第1和第2运动矢量的检测分别个别地变更参照帧而进行检测。

图15表示别的检测例的顺序。在该例中，首先以子块为单位进行运动矢量的检测，求16条矢量(S204)。然后，对于宏块全体，将16条的矢量分组为2条矢量V1、V2，以使从代码量和预测效率的观点考虑为最佳情况(S205)。特别是通过考虑预测模式3的代码量进行矢量分配，在将宏块进行编码时，可以检测成为最佳的速率变形平衡的运动矢量。根据以上的方法，在运动检测部2中决定预测模式3和运动矢量4。

下面，使用图16A、B说明预测模式3的信息的编码方法。编码的顺序示于图17的流程图。设图16A、B的宏块C是编码对象的宏块、宏块A是是位于C之上的宏块、宏块B是位于C的左边的宏块。各宏块分割为4×4的子块单位，以白色和灰色的不同表示运动矢量分配(图1的预测模式3)的情况。编码根据宏块A和B的预测模式的状况将子块的运动矢量分配的变化点进行编码。首先，根据宏块A和B的预测模式状况决定继承A和B的某一各预测模式的状况(预测优先上下文关系)(图17的S206)。另外，将行计数器L复位为0。在图16A中，显然可以知道宏块A的活动的连续性高，所以，如箭头所示，将垂直方向的运动矢量分配的变化作为检测对象。以后，将其称为垂直预测优先上下文关系。相反，如图16B所示，在判定宏块B的活动的连续性高时，将水平方向的运动矢量分配的变化作为检测对象。以后，将其称为水平预测优先上下文关系。在图16A、B中，用粗线表示宏块C按各个预测优先上下文关系进行编码时的变化点。下面，用图16A的事例进行说明。

在处理行L时，先确定剩余运行数r、运行开始点a₀、运行结束点a₁(S207)。运行结束点a₁表示分配与按由预测优先上下文关系指定的宏块(图16A的情况为宏块A)的最相邻的子块分配的运动矢量不同的运动矢量的子块位置。

但是，实际上在宏块A和C中通常不是连续地检测相同的运动矢量，所以，需要采用将例如按预测优先上下文关系指定的宏块的最相邻子块的运动矢量分配状况(0或1)视为与编码对象的宏块的初始运行开始点a₀的分配相同而开始进行处理的等方法。

作为别的方法，还有将预测优先上下文关系封闭在宏块C内有用的方法。即，在16个子块中，左上角的子块保留着0或1的值，对于最上方的4行，将左边相邻的子块的变化点取为1，对于最左边的4列，总是将正上方的子块的变化点取为1。通过这样决定，可以根据预测优先上下文关系决定其余的子块的变化点。

在行L的开头，r＝4、a₀＝0，在图16A的例子中，可知L＝0的a₁为3。这样，行L的继续分配相同运动矢量的子块数由R＝a₁-a₀决定。使用由剩余运行数r决定的代码长CB(r)将该值进行可变长编码(S208)。代码长CB(r)的例子示于图18A～图18C。在进行R的编码时，其余的R的发生状况由于途中的经过而受到制约，所以，通过根据剩余运行数r切换代码长，可以提高编码效率。例如，在图16A的L＝0时，首先得到r＝4、R＝3，所以，使用CB(4)进行R＝3(分配了代码1，代码长为3位)的编码。其次，利用r＝r-R更新剩余运行数r，同时将运行开始点a₀转移到a₁(S209)。这样，则得r＝1，但是，剩余运行数为1就表示在该时刻行L的运动矢量分配已全部确定了，所以，不必特别传输代码。这就是不定义CB(1)的理由。因此，在r≤1时，对L的计数结束，转移到下一行的处理(S210、S212)。相反，r＞1时，就检测新的变化点(S211)，反复进行上述处理。在图16A的宏块C的最后行L＝3中，由于最开始的子块突然成为了运行结束点，所以，将CB(4)的“初始反转0”的代码编码，以后，作为剩余行程信息数r＝3进行处理。在行数L成为4的时刻，结束编码处理。

以上，在图16A中，在L＝0时，以3位进行预测模式3的编码，在L＝1时，以4位进行预测模式3的编码，在L＝2、3时，以6位进行预测模式3的编码，此外，加上预测优先上下文关系的代码量(这里，设水平和垂直都为3位)，就以18位进行预测模式3的编码。在图16B的情况下，在L＝0、1时可以用4位进行编码，在L＝2、3时可以用各1位进行编码，加上上下文关系，可以用13位进行编码。即使是二进制信息，也可以用16位进行表现，所以，成为16位以上的表现的情况，通过换码等方法也可以用16位固定长代码进行编码。此外，如图16A所示的那样，对于作为分割图形预想出现频度高的图形(图6B～图6D所示的情况)，预先分配固定的短代码表现除此以外的任意的分割图形时，可以使用上述编码的代码。按照上述编码处理顺序，可以高效率地将表示子块单位的任意的运动矢量分配状况的图1的预测模式3的信息进行编码和传输。

按照上述说明，将从本实施例的编码装置输出的压缩流24的宏块数据的语法与H.26L的语法(图19A)进行比较，并示于图19B、C。图19B是本实施例的最简单的语法例，宏块类型信息仅包含是帧内预测还是帧间预测的判断信息，对于帧内预测，在16×16像素单位运动补偿时分配最短代码，对于预测优先上下文关系的信息分配次短的代码。预测优先上下文关系信息即表示是利用任意分割图形的帧内预测模式。

帧内预测的出现频度通常比帧间预测低，所以，分配比预测优先上下文关系信息长的代码。例如，如果根据H.26L的可变长代码定义，对于16×16像素单位运动补偿模式就分配代码“1”(1位)，对于预测优先上下文关系信息就分配代码“001”、“011”(3位)。选择帧内预测模式时，和H.26L一样，将帧内预测模式信息进行译码(帧间预测模式时如箭头P9所示，省略了帧内预测模式信息)。其次，将用上述编码方法编码的子块单位的运动矢量分配信息多路化。它也可以是16位的固定长代码。在帧内预测模式时，该信息如箭头P10所示，省略了相应的处理。以后的处理，和实施例1所述的一样。

图19C表示别的语法结构，利用代码“001”、“011”(3位)作为将任意分割图形的帧间预测的模式信息以可变长还是以固定长(16位)进行传输的识别信息使用，取代用宏块类型信息表现预测优先上下文关系。表示是可变长时，在预测优先上下文关系(pred_ctx)之后，多路化运动矢量分配信息(pattern_info)。另一方面，表示是固定长时，就用16位的固定长代码多路化。另外，在图19B中，在宏块类型信息中，也可定义为可以表现图6B～图6D所示的表示特定的出现频度高的分割图形的信息和表示是除此以外的图形的换码代码。这时，在运动矢量分配信息中，包含预测优先上下文关系的值。这样，出现频度高的分割图形就不需要运动矢量分配用的追加信息，从而可以以更高的效率进行编码。在图19A～图19C中，箭头P6～P15表示省略了相应的信息，箭头Q3表示最大16次的循环，箭头Q4、Q5表示最大2次的循环。

译码装置的动作流程示于图20。本实施例的译码装置与实施例1的译码装置相比，除了预测模式信息3的译码顺序不同外，动作相同，所以，仅说明预测模式信息3的译码处理的部分。

在图20中，S101～S118是与图12所示的实施例1的译码装置的处理步骤相同的处理步骤。在图20的S108表示是帧间预测模式时，在S215就将图19B的运动矢量分配信息译码。这时，预测优先上下文关系信息已包含在宏块类型信息中，这里，根据在S214的处理过程中译码的预测优先上下文关系信息，使用CB(r)进行译码处理。由于这可以通过一般的可变长译码处理而实施，所以，省略了详细的说明。在确定了全部16个子块的运动矢量分配的阶段，结束S215的处理，转移到参照帧信息和运动矢量差分值的译码处理。以后的处理，与实施例1所述的一样。

另外，在图20中，可以说明基于图19C的语法的译码处理。这时，在步骤S214，运动矢量分配信息取代预测优先上下文关系信息表示是可变长代码还是固定长代码。根据该信息，在步骤S215，根据图19C的语法进行运动矢量分配信息的译码。是可变长代码时，先进行预测优先上下文关系信息的译码处理。进而，在宏块类型信息包含几个出现频度高的分割图形(例如，图6B～图6D的模式1～14)的识别信息时，在S214的步骤，就已决定了分割图形，所以，除了检测到表示任意分割图形的换码代码时以外，都跳过S215的步骤。

按照上述编码装置和译码装置，可以按子块的单位任意分割而捕捉宏块内的各种各样的活动，通过少的开销开头高效率地进行图像传输、记录、再生。

实施例3.

下面，说明实施例3。在本实施例中，说明表示实施例2的任意的分割图形的图1的预测模式3的别的编码方法。图21表示其处理流程，是在图16A中使用的具体例的处理流程，图22是该处理的说明图。首先，在图21的S301，决定和实施例2相同的预测优先上下文关系。这里，选择了垂直预测优先上下文关系时，将从宏块A的最下端的子块行看运动矢量分配在何处变化作为变化点而进行检测(S302)。例如，在图22A的宏块A、C中，粗线部分作为变化点进行检测。这样，就生成了以有变化点为1、无变化点为0的图22B的二进制映射。使用指定的扫描表(例如图22C的扫描表)扫描该图，生成零行程(S303)。

例如，由于这里采用了垂直预测优先上下文关系，所以，使用用于对图22C的垂直方向进行扫描的扫描表将图22B的二进制映射。结果，就生成了{3、1、3、5}这样的零行程的组。通过将该信息进行可变长编码(S304～S307)，进行预测模式3的编码。在扫描的途中变化点消失时(在S305为肯定的判断时)，以后的零行程信息就仅由1个终端代码(EOB)所代替(S306)。

相反，在扫描结束之前存在变化点时，利用零行程与变化点的数的总和为16的情况确定最后的零行程的代码，所以，不利用终端代码进行编码(在S307为肯定的判断时不进行S306的处理)。

对于扫描表，可以使用例如图23A的锯齿形扫描、图23B的水平扫描、图23C的希尔伯特扫描，除此以外，也可以是任意的表。可以根据预测优先上下文关系变更扫描(在选择了水平预测优先上下文关系时就采用水平扫描等)，也可以固定地使用某一特定的通用的扫描规则。另外，也可以将用于切换扫描表的专用标志作为预测模式3的信息的一部分进行编码。这时，在编码装置中可以从多个扫描方法中有选择地使用编码效率最高的扫描表。

利用上述编码方法得到的预测模式3的语法，通过置换为实施例2的编码方法可以实现图19B、C所示的运动矢量分配信息。另外，译码装置的结构也与图20的S215的步骤将本实施例中所述的编码方法的代码进行译码而确定预测模式3的处理对应。

在本实施例中，说明使用预测优先上下文关系信息的事例，但是，与预测优先上下文关系无关地按某一固定的规则检测变化点，也可以采用不将预测优先上下文关系的信息进行编码的结构。这时，扫描表可以时固定的，也可以设置标志，用以切换效率高的表。

按照上述编码装置和译码装置，可以按子块的单位任意分割而捕捉宏块内的各种各样的活动，从而可以通过少的开销而高效率地进行图像传输、记录、再生。

实施例4.

下面，说明实施例4。在本实施例中，说明不仅对子块单位变更运动矢量分配而且为了可以区别内部/帧间预测而构成图1的预测模式3的编码装置和译码装置。这样，可以选择内部、中间(多个运动矢量中的某一个)对各子块进行编码，所以，可以比按宏块单位进行模式切换的方式进行与实际的图像的性质适应的有效的编码。

首先，使用图24A、B的例子说明本实施例的图1的预测模式3的定义。在H.26L编码方式中，作为帧内预测，准备了两种预测模式，即按4×4的子块单位切换用帧内预测模式信息识别的多个预测方法进行空间预测的内部4×4模式(INTRA_4×4)和按宏块的单位切换多个预测方法进行空间预测的内部16×16模式(INTRA_16×16)。

对帧内预测模式信息，共计定义了6种(1～6)空间预测方法，可以按子块的单位指定这些方法。因此，可以扩展该方法，对于4×4子块的预测模式，协调运动矢量分配信息。即，可以使用2条运动矢量时，就将其预测方法的ID定义为7和8。根据该定义对子块分配预测方法1～8的例子示于图24A、B。在图24A中，在对角方向进行内部/中间的区别，在帧间预测模式中使用2个运动矢量。

在图24B中，宏块分割为上下两部分，是上部为帧内预测、下部为帧间预测的例子，在该例中，帧间预测只使用1条运动矢量。以下，将该多值的预测分配信息称为多值预测识别映射信息。

对于内部16×16模式和16×16像素单位运动补偿模式(以下，称为中间16×16模式)的识别，不需要4×4子块单位的预测分配信息，所以，仅利用宏块类型信息就可以实现识别。即，将宏块类型信息分为内部16×16模式、中间16×16模式和子块单位任意预测分配的3种。其次，在是子块单位任意预测分配的模式时，通过将上述多值预测识别映射信息编码而确定所有的子块的预测方法。

在该例中，在编码装置的运动检测部2中，可以对内部16×16模式、中间16×16模式和子块单位任意预测分配的所有的可能性进行评价，选择编码效率最高的模式。当然，也可以构成固定为某一模式组合而进行编码的装置。子块单位预测的最佳的检测可以考虑各种各样的方法，但是，可以扩展例如实施例2的图14所示的方法，例外子块区域中具有比帧内预测的预测评价值大的预测评价值的子块可以利用帧内预测等方法确定识别映射信息。

下面，说明图24A、B所示的多值预测识别映射信息的编码方法。该识别映射信息可以用与实施例2和实施例3所示的运动矢量分配信息基本上相同的编码方法进行编码。所不同的是，实施例2和实施例3的编码对象的信息为二进制映射，而本实施例的编码对象是灰度映射。

(1)编码方法1

为了用实施例2的方法实现，将各个模式信息在位平面上展开。例如，可以分为表示内部或中间的平面、表示有无使用各个帧内预测方法的平面(共计6个平面)和运动矢量的分配平面等。这些平面可以用实施例2所示的方法进行编码。例如，将图24A的多值预测识别映射信息按上述规则在位平面上分解时，就成为图25A～图25C所示的情况。这里，图25A的内部/中间分类的平面和图25C的运动矢量分配的平面都使用了预测优先上下文关系，但是，对于帧内预测方法的平面，仅对有无预测方法的情况构成位平面。

通过用实施例2的方法按指定的顺序将图25A～图25C的共计8个平面的二进制映射进行编码，可以表现本实施例的预测模式3的信息。另外，开始，通过优先传输内部/中间的识别，关于帧内预测方法的图25B的6个平面和图25C的运动矢量分配的平面可以如图26B、C所示的那样分别仅将与内部、中间对应的子块作为位平面数据(即，图26B、C的灰色部分不作为编码对象)。这样，便可有效地降低应编码的信息量。另外，也可以使用实施例3的编码方式将以上的平面信息进行编码。

(2)编码方法2

另外，作为实施例3的变形而进行编码的方法，可以考虑将预测方法的无变化点取为0而将同一预测方法继续的无变化区间进行行程表示的方法。利用该方法时，图24A的情况如图27那样进行变换(用水平预测优先上下文关系检测变化点)。按零行程与变化点的预测方法ID的组将该信息编码。在本例中，可以使用图23B的水平扫描展开成{(5、7)、(0、1)、(2、7)、(3、8)、(1、7)}这样的组。对这些组分配可变长代码而进行编码。扫描表准备了标志，可以切换为效率高的表来使用。

另外，这时，作为帧间预测的7和8的值的变化视为不是预测方法的变化，从而作为无变化点，而另外将运动矢量分配信息的平面进行编码。

(3)编码方法3

可以扩展为对先有例的H.26L编码方式的帧内预测模式信息追加帧间预测的标志，以运动矢量分配平面的形式传输帧间预测部分。

(4)编码方法4

预先例如图6A～图6D那样固定地分配内部/中间分类图形和运动矢量分配图形。所有的内部/中间分割状况和运动矢量分配状况，作为固定图形ID可以由编码器和译码器识别，所以，按照出现频度的顺序将这些图形的ID进行可变长编码。另外，对于内部/中间分割图形和运动矢量分配图形(相当于实施例1)，考虑认为与在附近的宏块中选择的图形的相关关系高，所以，对于内部/中间的分割图形，也和实施例1一样，根据附近宏块的状况定义上下文关系，根据上下文关系切换该可变长编码表或算术编码用的概率表。

按以上的方法编码的预测模式3的语法示于图28～图31。图28～图31分别与上述编码方法对应。在编码方法1中，如图28所示，将运动矢量分配信息在各位平面上进行编码。对于预测优先上下文关系，和实施例2一样，可以封闭在同一宏块内进行定义，也可以不使用该定义。

在编码方法2中，如图29所示，在预测优先上下文关系之后，多路化用于识别扫描表的扫描表标志信息。根据预测优先上下文关系决定扫描表时或固定地决定了扫描表时，就不需要该标志。然后，传输根据扫描的结果而得到零行程与变化点的预测方法ID的组数。

在编码方法3中，如图30所示，利用向帧内预测模式信息追加帧间预测标志的扩展版信息进行扩展，可以指定将6种帧内预测方法加上帧间预测方法的共计7种方法，从而成为向该扩展版信息传输用于指定帧间预测时的运动矢量分配的运动矢量分配信息的结构。

在编码方法4中，如图31所示，作为宏块类型信息，包括内部/中间的分类图形和包含运动矢量分配图形的固定的模式分配图形，扩展为唯一地识别非常多的预测模式值的数据。其次，仅对进行由宏块类型信息指定的帧内预测的区域内的4×4子块另外传输帧内预测模式的识别信息。像语法那样，可以直接使用在例如H.26L编码方式的内部4×4模式中使用的子块单位的帧内预测模式识别信息(帧内预测模式信息)。

在图28～图31中，箭头P16～P25表示省略了该信息，箭头Q7表示最大16次的循环，箭头Q6、Q8～Q10表示最大2次的循环。

在译码装置中，根据图12、图20等的译码动作流程接收以上的各种结构的语法，按照与编码方法规定的顺序相反的顺序确定宏块内的预测模式分配，将图像信号译码。

按照上述编码装置和译码装置，可以按子块的单位任意分割而捕捉宏块内的各种各样的变化状况，从而通过少的开销可以高效率地进行图像传输、记录、再生。

在本实施例中，在预测模式定义中，可以将运动矢量的条数取为3～4条，分别向它们追加预测方法ID而进行分配。

实施例5.

下面，说明实施例5。在本实施例中，说明在实施例1的编码装置和译码装置中安装了关于运动矢量检测处理和运动矢量预测方法的其他部分的例子。

利用在实施例1中所述的图6A～图6D的帧间预测模式时，各模式的运动矢量的检测方法可以如在实施例1的译码装置的动作中所述的那样采用可以用指定的语法解释的任何方法，但是，在本实施例中，说明不太增加运算量的负担而提高预测效率的运动矢量检测方法和采用与其相应的运动矢量预测规则的编码装置和译码装置。在以下的说明中，运动矢量检测处理在图1的运动检测部2中进行，运动矢量预测处理由图1的可变长编码部23(编码装置侧)和图2的可变长译码部25(译码装置侧)进行，在以后的说明中，利用这些处理的流程图进行动作说明。

在图6A～图6D所示的实施例1的帧间预测模式集中，必须对每个宏块检测1条或2条运动矢量。在低速率编码中，仅运动矢量的条数增加的部分在正交变换系数的表现中所能使用的代码量减少，所以，最好考虑运动矢量的代码量的成本与利用检测的运动矢量的预测精度的折衷选择而进行运动矢量的检测。在作为实施例1的基础的H.26L图像编码方式中，设在时间上在i帧之前的参照帧RF_i(i≥1)中检测的运动矢量为MV_i(n，j)(n：宏块位置、j：段号码)，用R_p表示运动矢量MV_i(n，j)和参照帧识别信息RF_i的编码所需要的位量，使用这时得到的预测残差功率D_p和常数λ决定使由下式(1)决定的成本C_p为最小的运动矢量MV_i(n，j)和参照帧RF_i(i≥1)。设定常数λ的值随着目标编码位速率降低而增大，所以，在低速率编码中，位量R_p的制约是严格的。

C_p＝D_p+λR_p…(1)

如在实施例1中所述的那样，在决定运动矢量的预测值后将预测差分值进行编码，所以，检测的运动矢量尽可能接近预测值的位量R_p减小。因此，在H.26L图像编码方式中，推荐将运动矢量探索范围的中心点设定为运动矢量预测值，使运动矢量探索窗的位置自适应地随各段而变化。这样，至少可以削减运动矢量的代码量，使上式的成本C_p成为最小时，就缓和了位量R_p的制约，利用预测残差功率D_p的最小化，可以在有利的条件下进行运动矢量检测。考虑与附近宏块的活动的连续性，也可以期待自适应地使探索窗位置符合预测值与预测残差功率D_p的降低相联系。另一方面，在探索窗的自适应中，存在预测残差功率的计算处理的负担大的问题。

为了说明该问题，图36A将进行运动矢量探索范围的自适应处理的情况进行图式化表示，图36B将不进行运动矢量探索范围的自适应处理的情况进行图式化表示。如图36B所示，探索范围一定，与段无关时，利用段的形状为层次结构，可以削减预测残差功率的计算次数。

例如，在图6D中，对于模式13的上部段(白色段)，通过用唯一决定的探索窗对所有的运动矢量候补进行预测残差功率计算，在模式9中，不必对模式13的上部段内的3个子块再次进行预测残差功率计算，可以仅对其余的3个子块进行预测残差功率计算。与此相反，在图36A中，以使用图10D的运动矢量预测规则为前提时，模式13的上部段与模式9的同一地方的探索位置已不同，所以，不能再次利用该预测残差功率计算结果。

因此，在本实施例中，说明抑制运算量进行探索窗的各段的自适应处理用以提高预测精度的运动矢量检测处理和运动矢量预测规则。本实施例的运动矢量预测规则如图37A～图37D那样固定地决定。在该规则中，与图10A～图10D相比，使用的预测位置的变化小，大致仅使用4种运动矢量预测。

第1种是模式0和模式9、10、13、14的上部段的预测(MV预测①)，这时，采用使用由斜线包围的3个地方的子块(4×4块)位置的运动矢量的中央预测。

第2种和第3种是模式1～8、11、12的预测，如图37B～图37D所示，根据段不同而采用使用左或上方的固定位置的子块的运动矢量的预测(MV预测②、③。从左侧开始的预测为②、从上侧开始的预测为③)。

第4种是模式9、10、13、14的下部段的预测，这时，使用与宏块的右上角的子块相邻的虚线位置的子块进行预测(MV预测④)。

另外，预测所使用的地方的运动矢量使用与现在要进行预测的运动矢量不同的参照帧时或进行内部编码后不定义运动矢量时，仍然应用模式0和模式9、10、13、14的上部段所使用的帧间预测。在图10A～图10D中，对各模式和各段应用了不同的预测规则，但是，通过应用本实施例的预测规则，可以集中为最大4种预测。这样，在进行运动矢量的探索时，即使设定与预测值自适应的探索窗，也可以大幅度地减少预测残差功率的计算次数。

利用以上的运动矢量预测规则在编码装置的运动检测部2中进行的运动矢量检测处理的流程图示于图38。下面，使用图38说明利用上述运动矢量预测规则的运动矢量检测处理。

首先，使用MV预测①求运动矢量预测值，并将其作为探索窗①的中心位置(SA1)。在该探索窗①内，先对模式0检测使成本C_p为最小的运动矢量(和参照帧)(SA2)。这时，对于宏块的各子块，将对探索窗①内的运动矢量候补得到的预测残差功率(用预测评价值(SAD)进行计算)全部作为SAD值①进行保持(SA3)。SAD值①在使用相同的MV预测①进行模式9、10、13、14的运动矢量和参照帧决定时可以再次利用(SA4)。即，仅从作为SAD值①而保持的值中选择并进行相加计算，就可以决定使关于模式9、10、13、14的成本C_p为最小的运动矢量和参照帧，从而不必进行预测残差功率(SAD)的计算。

其次，在SA5，对模式1～8、11、12判断是否可以使用MV预测②、③。这里，对于使用MV预测②、③的模式1～8、11、12，使用在MV预测②、③中使用的预测位置的运动矢量不同的参照帧，在是内部编码时，就判定不能使用MV预测②、③，从而使用SAD值①决定运动矢量和参照帧(SA8)。另一方面，在SA5，如果判定可以使用MV预测②、③，就将使用MV预测②、③求出的运动矢量预测值作为探索窗②、③的中心位置(SA6)，在该探索窗②、③内，分别对模式1～8、11、12检测使成本C_p为最小的运动矢量(和参照帧)(SA7)。然后，在SA9～12，对模式9、10、13、14的下部段进行与SA5～8相同的处理。并且，最后，在SA13，从全部模式中选择实现最小的成本C_p的模式。

通过以上的运动矢量检测处理，在SA4、7、8、11、12的各步骤中，通过根据段的大小决定运动矢量计算顺序，可以进而减少SAD运算量。例如，在模式9、10、13、14的关系中，对于上部段，有模式13

模式9

模式10

模式14的关系。即，模式13的上部段的SAD计算的结果，在模式9的上部段的SAD计算中仍然可以利用，从而与根据SAD值①直接进行相加计算相比，可以减少相加计算次数。对于模式1～8、11、12可以说也是一样的，所以，通过根据它们的层次性进行运动检测处理，可以抑制运算量。

另一方面，在译码装置中，在可变长译码部25的运动矢量语法的译码处理中，可以导入图37A～图37D所示的运动矢量预测规则取代图10A～图10D的运动矢量预测规则来决定预测值，将运动矢量复原。

实施例6.

下面，说明实施例6。在本实施例中，说明在对实施例1的运动矢量分割图形不仅顺向帧间预测而且逆向帧间预测也使用的双向帧间预测的同时使用的、对宏块内的各个分割段可以选择双向预测的预测方向的编码和译码方法。

本实施例和实施例1的情况一样，在先有例的图1和图2所示的编码装置和译码装置中，除了包含在压缩流24中的预测模式3、运动矢量4的语法、运动检测部2和运动补偿部5的动作不同外，可以用相同的部件和动作进行说明。下面，对于编码装置，在以运动检测部2的动作为中心进行说明的同时说明语法，另外，对于译码装置，以在运动补偿部5中生成预测图像的顺序为中心进行说明。

本实施例的运动补偿模型即固定的运动矢量分配的定义，使用和在实施例1中所示的相同的定义。即，如图6A～图6D所示，宏块的一分为二的分割不是单纯的水平分割或垂直分割，而是使用扩展为包括水平、垂直、倾斜和相位的分割的运动矢量分配。

在本实施例中，对于通过运动矢量分配而分割的段，各段进而可以选择双向帧间预测的预测方向。这样，在1各宏块内存在活动不同的物体的边界时，对于通过少的开销可以可靠地捕捉宏块内的各种各样的活动的该段，进而可以从双向预测的多个预测方向中选择并分配可以得到更高的编码效率的预测方向，从而可以提高预测效率。

图39表示本实施例的双向预测方向的例子。在图39中，表示在双向预测帧B_t的宏块M中，使用图6的模式9的分割，并且，对宏块内的2各段分别使用在时间上在前面的参照帧P_t-1的顺向预测F1、而在时间上为后面的参照帧P_t+1的逆向预测B1的情况。

进行宏块M的编码时，在图1的运动检测部2中，作为帧间预测模式，首先从图6A～图6D的各个预测模式中评价和检测可以得到更高的编码效率的预测模式和运动矢量。这时，在本实施例中，在各个预测模式中，进而对2个段从双向预测的多个预测方向中评价和检测可以得到更高的编码效率的预测方向。图39表示这些评价和检测的结果在宏块M中作为预测模式选择模式9并且对于各个段选择不同的预测方向的情况。该选择结果作为以下所示的压缩流中的信息进行传输。

将从本实施例的编码装置输出的压缩流的宏块数据的语法与H.26L中的双向运动补偿预测时的语法(图40A)比较地示于图40B。

在图40A所示的H.26L的语法中，预测方向的信息在表示运动矢量分割图形的预测模式宏块类型信息中仅向宏块传输1个，与预测模式一起进行识别。在使用本发明的运动补偿模型即固定的运动矢量分配的双向预测时的语法时，也采用同样的结构，包含关于各段的预测方向的选择状况的信息，可以作为预测模式宏块类型信息而构成并进行传输。但是，在本实施例中，采用的结构与H.26L的结构不同，采用防止预测模式的可变长编码表长大的结构。

图40B表示本实施例的语法。这里，预测方向的信息向仅对在双向预测中成为与跳跃宏块相当的预测模式的直接(Direct)模式的识别的宏块类型信息传输，其他预测方向的信息作为参照帧信息进行传输，与参照帧号码一起进行识别。另外，在H.26L中，不使用为了识别双向预测中各个方向的预测模式而导入的块尺寸。图40A、B的箭头P28～P36表示省略相应的处理而跳跃过的情况，箭头Q12～Q19表示循环。

图41表示本实施例的宏块类型信息的代码表。该代码表的结构除了直接模式位于代码表的开头外，可以与在实施例1中使用的宏块类型信息的结构相同。另外，省略了对代码号码17以后的内部16×16模式的定义，但是，这些模式都是以H.26L的代码表中对内部16×16模式的定义为基准的。后续的语法随宏块类型信息的内容而不同，在很多预测模式中，用于各段存在参照帧信息，所以，存在2个参照帧信息，在作为没有段分割的预测模式的模式0中，参照帧信息只有1个，另外，在内部4×4模式中，不存在参照帧信息，存在帧内预测模式信息。

图42表示本实施例的参照帧信息的代码表。在H.26L的参照帧信息的结构中，用于识别顺向预测的参照帧号码的号码成为顺序排列的结构，这里，除了参照帧号码外，作为双向预测中的预测方向，包含顺向(Forward)、逆向(Backward)、使用顺向和逆向的预测值的平均值的双向(Bidirectional)的信息，另外，存在各段的参照帧信息。对于顺向预测，可以从多个参照帧这选择，所以，对于顺向预测和双向预测，变更顺向的参照帧的各个代码顺序排列。由于用参照帧信息识别预测方向，所以，后续的语法随参照帧信息的内容而不同，在成为顺向预测时，存在顺向运动矢量差分值FW、在逆向预测中，存在逆向运动矢量差分值BW、在双向预测中，存在运动矢量差分值FW和运动矢量差分值BW。另外，各个运动矢量差分的数随根据宏块类型信息而识别的预测模式而不同。

图42的参照帧信息代码在不使用H.26L的多个参照帧的功能时即顺向预测的参照帧号码只存在1(1 frame back of Forward)时各段中也存在，这时，仅双向预测的预测方向根据参照帧信息进行识别。

另一方面，在译码装置中，根据从压缩流中得到的这些信息进行译码处理，该处理与在实施例1中所示的流程相同，所以，这里省略其详细说明。本实施例的译码装置与实施例1的译码装置不同的地方是，在从压缩流得到的信息中，包含关于随预测模式的各段而不同的双向预测的预测方向的选择状况的信息，按照该情况，图2的运动补偿部5使用随各段而不同的双向预测的预测方向进行运动补偿和生成预测图像。这样，便可生成对各段分配可以得到更高的预测效率的预测方向而得到的预测图像，从而可以根据压缩流得到提高编码效率的译码图像。

在本实施例中，作为运动补偿模型，使用图6A～图6D所示的模型，但是，也可以进而同时使用图4A～图4G所示的容许很多运动矢量条数的运动补偿模型或者切换为图6A～图6D的补偿模型。这时，对分割的各块可以进行预测的变更，可以视为分割数大于2，并同样可以应用本实施例所示的语法和编码、译码方法，对宏块内的各块选择并分配可以得到更高的编码效率的预测方向，可以提高预测效率。这时，在分割数大于2时，关于对各块进行预测方向的选择时的选择状况的信息的开销增多，所以，预测方向的选择仅在使用分割数为2的预测模式时容许，可以根据在各个宏块中使用的预测模式切换是否传输关于各块的选择状况的信息。

关于各段的预测方向的选择状况的信息作为附加的信息进行传输，所以，在是不需要进行那样的切换的简单的图像时，可以选择在宏块帧内预测方向相同的规则。这时，可以考虑在例如帧或帧群的单位中多路化用于识别是否容许进行宏块内的预测方向变更的标志信息。这样，译码装置在宏块帧内预测方向不变更时可以作为包含预测方向的选择状况的语法对宏块仅存在1个语法而动作。

另外，在本实施例中，说明了对宏块内的各段选择双帧间预测使用的预测方向进行运动补偿预测的编码、译码方法，但是，也可以构成利用完全相同的方法对宏块内的各段选择帧间预测或帧内预测进行帧间预测或帧内预测的编码、译码方法。通过采用这样的结构，可以仅对不能通过帧间预测而有效地进行预测的段选择并分配帧内预测，从而可以进而提高预测效率。

按照上述本实施例的编码方法和译码方法，通过少的开销可以可靠地捕捉宏块内的各种各样的活动，同时，可以对分别捕捉其他活动的各段应用适当的双学帧间预测或帧内预测，从而可以高效率地进行图像传输、记录、再生。

为了达到上述本发明的目的，本发明的图象处理系统可以采用以下各种结构形式。

即在本发明的图象处理系统中，可以采用以下的结构形式，即，在编码装置中，运动补偿预测单元选择优先将按第1块单位决定的向第2块的运动矢量分配图形编组的多个图形组的某一组，根据包含在该选择的图形组中的分配图形对第2块分配运动矢量，进行运动补偿预测，分配信息编码单元将关于按第1块单位编码的运动矢量分配状况的信息作为从上述选择的图形组中特定的运动矢量分配图形的识别信息而输出；在译码装置中，分配信息译码单元将运动矢量分配信息作为识别按第1块单位预先决定的向第2块的运动矢量分配图形的信息进行译码，在根据该图形识别信息特定分配图形时，将识别该图形所属的图形组的信息译码，按照由该图形组识别信息特定的图形组的定义，根据上述分配图形识别信息决定向第2块的运动矢量分配。

另外，在本发明的图象处理系统中，可以采用以下的结构形式，即，在编码装置中，分配信息编码单元根据成为编码对象的第1块的运动矢量分配图形的形状决定运动矢量的预测值，并将该预测值的预测差分值作为运动矢量信息进行编码；在译码装置中，分配信息译码单元将对根据成为译码对象的运动矢量的预测值的预测差分值进行编码而得到的运动矢量信息进行译码。

另外，在本发明的图象处理系统中，可以采用以下的结构形式，即，在编码装置中，分配信息编码单元根据成为编码对象的第1块的运动矢量分配图形的形状决定运动矢量的预测候补位置，根据位于成为上述编码对象的第1块附近的第1块的分配图形的形状将预测候补位置中的某一个作为预测值，将该预测值的预测差分值作为运动矢量信息进行编码；在译码装置中分配信息译码单元根据位于附近的第1块的分配图形的形状将根据成为译码对象的第1块的运动矢量分配图形的形状而决定的运动矢量的预测候补位置中的某一个作为预测值，将通过把该预测值的预测差分值编码而得到的运动矢量信息进行译码。

另外，在本发明的图象处理系统中，可以采用以下的结构形式，即，在编码装置中，运动补偿预测单元将可以按第2块单位进行分配的运动矢量数最大取为2条，同时，根据表示向包含在按第1块单位决定的该第1块中的第2块的分配状态的、预先决定的多个分配图形中的某一个对第2块分配运动矢量，进行运动补偿预测，分配信息编码单元将关于的第1块单位决定的运动矢量的分配状况的信息作为上述分配图形的识别信息而输出；在译码装置中，按第1块的单位进行译码的运动矢量最大取为2条，运动矢量分配信息作为识别表示向包含按第1块单位决定的该第1块中的第2块的运动矢量的分配状态的、预先决定的多个分配图形的信息进行译码。

另外，在本发明的图象处理系统中，可以采用以下的结构形式，即，编码装置具有按由对分割运动图像的帧的各个第1块进而分割的第2块的1个或多个构成的单位从为了进行运动补偿预测而保持的多个参照帧中选择1个参照帧进行运动补偿预测的补偿预测单元和将关于对1个或多个第2块的参照帧的选择状况的信息多路化为位流而输出的参照帧信息编码单元；译码装置具有将按对分割运动图像的帧的各个第1块进而分割的第2块的1个或多个构成的单位分配的、关于运动补偿预测使用的参照帧的选择状况的信息进行译码的参照帧信息译码单元和根据该参照帧信息从为了进行运动补偿而保持的多个参照帧中选择1个参照帧进行运动补偿从而生成预测图像的补偿单元。

另外，在本发明的图象处理系统中，可以采用以下的结构形式，即，编码装置具有按由对分割运动图像的帧的各个第1块进而分割的1个或多个第2块构成的单位选择双向帧间预测使用的预测方向进行运动补偿预测的运动补偿预测单元和将关于对上述1个或多个第2块的预测方向的选择状况的信息多路化为位流而输出的预测信息编码单元；译码装置具有将按对分割运动图像的帧的各个第1块进而分割的1个或多个第2块构成的单位分配的、关于双向帧间预测使用的预测方向的选择状况的信息进行译码的预测信息译码单元和根据该预测信息从对顺向和逆向保持的参照帧中选择双向帧间运动补偿使用的预测方向进行运动补偿从而生成预测图像的运动补偿单元。

另外，在本发明的图象处理系统中，可以采用以下的结构形式，即，编码装置具有按由对分割运动图像的帧的各个第1块进而分割的1个或多个第2块构成的单位选择帧间预测模式或帧内预测模式进行帧间预测或帧内预测的预测单元和将关于对上述1个或多个第2块的帧间预测模式或帧内预测模式的选择状况的信息多路化为位流而输出的预测模式信息编码单元；译码装置具有将按对分割运动图像的帧的各个第1块进而分割的1个或多个第2块构成的单位分配的、关于帧间预测模式或帧内预测模式的选择状况的信息进行译码的预测模式信息译码单元和根据该预测信息选择帧间预测模式或帧内预测模式进行帧间预测或帧内预测从而生成预测图像的预测图像生成单元。

产业上利用的可能性

如上所述，按照本发明，通过少的开销可以可靠地捕捉第1块内的各种各样的活动，从而可以高效率地进行图像传输、记录、再生。

Claims (9)

1.一种使用运动补偿预测进行运动图像的压缩编码的编码方法，其特征在于：包括

以对分割运动图像的帧所得的各第1块进一步分割所得的第2块、即子块为单位，分配1个或多个运动矢量，并且以由1个或多个上述第2块构成的单位，选择帧间预测模式或帧内预测模式进行帧间预测或帧内预测的运动补偿预测步骤；

将针对上述第2块的与运动矢量的分配状况有关的信息多路化为位流而输出的分配信息编码步骤；和

将针对上述1个或多个第2块的与帧间预测模式或帧内预测模式的选择状况有关的信息多路化为位流而输出的预测模式信息编码步骤，

在上述运动补偿预测步骤中，对于第1块分别求出运动矢量，针对分割了各第1块所得的第2块的每一个求出预测评价值，将预测评价值比指定值大的第2块作为例外子块区域而抽出，对于例外子块区域中的、具有比帧内预测的预测评价值大的预测评价值的子块应用帧内预测。

2.按权利要求1所述的编码方法，其特征在于：在上述预测模式信息编码步骤中，将关于上述选择状况的信息与在上述第1块的单位中包含的针对上述第2块的与运动矢量的分配状况有关的信息一起作为组合的信息进行编码，并多路化为位流而输出。

3.按权利要求1所述的编码方法，其特征在于：在上述预测模式信息编码步骤中，将关于上述选择状况的信息和在上述1个或多个第2块单位中包含的针对上述1个或多个第2块的与来自多个参照帧的参照帧的选择状况有关的信息作为组合的信息进行编码，并多路化为位流而输出。

4.一种使用运动补偿预测进行压缩运动图像数据的解压、译码的译码方法，该压缩运动图像数据是利用权利要求1-3中任意一项所述的编码方法进行编码得到的数据，该译码方法包括：

将表示以对分割运动图像的帧后所得的各第1块进一步分割所得的第2块为单位进行分配所得的运动矢量，是对应按上述第1块单位译码的1个或多个运动矢量中的哪一个的运动矢量分配信息进行译码，并且将以由1个或多个上述第2块构成的单位进行分配所得的、与帧间预测模式或帧内预测模式的选择状况有关的信息进行译码的分配信息译码步骤；

根据该运动矢量分配信息，使用以上述第2块为单位所特定的运动矢量，进行运动补偿从而生成预测图像的运动补偿步骤；和

根据与该选择状况有关的信息，选择帧间预测模式或帧内预测模式进行帧间预测或帧内预测从而生成预测图像的预测图像生成步骤。

5.按权利要求4所述的译码方法，其特征在于：在上述分配信息译码步骤中，根据在上述第1块的单位中包含的针对上述第2块的与运动矢量的分配状况有关的信息和与上述选择状况有关的信息组合起来的信息，将针对上述1个或多个第2块的与上述选择状况有关的信息进行译码。

6.按权利要求4所述的译码方法，其特征在于：在上述分配信息译码步骤中，根据将在由上述1个或多个第2块构成的单位中包含的针对由上述1个或多个第2块构成的单位的与来自多个参照帧的参照帧的选择状况有关的信息和与上述选择状况有关的信息组合起来的信息，将针对由上述1个或多个第2块构成的单位的与上述选择状况有关的信息进行译码。

7.一种使用运动补偿预测进行运动图像的压缩编码的编码装置，其特征在于：包括

以对分割运动图像的帧所得的各第1块进一步分割所得的第2块、即子块为单位，分配1个或多个运动矢量，并且以由1个或多个上述第2块构成的单位，选择帧间预测模式或帧内预测模式进行帧间预测或帧内预测的运动补偿预测单元；

将针对上述第2块的与运动矢量的分配状况有关的信息多路化为位流而输出的分配信息编码单元；和

将针对上述1个或多个第2块的与帧间预测模式或帧内预测模式的选择状况有关的信息多路化为位流而输出的预测模式信息编码单元，

上述运动补偿预测单元对于第1块分别求出运动矢量，针对分割了各第1块所得的第2块的每一个求出预测评价值，将预测评价值比指定值大的第2块作为例外子块区域而抽出，对于例外子块区域中的、具有比帧内预测的预测评价值大的预测评价值的子块应用帧内预测。

8.一种使用运动补偿预测进行压缩运动图像数据的解压、译码的译码装置，该压缩运动图像数据是利用权利要求7所述的编码装置进行编码得到的数据，该译码装置包括：

将表示以对分割运动图像的帧后所得的各第1块进一步分割所得的第2块为单位进行分配所得的运动矢量，是对应按上述第1块单位译码的1个或多个运动矢量中的哪一个的运动矢量分配信息进行译码，并且将以由1个或多个上述第2块构成的单位进行分配所得的、与帧间预测模式或帧内预测模式的选择状况有关的信息进行译码的分配信息译码单元；

根据该运动矢量分配信息，使用以上述第2块为单位所特定的运动矢量，进行运动补偿从而生成预测图像的运动补偿单元；和

根据与该选择状况有关的信息，选择帧间预测模式或帧内预测模式进行帧间预测或帧内预测从而生成预测图像的预测图像生成单元。

9.一种包含使用运动补偿预测进行运动图像的压缩编码的编码装置和使用运动补偿预测进行压缩运动图像数据的解压和译码的译码装置而构成的图象处理系统，上述压缩运动图像数据是利用上述编码装置进行编码得到的数据，该图象处理系统的特征在于：

上述编码装置具有

以对分割运动图像的帧所得的各第1块进一步分割所得的第2块、即子块为单位，分配1个或多个运动矢量，并且以由1个或多个上述第2块构成的单位，选择帧间预测模式或帧内预测模式进行帧间预测或帧内预测的运动补偿预测单元；

将针对上述第2块的与运动矢量的分配状况有关的信息多路化为位流而输出的分配信息编码单元；和

将针对上述1个或多个第2块的与帧间预测模式或帧内预测模式的选择状况有关的信息多路化为位流而输出的预测模式信息编码单元，

上述运动补偿预测单元对于第1块分别求出运动矢量，针对分割了各第1块所得的第2块的每一个求出预测评价值，将预测评价值比指定值大的第2块作为例外子块区域而抽出，对于例外子块区域中的、具有比帧内预测的预测评价值大的预测评价值的子块应用帧内预测，

上述译码装置具有

将表示以对分割运动图像的帧后所得的各第1块进一步分割所得的第2块为单位进行分配所得的运动矢量，是对应按上述第1块单位译码的1个或多个运动矢量中的哪一个的运动矢量分配信息进行译码，并且将以由1个或多个上述第2块构成的单位进行分配所得的、与帧间预测模式或帧内预测模式的选择状况有关的信息进行译码的分配信息译码单元；

根据该运动矢量分配信息，使用以上述第2块为单位所特定的运动矢量，进行运动补偿从而生成预测图像的运动补偿单元；和

根据与该选择状况有关的信息，选择帧间预测模式或帧内预测模式进行帧间预测或帧内预测从而生成预测图像的预测图像生成单元。

Images