CN104380735B - 动态图像预测编码及解码装置、方法和程序 - Google Patents

Abstract

动态图像预测编码装置具有：输入单元，其输入构成动态图像的多个图像；编码单元，其利用画面内预测或画面间预测对图像进行编码，生成包含作为随机访问点的图像的压缩图像数据，对各图像的输出顺序信息和与图片类型有关的信息进行编码；复原单元，其对上述压缩图像数据进行解码，将其复原为再现图像；图像存储单元，其存储1个以上的上述再现图像作为用于对后续图像进行编码的参照图像；以及控制单元，其判定图片类型，根据判定结果对图像存储单元进行控制，控制单元对图像赋予标签作为CRA图片、类型1图片、类型2图片的共计3个类型中的一个。

Description

动态图像预测编码及解码装置、方法和程序

技术领域

本发明涉及动态图像预测编码装置、方法和程序以及动态图像预测解码装置、方法和程序，特别涉及在随机访问中有效的画面间预测的动态图像预测编码装置、方法和程序以及动态图像预测解码装置、方法和程序。

背景技术

为了高效地进行动态图像数据的传送和蓄积使用了压缩编码技术。在动态图像的情况下，广泛使用MPEG1～4或H.261～H.264的方式。

在这些编码方式中，在将作为编码对象的图像分割成多个块后进行编码/解码处理。为了提高编码效率，使用下述的预测编码方法。在画面内的预测编码中，使用位于与对象块相同的画面内的相邻的已再现的图像信号(对过去已压缩的图像数据进行复原后的图像信号)生成预测信号后，对从对象块的信号中减去该预测信号而得到的差分信号进行编码。在画面间的预测编码中，参照位于与对象块不同的画面内的已再现的图像信号，检索信号的位移，对其运动量进行补偿而生成预测信号，对从对象块的信号中减去该预测信号而得到的差分信号进行编码。将为了进行运动的检索和补偿而参照的已再现的图像称为参照图像。

并且，在双方向画面间预测中，有时不仅参照输出时间顺序中位于过去的图像，还一并参照在对象图像之后输出的未来图像(但是，该未来图像需要在对象图像之前编码并预先再现)。通过对从过去图像和未来图像取得的预测信号进行平均化，在隐藏的新出现的物体的信号预测中是有效的，同时，具有减轻两个预测信号中包含的噪音的效果。

进而，在H.264的画面间预测编码中，关于针对对象块的预测信号，参照过去编码后进行再现的多个参照图像，进行运动检索并选择误差最小的图像信号作为最佳预测信号。求出对象块的像素信号与该最佳预测信号的差分，实施离散余弦转换，在进行量化后进行熵编码。同时，一并对与从哪个参照图像的哪个区域取得针对对象块的最佳预测信号有关的信息(分别称为参照索引和运动矢量)进行编码。在H.264中，再现后的4张或5张图像作为参照图像存储在帧存储器或再现图像缓存器(decoded picture buffer)中。

在画面间预测编码中，虽然能够灵活且高效地对图像间的相关度进行压缩编码，但是，为了能够通过切换电视频道而从中途视听影像节目，需要切断画面间的依存性。在动态图像的压缩比特流中，将画面间的不存在依存性的部位称为随机访问点(random accesspoint)。除了频道的切换以外，在编集动态图像或连接不同动态图像的压缩数据的情况下，也需要随机访问点，但是，在现有技术中，设置“完全随机访问点(clean random accesspoint)”作为随机访问点。完全随机访问点由NAL unit type的完全随机访问图片(cleanrandom access picture)(以下称为CRA图片(CRA picture))确定。在一个比特流中，可以包含多个CRA图片，动态图像预测解码装置可以从某个完全随机访问点开始进行解码。

为了公开发明，如下定义与CRA图片相关联的图片的图片类型(picture type)(参照图10)。

a)过去图片(past picture)：在CRA图片之前解码、且在CRA图片之前输出的图片

b)滞后图片(lagging picture)：在CRA图片之前解码、但是在CRA图片之后输出的图片

c)超前图片(leading picture)：在CRA图片之后解码、但是在CRA图片之前输出的图片

d)正常图片(normal picture)：在.CRA图片之后解码、且在CRA图片之后输出的图片

由于CRA图片定义为仅画面内预测的图片，所以，解码所需要的信息完整，不参照其他图片就能够正确解码。将接在CRA图片之后的全部正常图片定义为不能根据过去图片、滞后图片或超前图片进行画面间预测。

在从CRA图片中解码比特流时，保证以没有画面间预测错误的方式正确解码CRA图片和正常图片。但是，超前图片在CRA图片之后解码，不能保证以没有画面间预测错误的方式正确解码。即，存在正确解码的超前图片，另一方面，也可能存在未正确解码的超前图片。

另外，这里，“正确解码”意味着，解码后的图片与不从CRA图片解码而从比特流始端解码的情况下得到的图片相同。在从CRA图片解码时，在解码顺序中先于该CRA图片的图片(例如滞后图片)未解码，不存在于再现图像缓存中。因此，将在解码顺序中先于该CRA图片的图片直接或间接地用于画面间预测的后续图片可能包含解码错误。

现有技术文献

非专利文献

非专利文献1：Benjamin Bross et.al.，"High efficiency video coding(HEVC)text specification draft 7"，Joint Collaborative Team on Video Coding(JCT-VC)of ITU-T SG16WP3and ISO/IEC JTC1/SC29/WG11，9th Meeting：Geneva，CH，27April-7May2012

发明内容

发明要解决的课题

如上所述，在动态图像预测解码装置从随机访问点开始进行解码时，可能存在无法正确解码的图片，该无法正确解码的图片无法用于以后的解码。另一方面，也存在能够正确解码的图片，该能够正确解码的图片能够用于以后的解码。在现有技术中，没有用于确定丢弃解码顺序中接着随机访问点的哪个图片的方法，所以，全部超前图片作为无法正确解码的图片而被丢弃。但是，这些图片中的一部分实际上能够解码，能够有助于改善后续图片的预测性能，因此，将全部超前图片作为无法正确解码的图片而丢弃的方法不是优选的方法。

因此，本发明的目的在于，能够判别可解码的图片，由此，能够利用可解码的图片作为后续图片的参照图片，有助于改善预测性能。

用于解决课题的手段

本发明的一个侧面的动态图像预测编码装置的特征在于，该动态图像预测编码装置具有：输入单元，其输入构成动态图像的多个图像；编码单元，其利用画面内预测或画面间预测中的任意一个方法对所述图像进行编码，生成包含作为随机访问点的图像的压缩图像数据，并且，对各图像的输出顺序信息和与各图像的图片类型有关的信息进行编码；复原单元，其对所述压缩图像数据进行解码，将其复原为再现图像；图像存储单元，其存储1个以上的所述再现图像作为用于对后续图像进行编码的参照图像；以及控制单元，其判定所述图片类型，根据判定结果对所述图像存储单元进行控制，

所述控制单元对所述图像赋予标签，作为以下共计3个类型的图片中的一个：

1)CRA图片：它的特征是，在从CRA图片开始解码的情况下，能够正确解码接着所述CRA图片的类型2图片；

2)类型1图片：其是在与该图片相关联的CRA图片之后解码、在所述CRA图片之前输出的图片，为了进行画面间预测，该类型1图片具有包含作为类型1图片而被赋予标签的至少1个参照图片或在解码顺序中先于所述相关联的CRA图片的至少1个参照图片在内的参照图片的列表；

3)类型2图片：其是为了进行画面间预测而具有参照图片的列表的图片，它的特征是，位于该参照图片的列表中的全部参照图片作为类型2图片或CRA图片而被赋予标签，在与该图片相关联的CRA图片以后被解码。

本发明的一个侧面的动态图像预测编码方法由动态图像预测编码装置执行，其特征在于，该动态图像预测编码方法具有以下步骤：输入步骤，输入构成动态图像的多个图像；编码步骤，利用画面内预测或画面间预测中的任意一个方法对所述图像进行编码，生成包含作为随机访问点的图像的压缩图像数据，并且，对各图像的输出顺序信息和与各图像的图片类型有关的信息进行编码；复原步骤，对所述压缩图像数据进行解码，将其复原为再现图像；图像存储步骤，存储1个以上的所述再现图像作为用于对后续图像进行编码的参照图像；以及控制步骤，判定所述图片类型，根据判定结果对所述图像存储步骤进行控制，

在所述控制步骤中，所述动态图像预测编码装置对所述图像赋予标签作为以下共计3个类型的图片的中的一个：

1)CRA图片：它的特征是，在从CRA图片开始解码的情况下，能够正确解码接着所述CRA图片的类型2图片；

2)类型1图片：其是在与该图片相关联的CRA图片之后解码、在所述CRA图片之前输出的图片，为了进行画面间预测，该类型1图片具有包含作为类型1图片而被赋予标签的至少1个参照图片或在解码顺序中先于所述相关联的CRA图片的至少1个参照图片在内的参照图片的列表；

3)类型2图片：其是为了进行画面间预测而具有参照图片的列表的图片，它的特征是，位于该参照图片的列表中的全部参照图片作为类型2图片或CRA图片而被赋予标签，在与该图片相关联的CRA图片以后被解码。

本发明的一个侧面的动态图像预测编码程序的特征在于，该动态图像预测编码程序使计算机作为以下单元发挥功能：输入单元，其输入构成动态图像的多个图像；编码单元，其利用画面内预测或画面间预测中的任意一个方法对所述图像进行编码，生成包含作为随机访问点的图像的压缩图像数据，并且，对各图像的输出顺序信息和与各图像的图片类型有关的信息进行编码；复原单元，其对所述压缩图像数据进行解码，将其复原为再现图像；图像存储单元，其存储1个以上的所述再现图像作为用于对后续图像进行编码的参照图像；以及控制单元，其判定所述图片类型，根据判定结果对所述图像存储单元进行控制，

所述控制单元对所述图像赋予标签作为以下共计3个类型的图片中的一个：

1)CRA图片：它的特征是，在从CRA图片开始解码的情况下，能够正确解码接着所述CRA图片的类型2图片；

2)类型1图片：其是在与该图片相关联的CRA图片之后解码、在所述CRA图片之前输出的图片，为了进行画面间预测，该类型1图片具有包含作为类型1图片而被赋予标签的至少1个参照图片或在解码顺序中先于所述相关联的CRA图片的至少1个参照图片在内的参照图片的列表；

3)类型2图片：其是为了进行画面间预测而具有参照图片的列表的图片，它的特征是，位于该参照图片的列表中的全部参照图片作为类型2图片或CRA图片而被赋予标签，在与该图片相关联的CRA图片以后被解码。

本发明的一个侧面的动态图像预测解码装置的特征在于，该动态图像预测解码装置具有：输入单元，其输入通过对构成动态图像的多个图像进行基于画面内预测或画面间预测中的任意一方的编码而得到的包含随机访问图像的压缩图像数据、以及表示各图像的输出顺序和各图像的图片类型的编码数据；复原单元，其对所述压缩图像数据和所述编码数据进行解码，将其复原为再现图像、输出顺序信息、图片类型信息；图像存储单元，其存储1个以上的所述再现图像作为用于对后续图像进行解码的参照图像；以及控制单元，其根据所述图片类型对所述复原单元进行控制，

各图像被赋予标签而使所述图片类型成为以下共计3个类型中的一个：

1)CRA图片：它的特征是，在从CRA图片开始解码的情况下，能够正确解码接着所述CRA图片的类型2图片；

2)类型1图片：其是在与该图片相关联的CRA图片之后解码、在所述CRA图片之前输出的图片，为了进行画面间预测，该类型1图片具有包含作为类型1图片而被赋予标签的至少1个参照图片或在解码顺序中先于所述相关联的CRA图片的至少1个参照图片在内的参照图片的列表；

3)类型2图片：其是为了进行画面间预测而具有参照图片的列表的图片，它的特征是，位于该参照图片的列表中的全部参照图片作为类型2图片或CRA图片而被赋予标签，在与该图片相关联的CRA图片以后被解码，

在从CRA图片开始进行编码数据的解码的情况下，所述复原单元在直到即将进行下一个CRA图片的处理之前的期间内，持续进行如下这样的解码处理：对作为类型2图片而赋予标签的图像进行解码，跳过作为类型1图片而赋予了标签的图像的解码。

本发明的一个侧面的动态图像预测解码方法由动态图像预测解码装置执行，其特征在于，该动态图像预测解码方法具有以下步骤：输入步骤，输入通过对构成动态图像的多个图像进行基于画面内预测或画面间预测中的任意一方的编码而得到的包含随机访问图像的压缩图像数据、以及表示各图像的输出顺序和各图像的图片类型的编码数据；复原步骤，对所述压缩图像数据和所述编码数据进行解码，将其复原为再现图像、输出顺序信息、图片类型信息；图像存储步骤，存储1个以上的所述再现图像作为用于对后续图像进行解码的参照图像；以及控制步骤，根据所述图片类型对所述复原步骤进行控制，

各图像被赋予标签而使所述图片类型成为以下共计3个类型中的一个：

1)CRA图片：它的特征是，在从CRA图片开始解码的情况下，能够正确解码接着所述CRA图片的类型2图片；

2)类型1图片：其是在与该图片相关联的CRA图片之后解码、在所述CRA图片之前输出的图片，为了进行画面间预测，该类型1图片具有包含作为类型1图片而被赋予标签的至少1个参照图片或在解码顺序中先于所述相关联的CRA图片的至少1个参照图片在内的参照图片的列表；

3)类型2图片：其是为了进行画面间预测而具有参照图片的列表的图片，它的特征是，位于该参照图片的列表中的全部参照图片作为类型2图片或CRA图片而被赋予标签，在与该图片相关联的CRA图片以后被解码，

在所述复原步骤中，所述动态图像预测解码装置在从CRA图片开始进行编码数据的解码的情况下，在直到即将进行下一个CRA图片的处理之前的期间内持续进行如下这样的解码处理：对作为类型2图片而被赋予标签的图像进行解码，跳过作为类型1图片而被赋予标签的图像的解码。

本发明的一个侧面的动态图像预测解码程序的特征在于，该动态图像预测解码程序使计算机作为以下单元发挥功能：输入单元，其输入通过对构成动态图像的多个图像进行基于画面内预测或画面间预测中的任意一方的编码而得到的包含随机访问图像的压缩图像数据、以及表示各图像的输出顺序和各图像的图片类型的编码数据；复原单元，其对所述压缩图像数据和所述编码数据进行解码，将其复原为再现图像、输出顺序信息、图片类型信息；图像存储单元，其存储1个以上的所述再现图像作为用于对后续图像进行解码的参照图像；以及控制单元，其根据所述图片类型对所述复原单元进行控制，

各图像被赋予标签而使所述图片类型成为以下共计3个类型中的一个：

1)CRA图片：它的特征是，在从CRA图片开始解码的情况下，能够正确解码接着所述CRA图片的类型2图片；

2)类型1图片：其是在与该图片相关联的CRA图片之后解码、在所述CRA图片之前输出的图片，为了进行画面间预测，该类型1图片具有包含作为类型1图片而被赋予标签的至少1个参照图片或在解码顺序中先于所述相关联的CRA图片的至少1个参照图片在内的参照图片的列表；

3)类型2图片：其是为了进行画面间预测而具有参照图片的列表的图片，它的特征是，位于该参照图片的列表中的全部参照图片作为类型2图片或CRA图片而被赋予标签，在与该图片相关联的CRA图片以后被解码，

在从CRA图片开始进行编码数据的解码的情况下，所述复原单元在直到即将进行下一个CRA图片的处理之前的期间内持续进行如下这样的解码处理：对作为类型2图片而被赋予标签的图像进行解码，跳过作为类型1图片而被赋予标签的图像的解码。

进而，本发明的动态图像预测编码装置、方法和程序以及动态图像预测解码装置、方法和程序也可以采用以下方式。

本发明的另一个侧面的动态图像预测编码装置的特征在于，该动态图像预测编码装置具有：输入单元，其输入构成动态图像的多个图像；编码单元，其利用画面内预测或画面间预测中的任意一个方法对所述图像进行编码，生成包含作为随机访问点的图像的压缩图像数据，并且，对各图像的输出顺序信息进行编码；复原单元，其对所述压缩图像数据进行解码，将其复原为再现图像；图像存储单元，其存储1个以上的所述再现图像作为用于对后续图像进行编码的参照图像；以及控制单元，其对所述图像存储单元进行控制，

所述控制单元将所述图像分类为以下共计3种图片并进行控制：

1)CRA图片，从该CRA图片开始编码数据的解码；

2)这样的图片：该图片在与该图片相关联的CRA图片之后解码，在所述相关联的CRA图片之前输出，跳过所述复原单元的解码处理，不存储在所述图像存储单元中且不输出，为了进行画面间预测，该图片具有包含跳过所述复原单元的解码处理的至少1个参照图片或在解码顺序中先于所述相关联的CRA图片的至少1个参照图片在内的参照图片的列表；

3)这样的图片：该图片通过所述复原单元被解码，根据需要被存储在所述图像存储单元中用于进行参照，该图片的特征是，该图片为了进行画面间预测而具有参照图片的列表，位于该参照图片的列表中的全部参照图片通过所述复原单元解码，在与该图片相关联的CRA图片以后被解码。

本发明的另一个侧面的动态图像预测编码方法由动态图像预测编码装置执行，其特征在于，该动态图像预测编码方法具有以下步骤：输入步骤，输入构成动态图像的多个图像；编码步骤，利用画面内预测或画面间预测中的任意一个方法对所述图像进行编码，生成包含作为随机访问点的图像的压缩图像数据，并且，对各图像的输出顺序信息进行编码；复原步骤，对所述压缩图像数据进行解码，将其复原为再现图像；图像存储步骤，存储1个以上的所述再现图像作为用于对后续图像进行编码的参照图像；以及控制步骤，对所述图像存储步骤进行控制，

在所述控制步骤中，所述动态图像预测编码装置将所述图像分类为以下共计3种图片并进行控制：

1)CRA图片，从该CRA图片开始编码数据的解码；

2)这样的图片：该图片在与该图片相关联的CRA图片之后被解码，在所述相关联的CRA图片之前被输出，跳过所述复原步骤的解码处理，在所述图像存储步骤中不存储且不输出，该图片为了进行画面间预测而具有包含跳过所述复原步骤的解码处理的至少1个参照图片或在解码顺序中先于所述相关联的CRA图片的至少1个参照图片在内的参照图片的列表；

3)这样的图片：该图片通过所述复原步骤被解码，根据需要在所述图像存储步骤中被存储用于进行参照，该图片的特征是，该图片为了进行画面间预测而具有参照图片的列表，位于该参照图片的列表中的全部参照图片通过所述复原步骤解码，在与该图片相关联的CRA图片以后被解码。

本发明的另一个侧面的动态图像预测编码程序的特征在于，该动态图像预测编码程序使计算机作为以下单元发挥功能：输入单元，其输入构成动态图像的多个图像；编码单元，其利用画面内预测或画面间预测中的任意一个方法对所述图像进行编码，生成包含作为随机访问点的图像的压缩图像数据，并且，对各图像的输出顺序信息进行编码；复原单元，其对所述压缩图像数据进行解码，将其复原为再现图像；图像存储单元，其存储1个以上的所述再现图像作为用于对后续图像进行编码的参照图像；以及控制单元，其对所述图像存储单元进行控制，

所述控制单元将所述图像分类为以下3种图片并进行控制：

1)CRA图片，从该CRA图片开始编码数据的解码；

2)这样的图片：该图片在与该图片相关联的CRA图片之后解码，在所述相关联的CRA图片之前输出，跳过所述复原单元的解码处理，不存储在所述图像存储单元中且不输出，该图片为了进行画面间预测而具有包含跳过所述复原单元的解码处理的至少1个参照图片或在解码顺序中先于所述相关联的CRA图片的至少1个参照图片在内的参照图片的列表；

3)这样的图片：该图片通过所述复原单元被解码，根据需要被存储在所述图像存储单元中用于进行参照，该图片的特征是，该图片为了进行画面间预测而具有参照图片的列表，位于该参照图片的列表中的全部参照图片通过所述复原单元被解码，在与该图片相关联的CRA图片以后被解码。

本发明的另一个侧面的动态图像预测解码装置的特征在于，该动态图像预测解码装置具有：输入单元，其输入通过对构成动态图像的多个图像进行基于画面内预测或画面间预测中的任意一方的编码而得到的包含随机访问图像的压缩图像数据以及表示各图像的输出顺序的编码数据；复原单元，其对所述压缩图像数据和所述编码数据进行解码，将其复原为再现图像和输出顺序信息；图像存储单元，其存储1个以上的所述再现图像作为用于对后续图像进行解码的参照图像；以及控制单元，其对所述复原单元进行控制，

所述控制单元将所述图像分类为以下3种图片并进行控制：

1)CRA图片，从该CRA图片开始编码数据的解码；

2)这样的图片：该图片在与该图片相关联的CRA图片之后解码，在所述相关联的CRA图片之前输出，跳过所述复原单元的解码处理，不存储在所述图像存储单元中且不输出，为了进行画面间预测，该图片具有包含跳过所述复原单元的解码处理的至少1个参照图片或在解码顺序中先于所述相关联的CRA图片的至少1个参照图片在内的参照图片的列表；

3)这样的图片：该图片通过所述复原单元被解码，根据需要存储在所述图像存储单元中用于进行参照，该图片的特征是，该图片为了进行画面间预测而具有参照图片的列表，位于该参照图片的列表中的全部参照图片通过所述复原单元被解码，在与该图片相关联的CRA图片以后被解码，

在与该图片相关联的CRA图片处开始进行编码数据的解码的情况下，所述复原单元判定位于与该图片有关的参照图片的列表中的全部参照图片是否存储在所述图像存储单元中，在直到即将进行下一个CRA图片的处理之前的期间内，持续进行如下这样的解码处理：如果存储了位于参照图片的列表中的全部参照图片则对该图片进行解码，如果未存储位于参照图片的列表中的1个以上的参照图片则跳过该图片的解码。

本发明的另一个侧面的动态图像预测解码方法由动态图像预测解码装置执行，其特征在于，该动态图像预测解码方法具有以下步骤：输入步骤，输入通过对构成动态图像的多个图像进行基于画面内预测或画面间预测中的任意一方的编码而得到的包含随机访问图像的压缩图像数据以及表示各图像的输出顺序的编码数据；复原步骤，对所述压缩图像数据和所述编码数据进行解码，将其复原为再现图像和输出顺序信息；图像存储步骤，存储1个以上的所述再现图像作为用于对后续图像进行解码的参照图像；以及控制步骤，对所述复原步骤进行控制，

在所述控制步骤中，所述动态图像预测解码装置将所述图像分类为以下3种图片并进行控制：

1)CRA图片，从该CRA图片开始编码数据的解码；

2)这样的图片：该图片在与该图片相关联的CRA图片之后解码，在所述相关联的CRA图片之前输出，跳过所述复原步骤的解码处理，在所述图像存储步骤中不存储且不输出，为了进行画面间预测，该图片具有包含跳过所述复原步骤的解码处理的至少1个参照图片或在解码顺序中先于所述相关联的CRA图片的至少1个参照图片在内的参照图片的列表；

3)这样的图片：该图片通过所述复原步骤被解码，根据需要在所述图像存储步骤中进行存储以用于进行参照，该图片的特征是，该图片为了进行画面间预测而具有参照图片的列表，位于该参照图片的列表中的全部参照图片通过所述复原步骤被解码，在与该图片相关联的CRA图片以后被解码，

在所述复原步骤中，在与该图片相关联的CRA图片处开始进行编码数据的解码的情况下，所述动态图像预测解码装置判定在所述图像存储步骤中是否存储了位于与该图片有关的参照图片的列表中的全部参照图片，在直到即将进行下一个CRA图片的处理之前的期间内持续进行如下这样的解码处理：如果存储了位于参照图片的列表中的全部参照图片则对该图片进行解码，如果未存储位于参照图片的列表中的1个以上的参照图片则跳过该图片的解码。

本发明的另一个侧面的动态图像预测解码程序的特征在于，该动态图像预测解码程序使计算机作为以下单元发挥功能：输入单元，其输入通过对构成动态图像的多个图像进行基于画面内预测或画面间预测中的任意一方的编码而得到的包含随机访问图像的压缩图像数据以及表示各图像的输出顺序的编码数据；复原单元，其对所述压缩图像数据和所述编码数据进行解码，将其复原为再现图像和输出顺序信息；图像存储单元，其存储1个以上的所述再现图像作为用于对后续图像进行解码的参照图像；以及控制单元，其对所述复原单元进行控制，

所述控制单元将所述图像分类为以下共计3种图片并进行控制：

1)CRA图片，从该CRA图片开始编码数据的解码；

2)这样的图片：该图片在与该图片相关联的CRA图片之后解码，在所述相关联的CRA图片之前输出，跳过所述复原单元的解码处理，不存储在所述图像存储单元中且不输出，为了进行画面间预测，该图片具有包含跳过所述复原单元的解码处理的至少1个参照图片或在解码顺序中先于所述相关联的CRA图片的至少1个参照图片在内的参照图片的列表；

3)这样的图片：该图片通过所述复原单元被解码，根据需要被存储在所述图像存储单元中用于进行参照，该图片的特征是，该图片为了进行画面间预测而具有参照图片的列表，位于该参照图片的列表中的全部参照图片通过所述复原单元被解码，在与该图片相关联的CRA图片以后被解码，

在与该图片相关联的CRA图片处开始进行编码数据的解码的情况下，所述复原单元判定位于与该图片有关的参照图片的列表中的全部参照图片是否存储在所述图像存储单元中，在直到即将进行下一个CRA图片的处理之前的期间内持续进行如下这样的解码处理：如果存储了位于参照图片的列表中的全部参照图片则对该图片进行解码，如果未存储位于参照图片的列表中的1个以上的参照图片则跳过该图片的解码。

发明效果

根据本发明，能够判别可解码的图片，由此，能够利用可解码的图片作为后续图片的参照图片，有助于改善预测性能。更详细地讲，动态图像预测解码装置在从比特流的开头的CRA图片开始解码的情况下，(通过利用标签或与参考图片组进行核对)能够检测是否能够正确解码某个图片。因此，在动态图像预测解码装置中，代替丢弃全部超前图片，可以仅选择无法解码的图片进行丢弃，能够将可解码的图片用作后续图片的参照图片，有助于改善预测性能。

附图说明

图1是示出本发明的实施方式的动态图像预测编码装置的框图。

图2是示出本发明的实施方式的动态图像预测解码装置的框图。

图3是用于说明本发明的实施方式的语法要素(syntax element)的图。

图4是示出本发明的实施方式的动态图像预测编码方法的流程图。

图5是示出本发明的实施方式的动态图像预测解码方法的流程图。

图6是示出用于执行记录介质中记录的程序的计算机的硬件结构的图。

图7是用于执行记录介质中记录的程序的计算机的概观图。

图8是示出动态图像预测编码程序的结构例的框图。

图9是示出动态图像预测解码程序的结构例的框图。

图10是用于说明本发明的背景的图。

具体实施方式

下面，使用图1～图9对本发明的实施方式进行说明。

[动态图像预测编码装置]

图1是示出本实施方式的动态图像预测编码装置100的结构的功能框图。如图1所示，作为功能性结构，动态图像预测编码装置100具有输入端子101、块分割器102、预测信号生成器103、帧存储器104、减法器105、转换器106、量化器107、逆量化器108、逆转换器109、加法器110、熵编码器111、输出端子112、输入端子113和帧存储器管理器(或者也称为缓存管理器)114。各功能块的动作在后述动态图像预测编码装置100的动作中进行说明。另外，转换器106和量化器107对应于编码单元，逆量化器108、逆转换器109和加法器110对应于解码单元。

下面，叙述如上所述构成的动态图像预测编码装置100的动作。由多张图像构成的动态图像的信号被输入到输入端子101。利用块分割器102将作为编码处理对象的图像分割成多个区域。在本实施方式中，分割成由8×8像素构成的块，但是，也可以分割成除此以外的块的大小或形状。接着，针对作为编码处理对象的区域(以下称为“对象块”)生成预测信号。在本实施方式中，使用2种预测方法。即，画面间预测和画面内预测。

在画面间预测中，将过去编码后进行了复原的再现图像作为参照图像，根据该参照图像求出给出相对于对象块的误差最小的预测信号的运动信息。该处理被称为运动检测。并且，根据情况，也可以对对象块进行再分割，针对再分割后的小区域来决定画面间预测方法。该情况下，从各种分割方法中决定相对于对象块全体的效率最高的分割方法和各自的运动信息。在本发明的实施方式中，由预测信号生成器103来进行，经由线L102输入对象块，经由L104输入参照图像。作为参照图像，使用过去被编码并复原的多个图像作为参照图像。详细情况与作为现有技术的MPEG-2、4、H.264中的任意一个方法相同。这样决定的运动信息和小区域的分割方法经由线L112被送到熵编码器111进行编码后，从输出端子112被送出。并且，与从多个参照图像中的哪个参照图像取得预测信号有关的信息(参考索引(reference index))也经由线L112被送出到熵编码器111。另外，在本发明的实施方式中，将4张或5张再现图像存储在帧存储器104中用作参照图像。在预测信号生成器103中，根据与小区域的分割方法和各个小区域对应的参照图像和运动信息，从帧存储器104取得参照图像信号并生成预测信号。这样生成的画面间预测信号经由线L103送到减法器105。

在画面内预测中，使用空间上与对象块相邻的已再现的像素值生成画面内预测信号。具体而言，在预测信号生成器103中，从帧存储器104取得位于相同画面内的已再现的像素信号，通过对这些信号进行外插，生成画面内预测信号。与外插方法有关的信息经由线L112被送到熵编码器111进行编码后，从输出端子112送出。这样生成的画面内预测信号被送到减法器105。预测信号生成器103中的画面内预测信号的生成方法与作为现有技术的H.264的方法相同。针对如上所述求出的画面间预测信号和画面内预测信号，选择误差最小的信号并送到减法器105。

关于第一张图像，由于之前不存在图像，所以，通过画面内预测对全部对象块进行处理。并且，在电视频道的切换中，定期通过画面内预测对作为随机访问点的对象块进行画面内预测。这种图像被称为内帧，在H.264中称为IDR图片。

利用减法器105从对象块的信号(经由线L102)中减去预测信号(经由线L103)，生成残差信号。利用转换器106对该残差信号进行离散余弦转换，利用量化器107对其各系数进行量化。最后，利用熵编码器111对量化后的转换系数进行编码，与和预测方法有关的信息一起由输出端子112送出。

为了对后续对象块进行画面内预测或画面间预测，对压缩后的对象块的信号进行逆处理并复原。即，利用逆量化器108对量化后的转换系数进行逆量化后，利用逆转换器109进行逆离散余弦转换，对残差信号进行复原。利用加法器110对复原后的残差信号和从线L103送来的预测信号进行相加，对对象块的信号进行再现，将其存储在帧存储器104中。在本实施方式中使用转换器106和逆转换器109，但是，也可以代替这些转换器而使用其他转换处理。根据情况，也可以不具有转换器106和逆转换器109。

帧存储器104是有限的，不可能存储全部再现图像。仅将后续图像的编码所使用的再现图像存储在帧存储器104中。帧存储器管理器114对该帧存储器104进行控制。帧存储器管理器114经由线L115进行控制，以使得能够从位于帧存储器104内的N张(这里N＝4，但是也可以是预先决定的整数)再现图像中删除不需要的再现图像(例如最早的再现图像)，存储用作参照图像的最近的再现图像。从输入端子113经由线L112输入各图像的输出顺序信息、对图像进行编码的类型(画面内预测编码、画面间预测编码、双方向预测编码)以及参考索引，帧存储器管理器114根据这些信息进行动作。

同时，根据需要，各图像的输出顺序信息、后述NAL单元类型的信息经由线L114送到熵编码器111进行编码后，与压缩后的图像数据一起输出。输出顺序信息附加在各图像中，可以是表示图像顺序的信息或输出图像的时刻，也可以是图像的输出参照时间(暂时参考)。在本实施方式中，将输出顺序信息的值直接转换为二值编码。本实施方式的帧存储器管理器114的动作在后面叙述。

[动态图像预测解码装置]

接着，对本发明的动态图像预测解码装置进行说明。图2是示出本实施方式的动态图像预测解码装置200的结构的功能框图。如图2所示，作为功能性结构，动态图像预测解码装置200具有输入端子201、数据解析器202、逆量化器203、逆转换器204、加法器205、预测信号生成器208、帧存储器207、输出端子206、帧存储器管理器209、控制器210和切换器211。各功能块的动作在后述动态图像预测解码装置200的动作中进行说明。逆量化器203和逆转换器204对应于解码单元。另外，作为解码的单元，不限于逆量化器203和逆转换器204，也可以使用它们以外的部件。并且，解码的单元也可以不具有逆转换器204而仅由逆量化器203构成。

下面叙述动态图像预测解码装置200的动作。从输入端子201输入由动态图像预测编码装置100利用上述方法进行压缩编码后的压缩数据。在该压缩数据中包含有对将图像分割成多个块而得到的对象块进行预测并编码的残差信号和与预测信号的生成相关联的信息。作为与预测信号的生成相关联的信息，在画面间预测的情况下，包含有与块分割有关的信息(块的尺寸)、运动信息、与上述参考索引和NAL单元类型有关的信息，在画面内预测的情况下，包含有与从周边的已再现的像素进行外插的外插方法有关的信息。

利用数据解析器202，从压缩数据中提取对象块的残差信号、与预测信号的生成相关联的信息、量化参数、图像的输出顺序信息。利用逆量化器203，根据量化参数(经由线L202和L211)对对象块的残差信号进行逆量化。利用逆转换器204对其结果进行逆离散余弦转换。

接着，经由线L206b将与预测信号的生成相关联的信息送到预测信号生成器208。在预测信号生成器208中，根据与预测信号的生成相关联的信息访问帧存储器207，从多个参照图像中取得参照信号(经由线L207)，生成预测信号。该预测信号经由线L208送到加法器205，与复原后的残差信号进行相加，对对象块信号进行再现，经由线L205从输出端子206被输出，同时被存储在帧存储器207中。

在帧存储器207中存储有后续图像的解码/再现中使用的再现图像。帧存储器管理器209经由线L209a控制帧存储器207。帧存储器207进行控制，以使得能够从所存储的N张(这里N＝4，但是也可以是预先决定的整数)再现图像中删除不需要的再现图像(例如最早的再现图像)，存储用作参照图像的最近的再现图像。

控制器210根据经由线L206a送来的对象图像的输出顺序信息、图像的编码类型和与NAL单元类型有关的信息进行动作。或者，根据经由线L206a送来的参考索引和经由线L209b送来的帧存储器中存储的帧的信息进行动作。本发明的控制器210的动作在后面叙述。

从控制器210经由线L210控制切换器211，该切换器211以根据条件而跳过特定帧的解码的方式进行动作。本发明的切换器211的动作在后面叙述。

图3示出比特流的语法要素500。比特流的语法要素500由一个图片(510、520等)的解码所需要的多个语法要素构成。在图片的语法中，关注以下的3个要素。

1)网络适配层单元类型(NUT)或NAL单元类型(530)

2)图片输出计数(POC)(540)

3)参考图片组(RPS)(550)

1)NUT包含与图片类型有关的信息。在本发明中，希望留意到还可以使用对图片类型进行信号化的其他单元。在本实施方式中，各图片作为3种NAL单元类型中的一方被赋予标签。NAL单元类型是指以下所述的RAS、CRA、non-RAS。

作为RAS(随机访问跳过(random access skip))图片而赋予标签的图片在从与该RAS图片相关联的CRA图片开始解码时跳过而不输出。另一方面，在所述CRA图片不是比特流的最初图片的情况下(或者不是从所述CRA图片开始解码的情况下)，动态图像预测解码装置200将RAS图片视为non-RAS图片，根据该图片的输出指示进行解码并输出。

作为CRA(完全随机访问)图片而赋予标签的图片表示，在从该CRA图片开始进行比特流的解码的情况下，能够没有错误地对与所述CRA图片相关联的RAS图片以外的图片进行解码。

作为non-RAS图片而赋予标签的图片被动态图像预测解码装置200解码，根据图片的输出指示进行输出。只要没有特别说明，则CRA图片视为non-RAS图片。

2)POC包含所输出的图片的顺序信息。

3)RPS包含当前图片的画面间预测中使用的参照图片的信息。对于当前图片或任意一个图片来说，RPS中不存在的再现图像缓存(DPB)中的参照图片无法用作预测解码用的参照图片。

在本实施方式中，在从CRA图片开始进行比特流的解码的情况下，保证能够正确解码全部non-RAS图片，所以，RPS具有以下特征。

特征1：关于超前图片所利用的RPS，一个以上的参照图片(或至少一个参照图片)为RAS图片，或者，在解码顺序中先于相关联的CRA图片的情况下，设该超前图片为RAS图片。

特征2：位于non-RAS图片所利用的RPS中的全部参照图片是作为non-RAS图片的参照图片、并且是相关联的CRA图片以后解码的参照图片。

在本实施方式中，由于正常图片作为non-RAS图片进行处理，所以，不满足特征1和2的图片在比特流中是不容许的。但是，本发明不限于特征1所述的超前图片，能够等效应用于全部图片。关于特征2，本发明还能够应用于参照图片仅限制为超前图片的情况。

[动态图像预测编码装置100中的特征性动作]

使用图4，对用于生成具有本发明点即所述特征的比特流的动态图像预测编码装置100的动作进行说明。动态图像预测编码装置100为了实现随机访问而以一定周期插入CRA图片。在插入下一个CRA图片之前的期间中，编码顺序中接着该插入的CRA图片的全部图片与该插入的CRA图片相关联，根据以下步骤进行编码。

在步骤620中，判定该图片的RPS中包含的1张以上的参照图片是否是RAS图片。在该图片的RPS中包含的1张以上的参照图片是RAS图片的情况下(是)，进入步骤650，不是这样的情况下(否)，进入步骤630。

在步骤630中，判定该图片的RPS中包含的1张以上的参照图片是否在编码顺序中先于与该图片相关联的CRA图片。在该图片的RPS中包含的1张以上的参照图片在编码顺序中先于与该图片相关联的CRA图片的情况下(是)，进入步骤650，不是这样的情况下(否)，进入步骤640。

在步骤650中，通过对该图片的POC和与该图片相关联的CRA图片的POC进行比较，检查该图片是否是超前图片。在该图片的POC小于与该图片相关联的CRA图片的POC的情况下，判定为该图片是超前图片(是)，进入步骤670。不是这样的情况下，判定为该图片不是超前图片(否)，但是，步骤620和步骤630的判定仅针对超前图片为(是)，该图片不是超前图片(否)这样的判定结果是异常的，所以，进入步骤660，输出错误消息，进入步骤680。另外，也可以在步骤660中输出错误消息后，设图4的处理异常结束。

在步骤670中，该图片作为RAS图片进行编码，对该图片是RAS图片这样的信息(NAL单元类型：RAS)进行编码。然后进入步骤680。

在步骤640中，将该图片作为non-RAS图片进行编码，对该图片是non-RAS图片这样的信息(NAL单元类型：non-RAS)进行编码。然后进入步骤680。这里，只要没有特别说明，则CRA图片包含在non-RAS图片中。

在步骤640和670中，不是必须对该图片是RAS图片还是non-RAS图片这样的信息进行编码，代替对该信息进行编码，也可以通过对各图片的参照图片列表和帧存储器104中存储的图片进行核对，判定该图片是RAS图片还是non-RAS图片。

在步骤680中，动态图像预测编码装置100判定是否还存在要编码的图片，在存在的情况下(是)，返回步骤620，重复进行处理，另一方面，在不存在的情况下(否)，结束图4的处理。

上述一连串处理相当于图1的动态图像预测编码装置100整体的处理，但是，特别是步骤620、630、650的判定处理由帧存储器管理器114进行。

[动态图像预测解码装置200中的特征性动作]

在本实施方式的动态图像预测解码装置200中，在作为比特流的最初图片而从CRA图片开始解码过程的情况下、以及比特流的最初图片不是CRA图片的情况下，动作不同。在下一个CRA图片的解码时，该解码过程返回通常的解码过程。

使用图5，说明用于对具有本发明点即所述特征的比特流进行解码的动态图像预测解码装置200的动作。

在步骤710中，动态图像预测解码装置200根据NAL单元类型来判定比特流的最初图片(即开始进行比特流的解码的最初图片)是否是CRA图片。在最初图片不是CRA图片的情况下(否)，进入步骤780，动态图像预测解码装置200如通常那样对各图片进行解码。即，在该步骤780中，RAS图片被视为non-RAS图片，如通常那样根据图片内的指示进行解码并输出。另一方面，在步骤710中比特流的最初图片是CRA图片的情况下(是)，进入步骤720。

在下一个CRA图片的解码开始之前的期间内，针对全部图片反复执行步骤720～步骤770的处理，然后，在步骤780中返回通常的解码处理。下面，叙述步骤720～步骤770的处理。

在步骤720中，动态图像预测解码装置200在该图片的解码开始时判定是否正确解码该图片。由于本实施方式中的比特流具有所述特征1、2，所以，动态图像预测解码装置200能够使用以下2个方法中的至少1个方法来判定是否能够正确解码该图片。第1方法是观察该图片的NAL单元类型的标签的方法。如果该图片作为RAS图片而赋予标签，则可以判定为无法正确解码该图片。第2方法是由动态图像预测解码装置200对DPB中存在的参照图片和该图片的RPS的参照图片列表进行核对。如果位于该图片的RPS中的参照图片中的任意一方不存在于DPB中，则可以判定为无法正确解码该图片。使用以上的第1、第2方法中的至少1个方法，动态图像预测解码装置200在判定为能够正确解码该图片的情况下(是)，进入步骤730，在判定为无法正确解码该图片的情况下(否)，进入步骤750。

在步骤730中，动态图像预测解码装置200根据该图片内的指示，对该图片进行解码并输出。这也应用于CRA图片。然后进入步骤740。

在步骤750中，通过对该图片的POC和与该图片相关联的CRA图片的POC进行比较，判定该图片是否是超前图片。在该图片的POC小于与该图片相关联的CRA图片的POC的情况下(是)，判定为该图片是超前图片，进入后述步骤770。在不是这样的情况下(否)，该图片不是超前图片，产生错误，所以进入步骤760，动态图像预测解码装置200输出错误消息，进入步骤740。另外，也可以在步骤760中输出错误消息后，设图5的处理异常结束。并且，如上所述，希望留意的是，只在特征1仅限定为超前图片的情况下需要进行步骤750的判定。

在步骤770中，动态图像预测解码装置200跳过该图片的解码，进行以下的必要的内务(housekeeping)处理。这里，作为必要的内务处理，例如举出针对跳过的该图片赋予表示“不能用作参照图片，不输出”的标签的处理等。然后进入步骤740。

在步骤740中，动态图像预测解码装置200判定下一个解码的图片是否是CRA图片，在下一个图片不是CRA图片的情况下(否)，返回步骤720，重复进行处理。另一方面，在下一个图片是CRA图片的情况下(是)，下一个CRA图片以后不需要本发明的解码过程(随机访问解码过程)，所以进入步骤780，转移到通常的解码过程(对全部图片进行解码并根据输出指示信息进行输出的处理)。

上述一连串处理相当于图2的动态图像预测解码装置200整体的处理，但是，特别是步骤720、750的判定和步骤730、770的控制由控制器210进行。

根据以上的本实施方式，动态图像预测解码装置200在从比特流的开头的CRA图片开始解码的情况下，(通过利用标签或与参考图片组进行核对)能够检测是否能够正确解码某个图片。因此，在动态图像预测解码装置200中，代替丢弃全部超前图片，能够仅选择无法解码的图片进行丢弃，可解码的图片可以用作后续图片的参照图片，有助于改善预测性能。

另外，在对图片分配RAS这样的NAL单元类型时，动态图像预测编码装置100生成能够正确解码的图片和无法正确解码的图片。另一方面，动态图像预测解码装置200不输出无法正确解码的图片。由此，在所输出的图片中产生时间上的间隙(gap)，有可能对帧的输出率造成影响。对于系统来说，在输出中存在间隙是不期望的。在本实施方式中，作为追加信息，动态图像预测编码装置100通过CRA图片标题或视频可用语法(Video usabilitySyntax)(YUI)中的标志对动态图像预测解码装置200指示这些RAS图片中是否存在间隙。接收到该标志的动态图像预测解码装置200可以选择是否输出能够正确解码但是存在间隙的超前图片。

并且，作为与上述不同的手段，也可以进一步对比特流设置限制，以使得在输出顺序中先于CRA图片的RAS图片中不产生间隙。即，可以连续输出比特流，以使得在RAS图片中不产生间隙。

进而，作为不同的手段，动态图像预测解码装置200也可以不依存于来自动态图像预测编码装置100的其他追加信息或图片的输出指示信息，而决定对non-RAS的超前图片进行解码，但是不输出。

在本实施方式中，通过动态图像预测解码装置200检测并使用NAL单元类型(RAS、CRA、non-RAS)的标签，但是，在网络内的其他装置(例如服务器、适当的网络要素等)中，也可以在从随机访问点开始解码时，为了执行丢弃RAS图片的处理而检测并使用NAL单元类型的标签。由此，能够节约网络带宽。

在本实施方式中，比特流可以分别包含多个CRA图片，存在与各个CRA图片相关联的RAS图片。在解码顺序中第2个CRA图片接着第1个CRA图片之后的情况下，不容许所述第2个CRA图片的RPS包含在第1个CRA图片之前解码的参照图片。由此，在第1个CRA图片是比特流的最初图片的情况下，保证第2个CRA图片的RAS图片被解码。

[动态图像预测编码程序、动态图像预测解码程序]

动态图像预测编码装置100的发明可以掌握为用于使计算机作为动态图像预测编码装置100发挥功能的动态图像预测编码程序的发明。同样，动态图像预测解码装置200的发明可以掌握为用于使计算机作为动态图像预测解码装置200发挥功能的动态图像预测解码程序的发明。

动态图像预测编码程序和动态图像预测解码程序例如存储在记录介质中来提供。另外，作为记录介质，例示了软盘、CD-ROM、USB存储器、DVD、半导体存储器等。

图8示出用于使计算机作为动态图像预测编码装置100发挥功能的动态图像预测编码程序的模块。如图8所示，动态图像预测编码程序P100具有输入模块P101、编码模块P102、复原模块P103、图像存储模块P104和控制模块P105。

并且，图9示出用于使计算机作为动态图像预测解码装置200发挥功能的动态图像预测解码程序的模块。如图9所示，动态图像预测解码程序P200具有输入模块P201、复原模块P202、图像存储模块P203和控制模块P204。

如上所述构成的动态图像预测编码程序P100和动态图像预测解码程序P200能够存储在图6和图7所示的记录介质10中，由后述计算机30执行。

图6是示出用于执行记录介质中记录的程序的计算机的硬件结构的图，图7是用于执行记录介质中记录的程序的计算机的概观图。作为计算机，包含具有CPU且进行基于软件的处理和控制的DVD播放器、机顶盒、便携电话等。

如图6所示，计算机30具有软盘驱动装置、CD-ROM驱动装置、DVD驱动装置等读取装置12、使操作系统常驻的作业用存储器(RAM)14、存储记录介质10中存储的程序的存储器16、称为显示器的显示装置18、作为输入装置的鼠标20和键盘22、用于进行数据等的收发的通信装置24、以及对程序的执行进行控制的CPU26。当记录介质10插入读取装置12中时，计算机30能够从读取装置12访问记录介质10中存储的动态图像预测编码程序，通过执行该动态图像预测编码程序，能够作为本发明的动态图像预测编码装置进行动作。同样，当记录介质10插入读取装置12中时，计算机30能够从读取装置12访问记录介质10中存储的动态图像预测解码程序，通过执行该动态图像预测解码程序，能够作为本发明的动态图像预测解码装置进行动作。

如图7所示，动态图像预测编码程序或动态图像预测解码程序也可以作为重叠在载波中的计算机数据信号40而经由网络来提供。该情况下，计算机30能够将通过通信装置24接收到的动态图像预测编码程序或动态图像预测解码程序存储在存储器16中，来执行该动态图像预测编码程序或该动态图像预测解码程序。

标号说明

10：记录介质；30：计算机；100：动态图像预测编码装置；101：输入端子；102：块分割器；103：预测信号生成器；104：帧存储器；105：减法器；106：转换器；107：量化器；108：逆量化器；109：逆转换器；110：加法器；111：熵编码器；112：输出端子；113：输入端子；114：帧存储器管理器；200：动态图像预测解码装置；201：输入端子；202：数据解析器；203：逆量化器；204：逆转换器；205：加法器；206：输出端子；207：帧存储器；208：预测信号生成器；209：帧存储器管理器；210：控制器；P100：动态图像预测编码程序；P101：输入模块；P102：编码模块；P103：复原模块；P104：图像存储模块；P105：控制模块；P200：动态图像预测解码程序；P201：输入模块；P202：复原模块；P203：图像存储模块；P204：控制模块。

Claims (12)

1.一种动态图像预测编码装置，其特征在于，该动态图像预测编码装置具有：

输入单元，其输入构成动态图像的多个图像；

编码单元，其利用画面内预测或画面间预测中的任意一个方法对所述图像进行编码，生成包含作为随机访问点的图像的压缩图像数据，并且，对各图像的输出顺序信息和与各图像的图片类型有关的信息进行编码；

复原单元，其对所述压缩图像数据进行解码，将其复原为再现图像；

图像存储单元，其存储1个以上的所述再现图像作为用于对后续图像进行编码的参照图像；以及

控制单元，其判定所述图片类型，根据判定结果对所述图像存储单元进行控制，

所述控制单元对所述图像赋予标签，作为以下共计3个类型的图片中的一个：

1)CRA图片：它的特征是，在从CRA图片开始解码的情况下，能够正确解码接着所述CRA图片的类型2图片；

2)类型1图片：其是在与该图片相关联的CRA图片之后解码、在所述CRA图片之前输出的图片，为了进行画面间预测，该类型1图片具有包含作为类型1图片而被赋予标签的至少1个参照图片或在解码顺序中先于所述相关联的CRA图片的至少1个参照图片在内的参照图片的列表；

3)类型2图片：其是为了进行画面间预测而具有参照图片的列表的图片，它的特征是，位于该参照图片的列表中的全部参照图片作为类型2图片或CRA图片而被赋予标签，在与该图片相关联的CRA图片以后被解码。

2.一种动态图像预测编码装置，其特征在于，该动态图像预测编码装置具有：

输入单元，其输入构成动态图像的多个图像；

编码单元，其利用画面内预测或画面间预测中的任意一个方法对所述图像进行编码，生成包含作为随机访问点的图像的压缩图像数据，并且，对各图像的输出顺序信息进行编码；

复原单元，其对所述压缩图像数据进行解码，将其复原为再现图像；

图像存储单元，其存储1个以上的所述再现图像作为用于对后续图像进行编码的参照图像；以及

控制单元，其对所述图像存储单元进行控制，

所述控制单元将所述图像分类为以下共计3种图片并进行控制：

1)CRA图片，从该CRA图片开始编码数据的解码；

2)下述图片：该图片在与该图片相关联的CRA图片之后解码，在所述相关联的CRA图片之前输出，跳过所述复原单元的解码处理，不存储在所述图像存储单元中且不输出，为了进行画面间预测，该图片具有包含跳过所述复原单元的解码处理的至少1个参照图片或在解码顺序中先于所述相关联的CRA图片的至少1个参照图片在内的参照图片的列表；

3)下述图片：该图片通过所述复原单元被解码，根据需要被存储在所述图像存储单元中用于进行参照，该图片的特征是，该图片为了进行画面间预测而具有参照图片的列表，位于该参照图片的列表中的全部参照图片通过所述复原单元解码，在与该图片相关联的CRA图片以后被解码。

3.一种由动态图像预测编码装置执行的动态图像预测编码方法，其特征在于，该动态图像预测编码方法具有以下步骤：

输入步骤，输入构成动态图像的多个图像；

编码步骤，利用画面内预测或画面间预测中的任意一个方法对所述图像进行编码，生成包含作为随机访问点的图像的压缩图像数据，并且，对各图像的输出顺序信息和与各图像的图片类型有关的信息进行编码；

复原步骤，对所述压缩图像数据进行解码，将其复原为再现图像；

图像存储步骤，存储1个以上的所述再现图像作为用于对后续图像进行编码的参照图像；以及

控制步骤，判定所述图片类型，根据判定结果对所述图像存储步骤进行控制，

在所述控制步骤中，所述动态图像预测编码装置对所述图像赋予标签作为以下共计3个类型的图片的中的一个：

1)CRA图片：它的特征是，在从CRA图片开始解码的情况下，能够正确解码接着所述CRA图片的类型2图片；

2)类型1图片：其是在与该图片相关联的CRA图片之后解码、在所述CRA图片之前输出的图片，为了进行画面间预测，该类型1图片具有包含作为类型1图片而被赋予标签的至少1个参照图片或在解码顺序中先于所述相关联的CRA图片的至少1个参照图片在内的参照图片的列表；

3)类型2图片：其是为了进行画面间预测而具有参照图片的列表的图片，它的特征是，位于该参照图片的列表中的全部参照图片作为类型2图片或CRA图片而被赋予标签，在与该图片相关联的CRA图片以后被解码。

4.一种由动态图像预测编码装置执行的动态图像预测编码方法，其特征在于，该动态图像预测编码方法具有以下步骤：

输入步骤，输入构成动态图像的多个图像；

编码步骤，利用画面内预测或画面间预测中的任意一个方法对所述图像进行编码，生成包含作为随机访问点的图像的压缩图像数据，并且，对各图像的输出顺序信息进行编码；

复原步骤，对所述压缩图像数据进行解码，将其复原为再现图像；

图像存储步骤，存储1个以上的所述再现图像作为用于对后续图像进行编码的参照图像；以及

控制步骤，对所述图像存储步骤进行控制，

在所述控制步骤中，所述动态图像预测编码装置将所述图像分类为以下共计3种图片并进行控制：

1)CRA图片，从该CRA图片开始编码数据的解码；

2)下述图片：该图片在与该图片相关联的CRA图片之后被解码，在所述相关联的CRA图片之前被输出，跳过所述复原步骤的解码处理，在所述图像存储步骤中不存储且不输出，该图片为了进行画面间预测而具有包含跳过所述复原步骤的解码处理的至少1个参照图片或在解码顺序中先于所述相关联的CRA图片的至少1个参照图片在内的参照图片的列表；

3)下述图片：该图片通过所述复原步骤被解码，根据需要在所述图像存储步骤中被存储用于进行参照，该图片的特征是，该图片为了进行画面间预测而具有参照图片的列表，位于该参照图片的列表中的全部参照图片通过所述复原步骤解码，在与该图片相关联的CRA图片以后被解码。

5.一种动态图像预测编码设备，其特征在于，该动态图像预测编码设备具有CPU和存储计算机可执行命令的存储器，

在由所述CPU执行计算机可执行命令的情况下，使所述CPU作为以下单元发挥功能：

输入单元，其输入构成动态图像的多个图像；

编码单元，其利用画面内预测或画面间预测中的任意一个方法对所述图像进行编码，生成包含作为随机访问点的图像的压缩图像数据，并且，对各图像的输出顺序信息和与各图像的图片类型有关的信息进行编码；

复原单元，其对所述压缩图像数据进行解码，将其复原为再现图像；

图像存储单元，其存储1个以上的所述再现图像作为用于对后续图像进行编码的参照图像；以及

控制单元，其判定所述图片类型，根据判定结果对所述图像存储单元进行控制，

所述控制单元对所述图像赋予标签作为以下共计3个类型的图片中的一个：

1)CRA图片：它的特征是，在从CRA图片开始解码的情况下，能够正确解码接着所述CRA图片的类型2图片；

2)类型1图片：其是在与该图片相关联的CRA图片之后解码、在所述CRA图片之前输出的图片，为了进行画面间预测，该类型1图片具有包含作为类型1图片而被赋予标签的至少1个参照图片或在解码顺序中先于所述相关联的CRA图片的至少1个参照图片在内的参照图片的列表；

3)类型2图片：其是为了进行画面间预测而具有参照图片的列表的图片，它的特征是，位于该参照图片的列表中的全部参照图片作为类型2图片或CRA图片而被赋予标签，在与该图片相关联的CRA图片以后被解码。

6.一种动态图像预测编码设备，其特征在于，该动态图像预测编码设备具有CPU和存储计算机可执行命令的存储器，

在由所述CPU执行计算机可执行命令的情况下，使所述CPU作为以下单元发挥功能：

输入单元，其输入构成动态图像的多个图像；

编码单元，其利用画面内预测或画面间预测中的任意一个方法对所述图像进行编码，生成包含作为随机访问点的图像的压缩图像数据，并且，对各图像的输出顺序信息进行编码；

复原单元，其对所述压缩图像数据进行解码，将其复原为再现图像；

图像存储单元，其存储1个以上的所述再现图像作为用于对后续图像进行编码的参照图像；以及

控制单元，其对所述图像存储单元进行控制，

所述控制单元将所述图像分类为以下3种图片并进行控制：

1)CRA图片，从该CRA图片开始编码数据的解码；

2)这样的图片：该图片在与该图片相关联的CRA图片之后解码，在所述相关联的CRA图片之前输出，跳过所述复原单元的解码处理，不存储在所述图像存储单元中且不输出，该图片为了进行画面间预测而具有包含跳过所述复原单元的解码处理的至少1个参照图片或在解码顺序中先于所述相关联的CRA图片的至少1个参照图片在内的参照图片的列表；

3)这样的图片：该图片通过所述复原单元被解码，根据需要被存储在所述图像存储单元中用于进行参照，该图片的特征是，该图片为了进行画面间预测而具有参照图片的列表，位于该参照图片的列表中的全部参照图片通过所述复原单元被解码，在与该图片相关联的CRA图片以后被解码。

7.一种动态图像预测解码装置，其特征在于，该动态图像预测解码装置具有：

输入单元，其输入通过对构成动态图像的多个图像进行基于画面内预测或画面间预测中的任意一方的编码而得到的包含随机访问图像的压缩图像数据、以及表示各图像的输出顺序和各图像的图片类型的编码数据；

复原单元，其对所述压缩图像数据和所述编码数据进行解码，将其复原为再现图像、输出顺序信息、图片类型信息；

图像存储单元，其存储1个以上的所述再现图像作为用于对后续图像进行解码的参照图像；以及

控制单元，其根据所述图片类型对所述复原单元进行控制，

各图像被赋予标签而使所述图片类型成为以下共计3个类型中的一个：

1)CRA图片：它的特征是，在从CRA图片开始解码的情况下，能够正确解码接着所述CRA图片的类型2图片；

2)类型1图片：其是在与该图片相关联的CRA图片之后解码、在所述CRA图片之前输出的图片，为了进行画面间预测，该类型1图片具有包含作为类型1图片而被赋予标签的至少1个参照图片或在解码顺序中先于所述相关联的CRA图片的至少1个参照图片在内的参照图片的列表；

3)类型2图片：其是为了进行画面间预测而具有参照图片的列表的图片，它的特征是，位于该参照图片的列表中的全部参照图片作为类型2图片或CRA图片而被赋予标签，在与该图片相关联的CRA图片以后被解码，

在从CRA图片开始进行编码数据的解码的情况下，所述复原单元在直到即将进行下一个CRA图片的处理之前的期间内，持续进行如下这样的解码处理：对作为类型2图片而赋予了标签的图像进行解码，跳过作为类型1图片而赋予了标签的图像的解码。

8.一种动态图像预测解码装置，其特征在于，该动态图像预测解码装置具有：

输入单元，其输入通过对构成动态图像的多个图像进行基于画面内预测或画面间预测中的任意一方的编码而得到的包含随机访问图像的压缩图像数据以及表示各图像的输出顺序的编码数据；

复原单元，其对所述压缩图像数据和所述编码数据进行解码，将其复原为再现图像和输出顺序信息；

图像存储单元，其存储1个以上的所述再现图像作为用于对后续图像进行解码的参照图像；以及

控制单元，其对所述复原单元进行控制，

所述控制单元将所述图像分类为以下3种图片并进行控制：

1)CRA图片，从该CRA图片开始编码数据的解码；

2)下述图片：该图片在与该图片相关联的CRA图片之后解码，在所述相关联的CRA图片之前输出，跳过所述复原单元的解码处理，不存储在所述图像存储单元中且不输出，为了进行画面间预测，该图片具有包含跳过所述复原单元的解码处理的至少1个参照图片或在解码顺序中先于所述相关联的CRA图片的至少1个参照图片在内的参照图片的列表；

3)下述图片：该图片通过所述复原单元被解码，根据需要存储在所述图像存储单元中用于进行参照，该图片的特征是，该图片为了进行画面间预测而具有参照图片的列表，位于该参照图片的列表中的全部参照图片通过所述复原单元被解码，在与该图片相关联的CRA图片以后被解码，

在与该图片相关联的CRA图片处开始进行编码数据的解码的情况下，所述复原单元判定位于与该图片有关的参照图片的列表中的全部参照图片是否存储在所述图像存储单元中，在直到即将进行下一个CRA图片的处理之前的期间内，持续进行如下这样的解码处理：如果存储了位于参照图片的列表中的全部参照图片则对该图片进行解码，如果未存储位于参照图片的列表中的1个以上的参照图片则跳过该图片的解码。

9.一种由动态图像预测解码装置执行的动态图像预测解码方法，其特征在于，该动态图像预测解码方法具有以下步骤：

输入步骤，输入通过对构成动态图像的多个图像进行基于画面内预测或画面间预测中的任意一方的编码而得到的包含随机访问图像的压缩图像数据以及表示各图像的输出顺序和各图像的图片类型的编码数据；

复原步骤，对所述压缩图像数据和所述编码数据进行解码，将其复原为再现图像、输出顺序信息、图片类型信息；

图像存储步骤，存储1个以上的所述再现图像作为用于对后续图像进行解码的参照图像；以及

控制步骤，根据所述图片类型对所述复原步骤进行控制，

各图像被赋予标签而使所述图片类型成为以下共计3个类型中的一个：

1)CRA图片：它的特征是，在从CRA图片开始解码的情况下，能够正确解码接着所述CRA图片的类型2图片；

2)类型1图片：其是在与该图片相关联的CRA图片之后解码、在所述CRA图片之前输出的图片，为了进行画面间预测，该类型1图片具有包含作为类型1图片而被赋予标签的至少1个参照图片或在解码顺序中先于所述相关联的CRA图片的至少1个参照图片在内的参照图片的列表；

3)类型2图片：其是为了进行画面间预测而具有参照图片的列表的图片，它的特征是，位于该参照图片的列表中的全部参照图片作为类型2图片或CRA图片而被赋予标签，在与该图片相关联的CRA图片以后被解码，

在所述复原步骤中，所述动态图像预测解码装置在从CRA图片开始进行编码数据的解码的情况下，在直到即将进行下一个CRA图片的处理之前的期间内持续进行如下这样的解码处理：对作为类型2图片而被赋予标签的图像进行解码，跳过作为类型1图片而被赋予标签的图像的解码。

10.一种由动态图像预测解码装置执行的动态图像预测解码方法，其特征在于，该动态图像预测解码方法具有以下步骤：

输入步骤，输入通过对构成动态图像的多个图像进行基于画面内预测或画面间预测中的任意一方的编码而得到的包含随机访问图像的压缩图像数据以及表示各图像的输出顺序的编码数据；

复原步骤，对所述压缩图像数据和所述编码数据进行解码，将其复原为再现图像和输出顺序信息；

图像存储步骤，存储1个以上的所述再现图像作为用于对后续图像进行解码的参照图像；以及

控制步骤，对所述复原步骤进行控制，

在所述控制步骤中，所述动态图像预测解码装置将所述图像分类为以下3种图片并进行控制：

1)CRA图片，从该CRA图片开始编码数据的解码；

2)下述图片：该图片在与该图片相关联的CRA图片之后解码，在所述相关联的CRA图片之前输出，跳过所述复原步骤的解码处理，在所述图像存储步骤中不存储且不输出，为了进行画面间预测，该图片具有包含跳过所述复原步骤的解码处理的至少1个参照图片或在解码顺序中先于所述相关联的CRA图片的至少1个参照图片在内的参照图片的列表；

3)下述图片：该图片通过所述复原步骤被解码，根据需要在所述图像存储步骤中进行存储以用于进行参照，该图片的特征是，该图片为了进行画面间预测而具有参照图片的列表，位于该参照图片的列表中的全部参照图片通过所述复原步骤被解码，在与该图片相关联的CRA图片以后被解码，

在所述复原步骤中，在与该图片相关联的CRA图片处开始进行编码数据的解码的情况下，所述动态图像预测解码装置判定在所述图像存储步骤中是否存储了位于与该图片有关的参照图片的列表中的全部参照图片，在直到即将进行下一个CRA图片的处理之前的期间内持续进行如下这样的解码处理：如果存储了位于参照图片的列表中的全部参照图片则对该图片进行解码，如果未存储位于参照图片的列表中的1个以上的参照图片则跳过该图片的解码。

11.一种动态图像预测解码设备，其特征在于，该动态图像预测解码设备具有CPU和存储计算机可执行命令的存储器，

在由所述CPU执行计算机可执行命令的情况下，使所述CPU作为以下单元发挥功能：

输入单元，其输入通过对构成动态图像的多个图像进行基于画面内预测或画面间预测中的任意一方的编码而得到的包含随机访问图像的压缩图像数据以及表示各图像的输出顺序和各图像的图片类型的编码数据；

复原单元，其对所述压缩图像数据和所述编码数据进行解码，将其复原为再现图像、输出顺序信息、图片类型信息；

图像存储单元，其存储1个以上的所述再现图像作为用于对后续图像进行解码的参照图像；以及

控制单元，其根据所述图片类型对所述复原单元进行控制，

各图像被赋予标签而使所述图片类型成为以下共计3个类型中的一个：

1)CRA图片：它的特征是，在从CRA图片开始解码的情况下，能够正确解码接着所述CRA图片的类型2图片；

2)类型1图片：其是在与该图片相关联的CRA图片之后解码、在所述CRA图片之前输出的图片，为了进行画面间预测，该类型1图片具有包含作为类型1图片而被赋予标签的至少1个参照图片或在解码顺序中先于所述相关联的CRA图片的至少1个参照图片在内的参照图片的列表；

3)类型2图片：其是为了进行画面间预测而具有参照图片的列表的图片，它的特征是，位于该参照图片的列表中的全部参照图片作为类型2图片或CRA图片而被赋予标签，在与该图片相关联的CRA图片以后被解码，

在从CRA图片开始进行编码数据的解码的情况下，所述复原单元在直到即将进行下一个CRA图片的处理之前的期间内持续进行如下这样的解码处理：对作为类型2图片而被赋予标签的图像进行解码，跳过作为类型1图片而被赋予标签的图像的解码。

12.一种动态图像预测解码设备，其特征在于，该动态图像预测解码设备具有CPU和存储计算机可执行命令的存储器，

在由所述CPU执行计算机可执行命令的情况下，使所述CPU作为以下单元发挥功能：

输入单元，其输入通过对构成动态图像的多个图像进行基于画面内预测或画面间预测中的任意一方的编码而得到的包含随机访问图像的压缩图像数据以及表示各图像的输出顺序的编码数据；

复原单元，其对所述压缩图像数据和所述编码数据进行解码，将其复原为再现图像和输出顺序信息；

图像存储单元，其存储1个以上的所述再现图像作为用于对后续图像进行解码的参照图像；以及

控制单元，其对所述复原单元进行控制，

所述控制单元将所述图像分类为以下共计3种图片并进行控制：

1)CRA图片，从该CRA图片开始编码数据的解码；

2)这样的图片：该图片在与该图片相关联的CRA图片之后解码，在所述相关联的CRA图片之前输出，跳过所述复原单元的解码处理，不存储在所述图像存储单元中且不输出，为了进行画面间预测，该图片具有包含跳过所述复原单元的解码处理的至少1个参照图片或在解码顺序中先于所述相关联的CRA图片的至少1个参照图片在内的参照图片的列表；

3)这样的图片：该图片通过所述复原单元被解码，根据需要被存储在所述图像存储单元中用于进行参照，该图片的特征是，该图片为了进行画面间预测而具有参照图片的列表，位于该参照图片的列表中的全部参照图片通过所述复原单元被解码，在与该图片相关联的CRA图片以后被解码，

在与该图片相关联的CRA图片处开始进行编码数据的解码的情况下，所述复原单元判定位于与该图片有关的参照图片的列表中的全部参照图片是否存储在所述图像存储单元中，在直到即将进行下一个CRA图片的处理之前的期间内持续进行如下这样的解码处理：如果存储了位于参照图片的列表中的全部参照图片则对该图片进行解码，如果未存储位于参照图片的列表中的1个以上的参照图片则跳过该图片的解码。