CN101304530A - 活动图像解码集成电路、活动图像解码方法、装置及程序 - Google Patents

Abstract

本发明提供一种活动图像解码装置，在进行视场角大的HD图像尺寸等的处理的情况下，当采用除了外部存储器以外还设置高速缓冲存储器的结构时，将该高速缓冲存储器的安装容量抑制得较小，并且削减来自上述外部存储器的数据转送量。除了存储多张参照图片的参照像素数据的多帧存储器(外部存储器)(FrmMem)以外，还具有用于存储参照图片的高速缓冲存储器(CacheMem)。参照结构分析器(StrAna)对图片的参照结构进行分析。参照图片管理器(FMCtr)使用上述图片的参照结构的分析结果，将解码对象图片的参照可能性高的参照图片写入上述多帧存储器(FrmMem)，并且存储在上述高速缓冲存储器(CacheMem)。

Description

活动图像解码集成电路、活动图像解码方法、装置及程序

技术领域

本发明涉及活动图像流的再现，涉及用于削减与图像数据存储存储器的总线带宽的活动图像解码装置。

背景技术

近年来，迎来了统一处理声音、图像、其他像素值的多媒体时代，向人们传达以往的信息媒体即报纸、杂质、电视、收音机、电话等的信息的手段作为多媒体的对象而被采纳。一般来说，多媒体不仅与文字，而且还同时与图形、声音、特别是活动图像等相关联来表示，但要以上述以往的信息媒体作为多媒体的对象，则将该信息以数字形式表示就成为必要条件。

然而，当将上述各信息媒体所具有的信息量作为数字信息量来估算时，在文字的情况下每1个文字的信息量为1～2字节，而在声音的情况下每1秒需要64Kbits(电话质量)的信息量，进而在活动图像的情况下每1秒需要100Mbits(现行电视接收质量)以上的信息量，由上述信息媒体以数字形式直接处理如此庞大的信息是不现实的。例如，电视电话已通过具有64Kbit/s～1.5Mbit/s传输速度的综合业务数字网(ISDN：Integrated Services Digital Network)进行了实用化，但无法直接使用ISDN来发送电视/摄像机的影像。

因此，需要的是信息的压缩技术，例如，在电视电话的情况下，采用被ITU-T(国际电信联盟，电信标准化部门)建议的H.261或H.263标准的活动图像压缩技术。另外，根据MPEG-1标准的信息压缩技术，可在通常的音乐用CD(微型光盘)中与声音信息一起装入活动图像信息。

在此，MPEG(Moving Picture Experts Group：活动图像专家组)是指被ISO/IEC(国际标准化组织，国际电工委员会)标准化的活动图像信号压缩的国际标准，MPEG-1是将活动图像信号压缩至1.5Mbps、即将电视信号的信息压缩至大约100分之1的标准。另外，在MPEG-1标准中使成为对象的质量为能以转送速度主要约为1.5Mbps来实现的中等程度的质量，所以在为了满足更高质量图像的要求而标准化的MPEG-2中，使活动图像信号以2～15Mbps来实现TV广播质量。而且在现状中，由推进MPEG-1、MPEG-2和标准化的工作组(ISO/IEC JTC 1/SC 29/WG 11)对实现多媒体时代所需要的新功能的MPEG-4进行了标准化，该MPEG-4达到超过MPEG-1、MPEG-2的压缩率，还能以物体为单位来进行编码/解码/操作。在MPEG-4中，最初以低位速率的编码方法的标准化为目标而发展，但现在扩大为既包括交织图像还包含高位速率的更通用的编码。

而且，在2003年，由ISO/IEC与ITU-T共同地对非专利文献1所示的MPEG-4AVC标准和H.264标准进行了标准化来作为更高压缩率的图像编码方式。H.264标准扩大到适应于当前HD(HighDefinition：高分辨率)图像等的与高档次(High Profile)对应的修正标准。作为H.264标准的应用程序，与MPEG-2或MPEG-4同样，扩大到数字广播、DVD(Digital Versatile Disk：数字多功能光盘)播放器/记录器、硬盘播放器/记录器、摄像机(camcorder)、电视电话等。

一般来说，在活动图像的编码中，通过削减时间方向和空间方向的冗余性来进行信息量的压缩。因此，在以时间性的冗余性的削减为目的的画面间预测编码中，参照前方或后方的图片(picture)以块为单位进行活动的检测和预测图像的生成，对所取得的预测图像和编码对象图片的差值进行编码。在此，所谓的图片是表示1个画面的用语，在连续(progressive)图像中表示帧的意思，在交织图像中表示帧或场(field)的意思。在此，交织图像是指1个帧由不同时刻的2个场构成的图像。在交织图像的编码、解码处理中，对于1个帧，能作为帧进行处理、或者作为2个场进行处理、或者按帧内的每个块作为帧结构或场结构来进行处理。

将不具有参照图像而进行画面内预测编码的称为I图片。另外，将只参照1张参照图像来进行画面间预测编码的称为P图片。另外，将可同时参照2张参照图像来进行画面间预测编码的称为B图片。B图片作为显示时间上从前方或后方任意的组合可以参照2张图片。参照图像(参照图片)能够按每个作为编码的基本单位的宏块进行指定，但将在进行了编码的位流中先记载的参照图片作为第1参照图片，将后记载的参照图片作为第2参照图片来进行区分。但是，作为对这些图片进行编码时的条件，需要已经对要参照的图片进行编码。

在P图片或B图片的编码中，使用了活动补偿画面间预测编码。活动补偿画面间预测编码是指，在画面间预测编码中应用了活动补偿的编码方式。活动补偿是指，不是单纯地根据参照帧的像素值进行预测，而是通过对图片内的各部的活动量(以下，将其称为活动矢量)进行检测，并进行考虑了该活动量的预测，从而提高预测精度，并且减少数据量的方式。例如，通过对编码对象图片的活动矢量进行检测，对移动了该活动矢量的部分的预测值与编码对象图片之间的预测残差进行编码，从而削减了数据量。在该方式的情况下，由于在解码时需要活动矢量的信息，所以活动矢量也被编码后进行记录或转送。

活动矢量以宏块为单位进行检测，具体而言，预先固定编码对象图片方的宏块，使参照图片方的宏块在搜索范围内移动，搜索到与基准块最相似的参照块的位置，从而检测活动矢量。

图9是示出以往的活动图像编码装置的结构的框图。

该活动图像编码装置具有活动检测器ME、多帧存储器FrmMem、减法器Sub 1、减法器Sub 2、活动补偿器MC、编码器Enc、加法器Add 1、活动矢量存储器MVMem、以及活动矢量预测器MVPred。

在P图片或B图片等的画面间预测中，活动检测器ME将从多帧存储器FrmMem输出的活动检测参照像素MEpel与画面信号Vin进行比较，输出活动矢量MV和参照帧序号RefNo。参照帧序号RefNo是确定从多个参照图像中选择出的、在对象图像中进行参照的参照图像的识别信号。活动矢量MV被暂时存储在活动矢量存储器MVMem之后，作为附近活动矢量PrevMV被输出，在动作向量预测器MVPred中将预测活动矢量PredMV用作为了进行预测而参照的附近活动矢量PrevMV。减法器Sub 2从活动矢量MV中减去预测活动矢量PredMV。将其差作为活动矢量预测差DifMV输出。

另一方面，多帧存储器FrmMem将用参照帧序号RefNo和活动矢量MV表示的像素作为活动补偿参照像素MCpel 1输出，活动补偿器MC生成小数像素精度的参照像素并输出参照画面像素MCpel 2。减法器Sub 1从画面信号Vin中减去参照画面像素MCpel 2，输出画面预测误差DifPel。

另外，编码器Enc对画面预测误差DifPel、活动矢量预测差DifMV、参照帧序号RefNo进行可变长度编码，并输出编码信号Str。在编码时，还同时输出作为画面预测误差的解码结果的解码画面预测误差RecDifPel。解码画面预测误差RecDifPel是对画面预测误差DifPel叠加了编码误差的误差，与由画面间预测解码装置对编码信号Str进行解码而取得的画面间预测误差一致。

加法器Add 1将参照画面像素MCpel 2和解码画面预测误差RecDifPel相加，其相加结果作为解码画面RecPel存储到多帧存储器FrmMem。但是，为了有效地利用多帧存储器FrmMem的容量，存储在多帧存储器FrmMem中的画面的区域在不需要的情况下被释放，而且不需要存储在多帧存储器FrmMem中的画面的解码画面RecPel不存储到多帧存储器FrmMem中。

图10是示出以往的活动图像解码装置的结构的框图。在该图中，与图9相同的标号表示相同的部分，省略其说明。

图10所示的以往的活动图像解码装置是对由图9所示的以往的活动图像预测编码装置编码后的编码信号Str进行解码并输出解码画面信号Vout的装置，具有多帧存储器FrmMem、活动补偿器MC、加法器Add 1、加法器Add 2、活动矢量存储器MVMem、活动矢量预测器MVPred、以及解码器Dec。

解码器Dec对编码信号Str进行解码，并输出解码画面预测误差RecDifPel、参照帧序号RefNo以及活动矢量预测差DifMV。加法器Add 2对从活动矢量预测器MVPred输出的预测活动矢量PredMV和活动矢量预测差DifMV进行相加，对活动矢量MV进行解码。

在画面间预测中，多帧存储器FrmMem将用参照帧序号RefNo和活动矢量MV表示的像素作为活动补偿参照像素MCpel1输出，活动补偿器MC生成小数像素精度的参照像素，并输出参照画面像素MCpel 2。加法器Add 1将参照画面像素MCpel 2和解码画面预测误差RecDifPel相加，其相加结果作为解码画面RecPel存储到多帧存储器FrmMem。

但是，为了有效地利用多帧存储器FrmMem的容量，存储在多帧存储器FrmMem中的画面的区域在不需要的情况下被释放，而且不需要存储在多帧存储器FrmMem中的画面的解码画面RecPel不存储到多帧存储器FrmMem中。如上所述，能够正确地从编码信号Str对解码画面信号Vout、即解码画面RecPel进行解码。

另外，在由外部的SDRAM等构成多帧存储器FrmMem的情况下，图中用虚线围成的区域DecSys构成为1个芯片。

同样，在图9的活动图像编码装置中，在由外部的SDRAM等构成多帧存储器FrmMem的情况下，解码画面RecPel、活动检测参照像素MEpel、以及活动补偿参照像素MCpel 1的存储器转送量变得庞大，所以需要削减多帧存储器FrmMem的带宽。在此，例如在专利文献1中提出有通过在构成为1个芯片的区域安装高速缓冲存储器来削减多帧存储器FrmMem的带宽的结构的一例。

专利文献1：日本特开2006-270683号公报

非专利文献1：ITU-T Recomendation H.264，“SERIES H：AUDIOVISUAL AND MULTIMEDIA SYSTEMS Infrastructure ofaudiovisual services？Coding of moving video：Advanced video codingfor generic audiovisual services，”March 2005.

发明内容

在活动图像编码装置中，作为要削减上述多帧存储器FrmMem的带宽而安装高速缓冲存储器的结构，提出有以下结构：例如在图9的结构中，还设置高速缓冲存储器，从多帧缓冲存储器FrmMem向上述高速缓冲存储器一次转送需要的参照数据之后，从该高速缓冲存储器中取出活动检测参照像素MEpel和活动补偿参照像素MCpel 1，并分别提供给活动检测器ME和活动补偿器MC。通过该结构，可仅对参照所需的图片提高局部性地进行存取。

进而，在图像编码的情况下，当可在高速缓冲器中存储较大的区域、例如2张图片以上时，若限制参照图片的张数，就可通过将解码画面RecPel的图像数据以图片为单位原样地存储到高速缓冲存储器中，不需要原来从多帧存储器FrmMem对高速缓冲存储器的一次转送。

在图10的活动图像解码装置中，在进行视场角较大的HD图像尺寸的处理时，解码画面信号Vout和活动补偿参照像素MCpel 1的转送量变得庞大，导致外部存储器带宽变大。因此，与在背景技术中说明的编码处理同样，产生需要用高速的SRAM来安装多帧存储器FrmMem、或功耗变大的情况。特别是，在对活动图像进行摄像的影片中，成为电池供电的机会较多，所以功耗变大是重要的课题。

与MPEG-2不同，在H.264标准中，参照块形状具有从16×16到最小为4×4的尺寸，用于活动补偿的滤波次数也从2抽头增加到6抽头。例如，在MPEG-2标准中，在以16×16的尺寸进行转送的情况下，可使用(16+2-1)×(16+2-1)＝289个像素来实现，但在H.264标准中以4×4的尺寸全部进行转送的情况下，需要(4+6-1)×(4+6-1)×16＝1,296个像素和4.5倍的转送量(但是，根据档次(profile)等级(level)、使用标准，对最小参照块尺寸等进行限制)。

为了解决该情况，与上述活动图像编码装置同样，考虑在多帧存储器FrmMem以外还追加高速缓冲存储器CacheMem，以图片为单位对高速缓冲存储器CacheMem的参照图像进行管理。例如，在进行录像、再现的影片等情况下，不会同时进行录像和再现，所以能够共用作为活动图像编码装置的安装资源、和作为活动图像解码装置的安装资源。也就是说，通过共用安装资源，可抑制安装成本较大的高速缓冲存储器CacheMem的容量。

在此，在H.264标准中允许从3张以上的参照图片中选择性地进行参照，所以在活动图像编码中，可根据所要求的编码性能来削减要参照的图片张数，因此，可对高速缓冲存储器CacheMem的容量加以限制。

但是，在活动图像解码中，已使用活动图像的编码标准确定了具有可参照性的图片张数，所以难以任意地限制高速缓冲存储器CacheMem的容量。

例如，在活动图像的编码标准中，在参照图片张数根据该编码性能被限制在例如1张以下的情况下，当对用该编码标准编码后的编码数据进行解码时，可将高速缓冲存储器CacheMem的容量抑制得很小，且抑制为与该编码标准对应的容量。另一方面，在活动图像的编码标准中，在为了使该编码性能成为高性能而将参照图片数例如限制在4张以上的情况下，当对用该编码标准编码后的编码数据进行解码时，需要将高速缓冲存储器CacheMem的容量设定得很大，且设定为与该编码标准对应的容量，来实现与多帧存储器的像素数据的转送带宽的削减。

因此，在活动图像解码中，为了响应与要解码的编码数据的全解码对应的要求，需要如已述那样预先将高速缓冲存储器CacheMem的容量设定得较大，从而难以限制为任意小的容量。其结果，在活动图像解码装置中，作为高速缓冲存储器CacheMem的安装容量，需要设定得大于活动图像编码装置中安装的高速缓冲存储器的容量，从而产生导致成本相应地增加这样的问题。

为了解决上述课题，本发明的目的在于一边将活动图像解码装置中具备的高速缓冲存储器CacheMem的安装容量限制为小容量，一边实现与多帧存储器的像素数据的转送带宽的削减。

为了达成上述的目的，在本发明中，在活动图像解码装置中，以图片为单位只将用于活动补偿的可能性高的参照图片存储在高速缓冲存储器中，以此来管理参照图片。

即，本发明第1技术方案的活动图像解码集成电路，利用存储在多帧存储器中的多张参照图片的像素数据来进行构成图片的块的解码，其特征在于，包括：高速缓冲存储器，用于以图片为单位来存储参照图片；活动补偿单元，使用来自上述高速缓冲存储器的像素数据，进行构成图片的块的活动补偿；以及参照图片管理单元，管理参照图片以使将用于活动补偿的可能性高的参照图片以图片为单位存储在上述高速缓冲存储器中。

第2技术方案的发明在上述第1技术方案的活动图像解码集成电路中，其特征在于：还具有选择单元，选择从上述多帧存储器转送的参照图片的参照像素数据和从上述高速缓冲存储器转送的参照图片的参照像素数据中的任意一方数据，使用来自上述多帧存储器的参照像素数据代替来自上述高速缓冲存储器的参照像素数据，来作为在上述活动补偿单元中处理的参照像素数据。

第3技术方案的发明在上述第1技术方案的活动图像解码集成电路中，其特征在于：上述参照图片管理单元管理参照图片如下：管理存储到上述多帧存储器的参照图片，并且判断存储到上述多帧存储器的参照图片中的、用于活动补偿的可能性高的参照图片，然后将该用于活动补偿的可能性高的参照图片存储在上述高速缓冲存储器。

第4技术方案的发明在上述第1技术方案的活动图像解码集成电路中，其特征在于：上述参照图片管理单元管理参照图片如下：判断由上述活动补偿单元执行活动补偿中的解码图片是否为来自在该解码图片之后进行解码的解码图片的参照可能性高的图片，当判断为该参照可能性高时，将执行上述活动补偿中的解码图片存储在上述高速缓冲存储器中。

第5技术方案的发明在上述第1技术方案的活动图像解码集成电路中，其特征在于：上述参照图片管理单元管理参照图片，将以特定图片结构被编码的图片作为参照图片存储在上述高速缓冲存储器中。

第6技术方案的发明在上述第5技术方案的活动图像解码集成电路中，其特征在于：上述特定图片结构仅由各编码块的参照图片为0张或1张的块构成。

第7技术方案的发明在上述第4技术方案的活动图像解码集成电路中，其特征在于：上述特定图片结构是各编码块的参照图片为I图片或P图片。

第8技术方案的发明在上述第1技术方案的活动图像解码集成电路中，其特征在于：上述参照图片管理单元管理参照图片，按照参照图片的参照列表的内容将参照图片存储在上述高速缓冲存储器中。

第9技术方案的发明在上述第1技术方案的活动图像解码集成电路中，其特征在于：上述参照图片管理单元管理参照图片，判断由上述活动补偿单元执行活动补偿中的块的图片位置，根据该图片位置，将参照图片的一部分存储在高速缓冲存储器中。

第10技术方案的发明在上述第1技术方案的活动图像解码集成电路中，其特征在于：还具有参照结构分析单元，对图片的参照结构的周期性排列和在该周期性排列中的在各图片位置进行参照的图片的参照可能性进行分析，基于上述参照结构分析单元的周期性排列和图片的参照可能性的分析结果被输入到上述参照图片管理单元。

第11技术方案的发明在上述第10技术方案的活动图像解码集成电路中，其特征在于：上述参照结构分析单元根据以特定图片结构进行了编码的图片的周期性出现间隔来推断参照结构，针对解码对象图片，从与上述特定图片结构的图片之间的间隔成为此前的相同的周期位置的图片所参照的图片中，分析哪些参照位置的图片的参照频率提高了。

第12技术方案的发明在上述第10技术方案的活动图像解码集成电路中，其特征在于：上述参照结构分析单元在进行特殊再现时，将仅在该特殊再现中实际解码的图片的排列识别为疑似性的参照结构，来分析参照频率。

第13技术方案的发明的活动图像解码方法，利用存储在多帧存储器中的多张参照图片的像素数据来进行构成图片的块的解码，其特征在于，包括如下的步骤：存储步骤，一边管理参照图片，以使解码对象图片在活动补偿中进行参照的可能性高的参照图片以图片为单位存储在高速缓冲存储器中，一边将该可能性高的参照图片存储在高速缓冲存储器；选择步骤，为了用于活动补偿而选择从上述多帧存储器转送的参照图片的参照像素数据和从上述高速缓冲存储器转送的参照图片的参照像素数据中的任意一方数据；以及活动补偿步骤，使用在上述选择步骤中选择出的参照像素数据来进行解码对象图片的活动补偿。

第14技术方案的发明的活动图像解码集成装置，利用多张参照图片的像素数据来进行构成图片的块的解码，其特征在于，包括：多帧存储器，存储多张参照图片的参照像素数据；高速缓冲存储器，用于以图片为单位来存储参照图片的参照像素数据；选择单元，选择从上述多帧存储器转送的参照图片的参照像素数据和从上述高速缓冲存储器转送的参照图片的参照像素数据的任一个；活动补偿单元，使用由上述选择单元选择出的参照图片的参照像素数据来进行构成图片的块的活动补偿；以及参照图片管理单元，对参照图片进行如下管理：将解码对象图片在活动补偿中进行参照的可能性高的参照图片以图片为单位存储在上述高速缓冲存储器中。

第15技术方案的发明的活动图像解码程序，利用存储在多帧存储器中的多张参照图片的像素数据来进行构成图片的块的解码，其特征在于，该活动图像解码程序执行如下步骤：存储步骤，一边管理参照图片，以使解码对象图片在活动补偿中进行参照的可能性高的参照图片以图片为单位存储在高速缓冲存储器中，一边将该可能性高的参照图片存储在高速缓冲存储器中；选择步骤，为了用于活动补偿而选择从上述多帧存储器转送的参照图片的参照像素数据和从上述高速缓冲存储器转送的参照图片的参照像素数据中的任意一方数据；以及活动补偿步骤，使用在上述选择步骤中选择出的参照像素数据来进行解码对象图片的活动补偿。

如上所述，在第1～第15技术方案的发明中，在解码对象图片的各块的解码处理中，为了进行该活动补偿而使用的参照图片已经存储在高速缓冲存储器中的可能性很高，所以在该解码对象图片的各块的解码处理中不需要每次从多帧存储器取得参照图片的块。因此，能够一边将高速缓冲存储器安装容量限制为小容量，一边实现与多帧存储器的像素数据的转送带宽的削减。

特别是，在对活动图像进行记录再现的影片中，当再现自录的时序的情况下，不需要取得来自多帧存储器的参照图片，所以可最大限地进行转送带宽的削减。

另外，在第2技术方案的发明中，不存在于高速缓冲存储器中的参照像素数据可从多帧存储器取得，所以不仅可最大限地进行自录的时序中的转送带宽的削减，而且对于自录以外的时序，也能够不使高速缓冲存储器的容量增加，实现与多帧存储器之间的参照像素数据的转送带宽的削减。

另外，在第3以及第4技术方案的发明中，一边将参照的可能性高的图片优先地残留在高速缓冲存储器，一边进行解码处理，所以无需再次取得来自高速缓冲存储器的参照像素数据，因此，可实现转送带宽的削减。

另外，在第5～7技术方案的发明中，不进行执行解码的图片的参照关系的分析，而进行将以固定的判断参照可能性高的参照图片残留在高速缓冲存储器的处理，所以无需进行复杂的存储器管理，就可实现与多帧存储器之间的转送带宽的削减。

另外，在第8技术方案的发明中，不对实际的各参照图片的参照频率进行测量，就能推断参照的图片的可能性，所以不进行复杂的参照关系的判断处理，就能够实现与多帧存储器之间的转送带宽的削减。

另外，在第9技术方案的发明中，能够不将参照图片的所有区域存储在高速缓冲存储器来处理，所以可抑制高速缓冲存储器的安装成本，并且实现与多帧存储器之间的转送带宽的削减。

另外，在第10～12技术方案的发明中，使用解码对象图片进行参照的参照图片的参照频率、或根据可从P图片的间隔判断的周期性相同的位置的已解码图片的参照图片的参照频率推断的参照频率，所以使存储在高速缓冲存储器中的参照图片的有效性提高，并且实现来自多帧存储器的转送带宽的削减。

如以上说明所述，根据第1～15技术方案的发明，在解码对象图片的各块的解码处理中，将用于进行该补偿活动的可能性高的参照图片存储到高速缓冲存储器，所以无需在该解码对象图片的解码处理中从多帧存储器取得参照图片，能够一边将高速缓冲存储器安装容量限制为小容量，一边实现与多帧存储器的像素数据的转送带宽的削减。

附图说明

图1是本发明第1实施方式的活动图像解码装置的框图。

图2是构成流的图片的示意图。

图3是示出参考索引的附加方法和参照频率的示意图。

图4是示出本发明第1实施方式的活动图像解码装置中具备的参照图片管理器所管理的参照图片的示意图。

图5是示出本发明第1实施方式的活动图像解码装置中具备的参照图片管理器所管理的参照图片的另一个示意图。

图6是示出本发明第1实施方式的活动图像解码装置中具备的参照图片管理器所管理的参照图片的又一个示意图。

图7是实现H.264记录器的AV处理部的结构框图。

图8是利用计算机系统实施本发明第1实施方式的活动图像解码装置时的整体概略结构图。

图9是示出以往的活动图像编码装置的结构的框图。

图10是示出以往的活动图像解码装置的结构的框图。

标号说明

FrmMem多帧存储器

CacheMem高速缓冲存储器

FrmSel选择器(选择单元)

FMCtrl参照图片管理器(参照图片管理单元)

StrAna参照结构分析器(参照结构分析单元)

Add 1加法器

Add 2加法器

MC 活动补偿器(活动补偿单元)

Dec解码器

MVMem 活动矢量存储器

MVPred活动矢量预测器

Str对编码信号进行解码

RecDifPel解码画面预测误差

RefNo   参照帧序号

DifMV   活动矢量预测差

MV      活动矢量

MCpel 1 活动补偿参照像素

MCpel 2 参照画面像素

RecPel  解码画面

PredMV  预测活动矢量

PrevMV  附近活动矢量

AnaRes  结构分析结果

MCtrSig 控制信号

Vout    解码画面信号

具体实施方式

以下，使用图1～图8来说明本发明的实施方式。

(实施方式1)

以下，使用图1～图6来说明本发明的实施方式1。

图1是实现本发明的解码装置的框图。在该图中，与图10相同的标号表示相同的部分，省略其说明。图1和图10的不同点在于，形成在多帧存储器FrmMem的基础上追加高速缓冲存储器CacheMem来存储图片的结构，并具备选择器(选择单元)FrmSel、参照图片管理器(参照图片管理单元)FMCtrl以及参照结构分析器(参照结构分析单元)StrAna。

接着，对包括上述的高速缓冲存储器CacheMem、选择器FrmSel、参照图片管理器FMCtrl以及参照结构分析器StrAna的处理的流程进行说明。首先，在参照结构分析器StrAna中进行已进行了解码的流的结构分析。向参照图片管理器FMCtr输入从参照结构分析器StrAna输出的流的结构分析结果AnaRes。同时还对参照图片管理器FMCtr输入参照帧序号RefNo，其结果从参照图片管理器FMCtr中输出用于进行存储器操作的控制信号MCtrSig。

在根据控制信号MCtrSig判断为来自后续的图片的参照的可能性高的情况下，将解码画面信号Vout除了多帧存储器FrmMem之外还存储到高速缓冲存储器CacheMem中的适当的区域。另外，对于存在于多帧存储器FrmMem中但不存在于高速缓冲存储器CacheMem中且为来自后续的图片的可参照性高的图片，将从多帧存储器FrmMem输出的参照画面像素MCpel 3存储在高速缓冲存储器CacheMem中。

最后，当使用活动补偿器(活动补偿单元)MC来进行实际的活动补偿时，使用控制信号MCtrSig控制选择器FrmSel，在参照图片存在于高速缓冲存储器CacheMem的情况下，选择从高速缓冲存储器CacheMem输出的参照画面像素MCpel 4，在不存在于高速缓冲存储器CacheMem的情况下，选择从多帧存储器FrmMem输出的参照画面像素MCpel 3，从而选择输出参照画面像素MCpel 1并输入到活动补偿器MC。其他信号的流程与图10的表示以往的活动图像解码装置的结构的框图的动作相同。

(参照结构的分析)

接着，进行参照结构分析器StrAna的说明。

在参照结构的分析动作中，对于解码对象图片，通过事先对参照帧序号RefNo进行解码并合计各宏块进行参照的图片后分析哪个图片的参照频率高来实现。但是，在难以事先进行分析的情况下，如下所述，也可根据解码对象图片之前的图片的参照结构等来类推。

图2的(a)和图2的(b)是构成流的图片的示意图。图2的(a)示出流Str由GOP(Group Of Picture：图像组)(参照结构)的集合构成的情况。GOP1 G201、GOP2 G202、GOP3 G203、GOP4 G204以及GOP5 G205分别表示构成流的GOP。

图2的(b)示出1个GOP进一步由图片的集合构成的情况。I1I201、B2 B202、B3 B203、P4 P204、B5 B205、B6 B206、P7 P207、B8 B208、B9 B209、P10 P210、B11 B211、B12 B212、P13 P213、B14P214以及B15 B215分别表示构成GOP的图片，各个数字以解码顺序来记载，但在附图中按显示顺序来记载。

例如，M201表示P7 P207、B8 B208和B9 B209的图片的设置，同样，M202表示P10 P210、B11 B211和B12 B212的图片的设置，M203表示P13 P213、B14 B214和B15 B215的图片的设置。在此，在图片的排列中分别重复出现B图片、B图片、P图片，所以判断为M202的参照结构与M201大致相等，同样地判断为M203的参照结构与M202大致相等，从而可推断各图片进行参照的可能性高的图片。

另外，不是根据图片电平中的周期性来推断参照可能性，而是通过例如判断为GOP4 G204的参照结构与GOP3 G203类似，同样地判断为GOP5 G205的参照结构与GOP4 G204类似，从而能够根据GOP内的各图片位置，使用参照了同一位置的图片的信息来推断参照的可能性高的参照图片。

(参照帧序号的可能性推断)

接着，使用图3说明用于判断哪个图片被参照的可能性高的参照帧序号的推断方法。

图3是示出参照索引(reference index)的附加方法和参照频率的示意图。在该图中，P0 P300和P1 P301分别表示P图片，B2 B302、B3 B303和B4 B304分别表示B图片，分别分配100、101、102、103以及104来作为参照帧序号RefNo。

在此，说明相对于B4 B304哪个参照图片的参照可能性高。RL 0和RL 1表示H.264标准中的参照列表的一例，B图片的参照是通过从上述的参照列表RL 0和参照列表RL 1中分别逐一选择指定参照图片，取得用于进行活动补偿的像素数据。参照列表RL 0是使在时间上过去的图片优先来赋予参照列表，B3 B303被设定为0，B2 B302被设定为1，P0 P300被设定为2，P1 P301被设定为3。另外，参照列表RL 1是使在时间上过去的图片优先来赋予参照列表，P1 P301被设定为0，B3 B303被设定为1，B2 B302被设定为2，P0 P300被设定为3。

对于原来各参照列表的赋予序号，根据在进行活动图像编码时提高压缩率这样的理由对易于参照的图片分配小序号，从而进行操作的可能性高。也就是说，通过使参照列表的赋予序号小的图片优先地存储在高速缓冲存储器CacheMem，可进行高速缓冲管理。

例如，在进行B4图片本身的解码的情况、或在进行位于与B4相同结构位置的图片的解码的情况下，当假设作为高速缓冲存储器CacheMem的容量限制，作为参照图片残留的图片张数为2张时，判断是否从参照列表RL 0的第0号选择B3 B303和从参照列表RL 1的第0号选择P1 P301或选择与各图片相同的结构位置的图片后残留在高速缓冲存储器CacheMem中。最后，在进行B4图片本身的解码的情况下，判断为参照帧序号RefNo为102和104的参照可能性高。

另一方面，继续说明对实际上在各宏块中参照的参照图片的频率进行累计后判断参照可能性时的处理。CRL0和CRL1表示每个参照列表的图片所参照的次数。例如，示出参照列表RL0的第0号到第3号为100、30、60以及10次，参照列表RL 1的第0号到第3号为130、20、10以及40次的状态。而且，CRLT是分别以P0P300、P1 P301、B2 B302、以及B3 B303对CRL0和CRL1的次数进行相加的结果，表示依次为100、40、120以及140的状态。

如以上所示，在进行B4图片本身的解码的情况、或者在进行位于与B4图片相同结构位置的图片的解码的情况下，当假设作为高速缓冲存储器CacheMem的容量，作为参照图片残留的图片张数为2张时，能够判断只要根据参照次数使P1 P301和B3 B303或与各图片相同结构位置的图片残留在高速缓冲存储器CacheMem即可。同样，当图片容量被容许到3张时，能够判断只要接下来残留参照次数多的P0 P300即可。最后，在进行B4的图片本身的解码的情况下，判断为参照帧序号RefNo为100、102和104的参照可能性高。

(高速缓冲存储器的动作说明)

在此，使用图4和图5来说明高速缓冲存储器CacheMem的存储器管理的动作。图4是示出在本发明中管理的参照图片的第1示意图，图5是示出在本发明中管理的参照图片的第2示意图。在图4中说明参照图片的管理区域为2个图片的情况，在图5中说明参照图片的管理区域为3个图片的情况。

参照图片的管理区域为2个图片时的动作如下所述。为简化说明，假设为管理区域中的1个常用于参照用、另1个常用于解码完成后的局部解码结果存储用来进行说明。在图4中，P0 P400、P1 P401、P4P404、以及P7 P407表示P图片，B2 B402、B3 B402、B5 B405、B6 B406、B8 B408以及B9 B409表示B图片，图的排列为表示顺序，组合为P0、B2等的数字表示解码顺序。另外，cm4B6、cm4P7、cm4B8以及cm4B90和cm4B91分别表示B6 P406、P7 P407、B8 B408以及B9 B409的存储器管理状态，而且，图4的(a)表示P4 P404的参照关系的频率，图4的(b)表示B5 B405的参照关系的频率，图4的(c)和图4的(c’)表示B6 B406的参照关系的频率。在存储器管理状态中，无填充的部分表示已存在于高速缓冲存储器CacheMem的图片的区域，添加斜线的部分表示用于存储解码中的图片的区域，添加横线的部分表示用于为了参照频率高而重新从多帧存储器FrmMem进行取得更新的区域。

首先，在图4的(a)中，设为可分析为在P4 P404的参照关系中参照的频率最高的图片是P1 P401，第2高的图片是P0 P400。在该情况下，能够预测为P7 P407也为同样的参照关系。因此，可知只要在进行P7 P407的解码时的参照图片管理区域中预先存储P4 P404即可。于是，当在B6 B406的存储器管理状态cm4B6中存储有B5 B405和B6 B406的情况下，为了更新为存储器管理状态cm4P7而进行控制，以使从多帧存储器FrmMem中取得更新P4 P404，存储P7 P407的局部解码结果。

接着，在图4的(b)中，设为可分析为在B5 B405的参照关系中参照的频率最高的图片是P1 P401，第2高的图片为P4 P404，接着是P0 P400。在该情况下，能够预测为B8 B408也为同样的参照关系。因此，可知只要在进行B8 B408的解码时的参照图片管理区域中预先存储P4 P404即可。此时，在存储器管理状态cm4P7中存储有P4 P404和P7 P407，所以为了更新为存储器管理状态cm4B8而进行控制，以使P4 P404仍残留，将B8 B408的局部解码结果写入并存储在P7 P407的区域中。

最后，在图4的(c)中，设为可分析为在B6 B406的参照关系中参照的频率最高的图片是P4P404，第2高的图片是B5 B405，接着是P1 P401。在该情况下，能够预测为B9B 409也为同样的参照关系。因此，可知只要在进行B9 B409的解码时的参照图片管理区域中预先存储P7 P407即可。此时，在存储器管理状态cm4B8中存储有P4 P404和B8 B408，所以为了更新为存储器管理状态cm4B90而进行控制，以使从多帧存储器FrmMem取得更新P7 P407，并存储B9B409的局部解码结果。

图4的(c’)示出可分析为在B6 B406的参照关系中参照的频率最高的图片是B5 B405，其次是P4 P404，接着是P1 P401时的区域管理。在该情况下，可知只要在进行B9 B409的解码时的参照图片管理区域中预先存储B8 B408即可。此时，在存储器管理状态cm4B8中存储有P4 P404和B8 B408，所以为了更新为存储器管理状态cm4B91而进行控制，以使B8 B408仍残留，将B9 B409的局部解码结果写入并存储到P4P 404的区域。

另一方面，参照图片的管理区域为3个图片时的动作如下所述。为简化说明，假设为管理区域内1个是常用于参照用，其余2个是常用于局部解码结果存储用来进行说明。在图5中，P0 P500、P1 P501、P4 P504、P7 P507、B2 B502、B3 B502、B5 B505、B6 B506、B8 B508、B9 B509、cm5B6、cm5P7、cm5B8、cm5B90以及cm5B91表示与图中的P0 P400、P1 P401、P4 P404、P7 P407、B2 B402、B3 B402、B5 B405、B6 B406、B8 B408、B9 B409、cm4B6、cm4P7、cm4B8、cm4B90以及cm4B91相同的内容。在此，当设为各图片的参照频率与在图4中说明时相同时，为如下那样的动作。

首先，在对P7 P507进行解码的情况下，在图5的(a)中，只要从存储器管理装置cm5B6(B5 P505、P4 P504、B6 B506)变为存储器管理装置cm5P7(P1 P501、P4 P504、P7 P507)即可，所以进行控制，以使在B5 P505的区域写入从多帧存储器FrmMem取得的P1P501，在B6 B506的区域上写入并存储P7 P507的局部解码结果。

接着，在对B8 B508进行解码的情况下，在图5的(b)中，只要从存储器管理装置cm5P7(P1 P501、P4 P504、P7 P507)变为存储器管理装置cm5B8(B8 B508、P4 P504、P7 P507)即可，所以进行控制，以使将B8 B508的局部解码结果写入并存储到P1 P501的区域。

最后，在对B9 B509进行解码的情况下，在图5的(c)中，只要从存储器管理装置cm5B8(B8 B508、P4 P504、P7 P507)变为存储器管理装置cm5B90(B8 B508、B9 B509、P7 P507)即可，所以进行控制，以使将B9 B509的局部解码结果写入并存储到P4 P504的区域。另外，图5的(c’)示出可分析为在B6 B506的参照关系中参照的频率最高的图片是B5 B505，第2高的图片是P4 P504，接着是P1P501时的区域管理，但由于能存储参照频率的高度为第1和第2的，所以只要存储器管理状态cm5B90和存储器管理状态cm5B91相同即可，作为动作与图5的(c)相同。

以每个图片说明了高速缓冲存储器CacheMem的管理，但也可以根据图片的每半个面、分割图片的每片、或来自解码对象图片的特定位置的区域来进行参照区域的管理。

另外，分别在2个图片和3个图片的情况下说明了高速缓冲存储器CacheMem的管理，但也可以是4张以上的区域。在该情况下，若存在一定的管理张数，在自录再现或再现其他公司产品中的记录介质的情况下，就可以不需要基于来自多帧存储器的重新取得的高速缓冲存储器CacheMem的重新填充的处理。

进而，在本实施方式中，说明了分析图片间的参照关系来进行高速缓冲存储器CacheMem的管理的情况，但也能够进行如残留固定地进行参照的可能性高的I图片、P图片的那样的存储器管理。

另外，在以上的说明中，示出了像素数据的参照图片管理，但也可以对参照图片附带的管理信息数据进行同样的处理。作为参照图片附带的管理信息数据，例如考虑参照图片的各宏块具有的活动矢量信息、参照了参照图片的参照图片信息、以及宏块类型等。

通过削减来自多帧存储器FrmMem的数据取得，还产生削减功耗的效果。

除此之外，图1或图7所示的框图的各功能块作为典型的集成电路即LSI来实现。这些可以独立地进行单芯片化，也可以包括一部分或全部来进行单芯片化。多帧存储器FrmMem等是大容量的，所以有时也用外附于LSI的大容量的SDRAM等来安装，但还能够进行单封装化或单芯片化。

另外，在此为LSI，但根据集成度的不同，有时还称为IC、系统LSI、超级LSI、超LSI。另外，集成电路化的方法不限于LSI，也可以通过专用电路或通用处理器来实现。在LSI制造后，也可以利用可编程的FPGA(Field Programmable Gate Array：现场可编程门阵列)、可重构LSI内部的电路单元的连接和设定的可重构(reconfigurable)处理器。另外，若随着半导体技术的进步或派生的其他技术而出现替代LSI的集成电路化技术，当然也可以使用该技术来进行功能块的集成化。存在适应生物技术等的可能性。

(实施方式2)

以下，使用图6来说明本发明的第2实施方式。在本实施方式中，在进行特殊再现的情况下，当进行通常的高速缓冲存储器CacheMem管理时，发生冗长的存储器的输入输出控制，所以变更存储器管理方法。

图6是示出在本发明中管理的参照图片的第3示意图。在该图中，P0 P600、P1 P601、P4 P604、P7 P607、B2 B602、B3 B602、B5 B605、B6 B606、B8 B608、B9 B609表示与图4中的P0 P400、P1 P401、P4P404、P7 P407、B2 B402、B3 B402、B5 B405、B6 B406、B8 B408、B9 B409相同的内容。另外，cm6P1、cm6P4以及cm6P7分别表示存在于P1 P601、P4 P604以及P7 P607后的P图片中的存储器管理状态。

作为特殊再现之一存在倍速再现。以图6为例子，简单地说明例如简单地进行倍速的再现的方法。图6的(a)按照显示顺序排列通常再现时的图片。作为简单地进行倍速再现的方法具有IP再现这样的方法，其通过仅再现I图片、P图片，而不再现显示B图片来实现倍速再现。图6的(b)和图6的(c)表示从图6的(a)去除B图片来表示状态，在前后追加记载有I图片和P图片。

也就是说，例如在GOP结构由IBBPBBPBBPBBPBB这15张构成的情况下，当倍速再现时，虚拟地视为GOP结构由IPPPP这5张构成，不进行用于途中的B图片的高速缓冲存储器CacheMem的管理。

在此，为便于说明，假设按照近的顺序参照频率变高的状态来说明高速缓冲存储器CacheMem的管理状态。在图6的(b)中，由于从存储器管理状态cm6P1(P0 P600、P1 P601之前的I图片)更新为cm6P4(P0 P600、P1 P601、P4 P604)，所以进行控制，以使将P4 P604的局部解码结果写入并存储在之前的I图片的区域。接着，在图6的(c)中，由于从存储器管理状态cm6P4(P0 P600、P1 P601、P4 P604)更新为cm6P7(P7 P607、P1 P601、P4 P604)，所以进行控制，以使将P7 P607的局部解码结果写入并存储到之前的P0 P600的区域。

(实施方式3)

接着，说明本发明的第3实施方式。本实施方式作为所述的活动图像解码装置的应用例，说明与活动图像编码装置组合的图像编码解码装置。

图7是实现H.264记录器的AV处理部的框图。在该图中，exAVLSI表示再现已数字压缩的声音和图像的DVD记录器、硬盘记录器等AV处理部。

另外，在该图中，exStr表示声音和图像的流数据，exVSig表示图像数据，exASig表示声音数据。exBus表示转送流数据、或声音、图像的解码数据等数据的总线。exStrIF表示输入上述的流数据exStr的流输入输出部，其一方与总线exBus相连接，另一方与大容量积蓄设备exRec相连接。exVCodc是进行图像的编码和解码的图像编码解码部，与exBus相连接。exMem是存储流数据、或编码数据、或解码数据等数据的存储器，与exBus相连接。

在此，图像编码解码部exVCodec包括图1所示的活动图像解码装置和图9所示的活动图像编码装置等。流数据exStr包括图1所示的编码信号Str，进而存储器exMem包括同图1所示的多帧存储器FrmMem。

exVProc表示对图像信号进行预处理和后处理的图像处理部，与exBus相连接。exVideoIF表示用于将由图像处理部exVProc处理或不由图像处理部处理而经过的图像数据信号作为图像信号exVSig输出到外部、或取入来自外部的图像信号exVSig的图像输入输出部。

exAProc表示对声音信号进行预处理和后处理的声音处理部，与exBus相连接。exAudioIF表示用于将由声音处理部exAProc处理或不由声音处理部处理而通过的声音数据信号作为声音信号exASig输出到外部、或取入来自外部的声音信号exASig的声音输入输出部。另外，exAVCtr表示进行AV处理部exAVLSI的整体控制的AV控制部。

在编码处理中，最初图像信号exVSig被输入在图像输入输出部exVideoIF，声音信号exASig被输入在声音输入输出部exAudioIF。

首先，在记录处理中，使用输入在图像输入输出部exVideoIF的图像信号exVSig，在图像处理部exVProc中进行用于滤波处理和编码的特征量提取等，经由存储器输入输出部exMemIF作为原图像存储到存储器Mem。接着，再次经由存储器输入输出部exMemIF从存储器Mem向图像编码解码部exVCodec进行原图像数据和参照图像数据的转送，相反地，从图像编码解码部exVCodec到存储器exMem，进行由图像编码解码部exVCodc编码后的图像流数据和局部复原数据的转送。

另一方面，使用输入在声音输入输出部exAudioIF的声音信号exASig，在声音处理部exAProc中进行用于滤波处理和编码的特征量提取等，经由存储器输入输出部exMemIF作为原声音数据存储到存储器exMem。接着，再次经由存储器输入输出部exMemIF从存储器exMem取出原声音数据后进行编码，再次作为声音流数据存储到存储器exMem。

在编码处理的最后，将图像流和声音流以及其他流信息作为1个流数据来处理，经由流输入输出部exStrIF输出流数据exStr，进行写入光盘(DVD)或硬盘(HDD)等大容量积蓄设备的处理。

接着，在解码处理中，进行以下那样的动作。首先，从光盘、硬盘、半导体存储器等大容量积蓄设备，进行在记录处理积蓄的数据的读出，从而声音和图像的流信号exStr经由流输入输出部exStrIF而输入。根据该流信号exStr，图像流被输入到图像编码解码部exVCodec，声音流被输入到声音编码解码部exACodec。

由图像编码解码部exVCodec解码的图像数据经由存储器输入输出部exMemIF暂时存储到存储器Mem。存储在存储器Mem中的数据在图像处理部exVProc中进行噪声去除等加工处理。另外，存储在存储器Mem中的图像数据有时再次在图像编码解码部exVCodec中，作为画面间活动补偿预测的参照图片来使用。

另外，由声音编码解码部exACodec解码的声音数据经由存储器输入输出部exMemIF暂时存储到存储器Mem。存储在存储器Mem中的数据在声音处理部exAProc中进行声音等加工处理。

最后，一边取得声音和图像的时间上的同步，一边在图像处理部exVProc加工处理后的数据经由图像输入输出部exVideoIF作为信号exVSig输出并显示在电视画面等上，在声音处理部exAProc加工处理后的数据经由声音输入输出部exAudioIF作为信号exASig输出，并从扬声器等中输出。

(实施方式4)

接着，说明本发明的第4实施方式。

在本实施方式中，将用于通过软件实现在上述各实施方式中示出的活动图像解码装置的程序记录在软盘等存储介质中，从而可在独立的计算机系统中简单地实施在上述各实施方式中示出的处理。

图8是使用存储有实现上述实施方式1～3的活动图像解码装置的程序的软盘，利用计算机系统来实施时的说明图。

图8的(b)示出从软盘的正面观察的外观、剖面结构以及软盘，图8的(a)示出作为记录介质主体的软盘的物理格式的例子。软盘FD内置于外壳F内，在该盘的表面，同心圆状地从外周向内周形成有多个磁道Tr，各磁道在角度方向上分成16个扇区Se。因此，在存储有上述程序的软盘中，在上述软盘FD上所分配的区域中记录有作为上述程序的活动图像解码装置。

另外，图8的(c)示出用于对软盘FD进行上述程序的记录再现的结构。在将上述程序记录到软盘FD的情况下，从计算机系统Cs经由软盘驱动器写入作为上述程序的活动图像解码装置。另外，在通过软盘内的程序而在计算机系统中构筑活动图像解码装置的情况下，由软盘驱动器从软盘读出程序，并转送给计算机系统。

在上述说明中，使用软盘作为记录介质进行了说明，但也可以使用光盘同样地进行。另外，记录介质不限于此，若是IC卡、ROM盒等可记录程序的记录介质，就能同样地实施。

产业上的可利用性

如以上说明那样，本发明的活动图像解码装置能够一边将高速缓冲存储器安装容量限制为小容量，一边有效地实现与多帧存储器的参照像素数据的转送带宽的削减，所以例如作为与使用H.264标准的HD图像尺寸等大视场角的图片尺寸对应的影片装置、播放器装置、记录器装置等是有用的。

Claims (15)

1.一种活动图像解码集成电路，利用存储在多帧存储器中的多张参照图片的像素数据来进行构成图片的块的解码，其特征在于，包括：

高速缓冲存储器，用于以图片为单位来存储参照图片；

活动补偿单元，使用来自上述高速缓冲存储器的像素数据来进行构成图片的块的活动补偿；以及

参照图片管理单元，管理参照图片以使将用于活动补偿的可能性高的参照图片以图片为单位存储在上述高速缓冲存储器中。

2.根据权利要求1所述的活动图像解码集成电路，其特征在于：

还具有选择单元，该选择单元选择从上述多帧存储器转送的参照图片的参照像素数据和从上述高速缓冲存储器转送的参照图片的参照像素数据中的任意一方数据，

使用来自上述多帧存储器的参照像素数据代替来自上述高速缓冲存储器的参照像素数据，来作为在上述活动补偿单元中处理的参照像素数据。

3.根据权利要求1所述的活动图像解码集成电路，其特征在于：

上述参照图片管理单元管理参照图片如下：管理存储到上述多帧存储器的参照图片，并且判断存储到上述多帧存储器的参照图片中的用于活动补偿的可能性高的参照图片，然后将该用于活动补偿的可能性高的参照图片存储在上述高速缓冲存储器中。

4.根据权利要求1所述的活动图像解码集成电路，其特征在于：

上述参照图片管理单元管理参照图片如下：判断由上述活动补偿单元执行活动补偿中的解码图片是否为来自在该解码图片之后进行解码的解码图片的参照可能性高的图片，当判断为该参照可能性高时，将执行上述活动补偿中的解码图片存储在上述高速缓冲存储器中。

5.根据权利要求1所述的活动图像解码集成电路，其特征在于：

上述参照图片管理单元管理参照图片如下：将以特定图片结构被编码的图片作为参照图片存储在上述高速缓冲存储器中。

6.根据权利要求5所述的活动图像解码集成电路，其特征在于：

上述特定图片结构仅由各编码块的参照图片为0张或1张的块构成。

7.根据权利要求4所述的活动图像解码集成电路，其特征在于：

上述特定图片结构是各编码块的参照图片为I图片或P图片。

8.根据权利要求1所述的活动图像解码集成电路，其特征在于：

上述参照图片管理单元管理参照图片如下：按照参照图片的参照列表的内容将参照图片存储在上述高速缓冲存储器中。

9.根据权利要求1所述的活动图像解码集成电路，其特征在于：

上述参照图片管理单元管理参照图片如下：判断由上述活动补偿单元执行活动补偿中的块的图片位置，根据该图片位置来将参照图片的一部分存储在高速缓冲存储器中。

10.根据权利要求1所述的活动图像解码集成电路，其特征在于：

还具有参照结构分析单元，该参照结构分析单元对图片的参照结构的周期性排列和在该周期性排列中的各图片位置进行参照的图片的参照可能性进行分析，

基于上述参照结构分析单元的周期性排列和图片的参照可能性的分析结果被输入到上述参照图片管理单元。

11.根据权利要求10所述的活动图像解码集成电路，其特征在于：

上述参照结构分析单元根据以特定图片结构进行了编码的图片的周期性出现间隔来推断参照结构，

针对解码对象图片，从与上述特定图片结构的图片之间的间隔成为此前的相同的周期位置的图片所参照的图片中，分析哪些参照位置的图片的参照频率提高了。

12.根据权利要求10所述的活动图像解码集成电路，其特征在于：

上述参照结构分析单元在进行特殊再现时，将仅在该特殊再现中实际进行了解码的图片的排列识别为疑似性的参照结构来分析参照频率。

13.一种活动图像解码方法，利用存储在多帧存储器中的多张参照图片的像素数据来进行构成图片的块的解码，其特征在于，包括：

存储步骤，一边管理参照图片以使解码对象图片在活动补偿中进行参照的可能性高的参照图片以图片为单位存储在高速缓冲存储器中，一边将该可能性高的参照图片存储在高速缓冲存储器中；

选择步骤，为了用于活动补偿而选择从上述多帧存储器转送的参照图片的参照像素数据和从上述高速缓冲存储器转送的参照图片的参照像素数据中的任意一方数据；以及

活动补偿步骤，使用在上述选择步骤中选择出的参照像素数据来进行解码对象图片的活动补偿。

14.一种活动图像解码集成装置，利用多张参照图片的像素数据来进行构成图片的块的解码，其特征在于，包括：

多帧存储器，存储多张参照图片的参照像素数据；

高速缓冲存储器，用于以图片为单位来存储参照图片的参照像素数据；

选择单元，选择从上述多帧存储器转送的参照图片的参照像素数据和从上述高速缓冲存储器转送的参照图片的参照像素数据中的任意一方数据；

活动补偿单元，使用由上述选择单元选择出的参照图片的参照像素数据来进行构成图片的块的活动补偿；以及

参照图片管理单元，对参照图片进行如下管理：将解码对象图片在活动补偿中进行参照的可能性高的参照图片以图片为单位存储在上述高速缓冲存储器中。

15.一种活动图像解码程序，利用存储在多帧存储器中的多张参照图片的像素数据来进行构成图片的块的解码，其特征在于，包括：

存储步骤，一边管理参照图片以使解码对象图片在活动补偿中进行参照的可能性高的参照图片以图片为单位存储在高速缓冲存储器中，一边将该可能性高的参照图片存储在高速缓冲存储器中；

选择步骤，为了用于活动补偿而选择从上述多帧存储器转送的参照图片的参照像素数据和从上述高速缓冲存储器转送的参照图片的参照像素数据中的任意一方数据；以及

活动补偿步骤，使用在上述选择步骤中选择出的参照像素数据来进行解码对象图片的活动补偿。

Images