CN1172537C - 活动图象解码方法、活动图象解码装置及程序记录媒体 - Google Patents

Abstract

本发明的目的是不会引起由解码图象数据的修整处理所产生的大的画质恶化，通过该修复处理能够排除由错误引起的画质恶化，而提高解码图象的画质。本发明包括：解码器1，在每个宏块中对输入流进行解码，而生成解码图象数据；传输错误检测器3，检测输入流的传输错误；流错误检测器6，检测输入流的流错误，当传输错误被检测到时，用宏块单位来修整解码图象数据，当流错误被检测到时，用视频分组单位来修整解码图象数据。

Description

活动图象解码方法、活动图象 解码装置及程序记录媒体

技术领域

本发明涉及活动图象解码方法、活动图象解码装置以及程序记录媒体，特别是，涉及对通过包含错误的比特流的解码所得到的解码图象数据进行修整以使解码图象视觉上良好的图象的处理。

背景技术

近年来，迎接统合处理声音、图象、其它的表现媒体的多媒体时代，把现有的信息媒体，即，新闻、杂志、电视、收音机、电话等信息传递给人的装置可以作为多媒体的对象被采纳。一般，所谓多媒体是指同时关联文字以及图形、声音、特别是图象等来进行表现，但是，为了使上述现有的信息媒体成为多媒体的对象，通过数字形式来表示该信息是必要条件。

因此，当估计上述各信息媒体具有的信息量来作为数字信息量时，文字的信息量(每一文字)是1～2字节，与此相对，对于电话音质的声音，需要每秒64Kbits以上的信息量，对于现行电视接收品质的活动画面，需要每秒100Mbits的信息量，在上述电话和电视等的信息媒体中，原样处理数字形式的大量的信息是不现实的。例如，电视电话通过具有64kbps～1.5Mbps的传输速度的综合业务数字网(ISDN：Integrated Services DigitalNetwork)已经实用化了，但是，用ISDN来作为数字数据原样传送由摄象机得到的图象信息是不可能的。

因此，必须使用信息的压缩技术，例如，在电视电话的情况下，使用由ITU-T(国际电气通信协会  电气通信标准化部门)进行了国际标准化的H.261和H.263标准的活动图象压缩技术。而且，当使用MPEG-1标准的信息压缩技术时，能够在通常的音乐用CD(唱盘)中存储声音信息和图象信息。

在此，所谓MPEG(Moving Picture Experts Group)是指与活动图象数据的压缩处理相关的国际标准，MPEG-1是把活动图象数据压缩至1.5Mbps即把电视信号的信息压缩至约百分之一的标准。而且，把MPEG-1标准作为对象的传输速度主要被限制为约1.5Mbps，因此，在应当满足更高画质的要求而标准化的MPEG-2中，活动图象数据被压缩为2～15Mbps。

而且，在目前，通过推进MPEG-1、MPEG-2和活动图象数据的压缩处理的标准化的工作组(ISO/IEC JTC1/SC29/WG11)，能够实现物体单位下的图象数据的编码和图象数据的操作，则实现多媒体时代所必要的新的功能的MPEG-4被标准化了。在MPEG-4中，当初，以低比特率的编码处理的标准化为目标，而在现在，标准化的对象被扩展到了与隔行扫描图象相对应的高比特率的更通用的编码处理。

因此，MPEG-4的特征之一是：对多个图象系列(即多个活动图象)所对应的图象数据同时进行编码和传输的结构。该结构可以通过多个图象的合成而构成一个场景。而且，在此，图象是图象系列(活动图象)的各个画面的图象(静止画面)，一个场景是包含多个图象的合成图象。

例如，在MPEG-4中，把构成一个场景的前景和背景分离成为不同的图象系列的图象(物体)，能够对每个图象系列独立地变更帧频率、画质、比特率等。而且，在MPEG-4中，象多画面那样来在水平或者垂直方向上排列多个图象系列的图象，用户可以仅抽出所希望的图象系列的图象来进行放大显示。

对于背景，与MPEG-2相同，仅对表示亮度和色饱和度的象素值信号(结构信号)的编码处理是一般的，但对于前景，进行同时对表示物体的亮度和色饱和度的象素值信号和表示物体的形状的信号进行编码的处理。一般，对该前景的编码处理作为物理单位的编码处理是公知的。

而且，在该MPEG-4中，所显示的图象全体(合成图象)由多个图象系列的图象(物体)所构成，因此，把各图象系列的在各显示时刻上的画面称为VOP(Video Object Plane)，以与MPEG-1，2中的帧相区别。而且，在显示图象的全体由一个图象系列的图象所构成的情况下，VOP和帧是一致的。

图8是用于说明MPEG-4中的物理单位的编码处理的模式图。

由MPEG-4所规定的图象信号包括：表示物体(VOP)的形状Sob(图8(a))的形状信号和物体(VOP)的图案Tob(图8(b))并由亮度信号和色差信号组成的象素值信号(结构信号)。

在上述物理单位的编码处理中，需要对用于图象显示的基准坐标系来决定物体的形状和物体的位置，因此，在上述基准坐标系中设定包含物体Ob并由多个宏块所构成的矩形区域(窗口框)Box(图8(c))。而且，宏块是成为编码处理的单位的图象空间，由16×16象素构成。而且，由于上述矩形区域Box由多个宏块所构成，则该矩形区域的水平方向和垂直方向的象素数为16的倍数。

而且，对于一个图象系列的各个矩形区域Box，进行在每个宏块中对图象信号进行编码的编码处理。

例如，在图8(c)中，上述矩形区域Box由5×4个宏块所构成，宏块MB1、MB2是位于物体Ob的外侧的物体外宏块，宏块MB3是位于物体Ob的边界上的边界宏块，宏块MB13是位于物体Ob的边界内的物体内宏块。在MPEG-4中，物体外的象素在解码后不被显示，因此，仅对包含解码后所显示的物体内的象素的宏块及仅对边界宏块和物体内宏块进行编码处理。

图9是用于说明上述MPEG-4对应的比特流中的各种处理单位的模式图。

而且，由于包含物体(VOP)的矩形区域(窗口框)Box与该物体一一对应，则在以下的说明中，不区别矩形区域(窗口框)Box和物体(VOP)，把它们作为VOP来进行说明。

一般，在由可变长度代码所构成的代码串(比特流)中，为了阻止其解码时的错误传播，而配置由特定的比特模型所构成的固定长度代码。在MPEG-4中，该固定长度代码被称为Resync Marker(以下简称为标记)，成为一个同步信号。而且，由该标记和接着其的可变长度代码所构成的代码串为被称为视频分组的一个编码单位。

在MPEG-4中，如图9(a)所示的那样，与一个VOP 10相对应的代码串(VOP比特流)Svop可以由多个视频分组构成，其中，VOP比特流Svop由四个视频分组Svp1～Svp4所构成。其中，在各个视频分组Svp1～Svp4中容纳与VOP 10中的各个Rvp1～Rvp4相对应的编码数据。而且，在上述视频分组Svp1～Svp4中可以容纳与多个宏块相对应的编码数据。

在此，与上述视频分组Svp1相对应的区域Rvp1，如图9(b)所示的那样，由5个宏块MB1～MB5所构成，与其它的视频分组Svp2～Svp4相对应的区域Rvp2～Rvp4，与上述视频分组Svp1所对应的区域Rvp1相同，由5个宏块所构成。而且，上述各宏块是象上述那样的由16象素×16象素组成的象素空间，由4个块所构成。各个块是由8象素×8象素组成的象素空间。例如，宏块MB1，如图9(c)所示的那样，由块B1～B4组成。而且块B1，如图9(d)所示的那样，由8象素×8象素组成。

而且，在与一个宏块对应的编码数据(以下称为宏块信息)中，包含与构成一个宏块的4个块相对应的亮度信息(Y)和与一个宏块的相对应的色差信息(U)、(V)。而且，在物体具有形状的情况下，在与一个宏块对应的编码数据中，与上述亮度信息(Y)和色差信息(U)、(V)一起，包含与一个宏块对应的形状信息。

其中，一个宏块的亮度信息(Y)是对构成一个宏块的4个块的象素值信号进行编码而形成的，一个宏块的色差信息(U)和色差信息(V)分别是对构成一个宏块的8×8象素的色差信息(U)、(V)进行编码而形成的，一个宏块的形状信息是对构成一个宏块的16×16象素的形状信号进行编码而形成的。

而且，构成上述VOP 10中的视频分组对应区域的宏块的数量不需要象图9(a)所示的那样是一定的，例如可以是象图9(e)所示的那样，决定构成VOP 10a中的视频分组对应区域Rvp1a～Rvp5a的宏块的数量，以使VOP比特流Svopa中的各个视频分组Svp1a～Svp5a的代码量为一定的。在此情况下，在各视频分组对应区域Rvp1a～Rvp5a中包含的宏块的数量不是一定的。

图10是用于说明MPEG-4中的物体单位的编码处理的模式图，表示与具有图8所示形状的物体(VOP)相对应的图象信号的编码处理。

其中，作为物体Ob的VOP 10(严密地说，是包含物体的BBOX)由分别由5个宏块组成的4个视频分组区域Rvp1～Rvp4所构成。例如，上述视频分组区域Rvp1由宏块MB1～MB5所构成。

上述宏块MB1和MB2位于物体外，因此，对于这些宏块MB1，MB2，作为形状信号的编码处理，进行对表示该宏块位于物体外的形状信号进行编码的处理，而省略了象素值信号的编码处理。而且，对于宏块MB3，由于该宏块是包含物体内的象素的宏块，则进行与形状信号相对应的编码处理和象素值信号的编码处理。

一般，在作为具有形状的前景的物体中，与作为背景的物体不同，其形状和大小时时刻刻发生变化。而且，在MPEG-4中，形状信号和象素值信号的编码算法很大程度上依赖于成为编码处理的对象的图象的形状。例如，在物体具有形状的情况下，对于通过形状信号来表示位于物体外的意思的部分(宏块)，省略了象素值信号的编码处理，因此，存在与一个图象系列的一个画面(VOP)相对应的进行象素值信号的编码处理的宏块的数量改变的情况。因此，MPEG-4对应的解码处理，与MPEG-2那样对形状和大小没有变化的图象的编码处理相对应的解码处理相比，在比特流的传输错误上是薄弱的，而且，在其解码处理中，利用画面间的相关性的图象修复和图象处理等的图象修整是困难的。其结果，在MPEG-4对应的解码系统中，当传输错误发生时，解码图象中的画质大大恶化。

图11(a)～(c)是用于详细说明MPEG-4对应的比特流的构成的模式图。

VOP比特流Svop包含图10所示的作为物体Ob的VOP 10所对应的编码数据，在该VOP比特流Svop的开头，配置作为与VOP全体相关连的重要数据的VOP首部Svoph，接着该VOP首部Svoph，配置视频分组Svp1～Svp4(参照图11(a))。

而且，在上述视频分组Svp1中，在其开头配置作为与视频分组全体相关连的重要数据的视频分组首部Svph，接着该视频分组首部Svph，配置与宏块MB1～MB5相对应的编码数据(宏块信息)Smb～Smb5(参照图11(b))。

而且，在上述宏块信息Smb1的开头，配置作为与视频分组全体相关连的重要数据的宏块首部Smbh，接着该宏块首部Smbh，配置对应的宏块的形状信息Ssb、构成对应的宏块的4个块的亮度信息Spb1～Spb4以及对应的宏块的色差信息(U)Spbu、色差信息(V)Spbv(参照图11(c))。

这样，在VOP比特流Svop中，与作为编码单位的宏块相对应的宏块信息为第一处理单位，而且，由多个宏块信息组成的视频分组为第二处理单位，VOP比特流具有其中包含的编码数据被第一和第二处理单位所区分的两层的数据构造。

其中，在上述VOP首部Svoph和视频分组首部Svph中包含用于取得比特流的解码处理的同步的同步信号。因此，在由于比特流的错误比特而使比特流的解码处理中断的情况下，能够从VOP首部Svoph或者视频分组首部Svph而重新开始解码处理。另一方面，在宏块首部Smbh中不包含用于取得解码处理中的同步的同步信号。而且，视频分组首部Svph中的同步信号是上述固定长度代码(Resync Marker)。

因此，一般，在活动图象解码处理中的比特流的错误中，存在流错误和传输错误两种。

该流错误是在流中包含文法上不正确的代码的错误(文法错误)、包含超过能够使用的范围的不正确的值的代码的错误(语义学错误)等。而且，传输错误是从记录媒体读出比特流时或者通过通信媒体传输比特流时由于数据丢失等使比特流破损的错误。

通常，与各VOP相对应的被编码的图象数据存储在具有首部信息的传输分组中，以传输分组单位作为VOP比特流被传输，因此，在发生了分组的丢失等传输错误的情况下，在接收侧，能够检测出比特流中的传输分组的丢失位置。因此，对于传输错误，几乎能够确定比特流中的解码处理出现破绽的位置(错误发生位置)。

作为用于确定解码处理中的错误发生位置的具体的方法，考虑这样的方法：检测出比特流中的分组的丢失，比特流的，在分组的丢失位置上附加表示分组丢失的标记(标记码)。

对于这样的传输错误，流错误例如由在可变长度编码时发生的文法错误等引起，因此，在可变长度解码处理等的解码过程出现破绽的时刻，开始能够作为解码错误而检测出。换句话说，流错误本质上不限于比特流(编码数据)的解码过程存在破绽，而不能检测出其。

但是，在一个视频分组的开头配置同步信号，并且，在该视频分组之后，配置后续的视频分组的同步信号，因此，如果在解码过程中严密地检查位于这两个同步信号之间的比特流的构造和内容，能够检测出不是由比特流的解码过程的破绽所引起的，包含流错误的视频分组。这样，当在解码过程中严密地检查比特流的构造和内容时，与检测比特流的解码过程的破绽的情况相比，能够检测出流错误的可能性变得非常高。

以下对现有的活动图象解码装置进行具体地说明。

图12是用于说明现有的一般活动图象解码装置的方框图。

该活动图象解码装置100接收从记录媒体所读出的比特流或者通过传输媒体所发送的比特流来作为输入流Vin，进行对该输入流Vin的解码处理。其中，上述比特流包含对该活动图象的图象信号在构成该活动图象的每个图象系列中分别进行编码处理而得到的图象编码数据。而且，对上述一个图象系列的图象信号的编码处理在该图象系列的每个画面(VOP)上进行，并且，以构成该VOP的宏块为单位来对与各VOP相对应的图象信号进行编码。而且，没有形状的物体的图象信号仅包含亮度信号和色差信号，而具有形状的物体的图象信号包含上述亮度信号和色差信号以及形状信号，这是不言而喻的。

而且，在与上述活动图象相对应的比特流中，通常，与各物体相对应的图象编码数据被复用而包含其中，但是，在以下的说明中，该比特流作为图象信息仅包含与一个物体相对应的图象编码数据。

下面进行详细说明，上述活动图象解码装置100具有：解码器101，参照解码处理完成了的处理后的VOP中的参照区域的解码图象数据(参照图象数据)Vref，来在每个宏块中进行与成为处理对象的被处理VOP相对应的输入流Vin的解码处理，输出解码图象数据Vd；存储器102，使上述参照图象数据Vref与成为被处理VOP中的处理对象的宏块(对象宏块)相对应的解码处理相同步而进行输出，同时，使与处理后的VOP相对应的相对位置与被处理VOP所对应的对象宏块的相对位置相等的处理后的宏块相对应的解码图象数据(置换图象数据)Vrep与上述对象宏块所对应的解码处理相同步而进行输出。

而且，上述活动图象解码装置100具有：错误检测器120，根据上述输入流Vin，检测出该输入流Vin的错误及其位置，并输出错误通知信号Terr；选择开关105，根据控制信号Cmb来选择与上述对象宏块相对应的解码图象数据Vd和置换图象数据Vrep中的一方，把所选择的图象数据(MB选择图象数据)Emb作为对象宏块的重放图象数据Vout进行输出；宏块单位修整器104，根据上述错误通知信号Terr来发生与上述选择开关105相对应的控制信号Cmb。

其中，上述错误检测器120为这样的构成：通过作为输入流Vin的模拟信号的电平和在输入流中包含的纠错码，来进行上述输入流Vin的错误的检测。这样，由该错误检测器120来进行传输错误的检测。

而且，上述宏块单位修整器104这样构成：根据上述错误通知信号Terr来控制上述选择开关105，以便于取代对从上述输入流Vin的包含错误部分的宏块信息到其后的同步信号之间的宏块信息进行解码而得到的解码图象数据Vd，而输出与该解码图象数据相对应的处理后的VOP的解码图象数据(置换图象数据)Vrep，作为重放图象数据Vout。

下面对其动作进行说明。

当从记录媒体所读出的比特流或者通过传输媒体所发送的比特流作为输入流Vin而被输入该活动图象解码装置100中时，在该活动图象解码装置100中，以宏块为单位，在每个VOP中进行与该输入流相对应的解码处理。而且，在该活动图象解码装置100中，在解码处理时，上述解码器101、存储器102以及宏块单位修整器104被本装置100的控制部(未图示)进行控制，以便于在它们之间同步地进行对各宏块的处理。

即，在上述解码器101中，对被处理VOP中的对象宏块的编码数据，进行参照与该对象宏块相对应的参照图象数据Vref的解码处理，而输出对象宏块的解码图象数据Vd。而且，当在输入流Vin中包含错误时，从上述解码器101仅输出与能够编码数据的能够进行解码的宏块相对应的解码图象数据Vd。

此时，从存储器102输出与对象宏块相对应的参照图象数据Vref和与对象宏块相对应的置换图象数据Vrep。

而且，在错误检测器120中，根据输入流Vin进行检测传输错误的错误检测处理。接着，当输入流的错误被检测到时，从该错误检测器120向宏块单位修整器104输出表示包含该错误部分的宏块信息的错误通知信号Terr，来作为该输入流的错误部分的位置。

这样一来，在宏块单位修整器104中，根据错误通知信号Terr来向选择开关105输出其控制信号Cmb，以选择上述对象宏块的解码图象数据Vd和与该对象宏块相对应的置换图象数据Vrep中的一方。即，选择开关105进行这样的控制：对于与从通过上述错误通知信号Terr所表示的宏块信息到其后的同步信号之间的各宏块信息相对应的宏块，选择来自存储器102的置换图象数据Vrep，来取代来自解码器101的解码图象数据Vd，而对于其它的宏块，选择从解码器101所输出的解码图象数据Vd。

接着，输出由上述选择开关105所选择的选择图象数据Emb，来作为与被处理VOP的对象宏块相对应的重放图象数据Vout。而且，上述选择图象数据Emb作为与该被处理VOP的下一个VOP相对应的参照图象数据被记录在上述存储器102中。

此时，把错误宏块(宏块信息包含比特流的错误部分的宏块)的解码图象数据和视频分组内的该错误宏块以后的全部宏块的解码图象数据Vd，置换为处理后VOP中的对应的宏块的解码图象数据(置换图象数据)Vrep，之所以这样，是因为：输入流是通过图象数据的可变长度编码处理而得到的。即，在输入流的可变长度编码处理中，当在输入流中包含错误时，错误的影响会波及输入流中的从错误发生位置至同步信号之间的全部宏块信息的解码处理。

图13是用于说明现有的另一个活动图象解码装置的方框图。

其活动图象解码装置110不是象上述活动图象解码装置100那样以宏块单位来修整通过包含错误的输入流的解码处理所得到的解码图象数据，而是以视频分组单位来进行修整。

即，该活动图象解码装置100具有：解码器101，与图12所示的活动图象解码装置100相同，参照参照图象数据Vref来进行与被处理VOP相对应的输入流Vin的解码处理，输出与各宏块相对应的解码图象数据Vd；存储器102，与对象宏块的解码处理同步来输出与对象宏块相对应的参照图象数据Vref和置换图象数据Vrep。

而且，该活动图象解码装置110具有：第一延迟电路103，把解码图象数据Vd延迟在成为处理对象的视频分组的解码处理中所需要的时间；第二延迟电路104，把与各宏块的解码处理同步而从存储器102所输出的置换图象数据Vrep延迟在成为处理对象的视频分组的解码处理中所需要的时间；选择开关108，根据控制信号Cvp来选择该第一延迟电路103的输出(延迟解码数据)DVd和第二延迟电路104的输出(延迟置换数据)DVrep中的一方。由它们来取代上述活动图象解码装置100中的选择开关105。

而且，该活动图象解码装置110具有错误检测器121，该错误检测器121根据解码器101的内部信号Si来检测在该解码器中的正常的解码处理发生破绽的情况并输出表示错误检出的错误通知信号Nerr。由该错误检测器121取代上述活动图象解码装置100中的错误检测器120。而且，该错误检测器121可以构成为：通过严密地检查视频分组内的比特流的构造及内容的处理，来检测比特流的异常，并输出表示错误检出的错误通知信号Nerr，以取代检测正常的解码处理的破绽的处理。

而且，该活动图象解码装置110包括视频分组单位修整器107，根据错误通知信号Nerr来控制上述选择开关108，以便于在每个宏块中选择来自第一延迟电路103的延迟解码数据DVd和来自第二延迟电路104的延迟置换数据DVrep中的一方。

该视频分组单位修整器107这样构成：具体地说，根据上述错误通知信号Nerr，来控制上述选择开关108，以便于作为重放图象数据Vout而输出与该错误视频分组相对应的处理后VOP的视频分组的延迟置换数据DVrep，取代与上述解码器101中的解码处理出现破绽的视频分组(错误视频分组)相对应的延迟解码数据DVd。

而且，图13所示的活动图象解码装置110中的解码器101和存储器102具有与图12所示的活动图象解码装置100中的解码器101和存储器102相同的构成。

下面说明其动作。

在该活动图象解码装置110中，与上述活动图象解码装置100同样进行：解码器101中的输入流Vin的解码处理以及来自存储器102的参照图象数据Vref、置换图象数据Vrep的输出。

接着，在该活动图象解码装置110中，来自解码器101的解码图象数据Vd由第一延迟电路103延迟与成为解码处理的对象的对象视频分组所对应的解码处理所需要的时间，而且，来自存储器102的置换图象数据Vrep由第二延迟电路104延迟与上述对象视频分组相对应的解码处理所需要的时间。

而且，在错误检测器121中，根据解码器101中的内部信号Si，进行检测与输入流相对应的解码处理的破绽的处理，当解码处理的破绽被检测到时，向视频分组单位修整器107输出表示该错误检出的错误通知信号Nerr。由该视频分组单位修整器107根据该错误通知信号Nerr来向上述选择开关108输出控制信号Cvp。在该选择开关108中，根据该控制信号Cvp，来选择来自上述第一延迟电路103的延迟解码数据DVd和来自第二延迟电路104的延迟置换数据DVrep中的一方，所选择的数据(VP单位选择数据)Evp作为重放图象数据Vout被输出。

具体地说，上述选择开关108被上述视频分组单位修整器107进行控制，以便于作为重放图象数据Vout来输出与该错误视频分组相对应的处理后VOP的视频分组的延迟置换数据DVrep，来取代与错误被检出的视频分组(错误视频分组)相对应的延迟解码数据DVd。

接着，上述被处理VOP的重放图象数据Vout，作为与该被处理VOP的下一个VOP相对应的参照图象数据被记录到存储器102中。

在这样构成的活动图象解码装置110中，检测出解码处理的破绽，把解码处理产生破绽的视频分组的解码图象数据Vd置换为处理后VOP中的对应视频分组的解码图象数据，因此，如果在通常输入流中包含错误，上述解码处理出现破绽，因此，当包含传输错误或者流错误的比特流被输入时，进行解码图象数据的修整。

因此，在上述现有的活动图象解码装置即以宏块单位来修整解码图象数据的现有活动图象解码装置100(参照图12)以及以视频分组单位来修整解码图象数据的现有活动图象解码装置110(参照图13)中，分别存在以下问题：

即，在图12所示的活动图象解码装置100中，通过输入流的模拟信号电平和纠错码来检测出错误，以宏块单位来修整解码图象数据，因此，能够主动进行解码图象数据的修整，但是，不能通过输入流的模拟信号电平和纠错码俩进行流错误的检测，因此，不能改善由流错误所引起的解码图象的画质变差。

而且，在图13所示的活动图象解码装置110中，通过解码处理中的破绽的发生来检测出错误，以视频分组单位来修整解码图象数据，因此，错误宏块以前的与未包含错误部分的正常宏块信息相对应的解码图象数据被置换为处理后VOP的解码图象数据。因此，由解码图象数据的修整所引起的解码图象的画质变差变得显著起来，不能有效地进行与传输错误和流错误相对应的解码图象的修整。

这样，在现有技术中，根据用途而分开使用图12所示的以宏块单位来进行解码图象的修整的活动图象解码装置和图13所示的以视频分组单位进行解码图象的修整的活动图象解码装置。

而且，上述现有的活动图象解码装置都是在输入流具有形状信息的情况下和输入流没有形状信息的情况下没有区别地进行解码图象的修整处理，因此，在输入流具有形状信息的情况下存在即使进行图象修整也不能得到良好画质的问题。

即，物体单位的成为编码处理的对象的物体的形状存在时时刻刻大幅度变化的情况，因此，当利用处理后VOP内的图象来修整被处理VOP的一部分的图象时，在被处理VOP中的被修整的部分和未被修整的部分之间，会损坏该被处理VOP内的形状的连续性。这样，当形状的连续性被破坏时，修整部分变得醒目，而引起大幅度的画质变差。

发明内容

为了解决上述问题，本发明的目的是提供能够通过解码图象的修整处理有效地改善输入流的通过解码处理所得到的解码图象中的由传输错误和流错误所引起的画质变差的活动图象解码方法和活动图象解码装置，以及记录用于通过软件来实现该活动图象解码方法的活动图象解码程序的记录媒体。

本发明的第一方面所涉及的活动图象解码方法对比特流进行解码处理，上述比特流包括：在每个第一处理单位中依次对与活动图象相对应的图象数据进行编码而形成的编码数据和在每个包含多个上述第一处理单位的第二处理单位中赋予上述编码数据的同步信号，上述解码处理是在每个上述第一处理单位中对该编码数据进行解码而生成解码图象数据，其特征在于，包括：错误检测处理，区别并检测出在上述比特流传输时发生的传输错误和除该传输错误之外的流错误；修整处理，当上述传输错误被检测出时，把上述第一处理单位作为修整单位来进行上述解码图象数据的修整，当上述流错误被检测出时，把上述第二处理单位作为修整单位来进行上述解码图象数据的修整。

本发明的第二方面所涉及的活动图象解码装置对比特流进行解码处理，上述比特流包括：在每个第一处理单位中依次对与活动图象相对应的图象数据进行编码而形成的编码数据和在每个包含多个上述第一处理单位的第二处理单位中赋予上述编码数据的同步信号，其特征在于，包括：解码器，对于上述比特流，在上述每个第一处理单位中对编码数据进行解码，而生成解码图象数据；第一错误检测器，检测上述比特流传输时发生的传输错误；第二错误检测器，检测除上述传输错误之外的流错误；第一修整部，当上述传输错误被检测出时，把上述第一处理单位作为修整单位来进行上述解码图象数据的修整；第二修整部，当上述流错误被检测出时，把上述第二处理单位作为修整单位来进行上述解码图象数据的修整。

本发明的这些和其它的目的、优点及特征将通过结合附图对本发明的实施例的描述而得到进一步说明。

附图说明

图1是用于说明本发明的实施例1的活动图象解码装置的图，表示该活动图象解码装置的构成(图1(a))及输入该活动图象解码装置的VOP比特流的数据构造(图1(b))；

图2是表示通过上述实施例1的活动图象解码装置对输入流进行解码的处理的流程图；

图3是用于说明本发明的实施例2的活动图象解码装置的方框图；

图4是表示上述实施例2的活动图象解码装置所进行的解码处理的流程的图；

图5是用于说明本发明的实施例3的活动图象解码装置的方框图；

图6是表示上述实施例3的活动图象解码装置所进行的解码处理的流程的图；

图7是说明使用存储活动图象解码程序的软盘(图7(a)，图7(b))而通过计算机系统(图7(c))来实施上述各实施例中的活动图象解码处理的图；

图8是用于对上述MPEG-4对应的编码处理中的各种处理单位进行说明的模式图，表示物体的形状(图8(a))，物体的图案(图8(b))以及包含物体的矩形区域(图8(c))；

图9是用于说明上述MPEG-4对应的比特流中的各种处理单位的模式图，表示视频分组(图9(a))，VOP中的视频分组对应区域(图9(b))，宏块(图9(c))，块(图9(d))及视频分组的变形例(图9(e))；

图10是用于说明MPEG-4中的物理单位的编码处理的模式图；

图11是用于详细说明MPEG-4中的比特流的构成的模式图，表示VOP流(图11(a))，视频分组(图11(b))及宏块信息(图11(c))。

图12是用于说明现有的一般的活动图象解码装置的方框图；

图13是用于说明现有的另一个活动图象解码装置的方框图。

具体实施方式

下面对本发明的实施例进行说明。

实施例1

图1是用于说明本发明的实施例1的活动图象解码装置的图，图1(a)表示该活动图象解码装置的构成，图1(b)表示输入该活动图象解码装置的VOP比特流的数据构造。

该实施例1的活动图象解码装置100a进行对作为图象编码信息所输入的比特流进行解码而生成解码图象数据的解码处理，在该解码处理中，当检测到传输错误时，以宏块为单位来修整上述解码图象数据，当检测到除传输错误之外的流错误时，以视频分组为单位来修整上述解码图象数据。

其中，构成上述比特流的与一个图象系列的各VOP相对应的VOP比特流被区分为：作为同步信号的特定比特模型的固定长度代码(标志码)和由接着其的编码信息组成的多个数据单位(视频分组)，在各个视频分组的编码信息中包含多个作为与宏块相对应的数据单位的宏块信息。这样，VOP比特流具有通过与视频分组相对应的数据处理单位(第二处理单位)和与宏块相对应的数据处理单位(第一处理单位)所区分的两层的数据构造。

下面对其进行详细说明，该实施例1的活动图象解码装置100a具有：解码器1，对于构成作为图象编码信息所输入的比特流(以下称为输入流)Vin的VOP比特流，进行包含可变长度解码处理的解码处理；存储器2，暂时存储与解码处理结束的处理后VOP相对应的解码图象数据Vout，输出该存储的解码图象数据的一部分，来作为上述解码处理时所参照的参照图象数据Vref和用于修整处理的置换图象数据Vrep。其中，上述解码器1和存储器2具有与现有的活动图象解码装置100和110中的解码器101和存储器102完全相同的构成。

而且，该活动图象解码装置100a具有：MB选择开关5，根据MB选择控制信号Cmb来选择来自上述解码器1的解码图象数据Vd和来自上述存储器2的置换图象数据Vrep中的一方，输出该选择的图象数据来作为MB选择图象数据Emb；第一VP延迟电路1a，把该MB选择图象数据Emb延迟在成为处理对象的视频分组的解码处理中所需要的时间；第二VP延迟电路2a，把与各宏块的解码处理同步而从存储器2所输出的置换图象数据Vrep延迟在成为处理对象的视频分组的解码处理中所需要的时间；VP选择开关8，根据VP控制信号Cvp来选择该第一延迟电路1a的输出(MB延迟解码数据)DEmb和第二延迟电路2a的输出(延迟置换数据)DVrep中的一方，输出选择的图象数据来作为VP选择图象数据Evp。

其中，上述MB选择开关5具有：第一输入端子5a，被提供来自上述解码器1的解码图象数据Vd；第二输入端子5b，被提供来自上述存储器2的置换图象数据Vrep；用于输出上述MB选择图象数据Emb的输出端子5c。根据上述MB选择控制信号Cmb而被切换为：把上述第一输入端子5a连接到输出端子5c上的状态和把上述第二输入端子5b连接到输出端子5c上的状态。而且，上述VP选择开关8具有：第一输入端子8a，被提供来自上述第一VP延迟电路1a的MB延迟解码数据DEmb；第二输入端子8b，被提供来自上述第二VP延迟电路2a的延迟置换数据DVrep；用于输出上述VP选择图象数据Evp的输出端子8c。根据上述VP选择控制信号Cvp来切换为：把上述第一输入端子8a连接到输出端子8c上的状态和把上述第二输入端子8b连接到输出端子8c上的状态。

而且，该活动图象解码装置100a具有：传输错误检测器3，检测输入流Vin的传输错误，输出传输错误通知信号Terr；流错误检测器6，根据来自上述传输错误检测器3的传输错误通知信号Terr和上述解码器1的内部信号Si，来检测输入流Vin的流错误，而输出流错误通知信号Serr。

其中，上述传输错误检测器3为这样的构成：与现有的活动图象解码装置100中的错误检测器120相同，根据表示输入流Vin中的分组缺陷的标志码，来检测传输错误。而且，上述标志码是通过设在该活动图象解码装置100a前段的错误检验部(未图示)被插入到输入流中。该检验部根据输入流的模拟信号的电平和纠错码，来确定由输入流中的传输错误所引起的缺陷位置，在该缺陷位置上插入上述标志码。

而且，上述流错误检测器6为这样的构成：具体地说，根据上述解码器1的内部信号Si，仅当检测出与输入流Vin相对应的解码处理的破绽，并且，通过传输错误通知信号Terr检测出传输错误没有发生时，输出上述流错误通知信号Serr来作为表示检测到流错误的信号。而且，流错误检测器6严密地检查视频分组内的比特流的构造和内容，以取代上述解码处理的破绽，仅当比特流的异常被检测到并且检测到传输错误没有发生时，输出流错误通知信号Serr。

而且，上述活动图象解码装置100a具有：宏块单位修整器4，根据上述传输错误通知信号Terr，通过MB选择控制信号Cmb来控制上述MB选择开关5，用宏块单位来把被处理VOP的解码图象数据Vd中的受到传输错误影响的部分置换为处理后VOP的解码图象数据(置换图象数据)Vrep；视频分组单位修整器7，根据上述流错误通知信号Serr，通过VP选择控制信号Cvp来控制上述VP选择开关8，用视频分组单位来把被处理VOP的延迟解码数据DVd中的受到流错误影响的部分置换为处理后VOP的延迟置换数据Dvrep。

而且，上述宏块单位修整器4为与图12所示的现有活动图象解码装置100中的宏块单位修整器104相同的构成。

下面对其动作进行说明。

首先，说明本实施例1的活动图象解码装置所进行的解码处理的简要情况。

图2是表示通过上述实施例1的活动图象解码装置对输入流进行解码的处理的流程图。

当比特流(输入流)Vin作为图象信号的编码信息被输入该实施例1的活动图象解码装置100a中时，在每个宏块中对被处理VOP的流进行参照处理后VOP的解码图象数据Vref的解码处理，而生成与各宏块相对应的解码图象数据Vd(步骤S1a)。

接着，进行检测输入流Vin的传输错误的处理(步骤S2a)。

当通过该传输错误检测处理检测到传输错误时，按宏块单位来进行解码图象数据的修整处理(步骤S3a)。即，从包含传输错误的宏块信息所得到的错误宏块的解码图象数据被置换为处理后VOP中的与该错误宏块相对应的宏块的解码图象数据Vrep。另一方面，当上述错误检测处理的结果是没有检测到传输错误时，进行检测输入流Vin的流错误的处理(步骤S4a)。

通过该流错误检测处理，仅在检测到流错误的情况下，用视频分组单位进行解码图象数据的修整处理。即，与包含流错误的错误视频分组相对应的延迟解码数据DVd被置换为与该错误视频分组相对应的延迟置换数据DVrep(步骤S5a)。

以下详细说明该动作。

当从记录媒体所读出的比特流或者通过传输媒体所传输的比特流作为输入流Vin被输入该活动图象解码装置100a时，在该活动图象解码装置100a中，通过解码器1，参照来自存储器2的处理后VOP的解码图象数据Vref，来进行输入流Vin的解码处理。此时，在传输错误检测器3中，根据输入流Vin来进行传输错误的检测，当检测到输入流中的标志码时，传输错误通知信号Terr被输出给宏块单位修整器4和流错误检测器6。

在上述宏块单位修整器4中，根据传输错误通知信号Terr来向MB选择开关5输出MB选择控制信号Cmb。由此，在该MB选择开关5中，在每个宏块中选择来自解码器1的被处理VOP的解码图象数据Vd和来自存储器2的处理后VOP的置换图象数据Vrep中的一方，作为MB选择图象数据Emb而输出该选择的图象数据。

具体地说，当检测到上述传输错误时，通过上述MB选择开关5来选择从VOP比特流中的开头的宏块信息到包含上述标志码的错误宏块信息之前的宏块信息的宏块信息所对应的解码图象数据Vd，而作为MB选择图象数据Emb被输出。接着，与从上述错误宏块信息到下一个同步信号之前的宏块信息相对应的解码图象数据Vd，未被MB选择开关5所选择，与该解码图象数据Vd相对应的处理后VOP的置换图象数据Vrep被上述MB选择开关5选择作为置换图象数据，所选择的数据作为上述MB选择图象数据Emb被输出。

下面使用图1(b)来更具体地说明上述MB选择开关5的动作。在此对以下情况进行说明：当在所输入的VOP比特流Svop的第k个视频分组Svp(k)中的第i个宏块信息Smb(i)中包含标志码Cm的情况，即，在视频分组Svp(k)中的宏块信息Smb(i)中存在由传输错误所产生的缺陷的情况。

在此情况下，与从第k个视频分组Svp(k)的第一个宏块信息Smb(1)至第(i-1)个宏块信息Smb(i-1)的各个宏块信息相对应的解码图象数据被上述MB选择开关5所选择。与第k个视频分组Svp(k)的第i个宏块信息Smb(i)以后的宏块信息相对应的解码图象数据未被上述MB选择开关5所选择，通过该MB选择开关5，选择与这些宏块的解码图象数据Vd相对应的处理后VOP中的宏块的解码图象数据Vrep来作为置换图象数据。其中，第k个视频分组Svp(k)的第(i+1)个宏块信息由于传输错误而丢失了。而且，第k个视频分组Svp(k)的第(i+2)个、第(i+3)个、...、第(n)个宏块信息Smb(i+2)、Smb(i+3)、...、Smb(n)是第k个视频分组Svp(k)的第(i+2)个、第(i+3)个、...、第(n)个宏块信息，其中，这些宏块信息Smb(i+2)～Smb(n)没有传输错误而能够接收。但是，如果第(i+1)个宏块信息不能正确解码，则第(i+2)个、第(i+3)个、...、第(n)个宏块信息不能正确解码，因此，与第(i+1)至第(n)个的全部开会信息相对应的解码图象数据Vrep通过置换图象数据被置换。

而且，在图1(b)中，Svoph是VOP比特流的首部，包含同步信号。而且，Svp(1)，Svp(k+1)，Svp(m)分别是构成VOP比特流Svoph的第一个、第(k+1)个、最后的视频分组，Svph(1)，Svph(k)，Svph(k+1)，Svph(m)是各视频分组Svp(1)，Svp(k+1)，Svp(m)的首部。

而且，在流错误检测器6中，根据来自上述传输错误检测器3的传输错误通知信号Terr来进行在输入流中是否包含传输错误的判定，通过解码器1的内部信号Si俩判定与输入流相对应的解码处理是否存在破绽。而且，根据这些判定，来进行检测输入流Vin的流错误的处理。

例如，在对输入流的解码处理存在破绽的情况下，在上述流错误检测器6中，通过解码器1的内部信号Si来检测出上述解码处理的破绽。此时，如果通过传输错误通知信号Terr通知检测出了传输错误，则解码处理的破绽是由传输错误引起的。这样，在此情况下，不会输出流错误通知信号Serr。另一方面，如果不是由传输错误通知信号Terr所产生的传输错误的发生的通知，则编码处理的破绽是由流错误引起的。这样，在此情况下，判定为在输入流中包含流错误，而向视频分组单位修整器7输出流错误通知信号Serr。

而且，在流错误检测器6中，在传输错误检测器3检测到传输错误的情况下，可以不对包含传输错误的视频分组进行流错误的检测处理。

而且，在上述视频分组单位修整器7中，根据流错误通知信号Serr而向上述VP选择开关8输出VP选择控制信号Cvp。由此，通过VP选择开关8来在每个视频分组中选择来自第一VP延迟电路1a的被处理VOP的MB延迟解码数据DEmb和来自第二VP延迟电路2a的处理后VOP的延迟置换数据DVrep中的一方，从该VP选择开关8输出VP选择图象数据Evp来作为重放图象数据Vout。

具体地说，当在输入流Vin中包含流错误时，与VOP比特流中的解码处理存在破绽的错误视频分组相对应的延迟解码数据DVd未被上述VP选择开关8所选择，与该延迟解码数据DVd相对应的延迟置换数据(处理后VOP的视频分组的解码图象数据)DVrep被上述VP选择开关8所选择，所选择的图象数据作为上述VP选择图象数据Evp被输出。另一方面，与VOP流中的除解码处理存在破绽的视频分组之外的视频分组相对应的延迟解码数据DVd被上述VP选择开关8所选择，所选择的图象数据作为VP选择图象数据Evp被输出。

而且，该VP选择图象数据Evp作为重放图象数据Vout被输出，同时，作为与接着被处理VOP的后续VOP相对应的参照图象数据被存储在上述存储器2中。

这样，在本实施例1中，包括：在每个宏块中对输入流进行解码而生成解码图象数据的解码器1；检测在输入流中包含的传输错误的传输错误检测器3；检测在输入流中包含的流错误的流错误检测器6，把受到传输错误的影响的宏块的解码图象数据置换为处理后VOP的对应的宏块的解码图象数据，把与包含流错误的视频分组相对应的解码图象数据置换为处理后VOP中的对应的视频分组的解码图象数据，因此，以宏块单位来进行对传输错误的解码图象数据的修整，以视频分组单位来进行对流错误的解码图象数据的修整。

由此，在传输错误发生的情况下，仅修整受到传输错误的影响的宏块的解码图象数据，而能够避免由于修整未受传输错误的影响的宏块的解码图象数据所引起的解码图象的画质恶化。而且，在流错误发生的情况下，修整与包含流错误的视频分组相对应的所有宏块的解码图象数据，而能够防止由于受到流错误的影响的宏块的解码图象数据被输出所引起的解码图象的画质恶化。其结果，能够有效地进行与在输入流中包含的错误相对应的解码图象数据的修整处理，而提高了解码图象的画质。

而且，在上述实施例1中，对输入流具有2层的数据构造的情况下进行了说明，即，说明了：用视频分组单位来区分构成输入流的VOP比特流，而且，把作为编码处理的单位的宏块作为单位来区分视频分组，但是，输入流的2层数据构造并不仅限于上述实施例的情况。

例如，上述输入流可以具有这样的数据构造：把视频分组作为单位来区分VOP比特流，而且，不是把上述宏块而是把作为编码处理的最小单位的块(8×8象素)作为单位来区分视频分组。在此情况下，对传输错误的解码图象数据的修整用块单位来进行，由此，能够得到与上述实施例1相同的效果。

这样，如果上述输入流的2层数据构造未这样的数据构造：与图象系列的一个画面(VOP)相对应的VOP比特流在每个由同步信号和接着其的编码信息组成的每个数据单位中被进行区分，该数据单位被区分成：与区划VOP的错误编码处理的单位的区域相对应，就可以是任一种2层的数据构造。在此情况下，用与编码处理的单位相当的数据单位(第一处理单位)来进行与传输错误相对应的解码图象数据的修整，用包含上述同步信号的数据单位(第二处理单位)来进行与流错误相对应的解码图象数据的修整，由此，能够得到与上述实施例1相同的效果。

而且，在上述实施例1中，表示了具有2层的数据构造的比特流作为输入流，但是，输入流中的数据的层构造可以是3层以上的数据构造，输入流在每个由同步信号和接着其的编码信息组成的数据单位(第二处理单位)中进行区分，该数据单位被区分为与编码处理的单位相当的数据单位(第一处理单位)相对应，如果这样，可以具有任意多层的数据构造。

而且，在上述实施例1中，作为由16×16象素组成的图象空间来说明了与区分视频分组的数据单位(第一处理单位)相当的宏块，但是，构成宏块的水平方向和垂直方向的象素数可以随活动图象的编码方法而变化。

实施例2

图3是用于说明本发明的实施例2的活动图象解码装置的方框图。

该实施例2的活动图象解码装置100b是这样的：在与没有形状的物体相对应的比特流的解码处理中，与上述实施例1相同，当检测到传输错误时，用宏块单位来进行解码图象数据，而且，当检测到流错误时，用视频分组单位来进行解码图象数据的修整，在与具有形状的物体相对应的比特流的解码处理中，当检测到错误时，用VOP单位来修整解码图象数据。

该实施例2的活动图象解码装置100b是在上述实施例1的活动图象解码装置100a的构成的基础上还包括用于进行以上述VOP单位的解码图象数据的修整的电路构成。

下面进行详细说明，该实施例2的活动图象解码装置100b与上述实施例1相同，具有上述解码器1、存储器2、检测器3和6、修整器4和7、选择开关5和8、延迟电路1a和2a。

而且，该实施例2的活动图象解码装置100b具有：“或”电路9，通过来自上述传输错误检测器3的传输错误通知信号Terr和来自流错误检测器6的流错误通知信号Serr的“或”运算，来输出表示在输入流中包含传输错误或者流错误的错误检测信号TSerr；形状有无检测器10，根据输入流Vin，来判定该输入流是否具有形状信息，根据该判定结果来输出形状有无通知信号Sdet。

而且，该活动图象解码装置100b具有：第一VOP延迟电路1b，把从上述VP选择开关8所输出的VP选择图象数据Evp延迟在成为处理对象的被处理VOP的解码处理中所需要的时间，并输出VOP延迟选择数据DEvp；第二VOP延迟电路2b，把从上述第二VP延迟电路2a所输出的VP延迟置换数据(第一延迟置换数据)DVrep1延迟在1VOP的解码处理中所需要的时间，并输出；VOP延迟置换数据(第二延迟置换数据)DVrep2。

而且，该活动图象解码装置100b具有：VOP选择开关13，根据VOP选择控制信号Cvop来选择来自上述第一VOP延迟电路1b的VOP延迟选择数据DEvp和来自第二VOP延迟电路2b的VOP延迟置换数据Dvrep2中的一方，输出选择的图象数据来作为VOP选择图象数据Evop；“与”电路11，通过上述错误检测信号TSerr和形状有无通知信号Sdet的“与”运算，来输出表示在具有形状信息的输入流中包含错误的意思的流信息Istr；VOP单位修整器12，根据该流信息Istr，来控制上述VOP选择开关13，以便于当在具有形状信息的输入流中包含的错误被检测出时，用VOP单位来修整来自上述第一VOP延迟电路1b的VOP延迟选择数据DEvp。

其中，上述VOP选择开关13具有：第一输入端子13a，提供来自上述第一VOP延迟电路1b的VOP延迟选择数据DEvp；第二输入端子13b，提供来自上述第二VOP延迟电路2b的VOP延迟置换数据Dvrep2；用于输出上述VOP选择图象数据Evop的输出端子13c。通过上述VOP选择控制信号Cvop来切换使上述第一输入端子13a连接到输出端子13c上的状态和使上述第二输入端子13b连接到输出端子13c上的状态。

下面对作用效果进行说明。

首先，对本发明的实施例2的基本原理进行说明。

通常，当以宏块单位或者视频分组单位来修整具有物体的形状信息的解码图象数据时，画面内的物体形状的连续性受到损坏。因此，当比特流具有形状信息时，与用宏块单位或者视频分组单位来修整与包含错误的比特流相对应的解码图象数据相比，用VOP单位来进行修整结果，会得到在视觉上较好的解码图象。

另一方面，在具有形状信息的图象中，形状的时间上的变化较少，则象素值的画面间相关性较强，因此，最好使用处理后VOP的解码图象数据，来以宏块单位或者视频分组单位进行解码图象数据的修整。

因此，在本实施例2中，根据输入流Vin，来判定输入流是否具有形状信息，当输入流具有形状信息时，对其解码图象数据进行VOP单位的修整处理，当输入流没有形状信息时，用宏块单位或者视频分组单位对其解码图象数据进行修整处理。

首先，说明本实施例2所涉及的活动图象解码装置所进行的解码处理的简要情况。

图4是表示上述实施例2的活动图象解码装置所进行的解码处理的流程的图。

当向该实施例2的活动图象解码装置100b中输入包含与活动图象相对应的编码信息的比特流而作为输入流Vin时，在解码器1中，依次进行在每个宏块中对输入流中与被处理VOP相对应的编码信息(被处理VOP比特流)进行解码的处理(步骤S1b)。

接着，用形状有无检测器10来判定上述输入流Vin是否包含形状信号(步骤S2b)。当其判定结果是：上述输入流Vin是不包含形状信息的比特流时，通过分别对应的步骤S3b至S6b来进行与上述实施例1中的步骤S2a至S5a的处理相同的处理。另一方面，当上述输入流是包含形状信息的比特流时，进行在输入流Vin中是否包含传输错误的判定(步骤S7b)和在输入流Vin中是否包含流错误的判定(步骤S8b)。

接着，当在上述输入流Vin中包含传输错误或者流错误时，进行用VOP单位来修整通过输入流Vin的解码处理所得到的解码图象数据的处理(步骤S9b)。

具体地说，当在该被处理VOP比特流中包含错误时，通过该被处理VOP比特流的解码处理所得到的解码图象数据DEvp被置换为与处理后VOP相对应的解码图象数据DVrep2，解码图象数据DVrep2作为重放图象数据Vout从该活动图象解码装置100b被输出。

另一方面，当步骤S7b和步骤S8b中的判定结果是：没有检测到输入流Vin的错误时，该被处理VOP比特流的通过解码处理所得到的解码图象数据Vd作为重放图象数据Vout从该活动图象解码装置100b被输出。

以下对其动作进行详细说明。

当与上述实施例1的活动图象解码装置100a相同的输入流Vin被输入到该实施例2的活动图象解码装置100b中时，在该活动图象解码装置100b中，通过解码器1来进行输入流Vin的解码处理、由错误检测器3所进行传输错误的检测以及由错误检测器6所进行的流错误的检测。

此时，在解码器1中，在每个宏块中进行对输入流Vin的解码处理，在每个宏块中输出解码图象数据Vd。而且，从存储器2与上述被处理VOP的各宏块的解码图象数据Vd同步地输出与在解码器1中成为处理对象的被处理VOP中的宏块相对应的处理后VOP中的宏块的解码图象数据(置换图象数据)Vrep。而且，向宏块单位修整器4输出来自上述传输错误检测器3的传输错误通知信号Terr，向流错误检测器6输出来自上述流错误检测器6的流错误通知信号Serr，向“或”电路9输出上述传输错误通知信号Terr或者流错误通知信号Serr。

而且，在形状有无检测器10中，根据上述输入流Vin，来判定在该输入流Vin中是否包含形状信息，向“与”电路11输出表示判定结果的形状有无通知信号Sdet。

通常，在包含形状信息的VOP比特流中，在其顺序首部等上附加表示包含形状信息的意思的标志信息等，因此，根据该标志信息来进行是否包含形状信息的判定。

这样一来，通过宏块单位修整器4来进行MB选择开关5的开关控制，通过流错误检测器6来进行VP选择开关8的开关控制。而且，在“或”电路9中，通过传输错误通知信号Terr和流错误通知信号Serr的“或”运算，来向“与”电路11输出表示在输入流中是否包含传输错误或流错误的意思的错误检测信号TSerr。

在该“与”电路11中，通过错误检测信号TSerr及上述形状有无通知信号Sdet的“与”运算，向VOP单位修整器12输出表示输入流是具有形状信息的比特流并且包含错误的意思的流信息Istr。

接着，在MB选择开关5中，根据来自宏块单位修整器4的MB选择控制信号Cmb，来选择上述解码图象数据Vd或置换图象数据Vrep中的一方，所选择的图象数据作为MB选择图象数据Emb被输出。

来自上述MB选择开关5的MB选择图象数据Emb以及来自存储器2的置换图象数据Vrep分别通过第一VP延迟电路1a、第二VP延迟电路2a延迟与被处理视频分组相对应的解码处理时间，作为MB延迟解码数据DEmb、VP延迟置换数据(第一延迟置换数据)DVrdf1被输出。

而且，通过VP选择开关8来根据来自视频分组单位修整器7的VP选择控制信号Cvp来选择上述MB延迟解码数据DEmb和VP延迟置换数据DVrep1中的一方，所选择的延迟数据作为VP选择图象数据Evp被输出。

来自上述VP选择开关8的VP选择图象数据Evp和来自第二VP延迟电路2a的VP延迟置换数据DVrep1分别通过第一VOP延迟电路1b、第二VOP延迟电路2b被延迟与被处理VOP相对应的解码处理时间，作为VOP延迟选择数据DEvp、VOP延迟置换数据(第二延迟置换数据)DVrdf2被输出。

接着，通过VOP选择开关13，根据来自VOP单位修整器12的VOP选择控制信号Cvop来选择上述VOP延迟选择数据DEvp和VOP延迟置换数据Dvrep2中的一方，所选择的延迟数据作为VOP选择图象数据Evop被输出。该VOP选择图象数据Evop被存储在上述存储器2中，同时，作为重放图象数据Vout被输出。

具体地说，上述VOP选择开关13被VOP单位修整器12进行这样的控制：当输入流是不包含形状信息的时，或者，当在输入流中未包含错误时，来自第一VOP延迟电路1b的VP延迟选择数据Evp被原封不动地输出，当输入流具有形状信息并且包含错误时，来自第一VOP延迟电路1b的VP延迟选择数据Evp被来自第二VOP延迟电路2b的VOP延迟置换数据Dvrep2所置换。

这样，在本实施例2中，在上述实施例1的构成的基础上，还包括判定输入流Vin是否是具有形状信息的的形状有无检测器10。在输入流Vin具有形状信息时，当在输入流Vin中包含传输错误或者流错误时，用VOP单位来修整该输入流Vin的通过解码处理所得到的解码图象数据，另一方面，当上述输入流Vin没有形状信息时，与上述实施例1相同，根据在输入流Vin中包含的错误的种类，用宏块单位或者视频分组单位来进行解码图象数据的修整，因此，不仅能够得到上述实施例1的效果，还能够得到一边抑制伴随着解码图象数据的修整的画质恶化，一边排除从具有形状信息的输入流Vin所得到的解码图象中的由错误引起的画质恶化的效果。

而且，在上述实施例1和2中，作为传输错误检测器3，表示了通过检测出表示插入到比特流中的分组丢失的标记(标记码)来检测传输错误的构成，但是，上述传输错误检测器也可以用别的方法从传输系统取得与输入流中的传输错误发生位置相关的信息，而输出传输错误通知信号Terr。

实施例3

图5是用于说明本发明的实施例3的活动图象解码装置的方框图。

该实施例3的活动图象解码装置100c是这样的：在与没有形状的物体相对应的比特流的解码处理中，当检测到输入流的错误时，用视频分组单位来修整解码图象数据，在与具有形状的物体相对应的比特流的解码处理中，当检测到输入流的错误时，用VOP单位来修整解码图象数据。

该实施例3的活动图象解码装置100c与上述实施例2的活动图象解码装置100b相同，具有上述解码器1、存储器2、修整器7和12、延迟电路1a、2a、1b、2b、选择开关8和13、“与”电路11、形状有无检测器10。

而且，该活动图象解码装置100c包括：错误检测器18，根据输入流Vin和解码器1的内部信号Si来进行检测传输错误和流错误的处理，当检测到任一种错误时，输出错误通知信号Aerr，由此来取代上述实施例2的活动图象解码装置100b中的传输错误检测器3、流错误检测器6和“或”电路9。

而且，在该活动图象解码装置100c中，向上述视频分组单位修整器7输入该错误通知信号Aerr，向上述“与”电路11同时输出该错误通知信号Aerr和来自上述形状有无检测器10的形状有无通知信号Sdet。

而且，在该活动图象解码装置100c中，省略了上述实施例2的活动图象解码装置100b中的宏块单位修整器4和MB选择开关5，上述解码器1的输出Vd被直接输入第一VP延迟电路1a。

下面对其作用效果进行说明。

在上述实施例2中，在与没有形状的物体相对应的比特流的解码处理中，用宏块单位来进行检测到传输错误时的修整处理，用视频分组单位来进行检测到流错误时的修整处理，但是，当与视频分组相对应的宏块数较少时，即在视频分组中包含的宏块信息的个数较少时，即使始终用视频分组单位来进行对没有形状信息的解码图象数据的修整处理，伴随着解码图象中的修整处理的画质的恶化较少。

而且，通过省略与解码图象数据相对应的宏块单位的修整处理，能够简化修整处理。

因此，在本实施例3中，与上述实施例2不同，当输入流没有形状信息时，即使当作为输入流的错误而检测到传输错误或流错误时，也用视频分组单位来进行对解码图象的修整处理。

首先，说明本实施例3的活动图象解码装置所进行的解码处理的简要情况。

图6是表示上述实施例3的活动图象解码装置所进行的解码处理的流程的图。

当向该活动图象解码装置100c中输入包含与活动图象相对应的编码信息的比特流而作为输入流Vin时，在解码器1中，依次进行在每个宏块中对输入流中与输入流中的被处理VOP相对应的部分(被处理VOP比特流)进行解码的处理(步骤S1c)。

接着，用形状有无检测器10来判定上述输入流Vin是否包含形状信号(步骤S2c)。

当其判定结果是：上述输入流Vin是不包含形状信息的比特流时，由错误检测器18进行检测输入流Vin的错误的处理(步骤S3c)。而且，当检测到上述输入流Vin的错误时，进行用视频分组单位来修整输入流Vin的由解码处理所得到的解码图象数据的处理(步骤S4c)。

另一方面，当上述步骤S2c的结果是：上述输入流是包含形状信息的比特流时，由错误检测器18进行检测输入流Vin的传输错误的处理(步骤S5c)。而且，当检测到上述输入流Vin的错误时，进行用VOP单位来修整输入流Vin的由解码处理所得到的解码图象数据的处理(步骤S6c)。

当上述步骤S3c和步骤S6c中判定结果是：没有检测到输入流Vin的错误时，被处理VOP流的由解码处理所得到的解码图象数据Vd作为重放图象数据Vout从该活动图象解码装置100c被输出。

以下对其动作进行详细说明。

当与上述实施例1的活动图象解码装置100a相同的输入流Vin被输入到该实施例3的活动图象解码装置100c中时，在该活动图象解码装置100c中，通过形状有无检测器10，与实施例2相同，进行检测输入流Vin是否包含形状信息的处理，而输出形状有无通知信号Sdet。而且，在该活动图象解码装置100c的解码器1中，与实施例2相同，进行输入流Vin的解码处理，在每个宏块中输出与被处理VOP相对应的解码图象数据。此时，从存储器2与上述被处理VOP的各宏块的解码图象数据Vd同步地输出与在解码器1中成为处理对象的被处理VOP中的宏块相对应的处理后VOP中的宏块的解码图象数据(置换图象数据)Vrep。

而且，在该实施例3的形状有无检测器10中，根据上述输入流Vin和解码器1的内部信号Si，来进行检测输入流Vin的错误的处理，当检测到错误时，向视频分组单位修整器7和“与”电路11输出错误通知信号Aerr。在该“与”电路11中，进行错误通知信号Aerr和上述形状有无通知信号Sdet的“与”运算，向VOP单位修整器12输出表示输入流是具有形状信息的比特流并且包含错误的意思的流信息Istr。

而且，来自上述解码器1的解码图象数据Vd以及来自存储器2的置换图象数据Vrep分别通过第一VP延迟电路1a、第二VP延迟电路2a延迟与被处理视频分组相对应的解码处理时间，作为VP延迟解码数据DVd、VP延迟置换数据DVrdf1被输出。

而且，通过上述VP选择开关8来根据来自视频分组单位修整器7的VP选择控制信号Cvp来选择上述VP延迟解码数据DVd和VP延迟置换数据DVrep1中的一方，所选择的延迟数据作为VP选择图象数据Evp被输出。

而且，来自上述VP选择开关8的VP选择图象数据Evp和来自第二VP延迟电路2a的VP延迟置换数据DVrep1分别通过第一VOP延迟电路1b、第二VOP延迟电路2b被延迟与被处理VOP相对应的解码处理时间，作为VOP延迟选择数据DEvp、VOP延迟置换数据DVrdf2被输出。

接着，通过VOP选择开关13，根据来自VOP单位修整器12的VOP选择控制信号Cvop来选择上述VOP延迟选择数据DEvp和VOP延迟置换数据Dvrep2中的一方，所选择的延迟数据作为VOP选择图象数据Evop被输出。该VOP选择图象数据Evop被存储在上述存储器2中，同时，作为重放图象数据Vout被输出。

其中，上述VOP选择开关13被VOP单位修整器12进行这样的控制：当输入流是不包含形状信息的时，或者，当在输入流中未包含错误时，来自第一VOP延迟电路1b的VOP延迟选择数据DEvp被原封不动地输出，当被判定为输入流具有形状信息并且检测到输入流的错误时，来自第一VOP延迟电路1b的VOP延迟选择数据DEvp被来自第二VOP延迟电路2b的VOP延迟置换数据DVrep2所置换。

这样，在本实施例3中，对包含形状信息的输入流Vin的由解码处理所得到的解码图象数据用VOP单位进行解码图象的修整处理，对于未包含形状信息的输入流Vin的由解码处理所得到的解码图象数据，用视频分组单位来进行解码图象的修整处理，因此，在输入流Vin包含形状信息的情况下，不会引起由解码图象的修整处理所产生的大的画质恶化，还能排除由错误引起的画质恶化，而且，当输入流Vin不包含形状信息时，能够通过简单的修整处理来排除由错误引起的画质恶化。

而且，在上述实施例3中，对输入流Vin不包含形状信息时用视频分组单位来进行解码图象的修整的方案进行了说明，但是，输入流Vin不包含形状信息时的解码图象的修整处理也可以用宏块单位来进行。

而且，在上述实施例3中，把错误检测器18作为检测传输错误和流错误两者的构成，但是，上述错误检测器也可以为仅检测传输错误和流错误中的任一方的构成。

而且，在上述实施例2和3中，在进行宏块单位的图象修整和视频分组单位的图象修整之后，进行VOP单位的图象修整，但是，也可以在宏块单位的图象修整和视频分组单位的图象修整之前进行VOP单位的图象修整。

而且，在上述各个实施例中，作为解码图象的具体的修整处理，表示了把与错误解码处理的对象的被处理VOP相对应的解码图象数据置换为该被处理VOP以前解码处理完成的处理后VOP的解码图象数据的处理，但是，解码图象的修整处理并不仅限于上述各个实施例中的那样。

例如，上述解码图象的修整处理可以象上述那样进行：把被处理VOP的解码图象数据置换为对处理后VOP的解码图象数据进行活动补偿处理而得到的参照图象数据。而且，上述解码图象的修整处理可以通过对被处理VOP的解码图象数据进行画面内的内插间补处理来进行。

而且，在上述各个实施例中，作为编码处理和解码处理，表示了MPEG-4对应的方案，但是，上述编码处理和解码处理可以是MPEG-4之外的方案。

而且，把用于通过计算机来进行上述各个实施例的活动图象解码处理的活动图象解码程序记录在软盘等数据记录媒体上，由此，能够在独立的计算机中简单地进行上述各个实施例的活动图象解码处理。

图7是用于说明使用存储活动图象解码程序的软盘并通过计算机系统来实施上述各实施例中的活动图象解码处理的图。

图7(a)表示从软盘的正面所看到的外观、断面构造以及软盘本体，图7(b)表示该软盘本体的物理格式的例子。

上述软盘FD为在软盘外壳FC内容纳上述软盘本体D的构造，在该软盘本体D的表面上从外周向内周形成同心圆形的多个磁道Tr，各个磁道Tr在角度方向上被分成16个扇区Se。这样，在存储着上述程序的软盘FD中，上述软盘本体D，在其上被分配的区域(扇区)Se中记录着作为上述程序的数据。

而且，图7(c)表示用于进行与软盘FD相对应的上述活动图象解码程序的记录以及活动图象解码处理的系统构成，其中的活动图象解码处理是通过使用存储在软盘FD中的活动图象解码程序的软件所进行的。

当把上述活动图象解码程序记录到软盘FD上时，从计算机系统Cs通过软盘驱动器FDD向软盘FD写入作为上述活动图象解码程序的数据。而且，通过记录在软盘FD上的程序，来在计算机系统Cs中构筑上述活动图象解码装置，在此情况下，通过软盘驱动器FDD从软盘FD读出程序，下载到计算机系统Cs中。

在上述图7中，作为程序的记录媒体，表示了软盘，但是，也可以使用光盘作为程序的记录媒体，在此情况下，可以与上述软盘的情况相同，进行由软件所进行的活动图象解码处理。而且，上述程序记录媒体并不仅限于上述光盘和软盘，也可以是IC卡、ROM卡等能够记录程序的任意媒体，当使用这些数据记录媒体时，与使用上述软盘等的情况相同，能够实施由软件所进行的各实施例的活动图象解码处理。

如以上那样，根据本发明的第一方面所涉及的活动图象解码方法，在对包含与活动图象相对应的编码数据的比特流进行解码处理时，区别并检测出在上述比特流传输时发生的传输错误和除该传输错误之外的流错误，当上述传输错误被检测出时，用作为编码处理单位的第一处理单位来修整由上述解码处理所得到的解码图象数据，当上述流错误被检测出时，用赋予了一个同步信号的包含多个上述第一处理单位的第二处理单位来修整上述解码图象数据，由此，就能对传输错误和流错误中的任一种错误进行解码图象数据的修整。

而且，当传输错误发生时，仅修整受到传输错误影响的与第一处理单位相对应的解码图象数据，就能避免由于修整未受到传输错误影响的与第一处理单位相对应的解码图象数据所引起的解码图象的画质恶化。而且，在传输错误之外的流错误发生的情况下，修整赋予了一个同步信号的与第二处理单位相对应的解码图象数据，就能防止由于受到流错误的影响的与第一处理单位相对应的解码图象数据被输出所引起的解码图象的画质恶化。

其结果，当检测到输入比特流的错误时，能够有效地进行解码图象数据的修整处理，而大大降低解码图象的画质恶化。

根据本发明的第二方面所涉及的活动图象解码装置，包括：解码器，通过对包含与活动图象相对应的编码数据和同步信号的比特流的解码处理，而生成解码图象数据；第一错误检测器，检测上述比特流传输时发生的传输错误；第二错误检测器，检测除上述传输错误之外的流错误，当上述传输错误被检测出时，用作为编码处理的单位的第一处理单位来修整上述解码图象数据，当上述流错误被检测出时，用赋予一个同步信号的包含多个上述第一处理单位的第二处理单位来修整上述解码图象数据，因此，与本发明的第一方面的活动图象解码方法相同，能够根据错误是传输错误还是流错误，来用适当的处理单位进行解码图象数据的修整，当检测到输入比特流的错误时，能够有效地进行解码图象数据的修整处理，而大大降低解码图象的画质恶化。

Claims (2)

1.一种活动图象解码方法，对比特流进行解码处理，上述比特流包括：在每个第一处理单位中依次对与活动图象相对应的图象数据进行编码而形成的编码数据和在每个包含多个上述第一处理单位的第二处理单位中赋予上述编码数据的同步信号，上述解码处理是在每个上述第一处理单位中对该编码数据进行解码而生成解码图象数据，其特征在于，包括：

错误检测处理，区别并检测出在上述比特流传输时发生的传输错误和除该传输错误之外的流错误；

修整处理，当上述传输错误被检测出时，把上述第一处理单位作为修整单位来进行上述解码图象数据的修整，当上述流错误被检测出时，把上述第二处理单位作为修整单位来进行上述解码图象数据的修整。

2.一种活动图象解码装置，对比特流进行解码处理，上述比特流包括：在每个第一处理单位中依次对与活动图象相对应的图象数据进行编码而形成的编码数据和在每个包含多个上述第一处理单位的第二处理单位中赋予上述编码数据的同步信号，其特征在于，包括：

解码器，在上述每个第一处理单位中对包含上述比特流的编码数据进行解码，而生成解码图象数据；

第一错误检测器，检测上述比特流传输时发生的传输错误；

第二错误检测器，检测除上述传输错误之外的流错误；

第一修整部，当上述传输错误被检测出时，把上述第一处理单位作为修整单位来进行上述解码图象数据的修整；

第二修整部，当上述流错误被检测出时，把上述第二处理单位作为修整单位来进行上述解码图象数据的修整。

Images