CN101502121A - 图像解码装置及方法、图像解码系统及系统lsi - Google Patents

Abstract

根据各瞬时的接收缓冲器内的图像编码数据量或者图像编码数据量的时间变化，判定是否产生了下溢或者产生下溢的可能性是否高，在判定结果是肯定的情况下，取出保存在帧存储器中的一个帧的图像数据，并且对上述接收缓冲器中剩余的图像编码数据的一部分进行解码，用对上述图像编码数据进行了解码的图像数据的一部分置换所取出的图像数据的一部分，生成新的一个帧的合成图像数据。反复生成合成图像数据，使得被置换的图像数据的占有比例大于紧前面生成的合成图像数据中的被置换的图像数据的占有比例，按照生成顺序输出生成的合成图像数据。

Description

图像解码装置及方法、图像解码系统及系统LSI

技术领域

本发明涉及对被编码的图像数据进行解码的技术，特别是涉及在通过流方式再现被编码的图像数据时的该图像数据的解码技术。

背景技术

近年来，已经普及了一边经过因特网等传输线路接收图像数据一边同时进行再现的流方式。

在该流方式中，在因为访问集中到传输线路中等的、在传输线路上载有过度的通信负荷(即拥堵)而产生传输延迟的情况下如何应对成为难题。在产生传输延迟的状况下，能够引起再现所需的图像数据在需要的时刻不到达接收侧的现象(接收缓冲下溢)。

以前，已知一种MPEG视频解码器，在接收缓冲器引起了下溢时，停止对图像数据的解码处理，继续输出之前的解码图像。具体地说，MPEG视频解码器将存储在接收缓冲器中的MPEG位流的占有量与规定的阈值进行比较，在占有量低于阈值的情况下，跳过解码处理，继续输出在此之前从位缓冲器读出的MPEG位流的解码结果。

在这种利用现有技术的MPEG视频解码器中，由于在接收缓冲器中的MPEG位流的占有量低于阈值时，即产生接收缓冲下溢的危险高时，跳过解码处理，因此，结果其占有量增大，在避免了接收缓冲下溢的同时，还能继续进行视频输出，因此，继续进行显示器显示而显示图像不紊乱。

专利文献1：日本特开平8—331560号公报

但是，由于利用现有技术的MPEG视频解码器，在接收缓冲器中的MPEG位流的占有量低于阈值的期间，跳过解码处理，反复输出在此之前从接收缓冲器读出的MPEG位流的解码结果，因此，其外观上有一定期间停止了显示图像的更新的问题。

从而，观看显示图像的用户感到对于装置发生故障和通信中断等的不安，根据该情况，不管是否只是因为传输线路延迟而产生接收缓冲下溢而仍在正常工作，都有可能执行停止工作和切断通信等指令。

上述问题在有线传输线路中不用说了，在无线传输线路上的实时图像收发中尤为显著。从无线比有线的带宽窄和误码率高的观点来看，这是因为伴随着传输线路延迟的接收缓冲下溢的发生频率增高了。

另一方面，今后，通过带相机的手机中的动画图像处理性能和通信性能进一步提高，宽带无线访问环境的完备和对相机、录像机等设备装入网络功能的无线网络连接等，预计在各种各样场合下向网络发送所拍摄到的运动图像，并且实时视听运动图像的情形(所谓实况转播的方式)将增多。这时，例如在举行某项活动时，与某个特定的无线接入点连接许多摄像设备，在向网络发送由各摄像设备拍摄到的运动图像而产生了拥堵状态的情况下，所发送的运动图像数据有可能引起显著的传输延迟。其结果，可想到在接收侧因接收缓冲下溢造成显示图像的更新停止几秒以上的情形。

发明内容

本发明的目的在于提供一种图像解码装置，该图像解码装置即使是产生了接收缓冲下溢的状况下，也防止显示图像的更新停止一定期间，或者缩短更新停止的期间。

本发明的图像解码装置，一面向接收缓冲器取入从外部接收的图像编码数据，一面从该接收缓冲器读出图像编码数据来进行解码，并输出图像数据，其特征在于，具有：存储器，暂时保持图像数据；判定单元，根据各瞬时的接收缓冲器内的图像编码数据量或者图像编码数据量的时间变化，判定是否产生了下溢或者产生下溢的可能性是否高；合成图像生成单元，在判定结果是肯定的情况下，取出保存在上述帧存储器中的一个帧的图像数据，并且对上述接收缓冲器中剩余的图像编码数据的一部分进行解码，用对上述图像编码数据进行解码了的图像数据的一部分置换所取出的图像数据的一部分，生成新的一个帧的合成图像数据；以及输出单元，输出所生成的合成图像数据，反复生成合成图像数据，使得被置换了的图像数据的占有比例大于紧前面生成的合成图像数据中的被置换了的图像数据的占有比例，按照生成顺序输出上述生成的合成图像数据。

发明效果

根据用于解决上述问题的手段中记载的结构，由于输出置换后的图像数据的占有比例逐渐变高而生成的多个合成图像，因此，显示内容缓慢地变化。

通过实现显示内容的缓慢变化，能够使用户理解不是图像解码装置发生故障或者通信中断，而是“只不过是网络拥堵”的状况。

在此，从上述外部接收的图像编码数据也可以由多个规定的处理单位构成，对每个规定的处理单位进行图像数据的置换，上述图像解码装置具有重要度计算单元，该重要度计算单元对每个上述规定的处理单位计算重要度，上述合成图像生成单元以与计算出的重要度中最高重要度对应的规定的处理单位，置换保存在上述帧存储器中的图像数据的一部分。

该情况下，也可以越靠近帧中央的位置，上述分配的数值越高。

此外，也可以图像的运动越大，上述分配的数值越高。

这样，由于上述合成图像生成单元能够例如优先地置换靠近帧中央的位置或者图像的运动大的部分，因此，能够先更新图像中对用户来说认为重要的部分。

在此，对多个表分配上述数值，上述重要度计算单元基于从上述接收缓冲器中剩余的图像编码数据得到的信息，动态地转换上述多个表来计算重要度。

该情况下，从上述图像编码数据得到的信息也可以是示出图像类型的信息。

这样，上述重要度计算单元就能够根据从上述接收缓冲器中剩余的图像编码数据得到的信息来计算重要度。例如，在多个表中的一个是基于运动矢量的表的情况下，若图像类型是I图像，就不能得到运动矢量，不能够使用基于运动矢量的表来计算重要度，但通过使用其他表就能够计算重要度。通过这样地使用多个表，就能够避免不能计算重要度的状况。

在此，也可以在上述判定结果是否定的情况下，上述合成图像生成单元取出保存在上述帧存储器中的图像数据，并且对上述接收缓冲器中剩余的一个帧的图像编码数据进行解码，用对上述图像编码数据进行了解码的图像数据置换所取出的图像数据，生成新的一个帧的图像数据。

这样，能够根据上述接收缓冲器中剩余的图像编码数据的量，使显示内容进行变化。即，在上述图像解码装置中判定结果是否定的情况下，以帧单位进行图像数据的置换，因此，能够实现显示内容的平稳变化，其结果，能够提供对用户来说容易看的图像。

在此，也可以上述图像解码装置具有辅助帧存储器，该辅助帧存储器用于暂时保持由上述合成图像生成单元新生成的一个帧的合成图像数据，上述合成图像生成单元将生成的多个合成图像数据交替地存储在上述帧存储器和上述辅助帧存储器中。

这样，上述合成图像生成单元通过使用保存在上述帧存储器和上述辅助帧存储器中的图像数据，能够容易地生成合成图像数据。

在此，上述合成图像生成单元也可以将保存在上述帧存储器中的图像数据，以片为单位置换为对上述图像编码数据进行了解码的图像数据。

这样，通过检测上述接收缓冲器中剩余的图像编码数据中的特殊位串(同步字)，能够简单地确定各片的范围，因此，能够减轻图像解码装置中的处理负荷。

在此，进行图像数据的置换时上述接收缓冲器中剩余的图像编码数据的一部分的数据尺寸，也可以根据上述接收缓冲器中剩余的图像编码数据的量而不同。

这样，例如在上述接收缓冲器中剩余的图像编码数据的量有富余的情况下，通过增大数据置换时的数据尺寸，实现显示内容的平稳变化，就能够提供对用户来说容易看的图像。此外，在上述接收缓冲器中剩余的图像编码数据的量没有富余的情况下，通过减小数据置换时的数据尺寸，实现显示内容的缓慢变化，就能够防止图像更新的中断。

在此，保存在上述帧存储器中的图像数据，是在由上述合成图像生成单元对上述接收缓冲器中剩余的图像编码数据的一部分进行解码的紧前面被解码了的图像数据。

这样，上述合成图像生成单元就能够生成更没有不谐调的感觉的合成图像数据。

附图说明

图1是示出本发明的实施方式1中的图像解码装置1000的功能的框图。

图2是示出本发明的实施方式1中的接收缓冲器100的详细的框图。

图3是本发明的实施方式1中的图像编码数据的1个帧的结构(解码图像影像)图。

图4是示出本发明的实施方式1中的接收缓冲器存储量判定部200的详细结构的框图。

图5是示出本发明的实施方式1中的解码视频包控制部300的详细结构的框图。

图6是示出本发明的实施方式1中的视频包检测部311中的检索结果的图。

图7是示出本发明的实施方式1中的存储在重要度表存储部312中的重要度表700的图。

图8是示出本发明的实施方式1中的解码部500的详细结构的框图。

图9是示出本发明的实施方式1中的解码定时信号与解码图像的关系的图。

图10是示出本发明的实施方式1中的图像解码装置1000的动作的流程图。

图11是示出接收缓冲器存储量判定处理的流程图。

图12是示出解码对象编码数据决定处理和解码处理的流程图。

图13是示出解码对象编码数据决定处理和解码处理的流程图。

图14是本发明的实施方式2中的图像解码系统的框图。

图15是本发明的实施方式3的处理装置的框图。

图16(a)是示出变形例1中的视频包检测部311中的检索结果的图。图16(b)是示出变形例1中的存储在重要度表存储部中的重要度表1301的图。

图17(a)是示出变形例2中的视频包检测部311中的检索结果的图。图17(b)是示出变形例2中的存储在重要度表存储部中的重要度表1401的图。

附图标记的说明

1000  图像解码装置

100、2201  接收缓冲器

200  接收缓冲器存储量判定部

300  解码视频包控制部

310  视频包重要度判定部

320  解码视频包判定部

400  接收缓冲器控制部

500  解码部

510  解码对象编码数据存储部

520  解码核心部

530  解码图像存储部

101、511、2200  存储器

102  读出指针A

103  读出指针B

104、201  剩余尺寸

105、513  写入指针

106  加法器

107  转换器

202  阈值存储部

203  判定核心部

311  视频包检测部

312  重要度表存储部

313  视频包重要度计算部

600、1300、1400  每个视频包的检索结果

700、2204、1301、1401  重要度表

512  读出指针

531、2212  存储体A

532、2213  存储体B

901  解码图像(帧N—1)

902  解码图像(仅更新帧N的视频包1)

903  解码图像(仅更新帧N的视频包0)

904  解码图像(仅更新帧N的视频包2)

1   图像解码系统

2   传输线路

10  图像编码装置

11  输入图像存储部

12  编码部

13  发送缓冲器

2000  处理装置

2100  CPU

2202  图像编码数据存储量

2203  阈值

2205  接收缓冲器图像编码数据存储状况

2206  读出指针A

2207  读出指针B

2208  写入指针

2209  图像编码数据视频包信息

2210  解码对象编码数据信息

2211  解码图像区域

具体实施方式

以下，参照附图说明本发明的实施方式。

(实施方式1)

<概要>

作为数字信号处理中的主要技术之一，例举有将已数字化的信息信号进行压缩编码的编码技术。该编码技术中存在各种各样标准，特别是在处理动画图像数据的领域中，MPEG(Moving Picture Image Coding ExpertsGroup：运动图像专家组)标准成为主流。例如，有在数字广播系统等中利用的MPEG—2方式和在便携式电话中的TV电话等中利用的MPEG—4方式。

当前，在MPEG—4方式中，其主流结构是在将图像数据进行压缩编码的过程中，将1个帧划分成各个视频包，按照视频包单位发送数据。其目的在于，在发送数据的过程中数据发生变化或缺失时，将其影响抑制在局部范围内。

本发明的图像解码装置利用该结构，在引起了接收缓冲下溢时，或者在引起接收缓冲下溢的可能性高的情况下，通过按视频包单位置换对接收缓冲器中剩余的图像编码数据进行了解码的图像数据和保存在帧存储器中的一个帧的图像数据，来生成新的一个帧的合成图像数据。反复生成合成图像数据，使得置换后的图像数据的占有比例大于紧前面生成的合成图像数据中的被置换的图像数据的占有比例，按照生成顺序输出所生成的合成图像数据。

这样，即使不更新图像数据的全体，也通过更新图像数据的一部分，在画面中出现某些变化。

用户通过看部分更新后的画面，就能够认识到通信未中断而是出现拥堵，并且能够判断为至少装置没有发生故障。其结果，能够消除用户对装置发生故障和通信中断等的不安。

<结构>

图1是示出本发明的实施方式1中的图像解码装置1000的功能结构的一例的框图。如图1所示，图像解码装置1000的结构包括接收缓冲器100、接收缓冲器存储量判定部200、解码视频包控制部300、接收缓冲器控制部400和解码部500。

接收缓冲器100接收从外部依次输入的被编码的图像数据(以下称作“图像编码数据”)进行存储，并且管理图像编码数据的存储量(以下称作“图像编码数据存储量”)。关于详细功能，在<接收缓冲器100>中进行说明。

在此，图像编码数据按照第1处理单位进行编码，由多个第2处理单位构成。第2处理单位由至少1个第1处理单位构成。在本实施方式中，图像编码数据是用MPEG—4(ISO/IEC14496—2)方式进行了编码的编码数据，将第1处理单位构成为宏块，将第2处理单位构成为视频包。在此，关于图像编码数据是用MPEG—4方式进行了编码的数据进行说明，但没必要特殊限定于此，也可以是使用图像压缩技术进行编码的数据。

再有，关于MPEG—4(ISO/IEC14496—2)方式及其中定义的宏块、视频包和解码处理内容，都是公知的技术，由于不是本发明的论点，故省略它们的详细说明。

接收缓冲器存储量判定部200取得在接收缓冲器100管理的图像编码数据存储量，使用取得的图像编码数据存储量和预先存储在内部的阈值，判定接收缓冲器100的图像编码数据存储状况。将判定的图像编码数据存储状况输出到解码视频包控制部300中。关于详细的功能，在<接收缓冲器存储量判定部200>中进行说明。

解码视频包控制部300一接收从外部输入的示出解码处理(或者解码图像的显示处理)频率间隔的解码定时信号，就基于从接收缓冲器存储量判定部200取得的图像编码数据存储状况和构成存储在接收缓冲器100中的图像编码数据的各视频包的重要度，选择存储在接收缓冲器100中的图像编码数据中的、成为解码对象的解码对象编码数据。对接收缓冲器控制部400进行指示，以使其读出所选择的解码对象编码数据。

接收缓冲器控制部400从解码视频包控制部300一收到指示，就从接收缓冲器100读出已由解码视频包控制部300选择了的解码对象编码数据，然后向解码部500传送。

解码部500通过对从接收缓冲器控制部400输入的解码对象编码数据进行解码处理，并且用前一个解码图像代替在解码处理中未生成的区域，来生成合成图像(局部更新的解码图像)并输出。

以下，关于各功能块进一步详细地说明。

<接收缓冲器100>

图2是示出接收缓冲器100的详细结构的框图。在与图1相同的结构要素中标记相同的附图标记并省略其说明。如图2所示，接收缓冲器100的结构包括存储器101、读出指针A102、读出指针B103、剩余尺寸104、写入指针105、加法器106和转换器107。

输入的图像编码数据被存储到存储器101上的写入指针105示出的地址区域。在此，设写入指针105示出的地址值的初始值为0x0000，每向存储器101存储1个字节的图像编码数据，该地址值就增加1。在存储器101中存储有图像编码数据期间，转换器107向1侧连接，每存储1个字节的图像编码数据，就由加法器106将剩余尺寸104增加1。在此，假设在存储器101上的地址0x0000～0x04FF中已存储完图像编码数据的状态下，由写入指针105示出的地址值就成为0x0500。

在此，图3中示出图像编码数据的1个帧的结构例(解码图像影像(image))。图像编码数据中的1个帧(帧N，N是自然数，表示帧号码)由99个宏块(MB0～MB98、水平方向上11个宏块，垂直方向上9个宏块)构成，图像尺寸是QCIF(Quarter Common Intermediate Format：四分之一通用中介格式)(水平176像素、垂直144像素)。

此外，图3中示出的帧N成为由视频包0(MB0～MB32)、视频包1(MB33～MB65)和视频包2(MB66～MB98)3个视频包构成的结构。

假设在图2中示出的接收缓冲器100的存储器101中，存储着图3所示的1个帧(帧N)的图像编码数据，该图像编码数据包括视频包0(地址0x0100～0x01FF)、视频包1(地址0x0200～0x02FF)和视频包2(地址0x0300～0x03FF)。

接收缓冲器100一接收从解码视频包控制部300输入的解码视频包控制用图像编码数据读出请求(以下称作“编码数据读出请求”)，就从存储器101读出读出指针A102示出的地址的图像编码数据，将读出的图像编码数据作为解码视频包控制用图像编码数据(以下称作“控制用数据”)，向解码视频包控制部300发送。在此，设读出指针A102示出的地址值的初始值为0x0000，每从存储器101读出1个字节的图像编码数据，该地址值就增加1。然后，根据编码数据读出请求从存储器101读出图像编码数据，直到读出指针A102示出的地址值变为写入指针105示出的地址值。在此，假设读出指针A102指向0x0100，写入指针105指向0x0500，作为控制用数据而向解码视频包控制部300发送的图像编码数据，是存储在存储器101的地址0x0100～0x04FF中的数据。

此外，接收缓冲器100一接收从接收缓冲器控制部400输入的解码对象编码数据读出请求(以下称作“对象数据读出请求”)，就把在其中指定的地址值设置到读出指针B103，从存储器101读出被同样指定的尺寸(字节单位)的、读出指针B103示出的地址的图像编码数据，将读出的图像编码数据作为解码对象编码数据，向接收缓冲器控制部400发送。在从存储器101读出图像编码数据期间，转换器107向—1侧连接，每读出1个字节的图像编码数据，就将读出指针B103增加1，同时由加法器106将剩余尺寸104减1。在此，假设在使用读出指针B103已经读完了存储在存储器101上的地址0x0000～0x00FF中的全部图像编码数据，并且写入指针105如上所述地指向0x0500时，剩余尺寸104成为0x0400。

另外，在通过输入图像编码数据而向存储器101存储图像编码数据时、和根据对象数据读出请求而从存储器101读出图像编码数据时，在已变更了剩余尺寸104的值的情况下，接收缓冲器100将变更后的剩余尺寸104的值作为接收缓冲器存储量，通知给接收缓冲器存储量判定部200。在此，如上所述，剩余尺寸104成为0x0400，通知0x0400作为接收缓冲器存储量。

<接收缓冲器存储量判定部200>

图4是示出接收缓冲器存储量判定部200的详细结构的功能框图。如图4所示，接收缓冲器存储量判定部200的结构包括剩余尺寸201、阈值存储部202和判定核心部203。

将从接收缓冲器100输入的接收缓冲器存储量向剩余尺寸201中保存。在此，如上所述，输入0x0400来作为接收缓冲器存储量211，向剩余尺寸201中保存。

阈值存储部202存储着阈值ThA和阈值ThB。在此，假设阈值ThA是0x0100，阈值ThB是0x0600。

再有，在此，在接收缓冲器图像编码数据存储状况判定中使用了预先存储的2种阈值ThA和ThB，但也可以使用更多的阈值，或者使用动态变更的阈值。

判定核心部203读出剩余尺寸201和存储在阈值存储部202中的阈值ThA、阈值ThB，根据它们判定接收缓冲器图像编码数据存储状况(以下称作“编码数据存储状况”)，向解码视频包控制部300通知判定结果。有关编码数据存储状况的判定的详细内容，用图11进行说明。

<解码视频包控制部300>

图5是示出解码视频包控制部300的详细结构的功能框图。

如图5所示，解码视频包控制部300的结构包括视频包重要度判定部310和解码视频包判定部320。

视频包重要度判定部310的结构包括视频包检测部311、重要度表存储部312和视频包重要度计算部313。

从外部一输入解码定时信号，视频包检测部311就对接收缓冲器100输出编码数据读出请求。从接收缓冲器100一接收作为对于请求的响应而输出的控制用数据，就检索作为控制用数据而输出的图像编码数据，检测构成图像编码数据的视频包。在此，如上所述，输入存储在图2中示出的存储器101的地址0x0100～0x04FF中的图像编码数据。

具体地说，视频包检测部311首先检测存储在存储器101的地址0x0100～0x0103中的数据“0x000001B6”，作为示出帧N的开头的同步字(sync word)，将它前面的数据作为帧N的开头的视频包0。并存储0x0100来作为帧N的视频包0的开头地址，存储0x00作为宏块号码，开始计数帧N的视频包0的数据尺寸。

依次继续进行存储器101的地址0x0104以后的数据检索。然后，从保存在存储器101的地址0x0200～0x0202中的数据“0x0000A1”的最高位开始检测17位，作为示出视频包开头的同步字(0x000080)，再进一步检测剩余的位，作为该视频包开头的宏块号码(0x000021)，将它前面的数据作为帧N的第2个视频包1。即，帧N的视频包0的尺寸为0x100，结尾宏块号码为0x20，在存储它们的同时存储0x0200，作为帧N的视频包1的开头地址，存储0x21作为开头宏块号码，重新开始计数帧N的视频包1的数据尺寸。

依次继续进行存储器101的地址0x0203以后的数据检索。然后，从存储在存储器101的地址0x0300～0x0302中的数据“0x0000C2”的最高位开始检测17位，作为示出视频包开头的同步字(0x000080)，再进一步检测剩余的位，作为该视频包的开头宏块号码(0x000042)，将它前面的数据作为帧N的第3个视频包2。即，帧N的视频包1的尺寸为0x100，结尾宏块号码为0x41，在存储它们的同时存储0x0300，作为帧N的视频包2的开头地址，存储0x42作为宏块号码，重新开始计数帧N的视频包2的数据尺寸。

依次继续进行存储器101的地址0x0303以后的数据检索。然后，检测存储在存储器101的地址0x0400～0x0403中的数据“0x000001B6”，作为示出帧N+1的开头的同步字，将它前面的数据作为帧N+1的开头的视频包0。即，帧N的视频包2的尺寸为0x100，结尾宏块号码为0x62，在存储它们的同时存储0x0400，作为帧N+1的视频包0的开头地址，存储0x00作为宏块号码，重新开始计数帧N+1的视频包0的数据尺寸。

依次继续进行存储器101的地址0x0404以后的数据检索，在如上所述地读出指针A102示出的地址值成为写入指针105示出的地址值(0x0500)的时刻，结束作为控制用数据而输入的图像编码的数据检索。

图6示出视频包检测部311中的检索结果。如图6所示，每个视频包得到一个开头宏块(MB)号码、结尾宏块(MB)号码、开头地址及尺寸信息。再有，用十进制数表示了本图中的开头和结尾的宏块号码。

视频包检测部311将检索结果发送给视频包重要度计算部313。

重要度表存储部312存储着如图7所示的重要度表。如图7所示，在重要度表700中，在图像编码数据的1个帧的解码图像影像(各宏块位置与图3相同)中，对宏块单位分配重要度(高：5～低1)，并且越靠近图像中央越给予高的重要度。

视频包重要度计算部313根据从视频包检测部311输入的每个视频包的检索结果和存储在重要度表存储部312中的重要度表700，计算每个视频包的重要度。

具体地说，如下所述地计算重要度。首先，在帧N的视频包0中，由于开头宏块(MB)号码是0，结尾宏块(MB)号码是32，因此，计算和它们相当的重要度表700的位置(MB0～MB32)的重要度的总和为1×11+2×11+2+3十4×7+3+2＝71。从而，帧N的视频包0的重要度是71。

此外，在帧N的视频包1中，由于开头宏块(MB)号码是33，结尾宏块(MB)号码是65，因此，计算和它们相当的重要度表700的位置(MB33～MB65)的重要度的总和为(2+3+4+5×5+4+3+2)×3＝129。从而，帧N的视频包1的重要度是129。

此外，在帧N的视频包2中，由于开头宏块(MB)号码是66，结尾宏块(MB)号码是98，因此，计算和它们相当的重要度表700的位置(MB66～MB98)的重要度的总和为1×11+2×11+2+3+4×7+3+2＝71。从而，帧N的视频包2的重要度是71。

根据以上所述，帧N的视频包1的重要度(129)最高，帧N的视频包0和视频包2的重要度(71)低。在此，根据重要度对帧N内的各视频包进行排位。首先，由于帧N的视频包1重要度最高，因此分配位次(1)。由于帧N内的其他2个视频0、2的重要度是相等值，因此在此将视频包内的开头宏块(MB)号码小的作为高位次。这样，就对帧N的视频包0分配位次(2)，对帧N的视频包2分配位次(3)。

视频包重要度计算部313向解码视频包判定部320通知上述决定的每个视频包的位次(1～3)。

解码视频包判定部320根据从视频包重要度计算部313通知的每个视频包的位次(1～3)和从接收缓冲器存储量判定部200通知的编码数据存储状况，决定解码对象编码数据。在此，由于编码数据存储状况是2，因此可以以视频包单位进行解码，作为解码对象编码数据信息，向接收缓冲器控制部400通知有关最高位次的帧N的视频包1的信息。作为解码对象编码数据信息而向接收缓冲器控制部400通知的是帧N的视频包1在存储器101上的开头地址(0x0200)和尺寸(0x0100)。

在能够以视频包单位进行解码的情况下，解码视频包控制部300经过接收缓冲器控制部400进行控制，使其反复进行利用解码部500的图像生成，并使得其占有比例比紧前面的图像数据中的图像编码数据的占有比例大。即，接着有关帧N的视频包1的信息，向接收缓冲器控制部400通知有关帧N的视频包0的信息和有关帧N的视频包2的信息。

再有，在根据每个视频包的位次(1～3)和编码数据存储状况来决定解码对象编码数据时，若有过去已经向接收缓冲器控制部400通知完的视频包，就将其从判定对象中删除，将低位位次的各视频包的位次提高1个等级。例如，使位次2成为位次1，使位次3成为位次2。

接着，关于编码数据存储状况与解码对象编码数据信息的关系进行说明。在本实施方式中，由于编码数据存储状况是2，即、判断为存储有1个视频包以上的编码数据量，因此，解码对象的数据量就称作视频包单位。假如编码数据存储状况是3，则判断为至少存储有2个帧以上的编码数据量，因此，解码对象的数据量成为1个帧。此外，若编码数据存储状况是1，则仅存储着少于1个视频包的编码数据，因此不进行解码处理。

<接收缓冲器控制部400>

接收缓冲器控制部400根据从解码视频包控制部300通知的解码对象编码数据信息(帧N的视频包1的存储器101上的开头地址(0x0200)和尺寸(0x0100))，从接收缓冲器100内的存储器101读出图像编码数据，将读出的图像编码数据作为解码对象编码数据，向解码部500发送。

<解码部500>

图8是示出解码部500的详细结构的框图。

如图8所示，解码部500的结构包括解码对象编码数据存储部510、解码核心部520以及包含存储体A531和存储体B532的解码图像存储部530。

解码对象编码数据存储部510的结构包括存储器511、读出指针512和写入指针513。

在解码部500中，将从接收缓冲器控制部400输入的解码对象编码数据存储在存储器511上的写入指针513示出的地址区域中。在此，设写入指针513示出的地址值的初始值为0x1000，每向存储器511存储1个字节的解码对象编码数据，该地址值就增加1。在此，从接收缓冲器控制部400输入的解码对象编码数据的尺寸如上所述是0x0100，在存储器511中存储了解码对象编码数据后的写入指针513所指的地址值是0x1100。

接着，从存储器511读出读出指针512示出的地址的解码对象编码数据210，发送给解码核心部805。在此，设读出指针512示出的地址值的初始值为0x1000，在从存储器511读出解码对象编码数据的期间，每读出1个字节，读出指针512就增加1。然后，从存储器511读出解码对象编码数据，直到读出指针512所指的地址值成为写入指针513所指的地址值。

解码核心部520在对从解码对象编码数据存储部510输入的解码对象编码数据进行解码处理的同时，通过用前一个解码图像代替在上述解码处理中未生成的区域，来生成合成图像(部分更新后的解码图像)。更具体地说，取出存储在解码图像存储部530(在此是存储体B)中的前一个解码图像，通过用解码后的解码对象编码数据(在此是帧N的视频包1)置换所取出的解码图像的一部分(在此是帧N—1的视频包1)，生成合成图像、即，已用帧N的视频包1仅更新了帧N—1的视频包1的局部的解码图像。将生成的图像向解码图像存储部530输出。

在解码图像存储部530中，作为存储解码图像的区域，有存储体A531和存储体B532两个区域，在输出解码图像时，一边存储体A531→存储体B532→存储体A531→··这样地交替转换一边输出。在此，假设在存储体B532中存储着前一个解码图像(帧N—1的视频包0、1、2)，向存储体A531输出在本次解码处理中输出的解码图像。

根据上述结构，即使输入的解码对象编码数据只是帧N的视频包1(MB33～MB65、用粗框包围的部分)，关于它以外的区域(MB0～MB32、MB66～MB98)，通过用存储在存储体B532中的前一个解码图像(帧N—1的视频包0、2)进行代替，也能够容易地得到解码图像。

以后，按照从外部输入图像编码数据和解码定时信号的定时，反复进行同样的处理。

简单地说明以后的处理，从接收缓冲器控制部400一输入解码对象编码数据(帧N的视频包0)，解码部500就解码该数据，取出存储在存储体A中的解码图像，通过用解码后的解码对象编码数据(帧N的视频包0)置换所取出的解码图像的一部分(帧N—1的视频包0)，生成合成图像、即，仅更新了帧N的视频包0的解码图像，存储在存储体B中。

另外，从接收缓冲器控制部400一输入解码对象编码数据(帧N的视频包2)，解码部500就解码该数据，取出存储在存储体B中的解码图像，通过用解码后的解码对象编码数据(帧N的视频包2)置换所取出的解码图像的一部分(帧N—1的视频包2)，生成合成图像、即，仅更新了帧N的视频包2的解码图像，存储在存储体A中。

这样就能够生成解码对象编码数据的占有比例逐渐变大的合成图像。

图9是示出从外部输入的解码定时信号与所输出的解码图像的关系例的图。如图9所示，在图像解码装置1000对于在时刻T—1输入的解码定时信号的一系列处理中，输出解码图像901(帧N—1，更新了图像全体)。

在对于在下一时刻T输入的解码定时信号的一系列处理中，输出解码图像902(代替数据N，仅更新了帧N的视频包1的部分(图像中央部))。

在对于在下一时刻T+1输入的解码定时信号的一系列处理中，输出解码图像903(代替数据N+1，进一步更新了帧N的视频包0的部分(图像上部))。

在对于在下一时刻T+2输入的解码定时信号的一系列处理中，输出解码图像904(代替数据N+2，进一步更新了帧N的视频包2的部分(图像下部))。此时，对于帧N—1更新了图像全体。

<图像解码装置1000的工作>

图10是示出本发明的实施方式1中的图像解码装置1000的动作的处理流程图。

如图10所示，图像解码装置1000首先将从外部依次输入的图像编码数据存储在接收缓冲器中，管理图像编码数据存储量(以下称作“图像编码数据存储步骤”)(步骤S101)。接着，使用图像编码数据存储量和预先存储的阈值，判定接收缓冲器的图像编码数据存储状况(以下称作“接收缓冲器存储量判定步骤”)(步骤S102)。用图11说明接收缓冲器存储量判定处理的详细内容。接着，一接收从外部输入的解码定时信号，就根据图像编码数据存储状况和构成存储在接收缓冲器中的图像编码数据的各视频包的重要度，决定存储在接收缓冲器中的图像编码数据中的、成为解码对象的解码对象编码数据(以下称作“解码视频包控制步骤”)(步骤S103)。一决定解码对象编码数据，就对解码对象编码数据进行解码处理，输出解码图像(以下称作“解码步骤”)(步骤S104)。用图12说明解码对象编码数据决定处理和解码处理的详细内容。

<接收缓冲器存储量判定处理>

图11中示出判定核心部203中的接收缓冲器图像编码数据存储状况判定处理流程图。

如图11所示，判定核心部203比较剩余尺寸201和阈值ThA(步骤S201)。在比较结果阈值ThA大于剩余尺寸201的情况下(步骤S201中：是)，设置1作为接收缓冲器图像编码数据存储状况(步骤S202)。

在比较结果剩余尺寸201在阈值ThA以上的情况下(步骤S201中：否)，则比较剩余尺寸201和阈值ThB。在比较结果阈值ThB大于剩余尺寸201的情况下(步骤S203中：是)，设置2作为接收缓冲器图像编码数据存储状况(步骤S204)。

在比较结果剩余尺寸201在阈值ThB以上的情况下(步骤S203中：否)，设置3作为接收缓冲器图像编码数据存储状况。

在此，如上所述假设剩余尺寸201为0x0400，ThA为0x0100，ThB为0x0600，因此，设置2作为接收缓冲器图像编码数据存储状况。

<解码对象编码数据决定处理和解码处理>

图12和图13中示出有关解码对象编码数据决定处理和解码处理的流程图。

一接收解码定时信号(步骤S301中：是)，视频包检测部311就检索存储在接收缓冲器100中的图像编码数据，检测构成该图像编码数据的视频包(步骤S302)。由视频包检测部311一检测出视频包，视频包重要度计算部313就基于检索结果，计算各视频包的重要度，根据重要度进行排位(步骤S303)。

解码视频包判定部320在取得了图像编码数据存储状况之后(步骤S304)，基于检索结果，判定除了在紧前面的解码处理中解码了视频包以外是否有构成与该视频包相同帧的视频包(步骤S305)。在判定结果是否定的情况下(步骤S305中：否)，进行与在步骤S304中取得的图像编码数据存储状况相应的控制。

在取得的存储状况是1的情况下，解码部500输出存储在解码图像存储部530中的紧前面的帧图像(步骤S306)。

在取得的存储状况是2的情况下，解码视频包判定部320基于检索结果和各视频包的重要度，决定成为解码对象编码数据的视频包。更具体地说，决定检索结果之中帧号码最新的视频包中的、位次最高的视频包(步骤S307)。由接收缓冲器控制部400一输入被决定的视频包，解码部500就对该视频包进行解码(步骤S308)。另外，通过用过去的解码图像代替在解码处理中未生成的区域来制作帧图像。更具体地说，取出前一个解码图像，通过用已在步骤S308中解码的视频包置换该图像的一部分来生成合成图像(步骤S309)。在生成了合成图像之后，由解码核心部520将帧图像存储在解码图像存储部530中之后(步骤S310)，进行输出(步骤S311)。

在取得的存储状况是3的情况下，解码视频包判定部320根据检索结果，决定成为解码对象编码数据的帧。更具体地说，把检索结果之中帧号码最新的帧决定为解码对象编码数据(步骤S312)。由接收缓冲器控制部400一输入被决定的帧，解码部500就解码该帧(步骤S313)。在由解码核心部520将帧图像存储在解码图像存储部530中之后(步骤S310)，进行输出(步骤S311)。

在步骤S305中的判定结果是肯定的情况下(步骤S305中：是)，决定构成该帧的视频包中的、已经删除了已解码的视频包的位次最高的视频包(步骤S314)。在步骤S308中，对被决定的视频包进行解码。这样，通过从位次高的视频包开始依次进行解码，生成置换后的图像数据比例逐渐变大的帧图像，由此能够在图像之中从对用户来说认为重要的部分开始先进行更新。

此外，在存储状况是3的情况下，以帧单位进行图像数据的置换，因此，能够实现显示内容的平稳变化，能够提供对用户来说容易看的图像。

如上所述，根据本实施方式，即使在产生了接收缓冲下溢的状况下，通过在多个解码处理(或者解码图像的显示处理)间隔中，以视频包单位进行图像更新，就能够防止显示图像的更新在一定期间中停止，或者能够缩短更新停止的期间。从而，能够消除用户对装置发生故障和通信中断等的不安。另外，通过以视频包单位进行图像更新，能够抽出向接收缓冲器中接收图像编码数据的时间，能够降低发生接收缓冲下溢的概率。

(实施方式2)

本实施方式是有关由实施方式1中的图像解码装置和图像编码装置构成的图像解码系统的实施方式。

如图10所示，图像解码系统1包括：实施方式1的图像解码装置1000、具有输入图像存储部11和编码部12及发送缓冲器13的图像编码装置10、传输线路2。

在图像编码装置10中，将从外部输入的图像数据向输入图像存储部11存储。

编码部12读出存储在输入图像存储部11中的图像数据，进行编码处理，向发送缓冲器13输出编码结果即图像编码数据。在此，从编码部12输出的图像编码数据已按第1处理单位进行了编码，由多个第2处理单位构成。第2处理单位由至少1个第1处理单位构成。

在本实施方式中，假设图像编码数据是用MPEG—4(ISO/IEC14496—2)方式编码后的编码数据，假设第1处理单位构成为宏块，第2处理单位构成为视频包，作为结构例，也可以是在实施方式1中使用图3说明的例子。在此，与实施方式1同样，以图像编码数据是利用MPEG—4方式进行了编码的数据为例进行说明，但没有必要特别限定于此，也可以是使用图像压缩技术进行了编码的数据。

将存储到发送缓冲器13中的图像编码数据，以规定速率经过传输线路2向图像解码装置1000发送。

图像解码装置1000对经过传输线路2输入的图像编码数据进行解码处理，但关于该实施方式，与实施方式1中说明的内容相同，故在此省略说明。

如上所述，根据本实施方式，即使在产生了接收缓冲下溢的状况下，通过在多个解码处理(或者解码图像的显示处理)间隔中，以视频包单位进行图像更新，能够防止显示图像的更新停止一定期间，或者能够缩短更新停止的期间。从而，能够消除用户对装置发生故障和通信中断等的不安。

(实施方式3)

本实施方式是用软件实现实施方式1中的图像解码装置时的实施方式。

图15是示出实现包含有实施方式1的图10的流程图所示的步骤的图像解码方法的处理装置的框图。

如图15所示，处理装置2000具有CPU2100和存储器2200，作为程序来执行，该程序在CPU上执行图像解码方法的各步骤(101～104)的处理；在存储器2200上，配置有用于对在图像解码方法的各步骤(101～104)中进行输入、保持、参照及输出的各种数据进行保存的区域(接收缓冲器2201、图像编码数据存储量2202、阈值2203、重要度表2204、接收缓冲器图像编码数据存储状况2205、读出指针A2206、读出指针B2207、写入指针2208、图像编码数据视频包信息2209、解码对象编码数据信息2210、解码图像区域2211(包括存储体A2212和存储体B2213)。

以下，关于图像编码方法中的各步骤(101～104)详细地进行说明。

首先，在图像编码数据存储步骤中，从外部有图像编码数据的输入的情况下，将图像编码数据存储到接收缓冲器2201上的写入指针2208所指的地址区域。

在此，设写入指针2208所指的地址值的初始值为0x0000，每向接收缓冲器2201存储1个字节的图像编码数据，该地址值就增加1。在使用写入指针2208将图像编码数据存储到接收缓冲器2201中的期间，每存储1个字节，就将图像编码数据存储量2202增加1。在此，图像编码数据与实施方式1中示出的向图2的存储器101存储图像编码数据的状态同样地，假设已在接收缓冲器2201上的地址0x0000～0x04FF中存储完的状态下，写入指针2208所指的地址值成为0x0500。

此外，假设图像编码数据是实施方式1中的图3所示的结构(由QCIF、3个视频包(视频包0(MB0～MB32)、视频包1(MB33～MB65)、视频包2(MB66～MB98)构成)。

假设在接收缓冲器2201中保存有图像编码数据的1个帧(帧N)，包括视频包0(地址0x0100～0x01FF)、视频包1(地址0x0200～0x02FF)、视频包2(地址0x0200～0x03FF)。

接着，在接收缓冲器存储量判定步骤中，读出在图像编码数据存储步骤和解码步骤中更新了的图像编码数据存储量2202和存储在阈值2203中的阈值ThA、ThB，根据它们，判定接收缓冲器图像编码数据存储状况2205。在此，与实施方式1同样地，假设阈值ThA为0x0100，阈值ThB为0x0600，接收缓冲器图像编码数据存储状况的判定流程也与实施方式1同样。从而，设置2作为接收缓冲器图像编码数据存储状况。

接着，在解码视频包控制步骤中，在从外部输入了示出解码处理(或者解码图像的显示处理)速率的间隔的解码定时信号时，进行以下的处理。

首先，从接收缓冲器2201读出由读出指针A2206所示的地址的图像编码数据。在此，设读出指针A2206所指的地址值的初始值为0x0000，在从接收缓冲器2201读出图像编码数据期间，每读出1个字节就将读出指针A2206增加1。然后，从接收缓冲器2201读出图像编码数据，直到读出指针A2206所指的地址值成为写入指针2208所指的地址值。在此，假设读出指针A2206指向0x0100，写入指针2208指向0x0500，读出的图像编码数据成为存储在存储器101的地址0x0100～0x04FF中的数据。

接着，检索读出的图像编码数据，检测构成图像编码数据的视频包。存储在接收缓冲器2201中的图像编码数据和构成图像编码数据的视频包的检测方法与实施方式1所示的相同，检索结果即图像编码数据视频包信息2209成为图6中示出的内容。

此外，假设重要度表2204与实施方式1中的图7所示的重要度表相同。

接着，根据图像编码数据视频包信息2209和重要度表2204，决定每个视频包的重要度(位次1～3)。在此，每个视频包的重要度决定方法与实施方式1中示出的内容相同，分别对帧N的视频包1分配位次(1)，对帧N的视频包0分配位次(2)，对帧N的视频包2分配位次(3)。

根据每个视频包的重要度(位次1～3)和接收缓冲器图像编码数据存储状况2205，决定解码对象编码数据信息2210。即，根据接收缓冲器图像编码数据存储状况2205来判断所存储着的视频包，仅将存储着的视频包中位次最高的视频包(帧N的视频包1)作为解码对象编码数据信息2210。

在此，作为解码对象编码数据信息2210，成为帧N的视频包1的接收缓冲器2201上的开头地址(0x0200)和尺寸(0x0100)。这时，在根据每个视频包的位次(1～3)和接收缓冲器图像编码数据存储状况2205来决定解码对象编码数据的情况下，若有过去已经作为解码对象编码数据信息2210的视频包，就将其从判断对象中删除，并且将低位位次的各视频包的位次提高1个等级。

接着，在解码步骤1104中，在从外部输入了示出解码处理(或者解码图像的显示处理)速率的间隔的解码定时信号时，进行以下处理。

根据在解码视频包控制步骤1103中决定的解码对象编码数据信息2210(帧N的视频包1的接收缓冲器2201上的开头地址(0x0200)和尺寸(0x0100))，使用读出指针B2207，从接收缓冲器2201读出图像编码数据来进行解码处理。读出指针B2207所指的地址值在图像编码数据读出开始时被设置为0x0200，在从接收缓冲器2201读出图像编码数据期间，每读出1个字节就增加1。此外，每从接收缓冲器2201读出1个字节，图像编码数据存储量2202就减1。

再有，反复从接收缓冲器2201读出图像编码数据，直到成为解码对象编码数据信息2210所示的尺寸(0x0100)。

关于在解码处理中未生成的区域，通过用前一个解码图像予以代替，生成合成图像(部分更新后的解码图像)。具体地如实施方式1中所说明。

在向解码图像区域2211保存了所生成的解码图像(仅更新帧N的视频包1)之后，将其作为解码图像进行输出。此外，作为保存解码图像的区域，在解码图像区域2211中有存储体A2212和存储体B2213两个区域，在保存解码图像时，一边从存储体A2212→存储体B2213→存储体A2212→...这样地交替转换一边进行保存。在此，假设在存储体B2213中保存有前一个解码图像(帧N—1的视频包0、1、2)，将本次解码处理中输出的解码图像输出到存储体A2212。

根据上述结构，即使输入的解码对象编码数据仅是帧N的视频包1(MB33～MB65、用粗框包围的部分)，关于它以外的区域(MB0～MB32、MB66～MB98)，通过用保存在存储体B2213中的前一个解码图像(帧N—1的视频包0、2)予以代替，就能够容易得到解码图像。

以后，通过按照从外部输入图像编码数据和解码定时信号的定时反复进行同样的处理，与实施方式1同样地得到图9所示的结果。即，能够生成解码对象编码数据的占有比例逐渐变大的合成图像。

如上所述，根据本实施方式，即使在产生了接收缓冲下溢的状况下，通过在多个解码处理(或者解码图像的显示处理)间隔中，以视频包单位进行图像更新，就能够防止显示图像的更新在一定期间中停止，或者能够缩短更新停止的期间。从而，能够消除用户对装置发生故障和通信中断等的不安。

(变形例1)

在上述实施方式中，作为重要度表，使用了越靠近图像中央的位置给予越高的重要度的表，但即使是使用了使用其他(例如，编码量、图像的运动、宏块的种类、量化参数、数据的接收顺序等)要素设定的表，或者进一步动态地变更表的结构，也能得到同样的效果。

作为重要度表的一例，示出了使用图像的运动(在解码处理中得到的运动矢量)越大给予越高重要度的表时的方式。

该情况下，视频包检测部311检索作为控制用数据而输入的图像编码数据，在检测构成图像编码数据的视频包时，加之图6所示的有关各视频包的视频包开头地址、开头和结尾的宏块号码及视频包数据尺寸，还检测包含在各视频包中的宏块的运动矢量(水平方向、垂直方向)并进行存储。

这时，假设在检测到的宏块是不具有运动矢量的宏块种类的情况下，将有关该宏块的运动矢量(水平方向、垂直方向)看作是(0，0)。

图16(a)中示出视频包检测部311中的检索结果，图16(b)中示出存储在重要度表存储部312a中的重要度表。

如图16(a)所示，每个视频包得到开头和结尾的宏块(MB)号码、开头地址、尺寸、以及包含在视频包中的宏块的运动矢量(水平方向、垂直方向)的信息。

此外，如图16(b)所示，重要度表1301根据运动矢量的大小分配重要度(高：5～低：0)，并且，运动矢量的绝对值越大，给予越高的重要度。

视频包重要度计算部313根据视频包检测部311中的每个视频包的检索结果1300和存储在重要度表存储部312a中的重要度表1301，计算每个视频包的重要度。

具体地说，如下所述地计算重要度。首先，在帧N的视频包0中，因为开头宏块(MB)号码是0，结尾宏块(MB)号码是32，包含在帧N的视频包0中的宏块0～32的运动矢量(水平方向、垂直方向)中，宏块0～21是(0，0)，宏块22～32是(1，—4)，因此，基于重要度表1301计算运动矢量(各水平方向和垂直方向)的重要度的总和成为0×22+0×22+1×11+2×11＝33。从而，帧N的视频包0的重要度是33。

此外，在帧N的视频包1中，开头宏块(MB)号码是33，结尾宏块(MB)号码是65，包含在帧N的视频包1中的宏块33～65的运动矢量(水平方向、垂直方向)中，宏块33～54是(—1，2)，宏块55～65是(0，0)，因此，基于重要度表1301计算运动矢量(各水平方向和垂直方向)的重要度的总和成为1×22+1×22+0×11+0×11＝44。从而，帧N的视频包1的重要度是44。

此外，在帧N的视频包2中，开头宏块(MB)号码是66，结尾宏块(MB)号码是98，包含在帧N的视频包2中的宏块66～98的运动矢量(水平方向、垂直方向)中，宏块66～76是(16，—20)，宏块77～98是(0，0)，因此，基于重要度表1301计算运动矢量(各水平方向和垂直方向)的重要度的总和，则成为4×11+5×11+0×22+0×22＝99。从而，帧N的视频包2的重要度是99。

根据以上所述，帧N的视频包2的重要度最高(99)，接着是帧N的视频包1(44)，然后帧N的视频包0的重要度最低(33)。在此，根据重要度对帧N的各视频包进行排位。首先，由于帧N的视频包2重要度最高，因此，分配位次(1)。接着，对帧N的视频包1分配位次(2)，对帧N的视频包0分配位次(3)。

视频包重要度计算部313向解码视频包判定部320通知上述决定的每个视频包的位次(1～3)。

关于以后的处理，与上述实施方式相同，故省略说明。

(变形例2)

在上述变形例1中，使用基于运动矢量的重要度表来计算重要度，但在帧中的图像类型是I图像的情况下，不能得到运动矢量。从而，在帧中的图像类型是I图像时，不能使用基于运动矢量的重要度表来计算重要度，需要按照其他基准来更新帧，例如，从帧的上部开始依次进行更新等。

因此，在本变形例中，通过转换使用2个重要度表，即使在帧中的图像是I图像的情况下，也能够基于重要度表计算重要度，从对用户来说认为重要的部分开始进行更新。2个重要度表中的一个是上述图16(b)所示的图像的运动(在解码处理中得到的运动矢量)越大给予越高重要度的表，另一个是包含在各视频包中的每宏块的平均编码量越大给予越高重要度的表。

该情况下，视频包检测部311检索作为控制用数据而输入的图像编码数据，在检测构成图像编码数据的视频包时，加之上述示出的有关各视频包的视频包开头地址、开头和结尾的宏块号码、视频包数据尺寸及包含在各视频包中的宏块的运动矢量(水平方向、垂直方向)，还检测该帧的图像类型(I图像(画面内编码图像)/其他图像(画面间编码图像))并进行存储。

图17(a)中示出视频包检测部311中的检索结果，图17(b)中示出存储在重要度表存储部312b中的有关平均代码量的重要度表。

如图17(a)所示，每个视频包得到开头和结尾的宏块(MB)号码、开头地址、尺寸、包含在视频包中的宏块的运动矢量(水平方向、垂直方向)及帧的图像类型的信息。

此外，如图17(b)所示，重要度表1401根据每宏块的平均代码量的大小来分配重要度(高：5～低：0)，并且，平均代码量越大，给予越高的重要度。

视频包重要度计算部313根据视频包检测部311中的每个视频包的检索结果1400和存储在重要度表存储部312a、b中的重要度表1301和1401，计算每个视频包的重要度。

首先，视频包重要度计算部313根据检索结果1400，判定当前的帧是I图像还是其他图像。

在是I图像以外的图像时，进行与上述变形例1中示出的处理同样的处理。

另一方面，根据检索结果1400，在当前的帧是I图像的情况下，使用重要度表1401，按照以下步骤来决定每个视频包的重要度。

具体地说，如下所述地计算重要度。首先，关于帧N的视频包0，开头宏块(MB)号码是0，结尾宏块(MB)号码是32，包含在帧N的视频包0中的宏块数量是33，尺寸是0 x 0100，因此，每宏块的平均代码量为0 x 0100÷33＝7.76。从而，帧N的视频包0的重要度为1。

此外，关于帧N的视频包1，开头宏块(MB)号码是33，结尾宏块(MB)号码是65，包含在帧N的视频包1中的宏块数量是33，尺寸是0 x 0100，因此，每宏块的平均代码量为0 x 0100÷33＝7.76。从而，帧N的视频包1的重要度为1。

此外，关于帧N的视频包2，开头宏块(MB)号码是66，结尾宏块(MB)号码是98，包含在帧N的视频包2中的宏块数量是33，尺寸是0 x 0100，因此，每宏块的平均代码量为0 x 0100÷33＝7.76。从而，帧N的视频包2的重要度为1。

根据以上所述，帧N视频包0、帧N视频包1和帧N视频包2的重要度全部相同(1)。在此，根据重要度，对帧N的各视频包进行排位，但由于帧N的3个视频包0、1、2的重要度全部是相等的值，因此，在此，将视频包内的开头宏块(MB)号码小的一方设为高位次。这样，就对帧N的视频包0分配位次(1)，对帧N的视频包1分配位次(2)，对帧N的视频包2分配位次(3)。视频包重要度计算部313向解码视频包判定部320通知上述决定的每个视频包的位次(1～3)。

关于以后的处理，与上述实施方式相同，故省略说明。

这样，即使在当前的帧是I图像的情况下，也能够基于重要度表1401计算重要度，因此，能够提高计算重要度时的精度。

(变形例3)

在上述实施方式中，在阈值存储部202中设置了2个阈值，但也可以设置3个以上。例如，设置3个阈值，假设阈值Tha为0 x 0100，阈值Thb为0 x 0200，阈值Thc为0 x 0300。假设若编码数据的存储量不足阈值Tha，就将编码数据存储状况设置为1，若在阈值Tha以上并且不足阈值Thb，就将编码数据存储状况设置为2，若在阈值Thb以上并且不足阈值Thc，就将编码数据存储状况设置为3，若在阈值Thc以上，就将编码数据存储状况设置为4。这时，在编码数据存储状况是1时，不对解码对象编码数据进行图像更新。此外，可以在编码数据存储状况是2时，将每1个视频包作为解码对象编码数据，在编码数据存储状况是3时，将每2个视频包作为解码对象编码数据，在编码数据存储状况是4时，将每个帧作为解码对象编码数据，能够根据编码数据的存储状况来更新图像。

(补充)

再有，基于上述实施方式说明了本发明，但本发明不限定于上述的实施方式。如下的情况也包含在本发明中。

(1)本发明也可以是包含上述流程图所示的步骤的方法以及包含使计算机执行上述流程图中示出的步骤的程序代码的程序，也可以是由上述计算机程序构成的数字信号。

此外，本发明也可以将上述计算机程序或上述数字信号记录在计算机可读取的记录介质中，例如软磁盘、硬盘、CD—ROM、MO、DVD、DVD—ROM、DVD—RAM、BD(Blu—ray Disc)、半导体存储器等中。此外，也可以是记录在这些记录介质中的上述计算机程序或上述数字信号。

此外，本发明也可以经过电气通信线路、无线或有线通信线路、以因特网为代表的网络及数据广播等，传输上述计算机程序或上述数字信号。

此外，本发明也可以是具有微处理器和存储器的计算机系统，上述存储器存储着上述计算机程序，上述微处理器按照上述计算机程序进行工作。

此外，也可以通过记录在上述记录介质来移送上述计算机程序或上述数字信号，或者通过经由上述网络等移送上述计算机程序或者上述数字信号，利用独立的其他计算机系统予以实施。

(2)本发明也可以实施为进行图像解码装置的控制的LSI。通过将图1中示出的各功能块集成化，就能够实现这样的LSI。可以将这些功能块个别地LSI化，也可以包含其中一部分或全部实现为系统LSI。

此外，集成化的方法不限于LSI，也可以用专用或通用处理器来实现。也可以在LSI制造后，利用可编程的FPGA(Field Programmable Gate Array：现场可编程门阵列)和可以重构LSI内部的电路单元的连接和设定的可重构处理器。另外，若出现了利用半导体技术的进步或派生的其他技术替换LSI的集成电路化技术，当然也可以使用该技术进行集成化。该种技术也有有可能应用生物技术等。

(3)在上述实施方式中，在接收2个帧以上尺寸的图像编码数据时，以帧单位进行了图像更新，但也可以在接收1个帧以上尺寸的图像编码数据时，以帧单位进行图像更新，在仅接收小于1个帧的尺寸的图像编码数据时(发生了接收缓冲下溢时)，以视频包单位进行图像更新。如上述实施方式所示，即使在接收1个帧以上尺寸的图像编码数据的情况下，即、未引起接收缓冲下溢时，通过在引起接收缓冲下溢的可能性高时以视频包单位进行图像更新，与在引起了接收缓冲下溢之后以视频包单位进行图像更新的情况相比，能够缩短显示图像的更新停止的期间。

对于引起接收缓冲下溢的可能性是否高，可以如上述实施方式所示地，根据接收缓冲器内的图像编码数据量来进行判定，也可以基于图像编码数据量的时间变化来进行判定。在根据图像编码数据量进行判定时，例如，最好在接收缓冲器中仅存储有几个帧的图像编码数据的情况下判定为可能性高。

在根据图像编码数据量的时间变化进行判定时，例如，最好在从外部发送到接收缓冲器中的图像编码数据的量小于解码时从接收缓冲器读出的图像编码数据的量的情况下，判定为可能性高。

此外，也可以只进行所接收到的视频包量(例如，在接收视频包0和1时，图像更新视频包0和1这两个)的图像更新。这样，就能够以接近于1个图像的单位来更新图像，能够提供一种不使用户更为不安的图像解码装置。

另外，也可以以用阈值划分的数据尺寸单位来进行图像更新。这时，通过用户自由地决定阈值，能够以用户要求的单位来更新图像。

(4)在上述实施方式中构成为，设第1处理单位为宏块，设第2处理单位为视频包，但即使构成为设第1处理单位为块，第2处理单位为宏块，也能得到同样的效果。在设第2处理单位为宏块的情况下，与设第2处理单位为视频包的情况相比，可以在接收缓冲器中仅存储图像编码数据的情况下，判定为可能性高。

(5)在上述实施方式中构成为，按照从外部输入解码定时信号的定时，以视频包单位进行解码处理。但即使构成为以图像(帧)单位进行解码处理，按照输入解码定时信号的定时，生成以视频包单位更新的解码图像，然后向外部输出，也能得到同样的效果。

(6)在上述实施方式中构成为，每次在图12所示的步骤S305中判定为肯定时，进行视频包单位的解码，直到解码对该帧中的全部视频包进行解码位置。但即使在步骤S305中判定为肯定的情况下，也可以在步骤S304中取得的图像编码数据存储状况是3的情况下，汇总构成该帧的剩余视频包进行解码。

(7)在上述实施方式中，为了以MPEG—4为例进行说明，使用了称作视频包的词语，但视频包是与其他编码技术中的片(slice)相同的意思。

(8)在用于解决上述问题的手段中记载的帧存储器、判定单元、合成图像生成单元和输出单元，分别对应于实施方式中的存储区A或存储区B、接收缓冲器存储量判定部、解码核心部和解码图像存储部。

(9)也可以分别组合上述实施方式和上述变形例。

工业实用性

本发明能够利用在经由因特网等传输线路实时地进行图像编码数据的交换的终端等中，特别是在可能引起接收缓冲下溢的状况下十分有用。

Claims (15)

1、一种图像解码装置，一面向接收缓冲器取入从外部接收的图像编码数据，一面从该接收缓冲器读出图像编码数据来进行解码，并输出图像数据，其特征在于，具有：

存储器，暂时保持图像数据；

判定单元，根据各瞬时的接收缓冲器内的图像编码数据量或者图像编码数据量的时间变化，判定是否产生了下溢或者产生下溢的可能性是否高；

合成图像生成单元，在判定结果是肯定的情况下，取出保存在上述帧存储器中的一个帧的图像数据，并且对上述接收缓冲器中剩余的图像编码数据的一部分进行解码，用对上述图像编码数据进行了解码的图像数据的一部分置换所取出的图像数据的一部分，生成新的一个帧的合成图像数据；以及

输出单元，输出所生成的合成图像数据，

反复生成合成图像数据，使得被置换了的图像数据的占有比例大于紧前面生成的合成图像数据中的被置换了的图像数据的占有比例，按照生成顺序输出上述生成的合成图像数据。

2、如权利要求1所述的图像解码装置，其特征在于，

从上述外部接收的图像编码数据由多个规定的处理单位构成，

对每个规定的处理单位进行图像数据的置换，

上述图像解码装置具有重要度计算单元，该重要度计算单元对每个上述规定的处理单位计算重要度，

上述合成图像生成单元以与计算出的重要度中最高重要度对应的规定的处理单位，置换保存在上述帧存储器中的图像数据的一部分。

3、如权利要求2所述的图像解码装置，其特征在于，

上述规定的处理单位是第二处理单位，

上述第二处理单位由至少一个第一处理单位构成，

对每个上述第一处理单位预先分配数值，

根据分配给构成该第二处理单位的各第一处理单位的数值，计算各第二处理单位的重要度。

4、如权利要求3所述的图像解码装置，其特征在于，

越靠近帧中央的位置，上述分配的数值越高。

5、如权利要求3所述的图像解码装置，其特征在于，

图像的运动越大，上述分配的数值越高。

6、如权利要求3所述的图像解码装置，其特征在于，

对多个表分配上述数值，

上述重要度计算单元根据从上述接收缓冲器中剩余的图像编码数据得到的信息，动态地转换上述多个表来计算重要度。

7、如权利要求6所述的图像解码装置，其特征在于，

从上述图像编码数据得到的信息是示出图像类型的信息。

8、如权利要求1所述的图像解码装置，其特征在于，

在上述判定结果是否定的情况下，上述合成图像生成单元取出保存在上述帧存储器中的图像数据，并且对上述接收缓冲器中剩余的一个帧的图像编码数据进行解码，用对上述图像编码数据进行了解码的图像数据置换所取出的图像数据，生成新的一个帧的图像数据。

9、如权利要求1所述的图像解码装置，其特征在于，

上述图像解码装置具有辅助帧存储器，该辅助帧存储器用于暂时保持由上述合成图像生成单元新生成的一个帧的合成图像数据，

上述合成图像生成单元将生成的多个合成图像数据交替地存储在上述帧存储器和上述辅助帧存储器中。

10、如权利要求1所述的图像解码装置，其特征在于，

上述合成图像生成单元将保存在上述帧存储器中的图像数据，以片为单位置换为对上述图像编码数据进行了解码的图像数据。

11、如权利要求10所述的图像解码装置，其特征在于，

进行图像数据的置换时上述接收缓冲器中剩余的图像编码数据的一部分的数据尺寸，根据上述接收缓冲器中剩余的图像编码数据的量而不同。

12、如权利要求1所述的图像解码装置，其特征在于，

保存在上述帧存储器中的图像数据，是在由上述合成图像生成单元对上述接收缓冲器中剩余的图像编码数据的一部分进行解码的紧前面被解码了的图像数据。

13、一种图像解码系统，包括：图像编码装置，在对图像数据进行编码之后，将编码后的图像数据即图像编码数据发送给图像解码装置；以及图像解码装置，一面向接收缓冲器取入从上述图像编码装置发送的图像编码数据，一面从该接收缓冲器读出图像编码数据来进行解码，并输出图像数据，其特征在于，

上述图像解码装置具有：

存储器，暂时保持图像数据；

判定单元，根据各瞬时的接收缓冲器内的图像编码数据量或者图像编码数据量的时间变化，判定是否产生了下溢或者产生下溢的可能性是否高；

合成图像生成单元，在判定结果是肯定的情况下，取出保存在上述帧存储器中的一个帧的图像数据，并且对上述接收缓冲器中剩余的图像编码数据的一部分进行解码，用对上述图像编码数据进行了解码的图像数据的一部分置换所取出的图像数据的一部分，生成新的一个帧的合成图像据；以及

输出单元，输出生成的合成图像数据，

反复生成合成图像数据，使得被置换了的图像数据的占有比例大于紧前面生成的合成图像数据中的被置换了的图像数据的占有比例，按照生成顺序输出上述生成的合成图像数据。

14、一种图像解码方法，一面向接收缓冲器取入从外部接收的图像编码数据，一面从该接收缓冲器读出图像编码数据来进行解码，并输出图像数据，其特征在于，包括：

判定步骤，根据各瞬时的接收缓冲器内的图像编码数据量或者图像编码数据量的时间变化，判定是否产生了下溢或者产生下溢的可能性是否高；

合成图像生成步骤，在判定结果是肯定的情况下，取出保存在用于暂时保持解码完的图像数据的帧存储器中的一个帧的图像数据，并且对上述接收缓冲器中剩余的图像编码数据的一部分进行解码，用对上述图像编码数据进行了解码的图像数据的一部分置换所取出的图像数据的一部分，生成新的一个帧的合成图像数据；以及

输出步骤，输出生成的合成图像数据，

反复生成合成图像数据，使得被置换了的图像数据的占有比例大于紧前面生成的合成图像数据中的被置换了的图像数据的占有比例，按照生成顺序输出上述生成的合成图像数据。

15、一种系统集成电路，设置在图像解码装置中，所述图像解码装置一面向接收缓冲器取入从外部接收的图像编码数据，一面从该接收缓冲器读出图像编码数据来进行解码，并输出图像数据，其特征在于，具有：

帧存储器，暂时保持图像数据；

判定单元，根据各瞬时的接收缓冲器内的图像编码数据量或者图像编码数据量的时间变化，判定是否产生了下溢或者产生下溢的可能性是否高；

合成图像生成单元，在判定结果是肯定的情况下，取出保存在上述帧存储器中的一个帧的图像数据，并且对上述接收缓冲器中剩余的图像编码数据的一部分进行解码，用对上述图像编码数据进行了解码的图像数据的一部分置换所取出的图像数据的一部分，生成新的一个帧的合成图像数据；以及

输出单元，输出所生成的合成图像数据，

反复生成合成图像数据，使得被置换了的图像数据的占有比例大于紧前面生成的合成图像数据中的被置换了的图像数据的占有比例，按照生成顺序输出上述生成的合成图像数据。

Images