CN101483783A - 再现装置、再现系统、再现方法和及其记录介质 - Google Patents

Abstract

本发明提供了一种再现装置、一种再现系统、一种再现方法、以及一种记录介质，用于防止输出帧主观评价值的降低。因此，如果不能对通过对图像数据进行解码而获得的帧中被确认为异常的帧进行插值，那么在可以输出正常帧之前保持已输出帧。

Description

再现装置、再现系统、再现方法和及其记录介质

相关申请的交叉引用

本申请基于并要求于2008年1月7日提交的日本专利申请2008-000721的优先权，并将其全部公开合并于此以作参考。

技术领域

本发明涉及一种再现装置、一种再现系统、一种再现方法、以及一种记录介质。

背景技术

已经提出了各种再现装置相关的技术，用于对在流传送期间因包括多个帧在内的接收图像数据的异常帧导致其图像质量下降的部分使用插值技术，来对图像进行再现。相关技术描述如下。

日本专利申请未审公开(JP-A)No.62-061485(专利文献1)公开了使用帧来执行插值处理的技术。

JP-A No.62-061485(专利文献1)公开了一种帧间预测解码装置，在后者的结构中，形成第二帧存储器，用于存储来自于存储在第一帧存储器中的帧数据的之前的帧数据，以便在对帧间预测编码图像信号进行解码时对帧间差异进行集成，从而在传输线发生错误时，输出存储在第二帧存储器中的帧数据。

当检测到错误时，由于发送至显示单元的数据是错误产生之前的先前的数据，因此帧间预测解码装置在显示单元上显示无错误图像。

JP-A No.03-022735(专利文献2)公开了一种根据对劣化图像质量进行插值处理的困难程度，在插值处理和重传处理之间进行切换的技术。

根据专利文献2的用于发送图像信号分组的装置包括：即使当在传输线上丢失了图像传输分量时也使用容易插值的图像传输分量来形成分组的电路、当图像信号分量丢失时使用不容易插值的图像信号分量来形成分组的电路、以及当分组丢失时使用分组的优先显示区为精度较高的分组赋予较高优先级的电路，所述精度会引起图像劣化。

在用于发送图像信号分组的装置中，当在传输线上丢弃分组时，首先丢弃第一组中的分组。由于很容易对第一组中的分组进行插值，并且第一组中的分组不是重要图像信息，因此即使丢弃第一组中的分组图像质量也不会下降太多。

JP-A No.2006-174280(专利文献3)公开了一种技术，用于确定帧内存在的多个图像劣化部分的优先级并执行插值处理以便保持实时特性。

专利文献3的图像处理装置包括：缺陷检测器，检测来自接收到的运动图像数据的缺陷部分；确定单元，在运动图像数据的一帧中存在多个缺陷部分的情况下确定缺陷部分的优先级；以及插值处理单元，根据由确定单元确定的优先级对缺陷部分执行插值处理。

该图像处理装置的图像伸缩(stretch)处理器，对由通信处理器接收的运动图像流数据执行解码处理，并输出运动图像数据。图像缺陷检测器，检测来自图像伸缩处理器输出的运动图像数据的缺陷部分。插值优先级确定单元，在运动图像数据的一帧内存在多个缺陷部分的情况下确定缺陷部分的插值处理优先级。插值处理器，根据由插值优先级确定单元确定的优先级来对缺陷的部分执行插值处理。

此外，存在被称作前向纠错(FEC)的技术，向发送端的预定数据添加奇偶校验(冗余数据)以通过接收端执行检错和纠错处理，并且使用不需要重传处理并已经完成接收的另一正常分组对丢失分组进行插值。

此外，JP-A No.2003-284064(专利文献4)公开了一种技术，在从图像数据中检测到错误的情况下，在接收端处采用自主控制来显示容易看见的图像。

根据专利文献4的图像接收装置包括：接收单元，接收编码图像数据；再现单元，对接收到的图像数据进行再现；显示单元，显示由再现单元获得的图像；检测单元，检测接收到的图像数据的错误；测量单元，测量接收到的图像数据的容错强度；以及切换单元，在从接收到的图像数据中检测到错误的情况下，根据所测量的容错强度来切换显示在显示单元上的图像。

在该图像接收装置中，可变长解码器对帧编码模式进行解码；检错器在可变长解码器的解码操作期间检测图像数据的错误；接收间隔测量单元基于帧编码模式测量关键帧的接收间隔；切换控制器基于是否存在错误、帧编码模式和随机访问间隔，通过控制开关的连接/断开来切换显示器上的图像显示。

JP-A No.2006-319583(专利文献5)公开了一种装置，用于从发射机流出(stream)和传送图像和语音数据、接收图像和语音数据、以及基于接收到的图像和语音数据来输出图像和语音。

根据专利文献5的输出装置接收由不同装置发送的数据，在需要时执行丢失补偿处理以补偿接收数据的丢失，并基于数据执行输出处理。该装置包括：检测单元，检测接收数据的丢失状态；计算单元，基于检测到的丢失状态来计算与数据输出相关的延迟时间；以及根据计算得到的延迟时间来对数据输出进行延时的单元。

输出装置接收图像和语音数据，检测来自接收图像和语音数据，可以通过丢失补偿处理而补偿的数据丢失的数目，基于与检测到的丢失数目相对应的丢失补偿处理所花费的时间来计算与接收图像和语音数据相关的延迟时间，在丢失补偿处理之后根据计算得到的延时时间对图像和语音数据进行延时，然后输出经延时的图像和语音数据。

然而，在需要高度实时特性的情况下(诸如，视频会议)，优选地，图像数据中的缓存数据量应尽量少些。当如专利文献2那样执行重传时，缓存数据量增加从而破坏了实时特性。

此外，如果不能进行重传处理(如在多播流媒体的情况下)，则不能如专利文献2所描述的那样执行重传处理。

此外，在异常帧的数量较大从而不能执行插值处理的情况下，或者当切换场景时，不能使用专利文献1或专利文献3中描述的技术来执行充分的插值处理，因而将导致图像质量劣化。

此外，在FEC中，接收端需要处理由发送端添加的奇偶校验。如果对传送数据添加的奇偶校验并非是由接收端定义的奇偶校验，则接收端不能执行插值处理。

此外，说明书中描述的图像数据异常性指：图像本身数据丢失且不能到达接收端，或者图像数据的一部分被破坏，而不是指在接收图像数据时的到达延时。此外，帧异常指：由于图像数据的异常导致解码后帧的不完整状态。

此外，在专利文献4和5的现有技术中，对主观图像质量劣化的防止不够充分。

这里，“主观”表示观看者对帧的图像质量评价，并非是诸如峰值信噪比(PSNR)值等帧的客观图像质量评价。

此外，“主观”表示“依赖于个体评价者的判断或心理状态的评分”，“客观”表示“在不受评价者主观影响下的常规评分”。由于即使当观看相同帧时，接受图像质量的态度也取决于个人的判断或心理状态，因此认为通过观看者的观看作出的对图像质量的评价是“主观”的。

发明内容

因此，本发明的目的是提供一种再现装置、一种再现系统、一种再现方法、以及一种记录介质，用于防止输出帧主观评价值的下降。

为了实现该目的，本发明提供了如下特征。

根据本发明的示例性优点在于，由于不需要重传，因此可以在流传送期间保持防止接收图像数据的异常的实时特性，并且即使在不能进行重传的流环境下(如多播环境下)，也可以在主观上防止输出帧的质量降低。因此，可以实现一种再现装置、一种再现系统、一种再现方法、以及一种记录介质，用于防止输出帧主观评价值的降低。

<装置>

在本发明的一个方面，提供了一种再现装置，其中，当不能对通过对图像数据进行解码而获得的帧中被确认为异常的帧进行插值时，再现装置在可以输出正常帧之前保持已输出帧。

<系统>

在本发明的另一方面，提供了一种再现系统，其包括：再现装置，当不能对通过对图像数据进行解码而获得的帧中被确认为异常的帧进行插值时，在可以输出正常帧之前保持已输出帧；图像数据传送服务器，传送图像数据；以及网络，连接至图像数据传送器。

<方法>

在本发明的又一方面，提供了一种再现方法，其中，当不能对通过对图像数据进行解码而获得的帧中被确认为异常的帧进行插值时，该方法在可以输出正常帧之前保持已输出帧。

<记录介质>

在本发明的又一方面，提供了一种记录介质，用于记录程序，所述程序使计算机执行如下方法：当不能对通过对图像数据进行解码而获得的帧中被确认为异常的帧进行插值时，在可以输出正常帧之前保持已输出帧。

附图说明

图1是根据本发明示例性实施例的、在流传送中应用再现方法的再现系统的方框图的一个示例；

图2是用于解释图1和图3所示的再现系统所用的再现装置的操作的流程图的一个示例；

图3是根据本发明另一示例性实施例的、在流传送中应用再现方法的再现装置的方框图的一个示例；

图4是用于解释根据本发明另一示例性实施例的、应用再现方法的再现系统所用的再现装置的操作的流程图的一个示例；

图5示出了指定帧的数目X为帧的最大数目的情况下，帧、正常/异常、能/不能进行插值、应用/不应用输出控制、以及输出帧之间的关系；

图6示出了指定帧的数目X小于等于帧数n的情况下，帧、正常/异常、能/不能进行插值、应用/不应用输出控制、以及输出帧之间的关系；

图7示出了指定帧的数目X为帧的最大数目的情况下，帧、正常/异常、能/不能进行插值、应用/不应用输出控制、以及输出帧之间的其他关系；以及

图8示出了指定帧的数目X小于等于帧数n的情况下，帧、正常/异常、能/不能进行插值、应用/不应用输出控制、以及输出帧之间的其他关系。

具体实施方式

首先，参照图1至4使用第一和第二示例性实施例来描述根据本发明的再现装置的示例性实施例。

本发明提供了一种再现装置、一种再现系统、一种再现方法、以及一种记录介质，用于在流传送期间不对接收图像数据的异常帧执行重传的前提下，在主观上防止输出帧质量降低。

[第一示例性实施例]

第一示例性实施例描述了在流传送期间对接收到的图像数据的异常帧执行各种插值处理的情况。

根据该实施例的再现装置只有在假如异常帧数量太大以致于不能得到完全处理或由于场景切换不能执行插值，下一关键帧出现之前存在预定数量帧的情况下，通过在当前帧之后出现下一关键帧前不执行新图像的输出，来防止输出图像的主观评价值的降低，。

“不执行输出”表示保持已输出帧并且不执行当前新帧的输出。

这里，通常将关键帧近似有规律地插入运动图像专家组(MPEG)数据中。使用“近似”是由于从一关键帧到下一关键帧的帧数是变化的因而不是恒定的。

此外，就MPEG1/2/4数据而言，“关键帧”被称作I帧，就H.264/AVC数据而言，“关键帧”被称作IDR帧。

对于当观看者观看帧时图像数据的异常使帧连续失真(混乱/受到干扰)达到0.3秒的情况以及帧在时间上暂停0.3秒的情况，本实施例的主要目的在于，后者的主观评价值提高。

通常，用于流媒体的图像数据包括：关键帧和关键帧间具有差分信息且数量不定的多个帧(例如，关键帧之间的15到900个帧)。

关键帧是可以根据关键帧的信息被解码成原始图像的帧。此外，在该实施例中，具有差分信息的帧是通过利用先前帧执行差分计算(帧间插值)而获得的。即，如果出现了图像质量劣化程度较高的帧，那么由于通过对帧执行差分计算而获得的帧的图像质量遭到破坏，在下一关键帧出现之前图像质量将持续遭到破坏，因而主观图像质量下降。

本实施例不具有依赖于诸如专利文献3所述的FEC奇偶校验等发送端规范的缺陷。

<结构>

图1是根据本发明示例性实施例的、包括在流传送中应用再现方法的再现装置的再现系统的配置的一个示例。

再现系统包括：图像数据传送服务器1、作为再现装置的客户端2-1、以及网络10。

图像数据传送服务器1具有图像数据传送功能。

作为再现装置的客户端2-1包括：存储器单元3-1、作为第一单元的图像数据接收单元4-1、作为第二单元的解码器5、插值处理器6、关键帧间隔计算器7、作为第三单元的帧输出控制器8、以及帧输出单元9。

客户端2-1可以是个人计算机(PC)或机顶盒(STB)，客户端可以通过流接收图像，并对来自图像数据传送服务器1的图像数据进行解码以输出帧。

存储器单元3-1可以是磁盘存储器单元或存储器装置，存储器单元不仅可以存储从图像传送服务器1传送而来的图像数据，还可以存储诸如计算得到的关键帧间隔等各种信息。

图像数据可以被称作运动图像数据，连续的相同帧(诸如风景)的图像数据、连续的不同帧(诸如步行的人)的图像数据都是可应用的。

图像接收单元4-1接收流传送图像数据，并且确定存在图像数据的异常帧。当图像接收单元4-1接收来自图像数据传送服务器1的流传送图像数据，并在接收到的图像数据中发现诸如丢失等错误时，存储器单元3-1将同时存储丢失位置，使得当解码器5读取或输出来自存储器单元3-1的图像数据时，解码器5可以确定在图像数据中存在丢失。解码器5对接收到的图像数据进行解码以形成帧，解码器5包括判断解码帧是否是关键帧的功能，还包括判断是否可以对异常帧执行插值的功能。

这里，可以根据编码解码器的标准使用各种方法来判断解码帧是否是关键帧。通常，在解码操作期间，可以根据数据中的报头来判断解码帧是否是关键帧。

插值处理器6使用来自由解码器5获得的先前帧的差分信息来执行插值(帧间插值)，或在判定可以执行帧内插值的情况下执行图像插值。这里，帧内插值表示使用形成一帧的分组对帧进行插值。

关键帧间隔计算器7在解码器5确定出关键帧的情况下计算关键帧的出现间隔m。此外，关键帧间隔计算器7将关键帧出现间隔m与过去的关键帧出现间隔m’进行比较以计算(近似计算)从当前异常帧(包括不能执行插值的帧)起几帧后会出现关键帧，从而获得估计值。这是由于如果在判断是否对当前异常帧采用不输出新帧的措施时，不能确定关键帧的出现间隔m，就无法判断异常帧是否位于指定帧数目X的范围以内。

这里，对于使用哪个等式来计算关键帧出现间隔m而言，可以通过测量关键帧出现间隔的平均值的方式来进行计算。在根据过去P次出现频率计算关键帧出现间隔的情况下，当每一间隔为N()时，关键帧的间隔S可由例如等式1给出。

等式1

$S=\underset{m=1}{\overset{P}{\mathrm{\&Sigma;}}}\frac{N\left(m\right)}{P}---\left(1\right)$

此外，对于计算从当前异常帧起哪帧之后将出现密钥帧而言，假设自前一关键帧出现起到当前异常帧出现间的帧数为T，则等式2给出了自当前帧起到下一关键帧出现间的帧数n。

N＝S-T         (2)

此外，由于对于每一帧，帧速率是常数，因此可以根据帧数T和n估计时间(位置)。

如果自不能进行插值的帧起到下一关键帧出现为止的帧数小于等于指定帧的数目X，帧输出控制器8就控制帧输出单元9保持已输出帧，直到可以输出正常帧或插值完成帧为止。此外，如果自不能进行插值的帧起到下一关键帧出现为止的帧数等于或大于指定帧的数目X，帧输出控制器8就控制帧输出单元9直接输出异常帧。

根据接收到的图像数据是否异常、当接收到的图像数据异常时根据指定帧的数目X是否等于大于自当前关键帧起到下一关键帧出现为止的帧数n、以及根据是否不能进行插值，来判断是否执行当前帧的输出。

即，如果接收到的图像数据异常，不能进行插值，并且帧数n小于等于指定帧的数目X，那么“当不能对图像数据已被解码的帧中的异常帧进行插值时，就在能够输出正常帧或插值完成帧之前保持已输出帧”。

另一方面，如果通过对接收到的图像数据进行解码而获得的帧包括异常帧，不能进行插值，并且帧数n大于指定帧的数目X，则“不能保持已输出帧”，而直接输出当前异常帧。

帧输出控制器8根据上述条件控制是否执行输出，并且帧输出单元9对其予以响应执行输出。

帧输出单元9是向外部输出图像数据的单元。

[操作]

参照图1和图2，图1和图2详细地描述了观看者观看图1再现系统中的图像数据的情况下的操作。图2是用于解释图1所示的再现系统所用的再现装置的操作的示例性流程图。该实施例描述了从图像数据传送服务器接收图像数据的情况。因此，在步骤S102中，接收图像数据。

首先，在步骤S101中，观看者在客户端2-1中设置指定帧的数目X。

在步骤S102中，当图像数据传送服务器1通过网络10向客户端2-1传送图像数据时，客户端2-1的图像接收单元4-1接收图像数据。

在步骤S103中，客户端2-1的解码器5对接收到的图像数据进行解码以产生帧。

在步骤S104中，判断帧输出控制器8是否控制输出，即，帧输出控制器8是否保持已输出帧。这是为了判断不能进行插值的异常帧是否连续出现。

当帧输出控制器8控制输出时，在步骤S105中，判断当前帧是否为关键帧。这是由于关键帧具有可以独立输出正常图像的信息。当在步骤S105中判定当前帧是关键帧时，就在步骤S106中释放输出控制。

在输出释放之后，在步骤S117中，关键帧间隔计算器7计算关键帧间的出现间隔m，即，一关键帧和下一关键帧之间的帧数m。这是为了计算(近似计算)从当前帧起几帧后会出现关键帧。

在步骤S118中，存储器单元3-1存储关键帧的出现间隔m。

在步骤S119中，帧输出单元9输出正常的关键帧。在输出关键帧之后，执行步骤S102。

当在步骤S105中判定当前帧不是关键帧时，就在步骤S116中输出已输出帧。在输出已输出帧后，执行步骤S102。

当在步骤S104中帧输出控制器8不控制输出时，在步骤S105中判断当前帧是否为关键帧。

当判定当前帧是关键帧时，执行步骤S117。

当判定当前帧不是关键帧时，执行步骤S108。

在步骤S108中，判定当前帧是否为异常帧。当判定当前帧不是异常帧时，执行步骤S119并输出正常帧。

在步骤S108中，当判定当前帧是异常帧时，解码器5就在步骤S109中判断是否能进行插值。

当解码器5判定能进行异常帧插值时，插值处理器6就在步骤S110中执行插值。

在步骤S111中，帧输出单元9输出经插值处理的帧，并执行步骤S102。

当解码器5判定不能进行异常帧插值时，关键帧间隔计算器7就在步骤S112中计算到下一关键帧为止的帧数n。

在步骤S113中，存储器单元3-1存储到下一关键帧为止的帧数n，以便将帧数n与指定帧的数目X进行比较。

在步骤S114中，帧输出控制器8判断帧数n是否小于等于指定帧的数目X(n≤X)。即，帧输出控制器8根据帧数n和预先设置的指定帧的数目X之间的大小关系，控制帧输出单元以保持已输出帧，直到可以输出插值完成帧为止。

当判定帧数n小于等于指定帧的数目X时，帧输出控制器8就在步骤S115中设置输出控制。

在步骤S116中，帧输出单元9输出已输出帧，并执行步骤S102。

当判定帧的数目n大于指定帧的数目X(n>X)时，帧输出控制器8就在步骤S120中直接输出异常帧。在输出异常帧之后，执行步骤S102。

此外，在本说明书中不再对根据前帧进行插值的技术，或帧内插值技术进行重复说明。

根据上述结构，对于流传送期间接收到的图像数据的异常帧，可以保持实时特性，并且即使在不能进行重传的流条件下(如多播条件下)，也可以在主观上防止输出帧质量的劣化。

这是由于本发明不需要重传。

此外，根据上述结构，即使在存在许多异常帧的情况下，或者在由于场景切换不能进行插值的情况下，也可以在主观上防止输出图像质量的劣化。这是由于获得了关键帧间的间隔，并对输出帧进行控制，即，保持已输出帧的输出。

此外，根据上述结构，对于接收端来说，可以在不依赖于诸如专利文献3所述的FEC奇偶校验等发送端规范的情况下，在主观上防止输出帧质量的劣化。这是由于当具体实现本发明时，除了所接收的图像数据以外不需要特别的信息或数据。

[第二示例性实施例]

[结构]

图3是根据本发明另一示例性实施例的、在流传送中应用再现方法的再现装置的方框图。

同时，相同的附图标记用于如图1所示的相同单元。

参照图3，图3详细描述了对存储器单元所记录的以MPEG2传输流(TS)(下文中称作MPEG2-TS类型)复用(MUX)的图像数据进行再现。

通常，MPEG2-TS类型广泛用于诸如数字广播和流的图像数据的传送中。

图像数据11是以MPEG2-TS类型的形式复用(MUL)的图像数据，该图像数据是再现对象。

作为再现装置的客户端2-2是可以输出帧的装置，如PC和STB。

存储器单元3-2是磁盘存储器单元(例如，数字通用盘(DVD))，或存储器设备。存储器单元3-2存储诸如计算得到的关键帧间隔等各种信息。同时，不再重复对存储操作程序的存储器单元进行描述。

图像数据读取单元4-2从存储器单元3-2读取图像数据11。

解码器5包括：对由图像数据读取单元4-2读取的图像数据11进行解码的功能、判断通过对图像数据11进行解码而获得的帧是否是关键帧的功能、以及判断是否能对通过对图像数据11进行解码而获得的帧中的异常帧进行插值的功能。

当解码器5判定可以根据前一帧进行插值或可以进行帧内插值时，插值处理器6就执行图像插值。

当解码器5判定一个帧为关键帧时，关键帧间隔计算器7就计算关键帧的出现间隔。此外，关键帧间隔计算器7将关键帧间隔与前一关键帧间隔进行比较，以近似计算从当前异常帧起几帧之后会出现关键帧。

帧输出控制器8判断帧输出单元9是否执行图像输出。

帧输出单元9向外部输出帧。

参照图2描述图3再现装置的详细的处理顺序。

该实施例描述了读取存储器单元的图像数据的情况。因此，在步骤S102中，执行图像数据读取。

首先，在步骤S101中，观看者在客户端2-2中设置指定帧的数目X。

在步骤S102中，客户端2-2的图像数据读取单元4-2从存储器单元3-2读取图像数据。

在步骤S103中，解码器5对帧形式的图像数据进行解码。

这里，在对图像数据11进行解码之后，使用检查MPEG2-TS型报头序号连续性的技术来判断帧是否异常。当存在异常帧时，存储器单元3-2存储异常帧的位置，从而解码器5可以确定在图像数据11中存在异常帧。

由于步骤S104到S120与第一示例性实施例的那些步骤相同，因此不再对其进行重复描述。

此外，指定帧的数目X的值并不固定为特定值，而可以根据帧速率、关键帧间隔、或者是否根据关键帧间范围程度修改本技术而发生变化。当在步骤S114/否中判定帧的数目n大于指定帧的数目X时，输出图像质量下降。因此，例如，可以通过将指定帧的数目X的值设置为关键帧间隔的最大值，来完全防止图像质量下降。

根据上述结构，对于流传送期间接收到的图像数据进行解码后的异常帧，可以保持实时特性，并且即使在不能进行重传的流条件下(如多播条件下)，也可以在主观上防止输出帧质量的劣化。这是由于本发明不需要重传。

此外，根据上述结构，即使在存在多个异常帧的情况下、或在由于场景切换不能进行插值的情况下，也能在主观上防止输出图像质量的劣化。这是由于获得了关键帧间的间隔，并对图像输出进行控制。

此外，根据上述结构，对于接收端来说，可以在不依赖于诸如专利文献3所述的FEC奇偶校验等发送端规范的情况下，在主观上防止输出帧质量的劣化。这是由于当具体实现本发明时，除了所接收的数据以外不需要特别的信息或数据。

[第三示例性实施例]

接着，参照图4描述本发明的又一示例性实施例。

图4是用于解释根据本发明另一示例性实施例的、应用再现方法的再现系统所用的再现装置的操作的流程图的一个示例。

第一示例性实施例的再现装置与图4的再现装置之间的不同点在于，在能对异常帧进行插值的情况下，可以基于前一关键帧或后一关键帧中的差分信息来执行插值。

根据该实施例，即使不能插值出前一帧，再现也是可能的。这是由于可以使用来自关键帧的差分信息对数据进行插值。插值是使用来自关键帧的数据和来自属于目标帧的关键帧的差分信息来执行的。在基于来自后一关键帧的差分信息进行插值的情况下，将从目标帧到后一关键帧间的帧的数目据存储在缓冲存储器(未示出)中，读取并输出后一关键帧的数据和目标帧与关键帧的差分信息，从而执行插值。

以下描述根据示例性实施例的再现装置的操作。

首先，在步骤S201中，观看者在客户端2-1中设置指定帧的数目X。

在步骤S202中，当图像数据传送服务器1通过网络10向客户端2-1传送图像数据时，客户端2-1的图像接收单元4-1接收图像数据。

在步骤S203中，客户端2-1的解码器5对接收到的图像数据进行解码以产生帧。

在步骤S204中，判断当前帧是否为关键帧。当在步骤S209中判定当前帧是关键帧时，关键帧间隔计算器7就计算关键帧间的出现间隔m，即，一关键帧和下一关键帧间的帧的数目m。

在步骤S210中，存储器单元3-1存储关键帧的出现间隔m。

在步骤S216中，帧输出单元9输出正常的关键帧。在关键帧输出之后，执行步骤S204。

当当前帧不是关键帧时，在步骤S205中，图像接收单元4-1判断当前帧是否为异常帧。

这里，作为目标帧的当前帧可以根据以下4种方法得到差分信息。

(1)所有帧具有来自前一关键帧的差分信息。

(2)多个特定帧具有来自一关键帧的差分信息，并且如第一示例性实施例中那样其他帧具有来自前一帧的差分信息。

(3)在具有来自一关键帧的差分信息的帧中，存在于关键帧间前部的帧具有同前一关键帧的差分信息，并且存在于后部的帧具有同后一关键帧的差分信息(假设如果关键帧间的帧的数目设置为奇数，则预先设置中心帧具有前一关键帧的差分信息还是具有后一关键帧的差分信息)。

(4)在具有来自一关键帧的差分信息的帧中，存在于关键帧间前部的帧具有同前一关键帧的差分信息，并且存在于后部的帧具有同后一关键帧的差分信息，并且如第一示例性实施例中那样，在某些帧中(如处于中央部分的帧)具有来自前一帧的差分信息。

相应地，分别对步骤S205后的操作进行描述。

(1)在所有帧具有来自前一帧的差分信息的情况下，

当当前帧不是异常帧时，在步骤S216中，帧输出单元9输出正常帧。在输出正常帧之后，执行步骤S202。

当在步骤S205中判定当前帧是异常帧时，在步骤S206中解码器5判断是否能进行插值。

当解码器5判定能进行插值时，在步骤S207中，插值处理器6基于来自前一关键帧的差分信息来执行插值。

在步骤S208中，从帧输出单元9输出经插值处理的帧，并执行步骤S202。

当在步骤S206中解码器5判定不能进行插值时，在步骤S211中，关键帧间隔计算器7计算到下一关键帧的帧的数目n。

在步骤S212中，存储器单元3-1存储到下一关键帧的帧的数目n，以便将帧的数目n与指定帧的数目X进行比较。

在步骤S213中，帧输出控制器8判断帧的数目n是否小于等于指定帧的数目X(n≤X)。即，在步骤S214中，帧输出控制器8根据帧的数目n与预先设置的指定帧的数目X之间的大小关系，来控制帧输出单元，以在能够输出正常帧或插值完成帧之前保持已输出帧。

当帧输出控制器8判定帧的数目n小于等于指定帧的数目X时，在步骤S214中，帧输出单元9输出已输出帧，并且执行步骤S202。

当帧输出控制器8判定帧的数目n大于指定帧的数目X(n>X)时，在步骤S215中，直接输出异常帧，并且执行步骤S202。

(2)在特定帧具有来自一关键帧的差分信息、并且如第一示例性实施例中那样其他帧具有来自前一帧的差分信息的情况下，

当当前帧不是异常帧时，在步骤S216中，帧输出单元9输出正常帧。在输出正常帧之后，执行步骤S202。

在步骤S205中，当当前帧是异常帧时，在步骤S206中解码器5判断是否能进行插值。

当解码器5判定能进行插值时，在步骤S207中，插值处理器6基于来自前一关键帧的差分信息或来自前一帧的差分信息执行插值。

在步骤S208中，从帧输出单元9输出经插值处理的帧，并且执行步骤S202。

当在步骤S206中解码器5判定不能进行插值时，在步骤S211中，关键帧间隔计算器7计算到下一关键帧的帧的数目n。

在步骤S212中，存储器单元3-1存储到下一关键帧的帧的数目n，以便将帧的数目n与指定帧的数目X进行比较。

在步骤S213中，帧输出控制器8判断帧的数目n是否小于等于指定帧的数目X(n≤X)。即，帧输出控制器8根据帧的数目n与预先设置的指定帧的数目X之间的大小关系，来控制帧输出单元，以在能够输出正常帧或插值完成帧之前保持已输出帧。

当帧输出控制器8判定帧的数目n小于等于指定帧的数目X时，在步骤S214中，帧输出单元9输出已输出帧，并且执行步骤S202。

当帧输出控制器8判定帧的数目n大于指定帧的数目X(n>X)时，在步骤S215中，直接输出异常帧，并且执行步骤S202。

(3)在在具有来自一关键帧的差分信息的帧中，存在于关键帧间前部的帧具有同前一关键帧的差分信息，并且存在于后部的帧具有同后一关键帧的差分信息的情况下，

当当前帧不是异常帧时，在步骤S216中，帧输出单元9输出正常帧。在输出正常帧之后，执行步骤S202。

当在步骤S205中判定当前帧是异常帧时，在步骤S206中，解码器5判断是否能进行插值。

当解码器5判定能进行插值时，在步骤S207中，通过将目标帧之后的关键帧存储在缓冲存储器中，并读取上述帧的方式，基于来自后一关键帧的差分信息执行插值。

在步骤S208中，帧输出单元9输出经插值处理的帧，并且执行步骤S202。

(4)在在具有来自一关键帧的差分信息的帧中，存在于关键帧间前部的帧具有同前一关键帧的差分信息，存在于后部的帧具有同后一关键帧的差分信息，并且如第一示例性实施例中那样，位于中央部分的帧具有来自前一帧的差分信息的情况下，

当当前帧不是异常帧时，在步骤S216中，帧输出单元9输出正常帧。在输出正常帧之后，执行步骤S202。

当在步骤S205中判定当前帧是异常帧时，在步骤S206中，解码器5判断是否能进行插值。

当解码器5判定能进行插值时，在步骤S207中，基于来自前一关键帧的差分信息、来自后一关键帧的差分信息、或来自前一帧的差分信息来执行插值。

在步骤S208中，帧输出单元9输出经插值处理的帧，并且执行步骤S202。

当在步骤S206中解码器5判定不能进行插值时，在步骤S211中，关键帧间隔计算器7计算到下一关键帧的帧的数目n。

在步骤S212中，存储器单元3-1存储到下一关键帧的帧的数目n，以便将帧的数目n与指定帧的数目X进行比较。

在步骤S213中，帧输出控制器8判断帧的数目n是否小于等于指定帧的数目X(n≤X)。即，帧输出控制器8根据帧的数目n与预先设置的指定帧的数目X之间的大小关系，来控制帧输出单元，以在能够输出正常帧或插值完成帧之前保持已输出帧。

当帧输出控制器8判定帧的数目n小于等于指定帧的数目X时，在步骤S214中，从帧输出单元9输出已输出帧，并且执行步骤S202。

当帧输出控制器8判定帧的数目n大于指定帧的数目X(n>X)时，在步骤S215中，直接输出异常帧，并且执行步骤S202。

[程序和记录介质]

使用使计算机执行再现处理的再现程序来实现根据本发明的上述再现装置。

在一个示例性实施例中，当对于通过对图像数据进行解码而获得的帧中被确认为异常的帧来说不能进行插值时，再现程序使再现装置的计算机执行在能够输出正常帧之前保持已输出帧的处理。

即，当对于通过对图像数据进行解码而获得的帧中被确认为异常的帧来说不能进行插值时，根据该实施例的程序是使计算机执行在能够输出正常帧之前保持已输出帧的处理(a)的程序。

此外，除了处理(a)以外，程序可以使计算机执行处理(b)：在第一单元处判断帧是否为异常；处理(c)：在第二单元处判断是否能对由第一单元判定为异常的帧进行插值；以及处理(d)：当通过第二单元判定不能进行插值时，在第三单元处保持已输出帧的输出。

此外，除了处理(a)至(d)以外，该程序可以使计算机执行处理(e)：当由第二单元判定不能进行插值的帧存在于距后一关键帧预定帧数范围内时，在第三单元处保持已输出帧的输出。

此外，除了处理(a)至(d)或(a)至(e)以外，该程序可以使计算机执行处理(f)：当通过第二单元判定不能进行插值的帧并非存在于距后一关键帧预定帧数范围内时，在第三单元处输出该帧。

所述帧具有同前一帧的差分信息，并且除了处理(a)至(d)、(a)至(e)、或(a)至(f)以外，该程序可以使计算机执行处理(g)：在第二单元处基于差分信息来执行插值。

此外，除了处理(a)至(d)、(a)至(e)、(a)至(f)、以及(a)至(g)之一，该程序可以使计算机执行处理(h)：当已经执行了保持输出已输出帧的处理时，在第三单元处保持输出直到后一关键帧出现为止。

此外，除了处理(a)至(d)、(a)至(e)、(a)至(f)、(a)至(g)、以及(a)至(h)之一，该程序还可以使计算机执行处理(i)：在第一单元处判断一帧是否为关键帧；以及处理(j)：在关键帧间隔计算器处计算一关键帧和下一关键帧之间的帧间隔。

所述帧具有同前一帧的差分信息、同前一关键帧的差分信息、以及同后一关键帧的差分信息中的至少一项，除了处理(a)至(d)以外，该程序可以使计算机执行处理(k)：在第二单元处基于有差分信息来执行插值；以及(1)，在第三单元处保持已输出帧的输出直到能够输出正常帧为止。

根据上述结构，对于流传送期间接收到的图像数据进行解码后的异常帧，可以保持实时特性，并且即使在不能进行重传的流条件下(如多播条件下)，也可以在主观上防止输出帧质量的劣化。这是由于本发明不需要重传。

此外，根据上述结构，即使在存在许多异常帧的情况下，或者在由于场景切换不能进行插值的情况下，也能在主观上防止输出图像质量的劣化。这是由于获得了关键帧间的间隔，并对图像输出进行控制。

此外，根据上述结构，对于接收端来说，可以在不依赖于诸如FEC奇偶校验等发送端规范的情况下，在主观上防止输出帧质量的劣化。这是由于当具体实现本发明时，除了所接收的数据以外不需要特别的信息或数据。

计算机的示例包括诸如个人计算机(PC)的通用计算机和工作站，但计算机不仅限于此。

因此，当给定可以执行再现程序的计算机环境时，可以在任何位置实现根据本发明的再现装置。

再现程序可以存储在计算机可读记录介质中。

这里，记录介质的示例包括计算机可读记录介质，如，光盘只读存储器(CD-ROM)、软盘(FD)、可记录光盘(CD-R)、以及数字通用磁盘(DVD)。此外，记录介质还包括半导体存储器，如，闪存、随机存取存储器(RAM)、只读存储器(ROM)、铁电随机存取存储器(FeRAM)、以及硬盘驱动器(HDD)。

此外，上述实施例介绍了本发明的优选实施例的示例。本发明不限于此，而可以在不背离本发明的精神和范围的前提下，以各种修改的形式得以体现。例如，尽管在上述实施例中已经对一关键帧和下一关键帧之间的帧数变化的情况进行了描述，但是本发明不限于此，相反可适用于一关键帧和下一关键帧之间的帧间隔固定的情况。在这种情况下，不需要关键帧间隔计算器，并且需要将关键帧间隔存储在存储器单元中。

首先，当不能对通过对图像数据进行解码而获得的帧中被确认为异常的帧进行插值时，示例1中所描述的再现装置在能够输出正常帧之前保持已输出帧。

在示例1的再现装置中，示例2中所描述的再现装置包括：第一单元，用于判断帧是否异常；第二单元，用于判断是否可对由第一单元确定为异常的帧进行插值；以及第三单元，用于在通过第二单元判定不能进行插值时，保持已输出帧的输出。

在示例2的再现装置中，当通过第二单元判定不能进行插值的帧存在于距后一关键帧预定帧数范围内时，示例3中所述的再现装置保持已输出帧的输出。

在示例2或3的再现装置中，当通过第二单元判定不能进行插值的帧并非存在于距后一关键帧预定帧数范围内时，示例4中所述的再现装置将该帧输出。

在示例2、3或4的再现装置中，示例5中所述的再现装置的特征在于，帧具有同前一帧的差分信息，并且第二单元基于差分信息来执行插值。

在示例2至5之一的再现装置中，示例6中所述的再现装置的特征在于，当已经执行了保持已输出帧的输出的处理时，第三单元在后一关键帧出现之前继续保持已输出帧的输出。

在示例3至6之一的再现装置中，示例7中所述的再现装置的特征在于，第一单元判断所述帧是否为关键帧，并且所述装置还包括关键帧间隔计算器，计算从该关键帧到下一关键帧的帧间隔。

在示例2的再现装置中，示例8中所述的再现装置的特征在于，所述帧具有同前一帧的差分信息、同前一关键帧的差分信息、以及同后一关键帧的差分信息中的至少一种信息，并且第二单元基于差分信息来执行插值，并且第三单元在能够输出正常帧之前保持已输出帧的输出。

在示例1到8的再现装置中，示例9中所述的再现装置的特征在于，所述图像数据是从网络传送来的图像数据或从存储器介质读取和输出的图像数据。

示例10中所述的再现系统包括：再现装置，当不能对通过对图像数据进行解码而获得的帧中被确认为异常的帧进行插值时，在能够输出正常帧之前保持已输出帧；图像数据传送服务器，用于传送图像数据；以及网络，连接至图像数据传送服务器。

在示例10的再现系统中，示例11中所述的再现系统的特征在于，再现装置包括：第一单元，用于判断帧是否异常；第二单元，用于判断是否可对通过第一单元判定为异常的帧进行插值处理；以及第三单元，用于当通过第二单元判定不能进行插值处理时，保持已输出帧的输出。

示例12中所述的再现方法包括，当不能对通过对图像数据进行解码而获得的帧中被确认为异常的帧进行插值时，在可以输出正常帧之前保持已输出帧。

在示例12的再现方法中，示例13中所述的再现方法包括：判断所述帧是否异常、判断是否可对被判定为异常的帧进行插值处理、并且当被判定为不能进行插值时，保持已输出帧的输出。

在示例13的再现方法中，示例14中所述的再现方法包括，当被判定不能进行插值的帧存在于距后一关键帧预定帧数范围内时，保持已输出帧的输出。

在示例13或14的再现方法中，示例15中所述的再现方法包括，当被判定为不能进行插值的帧并非存在于距后一关键帧预定帧数范围内时，输出该帧。

在示例13、14或15的再现方法中，示例16中所述的再现方法的特征在于，所述帧具有同前一帧的差分信息，并且基于有差分信息来执行插值。

在示例13到16之一的再现方法中，示例17中所述的再现方法包括，当已经执行了保持已输出帧的输出的处理时，在后一关键帧出现之前继续输出。

在示例14到17之一的再现方法中，示例18中所述的再现方法包括，判断所述帧是否为关键帧，并计算从一关键帧到下一关键帧的帧间隔。

在示例13的再现方法中，示例19中所述的再现方法的特征在于，所述帧具有同前一帧的差分信息、同前一关键帧的差分信息、以及同后一关键帧的差分信息中的至少一种信息，该方法还包括：基于差分信息来执行插值，并在能够输出正常帧之前保持已输出帧的输出。

在示例12到19之一的再现方法中，示例20中所述的再现方法的特征在于，图像数据是从网络传送来的图像数据或从存储器介质读取和输出的图像数据。

当不能对通过对图像数据进行解码而获得的帧中被确认为异常的帧进行插值时，示例21中所述的程序使计算机在能够输出正常帧之前执行保持已输出帧的处理。

在示例21的程序中，示例22中所描述的程序使计算机执行以下处理：在第一单元处判断所述帧是否异常；在第二单元处判断是否可对通过第一单元判定为异常的帧进行插值；以及当通过第二单元判定不能进行插值处理时，在第三单元处保持已输出帧的输出。

在示例22的程序中，示例23中所述程序使计算机执行以下处理：当通过第二单元判定不能进行插值处理的帧存在于距后一关键帧预定帧数范围内时，在第三单元处保持已输出帧的输出。

在示例22或23的程序中，当通过第二单元判定不能进行插值处理的帧并非存在于距后一关键帧预定帧数范围内时，示例24中所述的程序使计算机执行在第三单元输出该帧的处理。

在示例22、23或24的程序中，示例25中所述的程序的特征在于，所述帧具有同前一帧的差分信息，并且该程序还使计算机在第二单元处执行基于差分信息来进行插值的处理。

在示例22至25之一的程序中，示例26中所述的程序使计算机执行以下处理：当已经执行了保持已输出帧的输出的处理时，在第三单元处继续保持输出直到后一关键帧出现为止。

在示例23至26之一的程序中，示例27中所述的程序还使计算机执行以下处理：在第一单元处判断所述帧是否为关键帧，并且在关键帧间隔计算器处计算从所述关键帧到下一关键帧的帧间隔。

在示例22的程序中，示例28中所述的程序的特征在于，所述帧具有同前一帧的差分信息、同前一关键帧的差分信息、以及同后一关键帧的差分信息中的至少一种信息，并且该程序还使计算机执行以下步骤：在第二单元处基于差分信息来执行插值；并且在第三单元处保持已输出帧的输出，直到能够输出正常帧为止。

在示例21至28的程序中，示例29中所述的程序的特征在于，图像数据是从网络传送来的图像数据或从存储器介质读取和输出的图像数据。

示例30中所述的记录介质在其上记录了示例21至29之一的程序。

接着，参照图2、5至8描述根据本发明的再现方法的示例。

[示例I]

此处，可以以各种形式(例如，关键帧间间隔的一部分、帧数、秒)来表示指定帧的数目X的单位。此外，当观看者侧可以改变指定帧的数目X时，客户端可以根据观看者的偏好指示是否提高图像的劣化防止率，或是否执行保持图像运动平滑性(帧速率)的图像再现。

首先，图5描述了帧的情况(虽然图5中示出了7个帧，但帧的数目不限于此)，帧1正常，帧2到5异常、帧6和7正常。假设帧1和帧6是关键帧。

图5是示出了在指定帧的数目X为帧的最大数目(例如，900)的情况下，帧、正常/异常、能/不能进行插值、应用/不应用输出控制、以及输出帧之间的关系。

对于帧1(关键帧)，由于帧1正常，因此不应用输出控制，并且从帧输出单元9输出正常帧1(与第三示例性实施例的情况相同)。

对于帧2，帧2异常，能进行插值，并且帧的数目n＝4小于指定帧的数目X，因而不应用输出控制，并且从帧输出单元9输出已经由插值处理器6进行插值的帧2’(与第三示例性实施例的情况相同)。

对于帧3，帧3异常，不能进行插值，并且帧的数目n＝3小于指定帧的数目X，因而应用输出控制，保持前一输出帧2’，并从帧输出单元9输出帧2’(与第三示例性实施例的情况相同)。

对于帧4，帧4异常，并且不能进行插值。此时，已经两次判定不能进行插值。即，就第一和第二示例性实施例而言，在图2中流程图的步骤S104中判定进行输出控制，并且在步骤S105中判定所述帧不是关键帧，因而执行步骤S116，并输出已输出帧帧2’(与第三示例性实施例的情况相同)。

对于帧5，帧5异常并且不能进行插值。此时，已经三次判定不能进行插值。即，就第一和第二示例性实施例而言，在图2中流程图的步骤S104中判定进行输出控制，并且在步骤S105中判定帧不是关键帧，从而执行步骤S116，输出已输出帧帧2’(与第三示例性实施例的情况相同)。

对于帧6，由于帧6正常并且是关键帧，因此从帧输出单元9输出正常帧6(关键帧)(与第三示例性实施例的情况相同)。

对于帧7，由于帧7为正常，因此不应用输出控制，并且从帧输出单元9输出正常帧7(与第三示例性实施例的情况相同)。

[示例II]

尽管将指定帧的数目X设置在关键帧间隔范围内(即，小于等于帧的数目n)会使图像质量或多或少有所下降，但这样做可以实现保持帧运动平滑性的图像再现。

图6是示出了指定帧的数目X为2的情况下，帧、正常/异常、能/不能进行插值、应用/不应用输出控制、以及输出帧之间的关系。

对于帧1，由于帧1正常，因此不应用输出控制，并且从帧输出单元9输出正常帧1(关键帧)(与第三示例性实施例的情况相同)。

对于帧2，帧2异常，能进行插值，并且帧的数目n＝4大于指定帧的数目X，因而不应用输出控制，并且从帧输出单元9输出插值后的帧2’(与第三示例性实施例的情况相同)。

对于帧3，帧3异常，不能进行插值，并且帧的数目n＝3大于指定帧的数目X，因而根据图2的流程图直接从帧输出单元9输出异常帧3”(与第三示例性实施例的情况相同)。

对于帧4，帧4异常，并且不能进行插值。此时，已经两次判定不能进行插值。即，就第三示例性实施例而言，在图2中流程图的步骤S104中判定进行输出控制，并且在步骤S105中判定帧不是关键帧，因而执行步骤S116，直接输出已输出的异常帧帧3”(与第三示例性实施例的情况相同)。

对于帧5，帧5异常，不能进行插值，并且帧的数目n＝1小于指定帧的数目X，因而根据图2的流程图从帧输出单元9输出前一帧异常帧3”(与第三示例性实施例的情况相同)。

对于帧6，由于帧6正常，因为不应用输出控制，并且从帧输出单元9输出正常帧6(关键帧)(与第三示例性实施例的情况相同)。

对于帧7，由于帧7正常，因此不应用输出控制，并且从帧输出单元9输出正常帧7(与第三示例性实施例的情况相同)。

[示例III]

图7描述了帧1和2正常，帧3异常、帧4正常、帧5异常、帧6和7正常的情况。假设帧1和帧6是关键帧。

图7示出了指定帧的数目X为帧的最大数目(例如，900)的情况下，帧、正常/异常、能/不能进行插值、应用/不应用输出控制、以及输出帧之间的其他关系。

对于帧1，由于帧1正常，因此不应用输出控制，并且从帧输出单元9输出正常帧1(与第三示例性实施例的情况相同)。

对于帧2，由于帧2正常，因此不应用输出控制，并且从帧输出单元9输出正常帧2(与第三示例性实施例的情况相同)。

对于帧3，帧3异常，能进行插值，并且帧的数目n＝3小于指定帧的数目X，因而不应用输出控制，并且从帧输出单元9输出插值后的帧3’(与第三示例性实施例的情况相同)。

对于帧4，由于帧4正常，并且不能进行插值，因此不应用输出控制，并从帧输出单元9输出正常帧4(与第三示例性实施例的情况相同)。

对于帧5，帧5异常，不能进行插值，并且帧的数目n＝1小于指定帧的数目X，因而应用输出控制，保持先前的输出图像，并从帧输出单元9输出帧4(与第三示例性实施例的情况相同)。

对于帧6，由于帧6正常，因此不应用输出控制，并从帧输出单元9输出正常帧6(关键帧)(与第三示例性实施例的情况相同)。

对于帧7，由于帧7正常，因此不应用输出控制，并从帧输出单元9输出正常帧7(与第三示例性实施例的情况相同)。

[示例IV]

图8示出了指定帧的数目X为2的情况下，帧、正常/异常、能/不能进行插值、应用/不应用输出控制、以及输出帧之间的其他关系。

对于帧1，由于帧1正常，因此不应用输出控制，并且从帧输出单元9输出正常帧1(关键帧)(与第三示例性实施例的情况相同)。

对于帧2，由于帧2正常，因此不应用输出控制，并且从帧输出单元9输出正常帧2(与第三示例性实施例的情况相同)。

对于帧3，帧3异常，能进行插值，并且帧的数目n＝3大于指定帧的数目X，因而不应用输出控制，并从帧输出单元9输出由插值处理器6插值得到的帧3’(与第三示例性实施例的情况相同)。

对于帧4，由于帧4正常，因此不应用输出控制，并从帧输出单元9输出正常帧4(与第三示例性实施例的情况相同)。

对于帧5，帧5异常，不能进行插值，并且帧的数目n＝1小于指定帧的数目X，因而应用输出控制，保持并从帧输出单元9输出先前的输出帧4(与第三示例性实施例的情况相同)。

对于帧6，由于帧6正常，因此不应用输出控制，并从帧输出单元9输出正常帧6(关键帧)(与第三示例性实施例的情况相同)。

对于帧7，由于帧7正常，因此不应用输出控制，并从帧输出单元9输出正常帧7(与第三示例性实施例的情况相同。

在图5至8中，帧1、2、3、...表示经解码的帧，“正常/异常”表示形成解码帧1、2、3、...的分组发生是否遭到破坏或者发生丢失，“能/不能进行插值”表示在帧发生异常的情况下，是否能进行插值。“应用/不应用输出控制”表示，是在能够输出下一正常帧或插值完成帧之前输出前一输出图像，还是直接输出异常帧。此外，“输出帧”表示正常帧1、2、3、...，插值后的帧1’、2’、3’、...，异常帧1”、2”、3”、...中的一种。

这里，第一至第四示例性实施例揭示出，在指定帧的数目X大于帧的数目n的情况下，将本发明应用于图像数据异常的频率较大。

因此，乍看起来当指定帧的数目X大于帧的数目n时图像质量极好。然而，在图像数据的内容是惊悚影片或动作片的情况下，观看者期望观看关键时刻。在这种情况下，可能的优选情况是，虽然图像数据或多或少遭到破坏，但仍显示相应的帧。在观看者无论如何期望观看下一时刻内容的情况下，当再现暂停于前一场景时，会令观看者不满意。此外，由于上述场景暂停，平滑度将会降低。

因此，期望获得关键时刻而不是高图像质量的观看者可以将指定帧的数目X设置为下限。优先考虑图像质量的观看者可以将指定帧的数目X设置为帧的数目n的上限。

[工作效果]

根据本发明的效果在于，对于流传送期间接收到图像数据的异常帧，可以保持实时特性，并且即使在不能进行重传的流条件下(如多播条件下)，也可以在主观上防止输出帧质量的劣化。这是由于本发明不需要重传。

根据本发明的另一效果在于，即使在存在多个异常帧的情况下，或者在由于场景切换不能进行插值的情况下，也可以在主观上防止输出帧质量的劣化。这是由于获得了关键帧间的间隔，并对输出帧进行控制。

根据本发明的又一效果在于，对于接收端来说，可以在不依赖于诸如FEC奇偶校验等发送端规范的情况下，在主观上防止输出图像质量的劣化。这是由于当具体实现本发明时，除了所接收的数据以外不需要特别的信息或数据。

此外，提供上述实施例作为本发明的示例性优选实施例，但本发明不限于此，而可以在不背离本发明的精神和范围的前提下，以各种修改形式得以体现。例如，尽管上述实施例中已经针对流传输的情况进行了解释，但本发明不限于流媒体，相反可适用于甚至是存储器单元中的图像数据，只要图像数据的类型是可以确定异常帧出现次数的类型即可。

在存储器单元中的图像数据存在异常的情况下，不能执行与在流中进行重传相对应的重新读取/输入，因而本发明有效。

Claims (29)

1、一种再现装置，其中，当不能对通过对图像数据进行解码而获得的帧中被确认为异常的帧进行插值时，所述再现装置在能够输出正常帧之前保持已输出帧。

2、根据权利要求1所述的再现装置，包括：

第一单元，判断所述帧是否异常；

第二单元，判断是否能对通过第一单元判定为异常的帧进行插值处理；以及

第三单元，当通过第二单元判定不能进行插值处理时，保持已输出帧的输出。

3、根据权利要求2所述的再现装置，其中，当通过第二单元判定不能进行插值处理的帧存在于距后一关键帧预定帧数范围内时，第三单元保持已输出帧的输出。

4、根据权利要求2所述的再现装置，其中，当通过第二单元判定不能进行插值处理的帧并非存在于距后一关键帧预定帧数范围内时，第三单元就输出所述帧。

5、根据权利要求2所述的再现装置，其中，所述帧具有同前一帧的差分信息，并且第二单元基于所述差分信息来进行插值。

6、根据权利要求2所述的再现装置，其中，当执行保持输出已输出帧的处理时，第三单元在后一关键帧出现之前持续保持输出。

7、根据权利要求3所述的再现装置，其中，第一单元判断所述帧是否为关键帧，并且

所述装置还包括：关键帧间隔计算器，计算从所述关键帧到下一关键帧的帧间隔。

8、根据权利要求2所述的再现装置，其中，所述帧具有同前一帧的差分信息、同前一关键帧的差分信息、以及同后一关键帧的差分信息中的至少一种信息，第二单元基于所述差分信息来进行插值，并且

第三单元在能够输出正常帧之前保持输出已输出帧。

9、根据权利要求1所述的再现装置，其中，所述图像数据包括：从网络传送过来的图像数据、或从存储器介质中读出的图像数据。

10、一种再现系统，包括：

再现装置，当不能对通过对图像数据进行解码而获得的帧中被确认为异常的帧进行插值时，在能够输出正常帧之前保持已输出帧；

图像数据传送服务器，传送图像数据；以及

网络，连接至所述图像数据传送服务器。

11、根据权利要求10所述的再现系统，其中，所述再现装置包括：

第一单元，判断帧是否异常；

第二单元，判断是否能对通过第一单元判定为异常的帧进行插值处理；以及

第三单元，当通过第二单元判断不能进行插值处理时，保持已输出帧的输出。

12、一种再现方法，其中，当不能对通过对图像数据进行解码而获得的帧中被确认为异常的帧进行插值时，所述方法在能够输出正常帧之前保持已输出帧。

13、根据权利要求12所述的再现方法，包括：

判断所述帧是否异常；

判断是否能对被判定为异常的帧进行插值处理；以及

当判定不能进行插值处理时，保持输出已输出帧。

14、根据权利要求13所述的再现方法，还包括：

当判定为不能进行插值处理的帧存在于距后一关键帧预定帧数范围内时，保持已输出帧的输出。

15、根据权利要求13所述的方法，还包括：

当判定为不能进行插值处理的帧并非存在于距后一关键帧预定帧数范围内时，输出所述帧。

16、根据权利要求13所述的再现方法，其中，所述帧具有同前一帧的差分信息，并且所述插值是基于所述差分信息执行的。

17、根据权利要求13所述的再现方法，其中，当已执行保持输出已输出帧的处理时，在后一关键帧出现之前持续保持所述输出。

18、根据权利要求14所述的再现方法，还包括：

判断所述帧是否为关键帧；以及

计算从所述关键帧到下一关键帧的帧间隔。

19、根据权利要求13所述的再现方法，其中，所述帧具有同前一帧的差分信息、同前一关键帧的差分信息、以及同后一关键帧的差分信息中的至少一种信息，并且所述方法还包括：

基于所述差分信息进行插值；以及

在能够输出正常帧之前保持已输出帧的输出。

20、根据权利要求12所述的再现方法，所述图像数据是从网络传送过来的图像数据、或从存储器介质读出的图像数据。

21、一种记录程序的记录介质，所述程序用于使计算机执行以下处理：当不能对通过对图像数据进行解码而获得的帧中被确认为异常的帧进行插值时，在能够输出正常帧之前保持已输出帧。

22、根据权利要求21所述的记录程序的记录介质，其中，所述程序还使计算机执行以下处理：

在第一单元处，判断所述帧是否异常；

在第二单元处，判断是否能对通过第一单元判定为异常的帧进行插值处理；以及

在第三单元处，当通过第二单元判定不能进行插值处理时，保持已输出帧的输出。

23、根据权利要求22所述的记录程序的记录介质，其中，所述程序还使计算机执行以下处理：当通过第二单元判定不能进行插值处理的帧存在于距后一关键帧预定帧数范围内时，在第三单元处保持已输出帧的输出。

24、根据权利要求22所述的记录程序的记录介质，其中，所述程序还使计算机执行以下处理：当通过第二单元判定不能进行插值处理的帧并非存在于距后一关键帧预定帧数范围内时，在第三单元处输出所述帧。

25、根据权利要求22所述的记录程序的记录介质，其中，所述帧具有同前一帧的差分信息，并且所述程序还使计算机在第二单元处基于所述差分信息来进行插值处理。

26、根据权利要求22所述的记录程序的记录介质，其中，所述程序还使计算机执行以下处理：当已执行保持输出已输出帧的处理时，在第三单元处后一关键帧出现之前持续保持所述输出。

27、根据权利要求23所述的记录程序的记录介质，其中，所述程序还使计算机执行以下处理：

在第一单元处，判断所述帧是否为关键帧；以及

在关键帧间隔计算器处，计算从所述关键帧到下一关键帧的帧间隔。

28、根据权利要求22所述的记录程序的记录介质，其中，所述帧具有同前一帧的差分信息、同前一关键帧的差分信息、以及同后一关键帧的差分信息中的至少一种信息，所述程序使计算机执行以下处理：

在第二单元处，基于所述差分信息进行插值；以及

在第三单元处，在能够输出正常帧之前保持已输出帧的输出。

29、根据权利要求21所述的记录程序的记录介质，其中，所述图像数据包括：从网络传送过来的图像数据、或从存储器介质读出的图像数据。

Images