CN1574944A - 动态图像解码装置 - Google Patents

Abstract

提供一种动态图像解码装置，通过输入输出接口(11)将多重化数据(100)存放到蓄积存储器(13)(步骤ST1)，分离编码动态图像数据并存放到蓄积存储器(步骤ST2)。根据多重化数据取得帧信息并存放到蓄积存储器(步骤ST3)。根据差分帧数N、正反播放速度信息(200)取得对应倒带播放时的播放速度的倍率Dusr、对应动态图像解码装置常规播放时的解码速度的最大解码速度的倍率Dmax(步骤ST11～步骤ST13)，求得能进行解码的差分帧的范围m(步骤ST14)，至少选择这些差分帧中的1个(步骤ST15)。根据存放的编码动态图像数据解码基准帧及被选择的差分帧并输出到显示装置。这样能进行流畅的倒带播放。

Description

动态图像解码装置

技术领域

本发明涉及一种对被编码的动态图像数据进行解码的装置，特别涉及对编码动态图像数据的倒带播放进行控制。

背景技术

现在，随着信息技术的发展，能欣赏到根据MPEG标准等压缩保存在蓄积介质中的声音、动态图像(映像)的播放。MPEG标准是指把动态图像数据编码为基准帧和差分帧的编码标准。对这样数据构造的编码动态图像数据进行解码并显示的动态图像数据解码装置，遵从用户指示，支持快进或倒带等特殊播放是对内容进行简单快速检索的重要功能。采用MPEG标准压缩动态图像时，为快速显示，由于必须有比对应动态图像数据的平均位速率更高的位速率的动态图像解码装置，从成本上讲并不优选。因此，有必要提供一种能保持一定的显示位速率的特殊播放方法。

现有技术利用动态图像解码装置进行倒带播放时，只对根据MPEG标准压缩编码的动态图像数据中的基准帧进行解码，根据时间轴上的未来存在顺序进行显示。

专利文献1：特开昭63-310293号公报。

但是，当只显示基准帧时，因为要跳过基准帧间存在的差分帧进行显示，要得到流畅的倒带播放显示存在困难。

此外，在基准帧的间隔变长、基准帧间含有很多差分帧的场合，因为显示倒带播放时要跳过的差分帧增加了，所以要检索到用户需要的帧很困难。

发明内容

本发明的目的在于提供一种能进行流畅的倒带播放的动态图像解码装置。

依据本发明的动态图像解码装置，对编码动态图像数据进行解码。编码动态图像数据包括帧信息、第1基准帧、第2基准帧、和多个差分帧。帧信息包括在编码动态图像数据中包含的帧的表示在时间轴上排列的信息。第1基准帧是被帧内预测编码的数据。第2基准帧是被帧内预测编码并且在时间轴上存在于第1基准帧之未来的数据。多个差分帧是在时间轴上存在于第1基准帧与第2基准帧之间并且根据第1基准帧被帧间预测编码的数据。动态图像解码装置具有常规播放模式及倒带播放模式。动态图像解码装置包括解析部、解码部、输出部。解析部选择多个差分帧中的至少一个。解码部对由解析部选择的差分帧、和第1基准帧及第2基准帧进行解码。输出部，在倒带播放模式时，根据帧信息，将由解码部解码的差分帧、第1基准帧、第2基准帧按照在时间轴上存在于未来的帧开始的顺序，即按照第2基准帧、差分帧、第1基准帧的顺序，输出到显示装置。

在上述动态图像解码装置中，处于倒带播放模式时，第2基准帧与第1基准帧之间至少插入1个差分帧后输出到显示装置。因此，输出到显示装置的帧数比只输出解码后的基准帧的情况多。这样，同只选择基准帧进行显示的情况相比，能得到流畅的倒带播放图像。

作为优选，上述动态图像解码装置还包括分离部。分离部从AV数据中分离出编码动态图像数据。AV数据按照给定文件格式(多重化标准)将编码动态图像数据多重化。

作为优选，上述给定文件格式是AFS或者MP4。

作为优选，上述解析部，在倒带播放模式时，在从输出部应向显示装置输出的时刻之前可以根据第1基准帧进行解码的差分帧中选择至少一个。

倒带播放模式时，即使差分帧被解码部解码，如果差分帧的解码完成赶不上应向显示装置输出的时刻，该差分帧不能向显示装置输出。即，尽管由解码部对差分帧进行了解码，但不能由输出部输出该差分帧，存在不能流畅进行倒带播放的情况。

在上述动态图像解码装置中，解析部在根据第1基准帧解码的差分帧中，选择解码完成比应向显示装置输出的时刻早的差分帧。

作为优选，上述动态图像解码装置还包括缓冲器。缓冲器保存由解码部解码的差分帧。并且上述输出部，在倒带播放模式时，根据帧信息，将保存在缓冲器中的差分帧、由解码部解码的第1以及第2基准帧按照在时间轴上存在于未来的帧开始顺序输出到显示装置。

解码部的处理速度比输出部的处理速度快时，解码部必须在输出部的处理结束之前待机。因此，存在解码器的处理停滞的情况。

在上述动态图像解码装置中，缓冲器保存了被解码器解码的解码动态图像数据后，向输出部传递动态图像数据。这样，缓冲器在解码部和输出部之间缓冲了解码部的处理速度和输出部的处理速度。使解码部的处理能不停滞地进行。

作为优选，上述解码部，将从在常规播放模式中被解码的差分帧中由解析部选择的差分帧保存到缓冲器。

在上述动态图像解码装置中，在倒带播放模式时，上述解码部不对差分帧解码，只对基准帧解码。输出部输出由解码部解码的基准帧及保存在缓冲器中的差分帧。

如上所述，在上述动态图像解码装置中，解码部在倒带播放模式时没有必要每次对差分帧解码，只对基准帧解码即可，所以可以减少处理负荷，进行流畅的倒带播放。

作为优选，上述解码部，根据缓冲器内保存的差分帧解码其它的差分帧。并且上述输出部，在倒带播放模式时，根据帧信息，将保存在缓冲器中的差分帧、由解码部解码的其它差分帧以及第1、第2基准帧按照在时间轴上存在于未来的帧开始顺序输出到显示装置。

在上述动态图像解码装置中，解码部在倒带播放模式时，根据缓冲器内保存的差分帧解码其它的差分帧。所以输出部输出的帧数比不进行这样的解码时多。此外，应该输出到显示装置的差分帧数在相同情况下可以比不进行上述解码时应该保存在缓冲器的差分帧数少。

如上所述，在上述动态图像解码装置中，因为增加了输出到显示装置的帧数，所以能进行流畅的倒带播放。或者说，因为减少了缓冲器中保存的差分帧数，能减少缓冲器的存储容量。

作为优选，上述编码动态图像数据还包含第3基准帧、多个差分帧。第3基准帧是被帧内预测编码并且在时间轴上存在于第1基准帧之过去的数据。多个差分帧是在时间轴上存在于第3基准帧与第1基准帧之间并且根据第3基准帧被帧间预测编码的数据。上述解析部从第3基准帧和第1基准帧之间存在的多个差分帧中选择至少一个。上述解码部与由输出部向显示装置的输出处理并行，对由解析部选择的差分帧进行解码(存在于第3基准帧和第1基准帧之间的差分帧)。

在上述动态图像解码装置中，解码部，与由输出部向显示装置输出的期间并行，对下一步由输出部向显示装置输出所需要的差分帧(由解析部选择的、在第3基准帧与第1基准帧之间存在的差分帧)进行解码。这样，与没有并行进行解码时相比，缓冲器内事先保存较少的差分帧数即可。

如上所述，在上述动态图像解码装置中，能根据在缓冲器内保存的差分帧数的减少来减小缓冲器的存储容量。

作为优选，上述解码部，对解码后的差分帧降低其分辨率后保存到缓冲器中。上述输出部将保存在缓冲器中的差分帧放大后输出到显示装置。

在上述动态图像解码装置中，解码部对解码后的差分帧降低其分辨率后保存到缓冲器中。这样，与没有降低分辨率时相比，缓冲器能保存更多的差分帧。与没有降低分辨率时相比，输出部增加了向显示装置输出的帧数。这时，虽然会发生图像的凌乱，但通过增加了显示的帧数，在倒带播放模式时显示出用户希望的瞬间帧的可能性提高，用户对动态图像的场景检索变得容易。

作为优选，上述解码部对解码后的差分帧降低其分辨率后保存到缓冲器中。并且上述输出部将保存在缓冲器中的差分帧和由解码部解码的差分帧放大后输出到显示装置。

在上述动态图像解码装置中，解码部在常规播放模式时将降低分辨率的差分帧保存到缓冲器。然后，在倒带播放模式时，解码部把根据缓冲器内保存的差分帧对新的其它差分帧解码。根据在缓冲器内保存的差分帧解码的新的其它差分帧的分辨率低。输出部输出这些被上述解码部解码的帧时，放大分辨率低的帧输出到显示装置。与新的其它差分帧没有被解码相比，虽然会发生图像的凌乱，但通过增加了显示的帧数，在倒带播放模式时显示出用户希望的瞬间帧的可能性提高，用户对动态图像的场景检索变得容易。

作为优选，上述解码部将解码后的差分帧降低其分辨率后保存到缓冲器中。并且上述解码部将保存在缓冲器中的差分帧放大后，用其对其它差分帧进行解码。

在上述动态图像解码装置中，解码部在常规播放模式时将降低分辨率的差分帧保存到缓冲器。然后，在倒带播放模式时，解码部将缓冲器内保存的差分帧放大后，根据该差分帧对新的其它差分帧解码。根据放大后的差分帧解码的新的差分帧的分辨率低。上述输出部输出这些被上述解码部解码的帧。与新的其它差分帧没有被解码相比，虽然会发生图像的凌乱，但通过增加了显示的帧数，在倒带播放模式时显示出用户希望的瞬间帧的可能性提高，用户对动态图像的场景检索变得容易。

作为优选，上述解码部，当从倒带播放模式切换到常规播放模式时，根据正在显示装置上显示的差分帧的基准帧，对该差分帧进行重新解码。

在倒带播放模式中分辨率低的差分帧正在显示装置上显示时，中断倒带播放模式而切换到常规播放模式，对差分帧进行解码时，不是根据第1基准帧进行而是根据正在显示装置上显示的分辨率低的差分帧进行。这样，新的被解码的差分帧变为低分辨率、在图像显示凌乱的情况下进行常规播放。

而在上述动态图像解码装置中，解码部从倒带播放模式切换到常规播放模式时，正在显示装置上显示的差分帧根据第1基准帧进行重新解码。这样，正在显示装置上显示的差分帧恢复到原来的分辨率。其结果，可以在图像显示不会出现凌乱的情况下进行常规播放。

附图说明

图1表示本发明第1实施方式的动态图像播放系统整体构成的框图。

图2表示图1中动态图像播放系统的常规播放处理顺序流程图。

图3表示多重化数据的一例。

图4表示编码动态图像数据的一例。

图5表示帧信息的一例。

图6表示图1中动态图像播放系统的倒带播放处理顺序流程图。

图7表示算出图6中可能选择的差分帧的极限帧数m的顺序的一例。

图8表示图6中对编码动态图像数据进行解码的顺序的一例。

图9表示图6中的编码动态图像数据存储到帧缓冲器的顺序的一例。

图10表示图6中存储到帧缓冲器的编码动态图像数据输出到显示器的顺序的一例。

图11表示算出图6中可能选择的差分帧的极限帧数m的顺序的一具体例。

图12表示图6中数据变化的一具体例。

图13表示本发明第2实施方式的动态图像播放系统的常规播放处理顺序流程图。

图14表示图13中数据变化的一例。

图15表示本发明第2实施方式的动态图像播放系统中的倒带播放处理顺序流程图。

图16表示图15中数据变化的一例。

图17表示本发明第3实施方式的动态图像播放系统中的倒带播放处理顺序流程图。

图18表示图17中数据变化的一例。

图19表示本发明第4实施方式的动态图像播放系统中的倒带播放处理顺序流程图。

图20表示图19中数据变化的一例。

图21表示本发明第5实施方式的动态图像播放系统中的常规播放处理顺序流程图。

图22表示本发明第5实施方式的动态图像播放系统中的倒带播放处理步骤的流程图。

图23表示图22中数据变化的一例。

图24表示本发明第6实施方式的动态图像播放系统的倒带播放处理顺序流程图。

图25表示图24中数据变化的一例。

图26表示本发明第7实施方式的动态图像播放系统中的倒带播放处理顺序的流程图。

图27表示图26中数据变化的一例。

图28表示本发明第8实施方式的动态图像播放系统中的倒带播放处理顺序流程图。

图29表示图28中数据变化的一例。

图中：1-动态图像解码装置，2-显示装置，11、15-输入输出接口，12-CPU，13-蓄积存储器，14-帧缓冲器，100-多重化数据，200-正反播放速度信息。

具体实施方式

下面，参照附图，说明本发明的优选实施方式。对图中使用同一符号的相同或相似部分不进行重复说明。

(第1实施方式)

图1是表示第1实施方式的动态图像播放系统整体构成的框图。该系统对多重化数据100中包含的编码动态图像数据进行播放处理(常规播放、特殊播放)。该系统包括动态图像数据解码装置1、显示装置2。动态图像数据解码装置1包括输入输出接口11、15、CPU12、蓄积存储器13、帧缓冲器14。

输入输出接口11对从外部输入的多重化数据100进行输入处理。

CPU12进行多重化数据的解析、帧信息的取得、编码动态图像数据的解码、以及根据正反播放速度信息200的整体控制。正反播放速度信息200表示用户指定的播放方向以及播放速度。

蓄积存储器13存储多重化数据100、帧信息以及编码动态图像数据。

帧缓冲器14存储被解码的动态图像数据。

输入输出接口15把帧缓冲器14内存储的解码动态图像数据输出到显示装置2。

其次，说明图1表示的动态图像播放系统的动作。在这里说明常规播放处理及倒带播放处理。

(常规播放处理)

在正反播放速度信息200表示的播放方向是正方向(前向)、播放速度是1倍(标准速度)时，成为常规播放模式，系统进行常规播放处理。以下，参照图2说明常规播放处理。

(步骤ST1)

通过输入输出接口11把多重化数据100输入到动态图像解码装置1。图3是表示多重化数据100的一例。多重化数据100是指根据ASF、MP4等多重化标准(文件格式)使帧信息、编码动态图像数据、编码声音·音频数据、编码文本数据等按帧单位被多重化的数据(AV数据)。

(步骤ST2)

CPU12把编码动态图像数据从多重化数据100中分离。被分离的编码动态图像数据被保存在蓄积存储器13中。图4是表示编码动态图像数据的一例。编码动态图像数据根据MPEG标准编码。编码动态图像数据有含基准帧I1、I2、…和差分帧P1、P2、…。基准帧I1、I2、…是帧内预测编码的数据。差分帧P1、P2、…是根据基准帧I1、I2被前向帧间预测编码的数据。图4的例中，基准帧之间的差分帧数是14。差分帧P1～P14是根据基准帧I1被前向帧间预测编码的数据，差分帧P15～P28是根据基准帧I2被前向帧间预测编码的数据。

(步骤ST3)

CPU12从多重化数据100中取得帧信息保存到蓄积存储器13中。图5是表示帧信息的一例。帧信息包括帧编号、帧属性、数据位置、显示时刻。帧编号·帧属性·数据位置·显示时刻针对在动态图像数据包含的各帧进行设置。帧编号表示此帧是从起始帧开始的第几帧。帧属性是表示此帧是基准帧(I)还是差分帧(P)。数据位置是指被此帧的数据包含的位置(从起始开始的第几字节)。显示时刻被称做Presentation TimeStamp(PTS)，是为了与AV同步的显示计时信息，表示帧应该显示的时刻。在图5所示帧信息中，时间轴上越是过去存在的帧显示时刻值越小，时间轴上越是未来存在的帧显示时刻值越大。

(步骤ST4)

CPU12解码蓄积存储器13内存储的编码动态图像数据。对于基准帧，只采用其编码数据，解码帧数据。对于差分帧，则采用与以前被解码的帧数据之间的差分数据，解码帧数据。

(步骤ST5)

在步骤ST4被解码的帧数据被依次保存到帧缓冲器14。

(步骤ST6)

输入输出接口15把存储在帧缓冲器14内的帧数据从帧信息的显示时刻值小的帧开始依次输出到显示装置2。显示装置2把输入输出接口15输出的帧数据显示到画面上。

(倒带播放处理)

正反播放速度信息200表示的播放方向是反方向时，系统成为倒带播放模式，进行倒带播放处理。以下，参照图6说明倒带播放处理。

(步骤ST1)

通过输入输出接口11把多重化数据100输入到动态图像解码装置1。

(步骤ST2)

CPU12把编码动态图像数据从多重化数据100中分离，被分离的编码动态图像数据被存放到蓄积存储器13。

(步骤ST3)

CPU12从多重化数据100中取得帧信息保存到蓄积存储器13。

(步骤ST11)

CPU12参照蓄积存储器13存储的帧信息，取得基准帧之间存在的差分帧的帧数N。

(步骤ST12)

CPU12从正反播放速度信息200中取得在倒带播放时的常规播放速度倍率Dusr。

(步骤ST13)

CPU12取得在动态图像解码装置1的常规播放时对应解码速度可能得到的最大编码速度的倍率Dmax、以及基准帧间存在的N帧差分帧按照常规播放时的解码速度被全部解码时所花时间T。

(步骤ST14)

CPU12根据从步骤ST11到ST13取得的信息，算出倒带播放时能进行解码的差分帧的极限帧数m。

以下参照图7说明算出倒带播放时能进行解码的差分帧的极限帧数m的方法。

假定从基准帧I1开始的第m帧的差分帧Pm在基准帧I2之后显示。差分帧Pm在实际解码时所花时间Td，可以采用动态图像数据解码装置1在常规播放时对应解码速度可能的最大解码速度的倍率Dmax、基准帧之间存在的差分帧的帧数N、基准帧之间存在的N帧差分帧按照常规播放时的解码速度被全部解码时所花时间T、从基准帧I1开始到希望指定的差分帧Pm的帧数m，按照式1表示。

(式1)

$\mathrm{Td}=\frac{T\×m}{N\×D\max }$

倒带播放时，从基准帧I2的显示时刻开始到差分帧Pm的显示时刻结束的时间Tp，可以采用正反播放速度信息200中用户指示的倒带速度对应的常规播放速度的倍率Dusr、基准帧之间存在的差分帧的帧数N、基准帧之间存在的N帧差分帧按照常规播放时的解码速度被全部解码时所花时间T、从基准帧I1开始到希望指定的差分帧Pm的帧数m，按照式2表示。

(式2)

$\mathrm{Tp}=\frac{T\×(N-m)}{N\×\mathrm{Dusr}}$

因为基准帧I2之后的差分帧Pm在应该显示的时刻前必须结束对差分帧Pm的解码，所以式3所示关系必须成立。

(式3)

Td≤Tp

因此，根据式1～式3，得到式4。

(式4)

$\mathrm{Td}=\frac{T\×m}{N\×D\max }\≤\mathrm{Tp}=\frac{T\×(N-m)}{N\×\mathrm{Dusr}}$

根据式4，可以得到差分帧的极限帧数m，如式5所示。

(式5)

$m\≤\frac{N\×D\max }{D\max +\mathrm{Dusr}}$

根据以上方法算出倒带播放时能进行解码的差分帧的极限帧数m。

(步骤ST15)

CPU12选择根据步骤ST14算出的极限帧数m范围内的差分帧Px(P1≤Px≤Pm)中的至少1帧(参照图7)。

(步骤ST16)

CPU12把蓄积存储器13存储的编码动态图像数据进行解码。如图8所示，对基准帧全部解码，对差分帧从差分帧P1到步骤ST15选择的差分帧Px进行解码。

(步骤ST17)

如图9所示，CPU12把基准帧的解码数据和步骤ST15选择的差分帧Px的解码数据保存到帧缓冲器14。

(步骤ST18)

输入输出接口15把帧缓冲器14存放的解码数据输出到显示装置2。参照步骤ST3取得的帧信息中含有的显示计时信息及正反播放速度信息200，从显示时刻值大的开始顺次输出。如图10所示，按照基准帧I2的解码数据、差分帧Px的解码数据、基准帧I1的解码数据的顺序依次输出。

以下，举例说明从步骤ST11到步骤ST18的处理。

首先，在步骤ST11到步骤ST13中，如图11所示，对应动态图像解码装置1在常规播放时的解码速度可能的最大解码速度的倍率Dmax是5倍。(Dmax＝5)，用户指示的倒带速度的常规播放速度的倍率Dusr是2倍。(Dusr＝2)，被抽出的基准帧之间存在的差分帧的帧数N是14帧(N＝14)。

步骤ST14中，在式5中代入这些值后，得到式6。

(式6)

m≤(14×5)/(5+2)＝10

根据式6，如图11所示，倒带播放时能解码的差分帧的极限帧数m是10帧(m＝10)。即到第10帧(P10)为止能进行差分图像的解码。此外，因为差分画像的帧数是14帧，有4帧差分画像(P11～P14)没有显示。在动态图像解码中，如果没有显示的差分画像帧数为一定，能得到更加顺畅的图像，CPU12参照帧信息中的帧位置及显示时刻，选择按一定间隔显示差分画像的差分帧。如图12所示，在步骤ST15可能选择的10帧中选择差分帧P5及差分帧P10。

在步骤ST16，按照基准帧I2、基准帧I1的顺序解码。以基准帧I1为基础解码差分帧P1～P10。

在步骤ST17，步骤ST16解码的帧数据中，基准帧I2的解码数据、基准帧I1的解码数据、步骤ST15选择的差分帧P5及P10的解码数据被存储到帧缓冲器14。

在步骤ST18，参照步骤ST3取得的帧信息中含有的显示计时信息及正反播放速度信息200，按照基准帧I2的解码数据、差分帧P10的解码数据、差分帧P5的解码数据、基准帧I1的解码数据的顺序输出到显示装置2。

在以上的第1实施方式中，倒带播放时不只对基准帧解码显示，至少对基准帧之间存在的差分帧中的1帧解码并在基准帧之间显示，所以增加了倒带播放时显示的帧数，得到顺畅的倒带播放画像。

倒带处理时，从步骤ST11到步骤ST13，取得相对动态图像解码装置1在常规播放时的解码速度可能的最大解码速度的倍率Dmax，用它算出极限帧数m。这样可以使极限帧数m最大。也可以用比最大的倍率Dmax小的值代替最大的倍率Dmax算出极限帧数m。但是，这样算出的极限帧数m比用Dmax算出的小。

此外，倒带处理时，例如在步骤ST15中选择差分帧P5及P10，是因为如果显示时帧间隔为一定，则可以得到更顺畅的倒带播放画像。

(第2实施方式)

第2实施方式的动态图像播放系统的整体构成图与图1相同，但CPU12的动作不同。

参照图13及图14说明第2实施方式的动态图像播放系统中的常规播放处理。

(常规播放处理)

(步骤ST1～步骤ST5)

与第1实施方式相同，常规播放时从步骤ST1到步骤ST5的处理是把解码动态图像数据(帧数据)保存到帧缓冲器14。

(步骤ST3、步骤ST11～步骤ST15)

第1实施方式中进行倒带播放的步骤ST3、以及从步骤ST11到步骤ST15的处理是选择差分帧Px。

(步骤ST21)

CPU12把帧缓冲器14内存储的帧中的、步骤ST15选择的差分帧Px输出后仍保存到帧缓冲存储器14。在第1实施方式中，为有效使用帧缓冲器14中的存储器，帧缓冲器14存储的帧输出后从帧缓冲器14中消去，不断在帧缓冲器14内存储新的帧。

(步骤ST6)

与第1实施方式同样，进行常规播放的步骤ST6。被保存的差分帧Px的解码数据留在帧缓冲器内。

参照图15及图16说明倒带播放处理。

(倒带播放处理)

(步骤ST1、步骤ST2)

在步骤ST1及步骤ST2进行的处理与第1实施方式相同。

(步骤ST31)

CPU12把步骤ST2得到的编码动态图像数据中的基准帧I1、I2解码。

(步骤ST32)

CPU12把被步骤31解码的基准帧I1、I2保存到帧缓冲器14。差分帧Px的解码数据已经被步骤ST21(常规播放时)保存到帧缓冲器14。

(步骤ST33)

输入输出接口15参照帧信息中包含的显示计时信息以及正反播放速度信息200把帧缓冲器14内的解码数据(基准帧I1、I2的解码数据、已经被存储的差分帧Px的解码数据)按照显示时间从大到小的顺序输出到显示装置2。显示装置2按照基准帧I2、差分帧Px、基准帧I1的顺序显示(倒带播放显示)在画面上。

因为常规播放时差分帧Px保存在帧缓冲器14内，倒带播放时显示的差分帧Px的解码处理不必在倒带时进行。这样，与第1实施方式相比能减少CPU12的处理负担，同时能得到第1实施方式的效果。

(第3实施方式)

第3实施方式的动态图像播放系统的整体构成图与图1相同，但CPU12的动作不同。此外，第3实施方式在第2实施方式的倒带播放处理中，根据保存在帧缓冲器14内的差分帧对其它的新的差分帧进行解码处理。

参照图13及图18说明第3实施方式的动态图像播放系统中的常规播放处理。

(常规播放处理)

与第2实施方式的处理相同，在步骤ST2把差分帧Px保存到帧缓冲器14。

参照图17及图18说明在第3实施方式的动态图像播放系统中的倒带播放处理。

(倒带播放处理)

(步骤ST1、步骤ST2)

在步骤ST1及步骤ST2进行的处理与第1实施方式相同。

(步骤ST3、步骤ST11～步骤ST15)

与第1实施方式相同，到步骤ST15为止的处理是选择差分帧P2、Px、Pz。

(步骤ST41)

CPU12把在步骤ST2保存的编码动态图像数据解码。被解码的差分帧有根据基准帧I1解码的P2和根据保存在帧缓冲器14内的差分帧Px解码的Pz。步骤ST15选择的差分帧Px在常规播放时被解码，在步骤ST21已经被保存到帧缓冲器14。

(步骤ST42)

CPU12把解码的帧数据保存到帧缓冲器14。基准帧I2、I1的解码数据全部被保存，差分帧的解码数据只保存了步骤ST15选择的差分帧P2、Px、Pz的解码数据。

(步骤ST43)

输入输出接口15把帧缓冲器14保存的帧数据参照帧信息含有的显示计时信息及正反播放速度信息200，按照基准帧I2、差分帧Pz、差分帧Px、差分帧P2、基准帧I1的顺序输出到显示装置2。

这样，因为根据常规播放时保存在帧缓冲器14内的差分帧Px及基准帧I1对新的其它差分帧Pz、P2在倒带播放时进行解码，所以常规播放时保存在帧缓冲器14内的差分帧数即使与第2实施方式相等也增加了显示的帧数，与第2实施方式相比，能得到更加顺畅的倒带播放(上述例中只增加了差分帧P2、Pz)。此外，即使与第2实施方式显示的帧数相等，减少保存在帧缓冲器14内的差分帧数能减小帧缓冲器14的必要的存储容量。例如上述例中，第2实施方式在常规播放时必须把3个差分帧P2、Px、Pz保存到帧缓冲器14。与之相比，第3实施方式只要保存1个差分帧Px。

(第4实施方式)

第4实施方式的动态图像播放系统的整体构成图与图1相同，但CPU12的动作不同。此外，第4实施方式在第2实施方式的倒带播放处理中，用保存在帧缓冲器14的差分帧进行倒带播放显示时，为下一步显示必须同时对必要的差分帧进行解码处理。

参照图13及图20说明第4实施方式的动态图像播放系统中的常规播放处理。

(常规播放处理)

与第2实施方式的处理相同，在步骤ST21的处理中把差分帧Px保存到帧缓冲器14。

参照图15、图19及图20说明在第4实施方式的动态图像播放系统中的倒带播放处理。

(倒带播放处理)

与第2实施方式相同，进行步骤ST1、步骤ST2、步骤ST31、步骤ST21、步骤ST32，步骤ST33的处理(图1 5所示处理)，把基准帧I2、差分帧Px、基准帧I1依次输出到显示装置2。

另一方面同时进行以下处理(图19所示处理)

(步骤ST1、步骤ST2、步骤ST31)

首先，与第2实施方式相同，进行步骤ST1、步骤ST2、步骤ST31的处理，解码基准帧I3。

(步骤ST3、步骤ST11～步骤ST15)

与第2实施方式相同，进行直到步骤ST15的处理，选择差分帧PA。

(步骤ST51)

其次，CPU12采用在步骤ST31被解码的基准帧I3解码在步骤ST15被选择的差分帧PA。

(步骤ST21)

其次，CPU12把在步骤ST31被解码的基准帧I3和差分帧中在步骤ST15被选择的差分帧PA保存到帧缓冲器14。

以上的处理和对显示装置2的输出同时进行。即，第2实施方式的倒带播放(参照图15)时进行上述处理。

这样，在进行把基准帧I2、差分帧Px、基准帧I1输出到显示装置2的处理的期间，进行基准帧I3、差分帧PA的解码，向帧缓冲器14的保存。

另一方的处理(图15所示处理)的步骤ST33如下进行。

(步骤ST33)

在步骤ST33的处理中，基准帧I2、差分帧Px、基准帧I1被输出到显示装置2后，输入输出接口15把新存储到帧缓冲器14的解码动态图像数据(基准帧I3、差分帧PA)参照帧信息含有的显示计时信息及正反播放速度信息20从显示时刻值大的开始(基准帧I1之后差分帧PA、基准帧I3的顺序)顺次输出。

这样，因为在输出帧缓冲器14内保存的帧的同时，为下一步显示对必要的差分帧进行解码，所以保存在帧缓冲器14内的差分帧数可以少一些，与第2实施方式相比可以减小帧缓冲器14的存储容量。

(第5实施方式)

第5实施方式的动态图像播放系统整体构成图与图1相同，但CPU12的动作不同。在第5实施方式中，常规播放时，差分帧保存到帧缓冲器14时，降低该差分帧的分辨率进行保存，倒带播放时把降低了分辨率的差分帧放大显示，输出到显示装置2。

下面，参照图21及图23说明第5实施方式的动态图像播放系统中的常规播放处理。

(常规播放处理)

(步骤ST1～步骤ST5)

首先，与第2实施方式相同，常规播放时进行从步骤ST1到步骤ST5的处理，把解码动态图像数据存储到帧缓冲器14。

(步骤ST3、步骤ST11～步骤ST15)

另一方，与第2实施方式相同，进行直到步骤ST15的处理，选择差分帧Px。

(步骤ST61)

其次，CPU12把帧缓冲器14内存储的帧中被步骤ST15选择的差分帧Px输出后仍然保存在帧缓冲器14内。保存到帧缓冲器14时，差分帧Px的分辨率降低后被保存。

(步骤ST6)

其次，与第2实施方式相同，进行步骤ST6的处理。这时，只有在步骤ST15选择的差分帧Px留存在帧缓冲器14内。

其次，参照图22及图23说明第5实施方式的动态图像播放系统中的倒带播放处理

(倒带播放处理)

(步骤ST1、步骤ST2、步骤ST31)

首先，与第2实施方式相同，进行步骤ST1、步骤ST2、步骤ST31的处理，解码基准帧I2、I1。

(步骤ST62)

其次，在步骤ST31中解码的基准帧I2、I1被存储到帧缓冲器14。帧缓冲器14内已经存储了在步骤ST61中(常规播放时)的差分帧Px的解码数据(分辨率低的帧)

(步骤ST63)

其次，CPU12把保存在帧缓冲器14内的差分帧Px的解码数据放大。

(步骤ST33)

其次，在步骤ST33，参照帧信息含有的显示计时信息及正反播放速度信息200把帧缓冲器14内的解码动态图像数据(基准帧I2、I1及差分帧Px)按照显示时刻值从大到小的顺序(基准帧I2、差分帧Px、基准帧I1的顺序)顺次输出。差分帧Px在步骤ST63被放大后输出。

这样，常规播放时差分帧降低了分辨率后保存到帧缓冲器14，所以与第2实施方式相比，在帧缓冲器14内能保存更多的差分帧数(当帧缓冲器14的容量相同时)。虽然因为把降低了分辨率的帧放大后显示，在显示装置2显示的画像产生凌乱，但通过增加显示帧数，提高了倒带播放时显示用户需求的瞬间帧的可能性。对用户来说，轻松地进行动态图像的场面检索成为可能。

(第6实施方式)

第6实施方式的动态图像播放系统整体构成图与图1相同，但CPU12的动作不同。在第6实施方式中，差分帧保存到帧缓冲器14时，降低差分帧的分辨率进行保存，在倒带播放时根据帧缓冲器14内保存的降低了分辨率的差分帧解码新的其它差分帧，放大这些降低了分辨率的差分帧，输出到显示装置2。

下面，参照图21及图25说明第6实施方式的动态图像播放系统中的常规播放处理。

(常规播放处理)

进行与第5实施方式相同的处理，在步骤ST61差分帧Px的解码数据(分辨率低的帧)被保存到帧缓冲器14。

下面，参照图24及图25说明第6实施方式的动态图像播放系统中的倒带播放处理。

(倒带播放处理)

(步骤ST1、步骤ST2)

首先，与第3实施方式相同、进行步骤ST1、步骤ST2的处理。

(步骤ST3、步骤ST11～步骤ST15)

其次，与第3实施方式相同，进行直到步骤ST15的处理、选择差分帧P2、Px、Pz。

(步骤ST41)

其次，与第3实施方式相同，进行步骤ST41的处理，根据在步骤ST2保存的解码动态图像数据对基准帧I1解码，根据解码基准帧I1解码步骤ST15选择的差分帧P2。同时，CPU12根据在步骤ST61(常规播放时)保存在帧缓冲器14内的解码差分帧Px对在步骤ST15选择的差分帧Pz解码。即，差分帧包括根据基准帧I1解码的差分帧P2及根据降低了分辨率的解码差分帧Px解码的差分帧Pz。

(步骤ST42)

其次，与第3实施方式相同，进行步骤ST42的处理，被解码的基准帧I2和I1、根据基准帧I1解码的差分帧P2以及根据降低了分辨率的解码差分帧Px解码的差分帧Pz被存储到帧缓冲器14。

(步骤ST63)

其次，与第5实施方式相同，进行步骤ST63的处理，放大被降低了分辨率的解码差分帧Px、Pz。即，常规播放时保存在帧缓冲器14内的解码差分帧Px和根据解码差分帧Px解码的差分帧Pz被放大。

(步骤ST43)

其次，与第3实施方式相同，进行步骤ST43的处理，帧缓冲器14内的解码动态图像数据参照帧信息中包含的显示计时信息及正反播放速度信息200按照显示时刻值从大到小的顺序(基准帧I2、差分帧Pz、差分帧Px、差分帧P2、基准帧I1的顺序)输出到显示装置2。

这样，差分帧降低分辨率保存到帧缓冲器14，因为根据帧缓冲器14内保存的差分帧对新的其它差分帧在倒带播放时解码，所以即使保存在帧缓冲器的差分帧数和第5实施方式相等，因为显示的帧数增加了，与第5实施方式相比，能进行更顺畅的倒带播放。此外，即使与第5实施方式显示的帧数相等，减少保存在帧缓冲器14内的差分帧数能减小帧缓冲器14的必要的存储容量。

与第3实施方式相比，因为帧缓冲器14中保存的是降低了分辨率的差分帧所以相同的存储容量能保存更多的差分帧数。

(第7实施方式)

第7实施方式的动态图像播放系统整体构成图与图1相同，但CPU12的动作不同。在第7实施方式，第3实施方式中差分帧保存到帧缓冲器14时，降低分辨率进行保存，在倒带播放处理时放大帧缓冲器14内保存的降低了分辨率的差分帧，根据放大的差分帧解码新的其它差分帧，输出到显示装置2。

下面，参照图21及图27说明第7实施方式的动态图像播放系统中的常规播放处理。

(常规播放处理)

进行与第5实施方式相同的处理，在步骤ST61，差分帧Px的解码数据(分辨率低的帧)被保存到帧缓冲器14。

下面，参照图26及图27说明第7实施方式的动态图像播放系统中的倒带播放处理。

(倒带播放处理)

(步骤ST1、步骤ST2)

首先，与第3实施方式相同、进行步骤ST1、步骤ST2的处理。

(步骤ST3、步骤ST11～步骤ST15)

与第3实施方式相同，进行到步骤ST15为止的处理，选择差分帧P2、Px、Pz。

(步骤ST63)

另外，与第5实施方式相同，步骤ST63的处理是放大保存在步骤ST61(常规播放时)被降低了分辨率的解码差分帧Px。

(步骤ST41)

其次，与第3实施方式相同，进行步骤ST41的处理，根据在步骤ST2保存的解码动态图像数据对基准帧I2、I1解码，根据解码基准帧I1对步骤ST15选择的差分帧P2进行解码。同时，CPU12根据在步骤ST63放大的解码差分帧Px对在步骤ST15选择的差分帧Pz进行解码。即，差分帧包括根据基准帧I1解码的差分帧P2及根据放大的解码差分帧Px解码的差分帧Pz。

(步骤ST42)

其次，与第3实施方式相同，进行步骤ST42的处理，被解码的基准帧I2和I1、根据基准帧I1解码的差分帧P2及根据被放大的解码差分帧Px解码的差分帧Pz存储到帧缓冲器14。差分帧Px在常规播放时已经被存储到帧缓冲器14。

(步骤ST43)

与第3实施方式相同，进行步骤ST43的处理，解码动态图像数据参照帧信息中包含的显示计时信息及正反播放速度信息200按照显示时刻值从大到小的顺序(基准帧I2、差分帧Pz、差分帧Px、差分帧P2、基准帧I1的顺序)输出到显示装置2。

差分帧降低分辨率保存到帧缓冲器14，根据帧缓冲器14内保存的差分帧对新的其它差分帧在倒带播放时解码，即使保存在帧缓冲器14内的差分帧数和第5实施方式相等，因为增加了显示的帧数，与第5实施方式相比能进行更加顺畅的倒带播放。同时，即使和第5实施方式显示的帧数相等，因为帧缓冲器14内保存的差分帧数减少了，从而能减少帧缓冲器14的必要的存储容量。

与第3实施方式相比，因为帧缓冲器14中保存的是降低了分辨率的差分帧，所以相同的存储容量能保存更多的差分帧数。

(第8实施方式)

第8实施方式的动态图像播放系统整体构成图与图1相同，但CPU12的动作不同。第8实施方式在第5实施方式到第7实施方式的任一实施方式中，用户发出特殊播放(这里指倒带播放)中断的指示时，现有显示中的降低了分辨率的差分帧被原分辨率的差分帧代替进行常规播放。

下面，参照图28及图29说明第8实施方式的动态图像播放系统中的从倒带播放处理到常规播放处理的切换处理。

(切换处理)

(步骤ST71)

首先，输入输出接口15进行倒带播放处理的输出。此时，显示基准帧之间的降低了分辨率的差分帧。

(步骤ST72)

其次，用户送出特殊播放(倒带播放)中断的指示。输入输出接口15暂停解码动态图像数据的输出。

(步骤ST73)

其次，CPU12取得显示装置2中正在显示中的帧的帧信息。

(步骤ST74)

其次，CPU12参照步骤ST73取得的帧信息，根据步骤ST2中蓄积存储器13保存的编码动态图像数据检索作为差分帧基础的基准帧。

(步骤ST75)

其次，CPU12根据步骤ST74检索到的基准帧依次解码差分帧。

(步骤ST76)

其次，CPU12把步骤ST75解码的解码动态图像数据中的现有显示帧之后的帧依次存放到帧缓冲器14。

(步骤ST77)

其次，输入输出接口15把步骤ST76存放的解码动态图像数据参照帧信息中含有的显示时间信息及正反播放速度信息200按照显示时刻值从小到大的顺序输出到显示装置2。

这样，特殊播放中断时显示的帧是降低了分辨率的差分帧时，根据编码动态图像数据检索作为该差分帧基础的基准帧，因为立刻用具有该数据的原分辨率的基准帧对正在显示中的帧解码，所以图像显示不会发生凌乱，能进行常规播放处理。

如果不进行这样的处理，根据正在显示中的分辨率降低了的解码差分帧依次解码差分帧，被解码的差分帧的分辨率也会降低，之后的基准帧之间会发生图像显示凌乱。

在步骤ST73中，正在显示中的帧如果是基准帧或是分辨率没有被降低的差分帧，可以根据此帧依次解码差分帧。

根据本发明的动态图像解码装置对被MPEG标准编码的动态图像数据进行倒带播放时同现有技术不同，不只显示基准帧，还从基准帧之间的差分帧中选择显示的差分帧、解码或事先保存该差分帧的数据从而能进行顺畅的倒带播放。

Claims (19)

1、一种动态图像解码装置，对编码动态图像数据进行解码，其特征在于，

所述编码动态图像数据包括：

帧信息；

第1基准帧，被帧内预测编码；

第2基准帧，被帧内预测编码并且在时间轴上存在于所述第1基准帧之未来；和

多个差分帧，时间轴上存在于所述第1基准帧与所述第2基准帧之间并且根据所述第1基准帧被帧间预测编码；

所述帧信息包括：包含表示在所述编码动态图像数据中帧在时间轴上的排列的信息；

所述装置具有常规播放模式及倒带播放模式，并包括：

解析部，选择所述多个差分帧中的至少一个；

解码部，对由所述解析部选择的差分帧和所述第1及第2基准帧进行解码；和

输出部，在倒带播放模式时，根据所述帧信息，将由所述解码部解码的差分帧、第1基准帧、第2基准帧按照在时间轴上存在于未来的帧开始顺序输出到显示装置。

2、根据权利要求1所述动态图像解码装置，其特征在于，还包括分离部，其从按照给定文件格式将编码动态图像数据多重化后的AV数据中分离出编码动态图像数据。

3、根据权利要求2所述的动态图像解码装置，其特征在于，所述给定文件格式是AFS或者MP4。

4、根据权利要求1所述的动态图像解码装置，其特征在于，所述解析部，在倒带播放模式时，在从所述输出部应向所述显示装置输出的时刻之前可以根据所述第1基准帧进行解码的差分帧中选择至少一个。

5、根据权利要求1所述的动态图像解码装置，其特征在于，

还包括缓冲器，其保存由所述解码部解码的差分帧；

所述输出部，在倒带播放模式时，根据所述帧信息，将保存在所述缓冲器中的差分帧、由所述解码部解码的第1以及第2基准帧按照在时间轴上存在于未来的帧开始顺序输出到显示装置。

6、根据权利要求5所述的动态图像解码装置，其特征在于，

所述解码部，将从在常规播放模式中被解码的差分帧中由所述解析部选择的差分帧保存到所述缓冲器。

7、根据权利要求6所述的动态图像解码装置，其特征在于，

所述解码部，根据所述缓冲器内保存的差分帧解码其它的差分帧；

所述输出部，在倒带播放模式时，根据所述帧信息，将保存在所述缓冲器中的差分帧、由所述解码部解码的其它差分帧以及第1、第2基准帧按照在时间轴上存在于未来的帧开始顺序输出到显示装置。

8、根据权利要求7所述的动态图像解码装置，其特征在于，

所述解码部，对解码后的差分帧降低其分辨率后保存到所述缓冲器中；

所述输出部将保存在所述缓冲器中的差分帧和由所述解码部解码的差分帧放大后输出到显示装置。

9、根据权利要求8所述的动态图像解码装置，其特征在于，

当从倒带播放模式切换到常规播放模式时，

所述解码部，根据在该切换时刻正在显示的差分帧所对应的基准帧，对该差分帧进行重新解码。

10、根据权利要求7所述的动态图像解码装置，其特征在于，

所述解码部，

将解码后的差分帧降低其分辨率后保存到所述缓冲器中，

将保存在所述缓冲器中的差分帧放大后，用其对其它差分帧进行解码。

11、根据权利要求10所述的动态图像解码装置，其特征在于，

当从倒带播放模式切换到常规播放模式时，

所述解码部，根据在该切换时刻正在显示的差分帧所对应的基准帧，对该差分帧进行重新解码。

12、根据权利要求5所述的动态图像解码装置，其特征在于，

所述解码部，根据保存在所述缓冲器中的差分帧对其它差分帧进行解码；

所述输出部，在倒带播放模式时，根据所述帧信息，将保存在所述缓冲器中的差分帧、由所述解码部解码的其它差分帧以及第1、第2基准帧按照在时间轴上存在于未来的帧开始顺序输出到显示装置。

13、根据权利要求12所述的动态图像解码装置，其特征在于，

所述解码部，将解码后的差分帧降低其分辨率后保存到所述缓冲器中；

所述输出部，将保存在所述缓冲器中的差分帧和由所述解码部解码的其它差分帧放大后输出到显示装置。

14、根据权利要求13所述的动态图像解码装置，其特征在于，

当从倒带播放模式切换到常规播放模式时，

所述解码部，根据在该切换时刻正在显示的差分帧所对应的基准帧，对该差分帧进行重新解码。

15、根据权利要求12所述的动态图像解码装置，其特征在于，

所述解码部，

将解码后的差分帧降低其分辨率后保存到所述缓冲器中，

将保存在所述缓冲器中的差分帧放大后，用其对其它差分帧进行解码。

16、根据权利要求15所述的动态图像解码装置，其特征在于，

当从倒带播放模式切换到常规播放模式时，

所述解码部，根据在该切换时刻正在显示的差分帧所对应的基准帧，对该差分帧进行重新解码。

17、根据权利要求5所述的动态图像解码装置，其特征在于，

所述编码动态图像数据还包含：

第3基准帧，其被帧内预测编码并且在时间轴上存在于所述第1基准帧之过去；和

多个差分帧，其在时间轴上存在于所述第3基准帧与所述第1基准帧之间并且根据所述第3基准帧被帧间预测编码；

所述解析部从所述第3基准帧和所述第1基准帧之间存在的多个差分帧中选择至少一个；

所述解码部将由所述解析部选择的并且存在于所述第3基准帧和所述第1基准帧之间的差分帧的解码处理，与由所述输出部向所述显示装置的输出处理并行进行。

18、根据权利要求5所述的动态图像解码装置，其特征在于，

所述解码部，

将解码后的差分帧降低其分辨率后保存到所述缓冲器中，

将保存在所述缓冲器中的差分帧放大后输出到所述显示装置。

19、根据权利要求18所述的动态图像解码装置，其特征在于，

当从倒带播放模式切换到常规播放模式时，

所述解码部，根据在该切换时刻正在显示的差分帧所对应的基准帧，对该差分帧进行重新解码。

Images