CN101390388A - 再现装置、携带式电话机和再现方法 - Google Patents

Abstract

音频PTS比较单元110进行空隙判断，判断在由音频PTS获取单元108获取的PTS(下称“当前PTS”)和存储在音频PTS存储单元109中的前次音频帧中的PTS(下称“前一PTS”)之间是否产生了空隙。如果音频PTS比较单元110判断有空隙，则同步控制单元111向音频解码单元103发出指令，该指令指示把检测出空隙的音频帧作为防故障数据进行解码。

Description

再现装置、携带式电话机和再现方法

技术领域

本发明涉及一种对编码数据进行解码并再现输出解码后的数据的再现装置。本发明尤其涉及对数字编码的视频信号和音频信号的各比特流进行解码并且同步再现解码后的视频信号和音频信号的同步再现装置。

背景技术

在日本，基于ARIB(无线工业及商贸联合会(Association of RadioIndustries and Business))标准进行数字广播。该ARIB标准是基于欧洲的DVB(数字视频广播(Digital Video Broadcasting))式标准建立的，其覆盖用于视频和音频广播的MPEG(运动图像编码专家组(Moving Picture Coding ExpertsGroup))2-TS(传输流(Transport Stream))系统。

MPEG2-TS流由每个都有188字节的固定长度的多个TS包组成。将TS包的长度确定为188字节，是考虑到与ATM(异步传输模式(Asynchronoustransfer mode))单元长度的一致性。

每个TS包由4字节的固定长度的包头、可变长度的自适应字段、以及净负荷构成。在包头中定义了PID(包识别符)和各种标记。该PID标识TS包的类型。

将包含诸如视频流和音频流等数据流的PES(包化基本流(PacketizedElementary Stream))包分割成具有相同PID编号的多个TS包，并且传送分割后的TS包。例如根据MPEG2式标准或者用于一段式(One-Segment)广播标准的MPEG4-AVC/H.264式标准进行视频编码。例如根据23C(MPEG2高级音频编码(Advanced Audio Coding))式标准进行音频编码。

而且，以和包含视频流及音频流的PES包相同的方式，将包含诸如子标题之类数据的PES包分割成多个TS包，并且传送分割后的TS包。

MPEG2-TS流包含以预定时间间隔发送的PCR(节目时钟参考(ProgramClock Reference))，以便调整解码器内部的基准信号STC(系统时间时钟(System Time Clock))。

TS包中包含的自适应字段用于传输和各流相关的附加信息。将6字节的PCR存储到自适应字段包含的可选字段中。

解码器内包含的STC计数器对STC进行计数。基于PCR的时间对该STC的时间进行校正。

为了实现MPEG2-TS流的AV(音频·视频)同步，将时间标签添加到每一个存取单元(例如，每一个视频图像和每一个音频帧)中。将该存取单元转换成PES包。将指定再现时间的PTS(显示时间标签(Presentation Time Stamp))添加到该PES包的头中。

以和描述STC的值的方法相同的方法对该PTS的时间进行描述。在解码器内，STC的值和PCR同步增加。解码器中，将该STC的计数器值与PTS的值进行比较。当STC的计数器值与PTS的值一致时，解码器开始进行显示处理和解码处理。由此，进行与STC的同步再现。

以这种方式，把MPEG2-TS流中包含的与PCR同步增加的STC的计数器值，与添加到每一个被发送的音频和视频PES包中的PTS的值进行相互比较。当STC的计数器值与每一个音频和视频PES包的PTS的值一致时，开始进行显示处理和解码处理。由此实现了AV音频-视频同步再现。

根据广播记录/再现系统，将由视频提供装置提供的编码和多路复用流存储在解码器中。将存储的流中包含的音频编码数据和视频编码数据彼此分离。对分离后的音频编码数据和视频数据相互独立地解码，并且彼此同步地再现解码后的音频信号和视频信号。

作为存储的流的AV音频-视频同步方法，采用其中集中于音频再现信号输出的音频主方式(例如参见专利文献1)。根据音频主方式，当输出各音频帧时，根据各音频帧的输出时间对STC进行更新。此时，将各视频帧的显示时间与STC进行比较。根据该比较的结果，进行加快或者延迟各视频帧的显示时间的操作。

另一方面，其中集中于视频再现信号输出的的视频主方式也用于存储的流的AV音频-视频同步(例如参见专利文献2)。

这里，为了开始进行存储的流的AV音频-视频再现，采用设定一再现开始时间(下文称为“入口点”)以便从期望点(时间)开始再现的控制方法。

下面对从期望的入口点开始再现以进行同步再现的上述方法进行说明。

图21示出了常规技术中同步再现装置的结构。如图21所示，该同步再现装置包括对流进行传输的传输单元1301、从输入的流中提取必要信息的系统解码器1302、对视频帧进行解码的视频解码单元1303、对音频帧进行解码的音频解码单元1304、以及同步控制单元1305，该同步控制单元1305控制包括在该同步再现装置中的各构成部件的操作时序。下面说明由具有上述结构的同步再现装置进行的、用于从入口点开始再现的操作。

如图21所示，传输单元1301将包含入口点的流传输至系统解码器1302。系统解码器1302将接收到的流中包含的视频编码数据和音频编码数据分别传输至视频解码单元1303和音频解码单元1304。系统解码器1302还将音频PTS和视频PTS传输至同步控制单元1305。视频解码单元1303对接收到的视频编码数据的视频帧进行解码。音频解码单元1304对接收到的音频编码数据的音频帧进行解码。同步控制单元1305通过控制传输单元1301、系统解码器1302、视频解码单元1303和音频解码单元1304，进行对视频帧和音频帧的同步输出控制。

图22是表示由包含在上述同步再现装置中的同步控制单元1305进行的、用于从入口点开始再现的操作顺序的流程图。下面参考图22中的流程图对同步控制单元1305的操作进行详细说明。

首先，操作开始，在步骤1401，当从外部设定入口点值并且通知从入口点开始进行流再现时，同步控制单元1305向传输单元1301、系统解码器1302、视频解码单元1303和音频解码单元1304发出起动请求。一旦接收到该起动请求，传输单元1301、系统解码器1302、视频解码单元1303和音频解码单元1304便进行起动处理。

接下来，在步骤1402，同步控制单元1305向传输单元1301发出数据供给请求。一旦接收到该请求，传输单元1301就从流的前端开始向系统解码器1302顺序传输包含入口点的流。一旦接收到来自传输单元1301的数据，系统解码器1302便开始将包含在该流中的视频编码数据和音频编码数据彼此分离，并且提取分离后的编码视频和音频数据。

然后，视频解码单元1303在步骤1403继续对从系统解码器1302接收到的视频编码数据的视频帧进行解码，直到从系统解码器1302接收到的视频帧PTS与预定阈值范围内的入口点一致为止。此时，视频解码单元1303仅仅对视频帧进行解码处理，并不进行输出显示。

接下来，在步骤1403，在从系统解码器1302接收到的视频帧PTS与预定阈值范围内的入口点一致的情况下，移至步骤1404，根据视频帧PTS的值对包含在同步控制单元1305内的STC进行初始化。

然后，在步骤1405，同步控制单元1305向视频解码单元1303发出视频帧同步输出请求。一旦接收到该请求，视频解码单元1303就对一视频帧进行解码并同时输出显示经解码的视频帧，该一视频帧是在步骤S1403中从系统解码器1302接收到的、其视频帧PTS与预定阈值范围内的入口点一致的视频帧。在这一阶段的第一时间输出显示经解码的视频帧。此后，在同步控制单元1305利用STC和从系统解码器1302接收到的视频帧PTS进行的同步控制之下，视频解码单元1303继续对从系统解码器1302接收到的视频编码数据的视频帧进行解码，并输出显示经解码的视频帧。

然后，在步骤1406，继续对从系统解码器1302接收到的音频编码数据的音频帧进行解码处理，直到从系统解码器1302接收到的音频帧PTS和预定阈值范围内的STC一致。

而且，在步骤1406，从系统解码器1302接收到的音频帧PTS和预定阈值范围内的STC一致的情况下，移至步骤1407，同步控制单元1305向音频解码单元1304发送音频帧同步输出请求。

一旦接收到该请求，音频解码单元1304就对一音频帧进行解码并同时输出经解码的音频帧，该一音频帧是在步骤S1406中从系统解码器1302接收到的其音频帧PTS与预定阈值范围内的STC一致的音频帧。在这一阶段的第一时间音频输出该经解码的音频帧。此后，在同步控制单元1305利用STC和从系统解码器1302接收到的音频帧PTS进行的同步控制之下，音频解码单元1304继续对从系统解码器1302接收到的音频编码数据的音频帧进行解码，并音频输出经解码的音频帧。

而且，专利文献2公开了一种技术，该技术利用暂时参考(temporalreference)，即，按MPEG标准规定的显示顺序信息，可以以视频帧单位和音频帧单位的精度检测与指定入口点相应的视频帧和音频帧。

此外，专利文献3公开了一种同步再现装置，其包括用于错误判断的定时器。根据该同步再现装置，当经过预定时间段之后，在仅完成了视频帧和音频帧之一的输出准备的情况下，可以仅请求输出此时完成了输出准备的视频帧或者音频帧中的那一帧。而且，即使接收到的流仅包括视频帧和音频帧中与入口点一致的那一帧，也能够正常开始再现。

专利文献1：日本特开平7-50818号公报

专利文献2：日本特愿平9-514146号公报

专利文献3：日本特开2001-346166号公报

发明内容

发明要解决的问题

下面将参考图23(a)和(b)说明本发明要解决的第一个问题。图23(a)和(b)示出了在不良的无线电波条件下记录的流的例子。在图23(a)和(b)中，纵轴代表PTS，横轴代表流。图23(a)示出了例如由于传输错误而发生PTS比特错误的情况。图23(b)示出了在记录流时由于不良的无线电波接收条件而在流中产生缺失的情况。根据现有技术，如果如图23(a)所示，将发生PTS错误的时间指定为入口点，则不可能检测到和预定阈值范围内入口点一致的PTS。同样，根据现有技术，如图23(b)所示，如果将发生流缺失的时间指定为入口点，则不可能检测到和预定阈值范围内入口点一致的PTS。其结果是，无法确定再现开始位置，因此不可能开始再现。

接下来，参考图24(a)、(b)、(c)说明本发明要解决的第二个问题。图24(a)示出了MPEG2-TS的TS包。在图24(a)中，示出了进行起始帧搜索的对象数据范围和起始帧搜索对象数据。换言之，为搜索和入口点一致的帧而搜索该起始帧搜索对象数据。例如，如图24(b)所示，如果音频和视频的起始帧搜索对象数据的搜索处理时间段分别为Ta和Tv(Ta<Tv)，则将Te定义为音频和视频起始帧的搜索处理都完成的时间段。在这种情况下，如图24(c)所示，即使从视频数据中发现了视频起始帧，并且输出视频起始帧的准备已经完成，也只能在Te过后才能输出视频起始帧。

换言之，如果仅发现了音频数据和视频数据其中之一的起始数据，则只能在固定时间输出被发现的起始数据，并不受音频数据的起始帧搜索处理时间段、视频数据的起始帧搜索处理时间段的影响。因此，在仅输出其中之一的被发现的起始数据的情况下，就有因音频起始帧和视频起始帧之一的搜索时间段比另一个的长而导致再现开始被延迟的问题。

下面将进一步参考图25说明本发明要解决的第三个问题。图25(a)示出了一个实例，其中，在以音频主方式运行的动画再现装置正常输出视频再现数据和音频再现数据二者的通常状态下，在不良的无线电波状态下记录的多路复用比特流中产生了暂时的不连续。

如图25所示，视频再现数据和音频再现数据以帧为单位表示。加到各帧上的数字表示PTS。例如，视频帧2301的PTS是42。在图25(a)所示的例子中，因为视频以音频主方式运行，所以基于各音频帧的PTS值对参考时钟进行校正。视频帧的显示周期是5，音频帧的显示周期是3。暂时的不连续发生在视频帧2301和视频帧2302之间，以及音频帧2303和音频帧2304之间。

因为以音频主方式运行，所以即使在发生不连续的不连续点，音频再现数据也连续再现。同样，参考时钟象音频再现数据那样不连续地变化。相比之下，视频再现数据在视频帧2302和参考时钟之间具有很大的差，而且这一差超出了允许范围之外。结果变成进行不同步再现的异步再现状态。例如假设判断异步状态的允许范围是10。视频帧的PTS是113，参考时钟的STC值是47。视频帧的PTS和参考时钟的STC之间的差是66，超出允许范围10之外。但是，在音频也经过不连续之后，视频再现数据取视频帧2305的PTS和参考时钟再同步。其结果是，重新以同步再现状态正常进行同步再现操作，没有出现问题。

然而，如图25(b)所示，假设在视频帧2306和视频帧2307之间以及音频帧2308和音频帧2309之间产生暂时的不连续。视频帧2306和视频帧2307之间的时间间隔(图25(b)中为83)不同于音频帧2308和音频帧2309之间的时间间隔(图25(b)中为69)。如图25(b)所示，如果以和图25(a)相同的方式进行异步控制，则甚至经过不连续点之后，各视频帧的PTS和参考时钟之间的差也超出允许范围之外，结果是继续异步再现。即，如图25(b)所示，甚至经过音频再现数据不连续之后，跟在视频帧2310之后的每一视频帧的PTS和参考时钟的STC之间的差值也始终为12。该差值继续处于超出判断异步状态的允许值10之外的状态，因此持续异步再现状态，不会回到同步再现操作。

如果继续异步再现状态，则音频再现数据和视频再现数据彼此不会保持同步。从而会持续出现对白(lip-sync)失配。

为了应对这一情形，根据现有技术，如果异步再现持续一定时间，则视频再现数据或者音频再现数据的再现会中止，回到再现起始状态，重新开始再现。但是，一旦中止再现，然后重新开始再现，则由于回到初始状态，所以需要进行启动处理。此外，由于已经存储在缓冲器等器件中的数据会由此而被删除，所以需要花较长的时间重新开始再现。结果是，发生长时间持续没有视频输出也没有音频输出的问题。

鉴于上述问题而得到本发明。本发明的目的是提供一种再现装置。根据该再现装置，在例如在视频显示时间之间或音频显示时间之间发生暂时的不连续这样的情况的任何情况下，当通过指定入口点开始再现时或者在再现期间，可以根据情况从最合适的视频帧和音频帧处开始再现，并且能够持续再现，不会出现视频信号和音频信号中断的情况。

解决问题的手段

为了解决上述问题，根据本发明第一方面所述的再现装置是一种用于解码和再现输出数据流的再现装置，所述数据流包含各自具有以预定时间间隔加入的帧再现时间信息的多个帧，该再现装置从包含再现开始位置的指定再现开始时间段对应的帧开始再现，所述再现装置包括：获取单元，用于获取每一帧中的帧再现时间信息；存储单元，用于存储由所述获取单元获取的帧再现时间信息；比较单元，用于判断每一帧中，由所述获取单元获取的当前帧再现时间信息是否包括在所述指定再现开始时间段中，如果判断结果为不包括，进一步判断所述当前帧再现时间信息和所述存储单元保存的前一帧的前一帧再现时间信息之间的差是否大于所述预定时间间隔；和再现输出单元，用于：如果所述比较单元判定所述当前帧再现时间信息和所述前一帧再现时间信息之间的差大于所述预定时间间隔，则从具有所述当前帧再现时间信息的帧开始再现。

为了解决上述问题，根据本发明第二方面所述的再现装置是一种用于解码和再现输出数据流的再现装置，所述数据流包含各自具有视频再现时间信息的视频帧和各自具有音频再现时间信息的音频帧，该再现装置从包含再现开始位置的指定再现开始时间段对应的视频帧和音频帧开始再现，所述再现装置包括：获取单元，用于从视频帧获取视频帧再现时间信息和从音频帧获取音频帧再现时间信息；比较单元，用于判断由所述获取单元获取的视频帧的视频帧再现时间信息和音频帧的音频帧再现时间信息是否分别包含在所述指定再现开始时间段内；和解码单元，用于对视频帧和音频帧进行解码和再现输出，为所述比较单元判断所述获取单元获取的视频帧再现时间信息是否包括在所述再现开始时间段内而设定最大时限Tv，为所述比较单元判断所述获取单元获取的音频帧再现时间信息是否包括在所述再现开始时间段内而设定最大时限Ta，并且(i)当最大时限Tv>Ta时，如果所述获取单元获取的音频帧再现时间信息不包括在所述再现开始时间段内，且在经过最大时限Ta之后视频帧已经完成了解码，则所述解码单元再现输出该视频帧，(ii)当最大时限Tv<Ta时，如果所述获取单元获取的视频帧再现时间信息不包括在所述再现开始时间段内，且在经过最大时限Tv之后音频帧已经完成了解码，则所述解码单元再现输出该音频帧。

为了解决上述问题，根据本发明第三方面所述的再现装置是一种用于解码和与包含于其中的系统基准时钟同步地再现数据流的再现装置，所述数据流包含各自具有以预定时间间隔加入的帧再现时间信息的多个帧，该再现装置包括：比较单元，用于比较每一帧中的帧再现时间信息和所述系统基准时钟示出的时间；解码单元，用于在所述比较单元判断帧再现时间信息和所述系统基准时钟示出的时间一致的情况下，对具有该帧再现时间信息的帧进行解码和再现输出；控制单元，用于在所述比较单元判断帧再现时间信息和所述系统基准时钟示出的时间不一致的情况下，向所述解码单元发出对具有该帧再现时间信息的帧进行解码并且进行与所述系统基准时钟不同步的再现输出的指令；和计数单元，用于根据由所述控制单元发出的指令，对已经由所述解码单元和所述系统基准时钟不同步地再现输出的帧进行计数，其中，如果所述比较单元判断帧再现时间信息和所述系统基准时钟示出的时间不一致，且所述计数单元对已经和系统基准时钟不同步再现输出的帧的计数达到了预定数量，则所述控制单元向所述解码单元发出对具有该帧再现时间信息的帧进行强制的与所述系统基准时钟同步的再现输出的指令，进行强制同步处理。

为了解决上述问题，本发明的携带式电话机包括按照第一至第三方面中的任一方面所述的再现装置。

发明效果

根据第一方面的再现装置，可以实现下述效果。在开始再现者由于在不良的无线电波条件下记录而缺失了帧的流或发生了错误的流时，即使和入口点对应的帧(包含在再现开始时间段内的帧)从该流中缺失，也可以从缺失的帧附近最合适的帧开始再现。

根据第二方面的再现装置，分别管理用于搜索和入口点一致的音频帧和视频帧的最大时限。因此，只要发现了和入口点一致的音频帧和视频帧其中之一，就可以输出一个被发现的帧进而开始再现，而不会受到搜索音频或者视频再现开始帧之一的时间段比搜索另一个的时间段更长的影响。

根据第三方面的再现装置，在再现由于在不良的无线电波条件下记录而出现帧缺失的流或者发生了错误的流时，可以减少与系统基准时钟之间不同步的状态。

在第一方面的同步再现装置中，所述数据流可以包含以每一个预定时间段增加的节目参考时间信息，且该再现装置还可以进一步包括检测单元，可以用于：获取节目参考时间信息，比较所获取的当前节目参考时间信息和所述预定时间段之前获取的前一节目参考时间信息，在所述当前节目参考时间信息和所述前一节目参考时间信息之间的差大于预定阈值的情况下，检测出节目参考时间信息存在不连续，并且存储所述当前节目参考时间信息；在断定所述当前帧再现时间信息和所述前一帧再现时间信息之间的差大于所述预定时间间隔的情况下，而且在所述检测单元中存储有所述当前节目参考时间信息的情况下，所述比较单元可以进一步判断所述当前节目参考时间信息和所述当前帧再现时间信息之间的差是否大于所述预定时间段；在所述比较单元断定所述当前节目参考时间信息和所述当前帧再现时间信息之间的差大于所述预定时间段的情况下，所述再现输出单元可以从具有所述当前帧再现时间的帧开始再现。

利用这一结构，如果和入口点对应的帧(包含在再现开始时间段中的帧)从流中缺失，则要区别该帧是由于帧比特错误还是数据流的包错误而缺失的。只有当帧是由于帧比特错误而缺失时，才可以从该缺失帧附近的最合适的帧开始再现。

根据第一方面的同步再现装置可以遵照MPEG(Moving Picture ExpertsGroup运动图像专家组)标准，其中所述帧再现时间信息都可以是按照MPEG标准定义的PTS(Presentation Time Stamp显示时间标签)，并且所述节目参考时间信息都可以是按照MPEG标准定义的PCR(Program Clock Reference节目时钟参考)。

根据这一结构，当按MPEG标准定义的再现装置开始再现帧缺失的流或者其中发生了错误的流时，即使和入口点对应的帧(包含在再现开始时间段中的帧)从该流中缺失，也可以从该缺失帧附近的最合适的帧开始再现。

在第三方面的同步再现装置中，(i)如果所述比较单元判断出帧再现时间信息大于所述系统基准时钟示出的时间，且所述计数单元对已经和所述系统基准时钟不同步再现输出的帧的计数达到了预定数量，则所述控制单元可以向所述解码单元发出指令，该指令指示所述解码单元等待，直到帧再现时间信息和系统基准时钟示出的时间一致为止，并且对具有该帧再现时间信息的帧进行解码和再现输出，和(ii)如果所述比较单元判断出帧再现时间信息小于所述系统基准时钟示出的时间，且所述计数单元对已经和所述系统基准时钟不同步再现输出的帧的计数达到了预定数量，则所述控制单元可以向所述解码单元发出指令，该指令指示所述解码单元对具有该帧再现时间信息的帧不进行再现输出。

利用这一结构，如果在再现帧缺失的流或者其中发生了错误的流期间，帧和系统基准时钟不同步，则可以通过强制加快或者延缓该帧，将不同步状态恢复到同步状态。

在第三方面的同步再现装置中，如果所述比较单元判断出帧再现时间信息大于所述系统基准时钟示出的时间，且所述计数单元对已经和系统基准时钟不同步再现的帧的计数达到了预定数量，则所述控制单元可以向所述解码单元发出指令，该指令指示所述解码单元在帧再现时间信息和系统基准时钟示出的时间之间的差大于预定差值t1的情况下，可以等待小于预定差值t1的预定时间段t2后，对具有该帧再现时间信息的帧进行解码和再现输出。

利用这一结构，如果在帧和系统基准时钟之间的不同步达到较大程度，则可以在尽可能消除用户观看视频时的不舒适感的同时，通过强制地逐渐加快该帧，将不同步状态恢复到同步状态。

在第三方面的同步再现装置中，所述帧可以包括与第一媒体相关的第一媒体帧和与第二媒体相关的第二媒体帧，可以根据每一个所述第一媒体帧的再现时间信息来确定所述系统基准时钟系统基准时钟，所述比较单元可以分别将每一个第一媒体帧的帧再现时间信息与系统基准时钟输出的时间相比较和将每一个第二媒体帧的帧再现时间信息与系统基准时钟输出的时间相比较，所述计数单元可以分别对每一个第一媒体帧和每一个第二媒体帧进行计数，并且如果所述比较单元判断出所述帧内第一媒体帧的再现时间信息和所述系统基准时钟不一致且计数单元对已经和所述系统基准时钟不同步再现输出的第一媒体帧的计数达到预定数量，则所述控制单元可以变为根据每一个所述第二媒体帧的再现时间信息来确定所述系统基准时钟。

利用这一结构，在以和第一媒体帧(例如，音频帧)对应的主方式对流进行再现期间，如果帧从第一媒体帧中帧缺失，或者在第一媒体帧中产生错误，而第二媒体帧(例如，视频帧)正常，则可以从和第一媒体帧对应的主方式切换到与没有发生不连续的正常的第二媒体帧对应的主方式。

附图说明

图1是表示本发明第一实施例的同步再现装置结构的方块图。

图2表示本发明第一实施例的MPEG2-TS流的数据结构。

图3表示本发明第一实施例的MPEG2-TS流和PES包之间的对应关系。

图4表示本发明第一实施例的PES包的数据结构。

图5是表示本发明第一实施例的视频帧搜索处理的流程图。

图6是表示本发明第一实施例的音频帧搜索处理的流程图。

图7是表示本发明第一实施例的再现处理的流程图。

图8是表示本发明第二实施例的同步再现装置结构的方块图。

图9是表示本发明第二实施例的暂停处理的流程图。

图10是表示本发明第三实施例的同步再现装置结构的方块图。

图11表示本发明第三实施例的PES包的数据结构。

图12是表示本发明第三实施例的视频帧搜索处理的流程图。

图13是表示本发明第三实施例的音频帧搜索处理的流程图。

图14是表示本发明第四实施例的同步控制处理的流程图。

图15是表示本发明第四实施例的同步控制处理的时序图。

图16是表示本发明第五实施例的同步控制处理的流程图。

图17是表示本发明第五实施例的同步控制处理的时序图。

图18是表示本发明第六实施例的同步控制处理的流程图。

图19是表示本发明第六实施例的同步控制处理的时序图。

图20是表示本发明的携带式电话机结构的方块图。

图21是表示现有技术的同步再现装置结构的方块图。

图22是表示由现有技术的同步再现装置进行的处理的流程图。

图23是表示现有技术的再现处理的概念图。

图24是表示现有技术的帧搜索处理的概念图。

图25是表示现有技术中在再现期间进行的处理的概念图。

标记说明

100，800和1000：同步再现装置

101，801和1301：传输单元

102和802：多路分用单元

103，803和1304：音频解码单元

104，804和1303：视频解码单元

105，108，805和808：PTS获取单元

106和109：PTS存储单元

107和110：PTS比较单元

111，811和1305：同步控制单元

112，812和1313：参考时钟单元

813：音频时间管理单元

814：视频时间管理单元

1302：系统解码器

2000：携带式电话机

实施发明的最佳方式

下面将参考附图对本发明的实施例进行详细说明。

(1.第一实施例)

(1-1.结构)

图1表示第一实施例的同步再现装置100的结构。

如图1所示，同步再现装置100包括传输单元101、多路分用单元102、音频解码单元103、视频解码单元104、音频PTS获取单元108、音频PTS存储单元109、音频PTS比较单元110、视频PTS获取单元105、视频PTS存储单元106、视频PTS比较单元107、同步控制单元111和参考时钟单元112。

传输单元101将多路复用流(MPEG2-TS流将在后面说明)传输到多路分用单元102。

多路分用单元102从多路复用流的视频PES包(PES包将在后面说明)内的PES头中提取作为视频再现时间信息的视频PTS和视频编码数据，并且将提取的视频PTS和视频编码数据传输至视频解码单元104和视频PTS获取单元105。多路分用单元102还从多路复用流的音频PES包内的PES头中提取作为音频再现时间信息的音频PTS和音频编码数据，并且将提取的音频PTS和音频编码数据传输至音频解码单元103和音频PTS获取单元108。

音频解码单元103对音频编码数据进行解码。

视频解码单元104对视频编码数据进行解码。

音频PTS获取单元108获取由多路分用单元102提取的音频PTS。

音频PTS存储单元109中存储由音频PTS获取单元108获取的音频PTS。

音频PTS比较单元110将由音频PTS获取单元108当前获取的音频PTS和存储在音频PTS存储单元109中的音频PTS进行比较。

视频PTS获取单元105获取由多路分用单元102提取的视频PTS。

视频PTS存储单元106中存储由视频PTS获取单元105获取的视频PTS。

视频PTS比较单元107将由视频PTS获取单元105当前获取的视频PTS和存储在视频PTS存储单元106中的视频PTS进行比较。

同步控制单元111控制同步再现装置的各构成部件的操作时序。

参考时钟单元112管理系统时间时钟(下文称为“STC”)，即系统内的基准时钟。

(1-2.数据)

这里，参考图2对MPEG2-TS流的数据结构进行说明。在图2中，501是MPEG2-TS流。MPEG2-TS流501由每一个都具有固定长度188字节的多个TS包组成。MPEG2-TS包502由TS头503和净负荷504组成。

TS头503由表示MPEG2-TS包502开头的同步字505、标识包含在MPEG2-TS包502中的数据的数据识别符PID506、指示净负荷504是否有效的自适应字段控制507、自适应字段508和其它控制标志(图中未示出)构成。如图3所示，PES包分成多个固定长度的TS包，它们具有相同的PID值601、602等，且传输分割之后的TS包。这里，参考图4说明PES包的数据结构。PES包701由表示PES包701开头的包起始码前缀702、标识包含在PES包数据706中的流的流ID703、表示PES包701长度的PES包长度704、PES头705以及在其中存储流的PES包数据706组成。

此外，PES头705由可选字段707和其它控制标志(图中未示出)组成。PTS708即包含在PES包701中的流的再现时间信息被存储在可选字段707中。而且，编码数据存储在PES包数据706中。

在本说明书中，例如根据MPEG4-AVC/H.264或者MPEG2/4的方式对视频数据进行解码处理，例如依据23C等对音频数据进行解码处理。

(1-3.操作)

图5、图6和图7示出了第一实施例的同步再现装置100进行的从入口点开始再现的操作过程的流程图。下面参考图5、图6和图7示出的流程图对开始再现的操作进行详细说明。

首先，图5示出了下列操作。搜索与指示再现开始的入口点对应的视频帧。如果搜索的结果是，与该入口点对应的视频帧缺失，则需确定该缺失的视频帧附近最合适的视频帧。这里，将该最合适的视频帧称为“防故障数据”。

当从外部设定视频数据的入口点值时，视频帧输出完成标志清“零”，开始处理。

首先，在步骤S201，向传输单元101提出流供给请求。一旦接到请求，传输单元101就将包括入口点的MPEG2-TS流(下文称为“多路复用流”)传送至多路分用单元102。多路分用单元102将多路复用流存储在其包含的缓冲器中。传输单元101管理包含在多路分用单元102中的缓冲器的溢出。当可能发生溢出时，停止传送多路复用流。然后，当缓冲器变为可用时，再开始传送多路复用流。该缓冲器用于下述的音频帧的跳越处理、音频帧的解码处理或者视频帧的解码处理。

在步骤S202，多路分用单元102检测第一PES包。这里，第一PES包是首先包括PTS的输入的流的PES包。

在步骤S203，多路分用单元102提取视频编码数据和视频PTS，并且将提取的视频编码数据传送到视频解码单元104，而将提取的视频PTS传送到视频PTS获取单元105。

在步骤S204，视频PTS获取单元105把从多路分用单元102传输的视频PTS传送至同步控制单元111和视频PTS存储单元106。

在步骤S205，同步控制单元111将从外部指定的入口点值和由视频PTS获取单元105获取的当前视频PTS进行比较，并且判断该入口点是否和具有当前视频PTS的视频帧对应。如果该入口点和具有当前视频PTS的视频帧对应，则流程进至步骤S206。

如果该入口点和具有当前视频PTS的视频帧不对应，则流程进到步骤S208。

这里，基于是否满足下述条件表达式(表达式1)来进行入口点判断。在(表达式1)中，EPv1表示从外部指定的入口点，Tv1表示帧单位时间，PTSnv1表示在步骤S203中提取的视频PTS。将视频帧的一个帧单位时间用作Tv1。例如，一个帧单位时间对于15fps是66ms，对于30fps是33ms。要注意的是，这一条件表达式仅仅是一个例子，进行视频入口点判断的方法并不局限于该条件表达式。

(表达式1)

EPv1—1/2×Tv1<PTSnv1≤EPv1+1/2×1/2×Tv1

如果入口点值和当前PTS一致(步骤S205：是)，则在步骤S206，同步控制单元111将解码允许信号传输至视频解码单元104。根据从同步控制单元111传输的解码允许信号，视频解码单元104进行视频编码数据的解码处理。将解码后的视频帧存储在视频解码单元104内包含的帧缓冲器中。

然后，在步骤S207，在步骤S206中完成视频编码数据的解码处理之后，将视频帧输出准备完成标志设为“1”。

另一方面，如果入口点值和当前视频PTS不一致(步骤S205“否”)，则在步骤S208，视频PTS比较单元107进行空隙判断，判断视频PTS获取单元105获取的PTS(下文称作“当前PTS”)和存储在视频PTS存储单元106中的前一视频帧的视频PTS(下文称为“前一PTS”)之间是否产生了空隙。在该空隙判断中，采用下述条件表达式(表达式2)。如果满足(表达式2)，则流程进至下述步骤S209。如果不满足(表达式2)，则流程进至下述步骤S210。就第一视频帧而言，前一PTS不存储在视频PTS存储单元106中。因此，对于第一视频帧，不进行空隙判断。在(表达式2)中，Xv1表示为进行空隙判断而从外部设置的阈值，且理想的是该阈值大于帧周期。

(表达式2)

当前PTS值—前一PTS值<0或者当前PTS值—前一PTS值>Xv1

如果对于空隙判断满足(表达式2)(步骤S208：是)，则在步骤S209断定检测出空隙的视频帧是防故障数据。然后，流程进至步骤S206。

另一方面，如果对于空隙判断不满足(表达式2)(步骤S208：否)，则在步骤210，视频解码单元104根据由视频PTS比较单元107发出的指令进行视频编码数据的解码处理，流程进至步骤S211。

然后，在步骤S211，视频PTS存储单元106将当前PTS值设置为前一PTS。即，为了利用当前PTS来进行下一视频帧的空隙判断处理，视频PTS存储单元106将当前PTS作为前一PTS存储。然后，流程回到步骤S203继续进行处理。

接下来，图6示出了下述操作。搜索与指示再现开始的入口点对应的音频帧。搜索的结果是，如果和该入口点对应的音频帧缺失，则需确定该缺失的音频帧附近最合适的音频帧。这里，将最合适的音频帧称为“防故障数据”。

当从外部设定音频数据的入口点时，同步控制单元111将音频帧输出准备完成标志清“零”，并且开始处理。

首先，在步骤S301，向传输单元101提出流供给请求。一旦接到该请求，传输单元101就将包括入口点的多路复用流传送至多路分用单元102。在此之前进行的处理和前述对视频帧进行的处理是相同的。

在步骤S302，多路分用单元102检测第一PES包。这里，第一PES包是首先包括PTS的输入的流的PES包。

在步骤S303，多路分用单元102提取音频编码数据和音频PTS，并且将提取的音频编码数据传送至音频解码单元103，将提取的音频PTS传送至音频PTS获取单元108。

在步骤S304，音频PTS获取单元108把从多路分用单元102传输的音频PTS传送至同步控制单元111和音频PTS存储单元109。

在步骤S305，同步控制单元111把从外部指定的入口点值和由音频PTS获取单元108获取的当前PTS进行比较，并且判断该音频入口点和具有当前PTS的音频帧是否对应。如果该入口点和具有当前PTS的音频帧对应，则流程进至到步骤S306。

如果判定该入口点和具有当前PTS的音频帧不对应，则流程进至到下述步骤S308。

这里，基于是否满足下述条件表达式(表达式3)来进行音频入口点判断。在(表达式3)中，EPa1表示从外部设定的入口点，Ta1表示帧单位时间，PTSna1表示在步骤S303中提取的音频PTS。将音频帧的一个帧单位时间用作Ta1。例如，一个帧单位时间对于AAC24kHz是42ms，对于AAC48kHz是22ms。要注意的是，这一表达式仅仅是一个例子，进行音频入口点判断的方法并不局限于该条件表达式。

(表达式3)

EPa1—1/2×Ta1<PTSna1≤EPa1+1/2×1/2×Ta1

如果入口点值和当前音频PTS一致(步骤S305：是)，则在步骤S306，同步控制单元111将解码允许信号传输至音频解码单元103。根据从同步控制单元111传输的解码允许信号，音频解码单元103进行音频编码数据的解码处理。将解码后的音频帧存储在音频解码单元103内包含的帧缓冲器中。

然后，在步骤S307，在步骤S306中完成音频编码数据的解码处理之后，将音频帧输出准备完成标志设为“1”。

另一方面，如果入口点值和当前PTS不对应(步骤S305：“否”)，则在步骤S308，音频PTS比较单元110进行空隙判断，判断音频PTS获取单元108所获取的PTS(下文称为“当前PTS”)和存储在音频PTS存储单元109中的前一音频帧的音频PTS(下文称为“前一PTS”)之间是否产生了空隙。这里，该空隙判断是根据是否满足下述条件表达式(表达式4)来进行的。如果满足(表达式4)，则流程进至步骤S309。如果对于空隙判断不满足(表达式4)，则流程进至步骤S310。就第一音频帧而言，前一PTS不存储在音频存储单元109中。因此，对于第一音频帧，不进行空隙判断。在(表达式4)中，Xa1表示为进行空隙判断而从外部设定的阈值，且理想的是该阈值大于帧周期。

(表达式4)

当前PTS值—前一PTS值<0或者当前PTS值—前一PTS值>Xa1

对于空隙判断来说，如果满足(表达式4)(步骤S308：是)，则在步骤S309，断定检测出空隙的音频帧是防故障数据。然后，流程进至步骤S306。

另一方面，对于空隙判断来说，如果不满足(表达式4)(步骤S308：否)，则在步骤S310，音频解码单元103根据由音频PTS比较单元110发出的指令进行音频编码数据的跳越处理，流程进至步骤S311。

然后，在步骤S311，音频PTS存储单元109将当前PTS值设置为前一PTS。即，为了利用当前PTS来进行下一音频帧的空隙判断处理，将当前PTS作为前一PTS存储。然后，流程回到步骤S303继续处理。

下面参考图7说明同步控制单元111对从视频帧和音频帧的开始数据的确定到再现的操作。

在步骤S401中，同步控制单元111等待，直到视频帧和音频帧的输出准备都已经完成为止。如果视频帧和音频帧的输出准备完成，则流程进至步骤S402。

在步骤S402，如果视频帧和音频帧都是防故障数据，则流程进至步骤S405。否则，流程进至步骤S403。

如果视频帧和音频帧中的至少一个不是防故障数据(步骤S402：否)，而且在步骤S403，如果断定仅仅音频帧是防故障数据，则流程进至后述步骤S408。否则，流程进至后述步骤S404。

在步骤S404，如果断定仅仅视频帧是防故障数据，则流程进至后述步骤S406。否则，流程进至步骤S405。

如果视频帧和音频帧都是防故障数据(步骤S402：是)，或者如果视频帧和音频帧都不是防故障数据(步骤S404：否)，则在步骤S405，将输出准备完成的音频帧的音频PTS和视频帧的视频PTS进行比较。如果音频PTS值等于或者小于视频PTS值，则判断以音频主方式开始再现，且流程进至后述步骤S406。否则，如果音频PTS值大于视频PTS值，则判断以视频主方式开始再现，且流程进至后述步骤S408。

如果以音频主方式开始再现(步骤S405：是)，则在步骤S406，同步控制单元111向音频解码单元103发出再现指令，并且基于音频PTS校正参考时钟单元112。基于音频PTS对参考时钟单元112的校正是在作为音频帧再现的输出时间周期的帧周期进行的。

然后，在步骤S407，同步控制单元111基于视频PTS与用参考时钟获得的STC之间的差值进行同步控制。如果判定视频PTS和STC一致，则向视频解码单元104发出视频帧的再现指令。

另一方面，如果以视频主方式开始再现(步骤S405：否)，则在步骤S408，同步控制单元111向视频解码单元104发出再现指令，并且基于视频PTS校正参考时钟单元112。基于视频PTS对参考时钟单元112的校正是在作为视频帧再现的输出时间周期的帧周期进行的。

然后，在步骤S409，同步控制单元111基于音频PTS与用参考时钟获得的STC之间的差值进行同步控制。如果判定音频PTS和STC一致，则向音频解码单元103发出音频帧的再现指令。

如上所述，利用本发明第一实施例的同步再现装置100的结构，可以进行下述处理。即使由于流的数据缺失或者PTS比特错误而发生不连续，同步再现装置100也会在开始再现时检测音频帧或者视频帧的各PTS之间的空隙，并且停止入口点的搜索处理。然后，确定和入口点对应的缺失的帧附近最合适的帧(防故障数据)，且从该最合适的帧开始进行再现。

(2.第二实施例)

下面说明本发明的第二实施例。

第二实施例在下面的一点上不同于第一实施例。在第二实施例中，预先确定用于搜索与入口点对应的视频帧和音频帧的最大时限。在经过最大时限之后，搜索暂停。

下面说明第二实施例，重点放在和第一实施例的区别点上。

(2-1.结构)

图8示出了第二实施例的同步再现装置800的结构。

同步再现装置800包括传输单元801、多路分用单元802、音频解码单元803、音频PTS获取单元808、音频PTS存储单元809、音频PTS比较单元810、视频解码单元804、视频PTS获取单元805、视频PTS存储单元806、视频PTS比较单元807、同步控制单元811、参考时钟单元812、音频时间管理单元813和视频时间管理单元814。

传输单元801、多路分用单元802、音频解码单元803、音频PTS获取单元808、音频PTS存储单元809、音频PTS比较单元810、视频解码单元804、视频PTS获取单元805、视频PTS存储单元806、视频PTS比较单元807、同步控制单元811和参考时钟单元812分别与包含在第一实施例的同步再现装置100中的传输单元101、多路分用单元102、音频解码单元103、音频PTS获取单元108、音频PTS存储单元109、音频PTS比较单元110、视频解码单元104，视频PTS获取单元105、视频PTS存储单元106、视频PTS比较单元107、同步控制单元111和参考时钟单元112具有相同的功能。

音频时间管理单元813在预定时间将音频暂停信号传输给同步控制单元811。

视频时间管理单元814在预定时间将视频暂停信号传输给同步控制单元811。

对于音频时间管理单元813和视频时间管理单元814，可以分别确定预定时间。

(2-2.操作)

图9示出了第二实施例中用于搜索和入口点对应的帧的暂停处理操作的流程图。

用于确定视频帧的开始数据的操作和第一实施例的图5中示出的操作相同。

用于确定音频帧的开始数据的操作和第一实施例的图6中示出的操作相同。从视频帧和音频帧的开始数据的确定到再现的操作与第一实施例的图7中示出的操作相同。

根据图5-7所示的操作可实现图9中示出的操作。

这里，视频时间管理单元814的预定时间表示为Tev。音频时间管理单元813的预定时间表示为Tea。时间Tev和时间Tea都是足够用来针对所传送的流搜索和入口点一致的帧的时间。

在步骤S901，如果同步控制单元811从音频时间管理单元813接收到音频暂停信号(步骤S901：是)，则流程进至后述步骤S902。否则，流程进至后述步骤S904。

在步骤S902，如果同步控制单元811判断视频帧的输出准备完成标志设为“1”，则流程进至后述步骤S903。否则，结束处理。

如果视频帧的输出准备完成标志指示为“1”(步骤S902：是)，则在步骤S903，同步控制单元811向视频解码单元804发出再现指令，并且基于视频PTS校正参考时钟单元812视频PTS的校正处理是在作为视频再现输出时间的帧周期进行的。

如果没有从音频时间管理单元813接收到音频暂停信号(步骤S901：否)，而且在步骤S904同步控制单元811从视频时间管理单元814接收到视频暂停信号的情况下，则流程进至后述步骤S905。否则，结束处理。

在步骤S905，如果同步控制单元811判断音频输出准备完成标志设为“1”，则流程进至后述步骤S906。否则，结束处理。

在步骤S906中，同步控制单元811向音频解码单元803发出再现指令，并且基于音频PTS校正参考时钟单元812。音频PTS的校正处理是在作为音频再现输出时间的帧周期进行的。

如上所述，利用本发明第二实施例的同步再现装置的结构，分别管理用于搜索和入口点一致的音频帧和视频帧的最大时限。因此，即使只发现了音频再现开始帧和视频再现开始帧其中之一，也可以仅仅输出被发现的帧，而不受开始数据搜索时间更长的影响。例如，在音频帧的开始数据搜索时间比视频帧的开始数据搜索时间短的情况下，如果发现了视频帧的开始数据，便可以在经过音频帧的开始数据搜索时间的最大时限之后，输出发现的视频帧的开始数据。

(3.第三实施例)

下面说明本发明的第三实施例。

第三实施例与第一实施例有以下不同点。在第三实施例中，包含在流中的PCR(在后面描述)用于搜索与入口点对应的视频帧和音频帧。

下面说明第三实施例，重点放在和第一实施例的区别点上。

(3-1.结构)

图10示出了第三实施例的同步再现装置1000的结构。

同步再现装置1000包括传输单元1001、不连续检测单元1002、多路分用单元1003、音频解码单元1004、音频PTS获取单元1005、音频PTS存储单元1006、音频PTS比较单元1007、视频解码单元1008、视频PTS获取单元1009、视频PTS存储单元1010、视频PTS比较单元1011、同步控制单元1012和参考时钟单元1013。

传输单元1001、多路分用单元1003、音频解码单元1004、音频PTS获取单元1005、音频PTS存储单元1006、音频PTS比较单元1007、视频解码单元1008、视频PTS获取单元1009、视频PTS存储单元1010、视频PTS比较单元1011、同步控制单元1012和参考时钟单元1013分别与包含在第一实施例的同步再现装置100中的传输单元101、多路分用单元102、音频解码单元103、音频PTS获取单元108、音频PTS存储单元109、音频PTS比较单元110、视频解码单元104、视频PTS获取单元105、视频PTS存储单元106、视频PTS比较单元107、同步控制单元111和参考时钟单元112具有相同的功能。

不连续检测单元1002检测MPEG2-TS流附带的PCR(后面描述)之间的不连续性。不连续检测单元1002针对每预定时间间隔传送的PCR，将当前PCR与前一PCR相比较，并且根据当前PCR和前一PCR之间比较的差值检测不连续。将检测到不连续时的PCR值通知给视频PTS比较单元1011和音频PTS比较单元1007。尽管在图中未示出，但是该不连续检测单元1002包括缓冲器，该缓冲器用于存储检测到不连续时的PCR值。

(3-2.数据)

这里，参考图11说明MPEG2-TS流附带的PCR。

为了调节STC的时间，以预定时间间隔传送MPEG2-TS流的PCR(节目时钟参考Program Clock Reference)。在TS包501中包含自适应字段508，自适应字段508用于传送涉及各个流的加入信息。将6字节的PCR存储在自适应字段508内包含的可选字段509中。

(3-3.操作)

图12和13示出了第三实施例的同步再现装置1000进行的用于从入口点开始再现的操作步骤的流程图。下面参考图12和13示出的流程图详细说明用于再现开始的操作。

首先，图12示出了下列操作。搜索与指示再现开始的入口点对应的视频帧。搜索的结果是，如果与该入口点对应的视频帧缺失，则需确定该缺失的视频帧附近最合适的视频帧。这里，将该最合适的视频帧称为“防故障数据”。当从外部设定视频数据的入口点值时，将视频帧输出完成标志清“零”，并且开始处理。

首先，在步骤S1101，向传输单元1001发出流供给请求。一旦接到该请求，传输单元1001就将包括入口点的多路复用流传送至不连续检测单元1002。多路分用单元1003将从不连续检测单元1002传送的多路复用流存储在其包含的缓冲器中。传输单元1001管理包含在多路分用单元1003中的缓冲器的溢出。当可能发生溢出时，停止传送多路复用流。然后，当缓冲器成为可用时，再开始传送多路复用流。该缓冲器用于下述音频帧的跳跃处理、解码处理或者视频帧的解码处理。

在步骤S1102，不连续检测单元1002搜索多路复用流内Ts包的PCR中的不连续，并且在其中存储指示发生了不连续的信息。用于判断是否发生了不连续的不连续检测判断是根据是否满足下述条件表达式(表达式5)来进行的。如果满足(表达式5)，则流程进至后述步骤S1103。如果不满足(表达式5)，则流程进至后述步骤S1104。在(表达式5)中，当前PCR表示当前检测的TS包的PCR。前一PCR表示前次检测的TS包的PCR。Ya表示阈值，且理想的是该阈值大于PCR传输周期。

(表达式5)

当前PCR值—前一PCR值<0或者当前PCR值—前一PCR值>Ya

如果当前PCR和前一PCR彼此不连续(步骤S1102：是)，则在步骤S1103，不连续检测单元1002在其中存储作为TS包之间不连续点的PCR，并且将该PCR传送至视频PTS比较单元1011。不连续检测单元1002还将多路复用流传送至多路分用单元1003。

每次从传输单元1001传送流时，都进行步骤S1102至S1103中的上述PCR的获得和判断处理。

在步骤S1104，如果被传输的PES包是第一PES包，则多路分用单元1003检测到该被传输的PES包是第一PES包。这里，第一PES包是首先包括PTS的输入的流的PES包。如果传输的PES包是跟在第一PES包之后的PES包，则在该步骤S1104中不会检测到被传输的PES包。然后，流程进至步骤S1105。

然后，在步骤S1105，多路分用单元1003提取视频编码数据和视频PTS，并且将提取的视频编码数据传送至视频解码单元1008，和将提取的视频PTS传送至视频PTS获取单元1009。

在步骤S1106，视频PTS获取单元1009把从多路分用单元1003传输的视频PTS传送至同步控制单元1012和视频PTS存储单元1010。

在步骤S1107，同步控制单元1012将从外部指定的入口点值和由视频PTS获取单元1009管理的当前PTS进行比较，并且判断该入口点是否和具有当前PTS的视频帧对应。如果判定该入口点和具有当前PTS的视频帧对应，则流程进至后述步骤S1108。

如果该入口点和具有当前PTS的视频帧不对应，则流程进至后述步骤S1110。

这里，根据是否满足下述条件表达式(表达式6)来进行视频入口点判断。如果满足(表达式6)，则判定具有该PTS的视频帧和入口点对应。在(表达式6)中，EPv3表示从外部设定的入口点，Tv3表示帧单位时间，PTSnv3表示在步骤S1105中提取的视频PTS。视频帧的一个帧单位时间用作Tv3。例如，一个帧单位时间对于15fps是66ms，对于30fps是33ms。要注意的是，这一条件表达式仅仅是一个例子，进行视频入口点判断的方法并不局限于该条件表达式。

(表达式6)

EPv3—1/2×Tv3<PTSnv1≤EPv3+1/2×1/2×Tv3

如果入口点值和当前视频PTS一致(步骤S1107：是)，则在步骤S1108，同步控制单元1012将解码允许信号传输至视频解码单元1008。根据从同步控制单元1012传输的解码允许指令，视频解码单元1008进行视频编码数据的解码处理。将解码后的视频帧存储在视频解码单元1008内的帧缓冲器中。

然后，在步骤S1109，在完成步骤S1108的视频解码处理后，将视频帧的输出准备完成标志设为“1”。

另一方面，如果入口点值和当前PTS不一致(步骤S1107：否)，则在步骤S1110，视频PTS比较单元1011进行空隙判断，判断在视频PTS获取单元1009获取的PTS(以下称为“当前PTS”)和视频PTS存储单元1010存储的前次视频帧的PTS(以下称为“前一PTS”)之间是否产生了空隙。这里，该空隙判断是根据是否满足下述条件表达式(表达式7)来进行的。如果满足(表达式7)，则断定是检测出空隙的帧，流程进至后述步骤S1111。如果不满足(表达式7)，则流程进至后述步骤S1113。就第一视频帧而言，前一PTS不存储在视频PTS存储单元1010中。因此，对于第一视频帧，不进行该空隙判断处理。在(表达式7)中，Xv3表示为进行空隙判断从外部设置的阈值，且理想的是该阈值大于帧周期。

(表达式7)

当前PTS值—前一PTS值<0或者当前PTS值—前一PTS值>Xv3

对于空隙判断而言，如果满足(表达式7)(步骤S1110：是)，则在步骤S1111，PTS比较单元1011将检测出空隙的PTS和(在步骤S1003中)存储在不连续检测单元1002中的PCR相比较。如果满足下述条件表达式(表达式8)(步骤S1111：是)，则流程进至后述步骤S1113。如果不满足(表达式8)，则流程进至后述步骤S1112。在(表达式8)中，Z理想的是考虑到TS包的PCR传送周期以及音频帧和视频帧之间的交替而设定的值。例如，在一段式广播中，MPEG2—TS的PCR传送周期在400ms以内，音频帧和视频帧之间的交替间隔大约为1.5秒。因此，较为合适的是，将Z值设为约2秒。

(表达式8)

—Z<PCR—当前PTS值<Z

如果不满足(表达式8)(步骤S1111：否)，则在步骤S1112，判定检测出空隙的视频帧是防故障数据。然后，流程进至步骤S1108。

接着，在步骤S1113，视频解码单元1008根据视频PTS比较单元1011发出的指令，进行视频编码数据的解码处理，流程进至步骤S1114。

然后，在步骤S1114，视频PTS存储单元1010将当前PTS值设置为前一PTS。即，为了利用当前PTS来进行下一视频帧的空隙判断处理，视频PTS存储单元1010将当前PTS作为前一PTS存储。然后，流程回到步骤S1105继续处理。

接下来，图13示出了下述操作。搜索与指示再现开始的入口点对应的音频帧。搜索的结果是，如果与该入口点对应的音频帧缺失，则需确定该缺失的音频帧附近最合适的音频帧。这里，将该最合适的音频帧称为“防故障数据”。

当从外部设定音频数据的入口点值时，将音频帧输出完成标志清“零”，并且开始处理。

首先，在步骤S1201，向传输单元1001发出流供给请求。一旦接受该请求，传输单元1001就将包含入口点的多路复用流传送至不连续检测单元1002。

接着，在步骤S1202，不连续检测单元1002搜索多路复用流中TS包的PCR有无不连续，并且存储指示发生了不连续的信息。不连续的判断是根据是否满足(表达式5)来进行的。如果满足(表达式5)，则流程进至步骤S1203。如果不满足(表达式5)，则流程进至步骤S1204。

如果当前PCR和前一PCR彼此不连续(步骤S1202：是)，则在步骤S1203，不连续检测单元1002存储作为TS包之间不连续点的PCR，且将该PCR传送至音频PTS比较单元1007。不连续检测单元1002还将多路复用流传送至多路分用单元1003。

每次从传输单元1001传送流时，都进行步骤S1202—S1203中的上述PCR获取和不连续判断处理。

然后，在步骤S1204，如果被传输的PES包是第一PES包，则多路分用单元1003检测到该被传输的PES包是第一PES包。这里，第一PES包是首先包括PTS的输入的流的PES包。如果被传输的PES包是跟在第一PES包之后的PES包，则在步骤S1204中不会检测到被传送的PES包。然后，流程进至步骤S1205。

然后，在步骤S1205，多路分用单元1003提取音频编码数据和音频PTS，并且将提取的音频编码数据传送至音频解码单元1004，而将提取的音频PTS传送至音频PTS获取单元1005。

接着，在步骤S1206，音频PTS获取单元1005把从多路分用单元1003传输的PTS传送至同步控制单元1012和音频PTS存储单元1006。

在步骤S1207，同步控制单元1012将从外部指定的入口点与由音频PTS获取单元1005管理的当前PTS进行比较，并且判断该入口点是否和具有当前PTS的音频帧对应。如果判断该入口点和具有当前PTS的音频帧对应，则流程进至后述步骤S1208。

如果判断该入口点和具有当前PTS的音频帧不对应(步骤S1207：否)，则流程进至后述步骤S1210。

这里，根据是否满足下述条件表达式(表达式9)来进行入口点判断。在(表达式9)中，EPa3表示从外部设定的入口点，Ta3表示帧单位时间，PTSna3表示在步骤S1205中提取的音频PTS。用音频帧的一个帧单位时间作为Ta3。例如，一个帧单位时间对于AAC24kHz是42ms，对于AAC48kHz是22ms。要注意的是，这一条件表达式仅仅是一个例子，进行入口点判断的方法并不局限于该条件表达式。

(表达式9)

EPa3—1/2×Ta3<PTSna3≤EPa3+1/2×1/2×Ta3

如果入口点值和当前PTS一致(步骤S1207：是)，则在步骤S1208，同步控制单元1012将解码允许信号传输至音频解码单元1004。根据从同步控制单元1012传输的解码允许信号，音频解码单元1004进行音频编码数据的解码处理。将解码后的音频帧存储在音频解码单元1004内的帧缓冲器中。

然后，在步骤S1209，在完成步骤S1208的音频解码处理后，将音频帧输出准备完成标志设为“1”。

另一方面，如果入口点值和当前PTS不一致(步骤S1207：否)，则在步骤S1210，音频PTS比较单元1007进行空隙判断，判断是否在音频PTS获取单元1005获取的PTS(下称“当前PTS”)和音频PTS存储单元1006存储的PTS(下称“前一PTS”)之间产生了空隙。这里，该空隙判断是基于是否满足下述条件表达式(表达式10)来进行的。如果满足(表达式10)，则判定是检测出空隙的音频帧，流程进至步骤S1211。如果不满足(表达式10)，则流程进至后述步骤S1213。就第一音频帧而言，前一PTS不存储在音频存储单元1006中。因此，对于第一音频帧，不进行空隙判断处理。在(表达式10)中，Xa3表示为进行空隙判断从外部设置的阈值，且理想的是，该阈值大于帧周期。

(表达式10)

当前PTS值—前一PTS值<0或者当前PTS值—前一PTS值>Xa3

就空隙判断而言，如果满足(表达式10)(步骤S1210：是)，则在步骤S1211，音频PTS比较单元1007把检测出空隙的PTS和(在步骤S1203中)存储在不连续检测单元1002中的PCR相比较。如果满足(表达式8)(步骤S1211：是)，则流程进至步骤S1213。如果不满足(表达式8)(步骤S1211：否)，则流程进至步骤S1212。

如果不满足(表达式8)(步骤S1211：否)，则在步骤S1212，断定检测出空隙的音频帧是防故障数据。然后，流程进至步骤S1208。

在步骤S1213，音频解码单元1004根据音频PTS比较单元1007发出的指令，进行音频编码数据的跳越处理，流程进至步骤S1214。

然后，在步骤S1214，音频PTS存储单元1006将当前PTS设置为前一PTS。即，为了利用当前PTS来进行下一音频帧的空隙判断处理，将当前PTS作为前一PTS存储。然后，流程回到步骤S1205继续处理。

要注意的是，从视频帧和音频帧的开始数据的确定到再现的操作与第一实施例的图7中示出的操作相同。

如上所述，本发明第三实施例的同步再现装置利用PCR检测在TS包之间发生的不连续。因此，可以将由TS包的数据缺失引起的不连续和由PTS比特错误引起的不连续区分开来。因为由TS包的数据缺失引起的不连续可以利用本说明书所述的方法之外的方法来判断(例如使用上层软件)，所以可以考虑不将与缺失数据对应的部分指定为入口点。根据第三实施例，如果检测到由于TS包数据缺失引起的不连续，可以继续进行搜索处理，而不是中止搜索处理并从防故障数据开始再现。

(4.第四实施例)

下面对本发明的第四实施例进行说明。

第四实施例的同步再现装置与第一实施例的同步再现装置具有相同结构。但是，第四实施例和第一实施例存在以下不同点。在第四实施例中，与帧缺失相关的处理是在视频帧和音频帧的再现期间进行的。在此省略了对第四实施例的同步再现装置中与图1所示同步再现装置100相同的结构说明。下面将重点描述再现期间的操作。

(4-1.结构)

下面说明和第一实施例不同的结构。

在再现期间，多路分用单元102将从传输单元101传送的多路复用流分成视频PES数据和音频PES数据。从视频PES数据中提取视频PTS和视频编码数据，然后将提取的视频PTS和视频编码数据传输至视频解码单元104和视频PTS获取单元105。而且，与视频PES数据一样，还从音频PES数据中提取音频PTS和音频编码数据，然后将提取的音频PTS和音频编码数据传输至音频解码单元103和音频PTS获取单元108。

音频解码单元103中包括独特的时钟，并且按帧周期运行。在帧周期的前部，音频解码单元103获取与一个音频帧对应的音频编码数据，且根据来自同步控制单元111的控制信号的状态确定解码处理操作。具体地说，如果来自同步控制单元111的控制信号是解码允许信号，则音频解码单元103进行解码处理，并输出解码处理的结果。如果来自同步控制单元111的控制信号是解码中止信号，则音频解码单元103中止解码处理，并中止输出。如果来自同步控制单元111的控制信号是放弃信号，则音频解码单元103将放弃当前帧的音频编码数据，并立即获取下一帧的音频编码数据。然后，音频解码单元103根据来自同步控制单元111的下一控制信号的状态确定解码处理操作。

和音频解码单元103类似，视频解码单元104中包括独特的时钟，并且按帧周期运行。在帧周期的前部，视频解码单元104获取和一个视频帧对应的视频编码数据，且根据来自同步控制单元111的控制信号的状态确定解码处理操作。具体地说，如果来自同步控制单元111的控制信号是解码允许信号，则视频解码单元104进行解码处理，并输出解码处理的结果。同时，获取下一帧的视频编码数据。如果来自同步控制单元111的控制信号是解码中止信号，则视频解码单元104中止解码处理，并中止输出。同样，如果来自同步控制单元111的控制信号是数据放弃信号，则视频解码单元104对当前帧的视频编码数据进行解码，并获取下一帧的视频编码数据。然后，视频解码单元104根据来自同步控制单元111的下一控制信号的状态确定解码处理操作。

这里，即使接收到数据放弃信号，因为下述原因，视频解码单元104也会进行解码处理。

需要通过参考前面的帧来完成动画压缩编码数据例如MPEG动画压缩编码数据的解码处理。因此，如果帧数据在没有解码处理的情况下被放弃，则有可能无法对跟在被放弃帧之后的帧进行正常的解码操作。

音频PTS获取单元108获取从多路分用单元102发送的音频PTS，并且每当音频解码单元103获取音频编码数据时，将获取的音频PTS传送至同步控制单元111。

视频PTS获取单元105获取从多路分用单元102发送的视频PTS，并且每当视频解码单元104获取视频编码数据时，将获取的视频PTS传送至同步控制单元111。

一旦从音频PTS获取单元108获取了音频PTS，同步控制单元111就获取由参考时钟单元112提供的参考时钟(下文还称为“STC”)。同步控制单元111将STC和音频PTS相比较，并且将控制信号传送至音频解码单元103。一旦从视频PTS获取单元105获取了视频PTS，同步控制单元111将获取由参考时钟单元112提供的STC。同步控制单元111将STC和视频PTS相比较，并且将控制信号传送至视频解码单元104。

而且，如果判断作为主方式操作的数据的PTS与STC同步，则同步控制单元111把用于校正参考时钟的PTS传送至参考时钟单元112。

此外，同步控制单元111管理当前主方式是音频主方式还是视频主方式，并且管理同步控制状态，所述同步控制状态分别表示是音频还是视频与参考时钟同步。

参考时钟单元112接收从同步控制单元111发送的PTS，并且基于接收的PTS校正内部参考时钟。

(4-2.操作)

下面参考图14示出的流程图说明再现期间由同步控制单元111进行的同步控制处理。尽管在此对视频编码数据解码处理的同步控制进行说明，当然这一同步控制也适用于音频编码数据的解码处理。此时，可以将图14中表示成“视频”的部分和表示成“音频”的部分互换。

如图14所示，在视频PTS获取单元105向同步控制单元111传送视频PTS的时候，便开始进行操作。

在步骤S1601，同步控制单元111获取从视频PTS获取单元105发送的视频PTS。

接着，在步骤S1602，从参考时钟单元112获取当前时间的STC。

然后，在步骤S1603，判断是否满足下述条件表达式(表达式11)。

(表达式11)

|PTS—STC|<t1

这里，阈值t1是可以针对系统或者数据确定的固定值。

如果满足(表达式11)(步骤S1603：是)，则判定该视频PTS和STC同步。流程进至步骤S1604。如果不满足(表达式11)(步骤S1603：否)，则判定该视频PTS和STC不同步。流程进至用于进行异步处理的步骤S1609。

这里，存在下述情况，即在一个PES包中包括多个音频帧或者视频帧。在这种情况下，从多路分用单元102发送的PTS和该PES包的第一帧i对应。因此，跟在该PES包第一帧之后的帧“i+1”和“i+2”不存在对应的PTS。此时，视频PTS获取单元105利用与视频帧的帧速率相关的参数或者预定帧速率，针对不存在对应的PTS的帧，插补视频PTS值。在音频帧的情况下，同样地，音频PTS获取单元108利用与音频帧的帧速率相关的参数或者预定帧速率，针对不存在对应的PTS的帧，插补音频PTS值。

(表达式11)表明：

为了和视频帧同步，需要在STC＝PTS的瞬间开始输出视频帧。但是，利用软件进行的参考时钟读取处理有可能导致处理时间段发生变化。因此，难以精确地读取STC＝PTS时的时间。所以，如果满足(表达式11)，则通过使得在判断处理中保持冗长，同步控制单元111向视频解码单元104发出解码允许的指令信号。

如果满足(表达式11)(步骤S1603：是)，则在步骤S1604，同步控制单元111将解码允许信号发送到视频解码单元104。根据该解码允许信号，视频解码单元104进行解码处理，并且输出作为解码处理结果的音频再现数据。

在步骤S1605，获取当前的参考时钟的主方式。

在步骤S1606，如果判定当前的主方式是视频主方式(步骤S1606：是)，则将判断为同步的PTS值发送至参考时钟单元112。参考时钟单元112根据传送的PTS对内部时钟进行校正处理。

如果当前主方式不是视频主方式(步骤S1606：否)，则流程进至步骤S1608。

在步骤1608，因为判定PTS和参考时钟同步，所以将异步计数器清“零”(将在下面描述)，并且将同步控制状态变成同步状态。然后，同步控制处理结束。

另一方面，如果不满足(表达式11)(步骤S1603：否)，则在步骤S1609，判断是否满足下述条件表达式(表达式12)。

(表达式12)

0<STC—PTS<t2

这里，阈值t2是可以针对系统或者数据确定的固定值。

如果满足上述(表达式12)(步骤S1609：是)，则要解码的帧已经迟于再现时间。因此，放弃该帧，并且立即进行下一帧的处理，以补偿丢失的时间段。即，在步骤S1610，向视频解码单元104发送数据放弃信号。然后处理结束。

在第四实施例中，如果要解码的帧已经迟于再现时间，则向解码单元发出放弃和一帧对应的数据的指令。但是，如果要解码的帧比STC晚很多，则可发出放弃和多帧对应的数据的指令。

如果不满足上述(表达式12)(步骤S1609：否)，则流程进至步骤S1611。

在步骤S1611，判断是否满足下述条件表达式(表达式13)。

(表达式13)

0<(PTS—STC)<t3

这里，阈值t3是可以针对系统或者数据确定的固定值。

如果满足上述(表达式13)(步骤S1611：是)，则要解码的帧比再现时间快。因此，中止该帧的解码处理，以消除超前的时间段。即在步骤S1612，向视频解码单元104发送解码中止信号。

在步骤S1613，经过与PTS和STC之间的时间差对应的时间段之后，向视频解码单元104发送解码允许信号。

另一方面，如果不满足上述(表达式13)(步骤S1611：否)，则有可能发生PTS错误或者不连续。流程进至步骤S1614，进行异步处理。

在异步处理中进行下述操作。

在步骤S1614，判断是否满足涉及异步计数器值的下述条件表达式(表达式14)。

(表达式14)

异步计数器<M

这里，在判断步骤S1603、S1609、S1611中进行的任何一个判断都不满足的情况下，异步计数器对进行了异步处理的帧数进行计数。当开始计数时，或者如果满足步骤S1603中的(表达式11)，即如果判断出STC和PTS同步，则将异步计数器清“零”。

在(表达式14)中，阈值M是可以针对系统或者数据确定的固定值。

如果满足(表达式14)(步骤S1614：是)，则在步骤S1615，向视频解码单元104发送解码允许信号。根据该解码允许信号，视频解码单元104进行该帧的解码处理，并且输出该帧的处理结果。

然后，在步骤S1616，令异步计数器加1。

在步骤S1629，将视频的同步控制状态变为异步状态。然后，同步控制处理结束。

另一方面，如果不满足(表达式14)(步骤S1614：否)，则流程进至步骤S1617，进行强制同步处理。

基于下述原因而采用异步计数器。

如果在STC和PTS之间的时间差较大，则不可能区分是在音频帧和视频帧二者之一中发生了暂时的不连续还是发生了PTS值错误。如果STC和PTS之间时间差较大的帧的连续帧数小于预定的帧数(在上述(表达式14)中是M帧)，则断定发生了PTS值错误，并且进行异步处理。如果STC和PTS之间时间差较大的帧的连续帧数不小于预定的帧数，则断定发生了暂时的不连续，并且进行强制同步处理。

在强制同步处理中进行下述处理。

在步骤S1617，将视频再现状态转换成强制同步状态。

在步骤S1618，获取当前的参考时钟的主方式。

在步骤S1619，判断当前主方式是否是视频主方式。

如果断定当前主方式是视频主方式(步骤S1619：是)，则在步骤S1620，将PTS值传送至参考时钟单元112。参考时钟单元112根据传送的PTS对内部时钟进行校正处理。即，主方式情况下的强制同步处理意味着参考时钟的校正。

在步骤S1621，向视频解码单元104发送解码允许信号。然后，处理结束。

另一方面，如果断定当前主方式不是视频主方式(步骤S1619：否)，则流程进至步骤S1622。

在步骤S1622，获取主方式的同步状态。

在步骤S1623，判断主方式的同步控制状态是否不是同步状态。

如果主方式的同步控制状态不是同步状态(步骤S1623：是)，则在步骤S1624，向视频解码单元104发送解码允许信号。然后，处理结束。

这里，由于下述原因而进行主方式的同步控制状态的判断。

如果主方式不是同步状态，而是异步状态或强制同步状态，则主方式不是处于同步的状态。此时，不基于主方式的PTS对参考时钟进行校正。因此，需要等待，直到主方式变为同步状态为止。

另一方面，如果主方式是同步状态(步骤S1623：否)，则在步骤S1625判断是否满足下述条件表达式(表达式15)。

(表达式15)

PTS<STC

如果满足上述(表达式15)(步骤S1625：是)，即，如果STC大于PTS，则断定PTS更晚。在步骤S1626向视频解码单元104发送数据放弃信号。然后，处理结束。

另一方面，如果不满足(表达式15)(步骤S1625：否)，即，如果PTS大于STC，则步骤S1627向视频解码单元104发送解码中止信号。

在步骤S1628，在经过与PTS和STC之间的时间差对应的时间段之后，向视频解码单元104发送解码允许信号。然后，处理结束。

参考图15示出的时序图说明上述流程图中的强制同步部分的详细操作。

图15是一个时序图，示出了视频流和音频流中发生了暂时的不连续的情形时应用第四实施例的情况。

在图15中，视频再现数据和音频再现数据以帧为单位表示。标在各帧上的数字表示PTS。例如，视频帧1801的PTS是42。图15示出了以音频主方式运行的例子。所以根据各音频帧的PTS值对参考时钟进行校正。视频帧的显示周期是5，音频帧的显示周期是3。在视频帧1801和视频帧1802之间，以及音频帧1803和音频帧1804之间发生了暂时的不连续。(表达式13)中的阈值t3对于视频和音频都是10。(表达式14)中异步计数器的阈值M对于视频是5，对于音频是3。

在视频和音频两者的同步控制状态都处于同步状态的再现操作状态期间，在视频帧1802中产生视频不连续。此时，视频帧1802和参考时钟之间的差为78，大于(表达式13)中阈值t3＝10。而且，异步计数器的值是“0”。因此，进行异步处理。

然后，在音频帧1804中发生音频不连续。尽管当前主方式是音频主方式，但和视频的情况相同，进行同步控制处理。

音频帧1804和参考时钟之间的差为66，大于(表达式13)中阈值t3＝10。而且，异步计数器的值也是“0”。因此，进行异步处理。

当进行音频异步处理时，不校正参考时钟。因此，参考时钟单元的内部计时器处于异步状态。

然后，因为在音频帧1805中音频的异步计数器的值为“3”，不满足(表达式14)。因此，进行强制同步处理。由于当前主方式是音频主方式，所以在强制同步处理的情况下对参考时钟进行校正。结果是，参考时钟被校正为126。

然后，进行视频帧1806的同步控制处理。结果是，将音频再现状态变成同步状态，对参考时钟进行校正。但是，视频帧1806和参考时钟之间的差仍然为12，大于(表达式13)中的阈值10。因此，继续进行异步处理。

视频的异步计数器的值在视频帧1807中为“5”，不满足(表达式14)。因此，进行强制同步处理。视频帧1807的PTS和STC之间的差是12。因此，中止视频帧1807的解码处理，并且等待每帧12个时间段过去。在等待该时间段过去期间，显示视频帧1806。在12个时间段过去之后，对视频帧1807进行解码，并显示解码后的视频帧1807。然后，和参考时钟同步地再现该视频。

如上所述，利用本发明第四实施例的同步再现装置的结构，即使在不良的无线电波条件下记录的多路复用流中包含的音频流和视频流中之一或者二者中都发生暂时的不连续，也能够继续再现多路复用流。此外，可以在经过发生了不连续的不连续点之后，彼此同步地再现音频帧和视频帧。

此外，通过设置异步计数器，能够根据阈值判断是否进行异步处理或者强制同步处理。因此，即使由于传输错误导致的PTS错误使其例如不可能实现同步，同步再现装置也不会判断发生了不连续，进行异步处理。因此，可以不中断地连续再现音频和视频。

(5.第五实施例)

下面说明本发明的第五实施例。

第五实施例的同步再现装置和第四实施例的同步再现装置具有相同的结构和相同的基本操作。但是，第五实施例和第四实施例具有以下不同点。在第五实施例中，在再现期间进行的同步控制处理包括经修正的强制同步处理。下面重点说明和第四实施例不同的操作。

(5—1.操作)

下面参考图16说明第五实施例的同步再现装置的操作。

尽管在此说明的是对视频编码数据进行解码处理的同步控制，当然同样的处理也适用于音频编码数据的解码处理。这种情况下，将图16中用“视频”表示的部分和用“音频”表示的部分互换即可。

图16是表示第五实施例的同步控制处理的流程图。

由于步骤S1701至S1716中的处理操作和第四实施例的图14中示出的步骤S1601至S1616中的操作相同，所以省略对它们的说明。

下面参考图16，从步骤S1717开始详细说明强制同步处理。

首先，在步骤S1717，因为判定视频是异步的，所以将视频同步控制状态转换到强制同步状态。

在步骤S1718，获取当前参考时钟的主方式。

在步骤S1719，判断当前主方式是否是视频主方式。

如果断定当前主方式是视频主方式(步骤S1719：是)，则在步骤S1720，将PTS值传送至参考时钟单元112。参考时钟单元112根据传送的PTS对内部时钟进行校正处理。

然后，在步骤S1721，向视频解码单元104发送解码允许信号。然后，处理结束。

另一方面，如果当前主方式不是视频主方式(步骤S1719：否)，则流程进至步骤S1722。

在步骤S1722，获取主方式的同步控制状态。

在步骤S1723，判断主方式的同步控制状态是否不是同步状态。

如果不是同步状态(步骤S1723：是)，则在步骤S1724向视频解码单元104发送解码允许信号。然后，处理结束。

如果主方式是同步状态(步骤S1723：否)，则流程进至步骤S1725。

在步骤S1725中，判断是否满足下述条件表达式(表达式16)。

(表达式16)

PTS—STC<t4

这里，阈值t4是可以针对系统或者数据确定的固定值。

如果满足(表达式16)(步骤S1725：是)，则流程进至步骤S1726。

在步骤S1726，判断是否满足下述条件表达式(表达式17)。

(表达式17)

PTS<STC

如果满足上述(表达式17)(步骤S1726：是)，即如果STC大于PTS，则PTS晚于STC。因此，在步骤S1727，向视频解码单元104发送数据放弃信号。然后，处理结束。

如果不满足(表达式17)(步骤S1726：否)，即如果PTS大于STC，则在步骤S1728向视频解码单元104发送解码中止信号。

在步骤S1729，经过与PTS和STC之间的时间差对应的时间段之后，向视频解码单元104发送解码允许信号。然后，处理结束。

另一方面，如果不满足(表达式16)(步骤S1725：否)，则在步骤S1730将异步计数器清“零”。

在步骤S1731，向视频解码单元104发送解码中止信号。

在步骤S1732，在经过和t5对应的时间段之后，向视频解码单元104发送解码允许信号。

在第五实施例中，如果在(表达式17)中STC大于PTS，即PTS晚于STC，向视频解码单元104发出放弃和一帧对应的数据的指令。但是，可以发出放弃和多帧对应的数据的指令。此外，也可以放弃和t5时间对应的数据，而不是放弃和PTS与STC之间的时间差对应的数据。

然而，在该强制同步处理中，即使PTS与STC之间的差值不小于t4，进行同步控制的范围也是和t5对应的数据。这是因为下述原因造成的。

如果不满足步骤S1714中(表达式14)即异步计数器<M(步骤S1714：否)，则存在下述情况，即，由于传输错误而产生PTS错误，或者在较短的时间段内在音频流或者视频流中反复发生暂时的不连续。此时，如果进行步骤S1728中的处理，则PTS和STC之间的差值可能是一个非常大的值。这可能导致等待一个很长的时间段，或者放弃和长时间段对应的数据。为了避免这种情形，即使PTS和STC之间的差值不小于t4，进行同步控制的范围也确定为是和t5对应的数据。

参考图17示出的时序图说明上述流程图中的强制同步控制的详细操作。

图17是一个时序图，示出了在视频流和音频流中重复发生暂时不连续的情形应用第五实施例的情况。

在图17中，视频再现数据和音频再现数据以帧为单位表示。标在各帧上的数字表示PTS。例如，视频帧1901的PTS是42。图17示出了以音频主方式运行的例子。所以根据各音频帧的PTS值对参考时钟进行校正。视频帧的显示周期是5，音频帧的显示周期是3。在视频帧1901和视频帧1902之间，以及音频帧1903和音频帧1904之间发生暂时的不连续。此外，在视频帧1905和视频帧1906之间，以及音频帧1908和音频帧1909之间发生了不连续。

(表达式13)中的阈值t3对于视频和音频都是10。(表达式14)中异步计数器的阈值M对于视频是5帧，对于音频是3帧。(表达式16)中的阈值t4对于视频和音频都是20。(表达式16)中STC和PTS之间的固定时间差t5是10。

在视频和音频二者的同步控制状态都处于同步状态的再现状态期间，在视频帧1902中产生视频不连续。此时，视频帧1902和参考时钟之间的差为78，大于(表达式13)中的阈值t3＝10。而且，异步计数器的值是“0”。因此，进行异步处理。

然后，在音频帧1904中发生音频不连续。尽管当前主方式是音频主方式，但也与视频一样进行同步控制处理。

音频帧1904和参考时钟之间的差为66，大于(表达式13)中的阈值t3＝10。而且，异步计数器的值是“0”。因此，进行异步处理。

当进行音频异步处理期间，不校正参考时钟。因此，参考时钟单元的内部计时器处于异步状态。

然后，因为在音频帧1905处音频的异步计数器的值为“3”，所以不满足(表达式14)。因此，进行强制同步处理。因为当前主方式是音频主方式，所以在强制同步处理的情况下对参考时钟进行校正处理。结果是，参考时钟被校正为126。

然后，在视频帧1906中又发生不连续。异步计数器的值为3，因此继续进行异步处理。

视频的异步计数器的值在视频帧1907处为“5”，不满足(表达式14)。因此，进行强制同步处理。此时，视频帧1907的PTS是425，STC是133。PTS和STC之间的差是292，大于强制同步的阈值t4＝20。因此，将等待时间段t5设置成10，中止视频帧1907的解码处理，并且等待每帧10个时间段过去。在所等待的10个时间段过去之后，对视频帧1907进行解码，并显示解码后的视频帧1907。但是，下一视频帧1911的PTS和STC之间的差值是11，仍然大于阈值10。异步计数器的值是“0”。进行异步处理，且异步计数器再次开始计数。

而且，在音频帧1909中又发生音频不连续。音频帧1909的PTS和STC之间的差是371，大于(表达式13)中阈值t3＝10。因此，进行异步处理。

在音频帧1910处音频的异步计数器的值为“3”，不满足(表达式14)。因此，进行强制同步处理。因为当前主方式是音频主方式，所以在强制同步处理的情况下对参考时钟进行校正处理。结果是，参考时钟被校正为409。

视频的异步计数器在视频帧1912处的值为“5”，不满足(表达式14)。因此，进行强制同步处理。此时，视频帧1912的PTS是450，STC是439。PTS和STC之间的差是11，(表达式13)中的阈值t3＝10。因此，进行强制同步处理。即中止视频帧1912的解码处理，并且等待每帧11个时间段过去。在11个时间段过去之后，对视频帧1912进行解码，并显示解码后的视频帧1912。然后，和参考时钟同步地再现该视频。

如上所述，利用本发明第五实施例的同步再现装置的结构，即使由于传输错误而在流中产生错误，或者在音频流和视频流之一或二者中都反复发生暂时的不连续，或者PTS错误和不连续同时发生，也可以在流中发生了错误或者不连续的部分不停止再现的情况下进行再现操作，和在短时间内恢复音频帧和视频帧的彼此同步再现。

此外，多次进行强制同步处理。因此，如果需要在长时间段内进行强制同步处理，可以缩短长时间对同一帧再现输出的时间段，并且减少用户视听强制同步处理过程中的影像的不舒适感。

(6.第六实施例)

下面说明本发明的第六实施例。

第六实施例的同步再现装置和第五实施例的同步再现装置具有相同的结构和相同的基本操作。但是，第六实施例和第五实施例具有以下不同点。在第六实施例中，在再现期间进行的同步控制处理包括经修正的异步处理。下面重点说明与第五实施例不同的操作。

(6—1.操作)

下面参考图18说明第六实施例的同步再现装置的操作。

尽管在此说明的是对视频编码数据进行解码处理的同步控制，当然同样的处理也可适用于音频编码数据的解码处理。这种情况下，将图18中用“视频”表示的部分和用“音频”表示的部分彼此互换即可。

图18是表示第六实施例的同步控制处理的流程图。

因为步骤S2001至S2033中的操作和第五实施例的图16中示出的步骤S1701至S1733中的操作说明相同，所以在此省略对它们的说明。

下面参考图18，详细说明异步处理中的步骤S2034到步骤S2039的处理。

首先，在步骤S2034判断是否满足下面的条件表达式(表达式18)。

(表达式18)

异步计数器>N

这里，阈值N是能针对系统或者数据确定的固定值，且小于(表达式14)中的阈值M。

如果不满足(表达式18)(步骤S2034：否)，则流程进至步骤S2014。然后，进行和第五实施例类似的处理。

如果满足(表达式18)(步骤S2034：是)，则流程进至步骤S2035。

在步骤S2305，获取当前的参考时钟的主方式。

在步骤S2036，如果断定当前的主方式是视频主方式，则流程进至步骤S2037。如果当前主方式不是视频主方式，则流程进至步骤S2015。

在步骤S2037，获取音频的同步控制状态。

在步骤S2038，如果音频的同步控制状态不是同步状态(步骤S2038：否)，则流程进至步骤S2015。如果是同步状态(步骤S2038：是)，则流程进至步骤S2039。

在步骤S2039，将当前主方式切换至音频主方式。

在异步处理步骤中，如果异步计数器的值不小于阈值N，则基于下述原因，进行主方式切换控制。

在记录的流包含的主方式的流中(例如，在音频流中)发生了不连续，且在记录的流包含的其它流中没有发生不连续的情况下，如果在主方式的流中发生不连续之后进行强制同步处理，则需要校正参考时钟。换言之，这一处理使得参考时钟中产生不连续。结果，再现装置进行使得非主方式的流(在主方式的流是音频流的情况下，非主方式的流为视频流)和参考时钟同步的操作。因此，尽管在流中没有发生不连续，但是由于由同步控制处理导致发生数据的放弃或者等待，所以并不进行连续再现。按照这种方式，如果在一个流中发生了不连续，特别是如果在指定作为主方式的流的流中发生了不连续，则进行主方式切换控制，以便平滑地再现其中没有发生不连续的其它流。

下面将参考图19示出的时序图详细说明图18的流程图中示出的操作。

图19是一个时序图，示出了应用第六实施例的下述情况，即在音频流中发生暂时的不连续，且在同步状态下以音频主方式运行的情形。

在图19中，视频再现数据和音频再现数据以帧为单位表示。标在各帧上的数字表示PTS。例如，音频帧2101的PTS是39。图19示出了以音频主方式运行的例子。所以根据各音频帧的PTS值对参考时钟进行校正。视频帧的显示周期是5，音频帧的显示周期是3。在音频帧2101和音频帧2102之间发生暂时的不连续。在视频帧之间没有发生不连续。

(表达式13)中的阈值t3对于视频和音频都是10。(表达式14)中异步计数器的阈值M对于音频是4帧。(表达式18)中主方式切换的阈值N对于音频是2帧。

在视频和音频处于同步状态且当前主方式是音频主方式的再现操作期间，在音频帧2102中产生音频的不连续。此时，音频帧2102和参考时钟之间的差为18。异步计数器的值是“0”。因此，差大于(表达式13)中的阈值t3＝10，进行异步处理。

然后，在音频帧2103中异步计数器的值为“3”，满足(表达式18)。因此，进行主方式切换控制，以将主方式从音频主方式切换到视频主方式。因为视频帧2106和参考时钟同步，所以视频帧2106在同步状态下输出，并校正参考时钟。

另一方面，音频帧2104和参考时钟之间的差是18，因此继续在异步状态。之后，在音频帧2105中异步计数器不满足(表达式14)，因此，进行强制同步处理。

音频帧2105的PTS和STC之间的差是18，因此中止音频帧2105的解码处理，并且等待每帧18个时间段过去。当等待18个时间段过去期间时，没有音频输出。在18个时间段过去后，对音频帧2105进行解码，且输出解码后的音频帧2105。在音频帧2107中，音频重新成为同步状态。因此，进行主方式切换控制，将主方式从视频主方式切换到音频主方式，以恢复正常状态。此时，连续再现没有缺失帧的视频帧。

如上所述，利用第六实施例的同步再现装置的结构，如果在不良的无线电波条件下记录的多路复用流中包含的音频流和视频流的任何一个中发生不连续，特别是如果在作为主方式流的流中发生不连续，也可以连续再现另一种作为非主方式流且其中没有发生不连续的流。

(7.第七实施例)

第七实施例描述了本发明的携带式电话机。第七实施例的携带式电话机2000包括第一实施例的同步再现装置100。

图20是方块图，示出了本发明的携带式电话机2000的结构。携带式电话机2000包括用于移动通信的通信无线单元2401、基带单元2402、用于接收数字电视广播的电视无线单元2403、电视调谐器2405、进行各种控制的应用处理单元2406、输入/输出单元2407和电源单元2417。

通信无线单元2401和基带单元2402进行用于无线电话通信的信号处理。

电视无线单元2403接收数字电视广播波。

电视调谐器2405对由电视无线单元2403接收的数字电视广播波进行信号处理。

应用处理单元2406包括通信单元2413、同步再现装置2414、主控制单元2415和存储单元2416。

通信单元2413是一个接口，用于在应用处理单元2406和外围装置之间进行通信。

同步再现装置2414和第一实施例的同步再现装置100具有相同的功能。

主控制单元2415是CPU(中央处理单元)，用于控制包含在携带式电话机2000中的各单元。

存储单元2416是用于存储数据的存储器，特别是存储由电视无线单元2403接收到的、且由电视调谐器2405进行过信号处理的数字电视广播数据。

输入/输出单元2407包括照相机(CAM)2408、LCD(液晶显示器)2409、麦克风(MIC)2410、SPK(扬声器)2411和KEY(键输入单元)2412。

照相机2408输入拍摄数据。

LCD2409输出图像和视频，特别是输出被同步再现装置2414再现的视频。

麦克风2410输入声音，例如无线电话通信时用户的声音。

扬声器2411输出声音，例如被同步再现装置2414再现的声音和无线电话通信时交流对象的声音。

键输入单元2412接收用户的输入操作。

下面简要说明携带式电话机2000的操作。

参考图20，说明由本发明的同步再现装置进行的、用于视听、记录和再现数字电视广播的操作。

在视听数字电视广播时，电视无线单元2403接收由电视调谐器2405选择的频道，并且将多路复用流(MPEG2-TS)输入至应用处理单元2406。应用处理单元2406将接收到的多路复用流传送至同步再现装置2414。在同步再现装置2414中，将接收到的多路复用流输入至图1所示的传输单元101，并将所述多路复用流分成音频数据和视频数据。将分离的音频数据和视频数据解码以进行再现。

为了记录数字电视广播，在存储单元2416中存储从电视调谐器2405传送来的多路复用流。这里，存储单元2416可以是包含在携带式电话机内的存储器，或者是相对于携带式电话机可拆卸存储器。

此外，为了根据用户从键输入单元2412输入的键操作来再现存储的多路复用流，存储单元2416将该多路复用流输入给同步再现装置2414。在该同步再现装置2414中，将输入的多路复用流分成音频数据和视频数据。将分离的音频数据和视频数据解码以进行再现。

要注意的是，这里说明的是携带式电话机2000包括第一实施例的同步再现装置100的例子。但携带式电话机2000当然也可以包括第二至第六实施例中任意实施例的同步再现装置。

此外，这里说明的是将本发明的同步再现装置应用于携带式电话机的例子。但也可以将该同步再现装置应用于音频设备和各种类型的视频再现设备。

工业实用性

本发明的同步再现装置可广泛应用于再现编码视频的再现装置。该同步再现装置可以从由于在不良无线电波条件下记录等而发生了帧缺失的流中包含的最合适的帧开始再现，并且可以连续再现而不中断视频信号和音频信号，因而非常实用。

Claims (11)

1.一种用于解码和再现输出数据流的再现装置，所述数据流包含各自具有以预定时间间隔加入的帧再现时间信息的多个帧，该再现装置从包含再现开始位置的指定再现开始时间段对应的帧开始再现，所述再现装置包括：

获取单元，用于获取每一帧中的帧再现时间信息；

存储单元，用于存储由所述获取单元获取的帧再现时间信息；

比较单元，用于判断每一帧中，由所述获取单元获取的当前帧再现时间信息是否包括在所述指定再现开始时间段中，如果判断结果为不包括，进一步判断所述当前帧再现时间信息和所述存储单元保存的前一帧的前一帧再现时间信息之间的差是否大于所述预定时间间隔；和

再现输出单元，用于：如果所述比较单元判定所述当前帧再现时间信息和所述前一帧再现时间信息之间的差大于所述预定时间间隔，则从具有所述当前帧再现时间信息的帧开始再现。

2.如权利要求1所述的再现装置，其特征在于，所述数据流包含以每一个预定时间段增加的节目参考时间信息，该再现装置还包括：

检测单元，用于：获取节目参考时间信息，比较所获取的当前节目参考时间信息和所述预定时间段之前获取的前一节目参考时间信息，在所述当前节目参考时间信息和所述前一节目参考时间信息之间的差大于预定阈值的情况下，检测出节目参考时间信息存在不连续，并且存储所述当前节目参考时间信息，

在断定所述当前帧再现时间信息和所述前一帧再现时间信息之间的差大于所述预定时间间隔的情况下，而且在所述检测单元中存储有所述当前节目参考时间信息的情况下，所述比较单元进一步判断所述当前节目参考时间信息和所述当前帧再现时间信息之间的差是否大于所述预定时间段，

在所述比较单元断定所述当前节目参考时间信息和所述当前帧再现时间信息之间的差大于所述预定时间段的情况下，所述再现输出单元从具有所述当前帧再现时间的帧开始再现。

3.如权利要求2所述的再现装置，其特征在于，其遵照MPEG(MovingPicture Experts Group运动图像专家组)标准，其中：

所述帧再现时间信息都是按照MPEG标准定义的PTS(Presentation TimeStamp显示时间标签)，并且

所述节目参考时间信息都是按照MPEG标准定义的PCR(Program ClockReference节目时钟参考)。

4.一种用于解码和再现输出数据流的再现装置，所述数据流包含各自具有视频再现时间信息的视频帧和各自具有音频再现时间信息的音频帧，该再现装置从包含再现开始位置的指定再现开始时间段对应的视频帧和音频帧开始再现，所述再现装置包括：

获取单元，用于从视频帧获取视频帧再现时间信息和从音频帧获取音频帧再现时间信息；

比较单元，用于判断由所述获取单元获取的视频帧的视频帧再现时间信息和音频帧的音频帧再现时间信息是否分别包含在所述指定再现开始时间段内；和

解码单元，用于对视频帧和音频帧进行解码和再现输出，

为所述比较单元判断所述获取单元获取的视频帧再现时间信息是否包括在所述再现开始时间段内而设定最大时限Tv，为所述比较单元判断所述获取单元获取的音频帧再现时间信息是否包括在所述再现开始时间段内而设定最大时限Ta，并且

(i)当最大时限Tv>Ta时，如果所述获取单元获取的音频帧再现时间信息不包括在所述再现开始时间段内，且在经过最大时限Ta之后视频帧已经完成了解码，则所述解码单元再现输出该视频帧，

(ii)当最大时限Tv<Ta时，如果所述获取单元获取的视频帧再现时间信息不包括在所述再现开始时间段内，且在经过最大时限Tv之后音频帧已经完成了解码，则所述解码单元再现输出该音频帧。

5.一种用于解码和与包含于其中的系统基准时钟同步地再现数据流的再现装置，所述数据流包含各自具有以预定时间间隔加入的帧再现时间信息的多个帧，该再现装置包括：

比较单元，用于比较每一帧中的帧再现时间信息和所述系统基准时钟示出的时间；

解码单元，用于在所述比较单元判断帧再现时间信息和所述系统基准时钟示出的时间一致的情况下，对具有该帧再现时间信息的帧进行解码和再现输出；

控制单元，用于在所述比较单元判断帧再现时间信息和所述系统基准时钟示出的时间不一致的情况下，向所述解码单元发出对具有该帧再现时间信息的帧进行解码并且进行与所述系统基准时钟不同步的再现输出的指令；和

计数单元，用于根据由所述控制单元发出的指令，对已经由所述解码单元和所述系统基准时钟不同步地再现输出的帧进行计数，其中，

如果所述比较单元判断帧再现时间信息和所述系统基准时钟示出的时间不一致，且所述计数单元对已经和系统基准时钟不同步再现输出的帧的计数达到了预定数量，则所述控制单元向所述解码单元发出对具有该帧再现时间信息的帧进行强制的与所述系统基准时钟同步的再现输出的指令，进行强制同步处理。

6.如权利要求5所述的再现装置，其特征在于，

(i)如果所述比较单元判断出帧再现时间信息大于所述系统基准时钟示出的时间，且所述计数单元对已经和所述系统基准时钟不同步再现输出的帧的计数达到了预定数量，则所述控制单元向所述解码单元发出指令，该指令指示所述解码单元等待，直到帧再现时间信息和系统基准时钟示出的时间一致为止，并且对具有该帧再现时间信息的帧进行解码和再现输出，和

(ii)如果所述比较单元判断出帧再现时间信息小于所述系统基准时钟示出的时间，且所述计数单元对已经和所述系统基准时钟不同步再现输出的帧的计数达到了预定数量，则所述控制单元向所述解码单元发出指令，该指令指示所述解码单元对具有该帧再现时间信息的帧不进行再现输出。

7.如权利要求6所述的再现装置，其特征在于，

如果所述比较单元判断出帧再现时间信息大于所述系统基准时钟示出的时间，且所述计数单元对已经和所述系统基准时钟不同步再现输出的帧的计数达到了预定数量，则在帧再现时间信息和系统基准时钟示出的时间之间的差大于预定差值t1的情况下，所述控制单元向所述解码单元发出指令，该指令指示所述解码单元等待小于预定差值t1的预定时间段t2后，对具有该帧再现时间信息的帧进行解码和再现输出。

8.如权利要求5所述的再现装置，其特征在于，

所述帧包括与第一媒体相关的第一媒体帧和与第二媒体相关的第二媒体帧，

所述系统基准时钟是根据每一个所述第一媒体帧的再现时间信息来确定的，

所述比较单元分别将每一个第一媒体帧的帧再现时间信息与系统基准时钟输出的时间相比较和将每一个第二媒体帧的帧再现时间信息与系统基准时钟输出的时间相比较，

所述计数单元分别对每一个第一媒体帧和每一个第二媒体帧进行计数，并且

如果所述比较单元判断出所述帧内第一媒体帧的再现时间信息和所述系统基准时钟不一致且计数单元对已经和所述系统基准时钟不同步再现输出的第一媒体帧的计数达到预定数量，则所述控制单元变为根据每一个所述第二媒体帧的再现时间信息来确定所述系统基准时钟。

9.一种携带式电话机，包括如权利要求1～8中任一权利要求所述的再现装置。

10.一种在解码和再现输出数据流的再现装置中使用的再现方法，所述数据流包含各自具有以预定时间间隔加入的帧再现时间信息的多个帧，该再现装置从包含再现开始位置的指定再现开始时间段对应的帧开始再现，所述再现方法包括：

获取步骤，用于获取每一帧中的帧再现时间信息；

存储步骤，用于存储由所述获取步骤获取的帧再现时间信息；

比较步骤，用于判断每一帧中，由所述获取步骤获取的当前帧再现时间信息是否包括在所述指定再现开始时间段中，如果判断结果为不包括，进一步判断所述当前帧再现时间信息和所述存储步骤保存的前一帧的前一帧再现时间信息之间的差是否大于所述预定时间间隔；和

再现输出步骤，用于：如果所述比较步骤判定所述当前帧再现时间信息和所述前一帧再现时间信息之间的差大于所述预定时间间隔，则从具有所述当前帧再现时间信息的帧开始再现。

11.一种解码和与包含于其中的系统基准时钟同步地再现数据流的再现装置中使用的再现方法，所述数据流包含各自具有以预定时间间隔加入的帧再现时间信息的多个帧，该再现方法包括：

比较步骤，用于比较每一帧中的帧再现时间信息和所述系统基准时钟示出的时间；

第一再现输出步骤，用于在所述比较步骤判断帧再现时间信息和所述系统基准时钟示出的时间一致的情况下，对具有该帧再现时间信息的帧进行解码和再现输出；

第二再现输出步骤，用于在所述比较步骤判断帧再现时间信息和所述系统基准时钟示出的时间不一致的情况下，对具有该帧再现时间信息的帧进行解码并且进行与所述系统基准时钟不同步的再现输出；

计数步骤，用于对由所述第二再现输出步骤和所述系统基准时钟不同步地再现输出的帧进行计数；和

强制同步处理步骤，用于：如果所述比较步骤判断帧再现时间信息和所述系统基准时钟示出的时间不一致，且所述计数步骤对已经和系统基准时钟不同步再现输出的帧的计数达到了预定数量，则对具有该帧再现时间信息的帧进行强制的与所述系统基准时钟同步的再现输出，进行强制同步处理。

Images