CN1813474A - 数据处理装置及数据处理方法 - Google Patents

Abstract

本发明的数据处理装置，根据包含附加表示再生的时序的时刻信息的图象数据及声音数据的数据流，再生图象及声音。该装置，包括：连续取得第1及第2数据流的数据流取得部；在数据流之间，插入表示交界的伪数据的插入部；检出伪数据，将识别信息与各数据流的图象数据及声音数据关联的解析部；根据相同识别信息关联的图象数据及声音数据的各时刻信息，控制图象数据和声音数据的输出时序的控制部、输出部。

Description

数据处理装置及数据处理方法

技术领域

本发明涉及将声音及图象的编码数据译码后再生的技术，特别涉及从多个数据流连续再生声音及图象之际，同步再生同一个数据流中对应的声音及图象的技术。

背景技术

进几年来，随着数字技术的发达，已经能够将有关动画、静止画等的图象及声音等的内容的数据编码后，作为编码数据流记录到光盘及硬盘等记录媒体上。例如，按照MPEG标准(ISO11172或ISO13818)，将声音作为音频编码流，将图象作为视频编码流，分别编码。然后，将存放各编码数据的数据包，按照时间顺序排列，经多路复用构成一个编码数据流。这种编码数据流的多路复用处理，被称作“系统编码”。被系统编码的多路复用数据流(系统流)，以数据包单位，在一个传输线路上传输，由再生装置处理。其结果，使图象及声音得到再生。

图1(a)～(d)示出了数据流10的数据结构。再生装置从图1(a)所示的数据流10，依次构筑(b)及(c)所示的数据结构，由(d)所示的方式输出图象及声音。

图1(a)示出数据流10的数据结构。例如，数据流10是MPEG2传输流。

数据流10由多路复用的视频包“Vn”(n＝1、2，…)及音频包“An”(n＝1、2，…)构成。各信息包由包标题和继包标题之后的有效荷载构成。在视频包的有效荷载中，存放有关图象的数据；在音频包的有效荷载中，存放有关声音的数据。

图1(b)示出信息包化基本流(PES)11的数据结构。PES11根据构成数据流10的各信息包的有效荷载的数据而构筑。PES11由多个PES信息包构成，各PES信息包由PES标题及PES有效荷载构成。

图1(c)示出视频/音频的基本流(ES)的结构。视频ES12v包含多个由图象标题、图象数据及规定图象的显示时序的再生时刻信息(VPTS)等构成的数据单位。各图象数据，是只通过该数据或者通过该数据和其之前及/或之后被译码的图象数据可以构筑的、1幅图象的数据。音频ES12a也一样，包含多个由标题、音频帧数据及规定音频帧的输出时序的再生时刻信息(APTS)等构成的数据单位。此外，再生时刻信息(APTS、VPTS)，在MPEG2标准中，是用33比特表示的数据，存放在PES信息包的标题(图1(b)的“PES-H”)的区域(Presentation_Time_Stamp)中。

图1(d)示出输出的视频图象及音频帧。视频图象13-1及13-2等，是一幅图象，分别根据视频ES12v内的图象数据显示。显示图象的时序，由视频ES12v内的再生时刻信息(VPTS)指定，按照该信息，切换各图象的显示，从而在图象机器的画面上显示动画象。音频帧的输出时序，由音频ES12a内的再生时刻信息(APTS)指定，按照该信息，输出各音频帧，从而由扬声器输出声音。

图2示出现有技术的可以再生图1(a)所示的数据流10的再生装置120的功能块的结构。再生装置120取得数据流的各信息包，根据取得的信息包，译码到视频及音频的各基本流为止，然后输出复元的视频图象及音频帧。

现在，分析再生装置120连续读出2个数据流1及2，再生各自的视频图象及音频帧的处理。各数据流具有图1(a)的数据结构。控制流读出部1201连续读出各数据流后，在再生装置120的内部，送出1条数据流。因此，以下将这条数据流的数据部分中的与数流1对应的数据部分称作“第1区间”，将与数流2对应的数据部分称作“第2区间”。另外，将再生的数据流进行切换的点，称作“交界”。交界是第1区间的终点，也是第2区间的始点。

在数据流中，声音及图象的各信息包被多路复用。由于应该在同一个时刻再生的声音及图象的信息包，在数据流中被排列成一列后传输，所以中断数据流的读出后，有时只存在应该在同一个时刻再生的声音及图象中的一个。因此，在声音或图象中，有时某一个的再生时间相对较短，另一个则相对较长。它在上述交界的第1区间的终点附近产生。将这种数据流译码后，在第1区间的终点附近(例如第1区间的再生终了时刻的前1秒)，往往会出现虽然图象全部再生但声音却被中断，或者虽然声音全部再生但图象却被中断的现象。另外，在第2区间的始点，也因为是从中途开始读出，所以往往会出现不存在当初再生图象时的声音或不存在当初再生声音时的图象的现象。

特别是在连续再生第1区间及第2区间的图象及声音时，本来不应该同时再生的交界前后的不同区间的声音图象，却往往被同时再生。因此，再生装置120在切换读出对象时，插入伪信息包。图3(a)示出在第1区间和第2区间之间插入的伪信息包1304。伪信息包插入部1202将伪信息包1304插入数据流1302的终端，然后通过结合数据流1303，从而可以获得能够被伪信息包1304区分成第1区间和第2区间的数据流1301。

第1区间的数据流1302、伪信息包1304及第2区间的数据流1303，被连续发送给流分离部1203。流分离部1203接收第1区间的数据流1302后，将其中包含的音频包(A11等)和视频包(V11、V12、V13等)分离，进而一边将它们复原成音频ES及视频ES(系统译码)，一边将它们依次存放到第1音频输入缓冲器1205及第1视频输入缓冲器1212中。

然后，流分离部1203检出伪信息包1304后，切换第1开关1204，将流分离部1203和第2音频输入缓冲器1206连接。同时，切换第2开关1211，将流分离部1203和第2视频输入缓冲器1213连接。

然后，流分离部1203将第2区间的数据流1303的音频包(A21等)和视频包(V21、V22、V23等)分离，进而一边将它们系统译码，一边将音频ES及视频ES存放到第2音频输入缓冲器1206及第2视频输入缓冲器1213中。

音频译码部1208，通过第3开关1207，从第1音频输入缓冲器1205读出音频ES后译码(基本译码)。然后，将获得的音频的帧数据向音频输出缓冲器1209发送。音频输出部1210从音频输出缓冲器1209读出译码后的音频帧数据后输出。

另一方面，视频译码部1215，通过第4开关1214，从第1视频输入缓冲器1212读出视频流后基本译码。然后，将获得的视频的图象数据向视频输出缓冲器1216发送。视频输出部1217从视频输出缓冲器1216读出译码后的视频帧数据后输出。

音频译码部1208及视频译码部1215的译码开始及停止，受AV同步控制部1218的控制。另外，音频输出部1210及视频输出部1217的输出开始及停止，也受AV同步控制部1218的控制。

第3开关1207及第4开关1214在读出第1区间的各视频/音频包后，分别切换，将第2音频输入缓冲器1206和音频译码部1208连接，将第2视频输入缓冲器1213和视频译码部1215连接。其后进行的译码处理及输出处理，与先前的处理同样进行。

图3(b)表示第1区间的音频及视频流1305及1306、第2区间的音频及视频流1307及1305的各再生时刻的关系。各流是图1(c)记述的基本流(EC)。构成各流的音频帧/视频图象的再生时刻，如图1(c)所示，由再生时刻信息(APTS及VPTS)规定。

由图3(b)可知：第1区间的音频流1305的再生终了时刻Ta和视频流1306的再生终了时刻Tb不一致。另外，第2区间的音频流1307的再生开始时刻Tc和视频流1308的再生开始时刻Td不一致。

例如，在日本国特开2000-36941号公报中，公布了在跳过点的前后可以连续再生动画的、采用第1示例的再生装置。因此，在这里讲述使用这种再生装置，连续再生图3(b)所示的视频流1306及1308的情况。

如图3(b)所示，在交界前的从时刻Ta到Tb的区间，音频流1305欠缺。因此，音频译码部1208在对第1区间的音频流进行的译码完毕后，暂时停止译码。接着，第2区间的音频流1307从第2音频输入缓冲器1206输入音频译码部1208。

第2区间的从时刻Tc到Td之间，由于视频流1308欠缺，所以将从时刻Tc到时刻Td之间的音频流不加译码地废弃。废弃处理，例如通过音频译码部1208将第2音频输入缓冲器1206上的读出地址，移动到存放相当于从时刻Tc的时刻Td的数据的地址后进行。该废弃处理，与将音频流译码的处理相比，以非常短的时间完毕，所以音频译码部1208等待AV同步控制部1218下达对开始译码时刻Td以后的音频流开始译码的指令。另一方面，在直到音频译码部1208进入时刻Td以后的开始译码的指令的待机状态为止的期间，视频译码部1215进行视频流的译码及输出，直到第1区间的时刻Tb为止。

在直到时刻Tb为止的视频流的译码处理完毕的时刻，交界后的时刻Td以后的视频流被存放到第2视频输入缓冲器1213中。视频译码部1215，继直到时刻Td为止的视频流的译码之后，进行时刻Td以后的译码。这样，到时刻Tb为止的图象和从时刻Td开始的图象，被连续再生。对时刻Td的视频流开始译码之际，AV同步控制部1218起动待机的音频译码部1208，时刻Td以后，开始译码音频流1307。这样，可以在交界中连续再生视频流，而且还使声音和图象同步再生输出。

此外，采用日本国特开2002-281458号公报及日本国特开平10-164512号公报记述的技术，也能够在交界前后连续再生图象。例如，采用日本国特开2002-281458号公报记述的技术后，在使用附随音频流1305、1307的再生时刻信息，废弃图3(b)所示的从时刻Tc到Td的区间的音频流，就能够实现交界前后的连续再生。此外，使用再生时刻信息后，对音频流而言，视频流欠缺时，能够废弃音频流，所以在能够甩掉音频流的不必要的处理负荷的同时，还能够立刻读入第2区间的控制流。因此，能够连续再生交界前后的图象。

可是，在现有技术中，虽然能够连续再生交界前后的图象，可是图象和声音的同步却往往错开。下面，参照图4(a)及(b)具体讲述。

图4(a)示出3个区间被2个交界规定的数据流1401。在数据流1401中，包含2个伪信息包1及2。在与第1区间对应的数据流1402的音频包A11之后，插入伪信息包1。其后，读出与第2区间对应的数据流1403。接着，在数据流1403的最后的视频包V22之后，插入伪信息包2。而且在其后，读出与第3区间对应的数据流1404。

在这里，请注意在第2区间只存在视频包V21及V22，不存在音频包。这意味着图象的充其量相当于数帧的较短的区间，被作为第2区间规定，在该区间的数据流1403内，不存在值得可以译码的音频帧的音频包。例如，在MREG2标准中，指定在时间上非常短的区间内编辑被录象的数据流时，会生成这种区间。

图4(b)示出第1区间的音频及视频流1405及1406、第2区间的视频流1407及第3区间的音频及视频流1408及1409的各再生时刻的关系。在图4(b)中，也规定各控制流是构筑到图1(c)记述的基本流(EC)级别为止的控制流。

首先，讲述图象的再生处理。在交界1的前后，直到第1区间的视频包V11为止的图象数据，被第1视频输入缓冲器1212存放；第2区间的视频包V21及V22的图象数据，被第2视频输入缓冲器1213存放。哪个数据也在其后依次被译码，连续性地再生图象。然后，在交界2之后，第3区间的视频流的存放处，被再次切换到第1视频输入缓冲器1212，被以和交界1同样的控制而译码，连续性地再生图象。

接着，讲述声音的再生处理。首先，在时刻Ta处，暂时停止由音频流译码部1208进行的译码，音频流的存放处由第1音频输入缓冲器1205切换成第2音频输入缓冲器1206。接着，从记录媒体121读出第3区间的数据流，第3区间的音频流被存入第2音频输入缓冲器1206。

现有技术的再生装置，在将音频流译码、再生声音之际，利用再生时刻信息。第2区间的视频流1407被附加的再生时刻信息及第3区间的视频流1409被附加的再生时刻信息单纯增加时(特别是从时刻Tc到时刻Tf的区间的再生时刻信息的值单调加时)，一般可以没有问题地进行处理。音频译码部1208及音频输出部1210，可以待机到视频译码部1215及视频输出部1217进行时刻Tf的处理为止，从时刻Tf起开始处理，与图象同步输出声音。

可是，各区间数据流附加的再生时刻信息，在控制流相互之间没有进行调整，所以不能预先规定或预测各区间再生时刻信息的值的大小。因此，根据再生时刻信息控制再生后，就出现将不可废弃的数据废弃等问题，给连续再生带来障碍。例如，应该在时刻Tf输出的音频帧的再生时刻信息的值(APTS_f)，小于应该在时刻Tc输出的视频图象的再生时刻信息的值(VPTS_c)后，在现有技术的再生装置中，在第2区间的图象被再生前或再生中，第3区间的音频流被废弃。特别是在APTS_f比VPTS_c小得多时，第3区间的音频流的数据被大量废弃，出现即使第3区间的图象开始再生，声音却一点也没有的问题。

另外，时刻Tf的再生时刻信息(APTS_f)的值，在第2区间的起始视频图象的再生时刻信息(VPTS_c)的值以上，而且在最终视频图象的再生时刻信息(VPTS_d)的值以下时，还出现应该从时刻Tf开始再生的第3区间的声音，却在第2区间的图象再生中开始再生的问题。

发明内容

本发明的目的在于，在连续再生多个数据流之际，使声音和图象互不错开地同步再生。

采用本发明的数据处理装置，根据包含图象数据及声音数据的数据流再生图象及声音。给所述图象数据及所述声音数据的每一个，附加表示再生的时序的时刻信息。所述数据处理装置，包括：连续取得第1数据流及第2数据流的数据流取得部；在所述第1数据流和所述第2数据流切换的数据位置，插入表示交界的伪数据的插入部；检出所述伪数据，给所述第1数据流及所述第2数据流分配不同的识别信息，将所述识别信息与各数据流的所述图象数据及所述声音数据关联的解析部；根据相同识别信息关联的图象数据及声音数据的各时刻信息，控制按照所述图象数据输出图象及按照所述声音数据输出声音的输出时序的控制部；在所述输出时序，输出所述图象及所述声音的输出部。

所述控制部，可以根据所述图象数据附加的时刻信息及所述声音数据附加的时刻信息，特定所述第1数据流相关的所述图象及所述声音的各再生结束时刻，在所述声音的再生结束时刻比所述图象的再生结束时刻迟时，停止所述声音的从所述图象的再生结束时刻到所述声音的再生结束时刻的输出。

所述控制部，可以根据所述图象数据附加的时刻信息及所述声音数据附加的时刻信息，特定所述第2数据流相关的所述图象及所述声音的各再生开始时刻，在所述声音的再生开始时刻比所述图象的再生开始时刻早时，停止所述声音的从所述声音的再生开始时刻到所述图象的再生开始时刻的输出。

所述控制部，可以在与图象数据及声音数据关联的识别信息不同时，只使按照所述图象数据的图象先输出；在与所述图象的再生终了后得到的图象数据关联的识别信息和与所述声音数据关联的识别信息一致时，根据同一个识别信息关联的所述图象数据及所述声音数据的各时刻信息，控制按照所述图象数据的图象及按照所述声音数据的声音的输出时序。

所述流取得部，可以连续取得3个以上(在本申请文件中“以上”、“以下”均包含本数)的数据流；所述插入部，可以在每个切换连续取得的2个数据流的数据位置，插入与识别信息对应的、具有单调增加或单调减少的值的伪数据。

所述控制部，可以在与所述声音数据关联的识别信息和与过去输出的图象的图象数据关联的识别信息一致时，停止按照所述声音数据的声音的输出，根据具有和作为现在输出的对象的图象的图象数据关联的识别信息相同的识别信息的声音数据输出声音。

所述控制部，可以在所述声音数据关联的识别信息和还没有输出的图象的图象数据关联的识别信息一致时，停止按照所述声音数据的声音的输出；在和然后取得的图象数据关联的识别信息一致时，根据所述声音数据输出声音。

所述数据流，用包含存放图象数据的信息包及存放声音数据的信息包的信息包结构构成；所述插入部，可以在所述第1数据流的最终包和所述第2数据流的起始包之间的位置，插入表示交界的伪信息包。

采用本发明的数据处理方法，根据包含图象数据及声音数据的数据流再生图象及声音。给所述图象数据及所述声音数据的每一个，附加表示再生的时序的时刻信息。所述数据处理方法，包括：连续取得第1数据流及第2数据流的步骤；在切换所述第1数据流和所述第2数据流的数据位置，插入表示交界的伪数据的步骤；检出所述伪数据，给所述第1数据流及所述第2数据流分配不同的识别信息，将所述识别信息与各数据流的所述图象数据及所述声音数据关联的步骤；根据相同识别信息关联的图象数据及声音数据的各时刻信息，控制按照所述图象数据输出图象及按照所述声音数据输出声音的输出时序的步骤；在所述输出时序，输出所述图象及所述声音的步骤。

所述控制步骤，可以包含：根据所述图象数据附加的时刻信息及所述声音数据附加的时刻信息，特定所述第1数据流相关的所述图象及所述声音的各再生结束时刻的步骤；在所述声音的再生结束时刻比所述图象的再生结束时刻迟时，停止所述声音的从所述图象的再生结束时刻到所述声音的再生结束时刻的输出的步骤。

所述控制步骤，可以包含：根据所述图象数据附加的时刻信息及所述声音数据附加的时刻信息，特定所述第2数据流相关的所述图象及所述声音的各再生开始时刻的步骤；在所述声音的再生开始时刻比所述图象的再生开始时刻早时，停止所述声音的从所述声音的再生开始时刻到所述图象的再生开始时刻的输出的步骤。

所述控制步骤，可以包含：在与图象数据及声音数据关联的识别信息不同时，只使按照所述图象数据的图象先输出的步骤；在与所述图象的再生终了后得到的图象数据关联的识别信息和与所述声音数据关联的识别信息一致时，根据同一个识别信息关联的所述图象数据及所述声音数据的各时刻信息，控制按照所述图象数据的图象及按照所述声音数据的声音的输出时序的步骤。

取得所述流的步骤，可以连续取得3个以上的数据流；所述插入的步骤，可以在每个切换连续取得的2个数据流的数据位置，插入与识别信息对应的、具有单调增加或单调减少的值的伪数据。

所述控制的步骤，可以包含：在与所述声音数据关联的识别信息和与过去输出的图象的图象数据关联的识别信息一致时，停止按照所述声音数据的声音的输出的步骤；根据具有和作为现在输出的对象的图象的图象数据关联的识别信息相同的识别信息的声音数据输出声音的步骤。

所述控制的步骤，可以包含：在所述声音数据关联的识别信息和还没有输出的图象的图象数据关联的识别信息一致时，停止按照所述声音数据的声音的输出的步骤；在和然后取得的图象数据关联的识别信息一致时，根据所述声音数据输出声音的步骤。

所述数据流，用包含存放图象数据的信息包及存放声音数据的信息包的信息包结构构成；所述插入的步骤，在所述第1数据流的最终包和所述第2数据流的起始包之间的位置，插入表示交界的伪信息包。

附图说明

图1(a)～(d)是表示数据流10的数据结构的图形。

图2是表示现有技术的可以再生图1(a)所示的数据流10的再生装置120的功能块的结构的图形。

图3(a)是表示在第1区间和第2区间之间插入的伪信息包1304的图形；图3(b)是表示第1区间的音频及视频流1305及1306、第2区间的音频及视频流1307及1305的各再生时刻的关系的图形。

图4(a)是表示3个区间被2个交界规定的数据流1401的图形，图4(b)是表示第1区间的音频及视频流1405及1406、第2区间的视频流1407及第3区间的音频及视频流1408及1409的各再生时刻的关系的图形。

图5是表示传输流20的数据结构的图形。

图6(a)是表示视频TS包30的数据结构，图6(b)是表示音频TS包31的数据结构的图形。

图7是表示采用本实施方式的再生装置100的功能块的结构的图形。

图8(a)～(c)是表示分别读出的TS1～TS3的图形，图8(d)是表示伪信息包的TS70的图形。

图9(a)是表示伪信息包71的数据结构的图形，图9(a)是表示伪信息包71的具体的数据结构的图形。

图10是表示采用第1示例的在交界附近的音频流及视频流的再生时刻的关系的图形。

图11是表示采用第2示例的在交界附近的音频流及视频流的再生时刻的关系的图形。

图12是表示采用第3示例的音频流及视频流的再生时刻的关系的图形。

图13是表示连续读出多个TS之际的处理的步骤的图形。

图14是表示流解析部103的处理的步骤的图形。

图15(a)是表示输入流解析部103的TS70的图形，图15(b)是表示PES80的数据结构的图形，图15(c)是表示视频ES82的数据结构的图形。

图16是表示帧数据和识别信息关联的音频管理表的图形。

图17是表示AV同步控制部118中的为了输出声音及图象的前处理的步骤的图形。

图18是表示AV同步控制部118中的为了输出声音及图象的主要处理的步骤的图形。

图19是表示为了在区间终端中渐隐再生声音、在区间始端中渐显再生声音的增益与音频流的关系的图形。

图20是为了在区间的终端渐隐再生声音、在区间的始端渐显再生声音的增益和音频流的关系的的图形。

具体实施方式

下面，参照附图，讲述本发明的数据处理装置。首先讲述处理的对象——数据流的数据结构，然后讲述作为数据处理装置的实施方式的再生装置。

在本实施方式中，将数据流作为用MPEG2标准ISO-13818-1定义的传输流(以下记作“TS”或“传输流”)进行讲述。TS作为将音频流及视频流多路复用的系统流的一种形态，已广为人知。

图5表示传输流20的数据结构。传输流20包含多个TS目标单元(TSOBject Unit；TOBU)21，该TOBU21由1个以上的传输包(TS包)构成。TS包，例如：除了存放被压缩编码的视频数据的视频TS包(V_TSP)30、存放被(压缩)编码的音频数据的音频TS包(A_TSP)31之外，还包含存放节目表(PAT)的信息包(PAT_TSP)、存放节目对应表(PMT)的信息包(PMT_TSP)及存放节目时钟参照(PCR)的信息包(PCR_TSP)等。各信息包的数据量是188字节。

下面，讲述与本发明的处理相关的视频TS包及音频TS。其它种类的信息包的数据结构及其功能，由于和本发明的处理没有直接的关联，所以省略对它们的说明。

图6(a)表示视频TS包30的数据结构。视频TS包30具有4字节的传输包标题30a以及184字节的TS有效荷载30b。在TS有效荷载30b中，存放上述的视频数据。另一方面，图6(b)表示音频TS包31的数据结构。音频TS包31也同样具有4字节的传输包标题31a以及184字节的TS有效荷载31b。在TS有效荷载31b中，存放上述的音频数据。TS有效荷载30b中存放的视频数据及TS有效荷载31b中存放的音频数据，大致按照图1(a)～(d)所示的关系，被处理，作为图象及声音被再生。

由上述示例可知：TS包通常由4个字节的传输包标题和184字节的数据区域构成。在包标题中，记述着特定信息种类的信息包识别符(PacketID；PID)。例如：视频TS包的PID是“0x0020”，音频TS包的PID是“0x0021”。数据区域存放视频数据、音频数据等内容的数据及旨在控制再生的控制数据等。究竟存放哪种数据因信息包的种类而异。此外，在包标题与TS有效荷载之间，有时插入称作“自适应字段”的区域，用于控制数据的传输、有效荷载的数据尺寸的调整等。可是，由于采用本实施方式的处理的主要特征在于利用TS包的有效荷载进行处理，所以以不存在自适应字段的情况为例进行讲述。

此外，图5、图6(a)及图6(b)是传输流相关的数据结构的示意图。但该数据结构，在程序流中的“组件(pack)”中也同样能够适用。因为在组件中，继包标题之后配置着数据。而组件标题附加在包标题之前、组件的数据量是2048千字节等方面，与信息包不同。此外，“组件”作为信息包的一个示例的形态，广为人知。此外，除了程序流之外，如果是具有和上述的信息包结构同样的信息包结构的数据流，就能够应用以下讲述的处理。

图7示出采用本实施方式的再生装置100的功能块的结构。在再生装置100中，装入Blu-ray Disc等光盘120，读出光盘120记录的传输流数据(TS)。然后，从构成TS的视频包及音频包中抽出视频收据及音频收据，再生图象及声音。

在本实施方式中，假设在光盘120中记录着多个TS(例如TS1及TS2)。在TS中，多个内容的数据可以重叠，但为了便于讲述，假设在1个TS上包含1个内容。此外，所谓“再生内容”，是指一边使该内容包含的图象及声音的每一个同步、一边进行再生。

关于再生处理的控制功能，再生装置100具有：流读出部101、伪信息包插入部102、流解析部103、AV同步控制部118和识别信息存放部119。

另外，关于音频的再生处理功能，再生装置100具有：第1开关104、第1音频输入缓冲器105、第2音频输入缓冲器106、第3开关107、音频译码部108、音频输出缓冲器109、和音频输出部110。

进而，关于视频的再生处理功能，再生装置100具有：第2开关111、第1视频输入缓冲器112、第2视频输入缓冲器113、第4开关114、视频译码部115、视频输出缓冲器116、和视频输出部117。

下面，在讲述各构成要素的功能(动作)之前，讲述再生装置100进行的再生处理的概要。流读出部101，从光盘120连续读出多个TS，发送给伪信息包插入部102。图8(a)示出读出的TS1，图8(b)示出在TS1之后读出的TS2，图8(c)示出在TS2之后读出的TS3。这种连续性的读出，例如假想用户根据工作目录等，将多个TS的各一部分作为再生区间指定、再生时。或者假想用户为了进行将多个TS的各一部分互相拼接的编辑作业而将其各一部分作为再生区间指定、再生时。

伪信息包插入部102，在TS1的最终包之后、而且在TS2的前头(起始)包之前，插入伪信息包。然后，伪信息包插入部102还在TS2的最终包之后、而且在TS3的前头包之前，也插入伪信息包。图8(d)表示插入伪信息包后的TS70。在切换TS1和TS2的位置，插入伪信息包71-1，在切换TS2和TS3的位置，插入伪信息包71-2。

在本说明书中，将流的切换位置，称作“流的交界”。例如：在图8(d)中，将伪信息包71-1及71-2作为交界，结合TS1及TS2、TS2及TS3，构成一个传输流70。该TS70中，将相当于TS1的部分，称作“第1区间”；相当于TS2的部分，称作“第2区间”；相当于TS3的部分，称作“第3区间”。

图9(a)示出伪信息包71的数据结构。伪信息包71具有4字节的传输包标题71a及184字节的TS有效荷载71b。图9(b)示出伪信息包71的具体的数据结构。在传输包标题71a中，被分配与图5所示的各种TS包不同的包ID(例如0x1FFF)91。另外，在该传输包标题71a中，记述着采用本实施方式的再生处理时利用的识别信息92。利用识别信息92的具体的处理，后文再述。另一方面，在TS有效荷载71b中，记述着表示是采用本实施方式的伪信息包的固有的信息(在图9(b)中，例如“Dummy判别信息”)。根据伪信息包的包ID及该固有信息，可以很容易地与其它信息包区别。

再参照图7。流解析部103，分别将被结合的TS70中起先接收的TS1的音频TS包和视频TS包分离。进而，流解析部103将分离的音频TS包系统译码后生成音频基本流(以下称作“音频流”)；将分离的视频TS包系统译码后生成视频基本流(以下称作“视频流”)。这时，流解析部103将约定的识别信息分配给最初读出的TS1。作为识别信息，分配旨在特定TS1的唯一的值。然后，将识别信息与系统译码后的音频流和视频流关联。

此处所谓的“关联”，对于音频流，是指生成使音频流的帧前头地址、该帧的再生时刻信息(APTS)及识别信息对应的表(例如后述的图16)。对于视频流，则是指在视频流内的图象标题之后记述识别信息(例如后述的图15(c))。

流解析部103将经过上述处理的音频流及视频流，分别通过第1开关104及第2开关111，发送给第1音频输入缓冲器105及第1视频输入缓冲器112。

依次读出TS后，流解析部103检出被结合的TS70内的伪信息包，取得伪信息包中记述的识别信息。伪信息包中的识别信息的值，与该约定的识别信息的值不同，将表示该识别信息的值作为TS2的识别信息进行分配。然后，对TS2的音频包及视频包进行和对TS1的音频包及视频包的处理一样的处理。将由TS2的音频包及视频包构成的音频流及视频流，分别发送给第2音频输入缓冲器106及第3开关107。

与向音频及视频的各缓冲器105、106、112及113的流的积蓄动作并行，音频译码部108及视频译码部115，将音频流及视频流译码(基本译码)，生成可以再生输出的图象数据及音频帧。

AV同步控制部118，管理译码后获得的图象数据及音频帧和译码前的音频流及视频流关联的识别信息的对应关系。而且，AV同步控制部118根据该对应关系，控制声音及图象输出的时序。具体地说，AV同步控制部118将与相同的识别信息关联的图象数据及音频帧作为再生输出的对象。由相同TS获得的声音及图象的各数据，被附加相同的识别信息，所以即使读出由各缓冲器150、106、112及113构成的不同的区间的TS1～3中的哪个信息包，也能确实地只特定作为再生对象的TS的声音及图象。进而，由于根据再生时刻信息控制该声音及图象的输出的时序，所以能够象TS生成时假想的那样，实现声音及图象的同步再生。

在此，参照图10～图13，讲述再生装置100中进行的声音及图象的同步再生的种种样态。在本实施方式中，再生装置100控制再生，以便使交界的前后的图象能够连续显示。

图10示出采用第1示例的在交界附近的音频流及视频流的再生时刻的关系。音频流及视频流分别是基本流(例如图1(c))，被与各图象数据等对应设置的再生时刻信息PTS指定的时刻，作为再生时刻记载。这在后述的图11及图12中也一样。

在第1区间，视频流502的图象的再生终了时刻Ta，比音频流501的声音再生终了时刻Tb早。在到达再生终了时刻Ta之前，再生装置100根据再生时刻信息PTS，使声音及图象同步再生。另一方面，在时刻Ta以后，若继续声音的再生，则由于视频流已不存在，所以造成图象中断。这样，为了与第2区间的图象连续性地连接，就会得出不需要再生声音的判断。于是，再生装置100就废弃时刻Ta以后、直到时刻Tb为止的音频流501。

此外，在本实施方式中，第1区间的图象再生结束的时刻Ta以后，第1区间的声音和第2区间的图象不会被同时再生、输出。其理由是：因为再生装置100禁止附加不同的识别信息的声音及图象的同时再生。这是由于如上所述，给规定各区间的TS分配不同的识别信息的缘故。这样，来自不同区间的TS的声音及图象就不会被同时再生。

另一方面，在第2区间，视频流504的图象的再生开始时刻Tc，比音频流503的声音的再生开始时刻Td早。这时，从时刻Tc到时刻Td的期间，再生装置100根据再生时刻信息PTS，再生、输出图象，停止再生声音。在时刻Td以后，同步再生声音及图象。此外，第1区间的图象和第2区间的图象不中断地再生。

此外，以交界作为基准时，音频流501及视频流502的再生，分别以时刻ΔTx及ΔTy提前结束。这起因于1个音频帧及1个图象的数据被多个信息包分割、存放。例如，当在存放1个图象的数据所有的信息包聚齐之前TS被切换时，只能处理即将切换之前所完成的图象。因此，有时在即将到达交界之处，仍不存在可以再生的数据。

图11示出采用第2示例的在交界附近的音频流及视频流的再生时刻的关系。在第1区间，音频流601的声音再生终了时刻Ta，比视频流602的图象的再生终了时刻Tb早。这时，再生装置100在声音再生终了时刻Ta以后、直到再生终了时刻Tb为止，也再生图象。另一方面，在第2区间，声音的再生开始时刻Tc，比图象的再生开始时刻Td早。这时，再生装置100废弃音频流603的时刻Tc以后、直到时刻Td为止的数据。在时刻Td以后，再生装置100同步再生声音及图象。此外，在图11的示例中，也利用识别信息，使第1区间的图象和第2区间的声音不会同时再生。另一方面，还使第1区间的图象和第2区间的图象不中断地再生。

图12示出采用第3示例的音频流及视频流的再生时刻的关系。该例与图8(a)～(c)所示的TS1～TS3连续读出时对应。在第2区间，不存在可以作为声音再生的音频数据。在图12中，可以理解为：在第2区间不存在音频流。

对图12的第1区间的各流，通过和图11的第1区间的处理相同的处理后，直到时刻Tb为止，再生图象。接着，再生第2区间的视频流703的图象。这时，再生装置100的音频输入缓冲器中，有时已经存在第3区间的视频流704。可是，由于第2区间的TS2及第3区间的TS3，被分配不同的识别信息，所以利用该识别信息后，在再生第2区间的图象的期间，就不会再生第3区间的音频流704的声音。具体地说，再生装置100，在再生第2区间的图象的期间，使被分配不同的识别信息的音频流704的再生待机。然后，在第2区间的再生结束后，通过和图10的第2区间同样的处理，从时刻Te到时刻Tf，只进行图象的再生。时刻Tf以后，再生装置100解除第3区间的声音的待机，同步再生声音及图象。

如上所述，再生装置100，利用识别信息，控制从各区间的TS获得的图象及声音的再生时序。利用识别信息后，即使某个TS的声音的再生时刻信息(APTS)与其它的TS的图象的再生时刻信息(VPTS)一致，也不会同时再生。就是说，可以不受流的再生时刻信息(PTS)的影响，能够只同步再生从相同的TS获得的音频流及视频流。

下面，讲述为了实现上述的再生处理，再生装置100的各构成要素的具体的处理。

图13示出连续读出多个TS之际的处理的步骤。该处理由流读出部101及伪信息包插入部102进行。

首先，流读出部101在步骤S201中，被指示开始从光盘120读出TS后，就在步骤S202中，将旨在判别流的交界的识别信息n初始化，设定约定值(例如0)。本实施方式中，将识别信息n作为是从初始值0开始单调增加的整数的情况进行讲述。但也可以将识别信息的约定值(初始值)设定成一定值(例如100)，作为单调减少的整数。接着，在步骤S203中，流读出部101以TS包单位读出与第1区间对应的系统流(TS1)，发送给伪信息包插入部102，进入步骤S204。

在步骤S204中，伪信息包插入部102切换TS，判定是不是新的区间。这时，接收TS1的TS包时，进入步骤S207，然后，在读出的对象由TS1切换成TS2时，进入步骤S205。读出对象由TS被切换的信息，例如由CPU(未图示)发出。CPU根据在再生开始时点预先特定的再生路线，知道用哪个时序切换TS为宜。

在步骤S205中，给识别信息n的值加上1。在步骤S206中，伪信息包插入部102生成包含识别信息n的伪信息包，附加到TS1的最终包上。在步骤S207中，伪信息包插入部102将TS包发送给流解析部103。然后，流读出部101及伪信息包插入部102，反复进行从步骤S203起的处理，直到成为对象的所有的TS的TS包发出为止。

在这里，再参照图9(b)详细讲述伪信息包71的数据结构。图9(b)所示的伪信息包71，利用作为MPEG标准规定的TS的Nu11包的结构构成。该伪信息包71，是在本实施方式中被定义的符号串，是在各TS中不存在的符号串。

伪信息包插入部102这样生成伪信息包71。即：伪信息包插入部102首先和MPEG标准中的Nu11包一样，将伪信息包71的PID设定为“0x1FFF”。进而，伪信息包插入部102在伪信息包71内设置采用本实施方式的固有的信息。具体地说，伪信息包插入部102在“continuity_counter”字段92中，记述识别信息n(0x0～0xF)的值。由于在TS的前头，没有附加伪信息包71，所以在插入TS1和TS2的交界处的最初的伪信息包71，作为识别信息n设定“1”。此外，识别信息也可以在“Stuffing_data”字段及“Reserved”字段中记述。

另外，伪信息包插入部102给“Payload_unit_start_indicator”字段，例如设定“1”。该字段在按照MPEG标准Nu11包中为“0”。另外，伪信息包插入部102新设置“Dunmy判别信息”字段，例如存放字符串“DUM”。还新设置“Dunmy_ID”字段，例如作为“0xF”表示TS的交界。这是出于其它目的，旨在将来定义别的TS包的措施。通过以上的设定，检出伪信息包71并解析后，后述的流解析部103可以在该伪信息包71判定是TS的交界。

此外，在本实施方式中，在伪信息包71中，存放后续的TS的音频再生前头时刻信息(audio_start_PTS)、视频再生前头时刻信息(video_start_PTS)、音频再生终端时刻信息(audio_end_PTS)及视频再生终端时刻信息(video_end_PTS)。它们可以在特定成为再生的对象的各TS的时点取得，所以可以预先读出这些信息。各时刻信息，在各区间的前头或终端附近，可以在控制声音的渐隐及渐显之际利用。渐隐及渐显的控制处理，将在后文讲述。

图14示出流解析部103的处理步骤。在步骤209中，流解析部103从伪信息包插入102接收TS包后，解析各包，进入步骤210。在步骤210中，流解析部103判定输入的TS包是不是伪信息包71。如果是伪信息包，就进入步骤211；否则就进入步骤213。

在步骤211中，流解析部103从伪信息包71中抽出识别信息的值n，在步骤212中，暂时记忆，直到输入下一个伪信息包71为止。此外，直到检出最初的伪信息包71为止，约定值“0”被作为识别信息的值记忆。检出伪信息包后，第1开关104及第2开关111由一个切换成另一个。

在步骤213中，流解析部103判定输入的TS包是不是视频包。如果是视频包，就进入步骤214；否则就进入步骤216。在步骤214中，流解析部103将视频包系统译码，输出视频流。这时，将识别信息与视频流内的图象数据关联。然后，在步骤215中，流解析部103将视频流向第1视频输入缓冲器112或第2视频输入缓冲器113输出。

下面，参照图15(a)～(c)，具体讲述识别信息的关联的相关处理。图15(a)表示输入流解析部103的TS70。在这里，示出视频包70a～70e及伪信息包71。

流解析部103，例如，从图15(a)所示的TS包70a中除去TS包标题70a-1后，取得TS有效荷载70a-2，生成包化基本流(PES)80。图15(b)示出PES80的数据结构。PES80由多个PES包81a、81b等构成。PES包81a由PES标题81a-1及PES有效荷载81a-2构成。

流解析部103解析PES80的PES标题81a，判定PES有效荷载81a-2内是否包含图象数据的再生时刻信息(PTS)。在PES标题81a中，例如设置着表示是否记述着PTS的标记的字段，根据该标记的值，可以判定是否包含PTS。包含PTS时，该PTS存放在PES标题内。在本说明书中，讲述包含PES的情况。

在PES有效荷载81a-2等中，存放着构成各图象的基本级别的视频流(ES)82的数据。流解析部103，根据PES有效荷载81a-2等，生成ES82。图15(c)示出视频ES82的数据结构。流解析部103在生成视频ES82之际，在图象标题82a及图象数据82b之间，记述VPTS82c及分配给该TS的识别信息82d。这样，图象数据和识别信息就相互关联。此外，图15(a)所示的视频TS包70e，由于在伪信息包71后存在，所以构成与视频TS包70a～70d不同的TS。因此，如图15(c)所示，从视频TS包70e获得的识别信息82j的值(n+1)，比从伪信息包前的各TS包获得的识别信息82d、82h的值(n)增加1个后关联。

在图15(a)及(b)中，没有示出TS包和PES包81b的PES有效荷载部分的数据的对应关系，这是为了便于记述。实际上，该数据根据在视频TS包70d和伪信息包71之间存在的视频TS包(未图示)的TS有效荷载构筑。另外，视频TS包70e，是在该TS中，在伪信息包71以后的包含最初的PES标题的TS包。这样，在伪信息包71和视频TS包70e之间，可以存在不包含PES标题的TS包。

下面，讲述图14的步骤S219以后的处理。在步骤S216中，流解析部103判定输入的TS包是不是音频包。是音频包时，进入步骤S217；否则就返回步骤S210。

在步骤S217中，流解析部103将音频包系统译码，输出音频流。这时，将音频流内的帧数据和识别信息关联。然后，在步骤S218中，流解析部103将音频流向第1音频输入缓冲器105或第2音频输入缓冲器106输出。

图16示出帧数据和识别信息关联的音频管理表。在音频管理表中，将识别信息、再生对象的音频帧的再生时刻(APTS)和存放音频帧的数据的音频输入缓冲器105或106的地址相互对应地记述着。流解析部103将生成的表发送给识别信息存放部119。信息存放部119保持该表。此外，在图16的示例中，第1区间只用2帧、第2区间只用3帧构成。但这是为了讲述识别信息n变化的情况而举出的例子，帧数一般都比较多。

音频译码部108，读出音频输入缓冲器105及106存放的音频流。例如，音频译码部108参照识别信息存放部119存放的表(图16)以该表的项目单位读出音频流。然后，音频译码部108对该音频流进行基本译码。其结果，得到压缩编码被解除的音频帧数据。音频译码部108将该音频帧数据存放到音频输出缓冲器109中。存放处的地址由AV同步控制部118指定。

视频译码部115，读出视频输入缓冲器112及113存放的视频流，进行基本译码。其结果获得的视频图象数据也被解除压缩编码。视频译码部115将该视频图象数据存放到视频输出缓冲器116中。存放处的地址由AV同步控制部118指定。

AV同步控制部118指示视频译码部115将视频图象数据存放到视频输出缓冲器116的哪个位置(地址)。然后，收集旨在再生存放的视频图象数据信息，生成视频管理表。视频管理表将识别信息、VPTS和存放地址对应后构成，只要将图16所示的音频管理表中的“APTS”改读为“VPTS”即可。但是，由于视频输出缓冲器116的缓冲器容量，例如是存放3～4帧数据的程度，所以不需要将图16所示的那种由识别信息、VPTS和存放地址的组合构成的项目，设置7个以上。AV同步控制部118既可以将视频管理表存放到识别信息存放部119中，也可以在自身的内部缓冲器(未图示)中保持。

下面，参照图17及图18，讲述AV同步控制部118的声音及图象的输出控制处理。在以下的讲述中，将与音频流关联的识别信息(图16)记作“na”，与视频流关联的识别信息(图15(c))记作“nv”。识别信息na，从音频管理表(图16)中获得。识别信息nv，从AV同步控制部118生成的视频管理表中获得。此外，识别信息na及nv，能够比对应的各再生时刻信息APTS及VPTS足够快地被检出，实施AV同步的处理及是废弃还是输出译码后的信号的判定，直到指定的再生时刻为止。另外，识别信息na及nv，在流解析部103的作用下，一定附加在被各区间包含的音频帧及视频帧的各自的前头帧中，存放在识别信息存放部119内。

图17示出AV同步控制部118中的为了输出声音及图象的前处理的步骤。在步骤S306中，AV同步控制部118取得下一个将要输出的音频流的识别信息na；在步骤S307中，AV同步控制部118取得下一个将要输出的视频流的识别信息nv。以后的处理，进入图18所示的方框“A”。另一方面，去往步骤S306及S307的方框“B”及“C”，是继图18所示的方框“B”及“C”之后进行的步骤。

图18示出AV同步控制部118中的为了输出声音及图象的主要处理的步骤。在步骤S401中，AV同步控制部118判定随后要输出的音频帧，是不是紧接着第1区间和第2区间的交界，即是不是第2区间的前头的音频帧。该判定通过比较音频帧的识别信息na和1个控制单位前的音频帧的识别信息是否一致来进行。在这里，所谓“1个控制单位”，是音频译码部108对音频流进行译码之际的音频帧单位，或者是AV同步控制部118进行AV同步的时间间隔的单位，例如和视频的帧单位或字段单位同步。

随后要输出的音频帧，不是交界后的前头帧时，处理进入步骤S402；是交界后的前头帧时，处理进入步骤S406。AV同步控制部118判定是否被指定再生到随后要输出的音频帧的再生终了时刻比其第1区间的视频图象的再生终了时刻迟的时刻为止。没有指定时，进入步骤S403；有指定时，进入步骤S405。在图11的示例中，由于音频帧的再生时刻比视频图象的第1区间的终了时刻早，所以这时处理进入步骤S403。另一方面，在图10的示例中，由于音频帧的再生时刻比视频图象的第1区间的终了时刻迟，所以处理进入步骤S405。

此外，步骤S402的判定，通过比较音频流内记述的再生时刻信息APTS的值和视频流内记述的再生时刻信息VPTS的值进行。APTS的值比VPTS的值大时，与该APTS的值对应的音频流在比与该VPTS的值对应的视频图象迟的时刻(即在其后)再生；反之，小时，则该音频流在比该视频图象早的时刻(即在其前)再生。该判定手法，在以下的再生时间的比较中也被同样利用。

此外，在传输流中，容许系统时钟的所谓环绕。所谓“环绕”，是指系统时钟达到某一定值后，就从0开始计数。在本说明书中，对在上述的比较再生时刻信息的值之际不环绕的情况进行了讲述。在进行环绕时，系统时钟的值一度会成为0x000000000。在该值的前后，再生时刻信息的值较大者，在较早的时刻再生；较小者，则在以后的时刻再生。

在步骤S403中，AV同步控制部18进行AV同步处理，所谓“AV同步处理”，是将第1区间的声音的再生时刻信息APTS和图象的再生时刻信息VPTS分别与再生装置的基准时钟比较，对于基准时钟而言，如果应该再生的声音及/或图象超前时，AV同步控制部18就向音频输出部110及/或视频输出部117下达指令，使输出延迟。反之，如果滞后时，则指示进行跳过处理，调整输出的图象及声音的输出时刻。此外，基准时钟，也可以将TS包含的基准时钟的信息或APTS及VPTS本身中的某一个作为基准进行计时。在步骤S404中，音频输出部110接收AV同步控制部118的指令后，输出音频输出缓冲器109存放的音频帧数据，另外，视频输出部117接收AV同步控制部18的指令后，输出视频输出缓冲器116存放的图象数据。这样，用户能够视听再生的图象及声音。

在步骤S405中，AV同步控制部118废弃一部分音频帧的数据。对象是视频图象的第1区间终了时刻以后的第1区间的音频流的数据。在这里，所谓“废弃音频帧”，是通过消去或不理睬输出缓冲器109内存放的第1区间的音频帧后实现的。废弃音频帧后，处理返回步骤S306(图17)。该期间中，由视频输出部117输出图象。然后，AV同步控制部118根据第2区间的图象及声音的有关识别信息(交界后的前头的识别信息)，再次实施处理。关于第2区间的再生控制后文再述。

此外，讲述了对音频输出缓冲器109中的音频数据进行上述步骤S402的判定及根据该判定结果的处理的情况。但对输入缓冲器105及106存放的音频流也可以进行这种处理。特别是在废弃流时，只要将读出被输入缓冲器存放的音频流的指示器移动到被识别信息存放部119存放的第2区间的前头地址即可，所以处理变得很简单。

在步骤S406中，音频输出110暂时停止音频帧数据的输出。从步骤S401向步骤S406的分岔，意味着将要输出的音频帧数据是TS70中的新的区间(在这里是第2区间)的前头的帧数据。

在步骤S407中，AV同步控制部118比较音频流的识别信息na和视频流的识别信息nv是否一致。一致时，意味着现在正在处理的视频流及音频流存放在同一个TS中。一致时，处理进入步骤S408；不一致时，处理进入步骤S410。

在步骤S408中，AV同步控制部118判定随后将要输出的音频帧的再生开始时刻是否比视频图象的再生开始时刻迟。迟时(VPTS的值＜APTS的值时)，进入步骤S403；早时(VPTS的值＞APTS的值时)，进入步骤S409。在图11的示例中，第2区间中的音频帧的再生开始时刻比视频图象的再生开始时刻早，所以这时处理进入步骤S409。

在步骤S409中，1帧的音频数据被废弃。废弃的理由，是为了连接(不中断地)再生第1区间的图象和第2区间的图象。因为不需要第2区间的视频图象再生开始前的音频帧。在步骤S409中废弃1帧的数据后，再返回步骤S408，进行判定。这样，在图11的第2区间，从时刻Tc到时刻Td，再生的音频帧数据被废弃。其后，废弃不需要的音频帧后，处理进入步骤S403，进行AV同步处理(步骤S403)后，视频图象音频帧被同步输出(步骤S404)。

接着，在步骤S410中，判定音频识别信息na的值是否比视频识别信息nv的值大。作为前提，在步骤S410之前进行的步骤S407中，判定音频识别信息的值和视频识别信息的值不同。音频识别信息的值比视频识别信息的值大时，进入步骤S410；小时，进入步骤S412。

例如图12所示，与第2区间的视频流对应的音频流欠缺时，可以使音频识别信息的值变得比视频识别信息的值大。另外，反之，第2区间中的视频流欠缺，只存在音频流时，可以使视频识别信息的值变得比音频识别信息的值大。

按照步骤S410的判定结果，处理进入步骤S411后，AV同步控制部118使音频帧数据的输出待机，只输出视频图象数据，只再生图象。然后，输出1帧的视频信号后，处理返回步骤S307(图17)。

此外，假如不进行步骤S410的判定后，在图12所示的那种情况下，在视频输出部117输出与第2区间的视频流703对应的视频图象的期间，音频输出部对第3区间的音频流704进行译码及输出音频帧数据。另一方面，利用识别信息的值后，还防止这类错误的再生。

在步骤S412中，AV同步控制部118废弃直到该区间的终端的音频帧数据。因为为了连续再生图象，不需要输出第2区间的声音。废弃第2区间的音频帧数据后，处理返回步骤S306(图17)。

此外，再讲述在图12的示例中第2区间的视频流的图象被再生时的以后的处理。首先，在由步骤S412返回步骤S306的中，音频识别信息na，成为分配给第3区间TS的音频识别信息。因此，以后的处理，就进行步骤S401、步骤S402及步骤S405的处理。但是，在步骤S405中，由于在第2区间不存在应该废弃的音频数据，所以就将其原封不动地作为进行了处理后，再返回步骤S306(图17)。反复进行这一动作，步骤S402的判定结果，进入步骤S403及步骤S404后，在步骤S404中，同步输出第3区间的音频帧数据及视频图象数据。

此外，一般来说，图12中的第2区间和第3区间的音频信号和视频信号的再生时刻是独立的。就是说，在交界前后的再生时刻信息的绝对值之间，通常毫不相关。因此，由于再生时刻信息的绝对值的值近似，所以第2区间的始点和第3区间的前头的再生指定时刻偶然非常接近时，如果不存在步骤S407及步骤S410的判定，就有可能产生AV同步控制部118使第2区间的视频数据和第3区间的音频数据同步输出的问题。因此，步骤S407及步骤S410的判定非常重要。

进而，与取得的音频流关联的识别信息，和已经输出的图象的视频流关联的识别信息一致时，AV同步控制部118可以使按照该音频流的声音停止再生。然后，还可以按照具有和作为现在输出的对象的视频流关联的识别信息相同的识别信息的音频流输出声音。

在以上的讲述中，讲述了AV同步控制部118控制音频输出部110及视频输出部117的情况。可是，AV同步控制部118还可以控制音频译码部108及视频译码部115。这时，取代废弃音频帧数据，成为废弃音频流。其结果，由于不需要进行译码，所以能够削减再生装置的运算处理量。但是，为了正确地使输出的音频帧数据及视频图象数据同步，需要对音频输出部110及视频输出部117进行输出前的AV同步处理。此外，数据的废弃，还可以根据再生时刻信息，由流解析部103进行。

另外，在本实施方式中，讲述了伪信息包插入部102更新识别信息的情况。可是，流解析部103也可以更新识别信息。作为流解析部103更新识别信息而构成再生装置100后，伪信息包插入部102只有将记述固定值的伪信息包插入“continuity_counter”字段92就行。然后，就可以每逢流解析部103检出伪信息包时，内部性地更新识别信息，将识别信息与音频及视频流的各区间的地址关联。

另外，以上讲述了将伪信息包插入第1区间和第2区间之间的情况，但也可以将伪信息包插入第1区间之前。这样，第1区间的音频流及视频流欠缺时，可以避免识别信息不同的音频帧及视频图象被同时再生。

在这里，参照图19及图20，讲述将伪信息包插入第1区间之前后能够实现的新的处理。该处理，是利用第1区间终端的音频帧的再生指定时刻，在适当的时刻对从靠近交界处起到交界为止的声音进行渐隐的处理。另外，还可以将第2区间前头的声音渐显。

图19是表示为了在区间终端中渐隐再生声音、在区间始端中渐显再生声音的增益与音频流的关系的第1示例。

第1区间的声音被最后再生的时刻Tc，比第1区间的图象被最后再生的时刻Td早时，先结束声音的再生。所以，按照和图象的再生时刻(Td)的关系，从时刻Tb起，开始声音的渐隐后，在声音的渐隐未完毕的状况下，就在时刻Tc中结束声音的再生。其结果，常常产生异音。因此，波形Sb的音频增益不适合。

因此，第1区间的声音被最后再生的时刻Tc，比第1区间的图象被最后再生的时刻Td早时，按照和声音被最后再生的时刻Tc的关系，从比时刻Tb早的时刻Ta起，开始渐隐。这时的音频增益，如波形Sa所示，在声音的再生结束时刻Tc时，其输出增益也成为0。换言之，可以从在声音的再生结束时刻Tc时使输出增益成为0的时刻(Ta)起，开始渐隐。决定时刻Ta之间的其它参数，是再生时的音频增益值及使其衰减的时间。

为了实现上述的处理，如图9(b)所示，给插入第1区间之前的特定的符号，定义存放音频再生终端时刻的值的区域(audio_end_PTS)，通过再生时刻信息PTS记述声音的再生终了时刻Tc。

AV同步控制部118判定音频再生终端时刻Tc是否比视频再生终端时刻Td早。早时，从时刻Tc起，指令音频输出部110从眼前的时刻Ta起开始渐隐的衰减时间。其结果，音频增益的波形Sa如图19所示地减少，在时刻Tc中成为O。这样，通过第1区间的终端的渐隐处理，可以防止产生异音。

另外，在交界后再生音频信号之际，如前所述，第2区间的声音的再生开始时刻Te比图象的再生开始时刻Tf早时，从时刻Te到时刻Tf的音频流被废弃。这时，为了不中断地再生第1区间的图象和第2区间的图象，AV同步控制部118可以从图象的再生开始时刻Tf开始声音的渐显。

图20是为了在区间的终端渐隐再生声音、在区间的始端渐显再生声音的增益和音频流的关系的第2示例。声音的再生终端时刻Td比图象的再生终端时刻Tc迟时，如上所述，图象的再生终端时刻Tc后，直到时刻Td为止的声音不被再生。所以，根据和声音的再生终端时刻(Td)的关系，开始第1区间的声音的渐隐后，直到图象的再生终端时刻Tc为止，渐隐未能完毕，往往在交界处产生异音。因此，波形Sb的音频增益是不适当的。

于是，如图9(b)所示，在伪信息中分别设置存放视频/音频再生终端时刻的区域。AV同步控制部118，从这些区域读出视频再生前头时刻Tc和音频再生终端时刻Td的信息，音频再生终端时刻Td较迟时，以图象的再生终端时刻Tc为基准，从只是衰减时间较早的时刻Ta起，开始渐隐。这样，在交界前，和图象的再生终了一起，渐隐完毕，可以不发生异音地将图象及声音切换到第2区间。

另外，开始再生交界后的第2区间的声音时，在区间的前头渐显声音后，用户一般容易听到。因此，交界后的音频的再生开始时刻Tf比视频的再生开始时刻Te迟时，与用波形Sc的音频增益输出声音相比，从前面起提高增益、开始渐显处理后，实际上，在声音的再生前头时刻Tf中，就突然输出振幅很大的信号。于是，作为输出机器的扬声器就有破损的危险。这种事例，例如在采用AV同步控制部118使音频译码部108对音频流的译码待机到时刻Tf为止、而且用音频输出部110调整音频增益的结构的再生装置100中有可能出现。

因此，如图9(b)所示，在伪信息包中分别设置存放视频/音频再生前头时刻的区域。AV同步控制部118，从这些区域读出音频再生前头时刻Tf和视频再生前头时刻Te的信息，在音频再生前头时刻Tf较大时，可以从时刻Tf起，开始音频信号的渐显。

综上所述，在插入系统流的前头的伪信息包中，分别设置存放音频及视频的再生前头时刻及再生终端时刻的区域，从而可以在交界附近不产生异音地进行渐显及渐隐。

以上，讲述了本发明的数据处理装置的实施方式的再生装置100的结构及动作。此外，在图7中，流读出101被作为开关示出。但它并不限于机械性或电气性的开关。只要能指定记录媒体的任意地址，读出TS即可。

此外，再生装置100的各输入缓冲器105、106、112及113的结构，用与现有技术的示例同样的结构示出。但第1音频输入缓冲器105和第2音频输入缓冲器106可以是1个缓冲器。同样，第1及第2视频输入缓冲器112、113也可以是1个缓冲器。这时，存放继从第1区间的TS抽出的音频流之后从第2区间的TS抽出的音频流，如前所述，例如采用图16所示的表格，只要能够读出存放各区间的音频流的地址和被流解析部103分配给各区间的音频流的识别信息n和再生指定时刻即可。

此外，在以上的讲述中，将伪信息包71作为TS包之一进行了讲述。但并不局限于此。只要是流解析部103能够识别音频数据及视频数据的数据即可。另外，还可以取代光盘120，利用硬盘(未图示)。在光盘120上，也可以不必记录多个TS，例如，将1个TS的不同的区间，分别作为另一个TS对待，也能够采用上述处理。

采用本发明后，可以提供在连续再生多个数据流之际使声音和图象完全吻合地同步再生的数据处理装置。

Claims (16)

1、一种数据处理装置，根据包含图象数据及声音数据的数据流再生图象及声音，所述图象数据及所述声音数据的每一个，被附加了表示再生的时序的时刻信息，

所述数据处理装置，包括：

连续取得第1数据流及第2数据流的流取得部；

在切换所述第1数据流和所述第2数据流的数据位置，插入表示交界的伪数据的插入部；

检出所述伪数据，给所述第1数据流及所述第2数据流分配不同的识别信息，将所述识别信息与各数据流的所述图象数据及所述声音数据关联的解析部；

根据被关联了相同识别信息的图象数据及声音数据的各时刻信息，控制基于所述图象数据的图象及基于所述声音数据的声音的输出时刻的控制部；以及

在所述输出时刻，输出所述图象及所述声音的输出部。

2、如权利要求1所述的数据处理装置，其特征在于：所述控制部，根据所述图象数据中附加的时刻信息及所述声音数据中附加的时刻信息，确定所述第1数据流相关的所述图象及所述声音的各再生结束时刻，在所述声音的再生结束时刻比所述图象的再生结束时刻迟时，停止从所述图象的再生结束时刻到所述声音的再生结束时刻的所述声音的输出。

3、如权利要求1所述的数据处理装置，其特征在于：所述控制部，根据所述图象数据中附加的时刻信息及所述声音数据中附加的时刻信息，确定所述第2数据流相关的所述图象及所述声音的各再生开始时刻，在所述声音的再生开始时刻比所述图象的再生开始时刻早时，停止从所述声音的再生开始时刻到所述图象的再生开始时刻的所述声音的输出。

4、如权利要求1所述的数据处理装置，其特征在于：所述控制部，在与图象数据及声音数据关联的识别信息不同时，先只输出基于所述图象数据的图象；在与所述图象的再生结束后得到的图象数据关联的识别信息、和与所述声音数据关联的识别信息一致时，根据被关联了相同识别信息的所述图象数据及所述声音数据的各时刻信息，控制基于所述图象数据的图象及基于所述声音数据的声音的输出时刻。

5、如权利要求1所述的数据处理装置，其特征在于：所述流取得部，可以连续取得3个以上的数据流；

所述插入部，在每个切换所连续取得的2个数据流的数据位置，插入与识别信息对应的、具有单调增加或单调减少的值的伪数据。

6、如权利要求5所述的数据处理装置，其特征在于：所述控制部，在所述声音数据相关联的识别信息与过去输出的图象的图象数据相关联的识别信息一致时，停止基于所述声音数据的声音的输出，根据具有与作为现在输出对象的图象的图象数据相关联的识别信息相同的识别信息的声音数据，输出声音。

7、如权利要求1所述的数据处理装置，其特征在于：所述控制部，在所述声音数据相关联的识别信息、与还没有输出的图象的图象数据相关联的识别信息一致时，停止基于所述声音数据的声音的输出；在与其后取得的图象数据相关联的识别信息一致时，根据所述声音数据输出声音。

8、如权利要求1所述的数据处理装置，其特征在于：所述数据流，由包含存放图象数据的信息包及存放声音数据的信息包的信息包结构所构成；

所述插入部，在所述第1数据流的最终信息包和所述第2数据流的起始信息包之间的位置，插入表示交界的伪信息包。

9、一种数据处理方法，根据包含图象数据及声音数据的数据流再生图象及声音，所述图象数据及所述声音数据的每一个，被附加了表示再生的时序的时刻信息，

所述数据处理方法，包括：

连续取得第1数据流及第2数据流的步骤；

在切换所述第1数据流和所述第2数据流的数据位置，插入表示交界的伪数据的步骤；

检出所述伪数据，给所述第1数据流及所述第2数据流分配不同的识别信息，将所述识别信息与各数据流的所述图象数据及所述声音数据关联的步骤；

根据被关联了相同识别信息的图象数据及声音数据的各时刻信息，控制基于所述图象数据的图象及基于所述声音数据的声音的输出时刻的步骤；以及

在所述输出时刻，输出所述图象及所述声音的步骤。

10、如权利要求9所述的数据处理方法，其特征在于：所述控制的步骤，包含：

根据所述图象数据中附加的时刻信息及所述声音数据中附加的时刻信息，确定所述第1数据流相关的所述图象及所述声音的各再生结束时刻的步骤；和

在所述声音的再生结束时刻比所述图象的再生结束时刻迟时，停止从所述图象的再生结束时刻到所述声音的再生结束时刻的所述声音的输出的步骤。

11、如权利要求9所述的数据处理方法，其特征在于：所述控制的步骤，包含：

根据所述图象数据中附加的时刻信息及所述声音数据中附加的时刻信息，确定所述第2数据流相关的所述图象及所述声音的各再生开始时刻的步骤；和

在所述声音的再生开始时刻比所述图象的再生开始时刻早时，停止从所述声音的再生开始时刻到所述图象的再生开始时刻的所述声音的输出的步骤。

12、如权利要求9所述的数据处理方法，其特征在于：所述控制的步骤，包含：

在与图象数据及声音数据关联的识别信息不同时，先只输出基于所述图象数据的图象的步骤；和

在与所述图象的再生结束后得到的图象数据关联的识别信息、和与所述声音数据关联的识别信息一致时，根据被关联了相同识别信息的所述图象数据及所述声音数据的各时刻信息，控制基于所述图象数据的图象及基于所述声音数据的声音的输出时刻的步骤。

13、如权利要求9所述的数据处理方法，其特征在于：取得所述流的步骤，可以连续取得3个以上的数据流；

所述插入的步骤，在每个切换所连续取得的2个数据流的数据位置，插入与识别信息对应的、具有单调增加或单调减少的值的伪数据。

14、如权利要求13所述的数据处理方法，其特征在于：所述控制的步骤，包含：

在所述声音数据相关联的识别信息与过去输出的图象的图象数据相关联的识别信息一致时，停止基于所述声音数据的声音的输出的步骤；和

根据具有与作为现在输出对象的图象的图象数据相关联的识别信息相同的识别信息的声音数据，输出声音的步骤。

15、如权利要求9所述的数据处理方法，其特征在于：所述控制的步骤，包含：

在所述声音数据相关联的识别信息与还没有输出的图象的图象数据相关联的识别信息一致时，停止基于所述声音数据的声音的输出的步骤；和

在与其后取得的图象数据相关联的识别信息一致时，根据所述声音数据输出声音的步骤。

16、如权利要求9所述的数据处理方法，其特征在于：所述数据流，由包含存放图象数据的信息包及存放声音数据的信息包的信息包结构所构成；

所述插入的步骤，在所述第1数据流的最终信息包与所述第2数据流的起始信息包之间的位置，插入表示交界的伪信息包。

Images