CN1833439A - 数据处理装置和数据处理方法 - Google Patents

数据处理装置和数据处理方法 Download PDF

Info

Publication number
CN1833439A
CN1833439A CNA2004800228192A CN200480022819A CN1833439A CN 1833439 A CN1833439 A CN 1833439A CN A2004800228192 A CNA2004800228192 A CN A2004800228192A CN 200480022819 A CN200480022819 A CN 200480022819A CN 1833439 A CN1833439 A CN 1833439A
Authority
CN
China
Prior art keywords
data
moving picture
file
voice
stream
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CNA2004800228192A
Other languages
English (en)
Inventor
伊藤正纪
冈内理
中村正
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Publication of CN1833439A publication Critical patent/CN1833439A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10—Digital recording or reproducing
    • G11B20/10009—Improvement or modification of read or write signals
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G11B27/034—Electronic editing of digitised analogue information signals, e.g. audio or video signals on discs
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G11B27/036—Insert-editing
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B2220/00—Record carriers by type
    • G11B2220/20—Disc-shaped record carriers
    • G11B2220/21—Disc-shaped record carriers characterised in that the disc is of read-only, rewritable, or recordable type
    • G11B2220/213—Read-only discs
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B2220/00—Record carriers by type
    • G11B2220/20—Disc-shaped record carriers
    • G11B2220/21—Disc-shaped record carriers characterised in that the disc is of read-only, rewritable, or recordable type
    • G11B2220/215—Recordable discs
    • G11B2220/216—Rewritable discs
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B2220/00—Record carriers by type
    • G11B2220/20—Disc-shaped record carriers
    • G11B2220/21—Disc-shaped record carriers characterised in that the disc is of read-only, rewritable, or recordable type
    • G11B2220/215—Recordable discs
    • G11B2220/218—Write-once discs
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B2220/00—Record carriers by type
    • G11B2220/20—Disc-shaped record carriers
    • G11B2220/25—Disc-shaped record carriers characterised in that the disc is based on a specific recording technology
    • G11B2220/2537—Optical discs
    • G11B2220/2541—Blu-ray discs; Blue laser DVR discs
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B2220/00—Record carriers by type
    • G11B2220/20—Disc-shaped record carriers
    • G11B2220/25—Disc-shaped record carriers characterised in that the disc is based on a specific recording technology
    • G11B2220/2537—Optical discs
    • G11B2220/2562—DVDs [digital versatile discs]; Digital video discs; MMCDs; HDCDs
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B2220/00—Record carriers by type
    • G11B2220/20—Disc-shaped record carriers
    • G11B2220/25—Disc-shaped record carriers characterised in that the disc is based on a specific recording technology
    • G11B2220/2537—Optical discs
    • G11B2220/2562—DVDs [digital versatile discs]; Digital video discs; MMCDs; HDCDs
    • G11B2220/2575—DVD-RAMs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/84—Television signal recording using optical recording
    • H04N5/85—Television signal recording using optical recording on discs or drums

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)
  • Television Signal Processing For Recording (AREA)
  • Management Or Editing Of Information On Record Carriers (AREA)

Abstract

一种数据处理装置，将与连接点音频间隙区间相对应的语音帧与语音的再现控制信息一起记录到后期记录区域中。再现包含连接点语音帧的语音。根据语音的再现控制信息，进行声音渐失/声音渐显来再现语音。由此，对于盘上所记录的MPEG程序流，当重新编码连接点而组合再现播放列表时，能够保证语音没有中途中断，而进行无缝再现。

Description

数据处理装置和数据处理方法
技术领域
本发明涉及将运动图像流的流数据记录到光盘等记录介质上的数据处理装置和方法。
背景技术
用低位速率压缩图像数据并编码的各种数据流正被标准化。作为这种数据流的例子，已经知道MPEG2系统标准(ISO/IEC 13818-1)系统流。系统流包括程序流(PS)、传输流(TS)和PES流3种。
近年来，出现了新的用于规定MPEG4系统标准(ISO/IEC 14496-1)数据流的动向。在MPEG4系统标准的格式中，MPEG2图像流或者包含MPEG4图像流的图像流以及各种语音流被多路复用，并生成作为运动图像流的数据。而且在MPEG4系统标准的格式中规定了附属信息。附属信息和运动图像流被规定作为一个文件(MP4文件)。MP4文件的数据结构通过将Apple(注册商标)公司的多媒体技术(QuickTime)文件格式为基础来扩大其格式而规定的。而且，在MPEG2系统标准的系统流中没有规定用于记录附属信息(存取信息、特殊再现信息、记录日期和时间等)的数据结构。这是因为，在MPEG2系统标准中，附属信息被设置在系统流内。
现有技术中，图像数据和语音数据大多被记录在磁带上。但是，近年来，作为替代磁带的记录介质，以DVD-RAM、MO等为代表的光盘正受到关注。
图1表示现有技术的数据处理装置350的构成。数据处理装置350将数据流记录在DVD-RAM盘中，并且能够再现DVD-RAM盘中记录的数据流。数据处理装置350在图像信号输入部300和语音信号输入部302中接受图像数据信号和语音数据信号，并分别送到MPEG2压缩部301。MPEG2压缩部301基于MPEG2标准和/或者MPEG4标准压缩编码图像数据和语音数据，生成MP4文件。如果更具体地说明，MPEG2压缩部301在通过基于MPEG2视频标准压缩编码图像数据和语音数据而生成图像流和语音流之后，还通过基于MPEG4系统标准多路复用这些流而生成MP4流。此时，记录控制部341控制记录部320的动作。连续数据区域检测部340根据记录控制部341的指示来检查由逻辑块管理部343所管理的扇区使用状况，检测出物理上连续的空余区域。然后，记录部320通过介入拾取器330将MP4文件写入DVD-RAM盘331中。
图2表示MP4文件20的数据结构。MP4文件20具有附属信息21和运动图像流22。附属信息21基于用于规定图像数据、语音数据等属性的原子(atom)结构来描述。图3示出了原子结构23的具体例子。原子结构23对于图像数据和语音数据的每一个，独立描述了帧单位的数据大小、数据存储的开始地址、表示再现时序的时间标志(stamp)等信息。这意味着图像数据和语音数据被作为分开的轨道原子(track atom)而分别管理。
在图2所示MP4文件的运动图像流22中，以一个以上的帧单位分别配置了图像数据和语音数据并构成流。例如，如果运动图像流通过利用MPEG2标准的压缩编码方式而获得的话，则在运动图像流中就规定多个GOP。GOP是汇集了多个图像帧的单位，其包含通过单独再现所获得的图像帧即I画面、下一个I画面之前的P画面和B画面。当再现运动图像流22的任意图像帧时，首先确定在运动图像流22内包含该图像帧的GOP。
而且，在下面，如图2的MP4文件的数据结构所示，将具有运动图像流和附属信息之结构的数据流称为“MP4流”。
图4表示运动图像流22的数据结构。运动图像流22包含图像轨道和语音轨道，各个轨道上带有识别子(TrackID)。轨道不限于各具有一个，还存在中途轨道切换的情况。图5表示在中途切换了轨道的运动图像流22。
图6表示运动图像流22和DVD-RAM盘331记录单位(扇区)之间的对应。记录部320将运动图像流22实时记录在DVD-RAM盘上。更具体地，记录部320将通过最大记录速率换算所得的11秒以上的物理上连续的逻辑块确保作为一个连续数据区域，以及将图像帧和语音帧顺序记录到该区域。连续数据区域其每个由32k字节的多个逻辑块构成，每个逻辑块上带有错误校正符号。逻辑块其每个还由2k字节的多个扇区构成。而且，数据处理装置350的连续数据区域检测部340在一个连续数据区域的剩余部分用最大记录速率换算不到3秒的时刻，再次检测下一个连续数据区域。然后，在一个连续数据区域写满时，将运动图像流写入下一个连续数据区域。MP4文件20的附属信息21也写入同样被确保的连续数据区域中。
图7表示所记录的数据在DVD-RAM的文件系统中被管理的状态。其使用了例如UDF(Universal Disk Formata：通用盘格式)文件系统或者ISO/IEC 13346(一次写入和可重写介质的卷和文件结构，使用信息交换的非连续记录)文件系统。图7中，被连续记录的一个MP4文件被记录作为文件名MOV0001.MP4。该文件的文件名和文件入口的位置用FID(FileIdentifier Descriptor：文件识别符描述符)管理。文件名在文件/识别符栏中被设定作为MOV0001.MP4，文件入口的位置在ICB栏中被设定作为文件入口的开头扇区序号。
而且，UDF标准相当于ISO/IEC 13346标准的安装规章。通过介入1394接口和SBP-2(串行总线协议)协议将DVD-RAM驱动器连接到计算机(PC等)，也能够作为一个文件从PC中输入以依据UDF形式写入的文件。
文件入口通过使用地址分配描述符来管理存储了数据的连续数据区域(CDA：邻近数据区)a，b，c和数据区域d。具体地，记录控制部341在正在将MP4文件记录到连续数据区域a时发现了不良逻辑块之后，跳过该不良逻辑块，继续从连续数据区域b的开头写入。接着，在记录控制部341正在将MP4文件记录到连续数据区域b时，当检测到存在不能够写入的PC文件的记录区域时，继续从连续数据区域c的开头写入。然后，在记录结束时刻，将附属信息21记录在数据区域d上。结果，文件VR_MOVIE.VRO由连续数据区域d，a，b，c构成。
如图7所示，地址分配描述符a，b，c，d参考的数据的开始位置与扇区开头一致。除最后面的地址分配描述符c之外的地址分配描述符a，b，d参考的数据的数据大小是1个扇区的整数倍。这种描述规则被预先规定。
当再现MP4文件时，数据处理装置350取出经由拾取器330和再现部321接收的运动图像流，通过在MPEG2解码部311解码而生成图像信号和语音信号，并从图像信号输出部310和语音信号输出部312输出。同时进行从DVD-RAM盘读出数据和将读出的数据输出到MPEG2解码部311。此时，控制使得数据的读出速度比数据的输出速度大，以便应该再现的数据不会不足。因此，在连续读出数据和连续输出时，变成可以按数据读出速度和数据输出速度之间的差，来额外确保应该输出的数据。通过将额外确保的数据使用作为在因拾取器跳跃引起数据读出中断期间的输出数据，能够实现连续再现。
具体地，当假设来自DVD-RAM盘331的数据读出速度为11Mbps、向MPEG2解码部311的数据输出速度为最大8Mbps、拾取器的最大移动时间为3秒时，在拾取器移动中，将与输出到MPEG2解码部311的数据量相当的24M位的数据作为额外的输出数据成为必须。为了确保该数据量，需要8秒钟的连续读出。就是说，只需将24M位用数据读出速度11Mbps和数据输出速度8Mbps的差来除所得的时间进行连续读出。
因此，由于变成在8秒的连续读出期间读出88M位即11秒的输出数据，因此通过确保11秒以上的连续数据区域，就能够保证连续数据再现。
而且，在连续数据区域的中途，可以存在数个不良逻辑块。但是，在这种情况下，通过预测在再现时读入涉及的不良逻辑块所需要的读出时间，需要比11秒稍微多地确保连续数据区域。
在进行用于消除所记录的MP4文件的处理时，记录控制部341通过控制记录部320和再现部321来执行规定的消除处理。对于MP4文件，在附属信息部分包含对于全帧的显示时序(时间标志)。因此，例如，当部分地消除运动图像流部分的中途时，涉及时间标志，可以仅仅消除附属信息部分的时间标志。而且，在MPEG2系统流中，为了在部分消除位置中保持连续性，需要分析运动图像流。这是因为时间标志分散在流中。
MP4文件格式的特征在于：将图像/语音流的图像帧或者语音帧通过不分割各个帧而按原样记录作为一个集合。同时，作为国际标准，首次规定了可以向各个帧随机访问的访问信息。访问信息以帧单位设置，例如其包含帧大小、帧周期、对于帧的地址信息。即，对于图像帧，每1/30秒作为显示时间，对于语音帧，例如，如果是AC-3语音的情况，则将1536个采样作为一个单位(即一个语音帧)，对于每个单位存储访问信息。由此，例如，仅仅通过变更访问信息就能够对应，而不一定需要变更图像/语音流。这种访问信息的信息量平均1小时约为1M字节。
通过与访问信息的信息量关联，根据例如非专利文献1，DVD视频记录标准的访问信息所需要的信息量平均1小时为70k字节。DVD视频记录标准的访问信息的信息量为MP4文件附属信息所包含访问信息之信息量的10分之一以下。图8模式地表示被使用作为DVD视频记录标准的访问信息的字段名和字段名表示的画面等之间的对应关系。图9表示图8记载的访问信息的数据结构、数据结构所规定的字段名、其设定内容和数据大小。
例如专利文献1记载的光盘装置不是以1帧单位而是以1GOP单位来记录图像帧，同时，以与1GOP相当的时间长度来连续地记录语音帧。然后，以GOP单位规定访问信息。由此，降低了访问信息所需要的信息量。
MP4文件虽然基于MPEG2视频标准来描述运动图像流，但与MPEG2系统标准的系统流没有互换性。因此，通过利用现在PC等中使用的应用程序的运动图像编辑功能，并不能够编辑MP4文件。这是因为，很多应用程序的编辑功能将MPEG2系统标准的运动图像流作为编辑的对象。在MP4文件的标准中，也不存在用于确保运动图像流部分之再现互换性的解码模块的规定。因此，不能够完全地活用与现在极其广泛普及的MPEG2系统标准相对应的软件和硬件。
通过拾取运动图像文件要求的再现区间，还实现了通过将其组合而生成一个作品的播放列表(play list)功能。该播放列表功能不直接编辑已经记录的运动图像文件，一般进行假想的编辑处理。在以MP4文件生成播放列表时，其通过新建生成电影原子(movie Atom)来实现。在根据MP4文件生成播放列表的情况下，如果再现区间的流属性相同，则使用相同的样本描述入口(Sample Description Entry)，由此，能够抑制样本描述入口的冗长性。但是，在通过该特征描述用于保证例如无缝再现的无缝播放列表时，描述每个再现区间的流属性信息是困难的。
发明内容
本发明的目的是提供一种访问信息的信息量小且即使与现有技术格式相对应的应用程序等也能够利用的数据结构，以及提供一种基于该数据结构而能够进行处理的数据处理装置等。
本发明的另一目的是以与将现有技术的音频间隙作为前提的流具有互换性的形式来实现图像和语音无缝结合的编辑。特别地，其目的是实现涉及以MP4流描述的图像和语音。或者其目的是在结合点中能够使语音自然连接。
本发明的又一目的是在连接多个内容(contents)时使得能够进行按照用户的意图来指定语音之连接形式(是否减弱)的编辑处理。
依据本发明的数据处理装置包括：记录部，其排列配置多个包含被同步再现之图像和语音的运动图像流并作为1个以上的数据文件写入到记录介质中；和记录控制部，其用于确定被连续再现的2个运动图像流之间的无音区间。所述记录控制部提供与在确定的所述无音区间应该被再现的语音相关的追加语音数据；所述记录部将被提供的所述追加语音数据与所述数据文件建立关联后存储到所述记录介质中。
所述记录控制部也可以通过进一步利用在被连续再现的2个运动图像流中被在先再现的运动图像流之规定末尾区间的语音数据，提供包含与所述规定末尾区间的语音相同之语音的所述追加语音数据。
所述记录控制部也可以通过进一步利用在被连续再现的2个运动图像流中被在后再现的运动图像流之规定末尾区间的语音数据，提供包含与所述规定末尾区间的语音相同之语音的所述追加语音数据。
所述记录部也可以通过将被提供的所述追加语音数据写入到记录了所述无音区间的区域之前的区域上，将所述追加语音数据与所述数据文件建立关联。
所述记录部也可以将所述多个排列配置的运动图像流作为1个数据文件写入到所述记录介质中。
所述记录部也可以将所述多个排列配置的运动图像流作为多个数据文件写入到所述记录介质中。
所述记录部也可以通过将被提供的所述追加语音数据写入到记录了在被连续再现的2个运动图像流的各个文件中为在后再现的运动图像流数据文件的区域之前的区域中，将所述追加语音数据与所述数据文件建立关联。
所述记录部也可以将与被多个排列配置的所述运动图像流的排列相关的信息作为1个以上的数据文件写入到所述记录介质中。
所述无音区间也可以比1个语音的解码单位的时间长度要短。
所述运动图像流内的图像流也可以是MPEG-2视频流，并且在所述被连续再现的2个运动图像流之间维持MPEG-2视频流的缓冲条件。
所述记录部也可以将用于控制所述无音区间前后的语音强度的信息写入到所述记录介质中。
所述记录部也可以以规定的再现时间长度和数据大小中的一个作为单位，将所述运动图像流写入到所述记录介质中在物理上连续的数据区域中，并将所述追加语音数据写入到所述连续的数据区域之前。
依据本发明的数据处理方法包括：排列配置多个包含被同步再现之图像和语音的运动图像流并作为1个以上数据文件写入到记录介质中的步骤；和通过确定被连续再现的2个运动图像流之间的无音区间来控制记录的步骤。所述控制记录的步骤提供与在确定的所述无音区间上应该被再现的语音相关的追加语音数据；所述写入步骤将被提供的所述追加语音数据与所述数据文件建立关联后存储到所述记录介质中。
所述控制记录的步骤也可以通过进一步利用在被连续再现的2个运动图像流中被在先再现的运动图像流之规定末尾区间的语音数据，提供包含与所述规定末尾区间的语音相同之语音的所述追加语音数据。
所述控制记录的步骤也可以通过进一步利用在被连续再现的2个运动图像流中被在后再现的运动图像流之规定末尾区间的语音数据，提供包含与所述规定末尾区间的语音相同之语音的所述追加语音数据。
所述写入步骤也可以通过将被提供的所述追加语音数据写入到记录了所述无音区间的区域之前的区域中，将所述追加语音数据与所述数据文件建立关联。
所述写入步骤也可以将所述多个排列配置的运动图像流作为1个数据文件写入到所述记录介质中。
所述写入步骤也可以将所述多个排列配置的运动图像流作为多个数据文件写入到所述记录介质中。
所述写入步骤也可以通过将被提供的所述追加语音数据写入到记录了在被连续再现的2个运动图像流的各个文件中为在后再现的运动图像流数据文件的区域之前的区域中，将所述追加语音数据与所述数据文件建立关联。
所述写入步骤也可以将与被多个排列配置的所述运动图像流的排列相关的信息作为1个以上的数据文件写入到所述记录介质中。
依据本发明的数据处理装置包括：再现部，其从记录介质读出1个以上的数据文件和与所述1个以上数据文件带有关联的追加语音数据，所述1个以上的数据文件包含多个被同步再现的图像和语音的运动图像流；再现控制部，其基于为同步再现图像和语音而在运动图像流上附带的时刻信息，生成控制信号，控制再现；解码部，其基于所述控制信号来解码所述运动图像流，输出图像和语音的信号。当使用所述数据处理装置来连续再现2个运动图像流时，所述再现控制部在再现了一个运动图像流之后、在再现另一个运动图像流之前，输出用于输出所述追加语音数据之语音的控制信号。
依据本发明的数据处理方法包括：再现步骤，从记录介质读出1个以上的数据文件和与所述1个以上数据文件带有关联的追加语音数据，所述1个以上的数据文件包含多个被同步再现的图像和语音的运动图像流；基于为同步再现图像和语音而在运动图像流上附带的时刻信息生成控制信号的步骤；基于所述控制信号来解码所述运动图像流并输出图像和语音的信号的步骤。当连续再现2个运动图像流时，所述生成控制信号的步骤在再现了一个运动图像流之后、在再现另一个运动图像流之前，输出用于输出所述追加语音数据之语音的控制信号。
依据本发明的计算机程序通过计算机读入和执行来使计算机作为进行下述处理之数据处理装置的作用。通过执行计算机程序，数据处理装置执行：取得多个被同步再现的图像和语音的运动图像流并作为1个以上数据文件写入到记录介质中的步骤；通过确定被连续再现的2个运动图像流之间的无音区间来控制记录的步骤。所述控制记录的步骤提供与在确定的所述无音区间上应该被再现的语音相关的追加语音数据，所述写入到记录介质中的步骤将被提供的所述追加语音数据与所述数据文件建立关联后存储到所述记录介质中。
上述计算机程序还可以记录在记录介质中。
依据本发明的数据处理装置，在将多个MPEG2系统标准的编码数据作为1个数据文件进行记录时，通过将规定长度的音频数据与所述数据文件建立关联后进行记录。
依据本发明的另一数据处理装置，读入包含多个MPEG2系统标准之编码数据的数据文件和与所述数据文件带有关联的音频数据，在再现所述编码数据时，在所述编码数据的无音区间上再现与所述数据文件带有关联的音频数据。
附图说明
图1是表示现有技术数据处理装置350的结构示意图。
图2是表示MP4文件20之数据结构的示意图。
图3是表示原子结构23具体例子的示意图。
图4是表示运动图像流22之数据结构的示意图。
图5是表示在中途切换轨道之运动图像流22的示意图。
图6是表示运动图像流22和DVD-RAM盘331扇区之间的对应的示意图。
图7是表示所记录数据在DVD-RAM之文件系统中被管理的状态的示意图。
图8是模式地表示被使用作为DVD视频记录标准之访问信息的字段名和字段名表示的画面等之间的对应关系的示意图。
图9是表示图8记载的访问信息的数据结构、数据结构所规定的字段名、其设定内容和数据大小的示意图。
图10是表示用于根据本发明进行数据处理的便携式录像机10-1、摄录放一体机10-2和PC10-3之连接环境的示意图。
图11是表示数据处理装置10中功能方框构成的示意图。
图12是表示根据本发明的MP4流12之数据结构的示意图。
图13是表示MPEG2-PS14语音数据管理单位的示意图。
图14是表示程序流和基本流之间关系的示意图。
图15是表示附属信息13之数据结构的示意图。
图16是表示构成原子结构的各个原子内容的示意图。
图17是表示数据参考原子15之描述形式的具体例子的示意图。
图18是表示样本表原子16所包含的各个原子之描述内容的具体例子的示意图。
图19是表示样本描述原子17之描述形式的具体例子的示意图。
图20是表示样本描述入口18的各个字段内容的示意图。
图21是表示MP4流生成处理过程的流程图。
图22是表示基于根据本发明的处理所生成的MPEG2-PS和现有技术MPEG2视频(基本流)之间的不同点的表。
图23是表示当使1个VOBU对应于1个信息块(chunk)时的MP4流12之数据结构的示意图。
图24是表示当使1个VOBU对应于1个信息块时的数据结构的示意图。
图25是表示当使1个VOBU对应于1个信息块时的样本表原子19所包含的各个原子之描述内容的具体例子的示意图。
图26是表示相对于一个附属信息文件存在2个PS文件的MP4流12之例子的示意图。
图27是表示在一个PS文件内存在多个不连续的MPEG2-PS的例子的示意图。
图28是表示MP4流12的示意图，其设置了包含无缝连接用的MPEG2-PS的PS文件。
图29是表示在不连续点中不完整语音(音频)帧的示意图。
图30是表示根据本发明另外例子的MP4流12之数据结构的示意图。
图31是表示根据本发明又一例子的MP4流12之数据结构的示意图。
图32是表示MTF文件32的数据结构的示意图。
图33是表示各种文件格式标准的相互关系的示意图。
图34是表示QuickTime流之数据结构的示意图。
图35是表示QuickTime流之附属信息13中各个原子的内容的示意图。
图36是说明在记录像素数变化时的运动图像流的标志(flag)设定内容的示意图。
图37是表示PS#1和PS#3满足无缝连接条件所结合的运动图像流的数据结构的示意图。
图38是表示在PS#1和PS#3的连接点中图像和语音的无缝连接条件和再现时序的示意图。
图39是表示将与音频间隙区间相当的音频帧分配到后期记录用区域上时的数据结构的示意图。
图40是表示音频重叠时序的示意图，(a)和(b)是表示进行重叠部分的样态的示意图。
图41是表示在连接使得通过播放列表能够无缝再现PS#1和PS#3再现区间时的再现时序的示意图。
图42是表示播放列表的样本描述入口(Sample Description Entry)之数据结构的示意图。
图43是表示播放列表的样本描述入口(Sample Description Entry)内无缝信息之数据结构的示意图。
图44是表示在通过使用播放列表和桥接文件(bridge file)进行无缝连接时的无缝标志和STC连续性信息的示意图。
图45是表示播放列表内的PS轨道和语音轨道之编辑列表原子(EditList Atom)的数据结构的示意图。
图46是表示与播放列表内的语音轨道相关的样本描述原子(SampleDescription Atom)之数据结构的示意图。
具体实施方式
下面，参考附图，说明本发明的实施方式。
图10表示用于根据本发明进行数据处理的便携式录像机10-1、摄录放一体机10-2和PC10-3的连接关系。
便携式录像机10-1使用附属天线接收广播节目，通过运动图像压缩广播节目来生成MP4流。摄录放一体机10-2录像图像，同时录音图像所附带的语音，并生成MP4流。在MP4流中，图像/语音数据通过规定的压缩编码方式编码，并根据说明书说明的数据结构来进行记录。便携式录像机10-1和摄录放一体机10-2将所生成的MP4流记录到DVD-RAM等记录介质131上，或者通过介入IEEE1394、USB等数字接口而输出。而且，由于需要便携式录像机10-1、摄录放一体机10-2等更加小型化，记录介质131不限于直径8cm的光盘，也可以为直径比它更小的光盘等。
PC10-3通过介入记录介质或者传输媒体接收MP4流。如果通过介入数字接口连接各个设备，PC10-3将摄录放一体机10-2等控制作为外部记忆装置，从而能够从各个设备中接收MP4流。
当PC10-3具有与本发明的MP4流的处理相对应的应用程序软件和硬件时，PC10-3能够作为基于MP4文件标准的MP4流来再现MP4流。另一方面，当不与本发明的MP4流的处理相对应时，PC10-3能够基于MPEG2系统标准来再现运动图像流部分。而且，PC10-3还能够进行与MP4流的部分删除等编辑有关的处理。在下面，将图10的便携式录像机10-1、摄录放一体机10-2和PC10-3称为“数据处理装置”来说明。
图11表示数据处理装置10中的功能方框构成。下面，在本说明书中，数据处理装置10作为具有MP4流记录功能和再现功能两者来说明。具体地，数据处理装置10能够生成MP4流并将其写入到记录介质131，并且能够再现被写入到记录介质131的MP4流。记录介质131例如是DVD-RAM盘，在下面称为“DVD-RAM盘131”。
首先，说明数据处理装置10的MP4流记录功能。作为与该功能关联的构成要素，数据处理装置10包括：图像信号输入部100；MPEG2-PS压缩部101；语音信号输入部102；附属信息生成部103；记录部120；光拾取器130和记录控制部141。
图像信号输入部100是图像信号输入端子，其接收用于表示图像数据的图像信号。语音信号输入部102是语音信号输入端子，其接收用于表示语音数据的语音信号。例如，便携式录像机10-1(图10)的图像信号输入部100和语音信号输入部102分别与调谐器(tuner)部(未图示)的图像输出部和语音输出部连接，并且从各个中接收图像信号和语音信号。摄录放一体机10-2(图10)的图像信号输入部100和语音信号输入部102分别从摄像机的CCD(未图示)输出和麦克风输出中接收图像信号和语音信号。
MPEG2-PS压缩部(以下称为“压缩部”)101接收图像信号和语音信号并生成MPEG2系统标准的MPEG2程序流(以下称为“MPEG2-PS”)。所生成的MPEG2-PS基于MPEG2系统标准，能够仅仅基于流来进行解码。后面详细说明MPEG2-PS。
附属信息生成部103生成MP4流的附属信息。附属信息包括参考信息和属性信息。参考信息是用于特定由压缩部101所生成的MPEG2-PS的信息，例如是记录MPEG2-PS时的文件名和DVD-RAM盘131上的存储位置。另一方面，属性信息是描述了MPEG2-PS之样本单位的属性的信息。所谓“样本”，是在MP4文件标准的附属信息所规定的样本描述原子(Sample Description Atom；后述)中的最小管理单位，记录了每个样本的数据大小、再现时间等。1个样本例如是能够随机访问的数据单位。换言之，所谓属性信息，就是用于再现样本的必要的信息。后述的样本描述原子(Sample Description Atom)也被特别地称为访问信息。
具体地，属性信息是数据的存储开始地址、表示再现时序的时间标志、编码位速率、进行编解码等的信息。属性信息相对于各个样本内的每一个图像数据和语音数据而设置，除了下面明确说明的字段之描述之外，其遵从现有技术MP4流20的附属信息内容。
如后述，本发明的1个样本是MPEG2-PS的1个视频对象单元(VOBU)。而且，VOBU意味着DVD视频记录标准之同名的视频对象单元。后面详细说明附属信息。
记录部120基于来自记录控制部141的指示控制拾取器130，以及将数据记录到DVD-RAM盘131的特定位置(地址)上。更具体地，记录部120将在压缩部101中生成的MPEG2-PS和附属信息生成部103中生成的附属信息作为另外的文件分别记录到DVD-RAM盘131上。
而且，数据处理装置10具有在数据记录时动作的连续数据区域检测部(以下称为“检测部”)140和逻辑块管理部(以下称为“管理部”)143。连续数据区域检测部140根据来自记录控制部141的指示检查在逻辑块管理部143中所管理的扇区的使用状况，检测出物理上连续的空余区域。记录控制部141对于该空余区域，给记录部120指示数据记录。数据的具体记录方法由于与参考图7所说明的记录方法相同而没有特别差异，因此省略其详细说明。而且，MPEG2-PS和附属信息由于作为另外的文件被分别记录，因此在图7的文件/识别符栏中描述了各自的文件名。
下面，参考图12说明MP4流的数据结构。图12表示根据本发明的MP4流12的数据结构。MP4流12包括：含有附属信息13的附属信息文件(“MOV001.MP4”)；以及MPEG2-PS14数据文件(“MOV001.MPG”)(以后称为“PS文件”)。通过这两个文件内的数据构成了一个MP4流。在本说明书中，为了明确属于相同的MP4流，在附属信息文件和PS文件上给出相同名(“MOV001”)，但扩展名不同。具体地，附属信息文件的扩展名采用与现有技术MP4文件扩展名相同的“MP4”，PS文件的扩展名采用现有技术程序流的一般扩展名“MPG”。
附属信息13具有用于参考MPEG2-PS 14的参考信息(“dref”)。而且，附属信息13包含属性信息，其描述了MPEG2-PS 14每个视频对象单元(VOBU)的属性。属性信息由于描述了每个VOBU的属性，因此数据处理装置10通过特定MPEG2-PS 14所包含的VOBU的任意位置而能够以VOBU单位来进行再现/编辑。
MPEG2-PS 14是基于通过使图像包(pack)、语音包等交错所构成的MPEG2系统标准的运动图像流。图像包具有包头和被编码的图像数据。语音包具有包头和被编码的语音数据。在MPEG2-PS 14中，通过换算到图像的再现时间，以与0.4～1秒相当的运动图像数据为单位，通过视频对象单元(VOBU)来管理数据。运动图像数据包含多个图像包和语音包。数据处理装置10基于在附属信息13中描述的信息，能够特定任意VOBU的位置以及再现该VOBU。而且，VOBU包含一个以上的GOP。
根据本发明的MP4流12的一个特征是：MPEG2-PS14能够基于根据由MPEG4系统标准所规定的MP4流之数据结构的属性信息13来进行解码，同时，也能够基于MPEG2系统标准进行解码。这是因为，由于附属信息文件和PS文件被分别记录，因此数据处理装置10能够使各自独立来进行分析、处理等。例如，能够实施本发明数据处理的MP4流再现装置等能够基于属性信息13来调整MP4流12的再现时间等，并且通过特定MPEG2-PS14的编码方式而能够通过对应的解码方式进行解码。在能够解码MPEG2-PS的现有技术装置中，能够根据MPEG2系统标准进行解码。由此，即使是仅仅对应于现在广泛普及的MPEG2系统标准的软件和硬件，也能够再现MP4流所包含的运动图像流。
而且，在与设置VOBU单位之样本描述原子(Sample DescriptionAtom)的同时，如图13所示，也可以设置将MPEG2-PS14语音数据之规定时间的帧部分作为管理单位的样本描述原子(Sample DescriptionAtom)。所谓规定时间，例如是0.1秒。图中“V”表示图12的图像包，“A”表示语音包。0.1秒的语音帧由1个以上的多个包构成。在例如AC-3的情况下，当将采样频率假设为48kHz时，1个语音帧包含采样个数为1536个样本的语音数据。此时，样本描述原子可以设置在轨道原子内的用户数据原子内，或者设置作为独立轨道的样本描述原子。作为其他实施例，附属信息13还可以以与VOBU同步的0.4～1秒的语音帧作为单位，保持每个单位的合计数据大小、开始包的数据地址以及表示输出时序的时间标志等属性。
下面，说明MPEG2-PS14视频对象单元(VOBU)的数据结构。图14表示程序流和基本流之间的关系。MPEG2-PS14的VOBU包含多个图像包(V_PCK)和语音包(A_PCK)。而且，更严格地，VOBU由从序列头(图中的SEQ头)开始到下一个序列头之前的包构成。即，序列头被配置在VOBU的开头。另一方面，基本流(视频)包含N个GOP。GOP包含各种头部(序列(SEQ)头和GOP头)和图像数据(I画面，P画面，B画面)。基本流(音频)包含多个语音帧。
MPEG2-PS14的VOBU所包含的图像包和语音包分别通过使用基本流(视频)/(音频)的各个数据而构成，其被构成为使得各自的数据量成为2k字节。而且，如上述，包头部被设置在各个包上。
而且，当存在与字幕数据等副图像数据有关的基本流(未图示)时，MPEG2-PS14的VOBU还包含其副图像数据的包。
下面，参考图15和图16说明MP4流12中的附属信息13的数据结构。图15表示附属信息13的数据结构。该数据结构也被称为“原子结构”，并被分层。例如，“电影原子(Movie Atom)”包括“电影头部原子(MovieHeader Atom)”、“对象描述符原子(Object Descriptor Atom)”和“轨道原子(Track Atom)”。而且“轨道原子(Track Atom)”包含“轨道头部原子(Track Header Atom)”、“编辑列表原子(Edit List Atom)”、“媒体原子(Media Atom)”和“用户数据原子(User Data Atom)”。被图示的其他原子也是同样的。
根据本发明，特别地，通过使用数据参考原子(“Data Reference Atom”；dref)15和样本表原子(“Sample Table Atom”；stbl)16来描述样本单位的属性。如上述，1个样本对应于MPEG2-PS的1个视频对象单元(VOBU)。样本表原子16包含被图示的6个下位原子。
图16表示构成原子结构的各个原子的内容。数据参考原子(“DataReference Atom”)以URL形式存储了用于特定运动图像流(MPEG2-PS)14之文件的信息。另一方面，样本表原子(“Sample Table Atom”)通过下位的原子描述了每个VOBU的属性。例如，在“样本原子的解码时间(Decoding Time to Sample Atom)”中存储了每个VOBU的再现时间，在“样本大小原子(Sample Size Atom)”中存储了每个VOBU的数据大小。“样本描述原子(Sample Description Atom)”表示用于构成MP4流12之PS文件的数据是MPEG2-PS14，同时，还表示MPEG2-PS14的详细规格。下面，将通过数据参考原子(Data Reference Atom)描述的信息称为“参考信息”，将样本表原子(Sample Table Atom)中描述的信息称为“属性信息”。
图17表示数据参考原子15的描述形式的具体例子。用于特定文件的信息在用于描述数据参考原子15之字段的一部分(在这里为“DataEntryUrlAtom”)中描述。在这里，通过URL形式描述了MPEG2-PS14的文件名和文件的存储位置。通过参考数据参考原子15，能够与该附属信息13一起特定用于构成MP4流12的MPEG2-PS14。而且，即使在MPEG2-PS14被记录在DVD-RAM盘131上之前，图11的附属信息生成部103能够特定MPEG2-PS14的文件名和文件的存储位置。这是因为，文件名能够预先确定，并且文件的存储位置也能够通过文件系统的分层结构的表述来逻辑地确定。
图18表示样本表原子16包含的各个原子之描述内容的具体例子。各个原子规定了字段名、可否重复和数据大小。例如，样本表原子(“SampleTable Atom”)具有3个字段(“样本大小(sample-size)”、“样本计数(sample count)”和“入口大小(entry-size)”)。其中，在样本大小(“sample-size”)字段中，存储了VOBU缺省值的数据大小，在入口大小(“entry-size”)字段中，存储了与VOBU缺省值不同的其他的数据大小。而且，在图中“设定值”栏的参数(“VOBU_ENT”等)中设定了与DVD视频记录标准之同名的访问数据相同的值。
图18所示样本描述原子(“Sample Description Atom”)17描述了样本单位的属性信息。下面，说明样本描述原子17中所描述的信息的内容。
图19表示样本描述原子17之描述形式的具体例子。样本描述原子17描述了其数据大小、将各个VOBU假设为1个样本的样本单位的属性信息。属性信息在样本描述原子0的“sample_description_entry”18中描述。
图20表示“sample_description_entry”18的各个字段的内容。入口18包含用于指定所对应MPEG2-PS14之编码形式的数据格式(“data-format”)。图中的“p2sm”表示MPEG2-PS14是包含MPEG2视频的MPEG2程序流。
入口18包含该样本的显示开始时刻(“开始显示时间”)和显示结束时刻(“结束显示时间”)。这些存储了最初和最后的图像帧的时序信息。入口18包含该样本内的图像流的属性信息(“图像ES属性”)和语音流的属性信息(“语音ES属性”)。如图19所示，图像数据的属性信息确定了图像的CODEC(编解码)种类(例如MPEG2视频)、图像数据的宽度(“宽度”和高度(“高度”)等。同样，语音数据的属性信息确定了语音的CODEC(编解码)种类(例如为AC-3)、语音数据的频道数(“频道计数”)、语音样本的大小(“samplesize”)和采样速率(“samplerate”)等。
入口18还包含不连续点开始标志和无缝信息。如后述，这些信息在多个PS流存在于1个MP4流12内时描述。例如，当不连续点开始标志的值为“0”时，表示前面的运动图像流和现在的运动图像流是完全连续的程序流，当值为“1”时，表示这些运动图像流是不连续的程序流。在为不连续的情况下，即使在运动图像和语音等的不连续点中，也能够描述用于没有中断地再现运动图像、语音等的无缝信息。无缝信息包含在再现时的语音不连续信息和SCR不连续信息。语音不连续信息中包含无语音区间(即图31的音频间隙)的有无、开始时刻以及时间长度。SCR不连续信息中包含不连续点之前和之后的包的SCR值。
通过设置不连续点开始标志，能够独立指定样本描述入口的切换和运动图像流之连续性的切换位置。如图36所示，例如，当记录像素数在中途变化时会使样本描述(Sample Description)变化，但是，此时，如果运动图像流自身连续的话，则可以将不连续点开始标志设定为0。通过不连续点开始标志设定为0，在直接编辑信息流时，能够把握PC等即使在不再次编辑2个运动图像流的连续点也能够进行无缝再现。而且，尽管在图36中将水平像素数变化的情况作为例子，但是也可以是其他属性信息变化的情况。例如，可以是将涉及纵横比信息的4∶3的纵横比变化到16∶9的情况或者语音的位速率变化的情况等。
以上，说明了图12所示MP4流12的附属信息13和MPEG2-PS14的数据结构。在上述数据结构中，当进行MPEG2-PS14的部分删除时，仅仅变更附属信息13内的时间标志等的属性信息，而不需要变更在MPEG2-PS14内设置的时间标志。因此，能够进行有效利用现有技术MP4流之优点的编辑处理。而且，根据上述数据结构，当使用与MPEG2系统标准流相对应的应用程序和硬件来在PC上进行运动图像编辑时，也可以仅仅将PS文件输入到PC中。这是因为，PS文件的MPEG2-PS14是MPEG2系统标准的运动图像流。由于这种应用程序和硬件广泛普及，因此能够有效地活用现存的软件和硬件。同时，能够用根据ISO标准的数据结构来记录附属信息。
下面，参考图11和图21说明数据处理装置10生成MP4流以及将其记录到DVD-RAM盘131上的处理。图21是表示MP4流生成处理过程的流程图。首先，在步骤210中，数据处理装置10通过图像信号输入部接收图像数据，通过语音信号输入部102接收语音数据。然后在步骤211中，压缩部101基于MPEG2系统标准对所接收的图像数据和语音数据进行编码。接着，压缩部101在步骤212中通过使用图像和语音的编码流来构成MPEG2-PS(图14)。
在步骤213中，记录部120确定在将MPEG2-PS记录到DVD-RAM盘131上时的文件名和记录位置。在步骤214中，附属信息生成部103通过取得PS文件的文件名和记录位置来确定应该作为参考信息(数据参考原子；图17)描述的内容。如图17所示，在本说明书中，采用能够同时指定文件名和记录位置的描述方式。
接着，在步骤215中，附属信息生成部103通过对MPEG2-PS14所规定的每个VOBU取得表示再现时间、数据大小等的数据来确定应该作为属性信息(样本表原子；图18～20)描述的内容。通过以VOBU单位来设置属性信息，能够读出和解码任意的VOBU。这意味着将1个VOBU作为1个样本操作。
接着，在步骤216中，附属信息生成部103基于参考信息(数据参考原子)和属性信息(样本表原子)等来生成附属信息。
在步骤217中，记录部120将附属信息13和MPEG2-PS14输出作为MP4流12，并在DVD-RAM盘131上分别记录作为各自的附属信息文件和PS文件。根据上述过程，生成MP4流并记录到DVD-RAM盘131上。
下面，再次参考图11和图12说明数据处理装置10的MP4流再现功能。假设在DVD-RAM盘131上记录了包括具有上述数据结构的附属信息13和MPEG2-PS14的MP4流12。数据处理装置10根据用户的选择来再现和解码DVD-RAM盘131上所记录的MPEG2-PS14。作为涉及再现功能的构成要素，数据处理装置10包括：图像信号输出部110；MPEG2-PS解码部111；语音信号输出部112；再现部121；拾取器130和再现控制部142。
首先，再现部121基于来自再现控制部142的指示控制拾取器130，并通过从DVD-RAM盘131读出MP4文件来取得附属信息13。再现部121将所取得的附属信息13输出到再现控制部142。再现部121基于后述从再现控制部142输出的控制信号从DVD-RAM盘131中读出PS文件。控制信号是用于指定应该读出的PS文件(“MOV001.MPG”)的信号。
再现控制部142接收来自再现部121的附属信息13，通过分析其数据结构，来取得附属信息13中所包含的参考信息15(图17)。再现控制部142输出控制信号，其指示从所指定的位置(“./”：根目录)读出在参考信息15中被指定的PS文件(“MOV001.MPG”)。
MPEG2-PS解码部111接收MPEG2-PS14和附属信息13，并基于附属信息13中所包含的属性信息来从MPEG2-PS14中解码图像数据和语音数据。更具体地，MPEG2-PS解码部111读出样本描述原子17(图19)的数据格式(“data-format”)、图像流的属性信息(“图像ES属性”)、语音流的属性信息(“语音ES属性”)等，并基于这些信息所指定的编码形式、图像数据的显示大小以及采样频率等来解码图像数据和语音数据。
图像信号输出部110是图像信号输出端子，将被解码的图像数据作为图像信号输出。语音信号输出部112是语音信号输出端子，将被解码的语音数据作为语音信号输出。
数据处理装置10再现MP4流的处理与现有技术的MP4流文件的再现处理相同，首先，从扩展名为“MP4”的文件(“MOV001.MP4”)的读出开始。具体如下。首先，再现部121读出附属信息文件(“MOV001.MP4”)。接着，再现控制部142分析附属信息13后取出参考信息(数据参考原子)。再现控制部142基于所取出的参考信息，输出用于指示读出PS文件的控制信号，该PS文件构成相同的MP4流。在本说明书中，从再现控制部142输出的控制信号指示读出PS文件(“MOV001.MPG”)。
接着，再现部121基于控制信号读出被指定的PS文件。MPEG2-PS解码部111接收所读出的数据文件中包含的MPEG2-PS14和附属信息13，分析附属信息13后取出属性信息。然后，MPEG2-PS解码部111基于属性信息中所包含的样本描述原子17(图19)，通过确定MPEG2-PS14的数据格式(“data-format”)、MPEG2-PS14所包含的图像流的属性信息(“图像ES属性”)以及语音流的属性信息(“语音ES属性”)等，来解码图像数据和语音数据。通过以上处理，基于附属信息13再现MPEG2-PS14。
而且，如果是能够再现MPEG2系统标准流的现有技术的再现装置和再现软件等，则通过仅仅再现PS文件就能够再现MPEG2-PS14。此时，再现装置等可以不与MP4流12的再现对应。MP4流12由于通过分开的文件来构成附属信息13和MPEG2-PS14，因此例如基于扩展名能够容易地识别和再现存储了MPEG2-PS14的PS文件。
图22是表示基于根据本发明的处理所生成的MPEG2-PS和现有技术MPEG2视频(基本流)之间的不同点的表。图中，本发明(1)栏与迄今说明的将1个VOBU假设为1个样本的例子相当。在现有技术例子中，将1个图像帧(视频帧)作为1个样本，将样本表原子(Sample Table Atom)等的属性信息(访问信息)设置在各个样本上。根据本发明，通过将包含多个图像帧的VOBU作为样本单位而在每个样本上设置访问信息，因此能够大幅度降低属性信息的信息量。因此，根据本发明适合将1个VOBU假设为1个样本。
图22本发明(2)栏表示本发明(1)所示数据结构的变形例。本发明(2)和本发明(1)的不同点是：在本发明(2)的变形例中，通过将1个VOBU对应于1个信息块(chunk)而在每个信息块上构成访问信息。这里，所谓“信息块”，是由多个样本构成的单位。此时，包含MPEG2-PS14之包头部的图像帧对应于1个样本。图23表示当使1个VOBU对应于1个信息块时的MP4流12的数据结构。不同点为将图12的1个样本置换成1个信息块。而且，在现有技术例子中，使1个图像帧对应于1个样本，使1个GOP对应于1个信息块。
图24是表示当将1个VOBU对应于1个信息块时的数据结构的示意图。当与图15所示的将1个VOBU对应于1个样本时的数据结构进行比较时，附属信息13的属性信息所包含的样本表原子19中规定的内容不同。图25表示当使1个VOBU对应于1个信息块时的样本表原子19所包含的各个原子之描述内容的具体例子。
下面，说明涉及用于构成MP4流12之PS文件的变形例。图26表示相对于一个附属信息文件(“MOV001.MP4”)存在2个PS文件(“MOV001.MPG”和“MOV002.MPG”)的MP4流12的例子。在2个PS文件中，分别记录了表示分开运动图像场面(scene)的MPEG2-PS14的数据。在各个PS文件内，运动图像流连续，基于MPEG2系统标准的SCR(System Clock Reference：系统时钟基准)、PTS(Presentation TimeStamp：显示时间标志)以及DTS(Decoding Time Stamp：解码时间标志)连续。但是，假设在PS文件相互之间(在各个PS文件所包含的MPEG-PS#1的末尾和MPEG-PS#2的开头之间)，SCR、PTS和DTS分别不连续。2个PS文件被处理作为各自的轨道(图)。
在附属信息文件中，描述了用于确定各个PS文件的文件名和记录位置的参考信息(dref；图17)。例如，参考信息基于应该参考的顺序被描述。图中，再现通过参考#1被确定的PS文件“MOV001.MPG”，之后，再现通过参考#2被确定的PS文件“MOV002.MPG”。这样，即使存在多个PS文件，通过在附属信息文件内设置各个PS文件的参考信息，也能够实质上连续再现各个PS文件。
图27表示在一个PS文件内存在多个不连续的MPEG2-PS的例子。在PS文件中，连续地排列了表示各个运动图像场面的MPEG2-PS#1和#2的数据。所谓“不连续的MPEG2-PS”，意味着在2个MPEG2-PS之间(在MPEG-PS#1的末尾和MPEG-PS#2的开头之间)，SCR、PTS和DTS分别不连续。即，意味着在再现时序上没有连续性。不连续点存在于2个MPEG2-PS的边界上。而且，在各个MPEG2-PS内，运动图像流连续，基于MPEG2系统标准的SCR、PTS以及DTS连续。
在附属信息文件上描述了用于确定PS文件的文件名和记录位置的参考信息(dref；图17)。在附属信息文件上存在一个用于指定该PS文件的参考信息。但是，当顺序再现PS文件时，变成在MPEG2-PS#1和#2的不连续点上不能够再现。这是因为SCR、PTS以及DTS等变成不连续。因此，将涉及该不连续点的信息(不连续点的位置信息(地址)等)描述在附属信息文件中。具体地，不连续点的位置信息记录作为图19中的“不连续点开始标志”。例如，在再现时，再现控制部142算出不连续点的位置信息，通过先读在不连续点之后存在的MPEG2-PS#2的图像数据，来控制再现使得至少没有中途中断地连续再现图像数据。
参考图26，说明对于包含相互不连续MPEG2-PS的2个PS文件通过设置2个参考信息来进行再现的过程。但是，如图28所示，对于2个PS文件，新插入包含无缝连接用MPEG2-PS的PS文件，能够无缝地再现当初的2个PS文件。图28表示设置了包含无缝连接用MPEG2-PS的PS文件(“MOV002.MPG”)的MP4流12。PS文件(“MOV002.MPG”)包含MPEG2-PS#1和MPEG2-PS#3之间不连续点中的不完整语音帧。下面，参考图29进行更详细地说明。
图29表示不连续点中的不完整语音(音频)帧。图中，将包含MPEG2-PS#1的PS文件表述为“PS#1”，将包含MPEG2-PS#3的PS文件表述为“PS#3”。
假设首先处理PS#1的数据，接着处理PS#3的数据。从上开始的第2层的DTS视频帧和第3层的PTS视频帧表示涉及各个图像帧的时间标志。从这些可以看出，PS文件#1和#3没有中途中断地被再现图像。但是，对于音频帧，在PS#1的再现结束之后到PS#3被再现之前之间，发生了一定区间数据不存在的无音区间。在这里，不能够实现无缝再现。
因此，通过新设置PS#2和设置包含用于无缝连接的语音帧的PS文件，以便从附属信息文件中参考。该语音帧包含嵌入了无音区间的语音数据，拷贝例如与PS#1末尾的运动图像同步记录的语音数据。如图29所示，在音频帧中，接着PS#1插入了无缝连接用音频帧。PS#2的语音帧直到成为PS#3开始前1帧以内之前设置。伴随此，在附属信息13设置用于参考新PS#2的参考信息(图28的dref)，设定使得接着PS#1参考。
而且，尽管在图29中存在作为“音频间隙”表示的1个语音帧量以下的无数据区间(无音区间)，但是，在PS#2内额外包含后面1个语音帧量相当的数据，可以使得不产生无音区间。在这种情况下，变成包含例如在PS#2和PS#3中包含相同语音数据样本的部分即包含音频帧重叠的部分。但是，并不会特别产生问题。这是因为，对于进行重叠的部分，即使再现任何一个数据也输出相同的语音。
而且，对于运动图像流PS#1和PS#3，在连接点的前后，希望运动图像流内的图像流连续并满足MPEG-2视频标准的VBV缓冲条件。这是因为，如果遵守缓冲条件，由于在MPEG2-PS解码部内的图像缓冲器内不产生下溢等，就能够容易地实施再现控制部142和MPEG2-PS解码部111进行无缝再现图像。
通过以上处理，当再现不连续的多个PS文件时，能够在时间上连续进行解码和再现。
而且，在图29中，尽管通过使用参考信息(dref)来说明作为参考PS文件，但是，只有对PS#2文件，才可以根据其他的原子(例如独自定义的专用原子)或者第2PS轨道来参考PS#2。换言之，仅仅对根据DVD视频记录标准的PS文件，才可以使得根据“dref”原子进行参考。或者，将PS#2文件内的语音帧记录作为基本流的独立文件，根据附属信息文件中设置的独立的语音轨道原子来进行参考，并且可以描述成附属信息文件使得与PS#1末尾并列来进行再现。PS#1和语音基本流的同时再现时刻能够通过附属信息的编辑列表原子(例如图15)来指定。
至此，对作为运动图像流是MPEG2程序流的情况进行了说明。但是，也能够通过由MPEG2系统标准规定的MPEG2传输流(以下称为“MPEG2-TS”)来构成运动图像流。
图30表示根据本发明其他例子的MP4流12的数据结构。MP4流12具有：包含附属信息13的附属信息文件(“MOV001.MP4”)；以及MPEG2-TS14的数据文件(“MOV001.M2T”)(以下称为“TS文件”)。
在MP4流12中，在由附属信息13内的参考信息(dref)参考TS文件方面与图12的MP4流相同。
MPEG2-TS14上附加了时间标志。更详细地，在MPEG2-TS14上，在发送时所参考的4字节的时间标志被附加在188字节的传输信息包(以下称为“TS信息包”)的前面。结果，包含图像的TS信息包(V_TSP)和包含语音的TS信息包(A_TSP)由192字节构成。而且，时间标志还可以被附加在TS信息包的后面。
在图30所示MP4流12中，与图12中的VOBU相同，对于图像，能够通过将包含与0.4～1秒相当的图像数据的TS信息包作为1个样本而将属性信息描述在附属信息13中。与图13相同，还可以将1帧语音数据的数据大小、数据地址和再现时序等描述在附属信息13中。
使1帧对应于1个样本，也可以使多个帧对应于1个信息块。图31表示根据本发明其他例子的MP4流12的数据结构。此时，与图23相同，对于图像，将包含与0.4～1秒相当的图像数据的多个TS信息包对应于1个信息块，通过按每1个信息块设定访问信息，获得了与图12所示结构的MP4流12完全相同的优点。
而且，基于在使用上述图30和图31数据结构时的各个文件的构成和数据结构的处理类似于涉及图12，13和23所说明的处理。在这些说明中，只要将与图12，13和23中的图像包和语音包相关的说明分别置换成图30所示的包含时间标志的图像用TS信息包(V_TSP)和语音用TS信息包(A_TSP)进行解读即可。
下面，参考图32说明能够适用迄今说明的数据处理之其他数据格式的文件结构。图32表示MTF文件32的数据结构。MTF32是运动图像记录和编辑结果存储所使用的文件。MTF文件32包含多个连续的MPEG2-PS14，另一方面，各个MPEG2-PS14包含多个样本(“P2Sample”)。样本(“P2Sample”)是一个连续的流。例如，如涉及图12说明的，能够以样本单位设置属性信息。在迄今的说明中，该样本(“P2Sample”)相当于VOBU。各个样本其每个包含由一定数据量(2048字节)构成的多个图像包和语音包。例如，如果将2个MTF汇集成一个，则MTF就由2个P2stream构成。
当MTF32内前后的MPEG2-PS14为连续的程序流时，能够在连续的范围内设置一个参考信息而构成一个MP4流。当前后的MPEG2-PS14为不连续的程序流时，如图27所示，能够将不连续点的数据地址设置为属性信息来构成MP4流12。因此，即使在MTF32中，也能够适用迄今说明的数据处理。
迄今已经说明了通过扩展在2001年被标准化的MP4文件格式来处理MPEG2系统流的例子，但是，对于本发明，即使通过同样扩展QuickTime文件格式和ISO基础媒体文件格式也能够处理MPEG2系统流。这是因为，MP4文件格式和ISO基础媒体文件格式的大部分规格以QuickTime文件格式为基础进行规定，其规格的内容也是相同的。图33表示各种文件格式标准的相互关系。“本发明”、“MP4(2001)”以及“QuickTime”重叠的原子类别(moov，mdat)能够适用上述根据本发明的数据结构。如迄今说明的，原子类别“moov”在图15等中表示作为附属信息最上层的“电影原子”。
图34表示QuickTime流的数据结构。QuickTime流也由描述附属信息13的文件(“MOV001.MOV”)以及包含MPEG2-PS14的PS文件(“MOV001.MPG”)构成。如果与图15所示MP4流12比较，则QuickTime流的附属信息13中所规定的“电影原子”的一部分被变更了。具体是：代替空媒体头原子(“Null Media Header Atom”)，新设置了基础媒体头原子(“Base Media Header Atom”)36，以及在图34的附属信息13中删除了图15第3层记载的对象描述符原子(“Obiect Descriptor Atom”)。图35表示QuickTime流附属信息13中的各个原子的内容。被追加的基础媒体头原子(“Base Media Header Atom”)36在各个样本(VOBU)内的数据不是图像帧和语音帧之任何一个的情况下，通过该原子来表示其意思。图35所示的其他原子结构以及其内容由于与通过使用上述MP4流12说明的例子相同，因此省略其说明。
下面说明在进行无缝再现时的语音处理。首先，使用图37和图38来说明现有技术的无缝再现。
图37表示PS#1和PS#3满足无缝连接条件所结合的运动图像文件的数据结构。2个连续的运动图像流(PS#1和PS#3)被连接在运动图像文件MOVE0001.MPG内。运动图像文件具有规定时间长度(例如10秒以上20秒以下)的再现时间长度，对于该规定时间长度的运动图像流，在其前区域在物理上具有后期记录用的数据区域，以MOVE0001.EMP之类的其他文件形式确保其中未使用区域即后期记录用的空余区域。
而且，在运动图像文件的再现时间长度较长的情况下，将后期记录区域和规定时间长度的运动图像流区域作为1组，则存在多个这种组。如果将这些组连续记录在DVD-RAM盘上，就在运动图像文件的途中以使后期记录区域交错形式被记录。这是为了在访问运动图像文件的途中能够简单短时间地实施向后期记录区域上所记录数据的访问。
而且，假设运动图像文件内的图像流在PS#1和PS#3之连接点的前后连续并满足MPEG-2视频标准的VBV缓冲条件。(假设满足由DVD-VR标准所规定的在2个流之连接点上能够进行无缝再现的连接条件)。
图38表示在图37的PS#1和PS#3的连接点中图像和语音的无缝连接条件和再现时序。与PS#1末尾的图像帧同步被再现的溢出部分的语音帧被存储在PS#3的开头部分。在PS#1和PS#3之间存在音频间隙。而且，该音频间隙与在图29中说明的音频间隙相同。当在图29中PS#1的图像和PS#3的图像没有中途中断地连续再现时，由于PS#1和PS#3之间的语音帧的再现周期变得不一致，因此产生该音频间隙。这种情况是由于图像和语音的各个帧的再现周期不一致而产生的。现有技术的再现装置由于在该音频间隙的区间上停止语音的再现，在流连接点中的语音再现在一瞬间会有中断。
而且，为了防止语音中断，在语音间隙的前后，通过声音渐失、声音渐显来考虑对策。即，在无缝再现中，在语音间隙的前后，通过仅仅在10ms区间分别实施声音渐失、声音渐显，能够防止因语音中断引起的噪声，使得听得自然。但是，如果每次产生音频间隙都进行声音渐失、声音渐显，则因为有相关原始声音的种类引起不能够提供稳定的语音强度，因此存在不能保证良好视听状态之类的问题。为此，有必要使得没有因在再现时的音频间隙所引起的无音区间。
因此，在本实施方式中，采用以下对策。图39表示在将能够嵌入音频间隙区间的音频帧OVRP0001.AC3记录到后期记录用数据区域的一部分上时的运动图像文件MOVE0001.MPG和语音文件OVRP0001.AC3的物理数据配置。该运动图像文件和语音文件根据记录控制部141的指示(控制信号)由记录部120生成。
由于成为这种数据配置，对于希望实现无缝连接的运动图像流PS#1和PS#3连接点附近的数据，记录控制部141实现用于容许音频间隙的能够进行无缝再现的数据结构。在这个时刻，判明是否存在一个语音帧量以下的无数据区间(无音区间)即有无音频间隙、失掉的语音数据被包含在该音频间隙区间内的语音帧、以及音频间隙的区间长度(在大部分情况下都产生音频间隙)。接着将在音频间隙区间中应该被再现的语音数据送到记录部120，并与运动图像文件建立关联而记录作为语音文件。所谓“建立关联”，意味着在例如运动图像文件被存储之前的区域中设置后期记录(post recording)用的数据区域，并且在该数据区域中存储追加的语音数据。还意味着将存储了该运动图像文件和语音数据的文件对应于附属信息(电影原子)内的运动图像轨道和语音轨道。该语音数据例如是AC3形式的音频帧数据。
结果，在DVD-RAM盘131上记录了图39所示的运动图像数据文件(MOVE0001.MPG和OVRP0001.AC3)。而且，后期记录用数据区域的未使用部分预先确保作为另外的文件(MOVE0001.EMP)。
图40表示音频重叠的再现时刻。在这里，说明重叠的2个形式。图40(a)表示重叠的第一形式，(b)表示重叠的第二形式。在图40(a)中，表示了OVRP0001.AC3语音帧的再现区间和音频间隙之后的PS#3开头帧的再现区域相重叠的形式。重叠的语音帧在运动图像文件的附属信息内被登录作为语音轨道。该重叠的语音帧的再现时序在运动图像文件的附属信息内被记录作为语音轨道的编辑列表原子(Edit List Atom)。但是，如何再现重叠的2个语音区间依赖于数据处理装置10的再现处理。例如，基于再现控制部142的指示，首先，再现部121读出OVRP0001.AC3，接着一边从DVD-RAM中顺序读出PS#2和#3，一边MPEG2-PS解码部111同时开始PS#2的再现。MPEG2-PS解码部111在与PS#2再现结束、PS#3开始再现的同时，再现其语音帧。然后，当再现部121读出PS#3语音帧时，MPEG2-PS解码部111通过向将再现时刻仅仅在时间上推迟了重叠部分的方向移位来开始再现。但是，当在每个连接点上每次都延迟再现时刻时，由于可能出现图像和语音之间的错位会宽广到能够感觉的程度，因此有必要在整个再现区间上不使用OVRP0001.AC3，而在本来的再现时刻上再现输出PS#3的语音帧。
另一方面，图40(b)表示OVRP0001.AC3语音帧的再现区间和音频间隙之前的PS#3末尾帧的再现区域相重叠的形式。在该形式中，基于再现控制部142的指示，首先，再现部121读出重叠语音帧，接着顺次读出PS#2和PS#3的语音帧，在与PS#2的读出同时，MPEG2-PS解码部111开始PS#2的再现。然后，通过与PS#3的再现并行来再现重叠的语音帧。此时，MPEG2-PS解码部111通过向将该再现时刻仅仅在时间上推迟重叠部分的方向移位来开始再现。但是，当在每个连接点上每次都延迟再现时刻时，由于可能出现图像和语音之间的错位会宽广到能够感觉的程度，因此有必要在整个再现区间上不使用OVRP0001.AC3，而在本来的再现时刻上再现输出PS#3的语音帧。
即使通过上述任意一个的再现处理，也能够没有由音频间隙引起的无音区间。而且，即使在图40(a)和(b)任何一个的情况下，在重叠的PS轨道内的语音样本上仅仅废弃了与重叠区域时间相当的音频数据，并且可以根据由PTS等原样指定的再现时刻来再现以后的音频数据。通过该处理，在再现时，能够使得没有因音频间隙引起的无音区间。
图41表示连接使得根据播放列表通过不直接编辑而能够使再现区间PS#1和PS#3无缝再现的例子。与图39的不同点在于：图39通过编辑而生成使运动图像流PS#1和PS#3连接的运动图像文件，相反，图41通过使用播放列表文件来描述关系。包含重叠部分的1个语音帧被记录在MOVE0003.MPG之前的位置。播放列表MOVE0001.PLF对于PS#1、包含重叠部分的语音帧和PS#3的各个部分，分别具有PS#1用的PS轨道、语音轨道和PS#3用的PS轨道，以及描述各个轨道的编辑列表原子使得构成图40的再现时刻。
而且，在通过图41的播放列表连接2个运动图像流时，运动图像流内的图像流只要不进行编辑处理，在连接点前后，一般就不满足MPEG-2视频标准的VBV缓冲条件。因此，当无缝连接图像时，再现控制部以及MPEG2解码部对于不满足VBV缓冲条件的流，有必要进行无缝再现。
图42表示播放列表的样本描述入口(Sample Description Entry)的数据结构。无缝连接信息由无缝连接标志、语音不连续点信息、SCR不连续点信息、STC连续性标志、以及语音控制信息的字段构成。在播放列表的样本描述入口中，无缝连接标志＝0的情况假设为没有必要在记录开始日期时间、开始显示时间、结束显示时间以及不连续点开始标志上设定值。另一方面，无缝连接标志＝1的情况假设为各个值设定为与记录初期时的附属信息文件相同的合适值。这是因为，在播放列表的情况下，需要预先使得样本描述入口能够由多个信息块共用，此时，这些字段不能始终有效。
图43表示无缝信息的数据结构。在图43的字段中，与图19同名的字段具有相同的数据结构。STC连续性信息＝1表示成为其之前的流基准的系统时钟(27MHz)与将该流作为基准的STC值连续。具体地，其表示运动图像文件的PTS、DTS和SCR相同的STC值附加在基体上并且连续。语音控制信息在一旦使PS连接点的语音渐失之后就指定是否进行语音渐显。再现装置通过参考该字段，如播放列表中记载的那样，就控制连接点之前声音的渐失和连接点之后声音的渐显。由此，能够根据连接点前后的语音内容来实现合适的语音控制。例如，当在连接点前后的语音频率特性完全不同的情况下，希望在语音渐失之后进行语音渐显。另一方面，当在频率特性类似的情况下，希望不实施语音渐失和语音渐显。
图44表示通过使用桥接文件(bridge file)描述播放列表来将2个运动图像文件MOVE0001.MPG和MOVE0003.MPG通过介入桥接文件MOVE0002.MPG进行无缝连接时的样本描述入口的无缝标志和STC连续性信息的值。
桥接文件是包含PS#1和PS#3之连接部分的运动图像文件MOVE0002.MPG。在该连接部分的前后，2个运动图像流内的图像流假设为满足MPEG-2视频标准的VBV缓冲条件。即，假设为与图39相同的数据结构。
而且，各个运动图像文件与图37同样具有规定时间长度(例如10秒以上20秒以下)的再现时间长度，对于该规定时间长度的运动图像流，在其前区域在物理上具有后期记录用的数据区域，以MOVE0001.EMP、MOVE0002.EMP、MOVE0003.EMP之类的其他文件形式确保其中未使用区域即后期记录用的空余区域。
图45表示图44情况之播放列表的编辑列表原子的数据结构。播放列表包含MPEG2-PS用的PS轨道和AC-3语音用的语音轨道。PS轨道通过数据参考原子来参考图44的MOVE0001.EMP、MOVE0002.EMP和MOVE0003.EMP。语音轨道通过数据参考原子来参考包含1个音频帧的OVRP0001.AC3文件。在PS轨道的编辑列表原子中存储了表达4个再现区间的编辑列表表(Edit List Table)。各个再现区间#1～#4对应于图44的再现区间#1～#4。另一方面，在后期记录区域上所记录的语音帧的编辑列表原子中存储了表达休止区间#1、再现区间和休止区间#2的编辑列表表(Edit List Table)。当再现部作为前提再现该播放列表时，在指定了语音轨道之再现的区间中，假设不再现PS轨道的语音而优先再现语音轨道。通过这样，在音频间隙区间中，再现后期记录区域所记录的音频帧。当该音频帧的再现结束时，将重叠的PS#3内的语音帧和其以后的语音帧通过仅仅在时间上延迟重叠部分来进行再现。或者，在解码包含其后应该再现之语音数据的PS#3内的音频帧之后，仅仅再现没有重叠的剩余部分。
编辑列表表的track_duration指定再现区间之图像的时间长度。Media_time指定运动图像文件内的再现区间的位置。该再现区间的位置将运动图像文件的开头表达作为时刻0，将再现区间开头的图像位置表达作为时刻的偏移值。Media_time＝-1意味休止区间，在track_duration的时间意味不进行任何再现。Media_rate设定用于意味着1倍速再现的1.0。通过再现部读出PS轨道和语音轨道两者的编辑列表原子，并实施基于它的再现控制。
图46表示图45语音轨道内的样本描述原子的数据结构(语音数据假设为杜比AC-3形式)。Sample_description_entry包含语音无缝信息。该语音无缝信息上包含重叠位置，其表示用1个音频帧的前方或者后方的哪一个来假想语音的重叠。将重叠期间包括作为将27MHz的时钟值假设为单位的时间信息。通过参考该重叠位置和期间来控制重叠区间周边的语音再现。
根据上述构成，能够用与以现有技术音频间隙作为前提的流保持互换性的形式来实现用于实现图像和语音之无缝再现的播放列表。就是说，选择使用了音频间隙之无缝再现也是可能的，同时，选择使用了重叠语音帧之无缝再现也是可能的。因此，即使在仅仅与现有技术音频间隙相对应的设备中，至少也能够在流的连接点上进行如现有技术那样的无缝再现。
而且，还使适于语音内容之连接点的精细控制成为可能。
而且，实现样本描述入口，其在能够消减MP4文件之播放列表的冗长性的同时，还能够进行无缝播放列表上所必要的精细描述。
而且，本发明中，尽管通过记录音频的重叠部分来实现图像和语音的无缝再现，但是也有不利用重叠部分而通过跳跃图像帧的再现来仿真性地无缝再现图像和语音的方法。
在本实施方式中，尽管将音频的重叠部分记录在后期记录区域中，但是，也可以记录在播放列表文件的电影数据原子内。1帧的数据大小例如在AC3的情况下是几k字节。而且，代替图43的STC连续性标志，还可以记录连接点之前的PS的结束显示时间和连接点之后的PS的开始显示时间。这种情况下，如果无缝标志是1并且结束显示时间和开始显示时间相等的话，则能够是与STC连续性标志＝1相同意思的解释。而且，代替STC连续性标志，还可以记录连接点之前的PS的结束显示时间和连接点之后的PS的开始显示时间的差分。这种情况下，如果无缝标志是1并且结束显示时间和开始显示时间的差分为0的话，则能够是与STC连续性标志＝1相同意思的解释。
而且，在本发明中，尽管与PS#3部分的记录分开仅仅将包含音频重叠部分的音频帧记录到后期记录区域中，但是，也可以将图40所示溢出部分和包含图40(a)或者(b)所示重叠部分的音频部分两者记录到后期记录区域中。也可以将与PS#3开头部分的图像相对应的语音帧连续记录到后期记录区域上。由此，在PS轨道内的语音和语音轨道内的语音之间，由于语音的切换时间间隔延迟，能够比较容易地实现使用音频重叠的无缝再现。在这些情况下，通过播放列表的编辑列表原子，可以控制语音的切换时间间隔。
尽管语音控制信息设置在PS轨道的无缝信息中，但同时，也可以设置在语音轨道的无缝信息内。此时同样，控制连接点之前和之后的声音渐失/声音渐显。
而且，尽管触及到通过不进行声音渐失和声音渐显处理来连续再现连接点中连接点前后的语音帧，但是这在AC-3和MPEG音频层2(AudioLayer2)等的压缩方式中是有效的方法。
上面说明了本发明的实施方式。尽管假设图12的MPEG2-PS14由0.4～1秒的运动图像数据(VOBU)构成，但时间范围可以不同。尽管假设MPEG2-PS14由DVD视频记录标准的VOBU构成，但也可以是其他遵循MPEG2系统标准的程序流和遵循DVD视频标准的程序流。
而且，在本发明的实施方式中，尽管假设将重叠语音记录到后期记录区域中，但也可以是其他的记录场所。但是，优选要尽可能在物理上接近运动图像文件。
而且，尽管假设语音文件由AC-3语音帧构成，但是，也可以存储在MPEG-2程序流内或者存储在MPEG-2传输流内。
在图11所示的数据处理装置10中，尽管将记录介质131说明作为是DVD-RAM盘，但不局限于此。例如，记录介质131是MO、DVD-R、DVD-RW、DVD+RW、Blu-ray、CD-R、CD-RW等光记录介质和硬盘等磁性记录介质。记录介质131还可以是安装了闪烁存储卡等半导体存储器的半导体记录介质。也可以是使用全息的记录介质。记录介质既可以装在外部，也可以内藏专用于数据处理装置。
数据处理装置10基于计算机程序进行数据流的生成、记录和再现处理。例如，生成和记录数据流的处理通过执行基于图21所示流程图描述的计算机程序来实现。计算机程序能够记录在以光盘为代表的光记录介质、SD存储卡、以EEPROM为代表的半导体记录介质、以软盘为代表的磁性记录介质等记录介质中。而且，光盘装置100不仅通过记录介质，即使通过因特网等电通信线路也能够取得计算机程序。
而且，尽管文件系统将UDF作为前提，但是也可以是FAT、NTFS等。尽管涉及MPEG-2视频流说明了图像，但是也可以是MPEG-4AVC等。尽管涉及AC-3说明了语音，但是也可以是LPCM、MPEG-音频等。尽管假设运动图像流采用MPEG-2程序流等数据结构，但如果多路复用图像和语音，也可以是其他种类的数据流。
工业实用性
根据本发明，提供了一种通过使附属信息的数据结构依据ISO标准来满足当前最新的标准又与现有技术格式同等之数据流的数据结构，以及提供一种基于这种数据结构而动作的数据处理装置。数据流由于也对应于现有技术的格式，因此现有的应用程序等也能够利用数据流。因此能够有效地活用现有的软件和硬件。而且，能够提供在两个运动图像流连接编辑时不仅图像而且语音都会完全没有中途中断地进行再现的数据处理装置。此时，由于还具有与现有技术数据流的互换性，因此还能够确保与现有再现设备之间的互换性。

Claims (20)

1、一种数据处理装置，包括：
记录部，其排列配置多个包含被同步再现之图像和语音的运动图像流并作为1个以上的数据文件写入到记录介质中；和
记录控制部，其用于确定被连续再现的2个运动图像流之间的无音区间；
所述记录控制部提供与在确定的所述无音区间应该被再现的语音相关的追加语音数据；
所述记录部将被提供的所述追加语音数据与所述数据文件建立关联后存储到所述记录介质中。
2、根据权利要求1所述的数据处理装置，其特征在于，所述记录控制部通过进一步利用在被连续再现的2个运动图像流中被在先再现的运动图像流之规定末尾区间的语音数据，提供包含与所述规定末尾区间的语音相同之语音的所述追加语音数据。
3、根据权利要求1所述的数据处理装置，其特征在于，所述记录控制部通过进一步利用在被连续再现的2个运动图像流中被在后再现的运动图像流之规定末尾区间的语音数据，提供包含与所述规定末尾区间的语音相同之语音的所述追加语音数据。
4、根据权利要求1所述的数据处理装置，其特征在于，所述记录部通过将被提供的所述追加语音数据写入到紧接记录了所述无音区间的区域之前的区域上，将所述追加语音数据与所述数据文件建立关联。
5、根据权利要求1所述的数据处理装置，其特征在于，所述记录部将所述多个排列配置的运动图像流作为1个数据文件写入到所述记录介质中。
6、根据权利要求1所述的数据处理装置，其特征在于，所述记录部将所述多个排列配置的运动图像流作为多个数据文件写入到所述记录介质中。
7、根据权利要求6所述的数据处理装置，其特征在于，所述记录部通过将被提供的所述追加语音数据写入到记录了在被连续再现的2个运动图像流的各个文件中为在后再现的运动图像流数据文件的区域之前的区域中，将所述追加语音数据与所述数据文件建立关联。
8、根据权利要求1所述的数据处理装置，其特征在于，所述记录部将与被多个排列配置的所述运动图像流的排列相关的信息作为1个以上的数据文件写入到所述记录介质中。
9、根据权利要求1所述的数据处理装置，其特征在于，所述无音区间比1个语音的解码单位的时间长度要短。
10、根据权利要求1所述的数据处理装置，其特征在于，所述运动图像流内的图像流是MPEG-2视频流，并且在所述被连续再现的2个运动图像流之间维持MPEG-2视频流的缓冲条件。
11、根据权利要求1所述的数据处理装置，其特征在于，所述记录部还将用于控制所述无音区间前后的语音强度的信息写入到所述记录介质中。
12、根据权利要求1所述的数据处理装置，其特征在于，所述记录部以规定的再现时间长度和数据大小中的一个作为单位，将所述运动图像流写入到所述记录介质中在物理上连续的数据区域中，并将所述追加语音数据写入到紧接所述连续的数据区域之前。
13、一种数据处理方法，包括：
排列配置多个包含被同步再现之图像和语音的运动图像流并作为1个以上数据文件写入到记录介质中的步骤；和
通过确定被连续再现的2个运动图像流之间的无音区间来控制记录的步骤；
所述控制记录的步骤提供与在确定的所述无音区间上应该被再现的语音相关的追加语音数据；
所述写入步骤将被提供的所述追加语音数据与所述数据文件建立关联后存储到所述记录介质中。
14、根据权利要求13所述的数据处理方法，其特征在于，所述控制记录的步骤通过进一步利用在被连续再现的2个运动图像流中被在先再现的运动图像流之规定末尾区间的语音数据，提供包含与所述规定末尾区间的语音相同之语音的所述追加语音数据。
15、根据权利要求13所述的数据处理方法，其特征在于，所述控制记录的步骤通过进一步利用在被连续再现的2个运动图像流中被在后再现的运动图像流之规定末尾区间的语音数据，提供包含与所述规定末尾区间的语音相同之语音的所述追加语音数据。
16、根据权利要求13所述的数据处理方法，其特征在于，所述写入步骤通过将被提供的所述追加语音数据写入到紧接记录了所述无音区间的区域之前的区域中，将所述追加语音数据与所述数据文件建立关联。
17、根据权利要求13所述的数据处理方法，其特征在于，所述写入步骤将所述多个排列配置的运动图像流作为1个数据文件写入到所述记录介质中。
18、根据权利要求13所述的数据处理方法，其特征在于，所述写入步骤将所述多个排列配置的运动图像流作为多个数据文件写入到所述记录介质中。
19、根据权利要求18所述的数据处理方法，其特征在于，所述写入步骤通过将被提供的所述追加语音数据写入到紧接记录了在被连续再现的2个运动图像流的各个文件中为在后再现的运动图像流数据文件的区域之前的区域中，将所述追加语音数据与所述数据文件建立关联。
20、根据权利要求13所述的数据处理方法，其特征在于，所述写入步骤将与被多个排列配置的所述运动图像流的排列相关的信息作为1个以上的数据文件写入到所述记录介质中。
CNA2004800228192A 2003-08-08 2004-08-06 数据处理装置和数据处理方法 Pending CN1833439A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2003289769 2003-08-08
JP289769/2003 2003-08-08

Publications (1)

Publication Number Publication Date
CN1833439A true CN1833439A (zh) 2006-09-13

Family

ID=34131562

Family Applications (1)

Application Number Title Priority Date Filing Date
CNA2004800228192A Pending CN1833439A (zh) 2003-08-08 2004-08-06 数据处理装置和数据处理方法

Country Status (4)

Country Link
US (1) US20060245729A1 (zh)
JP (1) JPWO2005015907A1 (zh)
CN (1) CN1833439A (zh)
WO (1) WO2005015907A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105103540A (zh) * 2014-01-10 2015-11-25 松下知识产权经营株式会社 文件生成方法、文件生成装置及记录介质

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060221794A1 (en) * 2005-04-04 2006-10-05 Lite-On It Corporation Method and system for playing audio DVD, and method of recording same
TWI393124B (zh) * 2005-04-07 2013-04-11 Panasonic Corp A recording medium, a reproducing apparatus, a recording method, and a reproducing method
JP4496485B2 (ja) * 2005-09-16 2010-07-07 ソニー株式会社 カラオケ装置
US20080104267A1 (en) * 2006-11-01 2008-05-01 Sony Corporation Systems and methods for reducing display latency between streaming digital media
US20080207123A1 (en) * 2007-02-27 2008-08-28 Andersen Jorgen W Configurable means to provide wireless module customization
KR101295377B1 (ko) * 2007-03-07 2013-08-08 엘지전자 주식회사 파일 포맷을 구성하는 방법과 상기 파일 포맷을 가지는파일을 포함한 방송 신호를 처리하는 장치 및 방법
US20090028142A1 (en) * 2007-07-25 2009-01-29 Schmidt Brian K Streaming data content in a network
CN101897193A (zh) * 2007-10-10 2010-11-24 韩国电子通信研究院 用于存储和播放立体数据的元数据结构、以及用于使用该元数据来存储立体内容文件的方法
KR101711009B1 (ko) 2010-08-26 2017-03-02 삼성전자주식회사 영상 저장장치, 영상 재생장치, 영상 저장방법, 영상 제공방법, 저장매체 및 촬영장치
RU2564681C2 (ru) * 2011-07-01 2015-10-10 Долби Лабораторис Лайсэнзин Корпорейшн Способы и системы синхронизации и переключения для системы адаптивного звука
US9008591B2 (en) * 2012-06-22 2015-04-14 Ati Technologies Ulc Remote audio keep alive for wireless display
WO2015012226A1 (ja) * 2013-07-22 2015-01-29 ソニー株式会社 情報処理装置および方法
JP6411862B2 (ja) * 2013-11-15 2018-10-24 パナソニック株式会社 ファイル生成方法およびファイル生成装置
WO2015083354A1 (ja) * 2013-12-03 2015-06-11 パナソニックＩｐマネジメント株式会社 ファイル生成方法、再生方法、ファイル生成装置、再生装置および記録媒体
US20180165358A1 (en) * 2014-06-30 2018-06-14 Sony Corporation Information processing apparatus and information processing method
WO2017019674A1 (en) 2015-07-28 2017-02-02 Dolby Laboratories Licensing Corporation Audio discontinuity detection and correction

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5476097A (en) * 1994-10-13 1995-12-19 Advanced Technology Laboratories, Inc. Simultaneous ultrasonic imaging and Doppler display system
JP4081729B2 (ja) * 1998-02-23 2008-04-30 ソニー株式会社 編集装置、編集方法、信号記録再生装置及び信号記録再生方法
JP2000004423A (ja) * 1998-06-17 2000-01-07 Sony Corp 情報再生装置及び方法
GB9813831D0 (en) * 1998-06-27 1998-08-26 Philips Electronics Nv Frame-accurate editing of encoded A/V sequences
JP4812171B2 (ja) * 1999-04-16 2011-11-09 ソニー株式会社 データ受信方法およびデータ受信装置
JP2002042451A (ja) * 2000-07-24 2002-02-08 Victor Co Of Japan Ltd オーディオデータ記録再生ディスク及びその再生装置、再生方法並びに記録方法
JP4299836B2 (ja) * 2002-07-12 2009-07-22 パナソニック株式会社 データ処理装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105103540A (zh) * 2014-01-10 2015-11-25 松下知识产权经营株式会社 文件生成方法、文件生成装置及记录介质

Also Published As

Publication number Publication date
WO2005015907A8 (ja) 2005-03-31
WO2005015907A1 (ja) 2005-02-17
JPWO2005015907A1 (ja) 2006-10-12
US20060245729A1 (en) 2006-11-02

Similar Documents

Publication Publication Date Title
CN1195301C (zh) 记录/再现装置和方法
CN1666514A (zh) 数据处理装置
CN1245022C (zh) 数据处理方法/设备和数据再生方法/设备
CN1165165C (zh) 信息记录介质及用于记录或再现数据的装置和方法
CN1099675C (zh) 光盘,记录仪器,以及计算机可读记录介质
CN1833439A (zh) 数据处理装置和数据处理方法
CN1489765A (zh) 信息记录装置和方法
CN1270315C (zh) 记录/再现设备和方法以及程序提供介质
CN1951113A (zh) 流产生装置、流产生方法、编码装置、编码方法、记录介质及其程序
CN1303216A (zh) 传输流记录和再现装置和方法及程序记录介质
CN1516963A (zh) 数据记录装置、数据记录方法、程序存储介质以及程序
CN1288642A (zh) 用于记录或再现数据的信息记录媒体和装置及方法
CN1244106C (zh) 信息记录装置和方法
CN1879410A (zh) 节目录制装置及节目录制方法
CN1685720A (zh) 信息处理设备和方法、程序存储媒体、记录媒体和程序
CN1692648A (zh) 记录设备和记录方法
CN1805040A (zh) 信息记录介质，重放装置和记录装置
WO2006054590A1 (ja) データ処理装置
CN1860784A (zh) 记录设备和方法、再现设备和方法、记录介质及程序
CN1969334A (zh) 数据处理装置
CN1249629A (zh) 信息记录系统和信息记录方法
CN1707669A (zh) 再现装置和再现方法
CN1768529A (zh) 音频/视频记录装置、记录方法、再现装置、再现方法、再现程序和记录程序
CN1237066A (zh) 运动图像编码方法及装置和记录介质
CN1729689A (zh) 数据流格式变换方法及其记录方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
AD01 Patent right deemed abandoned
C20 Patent right or utility model deemed to be abandoned or is abandoned