CN102855902A - 播放设备、播放方法、程序、程序存储介质、数据结构，以及记录介质制造方法 - Google Patents

播放设备、播放方法、程序、程序存储介质、数据结构，以及记录介质制造方法 Download PDF

Info

Publication number
CN102855902A
CN102855902A CN201210033302XA CN201210033302A CN102855902A CN 102855902 A CN102855902 A CN 102855902A CN 201210033302X A CN201210033302X A CN 201210033302XA CN 201210033302 A CN201210033302 A CN 201210033302A CN 102855902 A CN102855902 A CN 102855902A
Authority
CN
China
Prior art keywords
stream
video
mentioned
audio
main
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201210033302XA
Other languages
English (en)
Inventor
岩漱绫子
加藤元树
服部忍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN102855902A publication Critical patent/CN102855902A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/92—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10—Digital recording or reproducing
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/102—Programmed access in sequence to addressed parts of tracks of operating record carriers
    • G11B27/105—Programmed access in sequence to addressed parts of tracks of operating record carriers of operating discs
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G11B27/30—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on the same track as the main recording
    • G11B27/3081—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on the same track as the main recording used signal is a video-frame or a video-field (P.I.P)
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G11B27/32—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on separate auxiliary tracks of the same or an auxiliary record carrier
    • G11B27/327—Table of contents
    • G11B27/329—Table of contents on a disc [VTOC]
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/34—Indicating arrangements 
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/426—Internal components of the client ; Characteristics thereof
    • H04N21/42646—Internal components of the client ; Characteristics thereof for reading from or writing on a non-volatile solid state storage medium, e.g. DVD, CD-ROM
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4316—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/432—Content retrieval operation from a local storage medium, e.g. hard-disk
    • H04N21/4325—Content retrieval operation from a local storage medium, e.g. hard-disk by playing back content from the storage medium
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/445—Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information
    • H04N5/45—Picture in picture, e.g. displaying simultaneously another television channel in a region of the screen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/84—Television signal recording using optical recording
    • H04N5/85—Television signal recording using optical recording on discs or drums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/93—Regeneration of the television signal or of selected parts thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • H04N9/8227—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal the additional signal being at least another television signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/87—Regeneration of colour television signals
    • H04N9/877—Regeneration of colour television signals by assembling picture element blocks in an intermediate memory
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B2220/00—Record carriers by type
    • G11B2220/20—Disc-shaped record carriers
    • G11B2220/25—Disc-shaped record carriers characterised in that the disc is based on a specific recording technology
    • G11B2220/2537—Optical discs
    • G11B2220/2562—DVDs [digital versatile discs]; Digital video discs; MMCDs; HDCDs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/775—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television receiver
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/78—Television signal recording using magnetic recording
    • H04N5/781—Television signal recording using magnetic recording on disks or drums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/806—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components with processing of the sound signal
    • H04N9/8063—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components with processing of the sound signal using time division multiplex of the PCM audio and PCM video signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)
  • Television Signal Processing For Recording (AREA)
  • Indexing, Searching, Synchronizing, And The Amount Of Synchronization Travel Of Record Carriers (AREA)
  • Management Or Editing Of Information On Record Carriers (AREA)
  • Studio Circuits (AREA)

Abstract

本发明涉及可以设置画中画显示的播放设备和播放方法，程序、程序存储介质、数据结构，以及记录介质制造方法。其中播放设备具备：获取单元，获取用于控制包含至少一个数据流的主数据流和与上述主数据流不同的子数据流的再现的再现管理信息；读取单元，根据由上述获取单元获取的上述再现管理信息，读取要再现的上述主数据流和上述子数据流；以及影像合成单元，根据由上述获取单元获取的上述再现管理信息，将由上述读取单元读取的上述主数据流的影像与上述子数据流的影像进行合成。

Description

播放设备、播放方法、程序、程序存储介质、数据结构,以及记录介质制造方法
本申请是同一申请人的申请日为2007年6月25日的、申请号为200680001562.1(PCT/JP2006/316177)、发明名称为“播放设备、播放方法、程序、程序存储介质、数据结构，以及记录介质制造方法”的中国发明专利申请的分案申请。
技术领域
本发明涉及播放设备、播放方法、程序、程序存储介质、数据结构，以及记录介质制造方法。具体来说，本发明涉及优选情况下用于播放流数据的播放设备、播放方法、程序、程序存储介质、数据结构，以及记录介质制造方法。
背景技术
为了同时收听/查看不同内容，有这样的技术：在对多个内容的视频数据进行解码之后，组合未压缩的图像数据，然后，对组合的数据进行D/A转换，并将经过转换的数据输出到视频输出端子，以便显示在外部显示设备上(例如，专利文件1)。
[专利文件1]日本未经审查的专利申请出版物No.2005-20242
发明内容
本发明解决的问题
不仅如上文所描述的当多个内容的视频数据组合起来进行显示时，而且当一个内容包含多个视频数据时，需要组合多个视频数据进行输出。
当组合多个视频数据进行输出时，内容生产商、内容经销商等等(不是依赖于播放设备)难以设置一种显示方法，该方法用于显示充当相对于主显示画面的子画面的显示画面，例如，对于每一个内容或内容的每一个预先确定的播放部分。
鉴于这样的情况，产生了本发明，以便可以指定用于显示充当相对于主显示画面的子画面的显示画面的方法。
解决问题的手段
根据本发明的第一个方面的播放设备包括获取装置，用于获取包括第一信息和第二信息的播放控制信息，所述第一信息包括指示包含至少一个流的主流文件的时间线上的位置的主播放路径，所述第二信息包括不同于所述主流文件的子流文件的子播放路径，以及读取装置，用于基于由所述获取装置获取的所述播放控制信息，读取将要播放的主流文件和子流文件。播放设备进一步包括视频组合装置，用于基于由所述获取装置获取的所述播放控制信息，组合所述主流文件视频和所述子流文件视频，所述主流文件和子流文件由所述读取装置读取。播放控制信息包括涉及所述子流文件视频显示状态的信息，所述子流文件视频要与所述主流文件视频组合。所述视频组合装置基于所述播放控制信息中包括的显示状态相关的信息，组合所述主流文件视频和所述子流文件视频。
显示状态相关的信息可以包括涉及所述子流文件视频显示位置的信息，所述子流文件视频要与所述主流文件视频组合。
显示状态相关的信息可以包括涉及所述子流文件视频显示大小的信息，所述子流文件视频要与所述主流文件视频组合。
显示状态相关的信息可以包括涉及所述子流文件视频显示颜色的信息，所述子流文件视频要与所述主流文件视频组合。
显示状态相关的信息可以包括涉及所述子流文件视频相对于原始视频的组合后的旋转角，所述子流文件视频要与所述主流文件视频组合。
显示状态相关的信息可以包括涉及用于组合所述主流文件视频和所述子流文件视频的处理。该处理是基于指示子流文件视频亮度的信息执行的，所述子流文件视频要与所述主流文件视频组合。
表示所述子流文件视频亮度的信息可以是指示透明度处理的亮度的信息的至少一个阈值，透明度处理可以是在子流文件视频亮度大于或等于所述阈值或小于或等于所述阈值的视频部分上执行。
播放设备可以进一步包括用于接收用户的操作输入的操作输入装置。由所述获取装置获取的所述播放控制信息可以包括指示所述子流文件是始终与所述主流文件同时播放，还是只有在从用户发出指令的情况下才与主流文件同时播放子流文件的信息。当播放控制信息包括只有在从用户发出指令的情况下才与主流文件同时播放子流文件的信息时，只有在从用户那里接收到播放子流文件的指令时，视频组合装置才可以基于由操作输入装置接收到的用户操作输入，组合所述主流文件视频和所述子流文件视频。
播放设备可以进一步包括音频组合装置，用于将要与主流文件相关联地播放的音频和要与子流文件相关联地播放的音频组合起来。当视频组合装置组合所述主流文件视频和所述子流文件视频时，音频组合装置可以将要与主流文件相关联地播放的音频和要与子流文件相关联地播放的音频组合起来。
播放控制信息可以包括指示包括显示状态相关的信息的信息。
根据本发明的第一个方面的播放方法和程序包括读取包括第一信息和第二信息的播放控制信息，所述第一信息包括指示包含至少一个流的主流文件的时间线上的位置的主播放路径，所述第二信息包括不同于所述主流文件的子流文件的子播放路径。播放方法进一步包括基于所述读取的播放控制信息，读取将要播放的主流文件和子流文件，以及基于播放控制信息中包括的并且涉及所述子流文件视频显示状态的信息，组合所述读取的主流文件视频和所述读取的子流文件视频，所述子流文件视频要与所述主流文件视频组合。
在本发明的第一个方面，读取播放控制信息。读取包括第一信息和第二信息的播放控制信息，所述第一信息包括指示包含至少一个流的主流文件的时间线上的位置的主播放路径，所述第二信息包括不同于所述主流文件的子流文件的子播放路径。基于所述读取的播放控制信息，读取将要播放的主流文件和子流文件。基于播放控制信息中包括的并且涉及所述子流文件视频显示状态的信息，组合所述读取的主流文件视频和所述读取的子流文件视频，所述子流文件视频要与所述主流文件视频组合。
根据本发明的第二个方面的数据结构是包括播放控制信息的数据结构，所述播放控制信息用作控制包含至少一个流的主流文件的播放的信息。播放控制信息包括第一信息和第二信息，所述第一信息包括指示主流文件的时间线上的位置的主播放路径，所述第二信息包括不同于主流文件的子流文件的子播放路径，以及涉及所述子流文件视频显示状态的信息，所述子流文件视频要与所述主流文件视频组合。
根据本发明的第二个方面的记录介质制造方法是在其上面记录了可以由播放设备进行播放的数据的记录介质的制造方法。记录方法包括产生具有包括播放控制信息的数据结构的数据，所述播放控制信息用作控制包含至少一个流的主流文件的播放的信息，以及向记录介质中记录生成的数据的步骤。播放控制信息包括第一信息和第二信息，所述第一信息包括指示主流文件的时间线上的位置的主播放路径，所述第二信息包括不同于主流文件的子流文件的子播放路径，以及涉及所述子流文件视频显示状态的信息，所述子流文件视频要与所述主流文件视频组合。
在根据本发明的第二个方面的记录介质制造方法中，产生具有包括播放控制信息的数据结构的数据，所述播放控制信息用作控制包含至少一个流的主流文件的播放的信息，以及向记录介质中记录生成的数据。播放控制信息包括第一信息和第二信息，所述第一信息包括指示主流文件的时间线上的位置的主播放路径，所述第二信息包括不同于主流文件的子流文件的子播放路径，以及涉及所述子流文件视频显示状态的信息，所述子流文件视频要与所述主流文件视频组合。
术语“网络”是指这样的系统：至少有至少两个设备连接在一起，以便使一个设备向另一个设备传输信息。通过网络进行通信的设备可以彼此独立，也可以是一个设备中包括的内部组件。
不用说，通信可以包括无线通信和有线通信。如此，通信可以是使用无线通信和有线通信的组合。即，可以在一个部分进行无线通信，可以在另一个部分进行有线通信。此外，可以使用无线通信来进行从第一个设备到第二个设备的通信，使用无线通信进行从第二个设备到第一个设备的通信。
记录设备可以是独立的设备，也可以是用于执行记录/播放设备的记录过程的部件。
优点
如上文所描述的，根据本发明的第一个方面，可以组合所述主流文件视频和所述子流文件视频。具体来说，可以基于播放控制信息中包括的并且涉及所述子流文件视频显示状态的信息，组合所述主流文件视频和所述子流文件视频。如此，例如，内容生产商或内容经销商可以适当地定义画中画显示过程中子显示画面的大小和显示位置，而不依赖于播放设备的规范。
根据本发明的第二个方面，可以提供具有包括播放控制信息的数据结构的数据，所述播放控制信息用作控制包含至少一个流的主流文件的播放的信息。具体来说，可以提供具有如下数据结构的数据，在所述数据结构中，播放控制信息包括第一信息、第二信息和涉及所述子流文件视频显示状态的信息，所述第一信息包括指出主流文件的时间线上的位置的主播放路径，所述第二信息包括不同于主流文件的子流文件的子播放路径，所述子流文件视频要与所述主流文件视频组合。如此，例如，内容生产商或内容经销商可以适当地定义画中画显示过程中子显示画面的大小和显示位置，而不依赖于播放设备的规范。
附图说明
图1是要装入根据本发明的播放设备的记录介质的应用格式的示例的图形。
图2是显示了主路径和子路径的结构的图形。
图3是显示了主路径和子路径的一个示例的图形。
图4是显示了主路径和子路径的另一个示例的图形。
图5是显示了主显示画面和子显示画面的图形。
图6是显示了可以播放的数据文件的文件系统的示例的图形。
图7显示了存储在PLAYLIST目录中并被赋予扩展名“.mpls”的PlayList文件的数据结构
图8显示了PlayListExtensionData()的语法。
图9显示了data_block中声明的pip_metadata的语法的第一个示例。
图10显示了图9所示的pip_metadata_type的值和含义。
图11显示了data_block中声明的pip_metadata的语法的第二个示例。
图12显示了data_block中声明的pip_metadata的语法的第三个示例。
图13显示了图12所示的pip_scale的值和含义。
图14显示了图12所示的pip_timeline_type的值和含义。
图15显示了当图12所示的pip_timeline_type是1时pip_metadata_time_stamp的含义。
图16显示了当图12所示的pip_timeline_type是2时pip_metadata_time_stamp的含义。
图17显示了当图12所示的pip_timeline_type是3时pip_metadata_time_stamp的含义。
图18显示了PlayList()的语法。
图19显示了SubPath()的语法。
图20显示了SubPath_type。
图21显示了SubPlayItem(i)的语法。
图22显示了PlayItem()的语法。
图23显示了STN_table()的语法。
图24显示了stream_entry()的语法。
图25显示了stream_attribute()的语法。
图26显示了stream_coding_type。
图27显示了video_format。
图28显示了frame_rate。
图29显示了aspect_ratio。
图30显示了audio_presentation_type。
图31显示了sampling_frequency。
图32显示了字符代码。
图33显示了STN_table()的语法。
图34显示了STN_table()的语法。
图35是显示了根据本发明的播放设备的配置的示例的方框图。
图36是显示了由图35所示的播放设备所执行的播放处理的流程图。
图37是显示了主要视频播放过程的流程图。
图38是显示了主要视频播放过程的流程图。
图39是显示了主要视频播放过程的流程图。
图40是显示了主要视频和次要视频播放过程的流程图。
图41是显示了主要视频和次要视频播放过程的流程图。
图42是显示了主要视频和次要视频播放过程的流程图。
图43是显示了定位和定标的视图。
图44是显示了luma_keying组合的视图。
图45是显示了luma_keying组合的视图。
图46是显示了制造在其上面记录了可以由播放设备进行播放的数据的记录介质的图形。
图47是显示了制造在其上面记录了可以由播放设备进行播放的数据的记录介质的图形。
图48是显示了个人计算机的配置的图形。
附图标记
1主显示画面、2子显示画面、20播放设备、31存储驱动器、32开关、33AV解码器单元、34控制器、51到54，缓冲器，55和56，PID过滤器、57到59开关、71后台解码器、72-1第一视频解码器、72-2第二视频解码器、73呈现图形解码器、74交互式图形解码器、75音频解码器、76文字-St合成器、77开关、91背景平面生成器、92视频平面生成器、93呈现图形平面生成器、94交互式图形平面生成器、95缓冲器、96视频数据处理器，97混合处理器，101混合。
具体实施方式
下面将参考附图详细描述本发明的实施例。
图1是要装入根据本发明的播放设备20(下面将参考图35进行描述)的记录介质的应用格式的示例的图形。记录介质不仅可以是下面将描述的光盘，而且也可以是磁盘或半导体存储器。
应用格式具有用于控制AV(视听)流的PlayLists(播放列表)和Clips(剪辑)的两层。在此情况下，一对一个AV流和剪辑信息(伴随AV流的信息)将被视为一个对象，将简称为“Clip”。下面，AV流也可以简称为“AV流文件”。剪辑信息也可以称为“剪辑信息文件”。
一般而言，用于计算机等等的文件是作为字节串来处理的，AV流文件的内容在时间线上扩展，Clip中的访问点主要是由PlayList中的时间戳指定的。即，“PlayList”和“Clip”是用于对AV流进行控制的层。
当由PlayList中的时间戳指出Clip中的访问点时，使用剪辑信息文件，基于时间戳，来查找开始AV流文件中的解码的地址的信息。
PlayList是AV流播放段的集合。AV流中的一个播放段被称作“PlayItem”，这是通过时间线上的播放段的一对IN-点(播放开始点)和“OUT-点”(播放结束点)来表达的。如此，PlayList包括一个或多个PlayItems，如图1所示。
在图1中，从左侧开始的第一个PlayList包括两个PlayItems，分别引用左侧的Clip中包含的AV流的上半部分和下半部分。从左侧开始的第二个PlayList包括一个PlayItem，引用右侧的Clip中包含的整个AV流。进一步，从左侧开始的第三个PlayList包括两个PlayItems，分别引用左侧的Clip中包含的AV流的一部分和右侧的Clip中包含的AV流的一部分。
例如，当图1所示的光盘导航程序指定从左侧开始的第一个PlayList中包含的左侧PlayItem作为表示此时间点的播放位置时，则播放被PlayItem引用的并包含在左侧Clip中包含的AV流中的上半部分。如此，PlayList被用作用于控制AV流文件的播放的所述播放控制信息。
光盘导航程序具有用于控制PlayList播放序列和PlayList交互式播放的功能。光盘导航程序也具有，例如，用于显示菜单屏幕的功能，通过该菜单屏幕，用户发出用于执行各种播放的指令。光盘导航程序是以诸如Java(注册商标)之类的编程语言编写的，并置于记录介质上。
在本实施例中，在PlayList中，由一个或多个PlayItems(连续的PlayItems)的阵列构成的播放路径称为主路径(Main Path)。在PlayList中，与主路径平行的(并行的)并且由一个或多个子路径(可以是不连续的，也可以是连续的SubPlayItems)的阵列构成的播放路径称为子路径(Sub Path)。即，在将要装入播放设备20(下面将参考图35进行描述)的记录介质的应用格式中，PlayList包含要与主路径相关联地(随着)播放的子路径(Sub Path(s))。
图2是显示了主路径和子路径的结构的图形。一个PlayList可以具有一个主路径和一个或多个子路径。一个主路径由一个或多个PlayItems的阵列构成，一个子路径由一个或多个SubPlayItems构成。
在图2所示的示例的情况下，PlayList具有一个主路径(由三个PlayItems的阵列组成)，以及三个子路径。从第一个PlayList连续地给主路径中包括的PlayItems提供了ID(标识)。具体来说，主路径由具有PlayItem_id＝0，PlayItem_id＝1和PlayItem_id＝2的PlayItems构成。也从第一个子路径连续地给子路径提供了对应的ID，即，Subpath_id＝0，Subpath_id＝1，以及Subpath_id＝2。具有Subpath_id＝0的子路径包含一个SubPlayItem，具有Subpath_id＝1的子路径包含两个SubPlayItems，具有Subpath_id＝2的子路径包含一个SubPlayItem。
假设被具有Subpath_id＝0的子路径中包含的SubPlayItem引用的流，例如，是一个电影的用日语配音的音频，并可以代替被主路径引用的AV流文件的音频流来播放。假设，被具有Subpath_id＝1的子路径中包含的SubPlayItem引用的流是，例如，电影导演的剪辑，并可以是电影导演的注解(包含在被主路径引用的AV流文件的预先确定的部分)。
被一个PlayItem引用的剪辑AV流文件至少包含视频流数据(主要图像数据)。剪辑AV流文件可以或可以不包含要与剪辑AV流文件中包含的视频流(主要图像数据)同时(同步地)播放的一个或多个音频流。此外，剪辑AV流文件可以或可以不包含要与剪辑AV流文件中包含的视频流同时(同步地)播放的一个或多个位图字幕流。此外，剪辑AV流文件可以或可以不包含要与剪辑AV流文件中包含的视频流同时(同步地)播放的一个或多个交互式图形流。剪辑AV流文件中包含的视频流与要与视频流同时播放的音频流、位图字幕流文件，或交互式图形流多路复用。即，视频流数据，要和视频流数据一起播放的零个或多个音频流，零个或多段位图字幕流数据，以及零个或多段交互式图形流式数据，与被一个PlayItem引用的剪辑AV流文件多路复用。
即，被一个PlayItem引用的剪辑AV流文件包含多种流类型，如视频流、音频流、位图字幕流文件，以及交互式图形流。
一个SubPlayItem引用不同于被PlayItem引用的剪辑AV流文件的流(另一个流)的音频流数据或字幕数据。
当将要播放只具有主路径的PlayList时，通过用户执行的音频切换或字幕切换操作，可以只从与被主路径引用的Clip多路复用的音频流和子图像流中选择音频或字幕。相比之下，当将要播放具有主路径和子路径的PlayList时，被SubPlayItems引用的Clip的音频流和子图像流也可以被引用(除与被主路径引用的剪辑AV流文件多路复用的音频流和子图像流之外)。
如此，由于使用了一个播放列表中包含了多个子路径以及SubPlayItems被对应的子路径引用的配置，因此，可以取得具有高可扩充性和高自由度的AV流。即，在此配置中，可以随后向被主路径引用的剪辑AV流中添加SubPlayItem。
图3是显示了主路径和子路径的一个示例的图形。在图3中，使用子路径表达要与主路径同时(即，AV同步地)播放的音频的播放路径。
图3所示的PlayList包含具有PlayItem_id＝0的一个PlayItem作为主路径，一个SubPlayItem作为子路径。一个具有PlayItem_id＝0的PlayItem()引用图3所示的主要AV流。SubPlayItem()包含下列数据。首先，SubPlayItem()包含Clip_Information_file_name，用于指定被PlayList中的Sub Path(子路径)引用的Clip。在图3所示的示例的情况下，SubPlayItem引用具有SubClip_entry_id＝0的辅助音频流(音频流)。SubPlayItem()包含SubPlayItem_IN_time和SubPlayItem_OUT_time，用于指定Clip(在此情况下，辅助音频流)中的Sub-Path播放段。SubPlayItem()进一步包含sync_PlayItem_id和用于指定子路径的播放在主路径的时间线(播放时间线)上开始的时间的sync_start_PTS_of_PlayItem。在图3所示的示例的情况下，sync_PlayItem_id是0，sync_start_PTS_of_PlayItem是t1。这样便可以指定子路径的播放在主路径的PlayItem_id＝0的时间线(播放时间线)上开始的时间t1。即，在图3所示的示例的情况下，可以表明，主路径的播放开始时间t1和子路径的开始时间t1是相同的。
在此情况下，被子路径引用的音频剪辑AV流不能包含STC间断点(基于系统时间的间断点)。用于子路径的剪辑音频样本时钟被锁定到主路径的音频样本时钟。
换句话说，SubPlayItem()包含指定了被子路径引用的Clip的信息，指定了子路径的播放段的信息，以及指定子路径的播放在主路径的时间线上开始的时间的信息。子路径所使用的剪辑AV流不包含STC。如此，基于SubPlayItem()中包含的信息(即，指定了被子路径引用的Clip的信息，指定了子路径的播放段的信息，以及指定子路径的播放在主路径的时间线上开始的时间的信息)，可以通过引用不同于被主路径引用的剪辑AV流(主要AV流)的剪辑AV流的音频流，进行播放。
如此，PlayItem和SubPlayItem控制对应的剪辑AV流文件，在此情况下，由PlayItem所控制的剪辑AV流文件(主要AV流)和由SubPlayItem所控制的剪辑AV流文件彼此不同。
如在图3所示的示例中那样，也可以使用子路径来表达与主路径同时播放的字幕流播放路径。
图4是显示了主路径和子路径的另一个示例的图形。在图4中，使用子路径表达要与主路径同时(即，AV同步地)播放的视频和音频播放路径。
被主路径的PlayIem-1引用的流文件对应于主要(primary)视频流和Clip-0的主要音频流的上半部分，以及PG(呈现图形)流和IG(交互式图形)流的上半部分，被PlayItem-2引用的主要AV流文件对应于主要(primary)视频流和Clip-0的主要音频流的下半部分和PG流和IG流的下半部分。
被子路径的SubPlayItem引用的流文件对应于Clip-1的辅助(第2)视频流和辅助音频流。
例如，当被主路径引用的主要(primary)视频流、主要音频流、PG流，以及IG流构成了单电影内容(AV内容)，被子路径引用的辅助视频流和辅助音频流构成了包含有关导演电影的注释的赠送的声道，被子路径引用的视频和音频流与被主路径引用的视频和音频流混合(重叠在其上)时，使用这样的配置。
在某些情况下，辅助流不与主要流同步(即，播放列表没有被设置为以便它们始终同时播放)。甚至在这样的情况下，当用户在观看电影时输入用于组合和向播放设备(播放器)显示赠送的声道的指令，然后，被主路径引用的主要流的视频和音频和被子路径引用的辅助流的视频和音频被混合和播放时，也使用上文所描述的配置。
在图4中，主路径具有两个PlayItems，PlayItem_ids＝0和1，子路径(Subpath_id＝0)具有一个SubPlayItem。被子路径(下面将参考图19进行描述)的SubPlayItem(下面将参考图21进行描述)包含用于指定子路径的播放段的SubPlayItem_IN_time和SubPlayItem_out_time。
当辅助视频和辅助音频重叠在参考图4描述的主要视频和主要音频上，并播放和输出时，音频被组合和输出，视频的辅助视频作为具有预先确定的大小的子显示画面2重叠并显示在在其上面显示了主要视频的主显示画面1上的预先确定的位置，如图5所示。
在图4中，被主路径引用的是主要流，被子路径引用的是辅助流。然而，主要流和辅助流中的每一个都可以被主路径或子路径引用。例如，主要流和辅助流中的两者都可以被主路径引用，主要流和辅助流中的两者都可以被子路径引用。
如此，如图5所示，当主要视频流显示在主画面上，辅助流显示在主画面上的辅助画面上时，即，当进行所谓的PinP(画中画)显示时，也可以使用这样的配置。
图6是显示了可以由播放设备20(下面将参考图35进行描述)进行播放的数据文件的文件系统的示例的图形。图6显示了通过诸如光盘之类的记录介质提供可以由播放设备20进行播放的数据文件的情况的一个示例。此文件系统具有目录结构。优选情况下，由播放设备20进行播放的数据文件具有如图6所示的文件系统，例如，当可以由播放设备20进行播放的数据文件记录在光盘之外的记录介质上并从其中提供或记录在内部记录介质中并进行播放时。
在此文件系统中，在“root”的下面提供了名称为“BDMV”的目录，并包含名称为“Index.bdmv”的文件和名称为“NavigtionObject.bdmv”的文件。下面，根据需要，这些文件将被称为“索引文件”和“导航对象文件”。每一个文件都将使用向“file name”中添加“file”的形式来代表，或每一个目录都将使用向“directoryname”中添加“directory”的形式来代表。
索引文件是其中描述了上文所提及的索引表的文件，并包含有关用于播放可以由播放设备20进行播放的的数据文件的菜单的信息。播放设备20基于索引文件使显示设备显示播放菜单屏幕。播放菜单屏幕的示例包括用于播放可以由播放设备20进行播放的数据文件中包含的所有内容的项目、用于只播放特定章节的项目，用于反复播放的项目，以及用于显示初始菜单的项目。当选择每一个项目时执行的导航对象可以包括在索引文件中的索引表中。当用户选择播放菜单屏幕上的其中一个项目时，播放设备20执行索引文件中的索引表中的导航对象集的命令。
导航对象文件包含导航对象。导航对象包括用于控制可以由播放设备20进行播放的数据文件中包含的PlayList的播放的命令。例如，通过选择并执行文件系统中包含的其中一个导航对象，可以播放内容。
BDMV目录进一步具有名称为“BACKUP”的目录(即，BACKUP目录)，名称为“PLAYLIST”的目录(即，PLAYLIST目录)。名称为“CLIPINF”的目录(即，CLIPINF目录)、名称为“STREAM”的目录(即，STREAM目录)，以及名称为“AUXDATA”的目录(即，AUXDATA目录)。
BACKUP目录中记录了文件和用于备份文件的数据和可以由播放设备20播放的数据。
PlayList文件存储在PLAYLIST目录中。如图所示，给每个PlayList文件提供了具有5位数字的文件名，其中还添加了扩展名“.mpls”。下面将参考图7描述PlayList文件。
剪辑信息文件存储在CLIPINF目录中。如图所示，给每个剪辑信息文件提供了具有5位数字的文件名，其中还添加了扩展名“.dpi”。
剪辑AV流文件和子流文件存储在STREAM目录中。如图所示，给每个流文件提供了具有5位数字的文件名，其中还添加了扩展名“.m2ts”。
AUXDATA目录不包含任何剪辑AV流文件和子流文件，而包含诸如被剪辑AV流文件和子流文件引用的数据之类的文件，以及与剪辑AV流文件和子流文件单独地使用的数据。在图6所示的示例中，AUXDATA目录包含具有名称“11111.otf”的字幕字体文件，以及具有名称“sound.bdmv”的声音效果声数据等等。
当通过光盘分发可以被播放设备20播放的数据文件时，author_id和disc_id作为不能被用户等等改写的安全电数据，记录在物理坑中。Author_id是分配给(例如，内容生产商，如生产公司或电影发行公司，或对应的标题作者)的标识符，以标识标题作者(这是记录介质的供应商)。Disc_id是用于标识由author_id指出的标题作者生产的光盘的类型的标识符。
优选情况下，提供了类似于图6中所显示的目录结构的目录结构，以便当可以由播放设备20进行播放的数据文件记录在光盘之外的可移动记录介质上时，记录在播放设备内的记录介质上时，或存储在内部存储单元中时，分配author_ID和对应于author_ID的ID，以便彼此区别开来。不管是否分配了author_ID和对应于author_ID的ID，可以由播放设备20进行播放的数据文件都包含名称为“Index.bdmv”的文件，和名称为“NavigationObject.bdmv”的文件，与参考图6所描述的情况相同。此外，数据文件还根据需要包含需要的文件组或名称为“BACKUP”的文件组、名称为“PLAYLIST”的文件组、名称为“CLIPINF”的文件组、名称为“STREAM”的文件组，以及名称为“AUXDATA”的文件组的组。
接下来，将描述参考图6所描述的每一个文件的数据结构(语法)。此数据结构实现了上文参考图2到4所描述的主路径和子路径的特定结构。
图7显示了具有扩展名“.mpls”的PlayList文件的数据结构，PlayList文件存储在PLAYLIST目录中。
type_indicator字段声明了表示此文件的类型的信息，并必须随着ISO 646编码到“MPLS”中。
version_number字段表示四个字符，显示了xxxx.mpls的版本号，version_number必须根据ISO“0089”进行编码。
PlayList_start_address表示就从PlayList文件的开始的字节的相对数而言的PlayList()的第一地址。
PlayListMark_start_address表示就从PlayList文件的开始的字节的相对数而言的PlayListMark()的第一地址。
PlayListExtensionData_start_address表示就从PlayList文件的开始的字节的相对数而言的PlayListExtensionData()的第一地址。
AppInfoPlayList()包含有关PlayList的播放控制的参数。
PlayList()包含有关PlayList中的主路径和子路径的参数。下面将参考图18描述PlayList()的细节。
PlayListMark()包含PlayList的标记信息。也可以向PlayListExtensionData()中插入保密数据。
图8显示了PlayListExtensionData()的语法。
Length表示紧随在此长度字段之后到PlayListExtensionData()的末尾的PlayListExtensionData()的字节的数量。
Data_blocks_start_address表示就从PlayListExtensionData()的开始的字节的相对数而言的第一data_block()的第一地址。
Number_of_PL_ext_data_entries表示PlayListExtensionData()中包含的PlayListExtensionData条目的数量。不能有两个或更多相同的ID存在于PlayListExtensionData()中。
ID1和ID2声明可以识别PlayListExtensionData()的data_block中声明的信息类型的信息(如标识符)。
PL_ext_data_start_address表示开始了PlayListExtensionData的data_block编号。PlayListExtensionData的第一数据必须与data_block的开始对准。
PL_ext_data_length表示以字节为单位的PlayListExtensionData的大小。
Data_block是其中存储了PlayListExtensionData的区域。PlayListExtensionData()中的所有data_blocks必须具有相同大小。
Data_block可以声明表示在其上面显示了辅助视频的子显示画面2的显示位置和大小的信息，参考图5描述子显示画面2。Data_block可以声明表示了画中画(Picture-in-Picture)显示的设置的元数据。
图9显示了data_block中声明的pip_metadata(表示Picture-in-Picture显示设置的元数据)的语法第一个示例。
Length表示紧随在此长度字段之后到pip_metadata()的末尾的pip_metadata()的字节的数量。
pip_metadata_type字段表示pip_metadata的类型。如图10所示，对于pip_metadata_type＝0x01，辅助视频流(此pip_metadata()为其指定播放画中画显示)是同步型的视频流，即，与主路径的PlayItem的时间线(播放时间线)同步地播放。如此，始终播放辅助视频流，并与主要流同步地输出。对于pip_metadata_type＝0x02，辅助视频流(此pip_metadata()为其指定画中画显示)是异步型的视频流，即，与子路径的SubPlayItem的时间线同步地播放，但是不需要与主路径的PlayItem的时间线同步。如此，只有在用户的操作输入发出显示辅助流的情况下，播放并输出辅助流。
即，由pip_metadata_type＝0x02表达的“与SubPlayItem同步”意思是指，辅助视频流(此pip_metadata()为其指定了画中画显示)与主路径的时间线异步，而是与子路径的时间线同步。即，基于响应用户操作(操作输入)开始辅助视频的显示的时间，pip_metadata_type＝0x02的pip_metadata()表示在SubPlayItem的播放过程中子显示画面2的显示位置和大小。
Ref_to_PlayItem/SubPath_id表示使用pip_metadata的PlayItem的PlayItem_id的值，或使用pip_metadata的SubPlayItem的SubPath_id的值。即，当使用辅助视频流(此pip_metadata()为其指定播放画中画显示与主路径同步(即，当pip_metadata_type是0x01))时，并且当辅助视频流(此pip_metadata()为其指定画中画显示与子路径同步(即，当pip_metadata_type是0x02时)，使用ref_to_SubPath_id。
Pip_metadata_time_stamp代表使用pip_metadata的PlayItem的时间戳，辅助视频流的视频在由pip_metadata_time_stamp表示的时间，在由pip_metadata()指定的显示位置和大小，显示在子显示画面2上。
即，pip_metadata_time_stamp必须指定由ref_to_PlayItem/SubPath_id引用的PlayItem的In_time和Out_time之间的呈现时间。当辅助视频流(此pip_metadata()为其指定画中画显示)与子路径同步时(即，当pip_metadata_type是0x02)，使用ref_to_PlayItem，辅助视频流的视频在SubPlayItem的时间线中包括的并由pip_metadata_time_stamp表示的时间，在由pip_metadata()指定的显示位置和大小，显示在子显示画面2上。
Pip_entry_video_PID表示用于进行画中画显示的辅助视频的PID的值。
Pip_horizotal_position表示，在主要视频帧上(图5所示的主显示画面1)，在其上面显示了辅助视频的子显示画面2的左上角处的X坐标。Pip_vertical_position表示，在主要视频帧上(图5所示的主显示画面1)，在其上面显示了辅助视频的子显示画面2的左上角处的Y坐标。
不用说，也可以使用通过使用pip_horizotal_position和pip_vertical_position来指定子显示画面2的左上角处的X和Y坐标之外的方法来指定在其上面显示了辅助视频的子显示画面2的显示位置。这样的方法的示例包括指定子显示画面2的右下角的X和Y坐标，指定多个预先确定的显示位置中的任何位置。
pip_scale字段声明表示在其上面显示了辅助视频的子显示画面2的大小的信息。例如，pip_scale声明辅助视频与主要视频的大小比，辅助视频大小与其原始大小的比例尺比率，或指出在垂直方向和水平方向子显示画面2中包括多少像素的信息。
图10显示了图9所示的pip_metadata_type的值和含义。
Pip_metadata_type＝0x00是表示没有设置含义以便将来扩展的值。对于pip_metadata_type＝0x01，此pip_metadata()是同步型元数据，即，与主路径的PlayItem的时间线同步；因此，辅助流始终与主要流同步地播放和输出。对于pip_metadata_type＝0x02，此pip_metadata()是异步型元数据，即，与子路径的SubPlayItem的时间线同步；因此，只有在用户的操作输入发出显示辅助流的指令的情况下，才在子显示画面2上播放和输出辅助视频流的视频。除了上文所提及的pip_metadata_type的三个值之外，没有为未来的扩展设置含义。
图11显示了data_block中声明的pip_metadata的语法的第二个示例。第二个示例不同于图9所示的情况。下面相应地省略了与图9中的数据字段具有相同名称和相同定义的数据字段的描述。
number_of_pip_entries字段表示画中画应用的数量。
Synchronous_PIP_metadata_flag表示画中画应用(即，辅助视频流)与哪一个路径同步。即，当Synchronous_PIP_metadata_flag的值是0′时，此画中画应用与子路径同步，而为ref_to_PlayItem/SubPath_id注册了ref_to_SubPath_id。相比之下，当Synchronous_PIP_metadata_flag的值是1′时，此画中画应用与主路径同步，而为ref_to_PlayItem/SubPath_id注册了ref_to_PlayItem。
即，图11所示的Synchronous_PIP_metadata_flag是用于定义基本上与参考图9所描述的pip_metadata中的pip_metadata_type(图10)的内容相同的内容的信息。
Number_of_pip_metadata_entries字段表示ref_to_PlayItem/ref_to_SubPath_id的视频流的PinP元数据的片段的总数。
Pip_metadata_type表示画中画元数据的类型，并不仅可以声明，例如，指出在其上面显示了辅助视频流的子显示画面2的位置和大小的信息，而且还可以声明例如有关显示的视频相对于辅助视频流的原始视频的颜色指定和旋转的信息。
即，图11所示的pip_metadata_type是其定义不同于参考图9所描述的pip_metadata中的pip_metadata_type的定义的信息。
图12显示了data_block中声明的pip_metadata的语法的第三个示例。第三个示例不同于图9和11所示的情况。
长度字段声明表示紧随在此长度字段之后到pip_metadata()的末尾的pip_metadata()的字节的数量的信息。
number_of_metadata_block_entries字段声明表示pip_metadata()中包含的元数据块条目的数量信息。
Metadata_block_header[k]()声明包括涉及元数据块的标头信息的信息。
ref_to_PlayItem_id[k]字段声明表示使用pip_metadata的PlayItem的PlayItem_id的值的信息。
ref_to_secondary_video_stream_id[k]字段声明表示使用pip_metadata的辅助视频的ID的值信息，即，被ref_to_PlayItem_id引用的PlayItem中的STN_table(下面将参考图22进行描述)中定义的secondary_video_stream_id的值。
pip_timeline_type[k]字段声明表示被pip_metadata_time_stamp引用的时间线的类型的信息。下面将描述pip_timeline_type[k]的值和含义。
当is_luma_key的标记被设置为1时，根据lower_limit_luma_key和upper_limit_luma_key的值，向辅助视频流应用luma keying。
lower_limit_luma_key字段声明表示luma keying的辅助视频亮度值的下限的信息。
upper_limit_luma_key字段声明表示luma keying的辅助视频亮度值的上限的信息。
这里术语“luma keying”表示与视频重叠和组合图像(通过使用分量亮度差(亮度值)，从其中剪除了不希望有的部分)。即，当is_luma_key的标记被设置为1时，其亮度值介于亮度值下限到亮度值上限之间的范围内(是由lower_limit_luma_key和upper_limit_luma_key定义的)的图像，被设置为透明的。如此，辅助视频(从中去除了由亮度信息指定的范围中的图像)重叠在主要视频上，并与主要视频相结合。
此方案可使最小量的辅助视频被显示显示出来，如此，可以防止主要视频变得难以看见。此外，还可以灵活地组合辅助视频和主要视频。
在此示例中，描述了可以通过使用两个阈值(即，lower_limit_luma_key和upper_limit_luma_key)将图像设置为透明的情况。然而，本发明不仅限于该方案。例如，可以使用其中一个阈值，只将其亮度值小于或等于upper_limit_luma_key或亮度值大于或等于upper_limit_luma_key的部分设置为透明。
metadata_block_data_start_address[k]字段声明了表示就从pip_metadata()的第一字节开始的字节的相对数而言的第一metadata_block_data[k]()的第一地址的信息。此外，还必须参考地址值注册在pip_metadata()中输入的metadata_block_data_start_address[k]。
根据metadata_block_data_start_address[k]的值，向padding_word中插入填充字。
Metadata_block_data[k]()声明包括元数据块的数据信息的信息。
number_pip_metadata_entries[k]字段声明表示metadata_block_data中的pip_metadata的片段的总数的信息。
pip_metadata_time_stamp[i]字段声明包括(例如)表示使用pip_metadata时的时间的45kHz时间戳的信息。两个连续的pip_metadata_time_stamps的最小时间间隔是1秒。下面将描述对应于pip_timeline_type的值的pip_metadata_time_stamp的含义。
pip_composition_metadata()字段声明有关主要视频帧的大小和位置的信息。
Pip_horizotal_position[i]表示，在主要视频帧上(图5所示的主显示画面1)，在其上面显示了辅助视频的子显示画面2的左上角处的X坐标。Pip_vertical_position[i]表示，在主要视频帧上(图5所示的主显示画面1)，在其上面显示了辅助视频的子显示画面2的左上角处的Y坐标。
如图13所示，pip_scale[i]字段声明用于将辅助视频大小与其原始图像大小的比例尺比率设置为1、1/2、1/4、1.5或全屏幕信息(利用该比例，辅助视频显示在图5所示的整个主显示画面1上)。
pip_metadata_time_stamp[i]中的Pip_composition_metadata()在从pip_metadata_time_stamp[i]到pip_metadata_time_stamp[i+1]的间隔内有效。然而，其中最后一个pip_compositoin_metadata有效的间隔从最后一个pip_metadata_time_stamp到由ref_to_secondary_video_stream_id[k]表示的子路径呈现结束时间。
接下来，将参考图14描述pip_timeline_type的值和含义，将参考图15到17描述对应于pip_timeline_type的值的pip_metadata_time_stamp的含义。
Pip_timeline_type＝0是表示没有设置含义以便将来扩展的值。
Pip_timeline_type＝1表示画中画呈现路径是同步型路径。Inthis case，the type of sub path specified byref_to_secondary_video_stream_id must be 5 or 7(details of thesub-path type are described below with reference to FIGURE 20).
在此情况下，如图15所示，pip_metadata_time_stamp引用由ref_to_PlayItem_id指定的PlayItem的时间线，并表示关联了SubPlayItem的播放段。即，SubPlayItem的播放段被投射到由ref_to_PlayItem_id[k]引用的PlayItem的时间线上。Pip_metadata_time_stamp[0]表示子路径中的SubPlayItem[0]的播放段的开始。
Pip_timeline_type＝2表示画中画呈现路径是异步型路径。在此情况下，由ref_to_secondary_video_stream_id指定的子路径的类型必须是6。在此情况下，具有SubPath_type＝6的子路径只包含一个SubPlayItem。
在此情况下，如图16所示，pip_metadata_time_stamp引用子路径的时间线，并表示由ref_to_secondary_video_stream_id[k]指定的子路径的SubPlayItem的播放段。 Pip_metadata_time_stamp[0]表示SubPlayItem的播放段的开始。
Pip_timeline_type＝3表示画中画呈现路径是异步型路径。在此情况下，由ref_to_secondary_video_stream_id指定的子路径的类型必须是6。
在此情况下，如图17所示，pip_metadata_time_stamp引用由ref_to_PlayItem_id指定的PlayItem的时间线，并表示由ref_to_PlayItem_id[k]指定的PlayItem的播放段。Pip_metadata_time_stamp[0]表示由ref_to_PlayItem_id[k]指定的PlayItem的播放段的开始。
图18显示了PlayList()的语法。
长度字段具有指出紧随在此长度字段之后到PlayList()的末尾的字节的数量的32比特无符号整数。即，长度字段表示从reserved_for_future_use到PlayList的末尾的字节的数量。在长度字段之后准备了16比特reserved_for_future_use字段。Number_of_PlayItems是表示PlayList中的PlayItems数量的16比特字段。例如，在图2所示的示例的情况下，PlayItems的数量是三个。从0按照PlayItems()出现在PlayList中的顺序分配PlayItem_ids的值。例如，如图2和4所示，分配PlayItem_ids＝0、1，以及2。
Number_of_SubPaths是PlayList中的子路径的数量(条目数量)的16比特字段。例如，在图2所示的示例的情况下，子路径的数量是三个。从0按照SubPaths()出现在PlayList中的顺序分配SubPath_ids的值。例如，如图2所示，分配Subpath_ids 0、1，以及2。在随后的′for′语句中，根据PlayItems的数量引用PlayItems，根据子路径的数量，引用子路径。
图19显示了SubPath()的语法。
长度字段具有指出紧随在此长度字段之后到SubPath()的末尾的字节的数量的32比特无符号整数。即，长度字段表示从reserved_for_future_use到PlayList的末尾的字节的数量。在长度字段之后，准备了16比特reserved_for_future_use。SubPath_type是表示子路径应用的类型的8比特字段。SubPath_type被用来表示子路径类型，例如，音频、位图字幕，或文本字幕。下面将参考图20描述此SubPath_type。在SubPath_type之后，准备了15比特reserved_for_future_use。Is_repeat_SubPath是指定了子路径的播放方法的1比特字段，并指出是反复地播放子路径还是在播放主路径的过程中只播放一次。例如，当主要AV流和由子路径指定的Clip的播放时间彼此不同时(例如，当主路径用于静止图像幻灯放映，子路径的音频路径用于主路径的BGM(背景音乐)时)，使用is_repeat_SubPath。在is_repeat_SubPath之后，准备了8比特reserved_for_future_use。Number_of_SubPlayItems是指出一个子路径中的SubPlayItems数量(条目数量)的8比特字段。例如，对于number_of_SubPlayItems，图2所示的具有SubPath_id＝0的SubPlayItems的数量是1，具有SubPath_id＝1的SubPlayItems的数量是2。在随后的′for′语句中，根据SubPlayItems的数量，引用SubPlayItems。
图20是显示了SubPath_types的示例的图形(子路径类型)。即，定义了子路径类型，例如，如图20所示。
在子路径类型中，“Out-of-mux...类型”这一陈述表示其中包含被子路径引用的ES(基本流)的TS(传输流)，即，剪辑，不同于包含被主路径引用的播放项目(一个或多个ES)的TS(剪辑)的子路径类型，即，表示其中被子路径引用的ES不与包含被主路径引用的播放项目的TS(剪辑)多路复用的子路径类型。下面，这样的类型将被称为“主路径非多路复用路径”。
在图20中，SubPath_types＝0和1表示“预留”。SubPath_type＝2表示可浏览的幻灯片的音频呈现路径(可浏览的幻灯片的音频呈现路径)。例如，SubPath_type＝2表示，在播放列表中，被子路径引用的音频呈现路径和被播放项目引用的主路径彼此不同步。
SubPath_type＝3表示交互式图形呈现菜单(交互式图形呈现菜单)。例如，SubPath_type＝3表示，在播放列表中，被子路径引用的交互式图形菜单和被播放项目引用的主路径彼此不同步。
SubPath_type＝4表示文本小标题呈现路径(文本字幕呈现路径)。例如，SubPath_type＝4表示，在播放列表中，被子路径引用的文本字幕呈现路径和被播放项目引用的主路径彼此同步。
在此情况下，当与SubPath_types＝2和3的情况相同，被主路径引用的ES和被子路径引用的ES彼此不同步时，下面，子路径的类型将被称为“异步型路径”。另一方面，当与SubPath_type＝4的情况相同，被主路径引用的ES和被子路径引用的ES彼此同步时，下面，子路径的类型将被称为“同步型路径”。
SubPath_type＝5表示“一个或多个基本流路径(主要音频/PG/IG/辅助音频路径)的Out-of-mux和AV同步类型”和“包含一个或多个基本流路径的画中画呈现路径的Out-of-mux和AV同步类型”。即，SubPath_type＝5代表主路径TS非多路复用类型和异步型路径，并代表一个或多个ES(主要音频/PG/IG/辅助音频)路径或画中画呈现路径。
这里的术语“画中画呈现路径”表示，在上文所描述的画中画方案中，相对于预先确定的主要视频流(被主路径引用的视频流)的主要音频流、辅助流路径、辅助音频流，以及小标题流的至少一个(子路径类型)。
SubPath_type＝6表示“包含一个或多个基本流路径的画中画呈现路径的Out-of-mux和AV非同步的类型”。即，SubPath_type＝6表示主路径TS非多路复用类型和异步型路径，以及画中画呈现路径(一个或多个ES路径)。
SubPath_type＝7表示“包含一个或多个基本流路径的画中画呈现路径的In-mux和AV同步类型”。
在此情况下，“In-mux类型”这一陈述表示包含被子路径引用的ES的TS(剪辑)不同于包含被主路径引用的播放项目(一个或多个ES)的TS(剪辑)的情况下的子路径类型，即，表示被子路径引用的ES不与包含被主路径引用的播放项目的TS(剪辑)多路复用的子路径类型。下面，这样的类型将被称为“主路径多路复用路径”。
即，SubPath_type＝7表示主路径TS多路复用类型和异步型路径，以及画中画呈现路径(一个或多个ES路径)。
SubPath_types＝8到255表示“预留”。
图21显示了SubPlayItem(i)的语法。
长度字段具有指出紧随在此长度字段之后到SubPlayItem()的末尾的字节的数量的16比特无符号整数。
在图21中，字段被分成SubPlayItem引用一个剪辑的情况和SubPlayItem引用多个剪辑的情况。
首先，将描述SubPlayItem引用一个Clip的情况。
SubPlayItem包含用于指定Clip的Clip_Information_file_name[0]。SubPlayItem进一步包含用于指定剪辑编解码器系统的Clip_codec_identifier[0]、reserved_for_future_use、充当指出是否注册了多个剪辑的标记的is_multi_Clip_entries，充当有关STC间断点(基于系统时间的间断点)的ref_to_STC_id[0]。当设置is_multi_Clip_entries的标记时，引用其中SubPlayItem引用多个剪辑的情况的语法。SubPlayItem进一步包含用于指定Clip中的子路径播放段的SubPlayItem_IN_time和SubPlayItem_OUT_time。SubPlayItem进一步包含sync_PlayItem_id和用于指定子路径的播放在主路径的时间线上开始的时间的sync_start_PTS_of_PlayItem。如上文所描述的，sync_PlayItem_id和sync_start_PTS_of_PlayItem用于图3和4所示的情况(即，当主要AV流的播放时间和由子路径指出的文件的播放时间相同时)，而不用于主要AV流的播放时间和由子路径指出的文件的播放时间的情况(例如，当被主路径引用的静止图像和被子路径引用的音频彼此不同步时，类似于包括静止图像的幻灯放映的BGM)。SubPlayItem_IN_time、SubPlayItem_OUT_time、sync_PlayItem_id，以及sync_start_PTS_of_PlayItem在被SubPlayItem引用的剪辑中共享。
接下来，将描述SubPlayItem引用多个剪辑的情况(if(is_multi_Clip_entries＝＝1b)的情况，即，注册了多个剪辑的情况)。具体来说，将描述SubPlayItem引用如图4所示的多个剪辑的情况。
Num_of_Clip_entries指出剪辑的数量，并指定剪辑，Clip_Information_file_names[SubClip_entry_ids]的数量指定具有Clip_Information_file_name[0]的剪辑之外的剪辑。即，num_of_Clip_entries指定具有Clip_Information_file_name[0]的剪辑之外的具有Clip_Information_file_name[1]、Clip_Information_file_name[2]等等的剪辑。SubPlayItem还包含用于指定剪辑编解码器系统的Clip_codec_identifier[SubClip_entry_id]，有关STC间断点(基于系统时间的间断点)的信息的ref_to_STC_id[SubClip_entry_id]，以及reserved_for_future_use。
SubPlayItem_IN_time、SubPlayItem_OUT_time、sync_PlayItem_id，以及sync_start_PTS_of_PlayItem被多个剪辑共享。在图4所示的示例中，SubPlayItem_IN_time、SubPlayItem_OUT_time、sync_PlayItem_id，以及sync_start_PTS_of_PlayItem被SubClip_entry_id＝0和SubClip_entry_id＝1共享。基于SubPlayItem_IN_time、SubPlayItem_OUT_time、sync_PlayItem_id和sync_start_PTS_of_PlayItem，播放选择的SubClip_entry_id的基于文本的小标题。
从1按照Clip_Information_file_names[SubClip_entry_ids]在SubPlayItem出现的顺序分配SubClip_ids的值。Clip_Information_file_name[0]的SubClip_entry_id是0。
图22显示了PlayItem()的语法。
长度字段具有指出紧随在此长度字段之后到PlayItem()的末尾的字节的数量的16比特无符号整数。Clip_Information_file_names[0]是用于指定被PlayItem引用的剪辑的字段。在图3所示的示例中，主要AV流被Clip_Information_file_name[0]引用。PlayItem()还包含用于指定剪辑编解码器系统的Clip_codec_identifier[0]、reserved_for_future_use、is_multi_angle、connection_condition，以及有关STC间断点(基于系统时间的间断点)的信息的ref_to_STC_id[0]。PlayItem()进一步包含用于指定剪辑中的PlayItem的播放段的IN_time和OUT_time。在图3所示的示例中，IN_time和OUT_time代表主要剪辑AV流文件的播放范围。PlayItem()进一步包含UO_mask_table()、PlayItem_random_access_mode，以及still_mode。这里省略了对包含多个is_multi_angles的情况的描述，因为这样的情况不直接涉及本发明。
PlayItem()中的STN_table()提供了这样的方案：当准备了相关的PlayItem和要与该PlayItem相关联地播放的一个或多个子路径时，用户可以执行音频切换或字幕切换操作，以从被PlayItem引用的剪辑中和被一个或多个子路径引用的剪辑中选择音频或字幕。STN_table()还提供了可使用户选择混合播放两个音频流的方案。
图23显示了STN_table()的第一个示例。STN_table()被设置为PlayItem的属性。
长度字段具有指出紧随在此长度字段之后到STN_table()的末尾的字节的数量的16比特无符号整数。在长度字段之后，准备了16比特reserved_for_future_use。Number_of_video_stream_entries指出被给予在STN_table()中输入的(注册)的video_stream_ids的流的数量。Video_stream_id是用于识别视频流的信息，video_stream_number是用于进行视频切换的并被用户看到的视频流编号。
Number_of_audio_stream_entries指出被给予在STN_table()中输入的(注册)的audio_stream_ids的第一音频流的数量。Audio_stream_id是用于识别音频流的信息，而audio_stream_number是用于进行音频切换的并被用户看到的音频流编号。Number_of_audio_stream2_entries指出被给予在STN_table()中输入的audio_stream_id2s的第二音频流的流的数量。Audio_stream_id2是用于识别音频流的信息，而audio_stream_number是用于进行音频切换的并被用户看到的音频流编号。具体来说，在STN_table()中输入的number_of_audio_stream_entries指出的音频流是图35所示的并在下面描述的播放设备20中的第一音频解码器75-1解码的音频流，在STN_table()中输入的number_of_audio_stream2_entries指出的音频流是图35所示的并在下面描述的播放设备20中的第二音频解码器75-2解码的音频流。如此，分别由两个音频解码器进行解码的音频流可以在下面说明的图23和图33和34所示的STN_table()中输入。
下面，通过number_of_audio_stream_entries表示的并由如图35所示的播放设备20中的第一音频解码器75-1进行解码的音频流，即，主要音频流，被称作“音频流#1”，通过number_of_audio_stream2_entries表示的并由如图35所示的播放设备20中的第二音频解码器75-2进行解码的音频流，即，辅助音频流，被称作“音频流#2”。假定音频流#1是被给予了高于音频流#2的优先级的音频流。
Number_of_PG_txtST_stream_entries表示被给予在STN_table()中输入的PG_txtST_stream_ids的流的数量。在此情况下，输入了流(PG：呈现图形流)和文本字幕文件(txtST)(是通过对诸如DVD子图像之类的位图字幕进行运行长度编码获得的)。PG_txtST_stream_id是用于标识字幕流的信息，而PG_txtST_stream_number是用于进行字幕切换并被用户看见的字幕流编号(文本小标题流编号)。
Number_of_IG_stream_entries表示被给予在STN_table()中输入的IG_stream_ids的流的数量。在此情况下，输入了交互式图形流。IG_stream_id是用于识别交互式图形流的信息，而IG_stream_number表示用于进行图形切换的并被用户看到的图形流编号。
现在将参考图24描述stream_entry()的语法。
长度字段具有指出紧随在此长度字段之后到stream_entry()的末尾的字节的数量的8比特无符号整数。类型是唯一地标识被给予了上文所描述的流编号的流所需的信息类型的8比特字段。
对于类型＝1，指定了16比特数据包ID(PID)，以便标识被PlayItem引用的剪辑(主剪辑)中多路复用的多个基本流中的一个。此PID通过ref_to_stream_PID_of_mainClip来表示。即，对于类型＝1，通过只指定主剪辑AV流文件中的PID，可以确定流。
对于类型＝2，当子路径同时引用多个剪辑并在每一个剪辑中多路复用了多个基本流时，指定了子路径的SubPath_id、剪辑ID，以及数据包ID(PID)，以便标识被子路径引用的一个剪辑(子剪辑)中的多个基本流的一个。通过ref_to_SubPath_id来表示SubPath_id，通过ref_to_SubClip_entry_id来表示剪辑id，通过ref_to_stream_PID_of_SubClip来表示PID。如此，当在SubPlayItem中引用了多个剪辑并通过多个基本流引用了每一个剪辑时，使用类型＝2。
如此，使用了两个类型，即，类型＝1和类型＝2。如此，当准备了要与PlayItem相关联地播放的一个或多个子路径时，可以从被PlayItem引用的剪辑和被一个或多个子路径引用的剪辑中标识一个基本流。类型＝1表示被主路径引用的剪辑(主剪辑)，类型＝2表示被子路径引用的剪辑(子剪辑)。
请回头参看图23，将描述STN_table()。在视频流ID(video_stream_id)的′for′循环中，从0开始的video_stream_id，被连续地给予为每一个stream_entry()标识的视频基本流。可以使用视频流编号(video_stream_number)代替视频流ID(video_stream_id)。在此情况下，video_stream_number从1开始，而不是从0开始。即，通过向video_stream_id的值加1来获得video_stream_number。视频流编号用于进行视频切换，并被用户看见，如此从1开始。
类似地，在音频流ID(audio_stream_id)的′for′循环中，从0开始的audio_stream_id连续地被给予为每一个stream_entry()标识的音频基本流。与视频流相同，可以使用音频流编号(audio_stream_number)代替音频流ID(audio_stream_id)。在此情况下，audio_stream_number从1开始，而不是从0开始。即，通过向audio_stream_id的值加1来获得audio_stream_number。音频流编号用于进行音频切换，并被用户看见，如此从1开始。
类似地，在音频流ID2(audio_stream_id2)的‘for′循环中，从0开始audio_stream_ID2连续地被给予为每一个stream_entry()标识的音频基本流。与视频流的情况相同，可以使用音频流编号2(audio_stream_number2)代替音频流ID2(audio_stream_id2)。在此情况下，audio_stream_number2从1开始，而不是从0开始。即，通过向audio_stream_id2的值加1来获得audio_stream_number2。音频流编号2用于进行音频切换，并被用户看见，如此从1开始。
即，在如图23所示的STN_table()中，定义了由number_of_audio_stream_entries指定的音频流(音频流#1)和由number_of_audio_stream2_entries指定的音频流(音频流#2)。换句话说，可以通过使用STN_table()输入音频流#1和音频流#2，以便用户可以选择将彼此同步地播放的两个音频流。
类似地，在字幕流ID(PG_txtST_stream_id)的′for′循环中，从0开始的PG_txtST_stream_id连续地被给予为每一个stream_entry()标识的一个位图字幕基本流或文本字幕。与视频流的情况相同，可以使用字幕流编号(PG_txtST_stream_number)代替字幕流ID(PG_txtST_stream_id)。在此情况下，PG_txtST_stream_number从1开始，而不是从0开始。即，通过向PG_txtST_stream_id的值加1来获得PG_txtST_stream_number。字幕流编号是用于进行字幕切换并被用户看见得字幕流编号(文本小标题流编号)，如此从1开始。
类似地，在图形流ID(IG_stream_id)的′for′循环中，从0开始的IG_stream_id连续地被给予为每一个stream_entry()标识的交互式图形基本流。与视频流的情况相同，可以使用图形流编号(IG_stream_number)代替图形流ID(IG_stream_id)。在此情况下，IG_stream_number从1开始，而不是从0开始。即，通过向IG_stream_id的值加1来获得IG_stream_number。图形流编号用于进行图形切换，并被用户看见，如此从1开始。
接下来，将描述如图23所示的STN_table()中的stream_attribute()。
在reserved_for_future_use之后的′for′语句中，根据视频流的数量，引用视频流，根据光盘制造商为音频流设置的主路径和子路径，引用音频流，根据PG textST流的数量，引用PG textST流，根据IG流的数量，引用IG流。
视频流ID(video_stream_id)的′for′循环中的stream_attirubute()提供了为每一个stream_entry()标识的一个视频基本流的流属性信息。即，此stream_attibute()声明为每一个stream_entry()标识的一个视频基本流的流属性信息。
类似地，音频流ID(audio_stream_id)的′for′循环中的Stream_attirubute()提供了为每一个stream_entry()标识的一个音频基本流的流属性信息。即，此stream_attibute()声明为每一个stream_entry()标识的一个音频基本流的流属性信息。例如，由于由如图24所示的stream_entry()中的类型＝1或类型＝2标识的音频基本流的数量是1，stream_attribute()提供单一音频基本流的流属性信息。
类似地，音频流ID2(audio_stream_id2)的′for′循环中的stream_attirubute()提供了为每一个stream_entry()标识的一个音频基本流的流属性信息。即，此stream_attibute()声明为每一个stream_entry()标识的一个音频基本流的流属性信息。例如，由于由如图24所示的stream_entry()中的类型＝1或类型＝2标识的音频基本流的数量是1，stream_attribute()提供单一音频基本流的流属性信息。
类似地，字幕流ID(PG_txtST_stream_id)的′for′循环中的stream_attirubute()提供了为每一个stream_entry()标识的一个位图字幕基本流或文本字幕基本流的流属性信息。即，此stream_attibute()声明为每一个stream_entry()标识的一个位图字幕基本流的流属性信息。
类似地，图形流ID(IG_stream_id)的′for′循环中的stream_attirubute()提供了为每一个stream_entry()标识的一个交互式图形基本流的流属性信息。即，此stream_attibute()声明为每一个stream_entry()标识的一个交互式图形基本流的流属性信息。
现在将参考图25描述stream_attribute()的语法。
长度字段具有指出紧随在此长度字段之后到stream_attribute()的末尾的字节的数量的16比特无符号整数。
如图26所示，stream_coding_type表示基本流的编码类型。作为基本流的编码类型，声明了MPEG-2视频流、HDMV LPCM音频、Dolby AC-3音频、dts音频、呈现图形流、交互式图形流，以及文本小标题流。
如图27所示，video_format表示视频基本流的视频格式。作为视频基本流的视频格式，声明480i、576i、480p、1080i、720p以及1080p。
如图28所示，frame_rate表示视频基本流的帧速率。作为视频基本流的帧速率，声明了24000/1001、24、25、30000/1001、50以及60000/1001。
如图29所示，aspect_ratio表示视频基本流的纵横比信息。作为视频基本流的纵横比信息，声明了4∶3显示纵横比和16∶9显示纵横比。
如图30所示，audio_presentation_type表示音频基本流的呈现类型信息。作为音频基本流的呈现类型信息，声明了单一单声道、双单声道、立体声(2声道)，以及多声道。
如图31所示，sampling_frequency表示音频基本流的采样频率。作为音频基本流的采样频率，声明了48kHz和96kHz。
Audio_language_code表示音频基本流的语言代码(例如，日语、韩国语或中文)。
PG_language_code表示位图字幕基本流的语言代码(例如，日语、韩国语或中文)。
IG_language_code表示交互式图形基本流的语言代码(例如，日语、韩国语或中文)。
TextST_language_code表示文本字幕基本流的语言代码(例如，日语、韩国语或中文)。
如图32所示，character_code表示文本字幕基本流的字符代码。作为文本字幕基本流的字符代码，声明了Unicode VI.1(ISO10646-1)、Shift JIS(日语)、包括罗马字符的KSC 5653(韩国语)的KSC 5601-1987、GB 18030-2000(中文)、GB2312(中文)和BIG5(中文)。
下面将参考图25和26到32具体描述如图25所示的stream_attribute()的语法。
当基本流的编码类型(如图25所示的stream_coding_type)是MPEG-2视频流(图26)时，stream_attribute()包含基本流的视频格式(图27)、帧速率(图28)，以及纵横比信息(图29)。
当基本流的编码类型(如图25所示的stream_coding_type)是HDMV LPCM音频、Dolby AC-3音频或dts音频(图26)时，stream_attribute()包含音频基本流的呈现类型信息(图30)、采样频率(图31)，以及语言代码。
当基本流的编码类型(如图25所示的stream_coding_type)是呈现图形流时(图26)、stream_attribute()包含位图字幕基本流的语言代码。
当基本流的编码类型(如图25所示的stream_coding_type)是交互式图形流时(图26)、stream_attribute()包含交互式图形基本流的语言代码。
当基本流的编码类型(如图25所示的stream_coding_type)是文本小标题流时(图26)、stream_attribute()包含字符代码(图32)和文本字幕基本流的语言代码。
上文所描述的属性信息不仅限于上文所描述的那些。
如此，当准备了PlayItem和要与该PlayItem相关联地播放的一个或多个子路径时，可以从被PlayItem引用的剪辑和被一个或多个子路径引用的剪辑，基于stream_attribute()，知道由stream_entry()标识的一个基本流的属性信息。
通过检查属性信息(stream_attribute())，播放设备可以检查它是否具有播放基本流的功能。此外，通过检查属性信息，播放设备还可以选择对应于播放设备的语言设置的初始信息的基本流。
例如，假设播放设备只具有用于播放位图字幕基本流的功能，而没有用于播放文本字幕基本流的功能。当用户向播放设备发出语言切换指令时，播放设备连续地只从字幕流ID(PG_txtST_stream_id)的′for′循环中选择位图字幕基本流，并播放所选择的位图字幕基本流。
例如，假设播放设备的语言设置的初始信息是日语。当用户向播放设备发出音频切换指令时，播放设备连续地只从音频流ID(Audio_stream_id)的′for′循环中选择其语言代码是日语的音频基本流，并播放所选择的音频基本流。
例如，为了播放被主路径引用的并由视频流和音频流构成的AV流(例如，电影)，当用户向播放设备发出音频切换指令以指定(选择)音频流#1(典型的电影中的音频输出)和音频流#2(导演和表演者的注解)作为要播放的音频时，播放设备混合(重叠)音频流#1和音频流#2，并与视频流一起播放所产生的音频流。
如参考如图23引用所示的STN_table()可以理解的，音频流#1和音频流#2两者可以是被主路径引用的剪辑中包含音频流。或者，音频流#1和音频流#2中的一个可以是被主路径引用的剪辑中包含的音频流，而另一个音频流可以是被子路径引用的剪辑中包含的音频流。如此，可以选择、混合和播放重叠在被主路径引用的主AV流上的音频流的两个流。
如此，当准备了PlayItem和要与该PlayItem相关联地播放的一个或多个子路径时，PlayItem()中的STN_table()提供了这样的方案：用户可以执行音频切换或字幕切换操作，以从被PlayItem引用的剪辑中和被一个或多个子路径引用的剪辑中选择音频或字幕。如此，可以对不同于包含主AV流的并且要播放的AV流的流和数据文件执行交互操作。
由于使用了一个播放列表中包含了多个子路径以及SubPlayItems被对应的子路径引用的配置，因此，可以取得具有高可扩充性和高自由度的AV流。即，在此配置中，可以随后添加SubPlayItem。例如，当存在被主路径引用的剪辑AV流文件和与剪辑AV流文件关联的播放列表，而此PlayList被向其中添加了另一个子路径的PlayList改写时，则可以通过引用被主路径引用的剪辑AV流文件和不同于被主路径引用的剪辑AV流文件的剪辑AV流文件来进行播放。如此，该方案可以具有扩展性。
此外，PlayItem()中的STN_table()提供了其中图35所示的并在下面描述的播放设备20中的第一音频解码器75-1解码的音频流#1和第二音频解码器75-2解码的音频流#2可以混合起来播放的方案。STN_table()提供这样的方案，例如，当准备了PlayItem()和要与其关联地播放的一个或多个子路径时，被PlayItem引用的剪辑的音频流(该音频流被视为音频流#1)，被子路径引用的剪辑的音频流(该音频流被视为音频流#2)可以混合起来播放。STN_table()还提供这样的方案，例如，被PlayItem引用的剪辑(主剪辑)中包含的两个音频流(该两个音频流被视为音频流#1和音频流2)可以混合起来播放。利用此方案，不同于播放主流(其中记录了主AV流)的音频流的音频流(例如，导演注解流)可以重叠起来播放。重叠在主AV流上的两个音频流#1和#2也可以重叠(混合)起来播放。
此外，STN_table()还可以定义要与主要视频流相结合地同时播放的辅助视频流、主要音频流、辅助音频流，以及小标题流的组合。图33和34显示了STN_table()的第二个示例。
图33和34显示了当定义了要与主要视频流相结合地同时播放的辅助视频流、主要音频流、辅助音频流，以及小标题流的组合时，STN_table()的语法的示例。在图中，对于与图23中相同那些部分，将不再赘述。
在如图33和34所示的示例中，按如下方式定义了要与主要视频流相结合地同时播放的辅助视频流、主要音频流、辅助音频流，以及小标题流的组合。即，首先，定义了要与主要视频流相结合地同时播放的一个或多个辅助视频流。随后，相对于一个或多个辅助视频流中的每一个，定义了要与主要视频流同时播放的音频流(主要音频流和辅助音频流)和小标题流。
具体来说，在图33中，number_of_video_stream2_entries表示给予在STN_table()中输入(注册)的video_stream_id2s的流的数量。Video_stream_id2是用于识别辅助视频流的信息，而video_stream_number2是用于进行视频切换的并被用户看到的辅助视频流编号。
在图34中，在视频流ID2(video_stream_id2)的′for′循环中，从0开始的video_stream_id2，被连续地给予为每一个stream_entry()标识的视频基本流(充当辅助视频流的视频基本流数据)。
在此情况下，number_of_Audio_combinations_for_video2被给予video_stream_id2，在随后的′for′语句中，根据number_of_Audio_combinations_for_video2s的数量，给出了audio_stream_ids和audio_stream_id2s。Number_of_Audio_combinations_for_video2和随后的′for′语句充当定义要与辅助视频流同时播放的音频流的组合(即，由audio_stream_id标识的主要音频流和由audio_stream_id2标识的辅助音频流的组合)的信息。通过number_of_Audio_combinations_for_video2来表达可以与由video_stream_id2标识的辅助视频流组合的音频流的集合(即，主要音频流和辅助音频流)的集合)的数量。作为一组可以与由video_stream_id2标识的辅助视频流组合的音频流，在number_of_Audio_combinations_for_video2之后的′for′语句中定义了标识主要音频流的audio_stream_id和标识辅助音频流的audio_stream_id2。
此外，number_of_Subtitle_combinations_for_video2被给予相同的video_stream_id2，在随后的′for′语句中，根据number_of_Subtitle_combinations_for_video2s的数量，给出了PG_textST_stream_ids。Number_of_Subtitle_combinations_for_video2和随后的′for′语句充当定义了要与辅助视频流同时播放的小标题流的组合(即，由PG_textST_stream_ID标识的小标题流的组合)的信息。通过number_of_Subtitle_combinations_for_video2来表达可以与由video_stream_id2标识的辅助视频流组合的小标题流的数量。此外，在number_of_Subtitle_combinations_for_video2之后的′for′语句中定义了标识可以与由video_stream_id2标识的辅助视频流组合的小标题流的PG_textST_stream_id。
如在参考图23所描述的情况中那样，可以使用编号代替ID，例如，可以使用音频流编号(audio_stream_number)代替audio_stream_id，可以使用音频流编号2(audio_stream_number2)代替audio_stream_id2。对于视频流和小标题流，同样如此。
在图33和34中，可以通过使用video_stream_id2来定义要与主要视频流同时播放的辅助视频流，也可以通过使用video_stream_id2、audio_stream_id、audio_stream_id2，以及PG_textST_stream_id来定义要与辅助视频流同时播放的主要音频流、辅助音频流，以及小标题流的组合。即，可以定义与主要视频流同时播放的辅助视频流、主要音频流、辅助音频流，以及小标题流的组合。
如此，矛盾的组合不被定义为要与主要视频流同时播放的辅助视频流、主要音频流、辅助音频流，以及小标题流的组合，以便用户可以轻松地选择可以与主要视频流同时播放的流的组合。
PlayItem()中的STN_table()定义了，当准备了此PlayItem和要与该PlayItem相关联地播放的一个或多个子路径时，子路径的Subpath_type被定义为5到7，即，画中画呈现路径(辅助视频流、辅助音频流，以及呈现图形流的一个或多个路径)。利用此方案，通过在作为主流播放和显示的主要视频流上显示辅助视频流，可以进行画中画显示，如参考图5所描述的。
在pip_metadata中声明了画中画显示设置，如参考图9、11或12所描述的；因此，可以由内容生产商或内容提供商任意设置参考图5所描述的子显示画面2的大小和显示位置，而不依赖于播放设备。在参考图9、11、或12所描述的pip_metadata中声明画中画显示设置，而不是在以画中画格式显示的视频流(辅助视频流)的数据本身中声明。即，当需要改变参考图5所描述的子显示画面2的大小和/或显示位置时，修改pip_metadta的声明就足够了，无需修改以画中画格式显示的视频流(辅助视频流)。
在pip_metadata中声明了画中画显示设置，如参考图9、11或12所描述的；因此，可以由内容生产商或内容提供商任意设置参考图5所描述的子显示画面2上显示的视频的大小，而不依赖于辅助视频流的原始图像大小。
下面将描述根据本发明的播放设备。图35是显示了根据本发明的播放设备20的配置的示例的方框图。此播放设备20与用于播放具有主路径和子路径的上文所描述的PlayList的播放设备20相同。
播放设备20具有存储驱动器31、开关32、AV解码器单元33，以及控制器34。
在如图35所示的示例的情况下，控制器34首先通过存储驱动器31读取PlayList文件，基于PlayList文件的信息，控制器34通过存储驱动器31从诸如HDD、Blu-ray光盘或DVD之类的记录介质读取AV流和AV数据。通过使用用户界面，用户可以向控制器34发出用于切换音频、字幕等等的指令。从存储单元(未显示)等等向控制器34提供播放设备20的语言设置的初始信息。
除主路径和子路径的信息之外，PlayList文件还包含STN_table()。控制器34通过存储驱动器31从记录介质等等中读取被PlayList文件中包含的PlayItem引用的主剪辑AV流文件(以下简称为“主剪辑”)，被SubPlayItem引用的子剪辑AV流文件(以下简称为“子剪辑”)，以及被SubPlayItem引用的文本小标题数据。被PlayItem引用的主剪辑和被SubPlayItem引用的子剪辑可以存储在不同的记录介质中。例如，主剪辑可以记录在记录介质上，可以通过网络(未显示)提供对应的子剪辑，并存储在HDD上。控制器34也进行选择对应于进行播放的设备(播放设备20)的播放功能的基本流的控制，或进行只选择对应于进行播放的播放设备20的语言设置的初始信息的基本流的控制。
当控制器34引用PlayList文件中的PlayListExtensionData()的ID1/ID2中所描述的信息(或标识符)，并检测到PlayListExtensionData()的data_block声明有关画中画显示的信息(pip_metadata)时，它引用参考图9或11所描述的pip_metadata以获取要显示在参考图5所描述的子显示画面2上的辅助视频的显示设置。然后，控制器34控制主要视频和辅助视频流的视频的组合，组合是由AV解码器单元33中的视频平面生成器92所进行的。
AV解码器单元33包括缓冲器51到54、PID过滤器55和56、开关57到59、PID过滤器60、背景解码器71、第一视频解码器72-1、第二视频解码器72-2、呈现图形解码器73、交互式图形解码器74、第一音频解码器75-1、第二音频解码器75-2、Text-ST合成器76、开关77、背景平面生成器91、视频平面生成器92、呈现图形平面生成器93、交互式图形平面生成器94、缓冲器95、视频数据处理器96，以及混合处理器97和98。
第一视频解码器72-1对主要视频流进行解码，第二视频解码器72-1对辅助视频流进行解码。第一音频解码器75-1对音频流#1(主要音频流)进行解码，第二音频解码器75-2对音频流#2(辅助音频流)进行解码。具体来说，在如图23和图33和34所示的STN_table()中，第一视频解码器72-1对由video_stream_id指定的视频流进行解码，第二视频解码器72-2对由video_stream_id2指定的视频流进行解码，第一音频解码器75-1对由audio_stream_id指定的音频流进行解码，以及第二音频解码器75-2对由audio_stream_id2指定的音频流进行解码。
如上文所描述的，播放设备20具有两个视频解码器(第一视频解码器72-1和第二视频解码器72-2)，以对两个视频流进行解码，并具有两个音频解码器(第一音频解码器75-1和第二音频解码器75-2)，以对两个音频流进行解码。第一视频解码器72-1和第二视频解码器72-2在下文中将被称作“视频解码器72”，除非必须特别地将它们彼此区别开来，第一音频解码器75-1和第二音频解码器75-2将被称作“音频解码器75”，除非必须特别地将它们彼此区别开来。
通过解调和ECC解码单元(未显示)对由控制器34读取的文件数据进行解调，并对经过解调的多路复用的流进行错误纠正。在控制器34的控制下，开关32为每一个流类型选择经过解调的和经过错误校正的数据，然后，将所选择的数据提供到对应的缓冲器51到54。具体来说，在控制器34的控制下，开关32进行切换，以便将背景图像数据提供到缓冲器51，将主剪辑数据提供到缓冲器52，将子剪辑数据提供到缓冲器53，并将Text-ST数据提供到缓冲器54。缓冲器51缓冲背景图像数据，缓冲器52缓冲主剪辑的数据，缓冲器53缓冲子剪辑的数据，缓冲器54缓冲Text-ST数据。
主剪辑是通过将视频和视频、音频、位图字幕(呈现图形流)，以及交互式图形中的至少一个流多路复用而获得的流(例如，传输流)。子剪辑是通过将视频、位图字幕、交互式图形，以及音频中的至少一个流多路复用而获得的流。文本小标题数据文件(Text_ST)的数据可以也可以不具有诸如传输流之类的经过多路复用的流的格式。
当从存储驱动器31(记录介质)中读取主剪辑、子剪辑，以及文本小标题数据时，可以以分时的方式读取相应的文件。或者，在从主剪辑中读取子剪辑和文本小标题数据之前，可以将所有文件预加载到缓冲器(缓冲器53或缓冲器54)中。
播放设备20通过存储驱动器31从记录介质中读取那些文件的数据，并播放视频、位图字幕、交互式图形，以及音频。
具体来说，在预先确定的时间，在随后的阶段，从缓冲器52(主剪辑读取缓冲器)中读取的流数据，被输出到PID(数据包ID)滤波器55。PID过滤器55根据PID(数据包ID)对输入的主剪辑进行分类，并在随后的阶段将分类的流输出到对应的基本流解码器。即，PID过滤器55将视频流提供到PID过滤器60，以便将它提供到第一视频解码器72-1和第二视频解码器72-2中的某一个，将呈现图形流提供到充当呈现图形解码器73的供应源的开关57，将交互式图形流提供到充当交互式图形解码器74的供应源的开关58，并将音频流提供到充当第一音频解码器75-1和第二音频解码器75-2中的某一个的供应源的开关59。
呈现图形流是，例如，位图字幕数据，而文本小标题数据是，例如，文本字幕数据。
在预先确定的时间，在随后的阶段，从缓冲器53(子剪辑读取缓冲器)中读取的流数据，被输出到PID(数据包ID)过滤器56。PID过滤器56根据PID(数据包ID)对输入的子剪辑进行分类，并在随后的阶段将分类的流输出到对应的基本流解码器。即，PID过滤器56将提供的视频流提供到PID过滤器60，以便将它提供到第一视频解码器72-1和第二视频解码器72-2中的某一个，将呈现图形流提供到充当呈现图形解码器73的供应源的开关57，将交互式图形流提供到充当交互式图形解码器74的供应源的开关58，并将音频流提供到充当第一音频解码器75-1和第二音频解码器75-2中的某一个的供应源的开关59。
从缓冲器51(缓冲背景图像数据)中读取的数据，在预先确定的时间被提供到背景解码器71。背景解码器71对背景图像数据进行解码，并将经过解码的背景图像数据提供到背景平面生成器91。
开关57选择主剪辑中包含的并从PID过滤器55提供的呈现图形流，以及子剪辑中包含的呈现图形流中的某一个，并在随后的阶段将所选择的呈现图形流提供到呈现图形解码器73。呈现图形解码器73对呈现图形流进行解码，并将经过解码的呈现图形流的数据提供到充当呈现图形平面生成器93的供应源的开关77。
开关58选择主剪辑中包含的并从PID过滤器55提供的交互式图形流，以及子剪辑中包含的交互式图形流中的某一个，并在随后的阶段将所选择的交互式图形流提供到交互式图形解码器74。即，同时提供到交互式图形解码器74的交互式图形流是与主剪辑或者子剪辑分离的流。交互式图形解码器74对交互式图形流进行解码，并将经过解码的交互式图形流的数据提供到交互式图形平面生成器94。
此外，开关59选择主剪辑中包含的并从PID过滤器55提供的音频流，以及子剪辑中包含的音频流中的某一个，并在随后的阶段将所选择的音频流提供到第一音频解码器75-1或第二音频解码器75-2。在此情况下，同时输入到第一音频解码器75-1的音频流是与主剪辑或者子剪辑分离的流。类似地，同时输入到第二音频解码器75-2的音频流是与主剪辑或者子剪辑分离的流。例如，当主剪辑中包含音频流#1和音频流#2时，PID过滤器55基于音频流的PID对音频流#1和音频流#2进行过滤，并将所产生的音频流提供到开关59。
例如，开关59选择一个连接以便将从PID过滤器55提供的音频流#1提供到第一音频解码器75-1，将从PID过滤器55提供的音频流#2提供到第二音频解码器75-2。
PID过滤器60接收主剪辑中包含的并PID过滤器55提供的视频流或子剪辑中包含的并从PID过滤器56提供的视频流。在控制器34的控制下，PID过滤器60判断接收到的视频流是主要视频流还是辅助视频流，并将主要视频流提供到第一视频解码器72-1，而将辅助视频流提供到第二视频解码器72-2。
在随后的阶段，由PID过滤器60进行分类的视频流被提供到第一视频解码器72-1或第二视频解码器72-2。第一视频解码器72-1或第二视频解码器72-2对提供的视频流进行解码，并将经过解码的视频流输出到视频平面生成器92。
当视频平面生成器92从第一视频解码器72-1和第二视频解码器72-2接收视频数据时，视频平面生成器92在引用pip_metadata的控制器34的控制下组合提供的视频数据。然后，视频平面生成器92生成包括主显示画面1和子显示画面2的视频平面，如参考图5所描述的，并将视频平面提供到视频数据处理器96。当只来自第一视频解码器72-1的视频数据被提供到视频平面生成器92时，视频平面生成器92通过使用提供的视频数据生成视频平面，并将生成的视频平面提供到视频数据处理器96。组合两段视频数据也被称作，例如，“混合”或“重叠”。
第一音频解码器75-1对音频流进行解码，并将经过解码的音频流的数据提供到混合处理器101。第二音频解码器75-2对音频流进行解码，并将经过解码的音频流的数据提供到混合处理器101。
在此情况下，当音频流#1和音频流#2被重叠以便进行播放时(当两个音频流被用户选择为要播放的音频流时)，由第一音频解码器75-1进行解码的音频流#1和第二音频解码器75-2进行解码的音频流#2被提供到混合处理器101。
混合处理器101组合(重叠)来自第一音频解码器75-1的音频数据，来自第二音频解码器75-2的音频数据，并在随后的阶段将所产生的数据提供到混合处理器97。在本实施例中，从第一音频解码器75-1输出的音频数据和从第二音频解码器75-2输出的音频数据的混合(重叠)也被称作“组合”。术语“组合”也称为“混合两段音频数据”。
由开关32选择的声音数据被提供到缓冲器95，并在那里缓冲。缓冲器95在预先确定的时间将声音数据提供到混合处理器97。在此情况下，声音数据是通过菜单选择等等所产生的音响效果数据。混合处理器97混合(重叠或组合)通过混合处理器101混合的音频数据(即，通过从第一音频解码器75-1输出的音频数据和从第二音频解码器75-2输出的音频数据的混合所产生的音频数据)和从缓冲器95提供的声音数据，并作为音频信号输出所产生的数据。
在预先确定的时间，在随后的阶段，从缓冲器54(文本小标题读取缓冲器)中读取的数据，被输出到文本小标题合成器(解码器)76。文本小标题合成器76对Text-ST数据进行解码，并将经过解码的数据提供到开关77。
开关77选择被呈现图形解码器73解码过的呈现图形流和Text-ST(文本小标题数据)中的一个，并将所选择的数据提供到呈现图形平面生成器93。即，从呈现图形解码器73或者文本小标题(Text-ST)合成器76输出同时提供到呈现图形平面生成器93的字幕图像。同时输入到呈现图形解码器73的呈现图形流是与主剪辑或者子剪辑分离的流(即，通过开关57选择的)。如此，同时输出到呈现图形平面生成器93的字幕图像是来自主剪辑的呈现图形流、来自子剪辑的呈现图形流，或文本小标题数据的经过解码的输出。
基于从背景解码器71提供的背景图像数据，背景平面生成器91生成背景平面，例如，当以减小的尺寸显示视频图像时，该平面充当壁纸图像，并将生成的背景平面提供到视频数据处理器96。
基于通过开关77选择并提供的数据(呈现图形流或文本小标题数据)，呈现图形平面生成器93生成呈现图形平面(充当，例如，呈现图像)，并将生成的呈现图形平面提供到视频数据处理器96。基于从交互式图形解码器74提供的交互式图形流数据，交互式图形平面生成器94生成交互式图形平面，并将生成的交互式图形平面提供到视频数据处理器96。
视频数据处理器96组合来自背景平面生成器91的背景平面、来自视频平面生成器92的视频平面、来自呈现图形平面生成器93的呈现图形平面，以及来自交互式图形平面生成器94的交互式图形平面，并作为视频数据输出组合的平面。混合处理器97混合(组合或重叠)来自混合处理器101的音频数据(即，从由第一音频解码器75-1进行解码的音频数据和由第二音频解码器75-2进行解码的音频数据的混合产生的音频数据)和从缓冲器95提供的声音数据，并作为音频信号输出所产生的数据。
开关57到59和开关77基于用户通过用户界面作出的选择或基于包含相关的数据的文件，进行切换。例如，当只有子剪辑AV流文件包含音频流，开关59将连接切换到子一侧。
接下来，将参考如图36所示的流程图描述由如图35所示的播放设备20进行的播放处理。当用户通过用户界面发出用于播放预先确定的AV流的指令时，开始此处理。
在步骤S1中，控制器34通过存储驱动器31读取记录在记录介质或HDD(硬盘驱动器)(未显示)上的PlayList文件。例如，读取上文参考图7所描述的PlayList文件(xxxxx.mpls)。
在步骤S2中，控制器34基于读取的PlayList文件，判断辅助视频是否存在于要播放的流中。
具体来说，在读取的PlayList文件中的PlayItems中，控制器34执行上文参考图33和34所描述的STN_table()中的辅助视频循环(video_strea_id2的′for′循环)，从而判断辅助视频是否存在于要播放的流中。
当在步骤S2中判断辅助视频不存在时，在步骤S3中执行如下参考图37到39所述的主要视频播放处理。
在步骤S4中，控制器34判断对应于读取的PlayList文件的流的播放是否结束。当在步骤S4中判断没有完成流的播放时，返回到步骤S3，并重复随后的处理。当判断结束流的播放时，则处理结束。
当在步骤S2中判断存在辅助视频时，控制器34在步骤S5中读取pip_metadata。在以上文所描述的方式作出就是否包含辅助视频的判断之后，只有与PlayItem关联的pip_metadata可以存储在存储器中。或者，当在步骤S1中读取PlayList文件时，还可以同时读取pip_metadata，因为pip_metadata是PlayList的一部分，如上文参考图7到9所描述的。
具体来说，基于，例如，根据STN_table()确定的当前PlayItem_id和secondary_video_stream_id，控制器34标识相关的pip_metadata，并从PlayList文件中读取标识的pip_metadata。
在步骤S6中，基于读取的pip_metadata的声明，控制器34判断辅助流是否与主要流同步(即，与主路径的PlayItem的时间线同步)。
具体来说，例如，当pip_metadata具有上文参考图9所描述的数据结构时，控制器34可以基于上文参考图10所描述的pip_metadata_type的值，判断辅助流是否与主要流同步。当pip_metadata具有上文参考图11所描述的数据结构时，控制器34可以通过引用Synchronous_PIP_metadata_flag判断辅助流是否与主要流同步。
例如，当pip_metadata具有上文参考图12所描述的数据结构时，控制器34可以基于Subpath_type，判断辅助流是否与主要流同步。
当pip_metadata具有上文参考图9或11所描述的数据结构时，则基于Subpath_type(除pip_metadata)，如在如图12所示的pip_metadata数据结构中那样，可以就辅助流是否与主要流同步作出判断。即，控制器34可以基于Subpath_type判断辅助流是否与主要流同步。
当在步骤S6中判断辅助流与主要流同步时，进入步骤S7。然后，如上文参考图17所描述的，控制器37判断主要流的显示时间是否是表示辅助流的播放段的开始的SubPlayItem_IN_time。
当在步骤S7中判断主要流的显示时间不是SubPlayItem_IN_time时，在步骤S8中执行如下参考图37到39所描述的主要视频播放处理。
另一方面，当在步骤S7中判断主要流的显示时间是SubPlayItem_IN_time时，在步骤S9中执行如下参考图40到42所描述的主要和辅助视频播放处理。
在步骤S10中，控制器34判断主要流的显示时间是否是表示辅助流的播放段的结束的SubPlayItem_OUT_time。当在步骤S10中判断显示时间不是SubPlayItem_Out_time时，返回到步骤S9，并重复随后的处理。当判断显示时间是SubPlayItem_OUT_time时，在步骤中S11，控制器34判断对应于读取的PlayList文件的流是否结束。
当在步骤S11中判断没有完成流的播放时，返回到步骤S7，并重复随后的处理。当判断结束流的播放时，则处理结束。
另一方面，当在步骤S6中判断辅助流不与主要流同步时(即，与子路径的SubPlayItem的时间线同步)，在步骤S12中执行如下参考图37到39所描述的主要视频播放处理，因为只显示主要视频流，直到用户发出显示辅助视频流的指令。
在步骤S13中，控制器34判断是否已经从用户那里接收到显示辅助视频流的指令。
当在步骤S13中判断没有接收到显示辅助视频流的指令时，则在步骤S14中，控制器34判断是否结束对应于读取的PlayList文件的流的播放。当在步骤S11中判断没有完成流的播放时，返回到步骤S12，并重复随后的处理。当判断结束流的播放时，则处理结束。
另一方面，当在步骤S13中判断已经接收到用于显示辅助视频流的指令时，在步骤S15中执行如下参考图40到42所描述的主要和辅助视频播放处理。
在步骤S16中，控制器34判断是否已经从用户那里接收到完成辅助视频流的显示的指令。当在步骤S16中判断已经接收到完成辅助流的显示的指令时，返回到步骤S12，并重复随后的处理。
当在步骤S16中判断没有接收到完成辅助视频流的显示的指令时，则在步骤S17中，控制器34判断是否结束对应于读取的PlayList文件的流的播放。当在步骤S17中判断没有完成流的播放时，返回到步骤S15，并重复随后的处理。当判断结束流的播放时，则处理结束。
在此处理中，就对于对应于读取的PlayList文件的流的播放是否存在辅助流作出判断，当存在辅助流时，基于辅助流是否与主要流同步，就是否要显示辅助流并在同时始终重叠在主要流(主路径)上作出判断。当辅助流不与主要流(主路径)同步时，基于是否从用户那里发出显示辅助流的指令或从用户那里发出完成辅助流的显示的指令，就辅助流是否重叠在主要流上作出判断。
接下来，下面将参考如图37到39所示的流程图描述在如图36所示的步骤S3、S8或S12中执行的主要视频播放处理。
在步骤S41中，控制器34读取主剪辑、子剪辑，以及文本小标题数据(Text_ST数据)。具体来说，控制器34基于PlayItem(这是上文参考图22所描述的，并包含上文参考图18所描述的PlayList中)读取主剪辑。控制器34也基于SubPlayItems(参考图21所描述并被PlayList中包含的子路径引用的)读取子剪辑和文本小标题数据。
在步骤S42中，控制器34控制开关32以便将读取的数据(主剪辑、子剪辑，以及文本小标题数据)提供到对应的缓冲器51到54。具体来说，控制器34切换开关32以便将背景图像数据提供到缓冲器51，将主剪辑的数据提供到缓冲器52，将子剪辑的数据提供到缓冲器53，并将Text-ST数据提供到缓冲器54。
在步骤S43中，在控制器34的控制下，开关32进行切换。结果，背景图像数据被提供到缓冲器51，主剪辑的数据被提供到缓冲器52，子剪辑的数据被提供到缓冲器53，文本小标题数据被提供到缓冲器54。
在步骤S44中，缓冲器51到54缓冲对应的提供的数据。具体来说，缓冲器51缓冲背景图像数据，缓冲器52缓冲主剪辑的数据，缓冲器53缓冲子剪辑的数据，缓冲器54缓冲Text-ST数据。
在步骤S45中，缓冲器51将背景图像数据输出到背景解码器71。
在步骤S46中，缓冲器52将主剪辑的流数据输出到PID过滤器55。
在步骤S47中，PID过滤器55基于给予主剪辑AV流文件中包含的TS数据包的PID，将流数据分类到对应的基本流解码器。具体来说，PID过滤器55通过PID过滤器60将视频流提供到第一视频解码器72-1，将呈现图形流提供到充当呈现图形解码器73的供应源的开关57，将交互式图形流提供到充当交互式图形解码器74的供应源的开关58，并将音频流提供到充当第一音频解码器75-1的供应源的开关59。即，视频流、呈现图形流、交互式图形流，以及音频流被给予彼此不同的PID。
在步骤S48中，缓冲器53向PID过滤器56输出子剪辑的流数据。
在步骤S49中，PID过滤器56基于PID，将流数据分类到对应的基本流解码器。具体来说，PID过滤器56通过PID过滤器60将提供的视频流提供到第一视频解码器72-1，将呈现图形流提供到充当呈现图形解码器73的供应源的开关57，将交互式图形流提供到充当交互式图形解码器74的供应源的开关58，并将音频流提供到充当第一音频解码器75-1和第二音频解码器75-2的供应源的开关59。
在步骤S50中，在控制器34通过用户界面进行的控制下，开关57到59和PID过滤器55和PID过滤器56之后的阶段的PID过滤器60选择主剪辑和子剪辑中的一个。具体来说，开关57选择从PID过滤器55提供的主剪辑呈现图形流或子剪辑呈现图形流，并在随后的阶段将选择的呈现图形流提供到呈现图形解码器73。开关58选择从PID过滤器55提供的主剪辑交互式图形流或子剪辑交互式图形流，并在随后的阶段将选择的交互式图形流提供到交互式图形解码器74。此外，开关59选择从PID过滤器55提供的主剪辑音频流或从PID过滤器56提供的子剪辑音频流(由于没有切换音频，在此情况下，音频流#1)，并在随后的阶段将所选择的音频流提供到第一音频解码器75-1。当用户发出音频切换指令时，开关59将主剪辑音频流提供到第二音频解码器75-2或将子剪辑音频流提供到第一音频解码器75-1或第二音频解码器75-2。在此情况下，由于已经描述了进行音频切换之前的播放处理，将省略其描述。
在步骤S51中，缓冲器54向文本小标题合成器76输出文本小标题数据。
在步骤S52中，背景解码器71对背景图像数据进行解码，并将经过解码的背景图像数据输出到背景平面生成器91。
在步骤S53中，第一视频提供器72-1对视频流(即，提供的主要视频流)进行解码，并将经过解码的视频流输出到视频平面生成器92。
在步骤S54中，呈现图形解码器73对通过开关57选择和提供的呈现图形流进行解码，并在随后的阶段将经过解码的呈现图形流输出到开关77。
在步骤S55中，交互式图形解码器74对通过开关58选择和提供的交互式图形流进行解码，并在随后的阶段将经过解码的交互式图形流输出到交互式图形平面生成器94。
在步骤S56中，第一音频解码器75-1对通过开关59选择和提供的音频流(音频流#1)进行解码，并在随后的阶段将经过解码的音频流输出到混合处理器101。在当用户没有发出进行音频切换的指令时的播放处理中，不会从第二音频解码器75-2输出音频数据。如此，混合处理器101在随后的阶段直接将从第一音频解码器75-1输出的音频数据提供到混合处理器97。
在步骤S57中，Text-ST合成器76对文本小标题数据进行解码，并在随后的阶段将经过解码的文本字幕数据输出到开关77。
在步骤S58中，开关77选择来自呈现图形解码器73的数据或来自Text-ST合成器76的数据。具体来说，开关77选择被呈现图形解码器73解码过的呈现图形流和Text-ST(文本小标题数据)中的一个，并将所选择的数据提供到呈现图形平面生成器93。
在步骤S59中，背景平面生成器91基于从背景解码器71提供的背景图像数据，生成背景平面。
在步骤S60中，视频平面生成器92基于从第一视频解码器72-1提供的视频数据生成视频平面。
在步骤S61中，呈现图形平面生成器93，基于来自呈现图形解码器73的数据或来自Text-ST合成器76的数据，生成呈现图形平面，数据是在步骤S58中的处理中通过开关77选择并提供的。
在步骤S62中，交互式图形平面生成器94基于从交互式图形解码器74提供的交互式图形流的数据，生成交互式图形平面。
在步骤S63中，缓冲器95缓冲在步骤S43中的处理中选择并提供的声音数据，并在预先确定的时间将缓冲的数据提供到混合处理器97。
在步骤S64中，视频数据处理器96组合单个平面的数据，并输出组合的数据。具体来说，视频数据处理器96组合来自背景平面生成器91的数据、来自视频平面生成器92的数据、来自呈现图形平面生成器93的数据，以及来自交互式图形平面生成器94的数据，并作为视频数据输出组合的数据。
在步骤S65中，混合处理器97混合(组合)音频数据(从混合处理器101输出的音频数据)和声音数据，并输出混合的数据。然后，返回到图36所示的步骤S3并进入步骤S4，或返回到图36所示的步骤S8，并进入步骤S7，或返回到图30所示的步骤S12，并进入步骤S13。
在参考图37到39所描述的处理中，由PlayList中包含的主路径和子路径引用主要Clip、子剪辑，以及文本小标题数据，并进行播放。在此情况下，显示的视频只是主要视频流的视频，参考图5所描述的子显示画面2没有显示。在此配置中，在PlayList中提供了主路径和子路径，可以由子路径来指定不同于由主路径指定的剪辑AV流文件的Clip。如此，可以一起(同时)播放子剪辑(不同于由主路径的PlayItem指定的主剪辑的Clip)的数据，以及主剪辑的数据。
在图37到39中，可以以相反的顺序执行步骤S45和S46中的处理，也可以并行地执行。也可以以相反的顺序执行步骤S47和S49中的处理，也可以并行地执行。此外，也可以以相反的顺序执行步骤S52到S57中的处理，也可以并行地执行。也可以以相反的顺序执行步骤S59到S62中的处理，也可以并行地执行。也可以以相反的顺序执行步骤S64和S65中的处理，也可以并行地执行。即，在图35中，可以并行地执行在相同的层次结构中垂直的缓冲器51到54的处理，也可以以任何顺序来执行，可以并行地执行开关57到59的处理，也可以以任何顺序来执行，可以并行地执行解码器71到76的处理，也可以以任何顺序来执行，可以并行地执行平面生成器91到94的处理，也可以以任何顺序来执行，可以并行地执行视频处理器96和混合处理器97的处理，也可以以任何顺序来执行。
接下来，下面将参考如图40到42所示的流程图描述在如图36所示的步骤S9或S15中执行的主要和辅助视频播放处理。
在步骤S101到S106中执行基本上与上文参考图37和38所描述的步骤S41到S46中的处理相同的处理。
即，控制器34读取主剪辑、子剪辑，以及文本小标题数据(Text-ST数据)，并控制开关32，以便将读取的数据(主剪辑、子剪辑，以及文本小标题数据)提供到对应的缓冲器51到54。在控制器34的控制下，开关32将背景图像数据提供到缓冲器51，将主剪辑的数据提供到缓冲器52，将子剪辑的数据提供到缓冲器53，并将文本小标题数据提供到缓冲器54，以便将提供的数据缓冲在对应的缓冲器51到54中。缓冲器51将背景图像数据输出到背景解码器71。缓冲器52将主剪辑的流数据输出到PID过滤器55。
在步骤S107中，PID过滤器55基于给予主剪辑AV流文件中包含的TS数据包的PID，将流数据分类到对应的基本流解码器。具体来说，PID过滤器55将视频流提供到PID过滤器60，将呈现图形流提供到充当呈现图形解码器73的供应源的开关57，将交互式图形流提供到充当交互式图形解码器74的供应源的开关58，并将音频流提供到充当第一音频解码器75-1的供应源的开关59。即，视频流、呈现图形流、交互式图形流，以及音频流被给予彼此不同的PID。在控制器34的控制下，PID过滤器60将主要视频流提供到第一视频解码器72-1，并将辅助视频流提供到第二视频解码器72-2。
在步骤S108中，缓冲器53向PID过滤器56输出子剪辑的流数据。
在步骤S109中，PID过滤器56基于PID，将流数据分类到对应的基本流解码器。具体来说，PID过滤器56将提供的视频流提供到PID过滤器60，将呈现图形流提供到充当呈现图形解码器73的供应源的开关57，将交互式图形流提供到充当交互式图形解码器74的供应源的开关58，并将音频流提供到充当第一音频解码器75-1和第二音频解码器75-2的供应源的开关59。在控制器34的控制下，PID过滤器60将主要视频流提供到第一视频解码器72-1，并将辅助视频流提供到第二视频解码器72-2。
在步骤S110到S112中执行基本上与上文参考图37和38所描述的步骤S50到S52中的处理相同的处理。
即，在控制器34的控制下，开关57到59和PID过滤器60选择主要剪辑和子剪辑中的一个。缓冲器54向文本小标题合成器76输出文本小标题数据。背景解码器71对背景图像数据进行解码，并将经过解码的背景图像数据输出到背景平面生成器91。
在步骤S113中，第一视频解码器72-1对提供的主要视频流进行解码，并将经过解码的主要视频流输出到视频平面生成器92。
在步骤S114中，第二视频解码器72-2对提供的辅助视频流进行解码，并将经过解码的辅助视频流输出到视频平面生成器92。
在步骤S115中，呈现图形解码器73对通过开关57选择和提供的呈现图形流进行解码，并在随后的阶段将经过解码的呈现图形流输出到开关77。
在步骤S116中，交互式图形解码器74对通过开关58选择和提供的交互式图形流进行解码，并在随后的阶段将经过解码的交互式图形流输出到交互式图形平面生成器94。
在步骤S117中，第一音频解码器75-1对通过开关59选择和提供的主要音频流进行解码，并在随后的阶段将经过解码的主要音频流输出到混合处理器101。
在步骤S118中，第二音频解码器75-2对通过开关59选择和提供的辅助音频流进行解码，并在随后的阶段将经过解码的辅助音频流输出到混合处理器101。
在步骤S119中，在主要或辅助数据中，Text-ST合成器76对要显示的文本小标题数据进行解码，并在随后的阶段将经过解码的文本小标题数据输出到开关77。
在步骤S120中，开关77选择来自呈现图形解码器73的数据或来自Text-ST合成器76的数据。具体来说，开关77选择被呈现图形解码器73解码过的呈现图形流和Text-ST(文本小标题数据)中的一个，并将所选择的数据提供到呈现图形平面生成器93。
在步骤S121中，背景平面生成器91基于从背景解码器71提供的背景图像数据，生成背景平面。
在步骤S122中，在引用pip_metadata的控制器34的控制下，视频平面生成器92组合从第一视频解码器72-1提供的视频数据和从第二视频解码器72-2提供的视频数据，以生成包括主显示画面1和子显示画面2的视频平面，如参考图5所描述的，并将生成的视频平面提供到视频数据处理器96。
具体来说，在引用使用(例如，)图9、11或12所描述的pip_metadata的控制器34的控制下，视频平面生成器92组合定位的和定标的辅助视频流与主要视频流，以生成包括主显示画面1和子显示画面2的视频平面，如参考图5描述的，并将生成的视频平面提供到视频数据处理器96。
现在将参考图43描述定位和定标的细节。
如上文参考图9、11或12所描述的pip_metadata所示，pip_horizotal_position表示，例如，在如图5所示的主显示画面1上，在其上面显示了辅助视频的子显示画面2的左上角处的X坐标，而pip_vertical_position表示，例如，在如图5所示的主显示画面1上，在其上面显示了辅助视频的子显示画面2的左上角处的Y坐标。此外，pip_scale表示有关在其上面显示了辅助视频的子显示画面2的大小的信息。
即，如图43所示，在主要视频平面(primary video plane)上，基于pip_scale，调整定标的辅助视频(scaled secondary video)，以具有预先确定的大小，并进行定位，以便定标的辅助视频的左上角到达相对于主要视频平面的左上角的在X轴方向由pip_horizotal_position表示的和在Y轴方向由pip_vertical_position表示的位置。
在此情况下，对于参考图12所描述的pip_metadata中的“is_luma_key＝1”，视频平面生成器92对主要视频流和辅助视频流执行luma_keying组合，以生成视频平面，并将生成的视频平面提供到视频数据处理器96。
这里“luma keying组合”是与视频重叠和组合图像(通过使用分量亮度差(亮度值)，从其中剪除了不希望有的部分)的方案，如图12所示的pip_metadata所描述的。接下来，将参考图44和45所描述的luma_keying组合的细节。
图44是显示了luma_keying组合之前的主要视频(primary-video)和辅助视频(secondary video)的视图。
当对图中的右侧的主要视频和左侧的辅助视频进行luma_keying组合时，如使用如图12所示的pip_metadata所描述的，使从由lower_limit_luma_key所表示的亮度值下限到由upper_limit_luma_key表示的亮度值上限的范围中包括的辅助视频亮度值具有透明度的值，所产生的辅助视频与主要视频组合。
即，从中去除了由lower_limit_luma_key定义的亮度值下限和由upper_limit_luma_key定义的亮度值上限的范围的辅助视频重叠在主要视频上，并与主要视频相结合。具体来说，如图44所示，左侧辅助视频中的平行四边形和圆形之外的阴影部分具有亮度值下限值和上限值的范围内的亮度值，如此，是透明的。以这样的方式处理过的左侧辅助视频重叠在右侧主要视频上，并与其相结合。
图45是显示了luma_keying组合之后主要视频和辅助视频的视图。
在luma_keying组合之后的主要视频和辅助视频中，辅助视频中的平行四边形和圆形之外的区域是透明的，如图45所示。如此，在辅助视频的区域中，只有平行四边形和圆形区域与主要视频组合。
虽然为便于说明在图45中通过虚线来表达辅助视频的区域，但是，在实践中不会显示虚线。
请回头参看图42所示的流程图，在步骤S123中，呈现图形平面生成器93，基于来自呈现图形解码器73的数据或来自Text-ST合成器76的数据，生成呈现图形平面，数据是在步骤S58中的处理中通过开关77选择并提供的。
在步骤S124中，交互式图形平面生成器94基于从交互式图形解码器74提供的交互式图形流的数据，生成交互式图形平面。
在步骤S125中，缓冲器95缓冲在步骤S43中的处理中选择并提供的声音数据，并在预先确定的时间将缓冲的数据提供到混合处理器97。
在步骤S126中，视频数据处理器96组合单个平面的数据，并输出组合的数据。具体来说，视频数据处理器96组合来自背景平面生成器91的数据、来自视频平面生成器92的数据、来自呈现图形平面生成器93的数据，以及来自交互式图形平面生成器94的数据，并作为视频数据输出组合的数据。
在步骤S127中，混合处理器101组合从第一音频解码器75-1输出的主要音频数据，从第二音频解码器75-2输出的辅助音频数据，并将组合的数据提供到混合处理器97。
在步骤S128中，混合处理器97混合(组合)由混合处理器101组合的并从其中输出的音频数据，以及声音数据，并输出所产生的数据。然后，返回到图36所示的步骤S9并进入步骤S10，或返回到图36所示的步骤S15，并进入步骤S16。
在参考图40到42所描述的处理中，由PlayList中包含的主路径和子路径引用主要Clip、子剪辑，以及文本小标题数据，并进行播放。在此配置中，在PlayList中提供了主路径和子路径，可以由子路径来指定不同于由主路径指定的剪辑AV流文件的Clip。如此，辅助视频流的显示图像可以重叠在主要视频流的显示图像上。
在此情况下，可以设置辅助视频流的显示图像的大小和显示位置。如此，与其中预先设置了子显示画面的显示位置和显示大小以便依赖于播放设备的情况相比，根据内容或显示时间，辅助视频流可以以不妨碍主要视频流的显示的大小显示在某个位置。或者，根据辅助视频流的内容，例如，对于重要的内容，辅助视频流可以显示在显著的位置并采用较大的尺寸，或者，对于非重要的内容，辅助视频流可以以较小的尺寸显示在主显示画面1的边缘。
可以由内容生产商或内容经销商适当地定义辅助视频流的显示图像的大小和显示位置。
在图40到42中，可以以相反的顺序执行步骤S105和S106中的处理，也可以并行地执行。也可以以相反的顺序执行步骤S107和S109中的处理，也可以并行地执行。此外，可以以相反的顺序执行步骤S112到S119中的处理，也可以并行地执行。也可以以相反的顺序执行步骤S121到S124中的处理，也可以并行地执行。此外，也可以以相反的顺序执行步骤S126中的处理和S127和S128中处理，也可以并行地执行。即，在图35中，可以并行地执行在相同的层次结构中垂直的缓冲器51到54的处理，也可以以任何顺序来执行，可以并行地执行开关57到59的处理，也可以以任何顺序来执行，可以并行地执行解码器71到76的处理，也可以以任何顺序来执行，可以并行地执行平面生成器91到94的处理，也可以以任何顺序来执行，可以并行地执行视频处理器96和混合处理器97的处理，也可以以任何顺序来执行。
可以按如下方式概括上文所描述的处理。
播放设备20获取充当播放控制信息的PlayList，该播放控制信息包括主路径(表示包含至少一个流的主剪辑AV流文件的位置的主播放路径)的信息，以及子路径(要通过不同于主剪辑AV流文件的播放路径的播放路径来播放的子剪辑AV流文件的播放路径)的信息。播放设备20基于用于选择PlayList中包含的并将要播放的流的STN_table()，接收要播放的选定的流。STN_table()包含用于选择主剪辑AV流文件的预先确定的流类型(例如，主要视频流)的信息，以及用于选择要和预先确定的类型的流的播放时间一起播放或不同步地播放的另一个流文件的信息。如此，基于STN_table()，可以接收要播放的选定的流。
当PlayList的Subpath_type是In-Mux时，主路径和子路径可以引用相同的剪辑，并可以进一步添加子路径。这可以提供具有可扩充性的流。由于使用了其中多个文件可以被一个子路径引用的配置(例如，图4)，因此，用户可以从多个不同的流中进行选择。
此外，在主路径的PlayItem中提供了如图23和图33和34所示的STN_table()，作为定义了被主路径引用的AV流文件和被子路径引用的辅助数据中多路复用的(包含的)辅助数据(例如，音频流)的表。这样便可以取得具有高可扩充性的流。此外，在STN_table()中输入信息可使子路径轻松地得到扩展。
此外，在STN_table()中提供了stream_attribute()(这是流属性信息，如图25所示)，因此，播放设备20那一端可以判断是否可以播放选定的流。此外，通过引用stream_attribute()，可以选择并只播放可以播放的流。
此外，STN_table()(图23和图33和34)用于定义具有相同类型的两个流文件(在此情况下，主要视频流文件和辅助视频流文件，或主要音频流文件和辅助音频流文件)。另外，图35所示的播放设备20配备有两个视频解码器(第一视频解码器72-1和第二视频解码器72-2)和两个音频解码器(第一音频解码器75-1和第二音频解码器75-2)。此外，还提供了视频平面生成器92以组合(混合)主要视频数据和辅助视频数据(通过两个视频解码器对它们进行解码)，并提供了混合处理器101以组合通过两个音频解码器进行解码的音频数据，利用此方案，可以组合并同时播放具有相同类型的两个流。
即，如图5所示，根据本发明的播放设备可以进行所谓的“PinP(画中画)显示”，其中，主要视频流显示在主画面上，辅助流与其组合，并作为辅助画面显示在主画面内。
在此情况下，可以使用pip_metadata来设置在画中画显示过程中辅助视频流的显示图像的大小和显示位置。利用此方案，与其中预先设置了子显示画面的显示位置和显示大小以便依赖于播放设备的情况相比，根据内容或显示时间，辅助视频流可以以不妨碍主要视频流的显示的大小显示在某个位置。或者，根据辅助视频流的内容，例如，对于重要的内容，辅助视频流可以显示在显著的位置并采用较大的尺寸，或者，对于非重要的内容，辅助视频流可以以较小的尺寸显示在主显示画面1的边缘。
可以由内容生产商或内容经销商适当地定义辅助视频流的显示图像的大小和显示位置。
此外，除了辅助视频流的显示图像的大小和显示位置，pip_metadata还可以声明指出画中画显示的设置的信息。Pip_metadata不仅可以声明指出在其上面显示了辅助视频流的子显示画面2的位置和大小的信息，而且还可以声明有关例如，显示的视频的相对于辅助视频流的原始视频的颜色和旋转信息。
在此情况下，显示相关的信息，如辅助视频流的显示图像的大小和显示位置，不包含在辅助视频流中，而是在用于控制辅助视频流的播放的播放列表中进行描述。即，当只需要改变辅助流的显示格式而无需对辅助视频流进行更改时(例如，当只需要改变辅助视频流的显示位置和/或显示大小)，只更新播放列表中的pip_metadata的声明就足够了，无需对播放设备或辅助视频流的设置进行更改。
另外，对于第一内容和第二内容，可以轻松地通过不同的显示方法来显示相同的辅助视频流(例如，可以以第一内容的较大尺寸和第二内容的较小尺寸显示相同的辅助视频流)。即，对于第一内容和第二内容中的每一个，可以在播放列表中的pip_metadata中声明指出所需要的显示格式的信息，无需修改辅助视频流的数据。利用此方案，对于第一内容和第二内容，相同的辅助视频流可以以内容生产商或内容经销商所需要的不同显示方法来显示。
此外，由于显示相关的信息，如辅助视频流的显示图像的大小和显示位置，在包含详细播放控制信息(如时间信息)的播放列表中进行了声明，因此，可以详细地设置辅助视频的显示。
如图20所示，子路径包含SubPath_type，指出子路径类型(诸如音频或文本字幕的种类，以及指出子路径是否与主路径同步的类型)，图21所示的指出被子路径引用的子剪辑的名称的Clip_Information_file_name，图21所示的指出被子路径引用的Clip的IN-point的SubPlayItem_IN_time，以及图21所示的指出Clip的OUT-point的SubPlayItem_OUT_time。如此，可以正确地识别被子路径引用的数据。
由图35所示的存储驱动器31读取的数据可以是记录在诸如DVD(数字通用光盘)之类的记录介质上的数据，可以是记录在硬盘上的数据，可以是通过网络(未显示)下载的数据，也可以是从其组合产生的数据。例如，可以基于PlayList和下载并记录在硬盘上的子剪辑和记录在DVD上的主要剪辑AV流文件，进行播放。此外，例如，当使用记录在DVD上的剪辑AV流文件作为子剪辑的PlayList和主要剪辑记录在硬盘上时，可以基于记录在硬盘上的PlayList，分别从硬盘和DVD中读取主要剪辑和子剪辑来进行播放。
可以设计配置，以便可以通过播放设备20(播放器)改变辅助视频的位置和/或大小。在这样的情况下，在某些情况下，不能获得作者想要的大小等等。另一方面，如在本发明中，可以通过使用PlayList(这是控制信息)来控制大小、位置等等。利用此方案，例如，甚至在获取ROM光盘之后需要改变辅助视频的位置等等的情况下，也可以只通过获取具有相对比较小的大小的播放列表而不对实际剪辑进行更改，来如作者想要的那样改变位置等等。
接下来，参考图46和47，以记录介质21是光盘记录介质的情况为示例，描述制造记录介质21(在其上面记录了可以由播放设备20播放的数据)的方法。
即，如图46所示，准备由玻璃等等制成的基板，向基板施加诸如光致抗蚀剂之类的记录材料，从而制造出记录母盘。
此后，如图47所示，在软件生产处理部分，由编码设备(视频编码器)进行编码的视频数据，具有可以由播放设备20播放的格式，该视频数据临时存储在缓冲器中，由音频编码器进行编码的音频数据临时存储在缓冲器中。此外，由数据编码器进行解码的非流式数据(例如，索引、播放列表，以及PlayItems)临时存储在缓冲器中。视频数据、音频数据，以及存储在相应的缓冲器中的非流式数据，由多路复用器(MPX)与同步信号多路复用，由错误检查和校正电路(ECC)向经过多路复用的数据中添加纠错码。由调制电路(MOD)对所产生的数据进行预先确定的调制，并根据预定格式，临时记录在(例如)磁带上。如此，产生了可以由播放设备20进行播放的，并且将记录在记录介质21上的软件。
根据需要，对软件进行编辑(预制母盘的)，并产生具有将记录在光盘上的格式的信号。如图46所示，根据记录信号调制激光束，并将已调制的激光束照到母盘上的光致抗蚀剂上。结果，响应记录信号，使母盘上的光致抗蚀剂曝光。
此后，对此母盘进行显影，以便在母盘上出现坑。对如此准备的母盘进行处理，如电铸成型，以制造金属母盘(向其中传输了玻璃母盘上的坑)。基于金属母盘，进一步制造金属压模，充当压模。
例如，将诸如MMA(丙烯酸)或PC(聚碳酸酯)之类的材料注入到压模，并进行固化。或者，向金属压模施加2P(紫外线可硫化树脂)，然后用紫外线进行照射，并进行固化。这就使得金属压模上的坑传输到树脂副本。
通过气相沉积、喷涂等等在如上文所描述的产生的副本上形成反射薄膜。或者，通过旋涂在制造的副本上形成反射薄膜。
此后，对光盘的内周边和外周边进行处理，并对所产生的光盘进行所需要的处理，如将两个光盘层叠在一起。此外，将标记和轮毂附加到所产生的光盘中，并将光盘插入到盒中。这就完成了在其上面记录了可以由播放设备20进行播放的数据的记录介质21。
可以通过硬件执行上文所描述的一系列处理，也可以通过软件来执行。在此情况下，通过如图48所示的个人计算机500来执行上文所描述的处理。
在图48中，CPU(中央处理单元)501根据存储在ROM(只读存储器)502中的的程序，或从存储单元508加载到RAM(随机存取存储器)503中的程序来执行各种处理。根据需要，RAM 503也可以存储，例如，CPU 501执行各种处理所需的数据。
CPU 501、ROM 502，以及RAM 503通过内部总线504互连在一起。输入/输出接口505也连接到内部总线504。
包括键盘和鼠标的输入单元506，包括显示器和扬声器的输出单元507，包括硬盘的存储单元508，以及包括调制解调器或终端适配器的通信单元509，连接到输入/输出接口505。显示器的示例包括CRT(阴极射线管)显示器和LCD(液晶显示器)。通信单元509通过包括电话线路和CATV网络的各种网络进行通信处理。
根据需要，驱动器510也连接到输入/输出接口505，例如，诸如磁盘、光盘、磁光盘或半导体存储器之类的可移动介质521相应地连接到驱动器510。根据需要，从可移动介质521中读取的计算机程序安装在存储单元508上。
当通过软件执行一系列处理时，通过网络或从程序存储介质中安装软件中包括的程序。
此程序存储介质不仅可以是封装介质(单独地从计算机分发，以向用户提供程序，并包括在其上面记录了程序的可移动介质521)，而且也可以是硬盘等等(提供到用户，同时集成到设备的机身中，并包括ROM 502或在其上面记录了程序的存储单元508)。
本发明的实施例不仅限于上文所描述的那些，在不偏离本发明的实质的范围的情况下，可以进行各种变化。

Claims (2)

1.一种再现装置，具备：
获取单元，获取用于控制包含至少一个数据流的主数据流和与上述主数据流不同的子数据流的再现的再现管理信息；
读取单元，根据由上述获取单元获取的上述再现管理信息，读取要再现的上述主数据流和上述子数据流；以及
影像合成单元，根据由上述获取单元获取的上述再现管理信息，将由上述读取单元读取的上述主数据流的影像与上述子数据流的影像进行合成，
其中，上述再现管理信息是包含关于显示状态的信息的、与包含上述主数据流和上述子数据流的文件所不同的文件，关于显示状态的信息包含关于与上述主数据流的影像进行合成的上述子数据流的影像的显示位置、大小以及透明度的信息，
上述影像合成单元根据包含在上述再现管理信息中的关于上述显示状态的信息，在关于上述透明度的信息表示对上述子数据流的影像实施透射处理的情况下，对于被调整为与关于上述大小的信息相对应的大小的上述子数据流的影像，实施与关于上述透明度的信息相对应的上述透射处理，并且将通过实施上述透射处理所得的上述子数据流的影像配置在与关于上述主数据流的影像上的上述显示位置的信息相对应的位置，将上述主数据流的影像与上述子数据流的影像进行合成。
2.一种再现方法，是对主数据流和子数据流进行再现的再现装置的再现方法，该再现方法包括以下步骤：
读取再现管理信息，该再现管理信息用于控制包含至少一个数据流的主数据流和与上述主数据流不同的子数据流的再现，且是与包含上述主数据流和上述子数据流的文件不同的文件；
根据读取的上述再现管理信息，读取要再现的上述主数据流和上述子数据流；以及
根据上述再现管理信息中包含的、包含关于与上述主数据流的影像进行合成的上述子数据流的影像的显示位置、大小以及透明度的信息的关于显示状态的信息，在关于上述透明度的信息表示对上述子数据流的影像实施透射处理的情况下，对于被调整为与关于上述大小的信息相对应的大小的上述子数据流的影像，实施与关于上述透明度的信息相对应的上述透射处理，并且将通过实施上述透射处理所得的上述子数据流的影像配置在与关于上述主数据流的影像上的上述显示位置的信息相对应的位置，将读取的上述主数据流的影像与上述子数据流的影像进行合成。
CN201210033302XA 2005-08-25 2006-08-17 播放设备、播放方法、程序、程序存储介质、数据结构，以及记录介质制造方法 Pending CN102855902A (zh)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
JP2005244612 2005-08-25
JP2005-244612 2005-08-25
JP2005-264041 2005-09-12
JP2005264041 2005-09-12
JP2005-311477 2005-10-26
JP2005311477A JP4081772B2 (ja) 2005-08-25 2005-10-26 再生装置および再生方法、プログラム、並びにプログラム格納媒体

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN2006800015621A Division CN101091385B (zh) 2005-08-25 2006-08-17 播放设备和播放方法

Publications (1)

Publication Number Publication Date
CN102855902A true CN102855902A (zh) 2013-01-02

Family

ID=37771476

Family Applications (4)

Application Number Title Priority Date Filing Date
CN201210033302XA Pending CN102855902A (zh) 2005-08-25 2006-08-17 播放设备、播放方法、程序、程序存储介质、数据结构，以及记录介质制造方法
CN201210033301.5A Expired - Fee Related CN102855901B (zh) 2005-08-25 2006-08-17 数据生成方法、记录设备以及记录方法
CN2006800015621A Active CN101091385B (zh) 2005-08-25 2006-08-17 播放设备和播放方法
CN2012100334910A Active CN102572454B (zh) 2005-08-25 2006-08-17 再现装置以及再现方法

Family Applications After (3)

Application Number Title Priority Date Filing Date
CN201210033301.5A Expired - Fee Related CN102855901B (zh) 2005-08-25 2006-08-17 数据生成方法、记录设备以及记录方法
CN2006800015621A Active CN101091385B (zh) 2005-08-25 2006-08-17 播放设备和播放方法
CN2012100334910A Active CN102572454B (zh) 2005-08-25 2006-08-17 再现装置以及再现方法

Country Status (8)

Country Link
US (1) US8340496B2 (zh)
EP (1) EP1919210B1 (zh)
JP (1) JP4081772B2 (zh)
KR (2) KR101320793B1 (zh)
CN (4) CN102855902A (zh)
ES (1) ES2517418T3 (zh)
TW (2) TWI479892B (zh)
WO (1) WO2007023728A1 (zh)

Families Citing this family (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2562757B1 (en) * 2004-02-16 2018-05-09 Sony Corporation Reproduction device, reproduction method, and program
AU2006277225B2 (en) 2005-08-09 2011-06-09 Panasonic Corporation Recording medium, playback apparatus, method and program
JP4870493B2 (ja) * 2005-08-09 2012-02-08 パナソニック株式会社 再生装置、記録方法、再生方法、システムｌｓｉ、プログラム
JP2009177527A (ja) * 2008-01-24 2009-08-06 Panasonic Corp 画像記録装置、画像再生装置、記録媒体、画像記録方法及びプログラム
JP2009177531A (ja) * 2008-01-24 2009-08-06 Panasonic Corp 画像記録装置、画像再生装置、記録媒体、画像記録方法及びプログラム
JP2009177619A (ja) 2008-01-25 2009-08-06 Panasonic Corp 画像記録装置、画像再生装置、記録媒体、画像記録方法及びプログラム
JP4544332B2 (ja) * 2008-04-07 2010-09-15 ソニー株式会社 画像処理装置、画像処理方法、プログラム
WO2010013382A1 (ja) * 2008-07-31 2010-02-04 三菱電機株式会社 映像符号化装置、映像符号化方法、映像再生装置、映像再生方法、映像記録媒体、及び映像データストリーム
JP2010135011A (ja) * 2008-12-05 2010-06-17 Funai Electric Co Ltd デジタル放送録画再生装置
KR101639053B1 (ko) * 2009-02-17 2016-07-13 코닌클리케 필립스 엔.브이. ３ｄ 이미지 및 그래픽 데이터의 조합
TWI400949B (zh) * 2010-04-06 2013-07-01 Hon Hai Prec Ind Co Ltd 媒體資料播放裝置及其重播方法
JP2012064135A (ja) 2010-09-17 2012-03-29 Sony Corp 情報処理装置、および情報処理方法、並びにプログラム
US20130100248A1 (en) * 2011-05-11 2013-04-25 Shinya Kadono Video transmitting apparatus and video transmitting method
WO2012174301A1 (en) 2011-06-14 2012-12-20 Related Content Database, Inc. System and method for presenting content with time based metadata
JP2015510652A (ja) * 2012-01-09 2015-04-09 トムソン ライセンシングＴｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ メディアコンテンツを処理するためのシステム及び方法
JP5627617B2 (ja) * 2012-02-22 2014-11-19 株式会社東芝 画像処理装置及び画像表示システム
US9716904B2 (en) * 2012-05-17 2017-07-25 Ericsson Ab Video content presentation override control systems, methods and devices
KR101249279B1 (ko) * 2012-07-03 2013-04-02 알서포트 주식회사 동영상 생성 방법 및 장치
US10356484B2 (en) 2013-03-15 2019-07-16 Samsung Electronics Co., Ltd. Data transmitting apparatus, data receiving apparatus, data transceiving system, method for transmitting data, and method for receiving data
US9723245B2 (en) 2013-03-15 2017-08-01 Samsung Electronics Co., Ltd. Data transmitting apparatus, data receiving apparatus, data transceiving system, method for transmitting data, and method for receiving data
EP3097696A4 (en) * 2014-01-21 2017-09-20 Lg Electronics Inc. Broadcast transmission device and operating method thereof, and broadcast reception device and operating method thereof
US20150253974A1 (en) 2014-03-07 2015-09-10 Sony Corporation Control of large screen display using wireless portable computer interfacing with display controller
CN103888840B (zh) * 2014-03-27 2017-03-29 电子科技大学 一种视频移动终端实时拖动与缩放的方法及装置
US9697630B2 (en) * 2014-10-01 2017-07-04 Sony Corporation Sign language window using picture-in-picture
US20160098180A1 (en) * 2014-10-01 2016-04-07 Sony Corporation Presentation of enlarged content on companion display device
US10097785B2 (en) * 2014-10-01 2018-10-09 Sony Corporation Selective sign language location
US10204433B2 (en) 2014-10-01 2019-02-12 Sony Corporation Selective enablement of sign language display
JP2016081553A (ja) * 2014-10-17 2016-05-16 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 記録媒体、再生方法、および再生装置
KR102202576B1 (ko) * 2014-12-12 2021-01-13 삼성전자주식회사 음향 출력을 제어하는 디바이스 및 그 방법
US20160307603A1 (en) * 2015-04-15 2016-10-20 Sony Corporation Information processing device, information recording medium, information processing method, and program
CN107547917B (zh) * 2016-06-27 2020-07-10 中兴通讯股份有限公司 频道的播放和处理方法及装置，频道的处理系统
JP6934052B2 (ja) * 2017-06-28 2021-09-08 株式会社ソニー・インタラクティブエンタテインメント 表示制御装置、表示制御方法及びプログラム
CN111182213B (zh) * 2019-12-31 2021-09-24 维沃移动通信有限公司 视频制作方法、电子设备及介质
CN111522497B (zh) * 2020-04-16 2022-09-13 深圳市颍创科技有限公司 Pip模式中触摸控制显示设备子画面大小和位置的方法
EP4007228A1 (en) * 2020-11-27 2022-06-01 Telefonica Digital España, S.L.U. System and method for live media streaming
US20230007210A1 (en) * 2021-06-30 2023-01-05 Lemon Inc. Signaling the Purpose of Preselection
US20230018718A1 (en) * 2021-06-30 2023-01-19 Lemon Inc. Signaling Replacement of Video Data Units in a Picture-in-Picture Region
CN114911407A (zh) * 2022-06-20 2022-08-16 上海联影医疗科技股份有限公司 医学诊疗系统的图像播放控制装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1205825A (zh) * 1995-12-29 1999-01-20 汤姆森消费电子有限公司 具有用于显示可变尺寸辅助图像的设备的电视系统
CN1246238A (zh) * 1996-12-19 2000-03-01 汤姆森消费电子有限公司 在多图象显示中的用于紧邻辅助图像定位辅助信息的方法和装置
US20030147635A1 (en) * 2002-02-07 2003-08-07 Samsung Electronics Co., Ltd. Information storage medium containing display mode information, and reproducing apparatus and method
CN1527604A (zh) * 1997-12-01 2004-09-08 星视电视广播公司 在弹出区域中具有广告消息的电子节目表系统
CN1620127A (zh) * 2003-11-20 2005-05-25 Lg电子株式会社 用于在光盘装置中的管理用户标记的方法和装置
CN1642226A (zh) * 2004-01-14 2005-07-20 松下电器产业株式会社 视频信号显示单元
WO2005074270A1 (ja) * 2004-01-30 2005-08-11 Matsushita Electric Industrial Co., Ltd. 記録媒体、再生装置、プログラム、再生方法

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3372037B2 (ja) 1995-08-21 2003-01-27 松下電器産業株式会社 記録媒体の記録方法、再生装置、再生方法
US5963215A (en) * 1997-03-26 1999-10-05 Intel Corporation Three-dimensional browsing of multiple video sources
MY117040A (en) * 1997-09-17 2004-04-30 Matsushita Electric Ind Co Ltd Optical disc, recording apparatus, and computer-readable recording medium.
JP2985878B1 (ja) 1998-06-30 1999-12-06 オムロン株式会社 合成画像作成装置および記録媒体
KR100277994B1 (ko) * 1998-12-31 2001-01-15 구자홍 경계 영역 표시 장치
JP4503858B2 (ja) 1999-04-14 2010-07-14 ライト チャンス インコーポレイテッド 遷移ストリームの生成／処理方法
JP4328989B2 (ja) * 1999-11-24 2009-09-09 ソニー株式会社 再生装置、再生方法、並びに記録媒体
JP2001251266A (ja) 2000-03-07 2001-09-14 Sony Corp データ送出装置及びトランスポートストリーム生成装置並びにそのデータストリーム生成方法
CN1239021C (zh) * 2000-04-21 2006-01-25 索尼公司 信息处理设备及方法、程序和记录介质
KR100676328B1 (ko) * 2000-06-28 2007-01-30 삼성전자주식회사 피아이피 기능을 갖는 디지탈 영상표시기기의 피봇장치
US6697123B2 (en) * 2001-03-30 2004-02-24 Koninklijke Philips Electronics N.V. Adaptive picture-in-picture
JP3901538B2 (ja) 2002-02-15 2007-04-04 株式会社東芝 映像データ記録再生装置及び映像データ記録再生方法
JP3741668B2 (ja) 2002-03-26 2006-02-01 池上通信機株式会社 データ多重化装置
EP1408505A1 (en) * 2002-10-11 2004-04-14 Deutsche Thomson-Brandt Gmbh Method and apparatus for synchronizing data streams containing audio, video and/or other data
JP4441884B2 (ja) * 2002-11-11 2010-03-31 ソニー株式会社 情報処理装置および方法、プログラム格納媒体、記録媒体、並びにプログラム
KR100873437B1 (ko) * 2002-11-28 2008-12-11 삼성전자주식회사 Ｐｉｐ화면을 이용한 듀얼모드 신호처리장치
US20040189828A1 (en) * 2003-03-25 2004-09-30 Dewees Bradley A. Method and apparatus for enhancing a paintball video
US8065614B2 (en) 2003-04-09 2011-11-22 Ati Technologies, Inc. System for displaying video and method thereof
JP4228767B2 (ja) * 2003-04-25 2009-02-25 ソニー株式会社 再生装置、再生方法、再生プログラムおよび記録媒体
KR101130368B1 (ko) 2003-06-02 2012-03-27 디즈니엔터프라이지즈,인크. 소비자용 비디오 플레이어를 위한 프로그램된 윈도우 제어 시스템 및 방법
JP3895305B2 (ja) 2003-06-06 2007-03-22 シャープ株式会社 データ記録方法、データ記録装置、およびデータ記録媒体
JP2005020242A (ja) 2003-06-25 2005-01-20 Toshiba Corp 再生装置
WO2005024824A1 (en) * 2003-09-04 2005-03-17 Koninklijke Philips Electronics N.V. Record carrier carrying a video signal and at least one additional information signal
US7609947B2 (en) * 2004-09-10 2009-10-27 Panasonic Corporation Method and apparatus for coordinating playback from multiple video sources
US20060200842A1 (en) * 2005-03-01 2006-09-07 Microsoft Corporation Picture-in-picture (PIP) alerts

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1205825A (zh) * 1995-12-29 1999-01-20 汤姆森消费电子有限公司 具有用于显示可变尺寸辅助图像的设备的电视系统
CN1246238A (zh) * 1996-12-19 2000-03-01 汤姆森消费电子有限公司 在多图象显示中的用于紧邻辅助图像定位辅助信息的方法和装置
CN1527604A (zh) * 1997-12-01 2004-09-08 星视电视广播公司 在弹出区域中具有广告消息的电子节目表系统
US20030147635A1 (en) * 2002-02-07 2003-08-07 Samsung Electronics Co., Ltd. Information storage medium containing display mode information, and reproducing apparatus and method
CN1620127A (zh) * 2003-11-20 2005-05-25 Lg电子株式会社 用于在光盘装置中的管理用户标记的方法和装置
CN1642226A (zh) * 2004-01-14 2005-07-20 松下电器产业株式会社 视频信号显示单元
WO2005074270A1 (ja) * 2004-01-30 2005-08-11 Matsushita Electric Industrial Co., Ltd. 記録媒体、再生装置、プログラム、再生方法

Also Published As

Publication number Publication date
CN102572454A (zh) 2012-07-11
CN101091385A (zh) 2007-12-19
ES2517418T3 (es) 2014-11-03
EP1919210A1 (en) 2008-05-07
KR101320793B1 (ko) 2013-10-23
EP1919210A4 (en) 2011-09-07
TWI346506B (zh) 2011-08-01
CN102855901B (zh) 2014-10-29
JP2007104615A (ja) 2007-04-19
CN102855901A (zh) 2013-01-02
CN102572454B (zh) 2013-09-11
EP1919210B1 (en) 2014-10-01
US8340496B2 (en) 2012-12-25
US20080267588A1 (en) 2008-10-30
CN101091385B (zh) 2012-10-10
KR101244148B1 (ko) 2013-03-15
KR20130007672A (ko) 2013-01-18
KR20080040617A (ko) 2008-05-08
JP4081772B2 (ja) 2008-04-30
TW200715853A (en) 2007-04-16
TWI479892B (zh) 2015-04-01
WO2007023728A1 (ja) 2007-03-01
TW201108739A (en) 2011-03-01

Similar Documents

Publication Publication Date Title
CN102855901B (zh) 数据生成方法、记录设备以及记录方法
JP4770601B2 (ja) 情報処理装置および情報処理方法、プログラム、並びに、プログラム格納媒体
US8023797B2 (en) Information record medium, information record apparatus and method, information reproduction apparatus and method, information record reproduction apparatus and method, computer program for record or reproduction control, and data structure containing control signal
US8139922B2 (en) Playback apparatus and method, program, recording medium, data structure, and manufacturing method for recording medium
EP1730730B1 (en) Recording medium and method and apparatus for reproducing text subtitle stream recorded on the recording medium
US7558467B2 (en) Recording medium and method and apparatus for reproducing and recording text subtitle streams
US9076495B2 (en) Reproducing apparatus, reproducing method, computer program, program storage medium, data structure, recording medium, recording device, and manufacturing method of recording medium
WO2005065055A2 (en) Recording medium and method and apparatus for reproducing and recording text subtitle streams
JP4849343B2 (ja) データ生成方法、記録装置および方法、並びに、プログラム
JP4900708B2 (ja) 再生装置および再生方法、プログラム、並びにプログラム格納媒体
JP4720676B2 (ja) 情報処理装置および情報処理方法、データ構造、記録媒体の製造方法、プログラム、並びに、プログラム格納媒体
JP5201428B2 (ja) データ生成方法、記録装置および方法、並びに、プログラム
CN100559499C (zh) 重放设备、重放方法、以及记录介质的制造方法
JP2008193604A (ja) 再生装置および方法、並びにプログラム
US20060120255A1 (en) Information recording medium, information recording device and method, information reproduction device and method, information recording/reproduction device and method, recording or reproduction control computer program, and data structure containing control signal
JP4821456B2 (ja) 情報処理装置および情報処理方法、プログラム、データ構造、並びに記録媒体
JP2008052836A (ja) 情報処理装置および情報処理方法、プログラム、並びに、プログラム格納媒体

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20130102

RJ01 Rejection of invention patent application after publication