CN103079082B - 记录方法 - Google Patents

记录方法 Download PDF

Info

Publication number
CN103079082B
CN103079082B CN201210564595.4A CN201210564595A CN103079082B CN 103079082 B CN103079082 B CN 103079082B CN 201210564595 A CN201210564595 A CN 201210564595A CN 103079082 B CN103079082 B CN 103079082B
Authority
CN
China
Prior art keywords
view video
stream
picture
basic
subordinate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201210564595.4A
Other languages
English (en)
Other versions
CN103079082A (zh
Inventor
服部忍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN103079082A publication Critical patent/CN103079082A/zh
Application granted granted Critical
Publication of CN103079082B publication Critical patent/CN103079082B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • H04N9/8227—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal the additional signal being at least another television signal
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G11B27/034—Electronic editing of digitised analogue information signals, e.g. audio or video signals on discs
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/156—Mixing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/189—Recording image signals; Reproducing recorded image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234327—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into layers, e.g. base layer and one or more enhancement layers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2365—Multiplexing of several video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4347—Demultiplexing of several video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8451—Structuring of content, e.g. decomposing content into time segments using Advanced Video Coding [AVC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/84—Television signal recording using optical recording
    • H04N5/85—Television signal recording using optical recording on discs or drums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
    • H04N9/8045—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction using predictive coding
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B2220/00—Record carriers by type
    • G11B2220/20—Disc-shaped record carriers
    • G11B2220/21—Disc-shaped record carriers characterised in that the disc is of read-only, rewritable, or recordable type
    • G11B2220/213—Read-only discs
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B2220/00—Record carriers by type
    • G11B2220/20—Disc-shaped record carriers
    • G11B2220/25—Disc-shaped record carriers characterised in that the disc is based on a specific recording technology
    • G11B2220/2537—Optical discs
    • G11B2220/2541—Blu-ray discs; Blue laser DVR discs

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Television Signal Processing For Recording (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明公开了记录方法。本发明提供了记录设备、记录方法、再现设备、再现方法、程序和记录介质，其中可以确保通过根据预定的编码体系对记录在诸如BD之类的记录介质中的多组视频数据编码而获得的基本流和扩展流的同步。向存储基本视角视频的图片的数据的分组和存储对应的从属视角视频的图片的数据的分组设定了在编码期间确保了PCR同步的相同时间信息。即使基本视角视频流和从属视角视频流分别被包括在不同的TS中，也向存储对应图片的数据的分组设定相同的时间信息。本发明可应用到与BD-ROM标准相对应的再现设备。

Description

记录方法
分案申请说明
本申请是申请日为2010年4月6日、申请号为No.201080001745.X、题为“记录设备、记录方法、重放设备、重放方法、程序和记录介质”的中国发明专利申请(PCT国际申请PCT/JP2010/056237)的分案申请。
技术领域
本发明涉及记录设备、记录方法、重放设备、重放方法、程序和记录介质，具体而言涉及可用于确保通过利用预定的编码方法对多个视频数据编码而获得的基本流(basicstream)和扩展流(extendedstream)之间的同步的记录设备、记录方法、重放设备、重放方法、程序和记录介质。
背景技术
二维图像内容是诸如电影之类的内容的主流，但是最近使能实现立体感视觉的立体感图像内容已经吸引了注意。
显示立体感图像需要专用设备，并且这种立体感设备的一个示例是NHK(日本广播公司)开发的IP(IntegralPhotography)立体感图像系统。
立体感图像的图像数据是由多个视点的图像数据(从多个视点拍摄的图像的图像数据)构成的，视点的数目越多，并且视点覆盖的范围越宽，就可以从越多的不同方向观看被摄体，从而可以实现所谓的“能够立体观看的电视”。
在立体感图像之中，视点数目最少的是视点数目为两个的立体图像(所谓的3D图像)。立体图像的图像数据由作为被左眼观察的图像的左图像的数据和作为被右眼观察的图像的右图像的数据构成。
另一方面，高分辨率图像内容具有较大的数据量，从而为了记录这样大数据量的内容，需要大容量记录介质。
作为这种大容量记录介质，例如有Blu-Ray(注册商标)盘(以下也称之为BD)，比如BD(Blu-Ray(注册商标))-ROM(只读存储器)等等。
引文列表
专利文献
PTL1：日本未实审专利申请公布No.2005-348314
发明内容
技术问题
顺便说一下，在BD标准中，还没有规定如何在BD中记录包括立体图像在内的立体感图像的图像数据或者如何播放它。
例如，立体图像的图像数据是由左图像的数据流和右图像的数据流这两个数据流构成的。因此，必须以使得能够在确保同步的情况下执行重放的方式这两个数据流记录在BD中。
本发明是考虑到上述情形而做出的，并且能够确保通过利用预定的编码方法对多个视频数据编码而获得的基本流与扩展流的同步。
解决问题的方案
根据本发明一个方面的记录设备包括：编码装置，被配置为在通过利用预定的编码方法对多个视频数据编码而获得的基本流和扩展流各自被包括在不同的传输流中以被记录在记录介质中的情况下，通过向存储构成基本流的第一图片和构成扩展流的第二图片之中的、在解码顺序上存在于相同位置的第一图片和第二图片的每个数据的分组设定以相同PCR作为基准的相同DTS，并且向存储在显示顺序上存在于相同位置的第一图片和第二图片的每个数据的分组设定以相同PCR作为基准的相同PTS，来执行编码。
根据本发明一个方面的记录方法包括以下步骤：在通过利用预定的编码方法对多个视频数据编码而获得的基本流和扩展流各自被包括在不同的传输流中以被记录在记录介质中的情况下，通过向存储构成基本流的第一图片和构成扩展流的第二图片之中的、在解码顺序上存在于相同位置的第一图片和第二图片的每个数据的分组设定以相同PCR作为基准的相同DTS，并且向存储在显示顺序上存在于相同位置的第一图片和第二图片的每个数据的分组设定以相同PCR作为基准的相同PTS，来执行编码。
根据本发明一个方面的程序使得计算机执行包括以下步骤的处理：在通过利用预定的编码方法对多个视频数据编码而获得的基本流和扩展流各自被包括在不同的传输流中以被记录在记录介质中的情况下，通过向存储构成基本流的第一图片和构成扩展流的第二图片之中的、在解码顺序上存在于相同位置的第一图片和第二图片的每个数据的分组设定以相同PCR作为基准的相同DTS，并且向存储在显示顺序上存在于相同位置的第一图片和第二图片的每个数据的分组设定以相同PCR作为基准的相同PTS，来执行编码。
根据本发明一个方面的记录介质，其中以相同PCR作为基准的相同DTS被设定到存储构成通过利用预定的编码方法对多个视频数据编码而获得的基本流的第一图片和构成扩展流的第二图片之中的、在解码顺序上存在于相同位置的第一图片和第二图片的每个数据的分组，以相同PCR作为基准的相同PTS被设定到存储在显示顺序上存在于相同位置的第一图片和第二图片的每个数据的分组，并且该基本流和该扩展流被记录在该记录介质中。
根据本发明另一方面的重放设备包括：解码装置，被配置为获得被包含在记录在记录介质中的各自不同的传输流中的、通过利用预定的编码方法对多个视频数据编码而获得的基本流和扩展流，基于被设定到存储构成基本流的第一图片和构成扩展流的第二图片之中的、在解码顺序上存在于相同位置的第一图片和第二图片的每个数据的分组的以相同PCR作为基准的相同DTS来执行解码，并且基于被设定到存储在显示顺序上存在于相同位置的第一图片和第二图片的每个数据的分组的以相同PCR作为基准的相同PTS来输出解码结果的数据。
根据本发明另一方面的重放方法包括以下步骤：获得被包含在记录在记录介质中的各自不同的传输流中的、通过利用预定的编码方法对多个视频数据编码而获得的基本流和扩展流，基于被设定到存储构成基本流的第一图片和构成扩展流的第二图片之中的、在解码顺序上存在于相同位置的第一图片和第二图片的每个数据的分组的以相同PCR作为基准的相同DTS来执行解码；以及基于被设定到存储在显示顺序上存在于相同位置的第一图片和第二图片的每个数据的分组的以相同PCR作为基准的相同PTS来输出解码结果的数据。
根据本发明另一方面的程序使得计算机执行包括以下步骤的处理：获得被包含在记录在记录介质中的各自不同的传输流中的、通过利用预定的编码方法对多个视频数据编码而获得的基本流和扩展流，基于被设定到存储构成基本流的第一图片和构成扩展流的第二图片之中的、在解码顺序上存在于相同位置的第一图片和第二图片的每个数据的分组的以相同PCR作为基准的相同DTS来执行解码；以及基于被设定到存储在显示顺序上存在于相同位置的第一图片和第二图片的每个数据的分组的以相同PCR作为基准的相同PTS来输出解码结果的数据。
在本发明的一个方面中，在通过利用预定的编码方法对多个视频数据编码而获得的基本流和扩展流各自被包括在不同的传输流中以被记录在记录介质中的情况下，通过向存储构成基本流的第一图片和构成扩展流的第二图片之中的、在解码顺序上存在于相同位置的第一图片和第二图片的每个数据的分组设定以相同PCR作为基准的相同DTS，并且向存储在显示顺序上存在于相同位置的第一图片和第二图片的每个数据的分组设定以相同PCR作为基准的相同PTS，来执行编码。
在本发明的另一方面中，获得被包含在记录在记录介质中的各自不同的传输流中的、通过利用预定的编码方法对多个视频数据编码而获得的基本流和扩展流，基于被设定到存储构成基本流的第一图片和构成扩展流的第二图片之中的、在解码顺序上存在于相同位置的第一图片和第二图片的每个数据的分组的以相同PCR作为基准的相同DTS来执行解码；并且基于被设定到存储在显示顺序上存在于相同位置的第一图片和第二图片的每个数据的分组的以相同PCR作为基准的相同PTS来输出解码结果的数据。
本发明的有利效果
根据本发明，在通过利用预定的编码方法对多个视频数据编码而获得的基本流和扩展流之间可以确保同步。
附图说明
图1是示出包括应用了本发明的重放设备的重放系统的配置示例的示图。
图2是示出拍摄示例的示图。
图3是示出MVC编码器的配置示例的框图。
图4是示出参考图像的示例的示图。
图5是示出TS的配置示例的示图。
图6是示出TS的另一配置示例的示图。
图7是示出TS的另一配置示例的示图。
图8是示出AV流管理的示例的示图。
图9是示出主路径和子路径的结构的示图。
图10是示出要记录在光盘中的文件的管理结构的示例的示图。
图11是示出播放列表文件的语法的示图。
图12是示出如何使用图11中的reserved_for_future_use的示例的示图。
图13是示出3D_PL_type的值的含义的示图。
图14是示出view_type的值的含义的示图。
图15是示出图11中的PlayList()的语法的示图。
图16是示出图15中的SubPath()的语法的示图。
图17是示出图16中的SubPlayItem(i)的语法的示图。
图18是示出图15中的PlayItem()的语法的示图。
图19是示出图18中的STN_table()的语法的示图。
图20是示出重放设备的配置示例的框图。
图21是示出图20中的解码器单元的配置示例的示图。
图22是示出用于执行视频流处理的配置的示图。
图23是示出用于执行视频流处理的配置的示图。
图24是示出用于执行视频流处理的另一配置的示图。
图25是示出访问单元(AccessUnit)的示例的示图。
图26是示出用于执行视频流处理的另一配置的示图。
图27是示出合成单元及其前级的配置的示图。
图28是示出合成单元及其前级的配置的另一示图。
图29是示出软件制作处理单元的配置示例的框图。
图30是示出包括软件制作处理单元在内的每个配置的示例的示图。
图31是示出要在记录设备中设置的3D视频TS生成单元的配置示例的示图。
图32是示出要在记录设备中设置的3D视频TS生成单元的另一配置示例的示图。
图33是示出要在记录设备中设置的3D视频TS生成单元的另一配置示例的示图。
图34是示出用于对访问单元解码的重放设备侧的配置的示图。
图35是示出解码处的示图。
图36是示出封闭GOP(CloseGOP)结构的示图。
图37是示出开放GOP(OpenGOP)结构的示图。
图38是示出GOP内的帧/场的最大数目的示图。
图39是示出封闭GOP结构的示图。
图40是示出开放GOP结构的示图。
图41是示出对EP_map设定的解码开始位置的示例的示图。
图42是示出在未定义从属视角视频的GOP结构的情况下导致的问题的示图。
图43是示出图片搜索的概念的示图。
图44是示出在光盘上记录的AV流的结构的示图。
图45是示出剪辑AV流的示例的示图。
图46是概念性地示出与图45中的剪辑AV流相对应的EP_map的示图。
图47是示出SPN_EP_start所指示的源分组的数据结构的示例的示图。
图48是示出计算机的硬件的配置示例的框图。
标号列表
1重放设备
2光盘
3显示设备
11MVC编码器
21H.264/AVC编码器
22H.264/AVC解码器
23深度计算单元
24从属视角视频编码器
25复用器
51控制器
52盘驱动器
53存储器
54本地存储装置
55互联网接口
56解码器单元
57操作输入单元
具体实施方式
第一实施例
重放系统的配置示例
图1是示出包括应用了本发明的重放设备1的重放系统的配置示例的示图。
如图1所示，此重放系统由通过HDMI(高清晰度多媒体接口)线缆之类连接的重放设备1和显示设备3构成。诸如BD之类的光盘2被安装在重放设备1上。
播放视点数目为两个的立体图像(所谓的3D图像)所必需的流被记录在光盘2中。
重放设备1是与光盘2中记录的流的3D重放兼容的播放器。重放设备1播放光盘2中记录的流，并且在由电视接收机之类构成的显示设备3上显示通过重放而获得的3D图像。音频也以相同的方式被重放设备1播放，并且从扬声器之类被输出以被提供到显示设备3。
各种方法已被提出来作为3D图像显示方法。现在，作为3D图像显示方法，将采用以下的第1类显示方法和第2类显示方法。
第1类显示方法是这样一种方法：其中，3D图像的数据由被左眼观察的图像(L图像)的数据和被右眼观察的图像(R图像)的数据构成，并且通过交替显示L图像和R图像来显示3D图像。
第2类显示方法是用于通过显示将利用原始图像的数据和深度(Depth)的数据生成的L图像和R图像来显示3D图像的方法，其中原始图像是充当生成3D图像的源的图像。第2类显示方法要使用的3D图像的数据是由原始图像的数据和能够在被提供以原始图像时生成L图像和R图像的深度的数据构成的。
第1类显示方法是在观看和收听时必须有眼镜的显示方法。第2类显示方法是可以在没有眼镜的情况下观看和收听3D图像的显示方法。
流被记录在光盘2中，从而可通过第1类和第2类显示方法之一来显示3D图像。
作为用于将这种流记录在光盘2中的编码方法，例如，采用H.264AVC(高级视频编码)/MVC(多视角视频编码)。
H.264AVC/MVC规格
在H.264AVC/MVC中，定义了被称为基本视角(Baseview)视频的图像流和被称为从属视角(Dependentview)视频的图像流。以下，H.264AVC/MVC在适当时被简称为MVC。
图2是示出拍摄示例的示图。
如图2所示，拍摄是利用以相同的被摄体作为对象的用于L图像的相机和用于R图像的相机来执行的。由用于L图像的相机和用于R图像的相机拍摄的视频的基元流(elementarystream)被输入到MVC编码器。
图3是示出MVC编码器的配置示例的框图。
如图3所示，MVC编码器11由H.264/AVC编码器21、H.264/AVC解码器22、深度计算单元23、从属视角视频编码器24以及复用器25构成。
由用于L图像的相机拍摄的视频#1的流被输入到H.264/AVC编码器21和深度计算单元23。另外，由用于R图像的相机拍摄的视频#2的流被输入到深度计算单元23和从属视角视频编码器24。可以进行这样的布置，即视频#2的流被输入到H.264/AVC编码器21和深度计算单元23，而视频#1的流被输入到深度计算单元23和从属视角视频编码器24。
H.264/AVC编码器21将视频#1的流编码为例如H.264AVC/高规格视频流。H.264/AVC编码器21将经编码获得的AVC视频流输出到H.264/AVC解码器22和复用器25，作为基本视角视频流。
H.264/AVC解码器22对从H.264/AVC编码器21提供来的AVC视频流解码，并且将经解码获得的视频#1的流输出到从属视角视频编码器24。
深度计算单元23基于视频#1的流和视频#2的流计算深度，并且将计算出的深度数据输出到复用器25。
从属视角视频编码器24对从H.264/AVC解码器22提供来的视频#1的流和从外部输入的视频#2的流编码，并且输出从属视角视频流。
对于基本视角视频，不允许以另一流作为参考图像的预测性编码，但如图4所示，对于从属视角视频，允许以基本视角视频作为参考图像的预测性编码。例如，在以L图像作为基本视角视频并且以R图像作为从属视角视频来执行编码的情况下，作为其结果获得的从属视角视频流的数据量小于基本视角视频流的数据量。
注意，根据利用H.264/AVC的编码，对于基本视角视频，执行了时间方向上的预测。另外，对于从属视角视频，除了视角之间的预测以外，也执行了时间方向上的预测。为了对从属视角视频解码，需要预先完成对编码时用作参考目标的相应基本视角视频的解码。
从属视角视频编码器24把通过利用这种视角之间的预测进行的编码而获得的从属视角视频流输出到复用器25。
复用器25把从H.264/AVC编码器21提供来的基本视角视频流、从深度计算单元23提供来的从属视角视频流(深度的数据)和从从属视角视频编码器24提供来的从属视角视频流复用为例如MPEG2TS。基本视角视频流和从属视角视频流可被复用在单个MPEG2TS中，或者可被包括在单独的MPEG2TS中。
复用器25输出所生成的TS(MPEG2TS)。从复用器25输出的TS与其他管理数据一起在记录设备处被记录在光盘2中，并且以记录在光盘2中的方式被提供到重放设备1。
在要将第1类显示方法中与基本视角视频一起使用的从属视角视频与第2类显示方法中与基本视角视频一起使用的从属视角视频(深度)区分开来的情况下，将前者称为D1视角视频，并且将后者称为D2视角视频。
另外，将利用基本视角视频和D1视角视频来执行的第1类显示方法中的3D重放将被称为B-D1重放。将利用基本视角视频和D2视角视频来执行的第2类显示方法中的3D重放将被称为B-D2重放。
在根据用户的指示之类执行B-D1重放的情况下，重放设备1从光盘2中读出并播放基本视角视频流和D1视角视频流。
另外，在执行B-D2重放的情况下，重放设备1从光盘2中读出并播放基本视角视频流和D2视角视频流。
另外，在执行通常2D图像的重放的情况下，重放设备1仅从光盘2中读出并播放基本视角视频流。
基本视角视频流是通过H.264/AVC编码的AVC视频流，从而，只要重放设备1是与BD格式兼容的播放器，重放设备1就可以播放该基本视角视频流以显示2D图像。
以下，将主要描述从属视角视频是D1视角视频的情况。当简单地称为从属视角视频时，它表示D1视角视频。D2视角视频也以与D1视角视频相同的方式被记录在光盘2中并被播放。
TS的配置示例
图5是示出TS的配置示例的示图。
在图5中，基本视角视频、从属视角视频、主音频(Primaryaudio)、基本PG、从属PG、基本IG和从属IG被复用在主TS(MainTS)中。如上所述，从属视角视频流可与基本视角视频流一起被包括在主TS中。
主TS和子TS(SubTS)被记录在光盘2中。主TS是至少包括基本视角视频流的TS。子TS是要与主TS一起使用的、包括除基本视角视频流以外的流的TS。
对于以下描述的PG和IG，准备了基本视角和从属视角的每个流，以使得3D的显示与视频一样是可得的。
通过对每个流解码而获得的PG和IG的基本视角的平面是通过与通过对基本视角视频流解码而获得的基本视角视频的平面相合成来显示的。类似地，PG和IG的从属视角的平面是通过与通过对从属视角视频流解码而获得的从属视角视频的平面相合成来显示的。
例如，在基本视角视频流是L图像的流并且从属视角视频流是R图像的流的情况下，对于PG和IG，该基本视角的流也成为L图像的图形流。另外，从属视角的PG流和IG流成为R图像的图形流。
另一方面，在基本视角视频流是R图像的流并且从属视角视频流是L图像的流的情况下，对于PG和IG，该基本视角的流也成为R图像的图形流。另外，从属视角的PG流和IG流成为L图像的图形流。
图6是示出TS的另一配置示例的示图。
在图6中，基本视角视频和从属视角视频的每个流被复用在主TS中。
另一方面，主音频、基本PG、从属PG、基本IG和从属IG的每个流被复用在子TS中。
从而，可以进行一种布置，其中视频流被复用在主TS中，并且PG和IG的流等等被复用在子TS中。
图7是示出TS的另一配置示例的示图。
在图7(A)中，基本视角视频、主音频、基本PG、从属PG、基本IG和从属IG的每个流被复用在主TS中。
另一方面，从属视角视频流被包括在子TS中。
从而，从属视角视频流可被包括在不同于基本视角视频流的另一TS中。
在图7(B)中，基本视角视频、主音频、PG和IG的每个流被复用在主TS中。另一方面，从属视角视频、基本PG、从属PG、基本IG和从属IG的每个流被复用在子TS中。
主TS中包括的PG和IG是用于2D重放的流。子TS中包括的流是用于3D重放的流。
从而，对于2D重放和3D重放，可能不共享PG的流和IG的流。
如上所述，基本视角视频流和从属视角视频流可被包括在不同的MPEG2TS中。将描述在基本视角视频流和从属视角视频流被包括在不同的MPEG2TS中并被记录的情况下的优点。
例如，让我们考虑限制了复用为单个MPEG2TS的比特率的情况。在此情况下，当基本视角视频流和从属视角视频流两者都被包括在单个MPEG2TS中时，每个流的比特率需要被减小以满足该约束。其结果是，图像质量劣化。
由于将每个流包括在不同的MPEG2TS中，所以不需要减小比特率，因此可以防止图像质量劣化。
应用格式
图8是示出重放设备1进行的AV流管理的示例的示图。
如图8所示，AV流管理是利用播放列表(PlayList)和剪辑(Clip)这两层来执行的。AV流可被记录在重放设备1的本地存储装置中，而不只是记录在光盘2中。
这里，一个AV流和作为伴随它的信息的剪辑信息(ClipInformation)形成的一对被认为是一个对象，并且它们将被统称为剪辑。以下，存储AV流的文件将被称为AV流文件。另外，存储剪辑信息的文件也将被称为剪辑信息文件。
AV流被映射在时间轴上，并且每个剪辑的访问点主要是由播放列表中的时间戳来指定的。剪辑信息文件用于找出AV流内开始解码的地址，等等。
播放列表是AV流的重放区间的群组。AV流内的一个重放区间将被称为播放项目(PlayItem)。播放项目在时间轴上是利用重放区间的In点和Out点这一对来表示的。如图8所示，播放列表是由单个或多个播放项目构成的。
图8中从左边起的第一个播放列表由两个播放项目构成，左侧的剪辑中包括的AV流的前半部分和后半部分分别被这两个播放项目所引用。
从左边起的第二个播放列表由一个播放项目构成，并且据此来引用右侧的剪辑中包括的整个AV流。
从左边起的第三个播放列表由两个播放项目构成，并且根据这两个播放项目，引用了左侧的剪辑中包括的AV流的某一部分和右侧的剪辑中包括的AV流的某一部分。
例如，在从左边起的第一个播放列表中包括的左侧的播放项目被盘导航程序指定为重放对象的情况下，被该播放项目引用的、左侧的剪辑中包括的AV流的前半部分的重放被执行。这样，播放列表被用作用于管理AV流的重放的重放管理信息。
由播放列表内的一个或多个播放项目的阵列创建的重放路径将被称为主路径(MainPath)。
另外，由播放列表内的一个或多个子播放项目(SubPlayItem)的阵列创建的、与主路径并行的重放路径将被称为子路径(SubPath)。
图9是示出主路径和子路径的结构的示图。
播放列表可具有一个主路径和一个或多个子路径。
上述基本视角视频流是作为构成主路径的播放项目引用的流而被管理的。另外，从属视角视频流是作为构成子路径的子播放项目引用的流而被管理的。
图9中的播放列表具有由三个播放项目的阵列构成的一个主路径，以及三个子路径。
从开头起，向构成主路径的每个播放项目设定ID。从开头起，向子路径也分别设定Subpath_id＝0、Subpath_id＝1和Subpath_id＝2这些ID。
在图9的示例中，在Subpath_id＝0的子路径中包括一个子播放项目，并且在Subpath_id＝1的子路径中包括两个子播放项目。另外，在Subpath_id＝2的子路径中包括一个子播放项目。
被一个播放项目引用的剪辑AV流至少包括视频流(主图像数据)。
另外，剪辑AV流可以包括或不包括要与剪辑AV流中包括的视频流在相同定时(同步地)播放的一个或多个音频流。
剪辑AV流可包括或不包括要与剪辑AV流中包括的视频流同步地播放的一个或多个位图式字幕数据(PG(呈现图形))流。
剪辑AV流可包括或不包括要与剪辑AV流文件中包括的视频流同步地播放的一个或多个IG(交互图形)流。IG流用于显示诸如要由用户操作的按钮之类的图形。
在被一个播放项目引用的剪辑AV流中，复用了视频流、要与之同步播放的零个或更多个音频流、零个或更多个PG流和零个或更多个IG流。
另外，一个子播放项目引用作为与播放项目引用的剪辑AV流不同的流的视频流、音频流、PG流等等。
在日本未实审专利申请公布No.2008-252740和日本未实审专利申请公布No.2005-348314中描述了对使用这种播放列表、播放项目和子播放项目的AV流的管理。
目录结构
图10是示出要记录在光盘2中的文件的管理结构的示例的示图。
如图10中所示，文件是以层次方式通过目录结构来管理的。在光盘2上创建一个根目录(root)。根目录下面成为了一个记录/重放系统要管理的范围。
BDMV目录被部署在根目录下而。
紧挨BDMV目录下面，存储了索引文件和电影对象文件，其中索引文件是被设定了名称“Index.bdmv”的文件，并且电影对象文件是被设定了名称“MovieObject.bdmv”的文件。
在BDMV目录下面设有BACKUP目录、PLAYLIST目录、CLIPINF目录、STREAM目录等等。
在PLAYLIST目录中存储有描述了播放列表的播放列表文件。对于每个播放列表文件设定有组合了五位数字和扩展名“.mpls”的名称。对于图10中示出的一个播放列表文件设定了文件名“00000.mpls”。
在CLIPINF目录中存储有剪辑信息文件。对每个剪辑信息文件设定有组合了五位数字和扩展名“.clpi”的名称。
对于图10中的三个剪辑信息文件，分别设定了文件名“00001.clpi”、“00002.clpi”和“00003.clpi”。以下，在适当时将把剪辑信息文件称为clpi文件。
例如，“00001.clpi”的clpi文件是其中描述了与基本视角视频的剪辑有关的信息的文件。
“00002.clpi”的clpi文件是其中描述了与D2视角视频的剪辑有关的信息的文件。
“00003.clpi”的clpi文件是其中描述了与D1视角视频的剪辑有关的信息的文件。
在STREAM目录中存储了流文件。对于每个流文件，设定有组合了五位数字和扩展名“.m2ts”的名称或组合了五位数字和扩展名“.ilvt”的名称。以下，在适当时将把设定有扩展名“.m2ts”的文件称为m2ts文件。另外，在适当时将把设定有扩展名“.ilvt”的文件称为ilvt文件。
“00001.m2ts”的m2ts文件是用于2D重放的文件，并且通过指定此文件来执行基本视角视频流的读出。
“00002.m2ts”的m2ts文件是D2视角视频流文件，并且“00003.m2ts”的文件是D1视角视频流的文件。
“10000.ilvt”的ilvt文件是用于B-D1重放的文件，并且通过指定此文件来执行基本视角视频流和D1视角视频流的读出。
“20000.ilvt”的ilvt文件是用于B-D2重放的文件，并且通过指定此文件来执行基本视角视频流和D2视角视频流的读出。
除了图10中所示的目录以外，在BDMV目录下面还设有存储音频流文件的目录等等。
每个数据的语法
图11是示出播放列表文件的语法的示图。
播放列表文件是被设定有扩展名“.mpls”的文件，其被存储在图10中的PLAYLIST目录中。
图11中的type_indicator表示“xxxxx.mpls”文件的类型。
version_number表示“xxxxx.mpls”的版本号。version_number由四位数字构成。例如，对于用于3D重放的播放列表文件，设定了表示这是“3DSpec版本”的“0240”。
PlayList_start_address表示PlayList()的开头地址，以从播放列表文件的开头字节起的相对字节数为单位。
PlayListMark_start_address表示PlayListMark()的开头地址，以从播放列表文件的开头字节起的相对字节数为单位。
ExtensionData_start_address表示ExtensionData()的开头地址，以从播放列表文件的开头字节起的相对字节数为单位。
在ExtensionData_start_address后面包括了160比特的reserved_for_future_use。
与诸如重放限制等等之类的播放列表的重放控制有关的参数被存储在AppInfoPlayList()中。
与主路径、子路径等等有关的参数被存储在PlayList()中。PlayList()的内容将在下文中描述。
播放列表标记信息，即与作为用户操作的跳跃目的地(跳跃点)的标记或者用于指示章节跳跃之类的命令有关的信息被存储在PlayListMark()中。
隐私数据被插入在ExtensionData()中。
图12是示出播放列表文件的描述的具体示例的示图。
如图12所示，在播放列表文件中描述了2比特的3D_PL_type和1比特的view_type。
3D_PL_type表示播放列表的类型。
view_type表示其重放由播放列表管理的基本视角视频流是L图像(L视角)流还是R图像(R视角)流。
图13是示出3D_PL_type的值的含义的示图。
3D_PL_type的值00表示这是用于2D重放的播放列表。
3D_PL_type的值01表示这是用于3D重放的B-D1重放的播放列表。
3D_PL_type的值10表示这是用于3D重放的B-D2重放的播放列表。
例如，在3D_PL_type的值是01或10的情况下，3DPlayList信息被登记在播放列表文件的ExtensionData()中。例如，与从光盘2读出基本视角视频流和从属视角视频流有关的信息被登记作为3DPlayList信息。
图14是示出view_type的值的含义的示图。
在执行3D重放的情况下，view_type的值0表示基本视角视频流是L视角流。在执行2D重放的情况下，view_type的值00表示基本视角视频流是AVC视频流。
view_type的值1表示基本视角视频流是R视角流。
重放设备1可以通过在播放列表文件中描述的view_type，来识别基本视角视频流是L视角流还是R视角流。
例如，在视频信号经由HDMI线缆被输入到显示设备3的情况下，可以设想重放设备1需要在L视角信号和R视角信号中的每一个被区分出来之后输出这些信号。
通过使得能够识别基本视角视频流是L视角流还是R视角流，重放设备1可以区分并输出L视角信号和R视角信号。
图15是示出图11中的PlayList()的语法的示图。
length是不包括符号的32比特整数，指示出从紧挨此length字段之后到PlayList()的末尾的字节数目。也就是说，length表示从reserved_for_future_use到播放列表的术尾的字节数目。
在length后准备了16比特的reserved_for_future_use。
number_of_PlayItems是指示出播放列表内的播放项目的数目的16比特字段。在图9的示例的情况下，播放项目的数目是3。PlayItem_id的值是按PlayItem()出现在播放列表内的顺序从0开始指派的。例如，向其指派了图9中的PlayItem_id＝0，1，2。
number_of_SubPaths是指示出播放列表内的子路径的数目的16比特字段。在图9的示例的情况下，子路径的数目是3。SubPath_id的值是按SubPath()出现在播放列表内的顺序从0开始指派的。例如，向其指派了图9中的Subpath_id＝0，1，2。在随后的for语句中，用播放项目的数目来引用PlayItem()，并且用子路径的数目来引用SubPath()。
图16是示出图15中的SubPath()的语法的示图。
length是不包括符号的32比特整数，指示出从紧挨此length字段之后到SubPath()的末尾的字节数目。也就是说，length表示从reserved_for_future_use到播放列表的末尾的字节数目。
在length后准备了8比特的reserved_for_future_use。
SubPath_type是指示出子路径的应用的类型的8比特字段。SubPath_type例如用在指示出子路径的类型是音频、位图字幕还是文本字幕的情况中。
在SubPath_type后准备了15比特的reserved_for_future_use。
is_repeat_SubPath是指定子路径的重放方法的1比特字段，其指示出是在主路径的重放期间反复执行子路径的重放，还是只执行一次子路径的重放。例如，在被主路径引用的剪辑的重放定时和被子路径引用的剪辑的重放定时不同的情况下(在主路径被作为静止图像的幻灯片放映的路径，并且子路径被作为充当BGM的音频的路径等等的情况下)，使用此字段。
在is_repeat_SubPath后准备了8比特的reserved_for_future_use。
number_of_SubPlayItems是指示出一个子路径内的子播放项目的数目(条目的数目)的8比特字段。例如，图9中的SubPath_id＝0的子播放项目的number_of_SubPlayItems是1，并且SubPath_id＝1的子播放项目的number_of_SubPlayItems是2。在随后的for语句中，用子播放项目的数目来引用SubPlayItem()。
图17是示出图16中的SubPlayItem(i)的语法的示图。
length是不包括符号的16比特整数，指示出从紧挨此length字段之后到SubPlayItem()的末尾的字节数目。
图17中的SubPlayItem(i)是分成子播放项目引用一个剪辑的情况和子播放项目引用多个剪辑的情况来描述的。
将描述子播放项目引用一个剪辑的情况。
Clip_Information_file_name[0]表示要引用的剪辑。
Clip_codec_identifier[0]表示剪辑编解码方法。在Clip_codec_identifier[0]之后包括了reserved_for_future_use。
is_multi_Clip_entries是指示出多个剪辑的登记的存在与否的标志。在is_multi_Clip_entries的标志开启的情况下，引用在子播放项目引用多个剪辑的情况下的语法。
ref_to_STC_id[0]是与STC不连续点(系统时基的不连续点)有关的信息。
SubPlayItem_IN_time表示子路径的重放区间的开始位置，并且SubPlayItem_OUT_time表示结束位置。
sync_PlayItem_id和sync_start_PTS_of_PlayItem表示在主路径的时间轴上子路径开始重放的时刻。
SubPlayItem_IN_time、SubPlayItem_OUT_time、sync_PlayItem_id和sync_start_PTS_of_PlayItem是在子播放项目引用的剪辑处共同使用的。
将描述“If(is_multi_Clip_entries＝＝1b)”，从而子播放项目引用多个剪辑的情况。
num_of_Clip_entries表示要引用的剪辑的数目。Clip_Information_file_name[SubClip_entry_id]的数目指定除Clip_Information_file_name[0]以外的剪辑的数目。
Clip_codec_identifier[SubClip_entry_id]表示剪辑编解码方法。
ref_to_STC_id[SubClip_entry_id]是与STC不连续点(系统时基的不连续点)有关的信息。在ref_to_STC_id[SubClip_entry_id]后准备了reserved_for_future_use。
图18是示出图15中的PlayItem()的语法的示图。
length是不包括符号的16比特整数，指示出从紧挨此length字段之后到PlayItem()的末尾的字节数目。
Clip_Information_file_name[0]表示播放项目所引用的剪辑的剪辑信息文件的文件名。注意，在包括剪辑的m2ts文件的文件名和与之相对应的剪辑信息文件的文件名中包括相同的5位数字。
Clip_codec_identifier[0]表示剪辑编解码方法。在Clip_codec_identifier[0]之后包括了reserved_for_future_use。在reserved_for_future_use之后包括了is_multi_angle和connection_condition。
ref_to_STC_id[0]是与STC不连续点(系统时基的不连续点)有关的信息。
IN_time表示播放项目的重放区间的开始位置，并且OUT_time表示结束位置。
在OUT_time之后包括了UO_mask_table()、PlayItem_random_access_mode和still_mode。
STN_table()包括对象播放项目所引用的AV流的信息。另外，在存在要以与对象播放项目相关的方式播放的子路径的情况下，还包括构成该子路径的子播放项目所引用的AV流的信息。
图19是示出图18中的STN_table()的语法的示图。
STN_table()被设定为播放项目的属性。
length是不包括符号的16比特整数，指示出从紧挨此length字段之后到STN_table()末尾的字节数目。在length之后准备了16比特的reserved_for_future_use。
number_of_video_stream_entries表示被提供以在STN_table()内要输入(登记)的video_stream_id的流的数目。
video_stream_id是用于标识视频流的信息。例如，基本视角视频流是通过该video_stream_id来确定的。
从属视角视频流的ID可在STN_table()内定义，或者可以通过诸如向基本视角视频流的ID添加预定的值之类的计算来获得。
video_stream_number是从用户来看的视频流号码，用于视频切换。
number_of_audio_stream_entries表示被提供以在STN_table()内输入的audio_stream_id的第一音频流的流的数目。audio_stream_id是用于标识音频流的信息，并且audio_stream_number是从用户来看的音频流号码，用于音频切换。
number_of_audio_stream2_entries表示被提供以在STN_table()内输入的audio_stream_id2的第二音频流的流的数目。audo_stream_id2是用于标识音频流的信息，并且audio_stream_number是从用户来看的音频流号码，用于音频切换。在此示例中，要播放的音频被布置成要被切换。
number_of_PG_txtST_stream_entries表示被提供以在STN_table()内输入的PG_txtST_stream_id的流的数目。在此之中，输入了通过使位图字幕经历游程长度编码而获得的PG流和文本字幕文件(txtST)。PG_txtST_stream_id是用于标识字幕流的信息，并且PG_txtST_stream_number是从用户来看的字幕流号码，用于字幕切换。
number_of_IG_stream_entries表示被提供以在STN_table()内输入的IG_stream_id的流的数目。在此之中，输入了IG流。IG_stream_id是用于标识IG流的信息，并且IG_stream_number是从用户来看的图形流号码，用于图形切换。
在STN_table()中还登记了主TS和子TS的ID。在stream_attribute()中描述了该ID不是基元流而是TS的ID。
重放设备1的配置示例
图20是示出重放设备1的配置示例的框图。
控制器51执行所准备的控制程序，以控制重放设备1的整体操作。
例如，控制器51控制盘驱动器52读出用于3D重放的播放列表文件。另外，控制器51控制盘驱动器52基于STN_table中登记的ID读出主TS和子TS并将其提供给解码器单元56。
盘驱动器52根据控制器51的控制从光盘2中读出数据，并且将读出的数据输出到控制器51、存储器53和解码器单元56。
存储器53适当地存储控制器51执行各类处理所必需的数据。
本地存储装置54例如由HDD(硬盘驱动器)构成。从服务器72下载的从属视角视频流等等被记录在本地存储装置54中。本地存储装置54中记录的流也被适当地提供给解码器单元56。
互联网接口55根据来自控制器51的控制经由网络71与服务器72执行通信，并且把从服务器72下载的数据提供给本地存储装置54。
用于更新光盘2中记录的数据的数据被从服务器72下载。与光盘2的内容不同的内容的3D重放可通过使得所下载的从属视角视频流能够与光盘2中记录的基本视角视频流一起使用来实现。当从属视角视频流被下载时，播放列表的内容也被适当地更新。
解码器单元56对从盘驱动器52或本地存储装置54提供来的流解码，并且将所获得的视频信号输出到显示设备3。音频信号也经由预定的路线被输出到显示设备3。
操作输入单元57由诸如按钮、按键、触摸面板、操纵拨盘、鼠标等等之类的输入设备和用于接收诸如从预定的遥控器发射的红外线之类的信号的接收单元构成。操作输入单元57检测用户的操作，以将表示检测到的操作的内容的信号提供给控制器51。
图21是示出解码器单元56的配置示例的示图。
图21示出了执行视频信号的处理的配置。在解码器单元56中，也执行音频信号的解码处理。以音频流作为对象执行的解码处理的结果经由未示出的路线被输出到显示设备3。
PID过滤器101基于构成TS的分组的PID和流的ID来识别从盘驱动器52或本地存储装置54提供来的TS是主TS还是子TS。PID过滤器101将主TS输出到缓冲器102，并且将子TS输出到缓冲器103。
PID过滤器104顺序地读出缓冲器102中存储的主TS的分组以基于PID来对其进行分发。
例如，PID过滤器104把主TS中包括的构成基本视角视频流的分组输出到B视频缓冲器106，并且把构成从属视角视频流的分组输出到开关107。
另外，PID过滤器104把主TS中包括的构成基本IG流的分组输出到开关114，并且把构成从属IG流的分组输出到开关118。
PID过滤器104把主TS中包括的构成基本PG流的分组输出到开关122，并且把构成从属PG流的分组输出到开关126。
如参考图5所述，基本视角视频、从属视角视频、基本PG、从属PG、基本IG和从属IG的每个流可被复用在主TS中。
PID过滤器105顺序地读出缓冲器103中存储的子TS的分组以基于PID来对其进行分发。
例如，PID过滤器105把子TS中包括的构成从属视角视频流的分组输出到开关107。
另外，PID过滤器105把子TS中包括的构成基本IG流的分组输出到开关114，并且把构成从属IG流的分组输出到开关118。
PID过滤器105把子TS中包括的构成基本PG流的分组输出到开关122，并且把构成从属PG流的分组输出到开关126。
如参考图7所述，从属视角视频流可被包括在子TS中。另外，如参考图6所述，基本PG、从属PG、基本IG和从属IG的每个流可被复用在子TS中。
开关107把从PID过滤器104或PID过滤器105提供来的构成从属视角视频流的分组输出到D视频缓冲器108。
开关109根据规定解码定时的时刻信息，顺序地读出B视频缓冲器106中存储的基本视角视频分组和D视频缓冲器108中存储的从属视角视频分组。例如，对于存储基本视角视频的某个图片的数据的分组和存储相应的从属视角视频的图片的数据的分组，设定相同的时刻信息。
开关109把从B视频缓冲器106或D视频缓冲器108读出的分组输出到视频解码器110。
视频解码器110对从开关109提供来的分组解码，以把通过解码获得的基本视角视频或从属视角视频输出到开关111。
开关111把通过对基本视角视频分组解码而获得的数据输出到B视频平面生成单元112，并且把通过对从属视角视频分组解码而获得的数据输出到D视频平面生成单元113。
B视频平面生成单元112基于从开关111提供来的数据生成基本视角视频平面，以将其输出到合成单元130。
D视频平面生成单元113基于从开关111提供来的数据生成从属视角视频平面，以将其输出到合成单元130。
开关114把从PID过滤器104或PID过滤器105提供来的构成基本IG流的分组输出到BIG缓冲器115。
BIG解码器116对存储在BIG缓冲器115中的构成基本IG流的分组解码，以把通过解码获得的数据输出到BIG平面生成单元117。
BIG平面生成单元117基于从BIG解码器116提供来的数据生成基本IG平面，以将其输出到合成单元130。
开关118把从PID过滤器104或PID过滤器105提供来的构成从属IG流的分组输出到DIG缓冲器119。
DIG解码器120对存储在DIG缓冲器119中的构成从属IG流的分组解码，以把通过解码获得的数据输出到DIG平面生成单元121。
DIG平面生成单元121基于从DIG解码器120提供来的数据生成从属IG平面，以将其输出到合成单元130。
开关122把从PID过滤器104或PID过滤器105提供来的构成基本PG流的分组输出到BPG缓冲器123。
BPG解码器124对存储在BPG缓冲器123中的构成基本PG流的分组解码，以把通过解码获得的数据输出到BPG平面生成单元125。
BPG平面生成单元125基于从BPG解码器124提供来的数据生成基本PG平面，以将其输出到合成单元130。
开关126把从PID过滤器104或PID过滤器105提供来的构成从属PG流的分组输出到DPG缓冲器127。
DPG解码器128对存储在DPG缓冲器127中的构成从属PG流的分组解码，以把通过解码获得的数据输出到DPG平面生成单元129。
DPG平面生成单元129基于从DPG解码器128提供来的数据生成从属PG平面，以将其输出到合成单元130。
合成单元130通过按预定的顺序重叠从B视频平面生成单元112提供来的基本视角视频平面、从BIG平面生成单元117提供来的基本IG平面和从BPG平面生成单元125提供来的基本PG平面来合成它们，以生成基本视角平面。
另外，合成单元130通过按预定的顺序重叠从D视频平面生成单元113提供来的从属视角视频平面、从DIG平面生成单元121提供来的基本IG平面和从DPG平面生成单元129提供来的从属PG平面来合成它们，以生成从属视角平面。
合成单元130输出基本视角平面和从属视角平面的数据。从合成单元130输出的视频数据被输出到显示设备3，并且通过交替显示基本视角平面和从属视角平面来执行3D显示。
T-STD(传输流-系统对象解码器)的第一示例
现在，在图21所示的配置中，将描述解码器及其周围的配置。
图22是示出执行视频流的处理的配置的示图。
在图22中，与图21中所示的配置相同的配置用相同的标号来标示。图22示出了PID过滤器104、B视频缓冲器106、开关107、D视频缓冲器108、开关109、视频解码器110和DPB(经解码图片缓冲器)151。虽然在图21中没有示出，但在视频解码器110的后级设置有存储经解码图片的数据的DPB151。
PID过滤器104把主TS中包括的构成基本视角视频流的分组输出到B视频缓冲器106，并且把构成从属视角视频流的分组输出到开关107。
例如，向构成基本视角视频流的分组指派了PID＝0，作为PID的固定值。另外，向构成从属视角视频流的分组指派了除0以外的固定值作为PID。
PID过滤器104把头部用PID＝0描述的分组输出到B视频缓冲器106，并且把头部用除0以外的PID描述的分组输出到开关107。
输出到B视频缓冲器106的分组经由TB(传输缓冲器)1和MB(复用缓冲器)1被存储在VSB1中。基本视角视频的基元流的数据被存储在VSB1中。
不仅从PID过滤器104输出的分组，而且在图21中的PID过滤器105处从子TS中提取的构成从属视角视频流的分组也被提供给开关107。
在构成从属视角视频流的分组被从PID过滤器104提供来的情况下，开关107将其输出到D视频缓冲器108。
另外，在构成从属视角视频流的分组被从PID过滤器105提供来的情况下，开关107将其输出到D视频缓冲器108。
输出到D视频缓冲器108的分组经由TB2和MB2被存储在VSB2中。从属视角视频的基元流的数据被存储在VSB2中。
开关109顺序地读出B视频缓冲器106的VSB1中存储的基本视角视频分组和D视频缓冲器108的VSB2中存储的从属视角视频分组，并把它们输出到视频解码器110。
例如，开关109连续地输出同一时刻的基本视角视频分组和从属视角视频分组到视频解码器110，以便在输出某一时刻的基本视角视频分组之后，立即输出与该时刻相同的时刻的从属视角视频分组。
在存储基本视角视频的某一图片的数据的分组和存储与之相对应的从属视角视频的图片的数据的分组中，在对其进行编码时，设定了确保了PCR(ProgramClockReference，节目时钟基准)同步的相同时刻信息。即使在基本视角视频流和从属视角视频流各自被包括在不同TS中的情况下，也向存储对应图片的数据的分组设定相同的时刻信息。
时刻信息是DTS(解码时间戳)和PTS(呈现时间戳)，并且被设定给每个PES(分组化基元流)分组。
也就是说，当按编码顺序/解码顺序排列每个流的图片时位于相同时刻的基本视角视频的图片和从属视角视频的图片成为对应图片。对于存储某个基本视角视频图片的数据的PES分组和存储在解码顺序上与该图片相对应的从属视角视频图片的数据的PES分组，设定相同的DTS。
另外，当按显示顺序排列每个流的图片时位于相同时刻的基本视角视频图片和从属视角视频图片也成为对应图片。对于存储某个基本视角视频图片的数据的PES分组和存储在显示顺序上与该图片相对应的从属视角视频图片的数据的PES分组，设定相同的PTS。
在基本视角视频流的GOP结构和从属视角视频流的GOP结构是相同结构的情况下，在解码顺序上相对应的图片也成为在显示顺序上相对应的图片，这将在下文中描述。
在串行地执行分组的传送的情况下，在特定定时从B视频缓冲器106的VSB1读出的分组的DTS1和在紧挨该定时之后的定时从D视频缓冲器108的VSB2读出的分组的DTS2表示相同的时刻，如图22所示。
开关109把从B视频缓冲器106的VSB1读出的基本视角视频分组或从D视频缓冲器108的VSB2读出的从属视角视频分组输出到视频解码器110。
视频解码器110顺序地对从开关109提供来的分组解码，以把通过解码获得的基本视角视频图片的数据或从属视角视频图片的数据存储在DPB151中。
存储在DPB151中的经解码图片的数据在预定的定时被开关111读出。另外，存储在DPB151中的经解码图片的数据被视频解码器110用于预测另一图片。
在串行地执行数据的传送的情况下，在某一定时输出的基本视角视频图片的数据的PTS和在紧挨此之后的定时输出的从属视角视频图片的数据的PTS表示相同的时刻。
基本视角视频流和从属视角视频流可被复用在单个TS中，例如参考图5等等所述，或者可以各自被包括在不同的TS中，如参考图7所述。
即使在基本视角视频流和从属视角视频流被复用在单个TS中，或者可各自被包括在不同TS中的情况下，重放设备1也可通过实现图22中的解码器模型来处理这种情况。
例如，如图23所示，在假定只提供单个TS的情形的情况下，重放设备1不能处理基本视角视频流和从属视角视频流被各自包括在不同TS中之类的情况。
另外，根据图22中的解码器模型，即使在基本视角视频流和从属视角视频流被各自包括在不同TS中的情况下，两者具有相同的DTS，从而，分组可在正确的定时被提供给视频解码器110。
可以并行设置用于基本视角视频的解码器和用于从属视角视频的解码器。在此情况下，相同时刻的分组在相同的定时被提供给用于基本视角视频的解码器和用于从属视角视频的解码器中的每一个。
第二示例
图24是示出用于执行视频流的处理的另一配置的示图。
除了图22中的配置以外，图24还示出了开关111、L视频平面生成单元161和R视频平面生成单元162。PID过滤器105是在开关107的前级示出的。将适当地省略重复描述。
L视频平面生成单元161生成L视角视频平面，并且是取代图21中的B视频平面生成单元112设置的。
R视频平面生成单元162生成R视角视频平面，并且是取代图21中的D视频平面生成单元113设置的。
在此示例中，开关111需要识别和输出L视角视频数据和R视角视频数据。
也就是说，开关111需要识别通过对基本视角视频分组解码而获得的数据是否是L视角或R视角的任何视频数据。
另外，开关111需要识别通过对从属视角视频分组解码而获得的数据是否是L视角或R视角的任何视频数据。
参考图12和图14描述的view_type被用于L视角和R视角的识别。例如，控制器51向开关111输出在播放列表文件中描述的view_type。
在view_type的值为0的情况下，开关111把DPB151中存储的数据之中的、通过对由PID＝0标识的基本视角视频分组解码而获得的数据输出到L视频平面生成单元161。如上所述，view_type的值0表示基本视角视频流是L视角流。
在此情况下，开关111把通过对除0以外的PID标识的从属视角视频分组解码而获得的数据输出到R视频平面生成单元162。
另一方面，在view_type的值为1的情况下，开关111把DPB151中存储的数据之中的、通过对由PID＝0标识的基本视角视频分组解码而获得的数据输出到R视频平面生成单元162。view_type的值1表示基本视角视频流是R视角流。
在此情况下，开关111把通过对除0以外的PID标识的从属视角视频分组解码而获得的数据输出到L视频平面生成单元161。
L视频平面生成单元161基于从开关111提供来的数据生成L视角视频平面，并且将其输出到合成单元130。
R视频平面生成单元162基于从开关111提供来的数据生成R视角视频平面，并且将其输出到合成单元130。
在通过H.264AVC/MVC编码的基本视角视频和从属视角视频的基元流内，没有表示流是L视角还是R视角的信息(字段)。
从而，记录设备可通过向播放列表文件设定view_type来识别出基本视角视频流和从属视角视频流中的每一个是L视角还是R视角。
重放设备1识别出基本视角视频流和从属视角视频流中的每一个是L视角或R视角，并且可以根据识别结果来切换输出目的地。
在对于IG和PG平面中的每一个也准备了L视角和R视角的情况下，可以区分视频流的L视角和R视角，从而重放设备1可以很容易地执行L视角平面和R视角平面的合成。
如上所述，在经由HDMI线缆输出视频信号的情况下，请求区分L视角信号和R视角信号中的每一个并随后将其输出，但重放设备1可处理该请求。
对通过对DPB151中存储的基本视角视频分组解码而获得的数据和通过对从属视角视频分组解码而获得的数据的识别可基于view_id而不是PID来执行。
在通过H.264AVC/MVC进行编码时，向构成编码结果的流的访问单元(AccessUnit)设定了view_id。可根据view_id来识别出每个访问单元是哪个视角成分单元。
图25是示出访问单元的示例的示图。
图25中的访问单元#1是包括基本视角视频的数据的单元。访问单元#2是包括从属视角视频的数据的单元。访问单元例如是收集一个图片的数据以便以图片为单位进行访问的单元。
通过执行符合H.264AVC/MVC的编码，基本视角视频和从属视角视频的每个图片的数据被存储在这样的访问单元中。在符合H.264AVC/MVC的编码时，如访问单元#2内所示，向每个视角成分添加了MVC头部。在MVC头部中包括view_id。
在图25中的示例的情况下，对于访问单元#2，可以从view_id识别出要存储在该访问单元中的视角成分是从属视角视频。
另一方面，如图25所示，对于作为存储在访问单元#1中的视角成分的基本视角视频，没有添加MVC头部。
如上所述，基本视角视频流是也要用于2D重放的数据。从而，为了确保与其的兼容性，在编码时没有向基本视角视频添加MVC头部。或者，去除曾经添加的MVC头部。将在下文中描述记录设备进行的编码。
在重放设备1中，没有被添加MVC头部的视角成分被定义(设定)成其view_id是0，并且该视角成分被识别为基本视角视频。除0以外的值在编码时被设定给从属视角视频作为view_id。
这样，重放设备1可以基于被识别为0的view_id来识别基本视角视频，并且可以基于实际设定的除0以外的view_id来识别从属视角视频。
在图24中的开关111中，对通过对基本视角视频分组解码而获得的数据和通过对从属视角视频分组解码而获得的数据的识别可基于这样的view_id来执行。
第三示例
图26是示出执行视频流的处理的另一配置的示图。
在图26中的示例中，取代图24中的L视频平面生成单元161设置了B视频平面生成单元112，并且取代R视频平面生成单元162设置了D视频平面生成单元113。在B视频平面生成单元112和D视频平面生成单元113的后级设置了开关171。在图26所示的配置中，数据输出目的地也被布置成基于view_type来切换。
在存储在DPB151中的数据之中，开关111把通过对基本视角视频分组解码而获得的数据输出到B视频平面生成单元112。另外，开关111把通过对从属视角视频分组解码而获得的数据输出到D视频平面生成单元113。
通过对基本视角视频分组解码而获得的数据和通过对从属视角视频分组解码而获得的数据如上所述是基于PID或view_id来识别的。
B视频平面生成单元112基于从开关111提供来的数据而生成基本视角视频平面，并且将其输出。
D视频平面生成单元113基于从开关111提供来的数据而生成从属视角视频平面，并且将其输出。
在播放列表文件中描述的view_type被从控制器51提供给开关171。
在view_type的值为0的情况下，开关171把从B视频平面生成单元112提供来的基本视角视频平面作为L视角视频平面输出到合成单元130。view_type的值0表示基本视角视频流是L视角流。
另外，在此情况下，开关171把从D视频平面生成单元113提供来的从属视角视频平面作为R视角视频平面输出到合成单元130。
另一方面，在view_type的值为1的情况下，开关171把从D视频平面生成单元113提供来的从属视角视频平面作为L视角视频平面输出到合成单元130。view_type的值1表示基本视角视频流是R视角流。
另外，在此情况下，开关171把从B视频平面生成单元112提供来的基本视角视频平面作为R视角视频平面输出到合成单元130。
根据图26的配置，重放设备1也识别L视角和R视角，并且可以根据识别结果来切换输出目的地。
平面合成模型的第一示例
图27是示出在图21所示的配置之中合成单元130及其后级的配置的示图。
在图27中，与图21中所示的配置相同的配置也用相同的标号来标示。
主TS或子TS中包括的构成IG流的分组被输入到开关181。要被输入到开关181的构成IG流的分组包括基本视角分组和从属视角分组。
主TS或子TS中包括的构成PG流的分组被输入到开关182。要被输入到开关182的构成PG流的分组包括基本视角分组和从属视角分组。
如参考图5等等所述，对于IG和PG，也准备了用于执行3D显示的基本视角流和从属视角流。
基本视角的IG是以与基本视角视频合成的方式被显示的，并且从属视角的IG是以与从属视角视频合成的方式被显示的，从而用户不仅以3D的形式观看到视频，而且以3D的形式观看到按钮、图标等等。
基本视角的PG是以与基本视角视频合成的方式被显示的，并且从属视角的PG是以与从属视角视频合成的方式被显示的，从而用户不仅以3D的形式观看到视频，而且以3D的形式观看到字幕文本等等。
开关181把构成基本IG流的分组输出到BIG解码器116，并且把构成从属IG流的分组输出到DIG解码器120。开关181包括图21中的开关114和开关118的功能。在图27中，省略了对每个缓冲器的描绘。
BIG解码器116对从开关181提供来的构成基本IG流的分组解码，以把通过解码获得的数据输出到BIG平面生成单元117。
BIG平面生成单元117基于从BIG解码器116提供来的数据生成基本IG平面，以将其输出到合成单元130。
DIG解码器120对从开关181提供来的构成从属IG流的分组解码，以把通过解码获得的数据输出到DIG平面生成单元121。基本IG流和从属IG流可被布置成由一个解码器解码。
DIG平面生成单元121基于从DIG解码器120提供来的数据生成从属IG平面，以将其输出到合成单元130。
开关182把构成基本PG流的分组输出到BPG解码器124，并且把构成从属PG流的分组输出到DPG解码器128。开关182包括图21中的开关122和开关126的功能。
BPG解码器124对从开关182提供来的构成基本PG流的分组解码，以把通过解码获得的数据输出到BPG平面生成单元125。
BPG平面生成单元125基于从BPG解码器124提供来的数据生成基本PG平面，以将其输出到合成单元130。
DPG解码器128对从开关182提供来的构成从属PG流的分组解码，以把通过解码获得的数据输出到DPG平面生成单元129。基本PG流和从属PG流可被布置成由一个解码器解码。
DPG平面生成单元129基于从DPG解码器128提供来的数据生成从属PG平面，以将其输出到合成单元130。
视频解码器110顺序地对从开关109(图22等等)提供的分组解码，以把通过解码获得的基本视角视频的数据和从属视角视频的数据输出到开关111。
开关111把通过对基本视角视频的分组解码而获得的数据输出到B视频平面生成单元112，并且把通过对从属视角视频的分组解码而获得的数据输出到D视频平面生成单元113。
B视频平面生成单元112基于从开关111提供来的数据生成基本视角视频平面，并且将其输出。
D视频平面生成单元113基于从开关111提供来的数据生成从属视角视频平面，并且将其输出。
合成单元130由加法单元191至194和开关195构成。
加法单元191以重叠的方式在从D视频平面生成单元113提供来的从属视角视频平面上合成从DPG平面生成单元129提供来的从属PG平面，并且将合成结果输出到加法单元193。从DPG平面生成单元129提供到加法单元191的从属PG平面经历了颜色信息转换处理(CLUT(颜色查找表)处理)。
加法单元192以重叠的方式在从B视频平面生成单元112提供来的基本视角视频平面上合成从BPG平面生成单元125提供来的基本PG平面，并且将合成结果输出到加法单元194。从BPG平面生成单元125提供到加法单元192的基本PG平面经历了颜色信息转换处理或使用偏移值的校正处理。
加法单元193以重叠的方式在加法单元191的合成结果上合成从DIG平面生成单元121提供来的从属IG平面，并且将合成结果作为从属视角平面输出。从DIG平面生成单元121提供到加法单元193的从属IG平面经历了颜色信息转换处理。
加法单元194以重叠的方式在加法单元192的合成结果上合成从BIG平面生成单元117提供来的基本IG平面，并且将合成结果作为基本视角平面输出。从DIG平面生成单元121提供到加法单元194的基本IG平面经历了颜色信息转换处理或使用偏移值的校正处理。
基于这样生成的基本视角平面和从属视角平面显示的图像成为了如下这种图像：使得在前方观看到按钮和图标，在其(深度方向上的)下面观看到字幕文本，并且在其下面观看到视频。
在view_type的值为0的情况下，开关195输出基本视角平面作为L视角平面，并且输出从属视角平面作为R视角平面。view_type是从控制器51提供到开关195的。
另外，在view_type的值为1的情况下，开关195输出基本视角平面作为R视角平面，并且输出从属视角平面作为L视角平面。在所提供的平面之中哪个平面是基本视角平面、哪个是从属视角平面是基于PID和view_id来识别的。
从而，在重放设备1中，执行了基本视角平面、从属视角平面和视频、IG和PG的每个平面的合成。
在视频、IG和PG的所有平面的合成都已完成的阶段，基本视角平面的合成结果是L视角还是R视角是基于view_type来判定的，并且R视角平面和L视角平面各自被输出。
另外，在视频、IG和PG的所有平面的合成都已完成的阶段，从属视角平面的合成结果是L视角还是R视角是基于view_type来判定的，并且R视角平面和L视角平面各自被输出。
第二示例
图28是示出合成单元130及其前级的配置的示图。
在图28所示的配置之中，与图27所示的配置相同的配置用相同的标号来标示。在图28中，合成单元130的配置与图27中的配置不同。另外，开关111的操作与图27中的开关111的操作不同。取代B视频平面生成单元112设置了L视频平面生成单元161，并且取代D视频平面生成单元113设置了R视频平面生成单元162。省略重复描述。
相同值的view_type被从控制器51提供到开关111以及合成单元130的开关201和开关202。
开关111以与图24中的开关111相同的方式，基于view_type来切换通过对基本视角视频的分组解码而获得的数据和通过对从属视角视频的分组解码而获得的数据的输出目的地。
例如，在view_type的值为0的情况下，开关111把通过对基本视角视频的分组解码而获得的数据输出到L视频平面生成单元161。在此情况下，开关111把通过对从属视角视频的分组解码而获得的数据输出到R视频平面生成单元162。
另一方面，在view_type的值为1的情况下，开关111把通过对基本视角视频的分组解码而获得的数据输出到R视频平面生成单元162。在此情况下，开关111把通过对从属视角视频的分组解码而获得的数据输出到L视频平面生成单元161。
L视频平面生成单元161基于从开关111提供来的数据生成L视角视频平面，以将其输出到合成单元130。
R视频平面生成单元162基于从开关111提供来的数据生成R视角视频平面，以将其输出到合成单元130。
合成单元130由开关201、开关202以及加法单元203至206构成。
开关201基于view_type来切换从BIG平面生成单元117提供来的基本IG平面和从DIG平面生成单元121提供来的从属IG平面的输出目的地。
例如，在view_type的值为0的情况下，开关201把从BIG平面生成单元117提供来的基本IG平面作为L视角平面输出到加法单元206。在此情况下，开关201把从DIG平面生成单元121提供来的从属IG平面作为R视角平面输出到加法单元205。
另一方面，在view_type的值为1的情况下，开关201把从DIG平面生成单元121提供来的从属IG平面作为L视角平面输出到加法单元206。在此情况下，开关201把从BIG平面生成单元117提供来的基本IG平面作为R视角平面输出到加法单元205。
开关202基于view_type来切换从BPG平面生成单元125提供来的基本PG平面和从DPG平面生成单元129提供来的从属PG平面的输出目的地。
例如，在view_type的值为0的情况下，开关202把从BPG平面生成单元125提供来的基本PG平面作为L视角平面输出到加法单元204。在此情况下，开关202把从DPG平面生成单元129提供来的从属PG平面作为R视角平面输出到加法单元203。
另一方面，在view_type的值为1的情况下，开关202把从DPG平面生成单元129提供来的从属PG平面作为L视角平面输出到加法单元204。在此情况下，开关202把从BPG平面生成单元125提供来的基本PG平面作为R视角平面输出到加法单元203。
加法单元203以重叠的方式在从R视频平面生成单元162提供来的R视角视频平面上合成从开关202提供来的R视角的PG平面，并且将合成结果输出到加法单元205。
加法单元204以重叠的方式在从L视频平面生成单元161提供来的L视角视频平面上合成从开关202提供来的L视角的PG平面，并且将合成结果输出到加法单元206。
加法单元205以重叠的方式在加法单元203的合成结果的平面上合成从开关201提供来的R视角的IG平面，并且将合成结果作为R视角平面输出。
加法单元206以重叠的方式在加法单元204的合成结果的平面上合成从开关201提供来的L视角的IG平面，并且将合成结果作为L视角平面输出。
这样，在重放设备1中，对于视频、IG和PG中每一个的基本视角平面和从属视角平面，在与另一平面合成之前进行对哪个平面是L视角或R视角的判定。
在执行此判定之后，执行视频、IG和PG的每个平面的合成，以合成L视角平面和R视角平面。
记录设备的配置示例
图29是示出软件制作处理单元301的配置示例的框图。
视频编码器311具有与图3中的MVC编码器11相同的配置。视频编码器311通过根据H.264AVC/MVC对多个视频数据编码来生成基本视角视频流和从属视角视频流，并且将它们输出到缓冲器312。
例如，视频编码器311在编码时设定以相同的PCR作为基准的DTS和PTS。也就是说，视频编码器311向用于存储某一基本视角视频图片的数据的PES分组和用于存储在解码顺序上与该图片相对应的从属视角视频图片的数据的PES分组设定相同的DTS。
另外，视频编码器311向用于存储某一基本视角视频图片的数据的PES分组和用于存储在解码顺序上与该图片相对应的从属视角视频图片的数据的PES分组设定相同的PTS。
视频编码器311如后所述向在解码顺序上相对应的基本视角视频图片和基本视角视频图片中的每一个设定相同的信息作为附加信息，该附加信息是与解码有关的辅助信息。
另外，视频编码器311如后所述向在解码顺序上相对应的基本视角视频图片和基本视角视频图片中的每一个设定相同的值作为表示图片的输出顺序的POC的值。
另外，视频编码器311如后所述执行编码以匹配基本视角视频流的GOP结构和从属视角视频流的GOP结构。
音频编码器313对输入音频流编码，并且把所获得的数据输出到缓冲器314。要记录在盘中的音频流与基本视角视频流和从属视角视频流一起被输入到音频编码器313。
数据编码器315对除了视频和音频以外的上述各类数据(例如播放列表文件之类的)编码，并且把通过编码获得的数据输出到缓冲器316。
数据编码器315根据视频编码器311进行的编码，向播放列表文件设定表示基本视角视频流是L视角流还是R视角流的view_type。取代基本视角视频流的类型，可设定表示从属视角视频流是L视角流还是R视角流的信息。
另外，数据编码器315向基本视角视频流的剪辑信息文件和从属视角视频流的剪辑信息文件中的每一个设定下文中描述的EP_map。被设定到充当解码开始位置的EP_map的基本视角视频流的图片和从属视角视频流的图片成为了对应的图片。
复用单元317将每个缓冲器中存储的视频数据和音频数据以及除流以外的数据与同步信号一起复用，并且将其输出到差错校正编码单元318。
差错校正编码单元318向经复用单元317复用的数据添加用于差错校正的代码。
调制单元319使从差错校正编码单元318提供来的数据经历调制，并且将其输出。调制单元319的输出成为了要被记录在光盘2中的软件，该软件可在重放设备1处被播放。
在记录设备中设置了具有这种配置的软件制作处理单元301。
图30是示出包括软件制作处理单元301的配置示例的示图。
图30所示的配置的一部分可设置在记录设备的内部。
由软件制作处理单元301生成的记录信号在前置原盘处理单元331处经历原盘处理，并且要被记录在光盘2中的格式信号被生成。所生成的信号被提供到原盘记录单元333。
在记录用原盘制作单元332中，准备由玻璃之类构成的原盘，其上施加了由光阻剂构成的记录材料。从而，制作了记录用原盘。
在原盘记录单元333中，一激光束响应于从前置原盘处理单元331提供来的记录信号而被调制，并且被照射在原盘上的光阻剂上。从而，原盘上的光阻剂响应于记录信号而被曝光。然后，将此原盘显影，并且在原盘上执行坑的显现。
在金属原盘制作单元334中，原盘经历诸如电铸之类的处理，从而制作了金属原盘，其中玻璃原盘上的坑被转印到该金属原盘。另外，从该金属原盘制作金属模片(stamper)，并且此金属模片被作为成型模具。
在成型处理单元335中，诸如PMMA(亚克力)、PC(聚碳酸酯)之类的材料被注入到成型模具中，从而固定成型模具。或者，在2P(紫外光固化树脂)等等被施加到金属模片上之后，紫光线被照射在其上，从而使成型模具硬化。从而，金属模片上的坑可被转印到由树脂构成的复本上。
在膜形成处理单元336中，通过气相淀积或溅镀在该复本上形成反射膜。或者，通过旋涂在该复本上形成反射膜。
在后加工处理单元337中，此盘经历直径加工，从而经历了必要的处置，使得两个盘被粘贴在一起。另外，在向其粘贴标签或向其附加轮毂之后，将盘插入到盘盒中。从而，完成了其中记录有可通过重放设备1播放的数据的光盘2。
第二实施例
H.264AVC/MVC规格视频流的操作1
在作为光盘2的标准的BD-ROM标准中，如上所述，3D视频的编码是通过采用H.264AVC/MVC规格来实现的。
另外，在BD-ROM标准中，基本视角视频流被作为L视角视频流，并且从属视角视频流被作为L视角视频流。
基本视角视频被编码为H.264AVC/高规格视频流，从而即使在过去的播放器或者仅与2D重放兼容的播放器处也能播放作为3D兼容盘的光盘2。也就是说，可以确保下位兼容性。
具体而言，即使在不符合H.264AVC/MVC的解码器处也可以仅对基本视角视频流进行解码(播放)。也就是说，基本视角视频流成为了即使在现有的2DBD播放器处也必然能播放的流。
另外，在2D重放和3D重放中共通地使用基本视角视频流，从而可以实现创作时的负担的降低。对于AV流，创作方可以通过除了传统工作以外准备从属视角视频流来制作3D兼容盘。
图31是示出要在记录设备中设置的3D视频TS生成单元的配置示例的示图。
图31中的3D视频TS生成单元由MVC编码器401、MVC头部去除单元402和复用器403构成。如参考图2所述拍摄的L视角视频#1的数据和R视角视频#2的数据被输入到MVC编码器401。
MVC编码器401以与图3中的MVC编码器11相同的方式通过H.264/AVC对L视角视频#1的数据编码，以把通过编码获得的AVC视频数据作为基本视角视频流输出。另外，MVC编码器401基于L视角视频#1的数据和R视角视频#2的数据来生成从属视角视频流，并将其输出。
从MVC编码器401输出的基本视角视频流由其中存储有基本视角视频的每个图片的数据的访问单元构成。另外，从MVC编码器401输出的从属视角视频流由其中存储有从属视角视频的每个图片的数据的访问单元构成。
构成基本视角视频流的每个访问单元和构成从属视角视频流的每个访问单元包括其中描述了用于标识所存储的视角成分的view_id的MVC头部。
等于或大于1的固定值被用作在从属视角视频的MVC头部中要描述的view_id的值。这对于图32和图33中的示例也成立。
也就是说，与图3中的MVC编码器11不同的MVC编码器401是用于以添加了MVC头部的形式生成基本视角视频和从属视角视频的每个流并将其输出的编码器。在图3中的MVC编码器11中，MVC头部仅被添加到通过H.264AVC/MVC编码的从属视角视频。
从MVC编码器401输出的基本视角视频流被提供到MVC头部去除单元402，并且从属视角视频流被提供到复用器403。
MVC头部去除单元402去除构成基本视角视频流的每个访问单元中包括的MVC头部。MVC头部去除单元402把由MVC头部已被去除的访问单元构成的基本视角视频流输出到复用器403。
复用器403生成包括从MVC头部去除单元402提供来的基本视角视频流和从MVC编码器401提供来的从属视角视频流的TS，并将其输出。在图31中的示例中，包括基本视角视频流的TS和包括从属视角视频流的TS各自被输出，但是这些流也可以通过如上所述被复用在同一TS中而被输出。
从而，可以设想一种MVC编码器，其中，取决于安装方法，L视角视频和R视角视频被作为输入，并且被添加了MVC头部的基本视角视频和从属视角视频的每个流被输出。
注意，图31所示的整个配置可被包括在图3所示的MVC编码器中。这对于图32和图33所示的配置也成立。
图32是示出要在记录设备中设置的3D视频TS生成单元的另一配置示例的示图。
图32中的3D视频TS生成单元由混和处理单元411、MVC编码器412、分离单元413、MVC头部去除单元414和复用器415构成。L视角视频#1的数据和R视角视频#2的数据被输入到混和处理单元411。
混和处理单元411按编码顺序来排列L视角的每个图片和R视角的每个图片。从属视角视频的每个图片是参考基本视角视频的对应图片来编码的，从而按编码顺序排列的结果是交替排列的L视角的图片和R视角的图片。
混和处理单元411把按编码顺序排列的L视角的图片和R视角的图片输出到MVC编码器412。
MVC编码器412根据H.264AVC/MVC对从混和处理单元411提供来的每个图片编码，并且把通过编码获得的流输出到分离单元413。基本视角视频流和从属视角视频流被复用在从MVC编码器412输出的流中。
从MVC编码器412输出的流中包括的基本视角视频流由其中存储有基本视角视频的每个图片的数据的访问单元构成。另外，从MVC编码器412输出的流中包括的从属视角视频流由其中存储有从属视角视频的每个图片的数据的访问单元构成。
在构成基本视角视频流的每个访问单元和构成从属视角视频流的每个访问单元中包括其中描述了用于标识所存储的视角成分的view_id的MVC头部。
分离单元413分离在从MVC编码器412提供来的流中复用的基本视角视频流和从属视角视频流，并将它们输出。从分离单元413输出的基本视角视频流被提供到MVC头部去除单元414，并且从属视角视频流被提供到复用器415。
MVC头部去除单元414去除构成从分离单元413提供来的基本视角视频流的每个访问单元中包括的MVC头部。MVC头部去除单元414把由去除了MVC头部的访问单元构成的基本视角视频流输出到复用器415。
复用器415生成包括从MVC头部去除单元414提供来的基本视角视频流和从分离单元413提供来的从属视角视频流的TS，并将其输出。
图33是示出要在记录设备中设置的3D视频TS生成单元的另一配置示例的示图。
图33中的3D视频TS生成单元由AVC编码器421、MVC编码器422和复用器423构成。L视角视频#1的数据被输入到AVC编码器421，并且R视角视频#2的数据被输入到MVC编码器422。
AVC编码器421根据H.264/AVC对L视角视频#1的数据编码，并且把通过编码获得的AV视频流作为基本视角视频流输出到MVC编码器422和复用器423。构成从AVC编码器421输出的基本视角视频流的每个访问单元不包括MVC头部。
MVC编码器422对从AVC编码器421提供来的基本视角视频流(AVC视频流)解码以生成L视角视频#1的数据。
另外，MVC编码器422基于通过解码获得的L视角视频#1的数据和从外部输入的R视角视频#2的数据来生成从属视角视频流，并将其输出到复用器423。构成从MVC编码器422输出的从属视角视频流的每个访问单元包括MVC头部。
复用器423生成包括从AVC编码器421提供来的基本视角视频流和从MVC编码器422提供来的从属视角视频流的TS，并将其输出。
图33中的AVC编码器421具有图3中的H.264/AVC编码器21的功能，并且MVC编码器422具有图3中的H.264/AVC解码器22和从属视角视频编码器24的功能。另外，复用器423具有图3中的复用器25的功能。
在记录设备内设置了具有这种配置的3D视频TS生成单元，从而可以禁止对存储基本视角视频的数据的访问单元编码MVC头部。另外，在存储从属视角视频的数据的访问单元中可包括设定有等于或大于1的view_id的MVC头部。
图34是示出用于对访问单元解码的重放设备1侧的配置的示图。
图34示出了参考图22描述的开关109和视频解码器110等等。包括基本视角视频的数据的访问单元#1和包括从属视角视频的数据的访问单元#2被从缓冲器中读出并被提供到开关109。
编码是参考基本视角视频执行的，从而为了对从属视角视频正确解码，首先需要已经解码了相应的基本视角视频。
在H.264/MVC标准中，解码侧被布置成利用MVC头部中包括的view_id来计算每个访问单元的解码顺序。另外，在编码时，始终布置成将最小值设定到基本视角视频作为view_id的值。解码器被布置成能够通过从包括被设定了最小view_id的MVC头部的访问单元开始解码来按正确的顺序对基本视角视频和从属视角视频解码。
顺便说一下，对于要被提供到重放设备1的视频解码器110的存储基本视角视频的访问单元禁止编码MVC头部。
因此，在重放设备1中，存储在不具有MVC头部的访问单元中的视角成分被定义为将其view_id识别为0。
从而，重放设备1可以基于被识别为0的view_id来识别基本视角视频，并且可以基于实际设定的除0以外的view_id来识别从属视角视频。
图34中的开关109首先把被识别出设定了最小值0作为view_id的访问单元#1输出到视频解码器110，以执行解码。
另外，在对访问单元#1的解码完成之后，开关109把被设定了是大于0的固定值的Y作为view_id的访问单元#2输出到视频解码器110，以执行解码。存储在访问单元#2中的从属视角视频的图片是与存储在访问单元#1中的基本视角视频的图片相对应的图片。
这样，禁止了对存储基本视角视频的访问单元编码MVC头部，从而记录在光盘2中的基本视角视频流即使在传统播放器处也可作为可播放的流来处理。
作为从BD-ROM标准扩展的BD-ROM3D标准的基本视角视频流的条件，即使在判定基本视角视频流甚至在传统播放器处也是可播放的流的条件的情况下，该条件也可得到满足。
例如，如图35所示，在将MVC头部预先添加到基本视角视频和从属视角视频中的每一个，并且根据基本视角视频预先执行解码的情况下，在传统播放器处不播放该基本视角视频。对于安装在传统播放器上的H.264/AVC解码器，MVC头部是未定义的数据。在这种未定义的数据被输入的情况下，取决于解码器，其不能被忽略，并且处理可能失败。
注意，在图35中，基本视角视频的view_id是X，并且从属视角视频的view_id是大于X的Y。
另外即使在禁止了MVC头部的编码的情况下，也可以通过将基本视角视频的view_id定义为被视为0，来使得重放设备1首先执行基本视角视频的解码，然后执行相应的从属视角视频的解码。也就是说，可以按正确的顺序来执行解码。
操作2
关于GOP结构
在H.264/AVC标准中，没有定义根据MPEG-2视频标准的GOP(图片群组)结构。
因此，在用于处理H.264/AVC视频流的BD-ROM标准中，定义了H.264/AVC视频流的GOP结构，并且可以实现使用GOP结构的各类功能，例如随机访问。
与H.264/AVC视频流一样，作为通过符合H.264AVC/MVC的编码而获得的视频流的基本视角视频流和从属视角视频流不具有关于GOP结构的定义。
基本视角视频流是H.264/AVC视频流。从而，基本视角视频流的GOP结构具有与BD-ROM标准中定义的H.264/AVC视频流的GOP结构相同的结构。
从属视角视频流的GOP结构也被定义为与基本视角视频流的GOP结构相同的结构，即，BD-ROM标准中定义的H.264/AVC视频流的GOP结构。
BD-ROM标准中定义的H.264/AVC视频流的GOP结构具有以下特征。
1.关于流结构的特征
(1)开放GOP(OpenGOP)/封闭GOP(ClosedGOP)结构
图36是示出封闭GOP结构的示图。
图36中的每个图片是构成H.264/AVC视频流的图片。封闭GOP包括IDR(InstantaneousDecodingRefresh，瞬时解码刷新)图片。
IDR图片是I图片，并且在包括IDR图片的GOP中首先被解码。在对IDR图片解码时，与解码有关的所有信息，例如参考图片缓冲器(图22中的DPB151)的状态、截至目前管理的帧号码、POC(图片顺序计数)等等，被重置。
如图36所示，在作为封闭GOP的当前GOP中，防止了当前GOP的图片之中的具有比IDR图片更早(更老)的显示顺序的图片参考前一GOP的图片。
另外，防止了当前GOP的图片之中的具有比IDR图片更晚(更年轻)的显示顺序的图片参考超过IDR图片的前一GOP的图片。在H.264/AVC中，在显示顺序上在一I图片之后的P图片被允许参考该I图片之前的图片。
图37是示出开放GOP结构的示图。
如图37所示，在作为开放GOP的当前GOP中，允许该当前GOP的图片之中的具有比非IDRI图片(除IDR图片以外的I图片)更早(更老)的显示顺序的图片参考前一GOP的图片。
另外，禁止当前GOP的图片之中的在显示顺序上比非IDRI图片更晚的图片参考超出非IDRI图片的前一GOP的图片。
(2)在GOP的最前端访问单元中必然编码SPS和PPS
SPS(SequenceParameterSet，序列参数集合)是序列的头部信息，包括与整个序列的编码有关的信息。在对某个序列解码时，首先必需有包括该序列的标识信息等等的SPS。PPS(PictureParameterSet，图片参数集合)是图片的头部信息，包括与整个图片的编码有关的信息。
(3)在GOP的最前端访问单元中可编码最多30个PPS。在多个PPS被编码在最前端访问单元的情况下，每个PPS的id(pic_parameter_set_id)不应当是相同的。
(4)在除GOP的最前端以外的访问单元中可编码最多一个PPS。
2.关于参考结构的特征
(1)要求I、P和B图片分别是仅由I、P、B片层构成的图片。
(2)要求在显示顺序上紧挨参考图片(I或P图片)之前的B图片必然在编码顺序上紧挨该参考图片之后被编码。
(3)要求维持参考图片(I或P图片)的编码顺序和显示顺序(维持相同)。
(4)禁止从P图片参考B图片。
(5)在非参考B图片(B1)在编码顺序上早于非参考图片(B2)的情况下，也要求B1在显示顺序上早于B2。
非参考B图片是不被在显示顺序上更晚的另一图片参考的B图片。
(6)参考B图片可以参考在显示顺序上的后一个或前一个参考图片(I或P图片)。
(7)非参考B图片可以参考在显示顺序上的后一个或前一个参考图片(I或P图片)或者参考B图片。
(8)要求连续的B图片的数目最多为3个。
3.关于GOP内的帧或场的最大数目的特征
GOP内的帧或场的最大数目是根据视频的帧速率来规定的，如图38中所示。
如图38所示，例如，在以29.97帧每秒的帧速率执行隔行显示的情况下，在1GOP的图片中可显示的场的最大数目是60个。另外，在以59.94帧每秒的帧速率执行逐行显示的情况下，在1GOP的图片中可显示的帧的最大数目是60个。
具有上述特征的GOP结构也被定义为从属视角视频流的GOP结构。
另外，作为一个约束，规定基本视角视频流的某个GOP的结构与相应的从属视角视频流的GOP的结构相匹配。
图39示出了如上所述定义的基本视角视频流或从属视角视频流的封闭GOP结构。
如图39所示，在作为封闭GOP的当前GOP中，在该当前GOP的图片之中，禁止具有比IDR图片或锚定图片(anchorpicture)更早(更老)的显示顺序的图片参考前一个GOP的图片。将在下文中描述锚定图片。
另外，在当前GOP的图片之中，禁止具有比IDR图片或锚定图片更晚(更年轻)的显示顺序的图片参考超过该IDR图片或锚定图片的前一个GOP的图片。
图40是示出基本视角视频流或从属视角视频流的开放GOP结构的示图。
如图40所示，在作为开放GOP的当前GOP中，在该当前GOP的图片之中，允许具有比非IDR锚定图片(不是IDR图片的锚定图片)更早的显示顺序的图片参考前一个GOP的图片。
另外，在当前GOP的图片之中，禁止具有比非IDR锚定图片更晚的显示顺序的图片参考超过该非IDR锚定图片的前一个GOP的图片。
如上所述定义了GOP结构，从而例如基本视角视频流的某个GOP和相应的从属视角视频流的GOP在诸如开放GOP或封闭GOP之类的流结构的特征上是匹配的。
另外，图片参考结构的特征被匹配，以使得与基本视角视频的非参考B图片相对应的从属视角视频的图片必然成为非参考B图片。
另外，在基本视角视频流的某个GOP和相应的从属视角视频流的GOP之间，也匹配了帧的数目和帧的数目。
这样，从属视角视频流的GOP结构被定义为与基本视角视频流的GOP结构相同的结构，从而流之间的对应GOP可具有相同的特征。
另外，即使在从流的中部执行解码的情况下，也可以没有问题地执行解码。从流的中部的解码例如是在特技播放或随机访问时执行的。
在流之间的对应GOP的结构不同，例如帧数目不同的情况下，担心发生这样的情形，即这些流之一可以被正常播放，但另一流不能被播放，但这种情形可以被防止。
如果在假定流之间的对应GOP的结构不同的情况下从流的中部开始解码，则担心发生这样的情形，即对从属视角视频的解码所必需的基本视角视频图片尚未被解码。在此情况下，作为其结果，从属视角视频图片不能被解码，并且3D显示不能被执行。另外，基本视角视频的图像取决于安装方法可能不被输出，但这种不便之处可以被防止。
关于EP_map
通过利用基本视角视频流和从属视角视频流的GOP结构，可以将随机访问或特技播放时的解码的开始位置设定到EP_map。EP_map审美观点包括在剪辑信息文件中。
规定以下两个约束，作为对可被设定到EP_map作为解码开始位置的图片的约束。
1.在SubsetSPS中连续部署的锚定图片的位置或者在SubsetSPS中连续部署的IDR图片的位置被作为可被设定到从属视角视频流的位置。
锚定图片是由H.264AVC/MVC规定的图片，并且是通过执行视角之间的参考而不是时间方向上的参考来编码的从属视角视频流的图片。
2.在从属视角视频流的某个图片被设定到EP_map作为解码开始位置的情况下，相应的基本视角视频流的图片也被设定到EP_map作为解码开始位置。
图41是示出满是上述两个约束的向EP_map设定的解码开始位置的示例的示图。
在图41中，按解码顺序示出了构成基本视角视频流的图片和构成从属视角视频流的图片。
以从属视角视频流的图片的颜色指示的图片P1是锚定图片或IDR图片。紧挨在包括该图片P1的数据的访问单元之前的访问单元包括SubsetSPS。
在图41中的示例中，如利用白箭头#11所示，图片P1被设定到从属视角视频流的EP_map作为解码开始位置。
作为与图片P1相对应的基本视角视频流的图片的图片P11是IDR图片。如利用白箭头#12所示，作为IDR图片的图片P11也被设定到基本视角视频流的EP_map作为解码开始位置。
在响应于指示了随机访问或特技播放而从图片P1和图片P11开始解码的情况下，图片的P11的解码被执行。图片P11是IDR图片，从而图片P11可在不参考另一图片的情况被解码。
在对图片P11的解码完成时，接下来，图片P1被解码。在对图片P1解码时，参考经解码的图片P11。图片P1是IDR图片或锚定图片，从而，如果对图片P11的解码完成，则可执行对图片P1的解码。
然后，以诸如基本视角视频的跟随图片P1之后的图片、从属视角视频的跟随图片P11之后的图片之类的顺序来执行解码。
对应的GOP的结构是相同的，并且解码也是从对应的位置开始的，从而，对于基本视角视频和从属视角视频，被设定到EP_map的图片和随后的图片可以没有问题地被解码。因此，可以实现随机访问。
排列在比图41中的垂直方向上指示的虚线更靠左侧的图片成为不经历解码的图片。
图42是示出在未定义从属视角视频的GOP结构的情况下导致的问题的示图。
在图42中的示例中，用颜色指示的作为基本视角视频的IDR图片的图片P21被设定到EP_map作为解码开始位置。
让我们考虑以下这种情况：在从基本视角视频的图片P21开始解码的情况下，作为与图片P21相对应的从属视角视频的图片P31不是锚定图片。在没有定义GOP结构的情况下，没有确保与基本视角视频的IDR图片相对应的从属视角视频的图片是IDR图片或锚定图片。
在此情况下，即使在基本视角视频的图片P21的解码结束时，图片P31也不能被解码。对于图片P31的解码，时间方向上的参考也是必要的，但是比垂直方向上指示的虚线更靠左侧的图片没有被解码。
图片P31不能被解码，因此从属视角视频的参考图片P31的其他图片不能被解码。
通过定义从属视角视频流的GOP结构，可以防止这种情形。
不仅对于基本视角视频，而且对于从属视角视频，解码开始位置也被设定到EP_map，从而重放设备1可以很容易地确定解码开始位置。
在仅仅是基本视角视频的某个图片被设定到EP_map作为解码开始位置的情况下，重放设备1需要通过计算来确定与该解码开始位置的图片相对应的从属视角视频的图片，从而处理变得复杂。
即使基本视角视频和从属视角视频的对应图片具有相同的DTS/PTS，在视频的比特率不同的情况下，TS中一直到字节阵列都是不匹配的，从而在此情况下处理变得复杂。
图43是示出执行以由基本视角视频流和从属视角视频流构成的MVC流作为对象的随机访问或特技播放所必需的图片搜索的概念的示图。
如图43所示，在执行随机访问或特技访问时，搜索非IDR锚定图片或IDR图片，并且确定解码开始位置。
现在，描述EP_map。将描述这样的情况：基本视角视频的解码开始位置被设定到EP_map，但从属视角视频的解码开始位置也以相同的方式被设定到从属视角视频的EP_map。
图44是示出在光盘2上记录的AV流的结构的示图。
包括基本视角视频流的TS由整数个具有6144字节大小的对齐单元(AlignedUnit)构成。
对齐单元由32个源分组(SourcePacket)构成。源分组具有192个字节。一个源分组由4字节的传输分组额外头部(TP_extra头部)和188字节的传输分组(TransportPacket)构成。
基本视角视频的数据被分组化在MPEG2PES分组中。PES分组是通过将PES分组头部添加到PES分组的数据部分而形成的。PES分组包括用于确定要通过PES分组传送的基元流的类型的流ID。
PES分组被进一步分组化在传输分组中。也就是说，将PES分组划分成传输分组的有效载荷的大小，将传输分组头部添加到有效载荷，并且形成传输分组。传输分组头部包括PID，其是有效载荷中要存储的数据的标识信息。
注意，对于源分组，设置了源分组号码，其对于每个源分组被递增1，例如以剪辑AV流的开头为0。另外，对齐单元开始于源分组的第一字节。
EP_map被用于在给定剪辑的访问点的时间戳时搜索剪辑AV流文件内要开始读出数据的数据地址。EP_map是从基元流和传输流提取出的进入点的列表。
EP_map具有用于搜索在AV流内开始解码的进入点的地址信息。EP_map内的一个EP数据由PTS和与该PTS相对应的访问单元在AV流内的地址这一对构成。在AVC/H.264中，一个图片那么大的数据被存储在一个访问单元中。
图45是示出剪辑AV流的示例的示图。
图45中的剪辑AV流是由要由PID＝x标识的源分组构成的视频流(基本视角视频流)。对于每个源分组，视频流是由源分组内的传输分组的头部中包括的PID来区分的。
在图45中，在视频流的源分组之中，包括IDR图片的开头字节的源分组被附加以颜色。没有颜色的方块指示包括不充当随机访问点的数据的源分组，或者包括另一流的数据的源分组。
例如，包括由PID＝x区分的视频流的可随机访问的IDR图片的开头字节的、具有源分组号码X1的源分组被部署在剪辑AV流的时间轴上的PTS＝pts(x1)的位置中。
类似地，包括可随机访问的IDR图片的开头字节的下一源分组被作为具有源分组号码X2的源分组，并且被部署在PTS＝pts(x2)的位置中。
图46是概念性地示出与图45中的剪辑AV流相对应的EP_map的示例的示图。
如图46所示，EP_map由stream_PID、PTS_EP_start和SPN_EP_start构成。
stream_PID表示用于传送视频流的传输分组的PID。
PTS_EP_start表示从可随机访问的IDR图片开始的访问单元的PTS。
SPN_EP_start表示包括被PTS_EP_start的值引用的访问单元的第一字节的源分组的地址。
视频流的PID被存储在stream_PID中，并且作为表示PTS_EP_start和SPN_EP_start之间的关联的表格信息的EP_map_for_one_stream_PID()被生成。
例如，PTS＝pts(x1)和源分组号码X1、PTS＝pts(x2)和源分组号码X2、...、以及PTS＝pts(xk)和源分组号码Xk各自以关联的方式被描述在PID＝x的视频流的EP_map_for_one_stream_PID[0]中。
对于同一剪辑AV流中复用的每个视频流也生成这种表格。包括所生成的表格的EP_map被存储在与此剪辑AV流相对应的剪辑信息文件中。
图47是示出SPN_EP_start所指定的源分组的数据结构的示例的示图。
如上所述，源分组是以4字节的头部被添加到188字节的传输分组的形式构成的。传输分组部分由头部部分(TP头部)和有效载荷部分构成。SPN_EP_start表示包括从IDR图片开始的访问单元的第一字节的源分组的源分组号码。
在AVC/H.264中，访问单元即图片是从AU定界符(访问单元定界符)开始的。在AU定界符之后，接续着SPS和PPS。然后，存储IDR图片的片层的数据的开头部分或全体。
传输分组的TP头部的payload_unit_start_indicator的值1表示新的PES分组从此传输分组的有效载荷开始。访问单元从此源分组开始。
对于基本视角视频流和从属视角视频流中的每一个，准备这种EP_map。
操作3
在设定时，向构成基本视角视频流和从属视角视频流的每个图片设定POC。POC是表示图片的显示顺序的值。
在AVC/H.264中，POC被规定为“相对于在显示顺序上的先前IDR图片或相对于包含将所有参考图片标记为“不用于参考”的存储器管理控制操作的先前图片，随着在输出顺序上增大的图片位置，具有不减小的值的变量”。
在编码时，以统一的方式来操作要设定到基本视角视频流的图片的POC和要设定到从属视角视频流的图片的POC。
例如，将POC＝1设定到基本视角视频流的显示顺序上的第一图片，然后通过递增1来将POC设定到每个图片。
另外，将与设定到基本视角视频流的第一图片的POC相同的POC＝1设定到从属视角视频流的显示顺序上的第一图片，然后通过递增1来将POC设定到每个图片。
如上所述，基本视角视频流的GOP结构和从属视角视频流的GOP结构是相同的，从而，对于基本视角视频流和从属视角视频流的每个图片，向在显示顺序上对应的图片设定相同的POC。
从而，重放设备1可以把被设定了相同POC的视角成分作为在显示顺序上对应的视角成分来处理。
例如，重放设备1可以把基本视角视频流的图片之中的被设定了POC＝1的图片和从属视角视频流的图片之中的被设定了POC＝1的图片作为对应的图片来处理。
另外，向构成基本视角视频流和从属视角视频流的每个图片设定图片定时SEI(SupplimentalEnhancementInformation，补充增强信息)。SEI是由H.264/AVC规定的包括与解码有关的辅助信息的附加信息。
作为SEI之一的图片定时SEI包括在编码时从CPB(经编码图片缓冲器)的读出时刻、从DPB(图22中的DPB151)的读出时刻，等等。另外，在图片定时SEI中包括显示时刻的信息、图片结构的信息等等。
在编码时，以统一的方式来操作要设定到基本视角视频流的图片的图片定时SEI和要设定到从属视角视频流的图片的图片定时SEI。
例如，在T1被设定到基本视角视频流的编码顺序上的第一图片作为从CPB的读出时刻的情况下，T1也被设定到从属视角视频流的编码顺序上的第一图片作为从CPB的读出时刻。
也就是说，对于编码顺序或解码顺序上的对应图片具有相同内容的图片定时SEI被设定到基本视角视频流和从属视角视频流的每个图片。
从而，重放设备1可以把被设定了相同图片定时SEI的视角成分作为在解码顺序上对应的视角成分来处理。
POC和图片定时SEI被包括在基本视角视频和从属视角视频的基元流中，并且被重放设备1处的视频解码器110所参考。
视频解码器110可以基于基元流中包括的信息来识别对应的视角成分。另外，视频解码器110可以基于图片定时SEI来按正确的解码顺序执行解码处理，并且还可以基于POC来按正确的显示顺序执行解码处理。
为了识别对应的视角成分不需要参考播放列表等等，从而可以实现在发生关于系统层及其上的层的问题的情况下的处理。另外，可以实现不取决于发生问题的层的解码器安装。
上述一系列处理可通过硬件来执行或者通过软件来执行。在通过软件执行该系列处理的情况下，构成该软件的程序被从程序记录介质安装到容纳在专用硬件中的计算机、通用个人计算机等等中。
图48是示出通过程序来执行上述一系列处理的计算机的硬件的配置示例的框图。
CPU(中央处理单元)501、ROM(只读存储器)502和RAM(随机访问存储器)503通过总线504相互连接。
总线504还与输入/输出接口505相连接。输入/输出接口505与由键盘、鼠标等等构成的输入单元506和由显示器、扬声器等等构成的输出单元507相连接。另外，总线504与由硬盘、非易失性存储器等等构成的存储单元508、由网络接口等等构成的通信单元509和用于驱动可移除介质的511的驱动器510相连接。
在这样配置的计算机中，通过例如CPU501经由输入/输出接口505和总线504把存储在存储单元508中的程序加载到RAM503并执行它，来执行上述一系列的处理。
CPU501执行的程序被记录在例如可移除介质511中、经由诸如局域网、因特网、数字广播之类的有线或无线传送介质提供、以及被安装在存储单元508中。
注意，计算机执行的程序可以是用于根据本说明书描述的顺序按时间顺序来执行处理的程序，或者可以是用于并行地或者在必要的定时(例如在执行调用时)等等执行处理的程序。
本发明的实施例并不限于上述实施例，在不脱离本发明的实质的情况下，可以做出各种修改。

Claims (1)

1.一种记录方法，包括以下步骤：
通过用H.264AVC/MVC对多个电影数据项进行编码来创建基本视角视频流和从属视角视频流，所述基本视角视频流是还未添加包括视角ID的MVC头部的图片数据流，所述从属视角视频流是添加了包括该ID的MVC头部的图片数据流；以及
在记录介质中记录包括所述基本视角视频流的第一传输流和包括所述从属视角视频流的第二传输流，其中在用于存储关于相应图片的数据的分组中设置了基于相同PCR的相同DTS。
CN201210564595.4A 2009-04-08 2010-04-06 记录方法 Expired - Fee Related CN103079082B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2009094257A JP4993224B2 (ja) 2009-04-08 2009-04-08 再生装置および再生方法
JP2009-094257 2009-04-08
CN201080001745.XA CN102047674B (zh) 2009-04-08 2010-04-06 记录设备、记录方法、重放设备、重放方法、程序和记录介质

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201080001745.XA Division CN102047674B (zh) 2009-04-08 2010-04-06 记录设备、记录方法、重放设备、重放方法、程序和记录介质

Publications (2)

Publication Number Publication Date
CN103079082A CN103079082A (zh) 2013-05-01
CN103079082B true CN103079082B (zh) 2016-02-10

Family

ID=42936281

Family Applications (3)

Application Number Title Priority Date Filing Date
CN201080001745.XA Expired - Fee Related CN102047674B (zh) 2009-04-08 2010-04-06 记录设备、记录方法、重放设备、重放方法、程序和记录介质
CN201210564089.5A Expired - Fee Related CN103079081B (zh) 2009-04-08 2010-04-06 再现设备、再现方法和记录方法
CN201210564595.4A Expired - Fee Related CN103079082B (zh) 2009-04-08 2010-04-06 记录方法

Family Applications Before (2)

Application Number Title Priority Date Filing Date
CN201080001745.XA Expired - Fee Related CN102047674B (zh) 2009-04-08 2010-04-06 记录设备、记录方法、重放设备、重放方法、程序和记录介质
CN201210564089.5A Expired - Fee Related CN103079081B (zh) 2009-04-08 2010-04-06 再现设备、再现方法和记录方法

Country Status (7)

Country Link
US (1) US8792780B2 (zh)
EP (1) EP2285130A4 (zh)
JP (1) JP4993224B2 (zh)
CN (3) CN102047674B (zh)
HK (1) HK1157546A1 (zh)
TW (1) TWI428016B (zh)
WO (1) WO2010116998A1 (zh)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4993224B2 (ja) * 2009-04-08 2012-08-08 ソニー株式会社 再生装置および再生方法
CN105791861B (zh) 2009-04-20 2018-12-04 杜比实验室特许公司 定向内插和数据后处理
KR101803970B1 (ko) * 2011-03-16 2017-12-28 삼성전자주식회사 컨텐트를 구성하는 장치 및 방법
EP2781103A1 (en) * 2011-11-14 2014-09-24 Motorola Mobility LLC Association of mvc stereoscopic views to left or right eye display for 3dtv
KR20140099146A (ko) * 2013-02-01 2014-08-11 한국전자통신연구원 다중 영상 기반 방송 서비스를 위한 다중 영상의 기준 ｐｃｒ 결정 방법 및 그 장치
CN105991586B (zh) * 2015-02-13 2019-04-26 上海交通大学 一种异构网络下的多媒体时钟协调同步方法
CN107872671B (zh) * 2016-09-26 2022-01-14 华为技术有限公司 一种图片编码方法及终端
US10554711B2 (en) * 2016-09-29 2020-02-04 Cisco Technology, Inc. Packet placement for scalable video coding schemes
CN109194985B (zh) * 2018-11-19 2021-03-26 上海高骏精视信息技术有限公司 一种音视频以太网传输方法及其系统
US10728443B1 (en) 2019-03-27 2020-07-28 On Time Staffing Inc. Automatic camera angle switching to create combined audiovisual file
US10963841B2 (en) 2019-03-27 2021-03-30 On Time Staffing Inc. Employment candidate empathy scoring system
JP7349815B2 (ja) * 2019-05-16 2023-09-25 キヤノン株式会社 撮像装置及びその制御方法及びプログラム
US11127232B2 (en) 2019-11-26 2021-09-21 On Time Staffing Inc. Multi-camera, multi-sensor panel data extraction system and method
US11023735B1 (en) 2020-04-02 2021-06-01 On Time Staffing, Inc. Automatic versioning of video presentations
US11144882B1 (en) 2020-09-18 2021-10-12 On Time Staffing Inc. Systems and methods for evaluating actions over a computer network and establishing live network connections
US11727040B2 (en) 2021-08-06 2023-08-15 On Time Staffing, Inc. Monitoring third-party forum contributions to improve searching through time-to-live data assignments
US11423071B1 (en) 2021-08-31 2022-08-23 On Time Staffing, Inc. Candidate data ranking method using previously selected candidate data
US11907652B2 (en) 2022-06-02 2024-02-20 On Time Staffing, Inc. User interface and systems for document creation

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1247004A (zh) * 1996-12-04 2000-03-08 松下电器产业株式会社 用于高分辨率和三维视频记录的光盘及其再现和记录设备
US20070223595A1 (en) * 2006-03-27 2007-09-27 Nokia Corporation Picture delimiter in scalable video coding
US20080285863A1 (en) * 2007-05-14 2008-11-20 Samsung Electronics Co., Ltd. Method and apparatus for encoding and decoding multi-view image
CN101366285A (zh) * 2006-01-09 2009-02-11 汤姆逊许可证公司 用于多视角视频编码的方法和装置
CN101371584A (zh) * 2006-01-09 2009-02-18 汤姆森特许公司 提供用于多视图视频编码的降低分辨率的更新模式的方法和装置

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6246767B1 (en) * 1995-04-03 2001-06-12 Scientific-Atlanta, Inc. Source authentication of download information in a conditional access system
HRP970160A2 (en) * 1996-04-03 1998-02-28 Digco B V Method for providing a secure communication between two devices and application of this method
EP1021048A3 (en) * 1999-01-14 2002-10-02 Kabushiki Kaisha Toshiba Digital video recording system and its recording medium
WO2000055854A1 (fr) * 1999-03-17 2000-09-21 Kabushiki Kaisha Toshiba Procede d'enregistrement de donnees en fluxet de leur structure
EP1134702A3 (en) * 2000-03-14 2003-10-29 Samsung Electronics Co., Ltd. Method for processing nodes in 3D scene and apparatus thereof
GB0007868D0 (en) * 2000-03-31 2000-05-17 Koninkl Philips Electronics Nv Methods and apparatus for editing digital video recordings and recordings made by such methods
JP3583977B2 (ja) * 2000-07-07 2004-11-04 三洋電機株式会社 デジタルビデオ再生装置
JP3789794B2 (ja) * 2001-09-26 2006-06-28 三洋電機株式会社 立体画像処理方法、装置、およびシステム
KR100397511B1 (ko) * 2001-11-21 2003-09-13 한국전자통신연구원 양안식/다시점 3차원 동영상 처리 시스템 및 그 방법
KR20050072420A (ko) * 2002-09-26 2005-07-11 코닌클리케 필립스 일렉트로닉스 엔.브이. 다중 스트림 판독
JP4224690B2 (ja) * 2002-12-27 2009-02-18 ソニー株式会社 記録方法、記録装置、再生方法、再生装置および撮像装置
KR100585966B1 (ko) 2004-05-21 2006-06-01 한국전자통신연구원 3차원 입체 영상 부가 데이터를 이용한 3차원 입체 디지털방송 송/수신 장치 및 그 방법
JP4608953B2 (ja) 2004-06-07 2011-01-12 ソニー株式会社 データ記録装置、方法およびプログラム、データ再生装置、方法およびプログラム、ならびに、記録媒体
KR100657322B1 (ko) 2005-07-02 2006-12-14 삼성전자주식회사 로컬 3차원 비디오를 구현하기 위한 인코딩/디코딩 방법 및장치
JP4886689B2 (ja) * 2005-07-15 2012-02-29 パナソニック株式会社 パケット送信装置
CN101026725B (zh) * 2005-07-15 2010-09-29 索尼株式会社 再现设备及再现方法
CN100583977C (zh) * 2005-09-27 2010-01-20 韩国电子通信研究院 用于高质量视频服务的传送和接收数字多媒体广播的设备
JP2008252740A (ja) 2007-03-30 2008-10-16 Sony Corp リモートコマンダおよびコマンド発生方法、再生装置および再生方法、プログラム、並びに、記録媒体
EP2230844B1 (en) * 2008-01-17 2017-11-22 Panasonic Intellectual Property Management Co., Ltd. Recording medium on which 3d video is recorded, recording apparatus for recording 3d video, and reproducing device and method for reproducing 3d video
EP2416581A4 (en) * 2009-03-30 2014-03-12 Panasonic Corp RECORDING MEDIUM, PLAYING DEVICE AND INTEGRATED CIRCUIT
JP4993224B2 (ja) * 2009-04-08 2012-08-08 ソニー株式会社 再生装置および再生方法
US8290338B2 (en) * 2009-05-27 2012-10-16 Panasonic Corporation Recording medium, playback device, encoding device, integrated circuit, and playback output device

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1247004A (zh) * 1996-12-04 2000-03-08 松下电器产业株式会社 用于高分辨率和三维视频记录的光盘及其再现和记录设备
CN101366285A (zh) * 2006-01-09 2009-02-11 汤姆逊许可证公司 用于多视角视频编码的方法和装置
CN101371584A (zh) * 2006-01-09 2009-02-18 汤姆森特许公司 提供用于多视图视频编码的降低分辨率的更新模式的方法和装置
US20070223595A1 (en) * 2006-03-27 2007-09-27 Nokia Corporation Picture delimiter in scalable video coding
US20080285863A1 (en) * 2007-05-14 2008-11-20 Samsung Electronics Co., Ltd. Method and apparatus for encoding and decoding multi-view image

Also Published As

Publication number Publication date
JP2010245969A (ja) 2010-10-28
HK1157546A1 (zh) 2012-06-29
WO2010116998A1 (ja) 2010-10-14
CN103079081B (zh) 2015-12-02
CN102047674A (zh) 2011-05-04
EP2285130A1 (en) 2011-02-16
CN102047674B (zh) 2016-01-20
CN103079081A (zh) 2013-05-01
US8792780B2 (en) 2014-07-29
CN103079082A (zh) 2013-05-01
EP2285130A4 (en) 2013-07-03
JP4993224B2 (ja) 2012-08-08
TWI428016B (zh) 2014-02-21
US20120087641A1 (en) 2012-04-12
TW201119388A (en) 2011-06-01

Similar Documents

Publication Publication Date Title
CN103079082B (zh) 记录方法
CN102292992B (zh) 信息处理设备、信息处理方法、回放设备、回放方法及记录介质
CN103179417B (zh) 记录设备、记录方法、回放设备和回放方法
CN102282858B (zh) 回放设备、回放方法和程序
CN102047673B (zh) 记录设备、记录方法、回放设备、回放方法、记录介质和程序
EP2288172B1 (en) Information processing device, information processing method, reproduction device, reproduction method, and program
JP2010245970A (ja) 再生装置、再生方法、およびプログラム
CN102047671A (zh) 信息处理设备、信息处理方法、程序和记录介质
JP4984193B2 (ja) 再生装置、再生方法、および記録方法
JP4984192B2 (ja) 記録方法
JP4993233B2 (ja) 記録方法
JP4993234B2 (ja) 再生装置、再生方法、および記録方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20160210

Termination date: 20200406