CN102625122B - 记录设备、记录方法、回放设备和回放方法 - Google Patents

记录设备、记录方法、回放设备和回放方法 Download PDF

Info

Publication number
CN102625122B
CN102625122B CN201210045765.8A CN201210045765A CN102625122B CN 102625122 B CN102625122 B CN 102625122B CN 201210045765 A CN201210045765 A CN 201210045765A CN 102625122 B CN102625122 B CN 102625122B
Authority
CN
China
Prior art keywords
data
stream
view video
view
picture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201210045765.8A
Other languages
English (en)
Other versions
CN102625122A (zh
Inventor
服部忍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN102625122A publication Critical patent/CN102625122A/zh
Application granted granted Critical
Publication of CN102625122B publication Critical patent/CN102625122B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/156—Mixing image signals
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G11B27/034—Electronic editing of digitised analogue information signals, e.g. audio or video signals on discs
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/11—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information not detectable on the record carrier
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/189—Recording image signals; Reproducing recorded image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/426—Internal components of the client ; Characteristics thereof
    • H04N21/42646—Internal components of the client ; Characteristics thereof for reading from or writing on a non-volatile solid state storage medium, e.g. DVD, CD-ROM
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/432—Content retrieval operation from a local storage medium, e.g. hard-disk
    • H04N21/4325—Content retrieval operation from a local storage medium, e.g. hard-disk by playing back content from the storage medium
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4347—Demultiplexing of several video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/84—Television signal recording using optical recording
    • H04N5/85—Television signal recording using optical recording on discs or drums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • H04N9/8227—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal the additional signal being at least another television signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234327—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into layers, e.g. base layer and one or more enhancement layers

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Television Signal Processing For Recording (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明涉及记录设备、记录方法、回放设备、回放方法、记录介质和程序，其使得即使在与回放多视点视频数据不兼容的设备中也可以播放诸如BD之类的、其上记录了通过利用预定编码方法对多视点视频数据进行编码而获得的基本图像流和扩充图像流的记录介质。在存储基本视图视频的访问单元中，禁止对MVC头部编码。对于存储在访问单元中的不具有MVC头部的视点分量，进行定义以使得view_id被识别为0。本发明适用于遵循BD-ROM标准的回放设备。

Description

记录设备、记录方法、回放设备和回放方法
本申请是国际申请号为PCT/JP2010/055273、国际申请日为2010年3月25日、国家申请号为201080001730.3、题为“记录设备、记录方法、回放设备、回放方法、记录介质和程序”的发明专利申请的分案申请。
技术领域
本发明涉及记录设备、记录方法、回放设备、回放方法、记录介质和程序，更具体而言涉及使得能在与多视点视频数据的回放不兼容的设备中播放存储了通过利用预定编码方法对多视点视频数据进行编码而获得的扩充图像(extendedimage)的流和基本图像(baseimage)的流的诸如BD之类的记录介质的记录设备、记录方法、回放设备、回放方法、记录介质和程序。
背景技术
二维图像内容是内容的主流，例如电影等，但是近来，实现立体视觉观看的立体视觉图像内容已被关注。
为了显示立体视觉图像必须要有专用设备。用于立体视觉观看的这样的设备的示例包括由NHK(日本广播公司)开发的IP(积分照相)立体视觉图像系统。
立体视觉图像的图像数据包括多个视点的图像数据(从多个视点拍摄的图像的图像数据)。视点数目越多，视点覆盖的范围越广，物体就可以从更多个方向被看到。从而可以实现一类“可以看到深度的电视”。
在立体视觉图像中，视点数目最少的图像是两个视点的立体图像(也称作3D图像)。立体图像的图像数据包括作为由左眼观看的图像的左图像的数据和作为由右眼观看的图像的右图像的数据。
另一方面，诸如电影之类的高分辨率图像的内容具有较大的数据量，因此为了记录这种大数据量内容，大容量记录介质是必需的。
这种大容量记录介质的示例有Blu-Ray(蓝光)(注册商标)盘(下文也称作BD)，例如BD(Blu-Ray(注册商标))-ROM(只读存储器)。引用列表专利文献PTL1：日本未实审专利申请公开No.2005-348314
发明内容
技术问题
顺便提及，在BD标准中，尚未规定如何记录包括立体图像在内的立体视觉图像的图像数据到BD中或者如何回放该图像数据。
立体图像的图像数据包括两个数据流：左图像的数据流和右图像的数据流。如果这两个数据流按原样被记录到BD上，则在已广泛使用的BD播放机中可能无法回放这些数据流。
考虑到这种情形作出了本发明，并且本发明使得能在与多视点视频数据的回放不兼容的设备中播放存储了通过利用预定编码方法对多视点视频数据进行编码而获得的扩充图像的流和基本图像的流的诸如BD之类的记录介质。
解决问题的方案
根据本发明一个方面的记录设备包括：编码装置，用于利用预定编码方法对多视点视频数据进行编码，并且输出基本图像的流和扩充图像的流，构成所述基本图像的流的数据不具有包括视点的标识信息的数据头部，而构成所述扩充图像的流的数据具有包括示出该数据是扩展视点的数据的标识信息的数据头部。
所述编码装置可以从通过利用预定编码方法对多视点视频数据进行编码而获得的并且由具有所述数据头部的数据构成的基本图像的流中移除所述数据头部，并输出由不具有所述数据头部的数据构成的基本图像的流。
所述编码装置可以向所述数据头部设置等于或大于1的值，并且输出所述扩充图像的流，其中所述值用作示出所述数据是扩展视点的数据的标识信息。
根据本发明一个方面的记录方法包括以下步骤：利用预定编码方法对多视点视频数据进行编码，并且输出基本图像的流和扩充图像的流，构成所述基本图像的流的数据不具有包括视点的标识信息的数据头部，而构成所述扩充图像的流的数据具有包括示出该数据是扩展视点的数据的标识信息的数据头部。
根据本发明一个方面的一种程序，使计算机执行包括以下步骤的处理：利用预定编码方法对多视点视频数据进行编码，并且输出基本图像的流和扩充图像的流，构成所述基本图像的流的数据不具有包括视点的标识信息的数据头部，而构成所述扩充图像的流的数据具有包括示出该数据是扩展视点的数据的标识信息的数据头部。
根据本发明一个方面的一种记录介质，存储有通过利用预定编码方法对多视点视频数据进行编码而获得的基本图像的流和扩充图像的流，其中构成所述基本图像的流的数据不具有包括视点的标识信息的数据头部，而构成所述扩充图像的流的数据具有包括示出该数据是扩展视点的数据的标识信息的数据头部。
根据本发明另一个方面的回放设备包括：读取装置，用于从记录介质读取通过利用预定编码方法对多视点视频数据进行编码而获得的基本图像流和扩充图像流，其中构成所述基本图像的流的数据不具有包括视点的标识信息的数据头部，而构成所述扩充图像流的数据具有包括其值等于或大于1的所述标识信息的数据头部，所述其值等于或大于1的所述标识信息示出了该数据是扩展视点的数据；以及解码装置，用于从在数据头部中被设置为标识信息的值较小的视点的数据开始顺序地执行处理，将不具有数据头部的、基本图像流中的数据作为在所述数据头部中设置零值作为所述标识信息的数据，并且先对所述基本图像流的数据进行解码然后对所述扩充图像流的数据进行解码。
根据本发明另一个方面的回放方法，包括以下步骤：从记录介质读取通过利用预定编码方法对多视点视频数据进行编码而获得的基本图像流和扩充图像流，其中构成所述基本图像流的数据不具有包括视点的标识信息的数据头部，而构成所述扩充图像流的数据具有包括其值等于或大于1的所述标识信息的数据头部，所述其值等于或大于1的所述标识信息示出了该数据是扩展视点的数据；以及如果从在数据头部中被设置为标识信息的值较小的视点的数据开始顺序地执行处理，则将不具有数据头部的、基本图像流中的数据作为在所述数据头部中设置零值作为所述标识信息的数据，并且先对所述基本图像流的数据进行解码然后对所述扩充图像流的数据进行解码。
根据本发明另一个方面的一种程序，使计算机执行包括以下步骤的处理：从记录介质读取通过利用预定编码方法对多视点视频数据进行编码而获得的基本图像流和扩充图像流，其中构成所述基本图像流的数据不具有包括视点的标识信息的数据头部，而构成所述扩充图像流的数据具有包括其值等于或大于1的所述标识信息的数据头部，所述其值等于或大于1的所述标识信息示出了该数据是扩展视点的数据；以及如果从在数据头部中被设置为标识信息的值较小的视点的数据开始顺序地执行处理，则将不具有数据头部的、基本图像流中的数据作为在所述数据头部中设置零值作为所述标识信息的数据，并且先对基本图像流的数据进行解码然后对所述扩充图像流的数据进行解码。
在本发明一个方面中，利用预定编码方法对多视点视频数据被进行了编码，并且输出基本图像的流和扩充图像的流，构成所述基本图像的流的数据不具有包括视点的标识信息的数据头部，而构成所述扩充图像的流的数据具有包括示出该数据是扩展视点的数据的标识信息的数据头部。
在本发明的另一个方面中，通过利用预定编码方法对多视点视频数据进行编码而获得的基本图像的流和扩充图像的流被从记录介质读取，其中构成所述基本图像的流的数据不具有包括视点的标识信息的数据头部，而构成所述另一种流的数据具有包括示出该数据是扩展视点的数据且具有等于或大于1的值的标识信息的数据头部，并且如果从在数据头部中被设置为标识信息的值较小的视点的数据开始顺序地执行处理，则将不具有数据头部的、基本图像的流中的数据作为在所述数据头部中设置零值作为所述标识信息的数据，并且先对基本图像的流的数据进行解码然后对所述扩充图像的流的数据进行解码。
本发明的有益效果
根据本发明，能在与多视点视频数据的回放不兼容的设备中播放存储了通过利用预定编码方法对多视点视频数据进行编码而获得的扩充图像的流和基本图像的流的诸如BD之类的记录介质。
附图说明
图1示出了包括本发明被应用到的回放设备的回放系统的配置示例。
图2示出了拍摄示例。
图3的框图示出了MVC编码器的配置示例。
图4示出了参考图像的示例。
图5示出了TS的配置示例。
图6示出了TS的另一个配置示例。
图7示出了TS的又一个配置示例。
图8示出了AV流管理的示例。
图9示出了主路径(MainPath)和辅路径(SubPath)的结构。
图10示出了要记录到光盘中的文件的管理结构的示例。
图11示出了PlayList(播放列表)文件的语法。
图12示出了使用图11中的reserved_for_future_use的方法的示例。
图13示出了3D_PL_type的值的含义。
图14示出了view_type的值的含义。
图15示出了图11中的PlayList()的语法。
图16示出了图15中的SubPath()的语法。
图17示出了图16中的SubPlayItem(i)的语法。
图18示出了图15中的PlayItem()的语法。
图19示出了图18中的STN_table()的语法。
图20示出了回放设备的配置示例。
图21示出了图20中的解码器单元的配置示例。
图22示出了用于对视频流执行处理的配置。
图23示出了用于对视频流执行处理的配置。
图24示出了用于对视频流执行处理的另一个配置。
图25示出了访问单元(AccessUnit)的示例。
图26示出了用于对视频流执行处理的又一个配置。
图27示出了合成单元及其前级的配置。
图28是示出了合成单元及其前级的配置的另一个图。
图29的框图示出了软件装配处理单元的配置示例。
图30示出了包括软件装配处理单元的各个配置的示例。
图31示出了设置在记录设备中的3D视频TS生成单元的配置示例。
图32示出设在记录设备中的3D视频TS生成单元的另一配置示例。
图33示出设在记录设备中的3D视频TS生成单元的又一配置示例。
图34示出了用于对访问单元进行界面的回放设备侧的配置。
图35示出了解码处理。
图36示出了封闭GOP(CloseGOP)结构。
图37示出了开放GOP(OpenGOP)结构。
图38示出了一个GOP内的帧和场的最大数目。
图39示出了封闭GOP结构。
图40示出了开放GOP结构。
图41示出了设置给EP_map的解码开始位置的示例。
图42示出了在未定义从属视图视频(Dependentviewvideo)的GOP结构时导致的问题。
图43示出了图片搜索的概念。
图44示出了记录在光盘上的AV流的结构。
图45示出了片断AV流的示例。
图46示出在概念上示出了对应于图45中的片断AV流的EP_map。
图47示出了SPN_EP_start所指示的源分组的数据结构的示例。
图48的框图示出了计算机的硬件的配置示例。
具体实施方式
<第一实施例>
[回放系统的配置示例]
图1示出了包括本发明被应用到的回放设备1的回放系统的配置示例。
如图1所示，该回放系统包括通过HDMI(高清多媒体接口)线缆等连接的回放设备1和显示设备3。诸如BD之类的光盘2被安装到回放设备1
显示视点数目为2的立体图像(也称作3D图像)所必需的流记录在光盘2中。
回放设备1是与记录在光盘2中的流的3D回放兼容的播放机。回放设备1回放光盘2中记录的流，并且在由电视接收机等构成的显示设备3上显示通过回放获得的3D图像。回放设备1以同样的方式回放音频，并且从设置在显示设备3中的扬声器等中输出。
已提出了多种方法作为3D图像显示方法。现在，将采用下面的type-1显示方法和type-2显示方法作为3D图像显示方法。
type-1显示方法是这样一种方法，用于显示3D图像，该3D图像的数据包括由左眼观看的图像(L图像)的数据和由右眼观看的图像(R图像)的数据，并且交替显示L图像和R图像。
type-2显示方法是一种通过显示利用原始图像的数据和Depth(深度)数据生成的L图和R图像来显示3D图像的方法，其中原始图像是用作用于生成3D图像的起源的图像。type-2显示方法中所使用的3D图像的数据包括原始图像的数据、以及被提供给用于生成L图像和R图像的原始图像的Depth的数据。
type-1显示方法是在观看/收听时需要眼镜的显示方法。而type-2显示方法是可以不需要眼镜来观看/收听3D图像的显示方法。
流被记录到光盘2中，从而可以利用type-1显示方法和type-2显示方法来显示3D图像。
例如H.264AVC(高级视频编码)/MVC(多视图视频编码)被用作用于在光盘2上记录这种流的编码方法。
[H.264AVC/MVC简档]
在H.264AVC/MVC中，定义了称作基本视图视频(baseviewvideo)的图像流和称作从属视图视频流的图像流。此后，将H.264AVC/MVC适当地简称为MVC。
图2示出了拍摄示例。
如图2所示，利用用于L图像的相机和用于R图像的相机来对同一物体执行拍摄。由用于L图像的相机和用于R图像的相机拍摄的视频的基础流(elementarystream)被输入到MVC编码器。
图3的框图示出了MVC编码器的配置。
如图3所示，MVC编码器11包括H.264/AVC编码器21、H.264/AVC解码器22、Depth计算单元23、从属视图视频编码器24和复用器25。
由用于L图像的相机拍摄的视频#1的流被输入到H.264/AVC编码器21和Depth计算单元23。另外，由用于R图像的相机拍摄的视频#2的流被输入到Depth计算单元23和从属视图视频编码器24。视频#2的流也可被输入到H.264/AVC编码器21和Depth计算单元23，而视频#1的流也可被输入到Depth计算单元23和从属视图视频编码器24。
H.264/AVC编码器21将视频#1的流编码成例如H.264AVC/High简档视频流。H.264/AVC编码器21将通过编码获得的AVC视频流作为基本视图视频流，输出到H.264/AVC解码器22和复用器25。
H.264/AVC解码器22对自H.264/AVC编码器21提供来的AVC视频流进行解码，并且将通过解码获得的视频#1的流输出到从属视图视频编码器24。
Depth计算单元23基于视频#1的流和视频#2的流计算Depth，并且将计算出的Depth数据输出到复用器25。
从属视图视频编码器24对自H.264/AVC解码器22提供来的视频#1的流和外部输入的视频#2的流进行编码，并输出从属视图视频流。
在基本视图视频中，不允许利用另一个流作为参考图像的预测编码。但是如图4所示，对于从属视图视频，允许利用基本视图视频作为参考图像的预测编码。例如，在L图像作为基本视图视频并且R图像作为从属视图视频的情况下执行了编码时，由此获得的从属视图视频流的数据量小于基本视图视频流的数据量。
注意，由于编码是基于H.264/AVC的，因此对基本视图视频执行了时间方向上的预测。另外，同样对于从属视图视频，也执行了时间方向上的预测来作为视图之间的预测。为了解码从属视图视频，需要先完成对对应的基本视图视频的解码，因为基本视图视频在编码时被参考。
从属视图视频编码器24将通过利用这些视图间的预测进行编码而获得的从属视图视频流输出到复用器25。
复用器25将自H.264/AVC编码器21提供来的基本视图视频流、自Depth计算单元23提供来的从属视图视频流(Depth的数据)和自从属视图视频编码器24提供来的从属视图视频流复用成例如MPEG2TS。基本视图视频流和从属视图视频流可以被复用到单个MPEG2TS中，或者可以被包括在分离的MPEG2TS中。
复用器25输出所生成的TS(MPEG2TS)。从复用器25输出的TS与其他管理数据一起被记录到记录设备中的光盘2中，并且在被记录在光盘2中的同时被提供给回放设备1。
如果需要将在type-1显示方法中与基本视图视频一起使用的从属视图视频和在type-2显示方法中与基本视图视频一起使用的从属视图视频(Depth)区分开，则前者将称作D1视图视频，而后者称作D2视图视频。
另外，利用基本视图视频和D1视图视频执行的type-1显示方法中的3D回放将称作B-D1回放。利用基本视图视频和D2视图视频执行的type-2显示方法中的3D回放将称作B-D2回放。
如果响应于从用户提供来的指令等执行B-D1回放，则回放设备1从光盘2读取并播放基本视图视频流和D1视图视频流。
同样，如果执行B-D2回放，则回放设备1从光盘2读取并播放基本视图视频流和D2视图视频流。
此外，如果执行一般2D图像的回放，则回放设备1从光盘2仅读取并回放基本视图视频流。
由于基本视图视频流是通过H.264/AVC编码的AVC视频流，因此，只要与BD格式兼容的任何播放机可以回放其基本视图视频流来显示2D图像。
下面将主要描述从属视图视频是D1视图视频的情形。在仅被称作从属视图视频时，代表D1视图视频。同样，D2视图视频也以与D1视图视频相同的方式被记录在光盘2中，并被播放。
[TS的配置示例]
图5示出了TS的配置示例。
基本视图视频、从属视图视频、主音频、基本PG、从属PG、基本IG和从属IG的的流被复用到图5中的主TS中。以这种方式，从属视图视频流可以与基本视图视频流一起被包括在主TS中。
主TS和辅TS被记录到光盘2中。主TS是至少包括基本视图视频流的TS。辅TS是要与主TS一起使用的、包括基本视图视频流之外的流的TS。
基本视图和从属视图的流还被准备用于后面将描述的PG和IG，以使得3D显示如在视频中那样可用。
通过对每个流进行解码而获得的PG和IG的基本视图的平面经过与通过对基本视图视频流进行解码而获得的基本视图视频的平面相合成而被显示。类似地，PG和IG的从属视图的平面经过与通过对从属视频视图流进行解码而获得的从属视图视频的平面相合成而被显示。
例如，如果基本视图视频流是L图像的流，并且从属视图视频流是R图像的流，则PG和IG的基本视图的流是L图像的图形流。另外，从属视图的PG流和IG流是R图像的图形流。
另一方面，如果基本视图视频流是R图像的流并且从属视图视频流是L图像的流，则PG和IG的基本视图的流是R图像的图形流。另外，从属视图的PG流和IG流是L图像的图形流。
图6示出了TS的另一个配置示例。
基本视图视频和从属视图视频的流被复用到图6中的主TS中。
另一方面，主音频、基本PG、从属PG、基本IG和从属IG的流被复用到辅TS中。
因此，视频流可被复用到主TS中，而PG和IG的流可被复用到辅TS中。
图7示出了TS的又一个配置示例。
基本视图视频、主音频、基本PG、从属PG、基本IG和从属IG的流被复用到图7的部分A中的主TS中。
另一方面，从属视图视频流被包括在辅TS中。
因此，从属视图视频流可以被包括在与包括基本视图视频流的TS不同的TS中。
基本视图视频、主音频、PG和IG的流复用到图7中的部分B中的主TS中。另一方面，从属视图视频、基本PG、从属PG、基本IG和从属IG的流被复用到辅TS中。
包括在主TS中的PG和IG是用于2D回放的流。包括在辅TS中的流是用于3D回放的流。
因此，PG的流和IG的流可能不被2D回放和3D回放共享。
如上所述，基本视图视频流和从属视图视频流可以包括在不同的MPEG2TS中。将说明基本视图视频流和从属视图视频流被包括在不同的MPEG2TS中并被记录的优点。
例如，考虑复用为单个MPEG2TS所允许的比特速率受到限制的情形。在该情形中，当基本视图视频流和从属视图视频流二者都被包括在单个MPEG2TS中时，需要降低每个流的比特速率来满足该约束。结果，图像质量恶化了。
通过使各个流被包括在不同的MPEG2TS中来消除降低比特速率的必要，从而可以防止图像质量恶化。
[应用格式]
图8示出了回放设备1执行的AV流的管理的示例。
AV流的管理是利用图8中示出的PlayList和Clip两层执行的。可以将AV流记录在回放设备1的本地存储设备中，以及光盘2中。
在这里，包括一个AV流和作为与其相伴的信息的Clip信息的一个对被作为一个对象，并且将被总地称作Clip。在这里，存储AV流的文件将被称作AV流文件。另外，存储Clip信息的文件也称作Clip信息文件。
AV流被放置到时间轴上，并且每个Clip的访问点主要由PlayList中的时间戳指定。Clip信息文件用于寻找AV流内开始解码的地址等。
PlayList是AV流的一组回放节(section)。AV流内的一个回放节称作一个PlayItem(播放项)。PlayItem在时间轴上由回放节的一对入点(Inpoint)和出点(Outpoint)代表。如图8所示，PlayList由单个或多个PlayItem构成。
从图8的左侧起的第一个PlayList包括两个PlayItem，左侧的Clip中包括的AV流的前半部分和后半部分分别由这两个PlayItem引用。
从左侧起的第二个PlayList包括一个PlayItem，并且右侧的Clip中包括的整个AV流被其引用。
从左侧起的第三个PlayList包括两个PlayItem，并且左侧的Clip中包括的AV流的一部分和右侧的Clip中包括的AV流的一部分被这两个PlayItem引用。
例如，如果从左侧起第一个PlayList中包括的左侧的PlayItem已被盘导航程序指定为回放对象，则执行对由该PlayItem引用的、左侧的Clip中包括的AV流的前半部分的回放。因此，PlayList被用作用于管理AV流的回放的回放管理信息。
由PlayList内的一个或多个PlayItem的排列组成的回放路径将称作主路径(MainPath)。
另外，由PlayList内的一个或多个SubPlayItem的排列组成的回放路径将称作辅路径(SubPath)。
图9示出了主路径和辅路径的结构。
一个PlayList可以具有一个主路径和一个或多个辅路径。
上述基本视图视频流作为构成主路径的PlayItem所引用的流被管理。另外，从属视图视频流作为构成辅路径的SubPlayItem所引用的流被管理。
图9中的PlayList具有一个主路径和三个辅路径，该一个主路径包括三个PlayItem的排列。
从头开始按照次序为构成主路径的每个PlayItem设置了ID。也从头开始按照次序分别向辅路径设置了IDSubpath_id＝0、Subpath_id＝1并且Subpath_id＝2。
在图9中的示例中，在Subpath_id＝0的辅路径中包括一个SubPlayItem，在Subpath_id＝1的辅路径中包括两个SubPlayItem，并且在Subpath_id＝2的辅路径中包括一个SubPlayItem。
由一个PlayItem引用的ClipAV流包括至少一个视频流(主图像数据)。
另外，该ClipAV流可能包括或者可能不包括在与该ClipAV流中所包括的视频流相同的定时处(同步)回放的一个或多个音频流。
ClipAV流可能包括或者可能不包括要与该ClipAV流中包括的视频流同步回放的一个或多个位图字幕数据(PG(呈现图形))流。
ClipAV流可能包括或者可能不包括与该ClipAV流中包括的视频流同步回放的一个或多个IG(交互图形)流。IG流用于显示由用户操作的按钮等之类的图形。
在由一个PlayItem引用的ClipAV流中，复用了视频流、与其同步播放的零个或多个音频流、零个或多个PG流和零个或多个IG流。
另外，一个SubPlayItem引用作为与由PlayItem引用的ClipAV流不同的流的视频流、音频流、PG流等。
利用这样的PlayList、PlayItem和SubPlayItem管理AV流在日本未实审专利申请公开No.2008-252740和日本未实审专利申请公开No.2005-348314中有所描述。
[目录结构]
图10示出了被记录在光盘2上的文件的管理结构的示例。
如图10所示，文件是以层级方式通过目录结构管理的。在光盘2上创建了一个根目录。根目录下是由一个记录/回放系统管理的范围。
BDMV目录被布置在根目录下。
作为设置了名“Index.bdmv”的文件的Index文件(索引文件)以及作为设置了名“MovieObject.bdmv”的文件的MovieObject文件紧接着被存储在BDMV目录下面。
在BDMV目录下面还提供了BACKUP目录、PLAYLIST目录、CLIPINF目录、STREAM目录等。
描述了PlayList的PlayList文件被存储在PLAYLIST目录中。5位数字和扩展名“.mpls”组合而成的名称被设置给每个PlayList文件。文件名“00000.mpls”被设置给图10中示出的一个PlayList文件。
Clip信息文件被存储在CLIPINF目录中。5位数字和扩展名“.clpi”组合而成的名称被设置给每个Clip信息文件。
文件名“00001.clpi”、“00002.clpi”和“00003.clpi”分别被设置给图10中的三个Clip信息文件。下文中，根据需要，Clip信息文件将被称作clpi文件。
例如，clpi文件“00001.clpi”是其中描述了与基本视图视频的Clip有关的信息的文件。
clpi文件“00002.clpi”是其中描述了与D2视图视频的Clip有关的信息的文件。
clpi文件“00003.clpi”是其中描述了与D1视图视频的Clip有关的信息的文件。
流文件被存储在STREAM目录中。5位数字和扩展名“.m2ts”组合而成的名称或者5位数字和扩展名“.ilvt”组合而成的名称被设置给每个流文件。下文中，设置了扩展名“.m2ts”的文件将被适当地称作m2ts文件。另外，设置了扩展名“.ilvt”的文件将称作ilvt文件。
m2ts文件“00001.m2ts”是用于2D回放的文件。通过指定该文件来执行对基本视图视频流的读取。
m2ts文件“00002.m2ts”是D2视图视频流文件，而m2ts文件“00003.m2ts”是D1视图视频流文件。
ilvt文件“10000.ilvt”是用于B-D1回放的文件。通过指定该文件来执行对基本视图视频流和D1视图视频流的读取。
ilvt文件“20000.ilvt”是用于B-D2回放的文件。通过指定该文件来执行对基本视图视频流和D2视图视频流的读取。
除了图10中所示的目录外，在BDMV目录下面还提供了存储音频流文件等的目录。
[每段数据的语法]
图11示出了PlayList文件的语法。
PlayList文件是设置了扩展名“.mpls”的文件，存储在图10中的PLAYLIST目录中。
图11中的type_indicator表示“xxxxx.mpls”文件的类型。
version_number表示“xxxxx.mpls”文件的版本号。version_number由4位数字构成。例如，“0240”表示为用于3D回放的PlayList文件设置的“3D规格版本”。
PlayList_start_address表示PlayList()的开始地址，以从PlayList文件的第一字节起的相对字节数为单位。
PlayListMark_start_address表示PlayListMark()的开始地址，以从PlayList文件的第一字节起的相对字节数为单位。
ExtensionData_start_address表示ExtensionData()的开始地址，以从PlayList文件的第一字节起的相对字节数为单位。
160比特的reserved_for_future_use被包括在ExtensionData_start_address之后。
与诸如回放限制之类的PlayList的回放控制有关的参数被存储在AppInfoPlayList()中。
与主路径、辅路径等有关的参数存储在PlayList()中。后面将描述PlayList()的内容。
PlayList标记信息，即，与作为用户操作的跳跃目的地(跳跃点)或者用于指示章跳跃等的命令的标记有关的信息，存储在PlayListMark()中。
私有数据可以被插入到ExtensionData()中。
图12示出了PlayList文件的描述的具体示例。
如图12所示，2比特的3D_PL_type和1比特的view_type在PlayList文件中描述。
3D_PL_type表示PlayList的类型。
view_type表示其回放由PlayList管理的基本视图视频流是L图像(L视图)流还是R图像(R视图)流。
图13示出了3D_PL_type的值的含义。
3D_PL_type的值00表示这是用于2D回放的PlayList。
3D_PL_type的值01表示这是用于3D回放中的B-D1回放的PlayList。
3D_PL_type的值10表示这是用于3D回放中的B-D2回放的PlayList。
例如，如果3D_PL_type的值是01或者10，则3DPlayList信息被登记到PlayList文件的ExtensionData()中。例如，与从光盘2读取基本视图视频流和从属视图视频流相关的信息被登记为3DplayList信息。
图14示出了view_type的值的含义。
如果执行3D回放，则view_type的值0表示基本视图视频流是L视图流。如果执行2D回放，则view_type的值0表示基本视图视频流是AVC视频流。
view_type的值1表示基本视图视频流是R视图流。
回放设备1可以利用PlayList文件中描述的view_type来识别基本视图视频流是L视图流还是R视图流。
例如，如果视频信号经由HDMI线缆被输出到显示设备3，则可以要求回放设备1在区分开L视图信号和R视图信号的同时来输出它们。
通过使回放设备1能标识出基本视图视频流是L视图流还是R视图流，回放设备1可以在区分开L视图信号和R视图信号的同时来输出它们。
图15示出了图11中的PlayList()的语法。
length(长度)是一个32比特的无符号整数，指示从该length字段到PlayList()的末尾的字节数。即，length表示从reserved_for_future_use到PlayList末尾的字节数。
在length之后准备了16比特的reserved_for_future_use。
number_of_PlayItems是一个16比特的字段，指示一个PlayList内PlayItem的数目。在图9中的示例的情形中，PlayItem的数目为3。按照PlayItem()在PlayList内出现的次序从0起向PlayItem_id赋值。例如，在图9中赋予了PlayItem_id＝0、1、2。
number_of_SubPaths是一个16比特的字段，指示一个PlayList内的辅路径的数目。在图9的中的示例的情形中，辅路径的数目为3。按照SubPath()在PlayList中出现的次序从0起向SubPath_id赋值。例如，在图9中赋予了SubPath_id＝0、1、2。在下文中，PlayItem()由PlayItem的数目引用，并且SubPath()由辅路径的数目引用。
图16示出了图15中的SubPath()的语法。
length是一个32比特的无符号整数，指示从该length字段到SubPath()的末尾的字节数。即，length表示从reserved_for_future_use到PlayList末尾的字节数。
在length之后准备了16比特的reserved_for_future_use。
Subpath_type是一个8比特的字段，指示辅路径的应用的类型。例如SubPath_type被用于例如指示辅路径的类型是音频、位图字幕或者文本字幕。
在SubPath_type之后准备了15比特的reserved_for_future_use。
is_repeat_SubPath是一个1比特的、指定辅路径的回放方法的字段，并且指示在主路径的回放期间重复执行对辅路径的回放还是只执行一次对辅路径的回放。例如，如果由主路径引用的Clip的回放定时和由辅路径引用的Clip的回放定时不同(如果主路径作为静止图像的幻灯片播放的路径，而辅路径作为用作BGM的音频的路径)，则使用该字段。
在is_repeat_SubPath之后准备了8比特的reserved_for_future_use。
number_of_SubPlayItems是一个8比特的字段，指示在一个辅路径中的SubPlayItem的数目(条目的数目)。例如，图9中的SubPath_id＝0的SubPlayItem的number_of_SubPlayItems为1，而SubPath_id＝1的SubPlayItem的number_of_SubPlayItems为2。在下文中，SubPlayItem()由SubPlayItem的数目引用。
图17示出了图16中的SubPlayItem(i)的语法。
length是一个16比特的无符号整数，指示从该length字段到SubPlayItem()的末尾的字节数。
针对SubPlayItem引用一个Clip的情形和SubPlayItem引用多个Clip的情形来对图17中的SubPlayItem(i)进行描述。
将针对SubPlayItem引用一个Clip的情形进行描述。
Clip_Information_file_name[0]表示要被引用的Clip。
Clip_codec_identifier[0]表示Clip的编解码方法。在Clip_codec_identifier[0]之后包括有reserved_for_future_use。
is_multi_Clip_entries是指示多个Clip是否被登记的标志。如果is_multi_Clip_entries的标志成(stand)，则参考SubPlayItem引用多个Clip的情形中的语法。
ref_to_STC_id[0]是与STC间断点有关的信息(系统时间基础的间断点)。
SubPlayItem_IN_time表示辅路径的回放节的开始位置，并且SubPlayItem_OUT_time表示结束位置。
sync_PlayItem_id和sync_start_PTS_of_PlayItem表示当辅路径在主路径的时间轴上开始回放时的时间。
SubPlayItem_IN_time、SubPlayItem_OUT_time、sync_PlayItem_id和sync_start_PTS_of_PlayItem共同用在由SubPlayItem引用的Clip中。
下面将针对“如果is_multi_Clip_entries＝＝1b”，并且SubPlayItem引用多个Clip的情形进行描述。
num_of_Clip_entries表示要引用的Clip的数目。Clip_Information_file_name[SubClip_entry_id]的数目指定除了Clip_Information_file_name[0]以外的Clip的数目。
Clip_codec_identifier[SubClip_entry_id]表示Clip的编解码方法。
ref_to_STC_id[SubClip_entry_id]是与STC间断点有关的信息(系统时间基础的间断点)。在ref_to_STC_id[SubClip_entry_id]之后包括有reserved_for_future_use。
图18示出了图15中的PlayItem()的语法。
length是一个16比特的无符号整数，指示从该length字段到PlayItem()的末尾的字节数。
Clip_Information_file_name[0]表示由PlayItem引用的Clip的Clip信息文件的文件名。注意，相同的5位数字被包含在Clip信息文件的文件名与其相对应的、包括Clip的m2ts文件的文件名中。
Clip_codec_identifier[0]表示Clip的编解码方法。在Clip_codec_identifier[0]之后包括有reserved_for_future_use。在reserved_for_future_use之后包括有is_multi_angle和connection_condition。
ref_to_STC_id[0]是与STC间断点有关的信息(系统时间基础的间断点)。
IN_time表示PlayItem的回放节的开始位置，而OUT_time表示结束位置。
在OUT_time后包括有UO_mask_table()、PlayItem_random_access_mode和still_mode。
STN_table()包括由对象PlayItem引用的AV流的信息。另外，如果存在辅路要与对象PlayItem相关联地被播放，则还包括由构成其辅路径的SubPlayItem引用的AV流的信息。
图19示出了图18中的STN_table()的语法。
STN_table()被设置为PlayItem的属性。
length是一个16比特的无符号整数，指示从该length字段到STN_table()的末尾的字节数。在该length之后还准备有16比特的reserved_for_future_use。
number_of_video_stream_entries表示被输入(登记)到STN_table()表中并被提供有video_stream_id的流的数目。
video_stream_id是用于标识视频流的信息。例如，基本视图视频流就是利用该video_stream_id指定的。
从属视图视频流的ID可以定义在STN_table()中，或者可以通过计算获得，例如将一个预定值与基本视图视频流的ID相加。
video_stream_number是从用户看的视频流号，用于视频切换。
number_of_audio_stream_entries表示被输入到STN_table()中的、被提供有audio_stream_id的第一音频流的流的数目。audio_stream_id是用于标识音频流的信息，并且audio_stream_number是从用户看的音频流号，用于音频切换。
number_of_audio_stream2_entries表示被输入到STN_table()中的被提供有audio_stream_id2的第二音频流的流的数目。audo_stream_id2是用于标识音频流的信息，并且audio_stream_number是从用户看的音频流号，用于音频切换。在该示例中，要回放的音频可以被切换。
number_of_PG_txtST_stream_entries表示被输入到STN_table()中的被提供有PG_txtST_stream_id的流的数目。在这些之中，通过对位图字幕进行游标长度编码而获得的PG流和文本字幕文件(txtST)被输入。PG_txtST_stream_id是用于标识字幕流的信息，并且PG_txtST_stream_number是从用户看的字幕流号，用于字幕切换。
number_of_IG_stream_entries表示被输入到STN_table()中的被提供有IG_stream_id的流的数目。在这些之中，IG流被输入。IG_stream_id是用于标识IG流的信息，并且IG_stream_number是从用户看的图形流号，用于图形切换。
主TS和辅TS的ID也被登记到STN_table()中。在stream_attribute()中描述了其ID不是基础流的ID，而是TS的ID。
[回放设备1的配置示例]
图20的框图示出了回放设备1的配置示例。
控制器51执行准备好的控制程序来控制回放设备1的整个操作。
例如，控制器51控制盘驱动器52读取用于3D回放的PlayList文件。另外，控制器51还使得基于STN_table中登记的ID读取主TS和辅TS，并将这些提供给解码器单元56。
盘驱动器52根据控制器51的控制从光盘2读取数据，并且将读取的数据输出到控制器51、存储器53和解码器单元56。
存储器53按需存储控制器51执行各种类型的处理必需的数据。
本地存储设备54由例如HDD(硬盘驱动器)配置而成。从服务器72下载的从属视图视频流等被记录到本地存储设备54中。记录在本地存储设备54中的流也被按需提供给解码器单元56。
因特网接口55根据控制器51的控制经由网络71执行与服务器72的通信，并将从服务器72下载的数据提供给本地存储设备54。
用于更新记录在光盘2中的数据是从服务器72下载的。通过使得下载的从属视图视频流能够与记录在光盘2中的基本视图视频流一起使用，可以实现对与光盘2的内容不同的内容的3D回放。在下载了从属视图视频流时，PlayList的内容也被适当地更新。
解码器单元56对自盘驱动器52或本地存储设备54提供来的流进行解码，并将获得的视频信号输出到显示设备3。音频信号也经由预定的路线被输出到显示设备3。
操作输入单元57包括诸如按钮、按键、触摸板、拨盘、鼠标之类的输入设备和用于接收从预定的遥控器发送来的红外线之类的信号的接收单元。操作输入单元57检测用户的操作，来将代表检测到的操作的内容的信号提供给控制器51。
图21示出了解码器单元56的配置示例。
图21示出了执行对视频信号的处理的配置。在解码器单元56中，还执行音频信号的解码处理。将音频信号作为对象执行的解码处理的结果经由未示出的路由被输出到显示设备3。
PID过滤器101基于构成TS的分组的PID或者流的ID来识别自盘驱动器52或本地存储设备54提供来的TS是主TS还是辅TS。PID过滤器101将主TS输出到缓冲器102，将辅TS输出到缓冲器103。
基于PID，PID过滤器104顺序地读取缓冲器102中存储的主TS的分组并对它们排序。
例如，PID过滤器104将构成主TS中包括的基本视图视频流的分组输出到B视频缓冲器106，并将构成从属视图视频流的分组输出到开关107。
另外，PID过滤器104还将构成主TS中包括的基本IG流的分组输出到开关114，并将构成从属IG流的分组输出到开关118。
PID过滤器104将构成主TS中包括的基本PG流的分组输出到开关122，并将构成从属PG流的分组输出到开关126。
如参考图5所述，基本视图视频、从属视图视频、基本PG、从属PG、基本IG和从属IG的流可以被复用到主TS中。
基于PID，PID过滤器105顺序地读取缓冲器103中存储的辅TS的分组并对它们排序。
例如，PID过滤器105将构成辅TS中包括的从属视图视频流的分组输出到开关107。
另外，PID过滤器105还将构成辅TS中包括的基本IG流的分组输出到开关114，并将构成从属IG流的分组输出到开关118。
PID过滤器105将构成辅TS中包括的基本PG流的分组输出到开关122，并将构成从属PG流的分组输出到开关126。
如参考图7所述，从属视图视频流可以被包括到辅TS中。另外，如参考图6所述，基本PG、从属PG、基本IG和从属IG的流可以被复用到辅TS中。
开关107将构成自PID过滤器104或者PID过滤器105提供来的从属视图视频流的分组输出到D视频缓冲器108。
开关109根据规定了解码定时的时间信息顺序地读取存储在B视频缓冲器106中的基本视图视频分组、存储在D视频缓冲器108中的从属视图视频分组，例如，同一时间信息被设置给存储基本视图视频的某一图片的数据的分组和存储对应的从属视图视频的图片的数据的分组。
开关109将从B视频缓冲器106或D视频缓冲器108读取的分组输出到视频解码器110。
视频解码器110对自开关109提供来的分组进行解码，来将通过解码获得的基本视图视频或从属视图视频输出到开关111。
开关111将通过对基本视图视频分组进行解码获得的数据输出到B视频平面生成单元112，并将通过对从属视图视频分组进行解码获得的数据输出到D视频平面生成单元113。
B视频平面生成单元112基于自开关111提供来的数据生成基本视图视频平面，并将其输出到合成单元(combiningunit)130。
D视频平面生成单元113基于自开关111提供来的数据生成从属视图视频平面，并将其输出到合成单元130。
开关114将自PID过滤器104或PID过滤器105提供来的构成基本IG流的分组输出到BIG缓冲器115。
BIG解码器116对BIG缓冲器115中存储的构成基本IG流的分组进行解码，来将通过解码获得的数据输出到BIG平面生成单元117。
BIG平面生成单元117基于自BIG解码器116提供来的数据生成基本IG平面，并将其输出到合成单元130。
开关118将自PID过滤器104或PID过滤器105提供来的构成从属IG流的分组输出到DIG缓冲器119。
DIG解码器120对DIG缓冲器119中存储的构成从属IG流的分组进行解码，来将通过解码获得的数据输出到DIG平面生成单元121。
DIG平面生成单元121基于自DIG解码器120提供来的数据生成从属IG平面，并将其输出到合成单元130。
开关122将自PID过滤器104或PID过滤器105提供来的构成基本PG流的分组输出到BPG缓冲器123。
BPG解码器124对BPG缓冲器123中存储的构成基本PG流的分组进行解码，来将通过解码获得的数据输出到BPG平面生成单元125。
BPG平面生成单元125基于自BPG解码器124提供来的数据生成基本PG平面，并将其输出到合成单元130。
开关126将自PID过滤器104或PID过滤器105提供来的构成从属PG流的分组输出到DPG缓冲器127。
DPG解码器128对DPG缓冲器127中存储的构成从属PG流的分组进行解码，来将通过解码获得的数据输出到DPG平面生成单元129。
DPG平面生成单元129基于自DPG解码器128提供来的数据生成从属PG平面，并将其输出到合成单元130。
合成单元130通过按照预定次序堆叠自B视频平面生成单元112提供来的基本视图视频平面、自BIG平面生成单元117提供来的基本IG平面和自BPG平面生成单元125提供来的基本PG平面来对它们进行合成，从而生成基本视图的平面。
另外，合成单元130还通过按照预定次序堆叠自D视频平面生成单元113提供来的从属视图视频平面、自DIG平面生成单元121提供来的从属IG平面和自DPG平面生成单元129提供来的从属PG平面来对它们进行合成，从而生成从属视图的平面。
合成单元130输出基本视图平面和从属视图平面的数据。自合成单元130输出的视频数据被输出到显示设备3，通过交替显示基本视图平面和从属视图平面来执行3D显示。
[T-STD(传输流-系统目标解码器)的第一示例]
现在，将描述图21中示出的配置中的解码器及其周围的配置。
图22示出了执行对视频流的处理的配置。
在图22中，与图21中所示的配置相同的配置用相同的标号标注。图22示出了PID过滤器104、B视频缓冲器106、开关107、D视频缓冲器108、开关109、视频解码器110和DPB(解码图片缓冲器)151。尽管图21中未示出，但是其中存储了解码图片的数据的DPB151被提供到视频解码器110的后级。
PID过滤器104将构成主TS中包括的基本视图视频流的分组输出到B视频缓冲器106，并且将构成从属视图视频流的分组输出到开关107。
例如，PID＝0作为PID的固定值被赋予构成基本视图视频流的分组。另外，除0之外的固定值作为PID被赋予构成从属视图视频流的分组。
PID过滤器104将其头部描述了PID＝0的分组输出到B视频缓冲器106，并将其头部描述了除0之外的PID的分组输出到开关107。
输出到B视频缓冲器106的分组经由TB(传输缓冲器)1和MB(复用缓冲器)1被存储到VSB1中。基本视图视频的基础流的数据被存储到VSB1中。
自PID过滤器104输出的分组和构成在图21中的PID过滤器105处从辅TS提取的从属视图视频流的分组都被提供给开关107。
如果已从PID过滤器104提供了构成从属视图视频流的分组，则开关107将其输出到D视频缓冲器108。
另外，如果已从PID过滤器105提供了构成从属视图视频流的分组，则开关107也将其输出到D视频缓冲器108。
输出到D视频缓冲器108的分组经由TB2和MB2被存储到VSB2中。从属视图视频的基础流的数据被存储到VSB2中。
开关109顺序地读取存储在B视频缓冲器106的VSB1中的基本视图视频分组和存储在D视频缓冲器108的VSB2中的从属视图视频分组，并将它们输出到视频解码器110。
例如，开关109输出某个时间的基本视图视频分组，并且此后立即输出同一时间的从属视图分组。以此方式，开关109顺序地将将同一时间的基本视图视频分组和从属视图视频分组输出到视频解码器110。
在存储基本视图视频的某一图片的数据的分组和存储与其对应的从属视图视频的图片的数据的分组中，在编码定时设置了确保PCR(程序时钟参考)同步的相同时间信息。即使在基本视图视频流和从属视图视频流各自被包括在不同的TS中的情形中，相同时间信息也被设置给存储了彼此对应的图片的数据的分组。
时间信息可以是DTS(解码时间戳)和PTS(呈现时间戳)，并且被设置给每个PES(分组化基础流)分组。
具体地，当按编码次序/解码次序排列每个流的图片时，位于同一时间处的基本视图视频的图片和从属视图视频的图片被认为是彼此对应的图片。相同的DTS被设置给存储了某一基本视图视频图片的数据的PES分组和存储了在解码次序中与该图片相对应的从属视图视频图片的数据的PES分组。
另外，当按显示次序排列每个流的图片时，位于同一时间处的基本视图视频的图片和从属视图视频的图片也被认为是彼此对应的图片。相同的PTS被设置给存储了某一基本视图视频图片的数据的PES分组和存储了在显示次序中与该图片相对应的从属视图视频图片的数据的PES分组。
如果基本视图视频流的GOP结构和从属视图视频流的GOP结构是相同的结构，则在解码次序中彼此相对应的图片在显示次序中也是彼此对应的图片，后面将进行描述。
如果串行执行分组传送，则在某个定时处从B视频缓冲器106的VSB1读取的分组的DTS1和在紧随其后的定时处从D视频缓冲器108的VSB2读取的分组的DTS2表示相同的时间，如图22所示。
开关109将从B视频缓冲器106的VSB1读取的基本视图视频分组或者从D视频缓冲器108的VSB2读取的从属视图视频分组输出到视频解码器110。
视频解码器110顺序地对自开关109提供来的分组进行解码，来将通过解码获得的基本视图视频图片的数据或者从属视图视频图片的数据存储到DPB151中。
开关111在预定定时处读出存储在DPB151中的经解码图片的数据。另外，DPB151中存储的经解码图片的数据也被视频解码器110用于预测另一幅图片。
如果串行执行数据传送，则在某一定时处读取的基本视图视频图片的数据的PTS和在紧随其后的定时处读取的从属视图视频图片的数据的PTS表示相同的时间。
基本视图视频流和从属视图视频流可被复用到单个TS中，例如参考图5等描述的，或者可以各自被包括在不同的TS中，如参考图7描述的。
即使在基本视图视频流和从属视图视频流被复用到单个TS中或者可以各自被包括在不同的TS中的情形中，回放设备1也可以通过将图22中的解码器模型安装在其中来处理这种情形。
例如，如图23所示，如果仅假设提供单个TS的情形，则回放设备1不能处理基本视图视频流和从属视图视频流各自被包括在不同的TS中等情形。
另外，根据图22中的解码器模型，即使基本视图视频流和从属视图视频流各自被包括在不同的TS中，但是由于二者具有相同的DTS，因此可以在正确的定时将分组提供给视频解码器110。
可以并行设置用于基本视图视频的解码器和用于从属视图视频的解码器。在这种情形中，在相同时间点处的分组在同一定时处被提供给用于基本视图视频的解码器和用于从属视图视频的解码器。
[第二示例]
图24示出了用于执行对视频流的处理的另一个配置。
除了图22中的配置之外，图24还示出了开关111、L视频平面生成单元161和R视频平面生成单元162。另外，PID过滤器105被示为在开关107的前级上。适当地省略了多余的描述。
L视频平面生成单元161生成L视图视频平面，并且被提供来替换图21中的B视频平面生成单元112。
R视频平面生成单元162生成R视图视频平面，并且被提供来替换图21中的D视频平面生成单元113。
在该示例中，开关111需要识别并输出L视图视频数据和R视图视频数据。
即，开关111需要识别通过对基本视图视频分组进行解码而获得的数据是L视图还是R视图的视频数据。
另外，开关111还需要识别通过对从属视图视频分组进行解码而获得的数据是L视图还是R视图的视频数据。
参考图12和图14描述的view_type被用于识别L视图和R视图。例如，控制器51将在PlayList文件中描述的view_type输出到开关111。
如果view_type的值为0，则开关111将DPB151中存储的数据中的、通过对由PID＝0标识的基本视图视频分组进行解码而获得的数据输出到L视频平面生成单元161。如上所述，view_type的值0表示基本视图视频流是L视图的流。
在该情形中，开关111将通过对由除0之外的PID标识的从属视图视频分组进行解码而获得的数据输出到R视频平面生成单元162。
另一方面，如果view_type的值为1，则开关111将DPB151中存储的数据中的、通过对由PID＝0标识的基本视图视频分组进行解码而获得的数据输出到R视频平面生成单元162。view_type的值1表示基本视图视频流是R视图的流。
在该情形中，开关111将通过对由除0之外的PID标识的从属视图视频分组进行解码而获得的数据输出到L视频平面生成单元161。
L视频平面生成单元161基于自开关111提供来的数据生成L视图视频平面，并将其输出到合成单元130。
R视频平面生成单元162基于自开关111提供来的数据生成R视图视频平面，并将其输出到合成单元130。
在利用H.264AVC/MVC编码的基本视图视频和从属视图视频的基础流中，不存在表示流是L视图还是R视图的信息(字段)。
因此，通过向PlayList文件设置view_type，记录设备可以使回放设备1识别基本视图视频流和从属视图视频流各自是L视图还是R视图。
回放设备1可以识别基本视图视频流和从属视图视频流各自是L视图还是R视图，并且可以根据该识别结果切换输出目的地。
如果对于IG和PG平面中的每个也准备了L视图和R视图，则可以将L视图和R视图的视频流彼此区分开，从而回放设备1可以容易地将L视图平面和R视图平面相合成。
如上所述，如果经由HDMI线缆输出视频信号，则要求在将L视图信号和R视图信号彼此区分开后输出视频信号。回放设备1可以处理该要求。
可以基于view_id而不是PID来识别通过对DPB151中存储的基本视图视频分组进行解码而获得的数据和通过对从属视图视频分组进行解码而获得的数据。
在利用H.264AVC/MVC进行编码时，向构成编码结果的流的访问单元设置了view_id。可以根据该view_id识别每个访问单元所对应的视图分量。
图25示出了访问单元的示例。
图25中的访问单元#1是包括基本视图视频的数据的单元。访问单元#2是包括从属视图视频的单元。访问单元是包括了例如一幅图片的数据以使得能以图片为单位执行访问的单元。
在利用H.264AVC/MVC编码中，基本视图视频和从属视图视频的每幅图片的数据被存储在这种单元中。在利用H.264AVC/MVC编码时，如访问单元#2内所示，MVC头部被添加到每个视图分量。该MVC头部包括view_id。
在图25中的示例的情形中，对于访问单元#2，可以根据view_id识别出存储在该访问单元中的视图分量是从属视图视频。
另一方面，如图25中所示，未向作为访问单元#1中存储的视图分量的基本视图视频添加MVC头部。
如上所述，基本视图视频流是也要用于2D回放的数据。因此，为了确保与其兼容，在编码时未向基本视图视频添加MVC头部。或者，移除了曾添加的MVC头部。下面将描述利用记录设备的编码。
回放设备1被定义(设置)为将没有MVC头部的视图分量的view_id认作为0，并且将该视图分量认作为基本视图视频。在编码时向从属视图视频设置了除0之外的值作为view_id。
因此，回放设备1可以基于被识别为0的view_id识别出基本视图视频，并且可以基于实际设置的除0之外的view_id识别出从属视图视频。
在图24中的开关111中，可以基于这种view_id执行对通过对基本视图视频分组进行解码而获得的数据和通过对从属视图视频进行解码而获得的数据的识别。
[第三示例]
图26示出了用于执行对视频流的处理的又一个配置。
在图26中的示例中，提供了B视频平面生成单元112来替换图24中的L视频平面生成单元161，并且提供了D视频平面生成单元113来替换R视频平面生成单元162。在B视频平面生成单元112和D视频平面生成单元113的后级上设置了开关171。同样对于图26中示出的配置，基于view_type来切换数据的输出目的地。
开关111将DPB151中存储的数据中的、通过对基本视图视频分组进行解码而获得的数据输出到B视频平面生成单元112。另外，开关111将通过对从属视图视频分组进行解码而获得的数据输出到D视频平面生成单元113。
如上所述，通过对基本视图视频分组进行解码而获得的数据和通过对从属视图视频分组进行解码而获得的数据基于PID或者view_id而被识别出。
B视频平面生成单元112基于自开关111提供来的数据生成基本视图视频平面，并将其输出。
D视频平面生成单元113基于自开关111提供来的数据生成从属视图视频平面，并将其输出。
在PlayList文件中描述的view_type被从控制器51提供到开关171。
如果view_type的值为0，则开关171将自B视频平面生成单元112提供来的基本视图视频平面作为L视图视频平面输出到合成单元130。view_type的值0表示基本视图视频流是L视图的流。
另外，在该情形中，开关171将自D视频平面生成单元113提供来的从属视图视频平面作为R视图视频平面输出到合成单元130。
另一方面，如果view_type的值为1，则开关171将自D视频平面生成单元113提供来的从属视图视频平面作为L视图视频的平面输出到合成单元130。view_type的值1表示基本视图视频流是R视图的流。
另外，在该情形中，开关171将自B视频平面生成单元112提供来的基本视图视频平面作为R视图视频平面输出到合成单元130。
根据图26的配置，回放设备1可以识别L视图或R视图，并且可以根据识别结果切换输出目的地。
[平面合成模型的第一示例]
图27示出了图21中所示配置中的合成单元130及其后级的配置。
同样在图27中，与图21中所示的配置相同的配置用相同的标号标注。
构成主TS或辅TS中包括的IG流的分组被输入到开关181。被输入到开关181的构成IG流的分组包括基本视图的分组和从属视图的分组。
构成主TS或辅TS中包括的PG流的分组被输入到开关182。被输入到开关182的构成PG流的分组包括基本视图的分组和从属视图的分组。
如参考图5等所述，同样对于IG和PG，准备了用于执行3D显示的基本视图流和从属视图流。
基本视图的IG以与基本视图视频合成的方式被显示，并且从属视图的IG以与从属视图视频合成的方式被显示，从而用户可以以3D方式观看到3D的视频和按钮、图标。
同样，基本视图的PG以与基本视图视频合成的方式被显示，并且从属视图的PG以与从属视图视频合成的方式被显示，从而用户可以观看到3D的视频和字幕文字等。
开关181将构成基本IG流的分组输出到BIG解码器116，并且将构成从属IG流的分组输出到DIG解码器120。开关181包括图21中的开关114和开关118的功能。在图27中，省略了每个缓冲器的图示。
BIG解码器116对自开关181提供来的构成基本IG流的分组进行解码，来将通过解码而获得的数据输出到BIG平面生成单元117。
BIG平面生成单元117基于自BIG解码器116提供来的数据生成基本IG的平面，来将其输出到合成单元130。
DIG解码器120对自开关181提供来的构成从属IG流的分组进行解码，来将通过解码而获得的数据输出到DIG平面生成单元121。可以使基本IG流和从属IG流由一个解码器解码。
DIG平面生成单元121基于自DIG解码器120提供来的数据生成从属IG平面，来将其输出到合成单元130。
开关182将构成基本PG流的分组输出到BPG解码器124，并将构成从属PG流的分组输出到DPG解码器128。开关182包括图21中的开关122和开关126的功能。
BPG解码器124对自开关182提供来的构成基本PG流的分组进行解码，来将通过解码而获得的数据输出到BPG平面生成单元125。
BPG平面生成单元125基于自BPG解码器124提供来的数据生成基本PG的平面，并将其输出到合成单元130。
DPG解码器128对自开关182提供来的构成从属PG流的分组进行解码，来将通过解码而获得的数据输出到DPG平面生成单元129。可以使基本PG流和从属PG流由一个解码器解码。
DPG平面生成单元129基于自DPG解码器128提供来的数据生成从属PG的平面，并将其输出到合成单元130。
视频解码器110顺序地对自开关109(图22等)提供来的分组进行解码，并将通过解码而获得的基本视图视频的数据和从属视图视频的数据输出到开关111。
开关111将通过对基本视图视频的分组进行解码而获得的数据输出到B视频平面生成单元112，并将通过对从属视图视频的分组进行解码而获得的数据输出到D视频平面生成单元113。
B视频平面生成单元112基于自开关111提供来的数据生成基本视图视频的平面，并将其输出。
D视频平面生成单元113基于自开关111提供来的数据生成从属视图视频的平面，并将其输出。
合成单元130包括加法单元191至194和开关195。
加法单元191将自DPG平面生成单元129提供来的从属PG平面叠加到自D视频平面生成单元113提供来的从属视图视频平面上以将这些平面合成，并将合成结果输出到加法单元193。自DPG平面生成单元129提供到加法单元191的从属PG平面被执行颜色信息转换处理(CLUT(颜色查找表)处理)。
加法单元192将自BPG平面生成单元125提供来的基本PG平面叠加到自B视频平面生成单元112提供来的基本视图视频平面上以将这些平面合成，并将合成结果输出到加法单元194。自BPG平面生成单元125提供到加法单元192的基本PG平面被执行颜色信息转换处理或者利用偏移值的修正处理。
加法单元193将自DIG平面生成单元121提供来的从属IG平面叠加到加法单元191的合成结果上以将这些平面合成，并将合成结果作为从属视图平面输出。自DIG平面生成单元121提供到加法单元193的从属IG平面经过颜色信息转换处理。
加法单元194将自BIG平面生成单元117提供来的基本IG平面叠加到加法单元192的合成结果上以将这些平面合成，并将合成结果作为基本视图平面输出。自BIG平面生成单元117提供到加法单元194的基本IG平面经过颜色信息转换处理或者利用偏移值的修正处理。
基于由此生成的基本视图平面和从属视图平面显示的图像是这样的图像，该图像使得按钮和图标在前面被看到、在其下(深度方向)看到字幕文本、在字幕文本下看到视频。
如果view_type的值为0，则开关195将基本视图平面作为L视图平面输出，并将从属视图平面作为R视图平面输出。view_type被从控制器51提供到开关195。
另外，如果view_type的值为1，则开关195将基本视图平面作为R视图平面输出，并将从属视图平面作为L视图平面输出。哪个平面是所提供的平面中的基本视图平面或从属视图平面是基于PID或者view_id识别出的。
因此，在回放设备1中，执行了对基本视图平面、从属视图平面，以及视频、IG和PG的平面的合成。
在对视频、IG和PG的所有平面的合成都已完成的阶段，基于view_type确定基本视图平面的合成结果是L视图还是R视图，并且R视图平面和L视图平面都被输出。
另外，在对视频、IG和PG的所有平面的合成都已完成的阶段，基于view_type确定从属视图平面的合成结果是L视图还是R视图，并且R视图平面和L视图平面都被输出。
[第二示例]
图28示出了合成单元130及其前级的配置。
在图28所示的配置中，与图27中所示的配置相同的配置用相同的标号标注。在图28中，合成单元130的配置与图27中的配置不同。另外，开关111的操作与图27中的开关111的操作不同。L视频平面生成单元161被设置来替换B视频平面生成单元112，并且R视频平面生成单元162被设置来替换D视频平面生成单元113。将省略多余的描述。
相同的view_type的值被从控制器51提供到开关111和合成单元130的开关201和202。
开关111以与图24中的开关111相同的方式基于view_type来切换通过对基本视图视频的分组进行解码而获得的数据和通过对从属视图视频的分组进行解码而获得的数据的输出目的地。
例如，如果view_type的值为0，则开关111将通过对基本视图视频的分组进行解码而获得的数据输出到L视频平面生成单元161。在该情形中，开关111将通过对从属视图视频的分组进行解码而获得的数据输出到R视频平面生成单元162。
另一方面，如果view_type的值为1，则开关111将通过对基本视图视频的分组进行解码而获得的数据输出到R视频平面生成单元162。在该情形中，开关111将通过对从属视图视频的分组进行解码而获得的数据输出到L视频平面生成单元161。
L视频平面生成单元161基于自开关111提供来的数据生成L视图视频的平面，并将其输出到合成单元130。
R视频平面生成单元162基于自开关111提供来的数据生成R视图视频的平面，并将其输出到合成单元130。
合成单元130包括开关201、开关202和加法单元203至206。
开关201基于view_type来切换自BIG平面生成单元117提供来的基本IG平面和自DIG平面生成单元121提供来的从属IG平面的输出目的地。
例如，如果view_type的值为0，则开关201将自BIG平面生成单元117提供来的基本IG平面作为L视图平面输出到加法单元206。在该情形中，开关201将自DIG平面生成单元121提供来的从属IG平面作为R视图平面输出到加法单元205。
另一方面，如果view_type的值为1，则开关201将自DIG平面生成单元121提供来的从属IG平面作为L视图平面输出到加法单元206。在该情形中，开关201将自BIG平面生成单元117提供来的基本IG平面作为R视图平面输出到加法单元205。
开关202基于view_type来切换自BPG平面生成单元125提供来的基本PG平面和自DPG平面生成单元129提供来的从属PG平面的输出目的地。
例如，如果view_type的值为0，则开关202将自BPG平面生成单元125提供来的基本PG平面作为L视图平面输出到加法单元204。在该情形中，开关202将自DPG平面生成单元129提供来的从属PG平面作为R视图平面输出到加法单元203。
另一方面，如果view_type的值为1，则开关202将自DPG平面生成单元129提供来的从属PG平面作为L视图平面输出到加法单元204。在该情形中，开关202将自BPG平面生成单元125提供来的基本PG平面作为R视图平面输出到加法单元203。
加法单元203将自开关202提供来的R视图的PG平面叠加到自R视频平面生成单元162提供来的R视图视频平面上以将这些平面合成，并将合成结果输出到加法单元205。
加法单元204将自开关202提供来的L视图的PG平面叠加到自L视频平面生成单元161提供来的L视图视频平面上以将这些平面合成，并将合成结果输出到加法单元206。
加法单元205将自开关201提供来的R视图的IG平面叠加到加法单元203的合成结果的平面上以将这些平面合成，并将合成结果作为R视图平面输出。
加法单元206将自开关201提供来的L视图的IG平面叠加到加法单元204的合成结果的平面上以将这些平面合成，并将合成结果作为L视图平面输出。
这样，在回放设备1中，在与另一个平面合成之前，确定视频、IG和PG的基本视图平面和从属视图平面中的每个是是L视图还是R视图的平面。
在执行了该确定之后，执行对视频、IG和PG的平面的合成，从而将L视图的平面彼此合成并将R视图的平面彼此合成。
[记录设备的配置示例]
图29的框图示出了软件装配处理单元301的配置示例。
视频编码器311具有与图3中的MVC编码器11相同的配置。视频编码器311通过根据H.264AVC/MVC对多段视频数据进行编码来生成基本视图视频流和从属视图视频流，并且将它们输出到缓冲器312。
例如，视频编码器311在编码时将具有相同PCR的DTS和PTS设置为参考。即，视频编码器311将相同的DTS设置到用于存储某一基本视图视频图片的数据的PES分组和用于存储在解码次序中与该图片相对应的从属视图视频图片的数据的PES分组。
另外，视频编码器311将相同的PTS设置到用于存储某一基本视图视频图片的数据的PES分组和用于存储在显示次序中与该图片相对应的从属视图视频图片的数据的PES分组。
后面将描述，视频编码器311将相同的信息作为附加信息(其是与解码有关的补充信息)设置给基本视图视频图片和在解码次序中相对应的基本视图视频图片，。
此外，后面将描述，视频编码器311将相同的值设置到基本视图视频图片和在显示次序中相对应的基本视图视频图片中，作为表示图片的输出次序的POC的值。
另外，后面将描述，视频编码器311执行编码，使得基本视图视频流的GOP结构和从属视图视频流的GOP结构相匹配。
音频编码器313对输入音频流进行编码，并将由此获得的数据输出到缓冲器314。要记录到盘中的音频流与基本视图视频流和从属视图视频流一起被输入到音频编码器313。
数据编码器315对除视频和音频之外的前述各种类型的数据(例如，PlayList文件等)进行编码，并将通过编码而获得的数据输出到缓冲器316。
数据编码器315根据视频编码器311执行的编码将表示基本视图视频流是L视图流还是R视图流的view_type设置给PlayList文件。可以设置表示从属视图视频流是L视图流还是R视图流的信息来替换基本视图视频流的类型。
另外，数据编码器315还将后面将描述的EP_map设置给基本视图视频流的Clip信息文件和从属视图视频流的Clip信息文件中的每个。被设置给EP_map作为解码开始位置的的基本视图视频流的图片和从属视图视频流的图片是彼此相对应的图片。
复用单元317对每个缓冲器中存储的视频数据和音频数据、以及除与同步信号一起的流之外的数据进行复用，并将其输出到纠错编码单元318。
纠错编码单元318将纠错码添加到由复用单元317复用后的数据。
调制单元319对自纠错编码单元318提供来的数据进行调制，并将其输出。调制单元319的输出成为要记录到光盘2上的、能在回放设备1中播放的软件。
也向记录设备设置了具有这种配置的软件装配(softwarefabrication)处理单元301。
图30示出了包括软件装配处理单元301的配置示例。
图30中示出的配置的一部分可以设置在记录设备内。
软件装配处理单元301生成的记录信号被预母盘处理单元(premasteringprocessingunit)331执行母盘处理，以使得具有要被记录到光盘2中的格式的信号被生成。所生成的信号被提供给母盘记录单元333。
在用于记录的母盘制作单元(amasteringforrecordingfabricationunit)332，准备了由玻璃等构成的母盘，在其上涂覆了由光刻胶(photoresist)构成的记录材料。从而制作出用于记录的母盘。
在母盘记录单元333中，激光束根据自预母盘处理单元331提供来的记录信号而被调制，并被照射到母盘上的光刻胶上。从而母盘上的光刻胶根据该记录信号而被曝光。随后，该母盘被显影，以使得在母盘上出现凹坑(pit)。
在金属母盘制作单元334中，对母盘进行电铸之类的处理，从而制作出玻璃母盘上的凹坑被转移到其的金属母盘。此外，从该金属母盘制作金属压模(stamper)，并将其作为成型模具(moldingdie)。
在成型处理单元335中，诸如PMMA(丙烯酸)、PC(聚碳酸酯)之类的材料通过注射等被注入到成型模具中，并且对其执行固定化(fixing)。或者，在2P(紫外线固化树脂)等被涂覆到金属压模上后，将紫外线照射到其上，从而被硬化。从而，金属压模上的凹坑可以转移到由树脂制成的复制品上。
在膜形成处理单元336中，通过汽相沉积或者溅射在复制品上形成反射膜。或者，通过旋涂在复制品上形成反射膜。
在后处理处理单元337中，执行必要的处理，即，对该盘进行内直径和外直径处理，并且使得两张盘被粘合到一起。此外，在其上粘贴了标签并且向其附加了轴心(hub)后，盘被插入到盘盒中。从而，完成了其中记录了可由回放设备1回放的数据的光盘2。
<第二实施例>
[H.264AVC/MVC简档视频流的操作1]
如上所述，在作为光盘2的标准的BD-ROM标准中，采用H.264AVC/MVC简档实现了对3D视频的编码。
另外，在BD-ROM标准中，基本视图视频流被作为L视图视频流，并且从属视图视频流被作为R视图视频流。
基本视图视频被编码为H.264AVC/高级简档视频流，从而即使在过去的播放机或者在仅与2D回放兼容的播放机中也可以播放作为3D兼容盘的光盘2。即，可以保证向下兼容。
具体而言，即使在遵循H.264AVC/MVC的解码器中，也可以仅解码(播放)基本视图视频流。即，基本视图视频流成为即使在现有的2DBD播放机中也可以被可靠地回放的流。
另外，基本视图视频流在2D回放和3D回放中都被使用，从而可以减少写作(authoring)时的负担。在写作侧，对于AV流，可以通过除了传统工作之外还准备从属视图视频流来制作3D兼容盘。
图31示出了设置在记录设备中的3D视频TS生成单元的配置示例。
图31中的3D视频TS生成单元包括MVC编码器401、MVC头部移除单元402和复用器403。以参考图2所述的方式拍摄的L视图的视频#1的数据和R视图的视频#2的数据被输入到MVC编码器401。
MVC编码器401以与图3中的MVC编码器11相同的方式利用H.264/AVC对L视图的视频#1的数据进行编码，将通过编码而获得的AVC视频数据作为基本视图视频流输出。另外，MVC编码器401还基于L视图的视频#1的数据和R视图的视频#2的数据生成从属视图视频流，并将其输出。
从MVC编码器401输出的基本视图视频流由访问单元构成，在每个访问单元中存储了基本视图视频的每幅图片的数据。另外，从MVC编码器401输出的从属视图视频流由访问单元构成，在每个访问单元中存储了从属视图视频的每幅图片的数据。
构成基本视图视频流的每个访问单元和构成从属视图视频流的每个访问单元包括MVC头部，在MVC头部中描述了用于识别存储在其中的视图分量的view_id。
等于或者大于1的固定值被用作在从属视图视频的MVC头部中描述的view_id。这也适用于图32和图33中的示例。
即，与图3中的MVC编码器11不同，MVC编码器401是以添加MVC头部的形式来生成基本视图视频和从属视图视频的每个流并将这些流输出的编码器。在图3的MVC编码器11中，MVC头部仅被添加到利用H.264AVC/MVC编码的从属视图视频。
自MVC编码器401输出的基本视图视频流被提供到MVC头部移除单元402，并且从属视图视频流被提供到复用器403。
MVC头部移除单元402移除构成基本视图视频流的各个访问单元中包括的MVC头部。MVC头部移除单元402将由已移除了MVC头部的访问单元构成的基本视图视频流输出到复用器403。
复用器403生成包括自MVC头部移除单元402提供来的基本视图视频流和自MVC编码器401提供来的从属视图视频流的TS，并将其输出。在图31的示例中，包括基本视图视频流的TS和包括从属视图视频流的TS被分别输出，但是如上所述这些流可以通过被复用到同一个TS中而被输出。
从而，取决于安装方式，可以提供接收L视图视频和R视图视频并输出具有MVC头部的基本视图视频和从属视图视频的每个流的MVC编码器。
或者，图31中所示的整个配置可以被包括在图3中所示的MVC编码器中。这也适用于图32和图33中所示的配置。
图32示出了设置在记录设备总的3D视频TS生成单元的另一个配置示例。
图32中的3D视频TS生成单元包括混合处理单元411、MVC编码器412、分离单元413、MVC头部移除单元414和复用器415。L视图的视频#1的数据和R视图的视频#2的数据被输入到混合处理单元411。
混合处理单元411按照编码次序排列L视图的各幅图片和R视图的各幅图片。从属视图视频的各幅图片参考基本视图视频的对应图片被编码，因此，在按照编码次序排列的结果中，L视图的图片和R视图的图片被交替排列。
混合处理单元411将按照编码次序排列的L视图的图片和R视图的图片输出到MVC编码器412。
MVC编码器412利用H.264AVC/MVC对自混合处理单元411提供来的每幅图片进行编码，将通过编码而获得的流输出到分离单元413。基本视图流和从属视图视频流被复用到自MVC编码器412输出的流中。
自MVC编码器412输出的流中包括的基本视图视频流是由存储了基本视图视频的图片的数据的访问单元构成的。另外，自MVC编码器412输出的流中包括的从属视图视频流是由存储了从属视图视频的每幅图片的数据的访问单元构成的。
描述了用于识别存储在其中的视图分量的view_id的MVC头部被包括在构成基本视图视频流的每个访问单元和构成从属视图视频流的每个访问单元中。
分离单元413将复用在自MVC编码器412提供来的流中的基本视图视频流和从属视图视频流分离开，并将它们输出。自分离单元413输出的基本视图视频流被提供到MVC头部移除单元414，并且从属视图视频流被提供到复用器415。
MVC头部移除单元414移除构成自分离单元413提供来的基本视图视频流的各个访问单元中包括的MVC头部。MVC头部移除单元414将由已移除了MVC头部的访问单元构成的基本视图视频流输出到复用器415。
复用器415生成包括自MVC头部移除单元414提供来的基本视图视频流和自分离单元413提供来的从属视图视频流的TS，并将其输出。
图33示出了设置在记录设备中的3D视频TS生成单元的又一个配置示例。
图33中的3D视频TS生成单元包括AVC编码器421、MVC编码器422和复用器423。L视图的视频#1的数据被输入到AVC编码器421，而R视图的视频#2的数据被输入到MVC编码器422。
AVC编码器421根据H.264/AVC对L视图的视频#1的数据进行编码，并将通过编码而获得的AVC视频流作为基本视图视频流输出到MVC编码器422和复用器423。构成自AVC编码器421输出的基本视图视频流的各个访问单元不包括MVC头部。
MVC编码器422对自AVC编码器421提供来的基本视图视频流(AVC视频流)进行解码来生成L视图的视频#1的数据。
另外，MVC编码器422基于通过解码而获得的L视图的视频#1的数据和外部输入的R视图的视频#2的数据来生成从属视图视频流，并将其输出到复用器423。构成自MVC编码器422输出的从属视图视频流的每个访问单元包括MVC头部。
复用器423生成包括自AVC编码器421提供来的基本视图视频流和自MVC编码器422提供来的从属视图视频流的TS，并将其输出。
图33中的AVC编码器421具有图3中的H.264/AVC编码器21的功能，并且MVC编码器422具有图3中的H.264/AVC编码器22和从属视图视频编码器24的功能。另外，复用器423具有图3中的复用器25的功能。
具有这种配置的3D视频TS生成单元被设置在记录设备中，从而可以禁止对存储了基本视图视频的数据的每个访问单元的MVC头部进行编码。另外，其view_id被设置为等于或者大于1的MVC头部可以被包括在存储从属视图视频的数据的每个访问单元中。
图34示出了回放设备1侧的用于对访问单元进行解码的配置。
图34示出了参考图22描述的开关109和视频解码器110等。包括基本视图视频的数据的访问单元#1和包括从属视图视频的数据的访问单元#2被从缓冲器读出，并被提供给开关109。
参考基本视图视频执行了编码，并且因此为了正确地解码从属视图视频，需要对对应的基本视图视频进行解码。
在H.264/MVC标准中，解码器侧利用MVC头部中包括的view_id来计算每个单元的解码次序。另外，在基本视图视频中，定义了最小值总是被设置为编码时的view_id的值。解码器从包括设置了最小view_id的MVC头部的单元开始解码，以能够按照正确次序解码基本视图视频和从属视图视频。
顺便提及，禁止对要被提供给回放设备1的视频解码器110的、存储基本视图视频的访问单元的MVC头部进行编码。
因此，在回放设备1中，定义了存储在不具有MVC头部的访问单元中的视图分量以使得能识别出其view_id为0。
因此，回放设备1可以基于被识别为0的view_id来识别基本视图视频，并且可以基于实际被设置为除0之外的值的view_id来识别从属视图视频。
图34中的开关109首先将被识别出最小值0被设置为view_id的访问单元#1输出到视频解码器110并使得解码被执行。
另外，在完成了对访问单元#1的解码后，开关109将访问单元#2(其是大于0的固定值Y被设置为view_id的单元)输出到视频解码器110并使得解码被执行。存储在访问单元#2中的从属视图视频的图片是与存储在访问单元#1中的基本视图视频的图片相对应的图片。
这样，禁止了对存储基本视图视频的访问单元中的MVC头部进行编码，从而记录在光盘2中的基本视图视频流即使在传统播放机中也可以作为可播放流处理。
即使在将即使在传统播放器中也可以回放流的条件设置为从BD-ROM标准扩充BD-ROM3D标准的基本视图视频流的条件的情况中，该条件也可以得到满足。
例如，如图35所示，如果MVC头部分别被添加到基本视图视频和从属视图视频并且先对基本视图视频执行解码，则基本视图视频不能在传统播放机中播放。对于安装在传统播放机中的H.264/AVC解码器，MVC头部是未定义的数据。如果输入了这种未定义的数据，则一些解码器不能忽略该数据，因此处理可能失败。
注意，在图35中，基本视图视频的view_id是X，并且从属视图视频的view_id是大于X的Y。
另外，即使禁止了对MVC头部的编码，通过将基本视图视频的view_id定义为被认为是0，也可以使回放设备1先执行对基本视图视频的解码，随后执行对对应的从属视图视频解码。即，可以按照正确的次序执行解码。
[操作2]
关于GOP结构
在H.264/AVC标准中，未定义根据MPEG-2视频标准的GOP(图片群组)结构。
因此，在用于处理H.264/AVC视频流的BD-ROM标准中，定义了H.264/AVC视频流的GOP结构，并且实现了诸如随机访问之类的利用GOP结构的各种功能。
在作为利用H.264AVC/MVC进行编码而获得的视频流的基本视图视频流和从属视图视频流中，没有GOP结构的定义，如在H.264/AVC视频流中一样。
基本视图视频流是H.264/AVC视频流。因此，基本视图视频流的GOP结构具有与BD-ROM标准中定义的H.264/AVC视频流的GOP结构相同的结构。
从属视图视频流的GOP结构也被定义为与基本视图视频流的GOP结构，即，BD-ROM标准中定义的H.264/AVC视频流的GOP结构相同的结构。
BD-ROM标准中定义的H.264/AVC视频流的GOP结构具有以下特征。
1.关于流结构的特征
(1)开放GOP/封闭GOP结构
图36示出了封闭GOP结构。
图36中的每幅图片是构成H.264/AVC视频流的图片。封闭GOP包括IDR(即时解码刷新)图片。
IDR图片是I图片，并且在包括IDR图片的GOP中首先被解码。在解码IDR图片时，诸如参考图片缓冲器(图22中的DPB151)的状态、迄今为止管理的帧号和POC(图片顺序计数)之类的所有与解码有关的信息都被重置。
如图36所示，对于作为封闭GOP的当前GOP，防止在当前GOP的图片中，在显示次序上相对于IDR图片来说的在前(过去的)图片参考前一GOP中的图片。
另外，在当前GOP的图片中，防止在显示次序上相对于IDR图片来说的后续(将来的)图片参考前一GOP中超过该IDR图片的图片。在H.264/AVC中，允许在显示次序中在I图片后的P图片参考该I图片前的图片。
图37示出了开放GOP结构。
如图37所示，在作为开放GOP的当前GOP中，允许当前GOP的图片中显示次序在非IDRI图片(不是IDR图片的I图片)之前的图片参考前一GOP中的图片。
另外，禁止当前GOP的图片中显示次序在非IDRI图片之后的图片参考前一GOP中超过(beyond)该非IDRI图片的图片。
(2)SPS和PPS被可靠地编码在GOP的第一访问单元中。
SPS(序列参数集)是序列的头部信息，包括与整个序列的编码有关的信息。在开始对某一序列解码时，包括该序列的标识信息的SPS是必要的。PPS(图片参数集)是图片的头部信息，包括与对整个图片进行编码有关的信息。
(3)可以在GOP的第一访问单元中编码最多30个PPS。如果在第一访问单元中编码了多个PPS，则每个PPS的id(pic_parameter_set_id)不应当相同。
(4)可以在除GOP的第一访问单元之外的访问单元中对最多一个PPS编码。
2.关于参考结构的特征
(1)要求I、P和B图片为分别是由I、P和B片段配置而成的图片。
(2)要求显示次序中刚好在参考图片(I或P图片)之前的B图片在编码次序中在该参考图片之后立即被可靠地编码。
(3)要求参考图片(I或P图片)的编码次序和显示次序被维持(相同)。
(4)禁止从P图片参考B图片。
(5)如果在编码次序中非参考B图片(B1)在非参考图片(B2)之前，则还要求在显示次序中B1在B2之前。
非参考B图片是在编码次序中不被后续的另一幅图片参考的B图片。
(6)参考B图片可以参考显示次序中的上一个或者下一个参考图片(I或P图片)。
(7)非参考B图片可以参考显示次序中的上一个或者下一个参考图片(I或P图片)、或者所述参考B图片。
(8)要求连续B图片的数目最大为3。
3.关于GOP内的帧或场的最大数目的特征
根据视频的帧速率规定了一个GOP内的帧或场的最大数目，如图38所示。
如图38所示，例如，如果按照每秒29.97帧的帧速率执行交织显示，则能够以1GOP的图片显示的最大场数目为60。另外，如果按照每秒59.94帧的帧速率执行渐进显示，则能够以1GOP的图片显示的最大帧数目为60。
具有上述特征的GOP结构也被定义为从属视图视频流的GOP结构。
另外，还将基本视图视频流的某一GOP的结构与对应的从属视图视频流的GOP的结构相匹配规定为一个约束。
图39示出了以如上方式定义的基本视图视频流或从属视图视频流的封闭GOP结构。
如图39所示，对于作为封闭GOP的当前GOP，禁止该当前GOP的图片中的在显示次序上相对于IDR图片或者锚定图片(anchorpicture)来说的在前(过去的)图片参考前一GOP的图片。后面将描述锚定图片。
另外，禁止当前GOP的图片中的在显示次序上相对于IDR图片或锚定图片来说的后续(将来的)图片参考前一GOP中超出IDR图片或锚定图片的图片。
图40示出了基本视图视频流或从属视图视频流的开放GOP结构。
如图40所示，对于作为开放GOP的当前GOP，允许该当前GOP的图片中在显示次序上在非IDR锚定图片(不是IDR图片的锚定图片)之前的图片参考前一GOP的图片。
另外，禁止当前GOP的图片中的在显示次序上在非IDR锚定图片之后的图片参考前一GOP中超出非IDR锚定图片的图片。
以这样的方式定义了GOP结构，从而在诸如开放GOP或者封闭GOP之类的流结构的特征方面，基本视图视频流的某一GOP和对应的从属视图视频流的GOP匹配。
另外，图片的参考结构的多个特征被匹配，即，使得与基本视图视频的非参考B图片相对应的从属视图视频的图片可靠地地成为非参考B图片。
此外，在基本视图视频流的某一GOP和对应的从属视图视频流的GOP之间，帧的数目和场的数目也是匹配的。
这样，从属视图视频流的GOP结构被定义为与基本视图视频流的GOP结构相同的结构，从而流的彼此对应的GOP可以具有相同的特征。
另外，即使从流的中部开始执行解码，也可以不存在问题地执行解码。例如在自由播放(trickplay)或者随机访问时执行从流的中部开始的解码。
如果流的彼此对应的GOP结构不同，例如帧的数目不同，则可能发生一个流可以正常回放而另一个流不能回放的情形。但是这种情形可以被防止。
如果在假设彼此对应的GOP的结构在流之间不同的情况下从一个流的中部开始解码，则可能发生对从属视图视频进行解码所必须的基本视图视频图片尚未被解码的情形。在这种情形中，作为结果，不能对从属视图视频图片解码，因此不能执行3D显示。另外，取决于安装方法可能不能输出基本视图视频的图像，但是可以防止这种不便。
关于EP_map
随机访问和自由播放时解码的开始位置可以通过利用基本视图视频流和从属视图视频流的GOP结构而被设置在EP_map中。EP_map被包括在Clip信息文件中。
下面两个约束被规定为对可被设置给EP_map作为解码开始位置的图片的约束。
1.在SubsetSPS之后布置的锚定图片的位置或者在SubsetSPS之后布置的IDR图片的位置被作为可被设置给从属视图视频流的位置。
锚定图片是由H.264AVC/MVC规定的图片，并且是通过执行视图之间的参考而不是执行时间方向上的参考而被编码的从属视图视频流的图片。
2.如果从属视图视频流的某一图片被设置给EP_map作为解码开始位置，则对应的基本视图视频流的图片也被设置给EP_map作为解码开始位置。
图41示出了满足上述两个约束的、被设置给EP_map的解码开始位置的示例。
在图41中，按照解码次序示出了构成基本视图视频流的图片和构成从属视图视频流的图片。
从属视图视频流的图片中利用颜色示出的图片P1是锚定图片或IDR图片。SubsetSPS被包括在紧邻包含图片P1的数据的访问单元之前的访问单元中。
在图41的示例中，如白色箭头#11所示，图片P1被设置给从属视图视频流的EP_map作为解码开始位置。
作为基本视图视频流中与图片P1相对应的图片的图片P11是IDR图片。如白色箭头#12所示，作为IDR图片的图片P11也被设置给基本视图视频流的EP_map作为解码开始位置。
如果响应于指示随机访问或自由播放指令而从图片P1和P11开始解码，则首先执行对图片P11的解码。图片P11是IDR图片，因此，可以在不参考另一个图片的情况下对图片P11进行解码。
在完成了对图片P11的解码时，接下来，对图片P1进行解码。在对图片P1进行解码时参考已解码的图片P11。图片P1是IDR图片或者锚定图片，因此，如果完成了对图片P11的解码就可以执行对图片P1的解码。
随后，按照例如基本视图视频中的图片P1之后的图片、从属视图视频中的图片P11之后的图片....等的顺序来执行解码。
对应的GOP的结构是相同的，因此解码也从对应的位置开始，并且因此可以在不存在有关基本视图视频和从属视图视频的问题的情况下来解码被设置给EP_map的图片和后续图片。从而可以实现随机访问。
在图41中的垂直方向上延伸的虚线左侧上排列的图片是不被解码的图片。
图42示出了如果未定义从属视图视频的GOP结构将导致的问题。
在图42的示例中，利用颜色示出的、作为基本视图视频的IDR图片的图片P21被设置给EP_map作为解码开始位置。
考虑如果从基本视图视频的图片P21开始解码，而作为从属视图视频中与图片P21相对应的图片的图片P31不是锚定图片的情形。如果未定义GOP结构，则不保证与基本视图视频的IDR图片相对应的从属视图视频的图片是IDR图片或锚定图片。
在该情形中，即使在对基本视图视频的图片P21的解码之后，也不能解码图片P31。时间方向上的参考对于对图片P31进行解码也是必需的，但是在垂直方向上延伸的虚线左侧的图片(解码次序中的在前图片)不被解码。
图片P31不能被解码，因此参考图片P31的从属视图视频的其他图片也不能被解码。
通过定义从属视图视频流的GOP结构可以避免这种情形。
在基本视图视频和从属视图视频二者中，解码开始位置被设置给EP_map，从而回放设备1可以容易地确定解码开始位置。
如果仅基本视图视频的某一图片被设置给EP_map作为解码开始位置，则回放设备1需要通过计算来确定与该解码开始位置的图片相对应的从属视图视频的图片，这使处理变复杂了。
即使基本视图视频和从属视图视频的对应图片具有相同的DTS/PTS，如果视频的比特速率不同，则TS中的字节排列不能被匹配，因此这也使处理变复杂了。
图43示出了用于对由基本视图视频流和从属视图视频流构成的MVC流执行随机访问或自由播放所需的图片搜索的概念。
如图43所示，在执行随机访问或自由播放时，搜索非IDR锚定图片或IDR图片，并且确定解码开始位置。
现在，将描述EP_map。将针对基本视图视频的解码开始位置被设置给的EP_map情况给出描述。同样，从属视图视频的解码开始位置也被设置给从属视图视频的EP_map。
图44示出了记录在光盘2上的AV流的结构。
包括基本视图视频流的TS由整数个对准的具有6144字节大小的单元(对准单元(AlighedUnit))配置而成。
对准单元由32个源分组(源分组)构成。源分组具有192字节。一个源分组由4字节的传输分组额外头部(TP_extraheader)和188字节的传输分组(Transportpackt)构成。
基本视图视频的数据被分组化成MPEG2PES分组。PES分组是通过向PES分组的数据部分添加PES分组头部形成的。PES分组包括用于确定要通过该PES分组传送的基础流的类型的流ID。
PES分组还被分组化成传输分组。即，PES分组被划分成传输分组的有效负载的大小，传输分组头部被添加到该有效负载，从而形成传输分组。传输分组头部包括PID，其作为存储在有效负载中的数据的标识信息。
注意，向每个源分组提供了源分组号，源分组号例如以ClipAV流的开头为0对于每个源分组递增1。另外，对准单元从源分组的第一个字节开始。
在给出了Clip的访问点的时间戳时，EP_map被用来搜索ClipAV流文件内应当开始读取数据的数据地址。EP_map是从基础流和传输流提取的一列入口点(alistofentrypoints)。
EP_map具有用于搜索AV流内应当开始解码的入口点的地址信息。EP_map内的一段EP数据由PTS和访问单元的AV流内与该PTS相对应的地址组成的对配置而成。在AVC/H.264中，一个图片的数据存储在一个访问单元中。
图45示出了ClipAV流的示例。
图45中的ClipAV流是由利用PID＝x标识出的源分组构成的视频流(基本视图视频流)。在该视频流中，每个源分组由该源分组内的传输分组头部中包括的PID来区分。
在图45中，该视频流的源分组中的包括IDR图片的第一字节的源分组被标以颜色。无色方框指示包括不作为随机访问点的数据的源分组或者包括另一个流的数据的源分组。
例如，通过PID＝x区分的、包括视频流的可随机访问IDR图片的第一字节的并且具有源分组号X1的源分组被布置在ClipAV流的时间轴上的PTS＝pts(x1)的位置处。
类似地，包括下一可随机访问IDR图片的第一字节的源分组被作为具有源分组号X2的源分组，并且被布置在PTS＝pts(x2)的位置。
图46在概念上示出了与图45中的ClipAV流相对应的EP_map的示例。
如图46所示，EP_map由stream_PID、PTS_EP_start和SPN_EP_start配置而成。
stream_PID表示用于传送视频流的传输分组的PID。
PTS_EP_start表示从可随机访问IDR图片开始的访问单元的PTS。
SPN_EP_start表示包括了要由PTS_EP_start的值引用的访问单元的第一字节的源分组的地址。
视频流的PID存储在stream_PID中，并且作为表示PTS_EP_start和SPN_EP_start之间的对应关系的表信息的EP_map_for_one_stream_PID()被生成。
例如，在PID＝x的视频流的EP_map_for_one_stream_PID[0]中，PTS＝pts(x1)和源分组号X1、PTS＝pts(x2)和源分组号X2、…、以及PTS＝pts(xk)和源分组号Xk以相对应的方式被描述。
也针对复用在同一ClipAV流中的每个视频流生成这种表。包括所生成的表的EP_map被存储到与该ClipAV流相对应的Clip信息文件中。
图47示出了由SPN_EP_start指定的源分组的数据结构的示例。
如上所述，源分组以向188字节的传输分组添加4字节的头部的形式配置而成。传输分组部分由头部部分(TP头部)和有效负载部分构成。SPN_EP_start表示包括了从IDR图片起的访问单元的第一个字节的源分组的源分组号。
在AVC/H.264中，访问单元(即，图片)从AU定界符(访问单元定界符)开始。在AU定界符之后是SPS和PPS。此后，存储了IDR图片的片段的数据的开头部分或者整个部分。
传输分组的TP头部的payload_unit_start_indicator的值1表示新的PES分组从该传输分组的有效负载开始。访问单元从该源分组开始。
这种EP_map是针对基本视图视频流和从属视图视频流中的每个准备的。
[操作3]
在编码时，POC(图片顺序计数)被设置给构成基本视图视频流和从属视图视频流的各个图片。POC是表示图片的显示顺序的值。
在H.264/AVC中，如下这样定义了POC：“相对于解码顺序中的前一IDR图片或者相对于前一图片随着图片位置在输出顺序中递增而值不递减的变量包含将所有参考图片标记为“不用于参考”的存储器管理控制操作”。
在编码时，以一致的方式来操作设置给基本视图视频流的图片的POC和设置给从属视图视频流的图片的POC。
例如，POC＝1被设置给基本视图视频流的显示顺序中的第一副图片。此后，设置给各幅图片的POC以1递增。
另外，与设置给基本视图视频流的第一幅图片相同的POC＝1也被设置给从属视图视频流的显示顺序中的第一幅图片。此后，设置给各幅图片的POC也以1递增。
如上所述，由于基本视图视频流的GOP结构与从属视图视频流的GOP结构相同，所以相同的POC被设置给基本视图视频流和从属视图视频流的各幅图片中在显示顺序上彼此对应的图片。
因此，回放设备1可以通过将被设置了相同POC的视图分量作为在显示顺序上彼此对应的视图分量来处理它们。
例如，回放设备1能够将基本视图视频流的图片中被设置了POC＝1的图片和从属视图视频流的图片中被设置了POC＝1的图片作为彼此相对的图片进行处理。
另外，在构成基本视图视频流和从属视图视频流的各幅图片中还设置了SEI(补充增强信息)。SEI是包括有关解码的辅助信息的附加信息，是由H.264/AVC定义的。
作为SEI之一的图片定时SEI包括时间信息，例如在编码时从CPB(经编码图片缓冲器)读取的时间和在解码时从DPB(图22中的DPB151)读取的时间。另外，图片定时SEI包括有关显示时间的信息和有关图片结构的信息。
在编码时，以一致的方式来操作设置给基本视图视频流的图片的图片定时SEI和设置给从属视图视频流的图片的图片定时SEI。
例如，如果T1作为从CPB读取的时间被设置给基本视图视频流中的编码顺序中的第一图片，则T1也作为从CPB读取的时间被设置给从属视图视频流的编码顺序中的第一图片。
即，具有相同内容的图片定时SEI被设置给基本视图视频流和从属视图视频流的各幅图片中在编码顺序或解码顺序中彼此相对应的图片。
从而，回放设备1能将被设置了相同的图片定时SEI的视图分量作为在解码顺序上彼此对应的视图分量处理。
POC和图片定时SEI被包括在基本视图视频和从属视图视频的基础流中，并且由回放设备1中的视频解码器101参考。
视频解码器110可以基于基础流中包括的信息来识别对应的视图分量。同样，视频解码器110可以基于图片定时SEI按照正确的解码次序并且基于POC按照正确的显示顺序执行解码处理。
由于无需参考PlayList等来识别对应的视图分量，从而可以应对在系统层或更高层中发生问题的情形。另外，也可以执行独立于发生了问题的层的解码器安装。
上述处理序列可利用硬件执行也可以利用软件执行。如果利用软件执行该处理序列，则构成该软件的程序被从程序记录介质安装到专用硬件中容纳的计算机、通用个人计算机等。
图48的框图示出了根据程序执行上述处理序列的计算机的硬件的配置示例。
CPU(中央处理单元)501、ROM(只读存储器)502和RAM(随机访问存储器)503由总线504互连。
总线504还与输入/输出接口505连接。由键盘、鼠标等构成的输入单元506、由显示器、扬声器等构成的输出单元507被连接到输入输出接口505。另外，由硬盘、非易失性存储器等构成的存储单元508，由网络接口等构成的通信单元509，以及用于驱动可移除介质511的驱动器510被连接到总线504。
在这样配置的计算机中，例如，CPU501经由输入/输出接口505和总线504将存储单元508中存储的程序加载到RAM503并执行来执行上述处理序列。
由CPU501执行的程序被记录在例如可移除介质511中，或者经由有线或者无线传输媒介(例如，局域网、因特网、数字广播等)被安装到存储单元508中。
计算机执行的程序可以是用于根据本说明书中描述的次序按照时序执行处理的程序，或者可以是用于并行执行处理或者在例如被调用时之类的必要定时处执行处理的程序，等等。
本发明的实施例不限于上述实施例，而是在不脱离本发明的实质的情况下可以作出各种类型的修改。
标号列表
1回放设备，2光盘，3显示设备，11MVC编码器，21H.264/AVC编码器，22H.264/AVC解码器，23深度计算单元，24从属视图视频编码器，25复用器，51控制器，52盘驱动器，53存储器，54本地存储装置，55因特网接口，56解码器单元，57操作输入单元。

Claims (6)

1.一种在3D兼容BD中记录数据的记录设备，包括：
编码装置，用于利用预定编码方法对多视点视频数据进行编码，并且输出用于2D和3D回放的基本图像流和用于3D回放的扩充图像流，构成所述基本图像流的数据不具有包括视点的标识信息的数据头部，使得所述基本图像流的所述数据头部在解码过程中被认作为具有零值的view_id，而构成所述扩充图像流的数据具有包括所述标识信息的数据头部，所述标识信息具有非零值的veiw_id并示出该数据是扩展视点的数据，以及
记录装置，其将从复用器输出的传输流与其他管理数据一起记录到所述记录设备中的所述3D兼容BD中。
2.根据权利要求1所述的记录设备，其中所述编码装置从通过利用预定编码方法对多视点视频数据进行编码而获得的并且由具有所述数据头部的数据构成的基本图像流中移除所述数据头部，并且输出由不具有所述数据头部的数据构成的基本图像流。
3.根据权利要求1所述的记录设备，其中所述编码装置向所述数据头部设置等于或大于1的值，并且输出所述扩充图像的流，其中所述值用作示出了所述数据是扩展视点的数据的标识信息。
4.一种在3D兼容BD中记录数据的记录方法，包括以下步骤：
利用预定编码方法对多视点视频数据进行编码，并且输出用于2D和3D回放的基本图像流和用于3D回放的扩充图像流，构成所述基本图像流的数据不具有包括视点的标识信息的数据头部，使得所述基本图像流的所述数据头部在解码过程中被认作为具有零值的view_id，而构成所述扩充图像流的数据具有包括标识信息的数据头部，所述标识信息具有非零值的veiw_id并示出该数据是扩展视点的数据，以及
将从复用器输出的传输流与其他管理数据一起记录到所述3D兼容BD中。
5.一种3D兼容播放的BD回放设备，包括：
读取装置，用于从3D兼容BD记录介质读取通过利用预定编码方法对多视点视频数据进行编码而获得的用于2D和3D回放的基本图像流和用于3D回放的扩充图像流，其中构成所述基本图像的流的数据不具有包括视点的标识信息的数据头部，而构成所述扩充图像流的数据具有包括其值等于或大于1的所述标识信息的数据头部，所述其值等于或大于1的所述标识信息示出了该数据是扩展视点的数据；以及
解码装置，用于从视点的数据开始顺序地执行处理，将不具有数据头部的、基本图像流中的数据作为具有在所述数据头部中设置为所述标识信息的零的view_id值，并且先对所述基本图像流的数据进行解码然后对所述扩充图像流的数据进行解码。
6.一种3D兼容播放的BD回放方法，包括以下步骤：
从3D兼容BD记录介质读取通过利用预定编码方法对多视点视频数据进行编码而获得的用于2D和3D回放的基本图像流和用于3D回放的扩充图像流，其中构成所述基本图像流的数据不具有包括视点的标识信息的数据头部，而构成所述扩充图像流的数据具有包括其值等于或大于1的所述标识信息的数据头部，所述其值等于或大于1的所述标识信息示出了该数据是扩展视点的数据；以及
从视点的数据开始顺序地执行处理，将不具有数据头部的、基本图像流中的数据作为具有在所述数据头部中设置为所述标识信息的零的view_id值，并且
先对所述基本图像流的数据进行解码然后对所述扩充图像流的数据进行解码。
CN201210045765.8A 2009-04-08 2010-03-25 记录设备、记录方法、回放设备和回放方法 Expired - Fee Related CN102625122B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2009-094254 2009-04-08
JP2009094254A JP4962525B2 (ja) 2009-04-08 2009-04-08 再生装置、再生方法、およびプログラム
CN201080001730.3A CN102047673B (zh) 2009-04-08 2010-03-25 记录设备、记录方法、回放设备、回放方法、记录介质和程序

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201080001730.3A Division CN102047673B (zh) 2009-04-08 2010-03-25 记录设备、记录方法、回放设备、回放方法、记录介质和程序

Publications (2)

Publication Number Publication Date
CN102625122A CN102625122A (zh) 2012-08-01
CN102625122B true CN102625122B (zh) 2016-05-04

Family

ID=42936181

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201210045765.8A Expired - Fee Related CN102625122B (zh) 2009-04-08 2010-03-25 记录设备、记录方法、回放设备和回放方法
CN201080001730.3A Expired - Fee Related CN102047673B (zh) 2009-04-08 2010-03-25 记录设备、记录方法、回放设备、回放方法、记录介质和程序

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201080001730.3A Expired - Fee Related CN102047673B (zh) 2009-04-08 2010-03-25 记录设备、记录方法、回放设备、回放方法、记录介质和程序

Country Status (15)

Country Link
US (1) US9088775B2 (zh)
EP (1) EP2285127B1 (zh)
JP (1) JP4962525B2 (zh)
KR (1) KR20120006431A (zh)
CN (2) CN102625122B (zh)
AU (1) AU2010235599B2 (zh)
BR (1) BRPI1002816A2 (zh)
CA (1) CA2724974C (zh)
ES (1) ES2526578T3 (zh)
HK (1) HK1157551A1 (zh)
MX (1) MX2010013210A (zh)
MY (1) MY156159A (zh)
RU (1) RU2525483C2 (zh)
TW (1) TWI444042B (zh)
WO (1) WO2010116895A1 (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8885709B2 (en) 2008-09-18 2014-11-11 Panasonic Corporation Image decoding device, image coding device, image decoding method, image coding method, and program
JP2011199396A (ja) * 2010-03-17 2011-10-06 Ntt Docomo Inc 動画像予測符号化装置、動画像予測符号化方法、動画像予測符号化プログラム、動画像予測復号装置、動画像予測復号方法、及び動画像予測復号プログラム
KR101831775B1 (ko) 2010-12-07 2018-02-26 삼성전자주식회사 멀티미디어 컨텐츠를 송수신하는 송신 장치 및 수신 장치와, 그 재생 방법
US9491437B2 (en) 2010-12-07 2016-11-08 Samsung Electronics Co., Ltd. Transmitter for transmitting data for constituting content, receiver for receiving and processing data, and method therefor
JPWO2012169204A1 (ja) * 2011-06-08 2015-02-23 パナソニック株式会社 送信装置、受信装置、送信方法及び受信方法
US20140160238A1 (en) * 2011-07-29 2014-06-12 University-Industry Cooperation Group Of Kyung Hee University Transmission apparatus and method, and reception apparatus and method for providing 3d service using the content and additional image seperately transmitted with the reference image transmitted in real time
US10447990B2 (en) 2012-02-28 2019-10-15 Qualcomm Incorporated Network abstraction layer (NAL) unit header design for three-dimensional video coding
US9014255B2 (en) * 2012-04-03 2015-04-21 Xerox Corporation System and method for identifying unique portions of videos with validation and predictive scene changes
PL2843945T3 (pl) 2012-04-23 2020-07-27 Sun Patent Trust Sposób kodowania obrazów, sposób dekodowania obrazów, urządzenie do kodowania obrazów, urządzenie do dekodowania obrazów oraz urządzenie do kodowania/dekodowania obrazów

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1269941A (zh) * 1997-08-29 2000-10-11 松下电器产业株式会社 高分辨率视频图像及一般视频图像记录用光盘、光盘再生装置、光盘记录装置及再生控制信息生成装置
EP1501316A1 (en) * 2002-04-25 2005-01-26 Sharp Corporation Multimedia information generation method and multimedia information reproduction device
CN101180884A (zh) * 2005-04-13 2008-05-14 诺基亚公司 用于视频数据的有效精细粒度伸缩（fgs）编码和解码的方法、装置和系统
CN101356822A (zh) * 2006-01-10 2009-01-28 汤姆逊许可公司 用于构造可伸缩视频的参考图像列表的方法和设备

Family Cites Families (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US429072A (en) * 1890-05-27 Machine for cutting circular plates
US353144A (en) * 1886-11-23 Table-corner
US5619256A (en) * 1995-05-26 1997-04-08 Lucent Technologies Inc. Digital 3D/stereoscopic video compression technique utilizing disparity and motion compensated predictions
WO1998025413A1 (en) * 1996-12-04 1998-06-11 Matsushita Electric Industrial Co., Ltd. Optical disc for high resolution and three-dimensional image recording, optical disc reproducing device, and optical disc recording device
JP4051841B2 (ja) * 1999-12-01 2008-02-27 ソニー株式会社 画像記録装置および方法
KR100397511B1 (ko) * 2001-11-21 2003-09-13 한국전자통신연구원 양안식/다시점 3차원 동영상 처리 시스템 및 그 방법
JP3707685B2 (ja) * 2002-05-08 2005-10-19 ソニー株式会社 光ディスク装置、光ディスクの記録方法、光ディスクの記録方法のプログラム及び光ディスクの記録方法のプログラムを記録した記録媒体
JP2003333505A (ja) * 2002-05-14 2003-11-21 Pioneer Electronic Corp 記録媒体、映像記録装置、映像再生装置及び映像記録再生装置
KR100751422B1 (ko) * 2002-12-27 2007-08-23 한국전자통신연구원 스테레오스코픽 비디오 부호화 및 복호화 방법, 부호화 및복호화 장치
EP1713276B1 (en) * 2004-02-06 2012-10-24 Sony Corporation Information processing device, information processing method, program, and data structure
JP4608953B2 (ja) 2004-06-07 2011-01-12 ソニー株式会社 データ記録装置、方法およびプログラム、データ再生装置、方法およびプログラム、ならびに、記録媒体
JP2006238373A (ja) * 2005-02-28 2006-09-07 Sony Corp 符号化装置および方法、復号装置および方法、画像処理システムおよび画像処理方法、記録媒体、並びにプログラム
WO2007010779A1 (ja) * 2005-07-15 2007-01-25 Matsushita Electric Industrial Co., Ltd. パケット送信装置
JP4638784B2 (ja) * 2005-07-19 2011-02-23 オリンパスイメージング株式会社 画像出力装置及びプログラム
WO2007081176A1 (en) * 2006-01-12 2007-07-19 Lg Electronics Inc. Processing multiview video
US8767836B2 (en) * 2006-03-27 2014-07-01 Nokia Corporation Picture delimiter in scalable video coding
MX2008012382A (es) * 2006-03-29 2008-11-18 Thomson Licensing Metodos y aparatos para usarse en un sistema de codificacion de video de multiples vistas.
EP2005752A4 (en) * 2006-03-30 2010-06-09 Lg Electronics Inc METHOD AND APPARATUS FOR DECODING / ENCODING A VIDEO SIGNAL
KR101137347B1 (ko) * 2006-05-11 2012-04-19 엘지전자 주식회사 이동통신 단말기 및 그 단말기를 이용한 이미지 표출 방법
CN101578884B (zh) * 2007-01-08 2015-03-04 诺基亚公司 提供和使用译码的媒体流的互操作点的预定信令的系统和方法
KR101396948B1 (ko) * 2007-03-05 2014-05-20 경희대학교 산학협력단 하이브리드 다시점 및 계층화 비디오 코딩 방법과 장치
JP2008252740A (ja) 2007-03-30 2008-10-16 Sony Corp リモートコマンダおよびコマンド発生方法、再生装置および再生方法、プログラム、並びに、記録媒体
SI3264780T1 (sl) * 2007-04-18 2020-08-31 Dolby International Ab Kodirni sistemi, pri katerih se uporablja dodatni niz sekvenčnih parametrov za skalabilno kodiranje videa ali večpogledno kodiranje
WO2008140190A1 (en) * 2007-05-14 2008-11-20 Samsung Electronics Co, . Ltd. Method and apparatus for encoding and decoding multi-view image
JP4720785B2 (ja) * 2007-05-21 2011-07-13 富士フイルム株式会社 撮像装置、画像再生装置、撮像方法及びプログラム
KR101388265B1 (ko) * 2007-06-11 2014-04-22 삼성전자주식회사 2ｄ 영상 미디어 표준을 기반으로 3ｄ 입체영상 파일을생성 및 재생하기 위한 시스템 및 방법
US20080317124A1 (en) * 2007-06-25 2008-12-25 Sukhee Cho Multi-view video coding system, decoding system, bitstream extraction system for decoding base view and supporting view random access
CN101222630B (zh) * 2007-11-30 2010-08-18 武汉大学 一种实现实时双帧参考的时域可分级视频编码方法
KR101506217B1 (ko) * 2008-01-31 2015-03-26 삼성전자주식회사 스테레오스코픽 영상의 부분 데이터 구간 재생을 위한스테레오스코픽 영상 데이터스트림 생성 방법과 장치, 및스테레오스코픽 영상의 부분 데이터 구간 재생 방법과 장치
US8565576B2 (en) * 2008-05-01 2013-10-22 Panasonic Corporation Optical disc for reproducing stereoscopic video image
RU2502214C2 (ru) 2008-09-30 2013-12-20 Панасоник Корпорэйшн Носитель записи, устройство воспроизведения, системная бис, способ воспроизведения, очки и устройство отображения для трехмерных изображений
US8947504B2 (en) * 2009-01-28 2015-02-03 Lg Electronics Inc. Broadcast receiver and video data processing method thereof
JP2010244630A (ja) * 2009-04-07 2010-10-28 Sony Corp 情報処理装置、情報処理方法、プログラム、及び、データ構造
CA2718447C (en) * 2009-04-28 2014-10-21 Panasonic Corporation Image decoding method, image coding method, image decoding apparatus, and image coding apparatus
US20120212579A1 (en) * 2009-10-20 2012-08-23 Telefonaktiebolaget Lm Ericsson (Publ) Method and Arrangement for Multi-View Video Compression
PL2596637T3 (pl) * 2010-07-21 2021-12-13 Dolby Laboratories Licensing Corporation Systemy i sposoby dostarczania wielowarstwowego wideo zgodnego z ramką
US20120219069A1 (en) * 2011-02-28 2012-08-30 Chong Soon Lim Methods and apparatuses for encoding and decoding images of a plurality of views using multiview video coding standard and mpeg-2 video standard

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1269941A (zh) * 1997-08-29 2000-10-11 松下电器产业株式会社 高分辨率视频图像及一般视频图像记录用光盘、光盘再生装置、光盘记录装置及再生控制信息生成装置
EP1501316A1 (en) * 2002-04-25 2005-01-26 Sharp Corporation Multimedia information generation method and multimedia information reproduction device
CN101180884A (zh) * 2005-04-13 2008-05-14 诺基亚公司 用于视频数据的有效精细粒度伸缩（fgs）编码和解码的方法、装置和系统
CN101356822A (zh) * 2006-01-10 2009-01-28 汤姆逊许可公司 用于构造可伸缩视频的参考图像列表的方法和设备

Also Published As

Publication number Publication date
JP4962525B2 (ja) 2012-06-27
MX2010013210A (es) 2010-12-21
KR20120006431A (ko) 2012-01-18
EP2285127A1 (en) 2011-02-16
CA2724974C (en) 2014-08-19
MY156159A (en) 2016-01-15
EP2285127B1 (en) 2014-11-19
TWI444042B (zh) 2014-07-01
JP2010245968A (ja) 2010-10-28
TW201041390A (en) 2010-11-16
ES2526578T3 (es) 2015-01-13
RU2010149262A (ru) 2012-06-10
CN102047673B (zh) 2016-04-13
HK1157551A1 (zh) 2012-06-29
BRPI1002816A2 (pt) 2016-02-23
WO2010116895A1 (ja) 2010-10-14
US9088775B2 (en) 2015-07-21
RU2525483C2 (ru) 2014-08-20
AU2010235599A1 (en) 2010-10-14
AU2010235599B2 (en) 2015-03-26
CA2724974A1 (en) 2010-10-14
CN102625122A (zh) 2012-08-01
US20110081131A1 (en) 2011-04-07
EP2285127A4 (en) 2013-03-13
CN102047673A (zh) 2011-05-04

Similar Documents

Publication Publication Date Title
CN102292992B (zh) 信息处理设备、信息处理方法、回放设备、回放方法及记录介质
CN103079082B (zh) 记录方法
CN103179420B (zh) 记录设备、记录方法、回放设备、回放方法、程序和记录介质
CN102625122B (zh) 记录设备、记录方法、回放设备和回放方法
CN102282858B (zh) 回放设备、回放方法和程序
WO2010116955A1 (ja) 情報処理装置、情報処理方法、再生装置、再生方法、およびプログラム
EP2285129A1 (en) Information processing device, information processing method, program, and recording medium
JP2012135001A (ja) 記録方法
JP2012120233A (ja) 再生装置、再生方法、および記録方法
JP2012124925A (ja) 記録方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20160504

Termination date: 20210325

CF01 Termination of patent right due to non-payment of annual fee