CN102342113A - 立体图像数据传输装置和立体图像数据接收装置 - Google Patents

立体图像数据传输装置和立体图像数据接收装置 Download PDF

Info

Publication number
CN102342113A
CN102342113A CN2010800098635A CN201080009863A CN102342113A CN 102342113 A CN102342113 A CN 102342113A CN 2010800098635 A CN2010800098635 A CN 2010800098635A CN 201080009863 A CN201080009863 A CN 201080009863A CN 102342113 A CN102342113 A CN 102342113A
Authority
CN
China
Prior art keywords
information
data
parallax
parallax information
image data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2010800098635A
Other languages
English (en)
Other versions
CN102342113B (zh
Inventor
塚越郁夫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN102342113A publication Critical patent/CN102342113A/zh
Application granted granted Critical
Publication of CN102342113B publication Critical patent/CN102342113B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/183—On-screen display [OSD] information, e.g. subtitles or menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/97—Determining parameters from multiple pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/156—Mixing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/178—Metadata, e.g. disparity information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23605—Creation or processing of packetized elementary streams [PES]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4343—Extraction or processing of packetized elementary streams [PES]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/488—Data services, e.g. news ticker
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2213/00—Details of stereoscopic systems
    • H04N2213/003—Aspects relating to the "2D+depth" image format
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2213/00—Details of stereoscopic systems
    • H04N2213/005—Aspects relating to the "3D+depth" image format

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Library & Information Science (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

目的是以实现与字幕信息共存的方式嵌入视差信息到字幕流中。为了嵌入视差信息到字幕流中，“视差数据组片段”是新定义为DVB字幕片段。通过使用该新片段，可能与字幕信息共存将视差信息嵌入字幕流。在接收侧，可以基于作为标识信息的“segment_type”，从字幕流适当地获取视差信息。此外，在包括字幕信息的“页成分片段”的片段中，新定义由“disparity_data_association_flag”指示的1位标记信息。该标记信息指示与页相关联的视差信息的存在或不存在。在接收侧可以容易地确定与页相关联的视差信息的存在或不存在。

Description

立体图像数据传输装置和立体图像数据接收装置
技术领域
本发明涉及立体图像数据传输装置和立体图像数据接收装置，并且更具体地涉及能够有利地显示如隐藏字幕信息、字幕信息、图形信息和文本信息的重叠信息的立体图像数据传输装置等。
背景技术
例如，在PTL 1中，提出了使用电视广播电波传输立体图像数据的方法。在此情况下，传输包括左眼图像数据和右眼图像数据的立体图像，并且电视接收机利用双眼视差执行立体图像显示。
图131图示了利用双眼视差的立体图像显示中屏幕上对象的左和右图像的显示位置与立体图像的再现位置之间的关系。例如，对于以如图所示的方式，其左图像La和右图像Ra显示在屏幕上分别向右和向左偏移的对象A，立体图像的再现位置位于屏幕表面的前面，因为左和右视线在屏幕表面的前面交叉。DPa代表水平方向上对象A的视差矢量。
同样，例如，对于以如图所示的方式，其左图像Lb和右图像Rb显示在屏幕上相同位置的对象B，立体图像的再现位置位于屏幕表面上，因为左和右视线在屏幕表面上交叉。此外，例如，对于以如图所示的方式，其左图像Lc和右图像Rc显示在屏幕上分别向左和向右偏移的对象C，立体图像的再现位置位于屏幕表面的后面，因为左和右视线在屏幕表面的后面交叉。DPc代表水平方向上对象C的视差矢量。
引用列表
专利文献
PTL 1：日本未审专利申请公开No.2005-6114
发明内容
技术问题
如上所述，在立体图像显示中，通常观看者通过利用双眼视差感觉立体图像的透视图。希望要重叠在图像上的重叠信息(例如，如隐藏字幕信息、字幕信息、图形信息或文本信息)不但在二维空间方面而且在三维深度感方面与立体图像显示相关联地表现。
例如，在作为隐藏字幕信息或字幕信息的字幕要在图像上重叠并且显示(覆盖显示)的情况下，如果字幕在透视方面不在图像中最近对象的前面显示，则观看者可能感觉透视的不一致。此外，同样希望在其它图形信息或文本信息要在图像上重叠和显示的情况下，根据图像中每个对象的透视执行视差调整以便保持透视的一致性。
本发明的目的是在如字幕信息、隐藏字幕信息、图形信息或文本信息的重叠信息的显示中，在重叠信息和图像中的每个对象之间保持透视的一致性。
对于问题的解决方案
本发明的概念在于一种立体图像数据传输装置，包括：
立体图像数据输出单元，其输出包括左眼图像数据和右眼图像数据的立体图像数据；
重叠信息数据输出单元，其输出要重叠在基于左眼图像数据和右眼图像数据的图像上的重叠信息的数据；
视差信息输出单元，其输出用于通过偏移要重叠在基于左眼图像数据和右眼图像数据的图像上的重叠信息给出视差的视差信息；以及
传输单元，其传输从立体图像数据输出单元输出的立体图像数据、从重叠信息数据输出单元输出的重叠信息的数据、以及从视差信息输出单元输出的视差信息，
其中传输单元
使用相同的基本流传输至少视差信息和重叠信息的数据，使得能够通过标识信息标识视差信息和重叠信息的数据。
在本发明中，由立体图像数据输出单元输出包括左眼图像数据和右眼图像数据的立体图像数据。此外，由重叠信息数据输出单元输出要重叠在基于左眼图像数据和右眼图像数据的图像上的重叠信息的数据。这里，重叠信息意味着要重叠在图像上的信息，如隐藏字幕信息或用于显示字幕的字幕信息。此外，由视差信息输出单元输出用于通过偏移要重叠在基于左眼图像数据和右眼图像数据的图像上的重叠信息给出视差的视差信息。
然后，通过传输单元传输上述立体图像数据、上述重叠信息的数据、以及上述视差信息。这里，使用相同的基本流传输至少视差信息和重叠信息的数据，使得能够通过标识信息标识视差信息和重叠信息的数据。以此方式，在本发明中，视差信息和重叠信息的数据配置为以可标识的方式使用相同的基本流传输，并且在接收侧，可以从基本流有利地获取重叠信息以及视差信息的数据。
然后，在接收侧，使用视差信息可以将适当的视差给到要重叠在左眼图像和右眼图像的相同的重叠信息(如字幕信息或隐藏字幕信息)。因此，在重叠信息的显示时，重叠信息和图像中每个对象之间的透视的一致性可以保持在最佳状态。
在本发明中，例如，重叠信息数据可以已经添加了用于指示是否存在与重叠信息的数据相关联的视差信息的标记信息。在接收侧，适当标记信息，可能容易地掌握是否存在与重叠信息的数据相关联的视差信息。
此外，在本发明中，例如，视差信息可以包括要在预定数目的屏幕区域中使用的一条或多条视差信息，并且指示一条视差信息是否由预定数目的屏幕区域共享的共享信息可能添加到视差信息。在接收侧，使用共享信息，可能确定发送的视差信息是否是要在预定数目的屏幕区域中公用的一条视差信息，并且可能有效地执行视差信息获取处理等。
此外，在本发明中，例如，视差信息可以是特定服务使用的视差信息或通用视差信息，并且视差信息可能已经添加了用于标识特定服务使用的视差信息和通用视差信息的使用信息。这里，例如，当视差信息是特定服务使用的视差信息时，视差信息是属于其中要显示重叠信息的区域的视差信息，并且当视差信息是通用视差信息时，视差信息是属于通过将屏幕划分为预定数目的部分所获得的每个子区域的视差信息。在接收侧，利用使用信息，可能确定发送的视差信息是特定服务使用的视差信息或通用视差信息，并且可能适当地使用发送的视差信息。
此外，在本发明中，例如，视差信息是在其期间显示重叠信息的预定数目的帧的时段期间公用的视差信息，或者是在预定数目的帧的时段期间顺序更新的视差信息，并且视差信息可能已经添加了指示在各个帧中公用的视差信息或者在各个帧中顺序更新的视差信息的标记信息。在此情况下，可能根据例如图像的内容，选择性地传输在各个帧中公用的视差信息或者在各个帧中顺序更新的视差信息。也就是说，在图像的移动大的情况下，传输在各个帧中顺序更新的视差信息，使得在接收侧，可以根据图像的内容的改变动态改变要给到重叠信息的视差。此外，在图像的移动小的情况下，传输在各个帧中公用的视差信息，因此允许抑制视差信息的数据量。
此外，在本发明中，例如，在各个帧中顺序更新的视差信息可以配置为包括关于预定数目的帧的时段期间的第一帧的视差信息，以及关于相对于关于之前帧的视差信息的第二和随后帧的偏移信息。在此情况下，可以已知视差信息的数据量。
此外，在本发明中，例如，视差信息可能已经添加了偏移目标信息，其基于要重叠在基于左眼图像数据的图像上的重叠信息以及要重叠在基于右眼图像数据的图像上的重叠信息中的视差信息，指定要偏移的重叠信息。利用偏移目标指定信息，可能仅偏移要重叠在左眼图像上的重叠信息，仅偏移要重叠在右眼图像上的重叠信息，或者偏移要重叠在左眼图像和右眼图像两者的重叠信息。
此外，本发明的另一概念在于一种立体图像数据接收装置，包括：
接收单元，其接收包括左眼图像数据和右眼图像数据的立体图像数据、要重叠在基于左眼图像数据和右眼图像数据的图像上的重叠信息的数据、以及用于通过偏移要重叠在基于左眼图像数据和右眼图像数据的图像上的重叠信息给出视差的视差信息；以及
图像数据处理单元，其使用由接收单元接收的立体图像数据中包括的左眼图像数据和右眼图像数据、由接收单元接收的视差信息、以及由接收单元接收的重叠信息的数据，给出视差到要重叠在左眼图像和右眼图像上的相同的重叠信息，并且获得其上已经重叠重叠信息的左眼图像信息的数据以及其上已经重叠重叠信息的右眼图像信息的数据，
其中使用相同的基本流至少传输由接收单元接收的视差信息和重叠信息的数据，使得能够通过标识信息标识视差信息和重叠信息的数据。
在本发明中，通过接收侧接收包括左眼图像数据和右眼图像数据的立体图像数据以及视差信息和重叠信息的数据。这里，使用相同的基本流传输视差信息和重叠信息的数据，使得能够通过标识信息标识视差信息和重叠信息的数据。因此，在接收单元中，可以基于标识信息从相同的基本流有利地获取视差信息和重叠信息的数据。
由图像数据处理单元使用左眼图像数据和右眼图像数据、视差信息和重叠信息的数据，给出视差到要重叠在左眼图像和右眼图像上的相同的重叠信息，并且获得其上已经重叠重叠信息的左眼图像信息的数据以及其上已经重叠重叠信息的右眼图像信息的数据。
以此方式，在本发明中，可以使用适于重叠信息的视差信息，给出适当的视差到要重叠在左眼图像和右眼图像上的重叠信息(如隐藏字幕信息或字幕信息)。因此，在重叠信息的显示时，重叠信息和图像中每个对象之间的透视的一致性可以保持在最佳状态。
此外，本发明的另一概念在于一种立体图像数据传输装置，包括：
立体图像数据输出单元，其输出包括左眼图像数据和右眼图像数据的立体图像数据；
重叠信息数据输出单元，其输出要重叠在基于左眼图像数据和右眼图像数据的图像上的重叠信息的数据；
视差信息输出单元，其输出用于通过偏移要重叠在基于左眼图像数据和右眼图像数据的图像上的重叠信息给出视差的视差信息；以及
传输单元，其传输包括从立体图像数据输出单元输出的立体图像数据、从重叠信息数据输出单元输出的重叠信息的数据、以及从视差信息输出单元输出的视差信息的传送流，
其中传送流中已经插入指示传送流中包括的每个基本流属于哪个节目的PSI信息和SI信息，并且
其中包括至少用于标识包含视差信息的基本流的标识信息的描述符安排在PSI信息或SI信息中的预定位置。
在本发明中，由立体图像数据输出单元输出包括左眼图像数据和右眼图像数据的立体图像数据。此外，由视差信息输出单元输出用于通过偏移要重叠在基于左眼图像数据和右眼图像数据的图像上的重叠信息给出视差的视差信息。这里，重叠信息意味着要重叠在图像上的信息，如隐藏字幕信息或用于显示字幕的信息。此外，由视差信息输出单元输出用于通过偏移要重叠在基于左眼图像数据和右眼图像数据的图像上的重叠信息给出视差的视差信息。
由传输单元传输包括立体图像数据、重叠信息的数据、以及视差信息的传送流。这里，传送流中已经插入指示传送流中包括的每个基本流属于哪个节目的PSI(节目特定信息)信息。此外，传送流中已经插入用于逐个节目发送属性信息的SI(服务信息)信息。在本发明中，包括至少用于标识包含视差信息的基本流的标识信息的描述符安排在PSI信息或SI信息中的预定位置。
以此方式，在本发明中，传输用于显示立体图像的左眼图像数据和右眼图像数据以及视差信息。因此，在接收侧，使用视差信息可以给出适当的视差到要重叠在左眼图像和右眼图像上的相同的重叠信息(如隐藏字幕信息或字幕信息)。因此，在重叠信息的显示时，重叠信息和图像中每个对象之间的透视的一致性可以保持在最佳状态。
此外，在本发明中，描述符安排在PSI信息或SI信息中的预定位置，并且描述符包含用于标识包含视差信息的基本流的标识信息。因此，在接收侧，以用该标识信息掌握包含视差信息的基本流，并且可以容易地获取视差信息。
在本发明中，例如，可以在基本流环路中安排描述符，其中安排标识包含重叠信息的数据的标识信息的基本流。在此情况下，在接收侧，可以从其中安排描述符的基本流环路容易地掌握包含对其应用视差信息的重叠信息的数据的基本流，并且可以容易地获取与该视差信息相关联的重叠信息的数据。
此外，在本发明中，例如，描述符中可以已经描述指示包含重叠信息的数据的基本流是否包含视差信息的标记信息。在此情况下，在接收侧，可以用该标记信息确定包含重叠信息的数据的基本流是否包含视差信息。然后，当包含视差信息时，可以忽略使用包含在上述描述符中的用于标识包含视差信息的基本流的标识信息的确定。
此外，在本发明中，例如，视差信息可以是特定服务使用的视差信息或通用视差信息，并且描述符可以已经描述了用于标识特定服务使用的视差信息和通用视差信息的使用信息。在此情况下，在接收侧，利用使用信息，包括用于识别基本流的识别信息。因此，在接收侧，可以确定由上述标识信息指示的基本流中包括的视差信息是特定服务使用的视差信息或通用视差信息，并且可以适当地使用视差信息。
此外，本发明的另一概念在于一种立体图像数据接收装置，包括：
数据获取单元，其从传送流获取包括左眼图像数据和右眼图像数据的立体图像数据、要重叠在基于左眼图像数据和右眼图像数据的图像上的重叠信息的数据、以及用于通过偏移要重叠在基于左眼图像数据和右眼图像数据的图像上的重叠信息给出视差的视差信息；以及
图像数据处理单元，其使用由数据获取单元获取的立体图像数据中包括的左眼图像数据和右眼图像数据、由数据获取单元获取的视差信息、以及由数据获取单元获取的重叠信息的数据，给出视差到要重叠在左眼图像和右眼图像上的相同的重叠信息，并且获得其上已经重叠重叠信息的左眼图像信息的数据以及其上已经重叠重叠信息的右眼图像信息的数据，
其中传送流中已经插入指示传送流中包括的每个基本流属于哪个节目的PSI信息和SI信息，并且
其中包括至少用于标识包含视差信息的基本流的标识信息的描述符安排在PSI信息或SI信息中的预定位置。
在本发明中，通过数据获取单元从传送流获取左眼图像数据、视差信息和重叠信息的数据。包括用于标识包含视差信息的基本流的标识信息的描述符安排在插入传送流的PSI信息中。因此，使用该标识信息，可以掌握包含视差信息的基本流，并且可以容易地获取视差信息。此外，由图像数据处理单元使用左眼图像数据、右眼图像数据以及视差信息，给出视差到要重叠在左眼图像和右眼图像的相同重叠信息，并且获得其上已经重叠重叠信息的左眼图像的数据和其上已经重叠重叠信息的右眼图像的数据。
以此方式，在本发明中，可以使用适于重叠信息的视差信息(使用偏移目标指定信息)，给出适当的视差到要重叠在左眼图像和右眼图像上的重叠信息(如隐藏字幕信息或字幕信息)。因此，在重叠信息的显示时，重叠信息和图像中每个对象之间的透视的一致性可以保持在最佳状态。
本发明的有益效果
根据本发明，可以使用适于重叠信息的视差信息，给出适当的视差到要重叠在左眼图像和右眼图像上的重叠信息(如隐藏字幕信息、字幕信息、图形信息、或文本信息)，并且，在重叠信息的显示时，重叠信息和图像中每个对象之间的透视的一致性可以保持在最佳状态。
附图说明
图1是图示作为本发明的实施例的立体图像显示系统的示例配置的框图。
图2是图示广播站中的传输数据生成单元的示例配置的框图。
图3是图示1920×1080p像素格式的图像数据的图。
图4是包括描述作为立体图像数据(3D图像数据)传输方法的“上下(Top& Bottom)”方法、“并排(Side By Side)”方法和“帧顺序(Frame Sequential)”方法的图。
图5是描述检测右眼图像相对于左眼图像的视差矢量的示例的图。
图6是描述使用块匹配方法确定视差矢量的图。
图7包括图示视差由矢量检测单元检测到的、图像中的预定位置处的视差矢量VV的示例的图。
图8是图示视差矢量的传输内容的图。
图9包括图示视差检测块示例以及在这种情况下视差矢量的传输内容的图。
图10包括描述用于检测和传输视差矢量的定时的示例的图。
图11是描述用于检测和传输视差矢量的定时的示例的图。
图12是图示在传输数据生成单元中多路复用的数据流的示例的图。
图13是图示广播站中的传输数据生成单元的另一示例配置的框图。
图14图示在广播站中的传输数据生成单元中多路复用的单个流的示例。
图15是图示广播站中的传输数据生成单元的另一示例配置的框图。
图16图示在广播站中的传输数据生成单元中多路复用的单个流的示例。
图17包括用于描述在传输方法为第一传输方法(“上下”方法)的情况下左眼图形信息和右眼图形信息的重叠位置等的图。
图18包括描述在传输方法为第一传输方法(“上下”方法)的情况下用于生成左眼图形信息和右眼图形信息的方法的图。
图19包括描述在传输方法为第二传输方法(“并排”方法)的情况下用于生成左眼图形信息和右眼图形信息的方法的图。
图20是描述在传输方法为第二传输方法(“并排”方法)的情况下用于生成左眼图形信息和右眼图形信息的方法的图。
图21是图示广播站中的传输数据生成单元的另一示例配置的框图。
图22是图示广播站中的传输数据生成单元的另一示例配置的框图。
图23是图示在基于像素的视差矢量的值用作单个像素的亮度值的情况下的图像示例的图。
图24是图示基于块(Block)的视差矢量的示例的图。
图25是图示传输数据生成单元的视差信息组创建单元中执行的小型化(downsize)处理的示例的图。
图26是图示图像上字幕和应用图形的显示示例以及其透视的图。
图27是描述视差序列ID(Disparity_Sequence_id)的图。
图28是图示在情况(1)(其中仅发送通用视差信息组(在与特定服务没有关系的情况下))下创建的视差信息组的示例的图。
图29是图示在情况(1)下统一地传输与图像数据的每一个特定时段的图像数据对应的多个视差信息组(封包视差组)的组等的图。
图30是图示在情况(2)(其中仅发送通用视差信息组(在与特定服务有关系的情况下))下创建的视差信息组的示例的图。
图31是图示在情况(2)下统一地传输与图像数据的每一个特定时段的图像数据对应的多个视差信息组(封包视差组)的组等的图。
图32是图示在分量元素ID与视差矢量之间的关联信息(Component_Linked_Info)的示例的图。
图33是图示在情况(2)下统一地传输与图像数据的每一个特定时段的图像数据对应的多个视差信息组(封包视差组)的组等的图。
图34是图示在分量元素ID与视差矢量之间的关联信息(Component_Linked_Info)的示例的图。
图35是图示要在情况(3)(其中发送通用视差信息组和特定服务使用的视差信息组二者)下创建的视差信息组的示例的图。
图36是图示在情况(3)下统一地传输与图像数据的每一个特定时段的图像数据对应的多个视差信息组(封包视差组)的组等的图。
图37是图示在分量元素ID与视差矢量之间的关联信息(Component_Linked_Info)的示例的图。
图38是图示要在情况(4)(其中仅发送特定服务使用的视差信息组)下创建的视差信息组的示例的图。
图39是图示在情况(4)下统一地传输与图像数据的每一个特定时段的图像数据对应的多个视差信息组(封包视差组)的组等的图。
图40是描述在DVB字幕的情况下使用基本PID(Elementary PID)在字幕片段(Subtitle Segment)与视差矢量数据(Disparity Data)之间的关联性的图。
图41是示意性图示视频基本流的示例结构的图。
图42是图示在MPEG2、H.264 AVC和VC-1编码方法中用户数据的示例配置的图。
图43是图示将视差序列ID(Disparity_Sequence_id)和服务相关联的视差链接描述符(Disparity_Linkage_Descriptor)的示例配置的图。
图44是图示视差链接描述符(Disparity_Linkage_Descriptor)中的每一条信息的内容的图。
图45包括图示在将视差信息组插入到图像数据流的用户数据区的状态下将其发送到接收侧的情况下，以及在将包括视差信息组的视差矢量基本流(PES)与其它流多路复用并且将其传输到接收侧的情况下，PID的示例的图。
图46包括图示添加有“Disparity_Sequence_id＝1”的视差信息组与字幕相关联(链接到字幕)的示例、以及添加有“Disparity_Sequence_id＝2”的视差信息组与隐藏字幕相关联(链接到隐藏字幕)的示例的图。
图47是图示视差信息组与字幕相关联的情况的图。
图48是图示视差信息组与字幕相关联的情况的图。
图49是图示视差信息组与隐藏字幕相关联(其中在将隐藏字幕数据插入到图像数据流的用户数据区的状态下将其发送到接收侧)的情况的图。
图50是图示视差信息组与隐藏字幕相关联(其中在将隐藏字幕数据插入到图像数据流的用户数据区的状态下将其发送到接收侧)的情况的图。
图51是图示包括视差信息(Disparity_Information)的用户数据的详细配置的示例的图。
图52是图示视差信息(Disparity_Information)的示例配置的图。
图53是图示视差信息数据(Disparity_Information_Data)中包括的DSL(Disparity_Information_Link_Information)的配置的图。
图54是图示视差信息数据(Disparity_Information_Data)中包括的DHI(Disparity_Header_Information)的配置的图。
图55是图示视差信息数据(Disparity_Information_Data)中包括的DHI(Disparity_Header_Information)的配置的图。
图56是图示视差信息数据(Disparity_Information_Data)中包括的DDS(Disparity_Data_Set)的配置的图。
图57是图示DSL、DHI和DDS中每一条信息的内容的图。
图58是图示DSL、DHI和DDS中每一条信息的内容的图。
图59是图示DSL、DHI和DDS中每一条信息的内容的图。
图60是图示DSL、DHI和DDS中每一条信息的内容的图。
图61包括描述DHI中包括的信息“Partition”的图。
图62是图示用于将服务组件与视差信息相关联的视差链接描述符的另一示例配置的图。
图63是图示视差链接描述符中的每一条信息的内容的图。
图64是图示视差信息(视差数据)的应用范围的概念的图。
图65是图示其中字幕的视差信息嵌入字幕流的情况的图。
图66是图示其中字幕的视差信息嵌入视频流的情况的图。
图67是图示其中字幕的视差信息嵌入视差信息流的情况的图。
图68是图示其中通用(一般使用)的视差信息嵌入视频流或视差信息流的情况的图。
图69是图示其中通用(一般使用)的视差信息嵌入视频流或视差信息流的情况的图。
图70是图示其中隐藏字幕的视差信息嵌入视频流的情况的图。
图71是图示当从PES层观察时DVB_Subtitling的配置(语法)的图。
图72是图示“segment_type”的每个值和片段类型之间的对应关系的图。
图73是图示当设置“segment_type＝0x40”时获得的“disparity_data_set_segment”的示例配置的图。
图74是图示“disparity_data”的配置(语法)的示例的图。
图75是图示“disparity_data”的配置中每一条信息的内容的图。
图76是图示“disparity_data”的配置中每一条信息的内容的图。
图77是图示“segment_type＝0x10”的“page_composition_segment”的示例配置的图。
图78是图示包括视差信息的用户数据的示例配置的图(在MPEG4-AVC的情况下)。
图79是图示“disparity_data_set”的配置的图。
图80是图示包括视差信息(disparity_data)的PES_data_fieldno的示例配置的图。
图81是图示“disparity_data_set”的配置的图。
图82是图示其中视差信息嵌入字幕流的情况的图。
图83是图示其中视差信息嵌入视频流的情况的图。
图84是图示其中视差信息嵌入视差信息流的情况的图。
图85是图示广播站中传输数据生成单元的另一示例配置的框图。
图86是图示广播站中传输数据生成单元的另一示例配置的框图。
图87是图示包括视差信息的用户数据的详细配置的示例的图。
图88是图示包括视差信息的用户数据的详细配置中的每一条信息的内容的图。
图89是图示视差信息的详细配置的示例的图。
图90是图示视差信息的详细配置中的每一条信息的内容的图。
图91是图示视差信息的详细配置中的每一条信息的内容的图。
图92是图示视差信息的配置中的数据量(数据大小)的计算示例的图。
图93包括图示在传输方法是第二传输方法(“并排”方法)的情况下左眼图像信息和右眼图形信息的重叠位置的图。
图94包括图示将基于从位流数据提取的并且使用传统方法传输的图形数据的图形图像照原样重叠在左眼图像和右眼图像上的状态的图。
图95包括图示在时间T0、T1、T2和T3处在三个对象位置的视差矢量(观察矢量)的图。
图96是图示图像上的字幕(图形信息)、以及背景、前景对象和字幕的透视(perspective)的显示示例的图。
图97包括图示图像上的字幕(图形信息)以及用于显示字幕的左眼图形信息LGI和右眼图形信息RGI的显示示例的图。
图98包括描述在图像中的多个位置处检测到的视差矢量中与其重叠位置对应的视差矢量用作视差矢量的图。
图99包括描述在图像中的多个位置处检测到的视差矢量中与其重叠位置对应的视差矢量用作视差矢量的图。
图100包括描述在图像中的多个位置处检测到的视差矢量中与其重叠位置对应的视差矢量用作视差矢量的图。
图101包括图示在图像内存在对象A、B和C并且指示每个对象的注解的文本信息重叠在邻近对象的位置上的图。
图102是图示立体图像显示系统中包括的机顶盒的示例配置的框图。
图103是图示机顶盒的位流处理单元的示例配置的框图。
图104是图示在电视显示器的方向上观看时在左手侧的视频对象具有大视差矢量VV1的情况下，扬声器输出控制示例的图。
图105是图示从广播站发送的每一个数据流与视差矢量之间的对应关系的图。
图106是图示从广播站发送的每一个数据流与视差矢量之间的对应关系的图。
图107是图示从广播站发送的图像数据、隐藏字幕数据、图形数据和视差信息组之间的对应关系的图。
图108是图示机顶盒中包括的位流处理单元的另一示例配置的框图。
图109是图示从广播站发送的每一个数据流与视差矢量之间的对应关系的图。
图110是图示从广播站发送的每一个数据流与视差矢量之间的对应关系的图。
图111是图示从广播站发送的每一个数据流与视差矢量之间的对应关系的图。
图112是图示从广播站发送的图像数据、隐藏字幕数据、图形数据和视差信息组之间的对应关系的图。
图113是图示机顶盒中包括的位流处理单元的另一示例配置的框图。
图114是图示机顶盒中包括的位流处理单元的另一示例配置的框图。
图115是图示机顶盒中包括的位流处理单元的另一示例配置的框图。
图116是图示基于单个帧中顺序更新的视差信息，给出视差到要重叠在左眼图像和右眼图像上的隐藏字幕信息的处理的示例的图。
图117是图示机顶盒的另一示例配置的框图。
图118包括图示字幕信息和图形信息重叠在左眼图像和右眼图像上的示例的图。
图119是图示立体图像显示系统中包括的电视接收机的示例配置的框图。
图120是图示HDMI传输单元(HDMI源)和HDMI接收单元(HDMI宿)的示例配置的框图。
图121是图示HDMI传输单元中包括的HDMI传输器以及HDMI接收单元中包括的HDMI接收器的示例配置的框图。
图122是图示TMDS传输数据的示例结构(在传输具有水平方向1920像素和垂直方向1080线的图像数据的情况下)的图。
图123是图示在源装置和宿装置之间连接的HDMI线缆的HDMI端子的管脚阵列(类型A)的图。
图124是图示E-EDID的示例数据结构的图。
图125是图示厂商专用区域(HDMI厂商专用数据块)的示例数据结构的图。
图126是图示作为立体图像数据的一种TMDS传输数据结构的帧封装方法的3D视频格式的图。
图127是图示作为立体图像数据的一种TMDS传输数据结构的线交替方法的3D视频格式的图。
图128是图示作为立体图像数据的一种TMDS传输数据结构的并排(全)(side-by-side(Full))方法的3D视频格式的图。
图129是描述用于将视差矢量与分量元素ID相关联的另一种方法的图。
图130是图示立体图像显示系统的另一个示例配置的图。
图131是图示利用双眼视差的立体图像显示中屏幕上对象的左右图像的显示位置与立体图像的再现位置之间的关系的图。
具体实施方式
以下将描述用于执行本发明的方式(以下称为“实施例”)。注意，该描述将按以下顺序给出。
1.实施例
2.示例修改
<1、实施例>
[立体图像显示系统的示例配置]
图1图示了作为实施例的立体图像显示系统10的配置示例。该立体图像显示系统10包括广播站100、机顶盒(STB：Set Top Box)200和电视接收机300。
机顶盒200和电视接收机300经由HDMI(高清晰度多媒体接口)线缆400相互连接。机顶盒200提供有HDMI端子202。电视接收机300提供有HDMI端子302。HDMI线缆400的一端连接到机顶盒200的HDMI端子202，而HDMI线缆400的另一端连接到电视接收机300的HDMI端子302。
[广播站的描述]
广播站100传输在广播波上携带的位流数据。该位流数据包含包括左眼图像数据和右眼图像数据的立体图像数据、音频数据、以及重叠信息数据，还包含视差信息(视差矢量)等。这里，重叠信息数据包括隐藏字幕(closedcaption)数据、字幕数据、图形数据、文本数据等。
[传输数据生成单元的示例配置]
图2图示生成上述位流数据的广播站100中的传输数据生成单元110的配置示例。这个示例配置是传输视差矢量作为数字信息的示例。该传输数据生成单元110包括相机111L和111R、视频成帧单元112、视频编码器113、视差矢量检测单元114和视差矢量编码器115。
此外，该传输数据生成单元110包括麦克风116、音频编码器117、字幕/图形产生单元118、字幕/图形编码器119、文本产生单元120、文本编码器121和多路复用器122。注意，在该实施例中，假设文本产生单元120还用作隐藏字幕数据产生单元。隐藏字幕数据用于隐藏字幕的字幕显示的文本数据。
相机111L捕获左眼图像并且获得用于立体图像显示的左眼图像数据。相机111R捕获右眼图像并且获得用于立体图像显示的右眼图像数据。视频成帧单元112将由相机111L获得的左眼图像数据以及由相机111R获得的右眼图像数据修改和处理为根据传输方法的状态。
[立体图像数据的传输方法的示例]
尽管这里给出以下第一至第三方法作为立体图像数据(3D图像数据)的传输方法，但是可以使用任何其它传输方法。这里如图3所示，将在这样的情况的背景下给出描述：左眼(L)和右眼(R)的每个图像数据是具有确定的分辨率(例如，作为示例，1920×1080p的像素格式)的图像数据。
第一传输方法是“上下”方法，如图4(a)所示，其是这样的方法：在垂直方向的上一半中传输左眼图像数据的每一行的数据，而在垂直方向的下一半中传输右眼图像数据的每一行的数据。在这种情况下，因为左眼图像数据和右眼图像数据的行被稀疏到1/2，所以垂直分辨率减小到原始信号的分辨率的一半。
第二传输方法是“并排”方法，如图4(b)所示，其是这样的方法：在水平方向的前一半中发送左眼图像数据的像素数据，而在水平方向的后一半中发送右眼图像数据的像素数据。在这种情况下，左眼图像数据和右眼图像数据的每一个的水平方向上的像素数据稀疏到1/2。水平分辨率是当前信号的一半。
第三传输方法是“帧顺序”方法，如图4(c)所示，其是这样的方法：在对于每一场顺序切换左眼图像数据和右眼图像数据的同时，发送这些左眼图像数据和右眼图像数据。
返回图2，视频编码器113使用MPEG4-AVC，MPEG2，VC-1等对由视频成帧单元112修改和处理的立体图像数据执行编码，以获得编码视频数据。此外，视频编码器113在其后级包括流格式化器113a。流格式化器113a允许生成视频的基本流，该视频的基本流在有效载荷部分包括视频数据。
视差矢量检测单元114基于左眼图像数据和右眼图像数据检测视差矢量，该视差矢量是图像内预定位置处左眼图像和右眼图像之一相对于另一个的视差信息。这里，图像内的预定位置包括所有像素位置、多个像素形成的每一个区域的代表性位置、要重叠重叠信息(这里为图形信息或文本信息)的区域的代表性位置等。
[视差矢量的检测]
将描述视差矢量的检测示例。这里，将给出对于检测右眼图像相对于左眼图像的视差矢量的示例的描述。如图5所示，假设将左眼图像是检测图像，并且右眼图像是参考图像。在该示例中，检测位置(xi，yi)和(xj，yj)处的视差矢量。
作为示例，将对于检测位置(xi，yi)处的视差矢量的情况进行描述。在这种情况下，例如其左上像素在像素位置(xi，yi)的8×8或16×16的像素块(视差检测块)Bi设置在左眼图像中。然后，在右眼图像中搜索匹配像素块Bi的像素块。
在这种情况下，在右眼图像中设置以位置(xi，yi)作为中心的搜索范围，并且例如通过将搜索范围中的每个像素当作感兴趣像素，顺序地设置与上述像素块Bi类似的8×8或16×16的对照块。
对于每一个对应像素确定像素块Bi与顺序设置的每个对照块之间的绝对差值的总和。这里，如图6所图示，当像素块Bi的像素值由L(x，y)表示，并且对照块的像素值由R(x，y)表示时，像素块Bi与某个对照块之间的绝对差值的总和被表示为∑|L(x，y)-R(x，y)|。
当在右眼图像中设置的搜索范围包括n个像素时，最终确定n个总和S1至Sn，并且选择它们中的最小总和Smin。然后，从对其获得了总和Smin的对照块获得左上像素的位置(xi′，yi′)。从而，以如(xi′-xi，yi′-yi)的方式检测位置(xi，yi)处的视差矢量。虽然将省略详细描述，但是同样通过在左眼图像中设置其左上像素处于位置(xj，yj)的例如8×8或16×16的像素块，使用类似处理步骤检测在位置(xj，yj)的视差矢量。
图7(a)图示图像中的预定位置处的视差矢量VV(其由视差矢量检测单元114检测)的示例。这种情况意味着：如图7(b)所示，在该图像内的预定位置，移位视差矢量VV的左眼图像(检测图像)与右眼图像(参考图像)交迭。
返回参考图2，视差矢量编码器115生成视差矢量基本流，其包括由视差矢量检测单元114等检测到的视差矢量。这里，视差矢量基本流包括下列内容。即，将ID(ID_Block)、垂直位置信息(Vertical_Position)、水平位置信息(Horizontal_Position)和视差矢量(View_Vector)设置为一组。然后，将这个组重复N(其数量等于视差检测块的数量)次。
图8图示了视差矢量的传输内容。视差矢量包括垂直方向分量(View_Vector_Vertical)和水平方向分量(View_Vector_Horizontal)。注意到，视差检测块的垂直和水平位置是在垂直方向和水平方向上从图像的左上原点到该块的左上像素的偏移值。对于每一个视差矢量的传输分配视差检测块的ID，以便确保到要在图像上重叠和显示的重叠信息式样(诸如隐藏字幕信息、字幕信息、图形信息、文本信息等)的链接。
注意到，在图8的示例中，水平和垂直视差矢量(视差信息)由16位信息表示。然而，视差矢量(视差信息)的位数不限于16位。可以根据显示大小、要给出的视差等使用下述诸如8位的适当位数。
例如，如图9(a)所示，当存在视差检测块A至F时，如图9(b)所示，传输内容包括视差检测块A至F的ID、垂直和水平位置信息和视差矢量。例如，在图9中，对于视差检测块A，ID2指示视差检测块A的ID，(Ha，Va)指示视差检测块A的垂直和水平位置信息，而视差矢量a指示视差检测块A的视差矢量。
这里，将描述检测和传输视差矢量的定时。关于该定时，例如，可以想到下列第一至第四示例。
在第一示例中，如图10(a)所示，该定时与画面的编码同步。在这种情况下，以画面的单元传输视差矢量。画面的单元是传输视差矢量的最小单元。在第二示例中，如图10(b)所示，该定时与视频场景同步。在这种情况下，以场景的单位传输视差矢量。
在第三示例中，如图10(c)所示，该定时与编码视频的I-画面(帧内画面)或GOP(画面组)同步。在第四示例中，如图11所示，该定时与要在图像上重叠和显示的字幕信息、图形信息、文本信息等的显示开始定时同步。
返回参照图2，麦克风116检测使用相机111L和111R拍摄的图像对应的音频，并且获得音频数据。音频编码器117对由麦克风116获得的音频数据执行使用MPEG-2音频AAC等的编码，并且生成音频的基本流。
字幕/图形产生单元118产生要重叠在图像上的字幕信息和图形信息的数据(字幕数据、图形数据)。字幕信息例如是字幕。此外，图形信息例如是徽标(logo)等。字幕数据和图形数据是位图数据。字幕数据和图形数据具有添加到其的指示在图像上的重叠位置的空闲(idling)偏移信息。
该空闲偏移信息指示例如在垂直方向和水平方向上从图像的左上原点到字幕信息或图形图像的重叠位置的左上像素的偏移值。注意，通过DVB(其为欧洲的数字广播标准)将用以将字幕数据作为位图数据传输的标准标准化为DVB_Subtitling，并且所述标准在操作中。
字幕/图形编码器119接收由字幕/图形产生单元118产生的字幕信息或图形信息的数据(字幕数据、图形数据)作为输入。然后，字幕/图形编码器119生成在有效载荷部分中包括这些数据块的基本流。
文本产生单元120产生要重叠在图像上的文本信息的数据(文本数据)。文本信息例如是电子节目指南、文本广播的内容等。与上述图形数据类似，该文本数据已经添加了指示在图像上的重叠位置的空闲偏移信息。该空闲偏移信息指示在垂直方向和水平方向上从图像的左上原点到文本信息的重叠位置的左上像素的偏移值。注意，文本数据的传输的示例包括作为节目预约操作的EPG以及美国的数字地面规范ATSC中的CC数据(隐藏字幕)。
文本编码器121接收由文本产生单元120产生的文本数据作为输入。然后，文本编码器121生成在有效载荷部分中包括这些数据块的基本流。
多路复用器122多路复用从编码器113、115、117、119和121输出的分组基本流。然后，多路复用器122输出位流数据(传送流)BSD作为传输数据。
将简要地描述在图2中所示的传输数据生成单元110的操作。在相机111L中，拍摄左眼图像。将由相机111L获得的用于立体图像显示的左眼图像数据供应到视频成帧单元112。此外，在相机111R中，拍摄右眼图像。将由相机111R获得的用于立体图像显示的右眼图像数据供应到视频成帧单元112。在视频成帧单元112中，将左眼图像数据和右眼图像数据修改和处理为根据传输方法的状态，并且获得立体图像数据(参见图4(a)至4(c))。
将由视频成帧单元112获得的立体图像数据供应到视频编码器113。在视频编码器113中，对立体图像数据执行使用MPEG4-AVC、MPEG2、VC-1等的编码，并生成包括编码视频数据的视频基本流。将该视频基本流供应到多路复用器122。
此外，通过视频成帧单元112将由相机111L和111R获得的左眼图像数据和右眼图像数据供应到视差矢量检测单元114。在视差矢量检测单元114中，基于左眼图像数据和右眼图像数据，将视差检测块设置到图像中的预定位置，并检测作为关于左眼图像和右眼图像之一相对于另一个的视差信息的视差矢量。
将由视差矢量检测单元114检测到的图像内预定位置的视差矢量供应到视差矢量编码器115。在这种情况下，视差检测块的ID、视差检测块的垂直位置信息、视差检测块的水平位置信息和视差矢量作为一组传递。在视差矢量编码器115中，生成包括视差矢量的传输内容的视差矢量基本流(参见图8)。将视差矢量基本流供应到多路复用器122。
此外，在麦克风116中，检测与使用相机111L和111R拍摄的图像对应的音频。将由该麦克风116获得的音频数据供应到音频编码器117。在音频编码器117中，对音频数据执行使用MPEG-2音频AAC等的编码，并且生成包括编码音频数据的音频基本流。将该音频基本流供应到多路复用器122。
此外，在字幕/图形生成单元118中，产生要在图像上重叠的字幕信息和图形信息的数据(字幕数据、图形数据)。将这种数据(位图数据)供应到字幕/图形编码器119。字幕/图形数据被添加了指示在图像上的重叠位置的空闲偏移信息。在字幕/图形编码器119中，对图形数据执行预定编码，并且生成包括编码数据的基本流。将该基本流供应到多路复用器122。
此外，在文本生成单元120中，产生要在图像上重叠的文本信息的数据(文本数据)。将该文本数据供应到文本编码器121。类似于上述图形数据，文本数据被添加了指示在图像上的重叠位置的空闲偏移信息。在文本编码器121中，对该文本数据执行预定编码，并且生成包括编码数据的基本流。将该基本流供应到多路复用器122。
在多路复用器122中，多路复用从各个编码器供应的基本流的分组，并获得用作传输数据的位流数据(传送流)BSD。
图12图示了在图2所示的传输数据生成单元110中多路复用的各个数据流的示例。注意，该示例指示了以视频场景的单位检测并传输视差矢量的情况(参见图10(b))。注意，用于同步显示的时间戳被添加到了每个流的分组，并且在接收侧可以控制在图像上重叠字幕信息、图形信息、文本信息等的定时。
“传输数据生成单元的另一示例配置”
注意，图2中图示的上述传输数据生成单元110配置为将视差矢量的传输内容(参见图8)传输到接收侧作为独立基本流。然而，也可以想到，在嵌入另一流中的状态下传输视差矢量的传输内容。例如，在嵌入作为用户数据的视频流中的状态下传输视差矢量的传输内容。此外，例如，在嵌入字幕、图形或文本的流中的状态下传输视差矢量的传输内容。
图13图示传输数据生成单元110A的示例配置。这个示例也是传输视差矢量作为数字信息的示例。该传输数据生成单元110A配置为在将视差的传输内容嵌入作为用户数据的视频流中的状态下传输该视差矢量的传输内容。在图13中，与图2中的那些对应的部分分配相同标号，并且省略了其详细描述。
在传输数据生成单元110A中，将由视差矢量检测单元114检测到的图像中的预定位置处的视差矢量供应到视频编码器113中的流格式化器113a。在这种情况下，视差检测块的ID、视差检测块的垂直位置信息、视差检测块的水平位置信息和视差矢量作为一组传递。在流格式化器113a中，将视差矢量的传输内容(参见图8)嵌入作为用户数据的视频流中。
虽然省略了详细描述，但是在图13中图示的传输数据生成单元110A的其他组件以与在图2中图示的传输数据生成单元110的那些组件类似的方式配置。
图14图示在图13中所示的传输数据生成单元110A中多路复用的图像数据流、字幕或图形数据流和文本数据流的示例。在嵌入图像数据流中的状态下传输视差矢量(视差信息)。
[传输数据生成单元的另一示例配置]
图15图示了传输数据生成单元110B的配置示例。该示例也是传输视差矢量作为数字信息的示例。传输数据生成单元110B配置为在将视差矢量的传输内容嵌入字幕或图形数据流的状态下传输该视差矢量的传输内容。在图15中，对应于图2的部分分配同样的标号，并且省略了其详细描述。
在传输数据生成单元110B中，将由视差矢量检测单元114检测到的图像内预定位置的视差矢量供应到字幕/图形编码器119中的流格式化器119a。在这种情况下，视差检测块的ID、视差检测块的垂直位置信息、视差检测块的水平位置信息和视差矢量作为一组传递。在流格式化器119a中，将视差矢量的传输内容(参见图8)嵌入字幕或图形数据流中。
虽然省略了详细描述，但是在图15中图示的传输数据生成单元110B的其他组件以与在图2中图示的传输数据生成单元110的那些组件类似的方式配置。
图16图示了在图15中所示的传输数据生成单元110B中多路复用的图像数据流、字幕或图形数据流和文本数据流的示例。在将视差矢量(视差信息)嵌入字幕或图形数据流的状态下传输该视差矢量。
“传输数据生成单元的另一配置示例”
此外，图2、图13和图15中所示的上述传输数据生成单元110、110A和110B传输视差矢量作为数字信息(参见图8)。然而，代替传输视差矢量作为数字信息，也可以想到在要重叠在图像上的重叠信息(如，字幕信息、图形信息、文本信息等)的数据中预先反映视差数据的同时，在传输侧传输视差信息。
例如，在图形信息的数据中反映视差信息的情况下，在发送侧生成与要重叠在左眼图像上的左眼图形信息和要重叠在右眼图像上的右眼图形信息两者对应的图形数据。在这种情况下，左眼图形信息和右眼图形信息是同样的图形信息。然而，例如图像中右眼图形信息的显示位置配置为在水平方向偏移对应于相对于左眼图形信息的显示位置的视差矢量的水平方向分量。
例如，在图像内多个位置处检测到的视差矢量之中，使用与视差矢量的重叠位置对应的视差矢量作为视差矢量。此外，例如，在图像内多个位置处检测到的视差矢量之中，使用就透视而言被识别为最近的位置处的视差矢量作为视差矢量。注意，虽然省略了详细描述，但对于字幕信息或图形信息的数据中反映视差信息的情况类似适用。
图17(a)图示在传输方法为上述第一传输方法(“上下”方法)的情况下左眼图形信息和右眼图形信息的重叠位置。左眼图形信息和右眼图形信息为相同信息。然而，要被重叠在右眼图像IR上的右眼图形信息RGI配置为在水平方向上关于要重叠在左眼图像IL上的左眼图形信息LGI移位视差矢量的水平方向分量VVT的位置。
如图17(a)所示，生成图形数据，使得将各条图形信息LGI和RGI分别重叠在每一个区域IL和IR上。从而，如图17(b)所示，观察者可以使用视差与图像IL和IR一起观察各条图形信息LGI和RGI，并且还能够察觉图形信息的透视。
例如，如图18(a)所示，生成各条图形信息LGI和RGI的图形数据作为单个区域的数据。在这种情况下，可以将各条图形信息LGI和RGI以外的部分中的数据生成为透明数据。此外，例如，如图18(b)所示，将各条图形信息LGI和RGI的图形数据生成为不同区域的数据。
图19(a)图示在传输方法为上述第二传输方法(“并排”方法)的情况下左眼图形信息和右眼图形信息的重叠位置。左眼图形信息和右眼图形信息为相同信息。然而，要重叠在右眼图像IR上的右眼图形信息RGI配置为在水平方向上关于要重叠在左眼图像IL上的左眼图形信息LGI移位视差矢量的水平方向分量VVT的位置。注意，IT是空闲偏移值。
生成图形数据，如图19(a)所示，使得将各条图形信息LGI和RGI分别重叠在图像IL和IR上。从而，如图19(b)所示，观察者可以使用视差与图像IL和IR一起观察各条图形信息LGI和RGI，并且还能够察觉图形信息的透视。
例如，如图20所示，将各条图形信息LGI和RGI的图形数据生成为单个区域的数据。在这种情况下，可以将在各条图形信息LGI和RGI以外的部分中的数据生成为透明数据。
图21图示传输数据生成单元110C的配置示例。该传输数据生成单元110C配置为在诸如隐藏字幕信息、字幕信息、图形信息或文本信息等的重叠信息的数据中反映视差信息的同时，传输视差信息。在图21中，与图2中的那些对应的部分配置相同标号，并且省略其详细描。
在传输数据生成单元110C中，在字幕/图形产生单元118与字幕/图形编码器119之间插入字幕/图形处理单元124。此外，在传输数据生成单元110C中，在文本产生单元120与文本编码器121之间插入文本处理单元125。然后，将视差矢量检测单元114检测到的图像内预定位置处的视差矢量供应到字幕/图形处理单元124和文本处理单元125。
在字幕/图形处理单元124中，生成要重叠在左眼图像IL和右眼图像IR上的左眼和右眼的字幕或图形信息项LGI和RGI的数据。在这种情况下，基于由字幕/图形产生单元118产生的字幕数据或图形数据产生字幕和图形信息项。左眼和右眼的字幕信息项或图形信息项是相同的信息。然而，例如，配置图像内的右眼字幕信息或图形信息的重叠位置，以便在水平方向上关于左眼字幕信息或图形信息移位视差矢量的水平方向分量VVT(参见图17(a)和图19(a))。
将以这种方式由字幕/图形处理单元124生成的字幕数据或图形数据供应到字幕/图形编码器119。注意，字幕数据或图形数据添加有指示图像上的重叠位置的空闲偏移信息。在字幕/图形编码器119中，生成由字幕/图形处理单元124生成的字幕数据或图形数据的基本流。
此外，在文本处理单元125中，基于由文本产生单元120产生的文本数据，生成要重叠在左眼图像上的左眼文本信息的数据以及要重叠在右眼图像上的右眼文本信息的数据。在这种情况下，左眼文本信息和右眼文本信息为相同文本信息。然而，例如，配置图像内右眼文本信息的重叠位置，以便在水平方向上关于左眼文本信息移位视差矢量的水平方向分量VVT。
将以这种方式由文本处理单元125生成的文本数据供应到文本编码器121。注意，该文本数据添加有指示图像上的重叠位置的空闲偏移信息。在文本编码器121中，生成由文本处理单元生成的文本数据的基本流。
尽管省略详细描述，但是图21中所示的传输数据生成单元110C的其他组件以与图2中所示的传输数据生成单元110类似的方式配置。
“传输数据生成单元的另一配置示例”
在图2、图13和图15中所示的传输数据生成单元110、110A和110B中，在视差矢量检测单元114中，基于左眼图像数据和右眼图像数据，检测图像内预定位置处的视差矢量(视差信息)。传输数据生成单元110、110A和110B配置为照原样传输由视差矢量检测单元114检测到的图像内预定位置处的视差信息到接收侧。
然而，例如，可以想到的是，对以与图像数据相关联的方式在数据记录介质中记录的基于像素的视差矢量执行小型化处理，并且创建包括属于通过将屏幕分割为预定尺寸而获得的一个或多个区域的视差信息的视差信息组。在这种情况下，例如，基于接收侧要求(诸如视差矢量的空间密度或传输带)选择每一个区域的尺寸。
此外，构思通用视差信息组和特定服务使用视差信息组用作视差信息组。特定服务使用的示例包括隐藏字幕使用和字幕使用。然后，对于要传输到接收侧的视差信息组，可以构思如下情况。
(1)仅发送通用视差信息组(在与特定服务没有关系的情况下)
(2)仅发送通用视差信息组(在与特定服务有关系的情况下)
(3)发送通用视差信息组和特定服务使用视差信息组二者
(4)仅发送特定服务使用视差信息组
图22图示传输数据生成单元110D的示例配置。该传输数据生成单元110D配置为创建与上述情况(1)到(4)之一对应的预定组的视差信息组，并将预定组的视差信息组传输到接收侧。在该图22中，对应于图2的那些部分的部分分配相同标号，并且将适当地省略其详细描述。
传输数据生成单元110D包括数据提取单元(存档单元)130、视差信息组创建单元131、视频编码器113和音频编码器117。此外，该传输数据生成单元110D包括字幕/图形产生单元118、字幕/图形编码器119、文本产生单元120、文本编码器121和多路复用器122。
数据记录介质130a例如以可移除的方式附接到数据提取单元130。音频数据和视差矢量与包括左眼图像数据和右眼图像数据的立体图像数据一起记录在该数据记录介质130a上，以便相互对应。数据提取单元130从数据记录介质130a中提取并输出立体图像数据、音频数据、视差矢量等。数据记录介质130a是盘形记录介质、半导体存储器等。
这里，数据记录介质130a上记录的立体图像数据设计为对应于由图2中所示的传输数据生成单元110的视频成帧单元112获得的立体图像数据。此外，数据记录介质130a上记录的视差矢量例如是形成图像的基于像素的视差矢量。
视差信息组创建单元131具有取景器功能。该视差信息组创建单元131对从数据提取单元130输出的视差矢量(即，基于像素的视差矢量)执行小型化处理，并且生成属于预定区域的视差矢量。
图23图示给出为单个像素的亮度值的相对深度方向上的数据的示例。这里，可以通过预定转换处理相对深度方向上的数据作为每一个像素的视差矢量。在该示例中，人物部分具有高亮度值。这意味着人物部分的视差矢量的值大，因此这意味着察觉人物部分处于立体图像显示中的浮动状态。此外，在该示例中，背景部分具有低亮度值。这意味着背景部分的视差矢量的值小，因此这意味着察觉该背景部分处于立体图像显示中的下沉状态。
图24图示基于块的视差矢量的示例。该块对应于位于底层的像素上的上部层。块由在水平方向和垂直方向以预定尺寸划分图像(画面)区域构成。每一块的视差矢量例如通过从块内存在的所有像素的视差矢量中选择具有最大值的视差矢量获得。在该示例中，每一块的视差矢量由箭头指示，并且箭头的长度对应于视差矢量的大小。
图25图示由视差信息组创建单元131执行的小型化处理的示例。首先，如25(a)所示，视差信息组创建单元134使用基于像素的视差矢量确定基于块的视差矢量。如上所述，块对应于位于底层的像素上的上部层，并且由在水平方向和垂直方向中以预定尺寸划分图像(画面)区域构成。例如，每一块的视差矢量通过从块内存在的所有像素的视差矢量之中选择具有最大值的视差矢量来获得。
接着，如图25(b)所示，视差信息组创建单元131使用基于块的视差矢量来确定基于群(Group Of Block，块群)的视差矢量。该群对应于块之上的上部层，并且通过共同地分组多个相邻块来获得。在图25(b)的示例中，每一群由以虚线框包围的四个块组成。然后，例如，每一群的视差矢量通过从其群内的所有块的视差矢量之中选择具有最大值的视差矢量来获得。
接着，如图25(c)所示，视差信息组创建单元131使用基于群的视差矢量来确定基于分区(Partition)的视差矢量。该分区对应于各群之上的上部层，并且通过共同地分组多个相邻群来获得。在图25(c)的示例中，每一分区由以虚线框包围的两个群构成。然后，例如，每一分区的视差矢量通过从其部分内的所有群的视差矢量之中选择具有最大值的视差矢量来获得。
接着，如图25(d)所示，视差信息组创建单元131使用基于分区的视差矢量来获得位于顶层的整个画面(整个图像)的视差矢量。在图25(d)的示例中，整个画面包括以虚线框包围的四个区域。然后，例如，通过从整个画面中包括的所有区域的视差矢量之中选择具有最大值的视差矢量，获得整个画面的视差矢量。在这种情况下，除了整个画面的视差矢量之外，可以确定关于从其获得视差的原始像素的位置(图中以“+”指示)的信息，并且用作视差矢量的额外信息。在确定上述块、群或分区的视差矢量时也类似。
因此，视差信息组创建单元131通过对位于底层的每一个像素的视差矢量执行小型化处理，可以确定各个层中的各个区域(即，块、群、分区和整个画面)的视差矢量。注意，在图25中所示的小型化处理的示例，最终，确定除了像素层之外四个层(即，块、群、分区和整个画面)的视差矢量。然而，层的数量、如何分区每一个层为的各区域和区域的数量不限于上面那些。
视差信息组创建单元131通过上述小型化处理创建包括对于具有预定尺寸的每一区域的视差矢量的视差信息组。该视差信息组被添加有指示每一条视差信息所属的屏幕区域的信息。例如，作为指示屏幕区域的信息，添加指示屏幕的分割数量的信息，如零个分割、四个分割、九个分割、十六个分割等。此外，例如作为指示屏幕区域的信息，添加指示区域大小(块大小)的信息，如16×16、32×32或64×64等。
如果以扫描顺序安排视差信息组中的各条视差信息，则可以使用指示屏幕的分割数量的信息或指示区域大小的信息掌握每一条视差信息所属的屏幕区域。在这个意义上，指示屏幕分区的数量的信息和指示区域大小的信息变为指示每一条视差信息所属的屏幕区域的信息。
此外，视差信息组创建单元131根据需要创建特定服务使用的视差信息组。例如，根据需要，创建对于隐藏字幕使用、字幕使用、特定应用(窗口小部件)图形使用等的视差信息组。在这种情况下，通过上述小型化处理，创建属于一个或多个屏幕区域的视差矢量，分别对应于重叠信息(如隐藏字幕信息、字幕信息、或图形信息)的一个或多个显示区域。
图26(a)图示图像上字幕和应用图形的显示示例。图26(b)图示图像、字幕和应用图形的透视。例如，如图所示，字幕显示在屏幕下半部的中心区域，但想要在图像的最近的位置前面进一步识别字幕显示。在这种情况下，在视差信息组创建单元131中，从字幕的显示区域和对应图像区域的视差矢量，创建用于向字幕提供视差的视差矢量。
此外，例如，如图所示，应用图形显示在屏幕的右下边缘区域中，希望在字幕前面进一步识别应用图形。在这种情况下，在视差信息组创建单元131中，从应用图形的显示区域和对应图像区域的视差矢量，创建用于向应用图形提供视差的视差矢量。
这里，如上所述，视差信息组创建单元131具有取景器功能。在该视差信息组创建单元131中，实际上显示如图26(a)所示的立体图像。因此，将从数据提取单元130输出的立体图像数据(左眼图像数据、右眼图像数据)提供到该视差信息组创建单元131。此外，对于该视差信息组创建单元131，提供由字幕和图形生成单元118产生的字幕数据或图形数据以及由文本产生单元120产生的文本数据(包括隐藏字幕数据)。
对于由视差信息组创建单元131创建的、且与立体图像数据一起传输的每一组视差信息组，添加有视差序列ID(Disparity_Sequence_id)。该视差序列ID是指示重叠信息(对其要使用视差信息组中包括的视差信息)的类型的标识信息。使用视差序列ID，标识视差信息组是通用视差信息组还是特定服务使用的视差信息组。此外，使用标识信息，标识特定服务使用的视差信息组的代表的服务使用的视差信息组的类型。
如图27所示，Disparity_Sequence_id＝0指示通用视差信息组。该视差信息组基于预先记录的视差信息来创建。在该视差信息组与特定服务不相关联的情况下，不需要使用例如视差链接描述符(Disparity_Linkage_Descriptor)等来与特定服务相关联。此外，Disparity_Sequence_id＝1到255指示使用例如视差链接描述符等关联的特定服务使用的视差信息组。
[视差信息组]
在下述情况(1)到(4)中的每一个的上下文中进一步描述由视差信息组创建单元131创建的视差信息组。
“情况(1)”
如上所述，情况(1)是仅发送通用视差信息组的情况。在该情况(1)中，仅创建通用视差信息组。注意，在该情况(1)中，视差信息组中包括的视差信息与特定服务没有关系。
图28图示了在该情况(1)中创建的视差信息组的示例。在该示例中，视差信息组包括属于通过将屏幕划分为九个部分获得的单个屏幕区域的视差矢量(水平视差矢量)P0到P8。例如，通过例如使用基于像素的视差矢量的上述小型化处理来确定视差矢量P0到P8。在图28中，箭头指示视差矢量，而箭头的长度对应于视差矢量的大小。
该视差信息组是通用视差信息组。因此，如图29所示，要添加到该视差信息组的标识信息“Disparity_Sequence_id”设置为“0”，其指示通用视差信息组。
这里，该通用视差信息组是对于图像数据的每一预定单元(如，对于编码视频的每一画面)的视差信息组。如下所述，图像数据分割为特定时段，并且特定时段的图像数据的传输之前，传输对应于每一特定时段的图像数据的多个视差信息组(Packed_Disparity_Set)的群。因此，如图29所示，每个预定单元的视差信息组添加有偏移(Offset)作为指示使用视差信息组的定时的时间信息。添加到每个视差信息组的偏移代表从第一视差信息组的使用时间(由时间戳(Time Stamp)指示)起的时间。
“情况(2)”
如上所述，情况(2)是仅发送通用视差信息组的情况。在该情况(2)中，仅创建通用视差信息组。注意，在该情况(2)中，视差信息组中包括的视差信息与特定服务有关系。
图30图示了在该情况(2)中创建的视差信息组的示例。在该示例中，视差信息组包括属于通过将屏幕划分为九个部分而获得的单个屏幕区域的视差矢量(水平的视差矢量)P0到P8。例如，通过使用基于像素的视差矢量的以上小型化处理来确定视差矢量P0到P8。在图30中，箭头指示视差矢量，而箭头的长度对应于视差矢量的大小。
该视差信息组是通用视差信息组。因此，如图31所示，要添加到该视差信息组的标识信息“Disparity_Sequence_id”设置为“0”，其指示通用视差信息组。
这里，该通用视差信息组是图像数据的每个预定单元(例如编码视频的每个画面)的视差信息组。如下所述，图像数据分割为特定时段，并且在特定时段的图像数据的传输之前，传输对应于每个特定时段的图像数据的多个视差信息组(Packed_Disparity_Set)的群。因此，如图31所示，对于每个预定单位的视差信息组，添加偏移(Offset)作为指示使用视差信息组的定时的时间信息。添加到每个视差信息组的偏移代表从第一视差信息组的使用时间(以时间戳(Time Stamp)指示)起的时间。
如上所述，在情况(2)中，视差信息组中包括的视差信息与特定服务有关系。图31图示视差矢量P7和隐藏字幕数据DF0相关联的示例。注意，如图30所示，基于隐藏字幕数据DF0的隐藏字幕信息显示在视差矢量P7所属的屏幕区域上。在这种情况下，指示显示该隐藏字幕信息的屏幕区域的分量元素ID(Component_Element ID)和视差矢量P7相关联。
图32图示了在这种情况下分量元素ID与视差矢量之间的关联表(Component_Linked_Info)的示例。在这种情况下，由分区位置ID(Partition_Position_ID)指定视差矢量的对象位置。该分区位置ID指示由分割数量或块大小指定多个屏幕区域中的哪个屏幕区域。
注意，图31中所示的示例图示了其中一条视差信息与一条隐藏字幕数据相关联的示例。然而，也可以想到的是，多条视差信息与一条隐藏字幕数据相关联。以此方式，在多条视差信息与一条隐藏字幕数据相关联的情况下，在接收侧可以选择并使用一条视差信息，以便给出视差到基于该条隐藏字幕数据的隐藏字幕信息。
图33图示了视差矢量P6和P7与隐藏字幕数据DF1之间的关联并且进一步视差矢量P7和P8与隐藏字幕数据DF2之间的关联的示例。在这种情况下，执行分量元素ID与视差矢量P6和P7之间的关联，分量元素ID指示其中显示基于隐藏字幕数据DF1的隐藏字幕信息的屏幕区域。此外，类似地，执行分量元素ID与视差矢量P7和P8之间的关联，分量元素ID指示其中显示基于隐藏字幕数据DF2的隐藏字幕信息的屏幕区域。
图34图示了在这种情况下分量元素ID与视差矢量之间的关联表(Component_Linked_Info)的示例。在这种情况下，由分区位置ID(Partition_Position_ID)指定视差矢量。该分区位置ID指示由分割数量或块大小指定多个屏幕区域中的哪个屏幕区域。
“情况(3)”
如上所述，情况(3)是发送通用视差信息组和特定服务使用的视差信息组二者的情况。在该情况(3)中，创建通用视差信息组和特定服务使用的视差信息组二者。在这种情况下，添加到通用视差信息组的标识信息(Disparity_Sequence_id)设置为“0”。此外，添加到特定服务使用的视差信息组的标识信息(Disparity_Sequence_id)设置为“0”以外的值。例如，通过如上所述将其信息插入到用户数据，执行标识信息(Disparity_Sequence_id)与服务之间的关联。可替代地，例如，使用如上所述的视差链接描述符(Disparity_Linkage_Descriptor)来执行该关联。
图35图示了在该情况(3)中创建的视差信息组的示例。在该示例中，通用视差信息组包括属于通过将屏幕划分为九个部分而获得的单个屏幕区域的视差矢量(水平的视差矢量)P0到P8。例如，通过使用基于像素的视差矢量的上述小型化处理来确定视差矢量P0到P8。在图35中，箭头指示视差矢量，而箭头的长度对应于视差矢量的大小。
此外，创建隐藏字幕使用的视差信息组，作为特定服务使用的视差信息组。隐藏字幕使用的视差信息组包括与隐藏字幕信息“Caption 1”对应的视差矢量CC1和与隐藏字幕信息“Caption 2”对应的视差矢量CC2。
这里，视差信息组是对于图像数据的每个预定单元(例如，对于编码视频的每个画面)的视差信息组。如下所述，图像数据分割为特定时段，并且在特定时段的图像数据的传输之前，传输对应于每个特定时段的图像数据的多个视差信息组(Packed Disparity Set)的群。因此，如图36所示，对于每个预定单元的视差信息组，添加偏移(Offset)作为指示使用视差信息组的定时的时间信息。添加到每个视差信息组的偏移代表从第一视差信息的使用时间(由时间戳(Time Stamp)指示)起的时间。
如上所述，特定服务使用的视差信息组是隐藏字幕使用的视差信息组。图35图示了视差矢量CC1和隐藏字幕数据DF1之间的关联以及进一步的视差矢量CC2与隐藏字幕数据DF2之间的关联的示例。在这种情况下，执行指示显示该隐藏字幕信息的屏幕区域的分量元素ID(Component_Element ID)与视差矢量CC1和CC2之间的关联。
图37图示了在这种情况下分量元素ID与视差矢量之间的关联表(Component_Linked_Info)。在这种情况下，由分区位置ID(Partition_Position_ID)指定视差矢量的对象位置。该分区位置ID指示由分割数量或块大小指定多个屏幕区域中的哪个屏幕区域。
“情况(4)”
如上所述，情况(3)是仅发送特定服务使用的视差信息组的情况。在该情况(4)中，仅创建特定服务使用的视差信息组。在这种情况下，添加到特定服务使用的视差信息组的标识信息(Disparity_Sequence_id)设置为不同于“0”。例如，通过如上所述将该信息插入到用户数据，执行标识信息(Disparity_Sequence_id)和服务之间的关联。可替代地，例如，使用如上所述的视差链接描述符(Disparity_Linkage_Descriptor)执行该关联。
图38图示了在该情况(4)中创建的视差信息组的示例。在该示例中，创建隐藏字幕使用的视差信息组作为特定服务使用的视差信息组。隐藏字幕使用的视差信息组包括与隐藏字幕信息“Caption 1”对应的视差矢量CC1和与隐藏字幕信息“Caption 2”对应的视差矢量CC2。
这里，视差信息组是对于图像数据的每个预定单元(例如，对于编码视频的每个画面)的视差信息组。如下所述，图像数据分割为特定时段，并且在特定时段的图像数据的传输之前，传输对应于每个特定时段的图像数据的多个视差信息组(Packed Disparity Set)的群。因此，如图39所示，对于每个预定单位的视差信息组，添加偏移(Offset)作为指示使用视差信息组的定时的时间信息。添加到每个视差信息组的偏移代表从第一视差信息组的使用时间(由时间戳(Time Stamp)指示)起的时间。
如上所述，特定服务使用的视差信息组是隐藏字幕使用的视差信息组。图39图示了视差矢量CC1和隐藏字幕数据DF1之间的关联以及进一步的视差矢量CC2与隐藏字幕数据DF2之间的关联的示例。在这种情况下，执行指示显示该隐藏字幕信息的屏幕区域的分量元素ID(Component_Element ID)与视差矢量CC1和CC2之间的关联(见图37)。
注意，在图32、图34和图37中，图示了这样的示例：其中，作为分量元素ID与视差矢量之间的关联表，分量元素ID是隐藏字幕的窗口ID(WindowID)。例如，在DVB字幕的情况下，分量元素ID是DVB字幕的区域ID(Region_id)。
在DVB字幕的情况下，例如，如图40所示，使用基本PID(ElementaryPID)执行字幕片段(Subtitle Segment)与视差矢量数据(Disparity Data)之间的关联。然后，字幕片段内的页面ID(Page_id)和视差矢量数据的标识信息(Disparity_Sequence_id)相关联。此外，区域ID(Region ID)和视差矢量(Disparity_Vector_horizontal)相关联。
视频编码器113对从数据提取单元130提供的立体图像数据执行使用MPEG4-AVC、MPEG2、VC-1等的编码，以获得编码视频数据。此外，视频编码器113使用在其后级提供的流格式化器113a，在有效载荷部分生成包括编码视频数据的视频基本流。如上所述，将由视差信息组创建单元131创建的预定组的视差信息组提供到视频编码器113中的流格式化器113a。流格式化器113a将预定组的视差信息组作为用户数据嵌入视频流中。
图41示意性地图示视频基本流(Video Elementary Stream)的示例结构。在视频基本流中，在开头安排包括每个序列参数的序列报头部分。在该序列报头部分之后，安排包括每个画面参数和用户数据的画面报头。在该画面报头部分之后，安排包括画面数据的有效载荷部分。随后，重复地安排画面报头部分和有效载荷部分。
上述视差信息组例如嵌入画面报头部分中的用户数据区域中。图42图示了用户数据的示例配置。图42(a)图示了在编码方法是MPEG2的情况下的用户数据的配置。图42(b)图示了在编码方法是H.264AVC(MPEG4-AVC)的情况下用户数据的配置。此外，图42(c)图示了在编码方法是VC-1的情况下用户数据的配置。
尽管将省略详细描述，各个方法中的用户数据的配置基本类似。也就是说，指示用户数据开始的代码安排在开头，其后安排指示数据类型的标识符“user_identifier”，并且进一步地其后安排数据主体“user_structure”。下面将描述包括视差信息(Disparity_Information)的用户数据的详细配置。
音频编码器117对从数据提取单元130提供的音频数据执行使用MPEG-2 Audio AAC等的编码，并且生成音频基本流。多路复用器122多路复用从编码器113、117、119和121输出的分组基本流。然后，该多路复用器122输出用作传输数据的位流数据(传送流)BSD。
图22中所示的传输数据生成单元110D的其他元件以与图2中所示的传输数据生成单元110的那些元件类似的方式配置。
将简单描述图22中所示的传输数据生成单元110D的操作。将从数据提取单元130输出的立体图像数据提供到视频编码器113。在视频编码器113中，对立体图像数据执行使用MPEG-4-AVC、MPEG2、VC-1等的编码，并生成包括编码视频数据的视频基本流。将该视频基本流提供到多路复用器122。
此外，将从数据提取单元130输出的基于像素的视差矢量提供到视差信息组创建单元131。在该视差信息组创建单元131中，对视差矢量执行小型化处理等，并创建要传输的预定组的视差信息组(情况(1)到(4))。将由该视差信息组创建单元131创建的预定组的视差信息组提供到视频编码器113内的流格式化器113a。在流格式化器113a中，将预定组的视差信息组作为用户数据嵌入视频流中。
此外，将从数据提取单元130输出的音频数据提供到音频编码器117。在该音频编码器117中，对音频数据执行使用MPEG-2 Audio AAC等的编码，并且生成包括编码音频数据的音频基本流。将该音频基本流提供到多路复用器122。
此外，将包括关于字幕数据或图形数据的编码数据的基本流从字幕/图形编码器119提供到多路复用器122。进一步，将包括关于文本数据的编码数据的基本流从文本编码器121提供到多路复用器122。然后，在多路复用器122中，多路复用从各个编码器提供的基本流的分组，并且获得用作传输数据的位流数据(传输流)BSD。
[服务分量和每个流的视差信息之间的关联、视差信息组标识信息和服务之间的关联]
使用视差链接描述符(Disparity_Linkage_Descriptor)执行各个关联流中的服务分量和视差信息之间的关联。此外，使用该视差链接描述符，还执行各个流中的视差信息组标识信息(Disparity_Sequence_id)和服务之间的关联。该视差链接描述符安排在多路复用的流的报头区域中，或者多路复用的流中的描述符表(如PMT)中。
图43图示在这种情况下视差链接描述符的示例配置。图44图示图43中所示的配置中每条信息的内容。“descriptor_tag”是指示描述符类型的8位数据。这里，设置“0xD0”，其指示视差链接描述符。“descriptor_length”是指示该信息的长度(大小)的8位数据。
“number_of_Linked_Streams”是指示根据视差信息数据(Disparity_Data)对其限定两个流之间的关系的基本流的数量的5位数据，并且流相关联。“ElementaryPID_of_disparity”是指示包括视差信息数据(Disparity_Data)的基本流(PES)的PID(节目ID)的13位数据。“ElementaryPID_of_Service_Component”是指示包括服务分量(如字幕、字幕、文本或图形)的基本流(PES)的PID(节目ID)的13位数据。使用两个PID，对于每个相关联的基本流执行视差信息和服务分量之间的关联。
“number_of_linked_sequences”是指示要关联以便对应于每个相关联的基本流的视差信息组(视差信息，Disparity Information)的数量的5位数据。“Service_id”是指示用于标识服务的唯一字的32位数据。例如，对于ATSC分配“0x47413934”。“Data_Type”是指示由“Service_id”标识的服务中的数据类型的8位数据。例如，“0x03”指示隐藏字幕数据。
安排视差序列ID“Disparity_Sequence_id”和服务页面ID“Service_page_id”，其数量对应于由“number_of_linked_sequences”指示的值。“Disparity_Sequence_id”是用于标识每个服务的标识信息的8位数据。“Service_page_id”是指定服务(如字幕页面)的8位数据。因此，预定数量的视差序列ID和服务页面ID与预定“Service_page_id”和“Data_Type(i)”相关联。
将描述关于图43中所示的视差链接描述符的示例配置中的每一项的特定示例。图45(a)图示了在将视差信息组插入图像数据流的用户数据区域并且将其发送到接收侧(如使用图22中的传输数据生成单元110D)的情况下PID的示例。在该示例中，视差链接描述符(Disparity_Linkage_Descriptor)安排在多路复用的流(TS)内的PMT中。
然后，在该示例中，多路复用的流(TS)中包括的包含视差信息数据(Disparity Data)的视频(图像数据)基本流(PES)的PID被设置为“PID_0”。此外，在该示例中，多路复用的流(TS)中包括的音频基本流(PES)的PID被设置为“PID_1”。进一步，在该示例中，多路复用的流(TS)中包括的字幕基本流(PES)的PID被设置为“PID_2”。
图45(b)图示了在生成包括视差信息组的视差矢量的基本流(PES)，并且该独立的流与另一个流多路复用并将其发送到接收侧(如使用下面描述的图62中的传输数据生成单元110E)的情况下PID的示例。在该示例中，将视差链接描述符(Disparity_Linkage_Descriptor)安排在多路复用的流(TS)内的PMT中。
然后，在该示例中，多路复用的流(TS)中包括的视频(图像数据)基本流(PES)的PID被设置为“PID_0”。此外，在该示例中，多路复用的流(TS)中包括的音频基本流(PES)的PID被设置为“PID_1”。此外，在该示例中，多路复用的流(TS)中包括的字幕基本流(PES)的PID被设置为“PID_2”。此外，在该示例中，多路复用的流(TS)中包括的视差矢量基本流(PES)的PID被设置为“PID_3”。
图46(a)图示了这样的示例：其中，添加了“Disparity_Sequence_id＝1”的视差信息组与字幕相关联(链接)。在该示例中，视差信息组包括与字幕信息“Subtitle 1”对应的视差矢量“Region 1”以及与字幕信息“Subtitle 2”对应的视差矢量“Region 2”。图46(b)图示了这样的示例：其中，添加了“Disparity_Sequence_id＝2”的视差信息组与隐藏字幕相关联(链接)。在该示例中，视差信息组包括与隐藏字幕信息“Caption 1”对应的视差矢量CC1以及与隐藏字幕信息“Caption 2”对应的视差矢量CC2。
图47图示了上述图45(a)的情况下视差信息组与字幕相关联的情况。在这种情况下，将“ElementaryPID_of_Service_Component”设置到字幕基本流的PID(Subtitle PID)。此外，在这种情况下，将“ElementaryPID_of_disparity”设置到视频基本流的PID(Video PID)。
图48图示了上述图45(b)的情况下视差信息组与字幕相关联的情况。在这种情况下，将“ElementaryPID_of_Service_Component”设置到字幕基本流的PID(Subtitle PID)。并且，在这种情况下，将“ElementaryPID_of_disparity”设置到视差矢量基本流的PID(Disparity PID)。
图49图示了上述图45(a)的情况下(其中在将隐藏字幕数据插入图像数据流的用户数据区域的状态下，将隐藏字幕数据发送到接收侧)，视差信息组与隐藏字幕相关联的情况。这里，“Service_id”代表ATSC，并且“Data_Type”代表隐藏字幕(CC)。在这种情况下，将“ElementaryPID_of_Service_Component”设置到视频基本流的PID(VideoPID)。此外，在这种情况下，还将“ElementaryPID_of_disparity”设置到视频基本流的PID(Video PID)。
注意，尽管将省略详细描述，但是例如，ID的现有操作数如下：“Service_id＝0x47413934”代表“ATSC”，其中“Data_Type＝0x03”代表“隐藏字幕”，“Data_Type＝0x06”代表“Bar_data(邮箱或邮筒区域)”。此外，“Service_id＝0x44544731”代表“AFD”。
图50图示在上述图45(b)的情况下(其中在将隐藏字幕数据插入图像数据流的用户数据区域的状态下，将隐藏字幕数据发送到接收侧)，视差信息组与隐藏字幕相关联的情况。这里，“Service_id”代表ATSC，并且“Data_Type”代表隐藏字幕(CC)。在这种情况下，将“ElementaryPID_of_Service_Component”设置到视频基本流的PID(VideoPID)。此外，在这种情况下，将“ElementaryPID_of_disparity”设置到视差矢量基本流的PID(Disparity PID)。
[包括视差信息(Disparity_Information)的用户数据的详细配置]
图51图示了包括视差信息(Disparity_Information)的用户数据的详细配置的示例。该示例是在编码方法为MPEG2的情况下的示例。当开始码(user_data_start_code)之后的数据标识符是视差信息标识符(Disparity_Information_identifier)时，安排视差信息(Disparity_Information)作为数据标识符之后的数据主体(data body)。
图52图示安排了视差信息数据(Disparity_Information_Data)的视差信息(Disparity_Information)的配置。该视差信息数据可以具有与上述图43中的视差链接描述符(Disparity_Linkage_Descriptor)类似的信息。在这种情况下，该视差信息数据包括DSL(Disparity_Information_Link_Information)，其具有在图53所示的配置。此外，该视差信息数据包括DHI(Disparity_Header_Information)，其具有在图54和图55所示的配置。进一步，该视差信息数据包括DDS(Disparity Data Set)，其具有图56所示的配置。图57到图60图示了在图53到图56中所示的配置中各条信息的内容。
将参照图57描述DSL。该DSL是用于将视差序列ID(Disparity_Sequence_id)与服务关联的信息。“Disparity_Info_Length”是指示该信息的长度(大小)的16位数据。“Disparity_Info_Type”是指示该信息的类型的2位数据，并且这里设置到“0x0”，其指示该信息是“DSL”。
尽管将省略详细描述，但是项目″number_of_Linked_Streams″，″ElementaryPID_of_disparity″、″ElementaryPID_of_Service_Component″、″number_of_linked_sequences″、″Service_id″、″Data_Type″和″Disparity_Sequence_id″与图43所述的相同。
将参照图54和图55描述DHI。该DHI也包括用于将每个服务分量和分区位置ID(Partition_Position_ID)关联的信息，所述分区位置ID用于指定要用于该分量的视差矢量。“Disparity_Info_Length”是指示该信息的长度(大小)的16位数据。“Disparity_Info_Type”是指示该信息的类型的2位数据，并且这里设置到“0x1”，其指示该信息是“DHI”。
“Views_offset”是指示将偏移的扩展应用于“第二视图”(如，仅右眼图像)还是“两个视图”(即，左眼图像和右眼图像的每个)的1位数据。在“1”的情况下，指示应用于“两个视图”。在“0”的情况下，指示应用于“第二视图”。“Disparity_precision”是指示重叠信息相对于视差矢量移位程度的2位数据。在“0”的情况下，指示移位了对应于一半视差矢量的量。在“1”的情况下，指示移位了对应于视差矢量的量。
在“2”的情况下，指示移位了对应于视差矢量的单元值，其中一个单元等于两个像素。例如，如果视差矢量是“7”，则执行2×7＝14个像素的移位。在“3”的情况下，指示移位了对应于视差矢量的单元值，其中一个单元等于三个像素。例如，如果视差矢量是“7”，则执行3×7＝21个像素的移位。
“Disparity_Sequence_id”是作为用于标识每个服务的标识信息的8位数据。“Service_Linked_flag”是指示是否存在与上述DSL内的服务相关联的视差矢量(视差信息)的1位数据。在“1”的情况下，指示存在与服务相关联的视差矢量。相反，在“0”的情况下，指示不存在与服务相关联的视差矢量。
“Target_Resolution_Type”是用于指定关于目标视频的编码视差信息组的分辨率的2位数据。在“0x0”的情况下，指示1920×1080的分辨率。在“0x1”的情况下，指示1440×1080的分辨率。在“0x2”的情况下，指示1280×720的分辨率。
“Block_Size”是用于指定块大小的2位数据。该“Block_Size”是指示形成屏幕区域的信息的区域的大小的信息。在“0x0”的情况下，指示16像素×16像素的块大小。在“0x1”的情况下，指示的32像素×32像素的块大小。在“0x2”的情况下，指示64像素×64像素的块大小。进一步，在“0x3”的情况下，指示128像素×128像素的块大小。
“Link_source”指示视差信息组(源)是通用视差信息组还是特定服务使用的视差信息组。当设置“1”时，指示视差信息组是具有通过划分屏幕而获得的屏幕区域的视差矢量的通用视差信息组。当设置“0”时，指示视差信息组是具有与服务分量元素对应的视差矢量的特定服务使用的视差信息组。
“Partition”指示划分屏幕的模式。该“Partition”是指示形成指示屏幕区域的信息的、屏幕上划分的数量的信息。在“0x0”的情况下，如图61(a)所示，指示图像(画面)区域未划分，并且传输表示该图像(画面)区域的一个视差矢量(视差信息)。在“0x1”的情况下，如图61(b)所示，指示将图像(画面)区域划分为4个部分，并且传输表示各个子区域的4个视差矢量(视差信息)。在这种情况下，以这样的方式安排视差矢量，使得左上区域中的视差矢量变为第一，而右下区域中的视差矢量变为最后(在图61(b)中0到3的顺序中)。
在“0x2”的情况下，如图61(c)所示，指示将图像(画面)区域划分为9个部分，并且传输表示各个子区域的9个视差矢量(视差信息)。在这种情况下，以这样的方式安排视差矢量，使得左上区域中的视差矢量变为第一，而右下区域中的视差矢量变为最后(在图61(c)中0到8的顺序中)。在“0x3”的情况下，如图61(d)所示，指示将图像(画面)区域划分为16个部分，并且传输表示各个子区域的16个视差矢量(视差信息)。在这种情况下，以这样的方式安排视差矢量，使得左上区域中的视差矢量变为第一，而右下区域中的视差矢量变为最后(在图61(d)中0到15的顺序中)。
在“0x7”的情况下，指示将图像(画面)区域划分为多个块，并且传输表示各个子区域的多个视差矢量(视差信息)。在这种情况下，以这样的方式安排视差矢量，使得左上区域中的视差矢量变为第一，而右下区域中的视差矢量变为最后。
“Number_of_Component_Elements”是指示由上述“Partition”或“Block_Size”指定的屏幕区域的数量，或者指示相关联的服务内分量元素的数量。
接下来，在上述“Service_Linked_flag”是“1”的情况下，安排分量链接信息(Component_Linkage_Info)，其量对应于与视差信息组内的视差矢量(视差信息)相关联的服务数量(number of service)。在该分量链接信息中，如图55中所示，对于分量元素的数量，安排关于分量元素与视差矢量之间对应的信息。
“Component_Element”是指示分量元素ID的8位数据。分量元素ID例如是隐藏字幕的窗口ID(Window ID)、DVB字幕的区域ID(region_idga)等。“Element_Linkage_Length”是指示信息的长度(大小)的8位数据。“number_of_mutiple_link”指示与分量元素ID相关联的视差矢量的数量。“Partition_Position_id”是指定视差矢量的13位信息。该“Partition_Position_id”指示多个屏幕区域(所述屏幕区域由上述“Partition”或“Block_size”指定)的屏幕区域数量是多少。
将参照图56描述DDS。该DDS包括关于每一个视差信息组中包括的视差矢量的信息。“Disparity_Info_Length”是指示该信息的长度(大小)的16位数据。“Disparity_Info_Type”是指示该信息的类型的2位数据，并且这里设置到“0x2”，其指示该信息是“DID”。“Disparity_Sequence_id”是用于是通用视差信息组还是特定服务使用的视差信息组，并且用于在特定服务使用的情况下标识服务的8位数据。
“Number_of_Component_Elements”是指示由上述“Partition”或“Block_Size”指定的屏幕区域的数量或相关联的服务内分量元素的数量的13位数据。安排要用于视频数据的某一时间段内(如，15帧的时间段内)的每一帧的视差信息组中包括的P个视差矢量的值。“Disparity_sets_in_period”是指示用于提供视频数据的某一时间段中包括的偏移的视差矢量(视差信息)组的数量的8位数据。
“Offset_Frame_In_disparity_set”是指示使用每个视差信息组的定时的时间信息。该时间信息指示从由时间戳(Time Stamp)指示的第一个视差信息组的使用时间起的时间(帧数)。“Disparity_Vector_Horozontal(i)”指示作为第i个视差矢量的值的水平视差矢量的值。
注意，在以上描述中，已经示出了这样的示例：其中，安排用于在视差序列ID(Disparity_Sequence_id)和服务之间进行关联的信息，作为用作用户数据的视差信息(Disparity_Information)中的DSL。然而，可以想到的是，使用视差链接描述符(Disparity_Linkage_Descriptor)来执行视差序列ID和服务之间的关联。该视差链接描述符DLD例如安排在多路复用的流(位流数据BSD)的PMT表内。
在图22中所示的传输数据生成单元110D，与包括用于显示立体图像的左眼图像数据和右眼图像数据的立体图像数据一起，传输每一个均添加了指示应当使用视差信息的重叠信息的类型的标识信息的预定组视差信息组。因此，在接收侧，使用适于该重叠信息的类型的视差信息组，将适当的视差给予要重叠在左眼图像和右眼图像上的相同的重叠信息(如隐藏字幕信息、字幕信息、图形信息、或文本信息等)。
注意，在图22中所示的传输数据生成单元110D的以上描述中，已经进行了描述，其中视差信息组创建单元131对底层的每个像素的视差矢量执行小型化处理以确定每层中的每个区域的视差矢量。然而，在数据记录介质130a上可以记录每层中的每个区域的视差矢量，视差信息组创建单元131可以利用它。
[服务分量和视差信息之间的关联]
例如，使用如上述图43所示的视差链接描述符(Disparity_Linkage_Descriptor)执行服务分量(如字幕或隐藏字幕)和视差信息之间的关联。例如，在图43所示的视差链接描述符中，执行要嵌入视频基本流的报头部分的用户数据区域的视差信息组和服务分量(重叠信息)之间的关联。然后，对于该关联，使用分配到每条视差信息的视差序列ID“Disparity_Sequence_id”。
图62图示用于执行服务分量和视差信息之间的关联的视差链接描述符(Disparity_Linkage_Descriptor)的另一示例配置。视差链接描述符安排在插入传送流的PSI(服务特定信息)信息或SI(服务信息)信息中的预定位置。PSI信息指示传送流中包括的每个基本流所属的节目。此外，SI信息以节目为单位发送属性信息。
例如，视差链接描述符可以安排在PMT(节目映射表，Program MapTable)中的节目描述符(Program descriptor)的位置。在此情况下，作为通用使用，由PMT覆盖的范围中的任意服务分量和视差信息(视差数据)可以相互关联。此外，例如，视差链接描述符可以安排在PMT中的基本流环路(Elementary Stream loop)的描述符(descriptor)部分中。在此情况下，基本流(elementary stream)的各个分量(例如，字幕流和视差信息(视差数据))可以相互关联。
此外，在视差信息(视差数据)处于通用的操作的情况下，描述符中的“Disparity_service-number”设为“0”，其指示不存在与特定服务的关联。例如，在此情况下，视差链接描述符可以安排在用作节目唯一信息的EIT(事件信息表，Event Information Table)中。在此情况下，当以节目为单位发布视差信息时，可能指示可以以事件(Events)为单位控制的视差信息(disparity)的目标时间范围。
图63图示在图62中图示的配置中的每条信息的内容。“descriptor_tag”是代表描述符的类型的8位数据。这里，例如，设置“0xD0”，其指示视差链接描述符。“descriptor_length”是代表信息的长度(大小)的8位数据。
“disparity_self_contained_flag”是1位标记信息。该标记信息指示包括对应于安排视差链接描述符的位置的服务分量(重叠信息)的数据的基本流是否包含视差信息(视差数据)。当“disparity_self_contained_flag”是1时，指示包括视差信息(视差数据)。在此情况下，忽视下述“ElementaryPID_of_Service_Component”和“Disparity_service_number”的信息。相反，当“disparity_self_contained_flag”是0时，指示不包括视差信息(视差)。
“ElementaryPID_of_Service_Component”是13位数据。该数据代表包括视差信息的基本流的PID。“Disparity_service_number”是8位数据。该数据是在存在视差信息(视差数据)的情况指定使用哪个频道以便对应于多个频道的每个(例如，英文和日文)的信息。注意到，如上所述，在视差信息(视差)是通用的操作中的情况下，“Disparity_service_number”设为“0”，其指示不存在与特定服务的关联。
图64图示视差信息(视差数据)的应用范围的概念。在图64中，矩形平行六面体的侧表面代表显示屏幕(即，页)的概念。然后，在时间轴方向安排的每个表面对应于一个视频帧。然后，在图64中，每页存在三个字幕区域(Region)或块。公共视差信息可以应用于每个区域或块，或者可以应用相互不同的各条视差信息。
此外，例如，在字幕的情况下，每个区域显示预定显示时段。在此情况下，相同的视差信息可以应用为用于显示时段的视差信息，或者还可以应用在各个帧中顺序更新的视差信息。
此外，一页仅具有一条视差信息，并且该视差信息还可以对于特定时段在时间方向上应用而不取决于如字幕的服务分量。在此情况下，视差信息是通用视差信息。在此情况下，例如，以如服务(Services)或流序列(Streamsequences)为单元应用固定值的视差信息。以此方式，提供多种视差信息的应用范围。
[服务分量(重叠信息)和视差信息之间的关联的示例]
这里，将描述服务分量(重叠信息)和视差信息之间的关联的示例。图65图示在字幕流中嵌入字幕的视差信息(视差数据)的情况。在此情况下，在PMT中的字幕基本流环路(Subtitle ES loop)的描述符(descriptor)部分中安排视差链接描述符。
在该环路中存在字幕基本流PID(Subtitle Elementary PID)，并且该PID标识包含要应用视差信息的字幕信息的字幕基本流(Subtitle ES)。在该示例中，视差信息嵌入该流中。因此，视差链接描述符的“disparity_self_contained_flag”设为“1”，其指示该基本流包含视差信息(视差数据)。因此，字幕和视差信息相互链接。
图66图示在视频流中嵌入字幕的视差信息(视差数据)的情况。在此情况下，在PMT(节目映射表，Program Map Table)中的字幕基本流环路(SubtitleES loop)的描述符(descriptor)部分中安排视差链接描述符。在该环路中存在字幕基本流PID(Subtitle Elementary PID)，并且该PID标识包含要应用视差信息的字幕信息的字幕基本流(Subtitle ES)。
在该示例中，视差信息嵌入该视频流。因此，视差链接描述符的“disparity_self_contained_flag”设为“0”。因此，指示字幕流不包含视差信息(视差数据)。然后，视差链接描述符的“ElementaryPID_of_Service_Component”设计为代表包含视差信息的视频基本流(Video ES)的PID。因此，视频流中的字幕和视差信息相互链接。
图67图示在视差信息流中嵌入字幕的视差信息(视差数据)的情况。在此情况下，在PMT中的字幕基本流环路(Subtitle ES loop)的描述符(descriptor)部分中安排视差链接描述符。在该环路中存在字幕基本流PID(Subtitle Elementary PID)，并且该PID标识包含要应用视差信息的字幕信息的字幕基本流(Subtitle ES)。
在该示例中，视差信息嵌入该视频流中。因此，视差链接描述符的“disparity_self_contained_flag”设为“0”。因此，指示字幕流不包含视差信息(视差数据)。然后，视差链接描述符的“ElementaryPID_of_Service_Component”设计为代表包含视差信息的视差信息基本流(Disparity ES)的PID。因此，视差信息流中的字幕和视差信息相互链接。
注意到，图66图示视差信息嵌入视频流中的情况，并且此外，图67图示视差信息嵌入视差信息流中的情况。然而，除此之外，还预期视差信息嵌入如图形流中的任何其它流的情况。类似的也在该情况下应用。也就是说，视差链接描述符的“disparity_self_contained_flag”设为“0”。因此，指示字幕流不包含视差信息(视差数据)。然后，视差链接描述符的“ElementaryPID_of_Service_Component”设计为代表例如包含视差信息的图形信息基本流的PID。
图68图示通用(一般使用，Generic use)的视差信息(视差数据)嵌入视频流或视差信息流中的情况。在此情况下，视差链接描述符例如安排在PMT中的节目描述符(Program Descriptor)中。在此情况下，不指定应用视差信息的服务分量，并且建议视差信息是通用(Generic use)。
在该示例中，视差信息嵌入视频流或视差信息流中。因此，视差链接描述符的“disparity_self_contained_flag”设为“0”。此外，视差链接描述符的“ElementaryPID_of_Service_Component”设计为代表包含视差信息的视频流(Video ES)或视差信息流(Disparity ES)的PID。
图69图示通用(一般使用，Generic use)的视差信息(视差数据)嵌入视频流或视差信息流中的情况。在此情况下，视差信息例如以节目为单位提供。在此情况下，视频链接描述符例如安排在EIT(事件信息表，EventInformation Table)中。在此情况下，不指定应用视差信息的服务分量，并且建议视差信息是通用(Generic use)。
在该示例中，视差信息嵌入视频流或视差信息流中。因此，视差链接描述符的“disparity_self_contained_flag”设为“0”。此外，视差链接描述符的“ElementaryPID_of_Service_Component”设计为代表包含视差信息的视频流(Video ES)或视差信息流(Disparity ES)的PID。
图70图示隐藏字幕的视差信息(视差数据)嵌入视频流的情况。在此情况下，视差链接描述符安排在PMT(Program Map Table)中的节目描述符(Program Descriptor)中。在该环路中存在视频基本流PID(Video ElementaryPID)，并且该PID标识包含要应用视差信息的隐藏字幕信息的视频基本流(Video ES)。
在该示例中，视差信息嵌入视频流中。因此，视差链接描述符的“disparity_self_contained_flag”设为“1”。因此，指示视频流包含视差信息(视差数据)。因此，隐藏字幕和视差信息相互链接。
[每个流中嵌入视差信息]
如上所述，视差信息嵌入字幕流、视频流或视差信息流中。这里，将描述视差信息嵌入每个流中。首先，将给出视差信息(视差数据)嵌入视频流中的情况。
图71图示DVB_Subtitling的配置(语法，Syntax)。该配置在ETSI(欧洲电信标准协会)中标准化(ETSI EN 300743)。图71中的配置是从PES层来看的。PES_data_field包含指示字幕数据的8位信息，其由“data_identifier”表示。此外，PES_data_field包含用于标识字幕流的8位信息，其由“Subtitle_stream_id”表示。
此外，PES_data_field包含“Subtitling_segment”。然后，“Subtitling_segment”包括各条信息：“Synd_byte”、“segment_type”、“page_id”、“segment_length”和“segment_data_field”。“page_id”是用于标识每页的标识信息。
“segment_type”是8位信息，并且“Subtitling_segment”指示片段的类型(kind)。图72图示“segment_type”的每个值和片段类型之间的对应关系。例如，“0x10”代表包含各种字幕元素的“页成分片段”。此外，“0x40”按照惯例被当作保留片段，并且这里新定义为指示包含视差信息的“视差数据组片段”。传统的3D兼容字幕解码器配置为略过该片段的读取，因为“0x40”用作保留片段。另一方面，3D兼容解码器识别“0x40”是包含视差信息的“视差数据组片段”，并且因此能够从该片段读取视差信息。
当设置“segment_type＝0x40”时，“segment_data_field”变为包括由“page_id”指示的页中的视差信息(视差数据)。图73图示在此情况下的“disparity_data_set_segment”的示例配置。
图74图示“disparity_data”的配置(语法，Syntax)的示例。图75和76图示图74中图示的配置中的每条信息的内容。“select_view_shift”是形成偏移目标指定信息的2位信息。该“select_view_shift”基于要重叠在左眼图像上的服务分量和要重叠在右眼图像上的服务分量中的视差信息，指定要偏移的服务分量。例如，假设“select_view_shift＝00”代表保留的。服务分量是字幕信息、隐藏字幕信息等。
此外，例如，当设置“select_view_shift＝‘01”时，指示仅要重叠在右眼图像上的服务分量在水平方向偏移对应于视差信息(视差)的量。这里，当视差信息(视差)是正值时，要重叠在右眼图像上的服务分量在右边方向偏移。相反，当视差信息(视差)是负值时，要重叠在右眼图像上的服务分量在左边方向偏移。
此外，例如，当设置“select_view_shift＝‘10’”时，指示仅要重叠在左眼图像上的服务分量在水平方向偏移对应于视差信息(视差)的量。这里，当视差信息(视差)是正值时，要重叠在左眼图像上的服务分量在右边方向偏移。相反，当视差信息(视差)是负值时，要重叠在左眼图像上的服务分量在左边方向偏移。
此外，例如，当设置“select_view_shift＝‘11’”时，指示要重叠在左眼图像上的服务分量和要重叠在右眼图像上的服务分量两者在水平方向的相反方向上偏移。这里，在视差信息(视差)是偶数值的情况下，要重叠在左眼图像上的服务分量在是正值时在右边方向偏移“视差/2”，并且在是负值时在左边方向偏移“视差/2”。此外，在视差信息(视差)是偶数值的情况下，要重叠在右眼图像上的服务分量在是正值时在左边方向偏移“视差/2”，并且在是负值时在右边方向偏移“视差/2”。
此外，在视差信息(视差)是奇数的情况下，要重叠在左眼图像上的服务分量在是正值时在右边方向偏移“(视差+1)/2”，并且在是负值时在左边方向偏移“(视差+1)/2”。此外，在视差信息(视差)是奇数值的情况下，要重叠在右眼图像上的服务分量在是正值时在左边方向偏移“(视差-1)/2”，并且在是负值时在右边方向偏移“(视差-1)/2”。
“direct_mode”是指示视差信息是通用(一般使用，Generic use)视差信息还是用于如字幕或隐藏字幕的特定服务使用的视差信息的1位使用信息。当设置“direct_mode＝1”时，指示视差信息是通用视差信息。在此情况下，视差信息不与特定服务分量相关联。当设置“direct_mode＝0”时，指示视差信息是用于字幕的视差信息。在此情况下，存在与视差信息相关联的服务分量(如字幕或隐藏字幕)。
“shared disparity”是指示所有区域(regions)是否共享一条视差信息的共享信息。当设置“shared disparity＝1”时，指示所有区域(regions)或块(Blocks)共享一条视差信息。当设置“shared disparity＝0”时，指示存在对应于每个区域(region)或每个块(Block)的视差信息。
“number_of_regions_minus1”是指示0到255的8位数据，其代表区域(regions)或块(Blocks)的数目。注意到，从0到255的范围实际意味着从1到256的范围。当设置“direct_mode＝0”时，“number_of_regions_minus1”代表显示屏幕(即，页)上的区域(regions)的数目。
此外，当设置“direct_mode＝1”时，“number_of_regions_minus1”代表通过划分屏幕获得的子区域的数目。例如，当“number_of_regions_minus1”是“1”时，不划分屏幕，并且指示一块在整个屏幕上。此外，例如，当“number_of_regions_minus1”是“16”时，指示存在16块，其中屏幕垂直和水平等分为4个部分。此外，例如，当“number_of_regions_minus1”是“256”时，指示存在256块，其中屏幕垂直和水平等分为16个部分。
“region_block_id”是用于标识显示屏幕上的每个区域或通过划分屏幕获得的每个子区域(块)的8位标识信息。
“temporal_extension_flag”是相对于与由“region_block_id”指示的区域块的视差信息的1位标记信息。该标记信息指示视差信息是在服务分量(如字幕或隐藏字幕)的显示帧时段期间在各个帧中共同使用的视差信息，或者在各个帧中顺序更新的视差信息。当设置“temporal_extension_flag＝1”时，指示在显示帧时段期间的各个帧中更新视差信息的值。此外，当设置“temporal_extension_flag＝0”时，使用相同的视差信息而不更新显示帧时段期间在各个帧中更新视差信息的值。
“disparity”是指示关于显示帧时段期间的第一帧的视差信息的值的8位信息，并且取范围从-128到+127的值。当设置上述“temporal_extension_flag＝0”时，对应于由“region_block_id”指示的区域(region)或块(Block)的视差信息仅是8位信息(即，“disparity”)。相反，设置上述“temporal_extension_flag＝1”时，作为对应于由“region_block_id”指示的区域(region)或块(Block)的视差信息，除了由“disparity”指示的关于第一帧的8位视差信息外，还存在关于第二帧和随后帧的视差信息。
给出关于第二帧和随后帧的视差信息作为相对于关于之前帧的视差信息的偏移信息。“number_of_frame_set”是在显示帧时段期间第二帧和随后帧的数目以11帧为单位分段的情况下需要多少单位。例如，在显示帧时段是30帧的情况下，第二帧和随后帧的数目是29，并且由“number_of_frame_set”指示的单位的数目是“3”。
“offset_sequence”是用作相对于关于之前帧的视差信息的偏移信息的2位信息。“offset_sequence＝00”指示偏移值是“0”。“offset_sequence＝01”指示偏移值是“+1”。“offset_sequence＝10”指示偏移值是“-1”。此外，“offset_sequence＝11”指示没有偏移信息分配到帧。在上述显示帧时段是30帧的情况下，在以11帧为单位分段30帧的情况下获得的第三单位中，“offset_sequence_7”和此后设为“offset_sequence＝11”。
“offset_precision”是指示由上述“offset_sequence”指示的偏移值中“1”的精度，换句话说，使用“1”的像素的数目。当设置“offset_precision＝0”时，指示偏移值“1”代表1个像素。此外，当设置“offset_precision＝1”时，偏移值“1”代表2个像素。
图77图示对于“segment_type＝0x10”的“page_composition_segment”的示例配置。在图77所示的示例配置中，按照惯例，“page_state”之后的2位设为保留位。这里，1位标记信息“disparity_data_association_flag”是紧接在“page_state”之后新定义的。该标记信息指示是否存在与“page_composition_segment”的页相关联的视差信息(视差数据)。当设置“disparity_data_association_flag＝1”时，指示存在与该页相关联的视差信息(视差数据)。相反，当设置“disparity_data_association_flag＝0”时，指示不存在与该页相关联的视差信息(视差数据)。
传统的3D兼容字幕解码器跳过该“disparity_data_association flag”的读取。另一方面，3D兼容解码器可以通过参照“disparity_data_association_flag”检测对于该页是否存在视差信息(视差数据)。
接下来，将描述在视频流中嵌入视差信息(视差数据)的情况。在此情况下，视差信息嵌入视频流的报头部分的用户数据区域中。图78图示包括视差信息(视差数据)的用户数据的示例配置。该示例是编码方法是MPEG4-AVC的情况的示例。在该配置中，包括如“itu_t_t35_country_code”、“itu_t_t35_provider_code”、“user_identifier”、“disparity_data_set”和“end_of_user_data_field_maker”的信息。
“user_identifier”代表用户数据的类型。当用户数据是包含视差信息的用户数据时，指示“user_identifier”包含视差信息。图79图示“disparity_data_set”的配置。在该配置中，包括如“sync_byte”、“disparity_service_number”、“page_id”和“disparity_data”的信息。
“disparity_service_number”是8位数据。该数据是指定在存在视差信息(视差数据)的情况下使用哪个频道以便对应于多个频道的每个(如例如，英文和日文)的信息。“page_id”是用于标识每页的标识信息。对于由“disparity_service_number”指定的每组频道和由“page_id”指定的页存在信息“disparity_data”。“disparity_data”的配置类似于上述嵌入字幕流的情况(见图74)。
接下来，将描述视差信息(视差数据)嵌入视差信息流的情况。图80图示包括视差信息(视差数据)的PES_data_fieldno的示例配置。在该配置中，包括如“user_identifier”、“disparity_stream_id”、“disparity_data_set”和“end_of_PES_data_field_maker”的信息。图81图示“disparity_data_set”的配置。在该配置中，包括如“sync_byte”、“disparity_service_number”、“page_id”和“disparity_data”的信息。“disparity_data”的配置类似于上述嵌入字幕流的情况(见图74)。
将给出使用上述视差链接描述符(见图62)的视差信息(视差数据)和字幕之间的关联的进一步描述。图82图示视差信息嵌入字幕流的情况。这里，例如，将考虑包括在字幕流ES1中的英文的字幕和视差信息相互关联的情况。
在此情况下，视差链接描述符安排在对应于PMT中的字幕流ES1的字幕基本流环路(Subtitle ES loop)的描述符(descriptor)部分中。字幕流ES1的PID存在于该环路中，并且可能通过使用PID标识字幕流ES1。
此外，在此情况下，视差信息嵌入该字幕流ES1中。因此，视差链接描述符的“disparity_self_contained_flag”设为“1”。因此，指示字幕流ES1包含视差信息(视差数据)。因此，字幕和视差信息相互链接。
在此情况下，由“Segment_Type＝0x10”指示的“页成分片段”和由“Segment_Type＝0x40”指示的“视差数据组片段”以可标识的方式嵌入字幕流ES1中。在此情况下，“页成分片段”的“disparity_data_association_flag”设为“1”。因此，指示存在与“页成分片段”的页相关联的视差信息(视差数据)。
在前面的描述中，已经考虑了其中例如字幕流ES1中包括的英文的字幕与视差信息相互关联的情况。例如，也可以以类似方式考虑例如字幕流ES2中包括的日文的字幕与视差信息相互关联的情况。在此情况下，视差链接描述符安排在对应于PMT中的字幕流ES2的字幕基本流环路(Subtitle ES loop)的描述符(descriptor)部分中。
图83图示视差信息嵌入视频流中的情况。这里，例如，将考虑包括在字幕流ES1中的英文字幕与视差信息相关联的情况。
在此情况下，视差链接描述符安排在对应于PMT中的字幕流ES1的字幕基本流环路(Subtitle ES loop)的描述符(descriptor)部分中。字幕流ES1的PID存在于该环路中，并且可能用该PID标识字幕流ES1。
此外，在此情况下，视差信息嵌入视频流中。因此，视差链接描述符的“disparity_data_association_flag”设为“0”。因此，指示字幕流ES1不包含视差信息(视差数据)。在此情况下，视差链接描述符的“ElementaryPID_of_Service_Component”设计为代表包含视差信息的视频基本流(Video ES)的PID。此外，视差链接描述符的“disparity_service_number”设计为代表包含例如对应于英文字幕的视差信息的频道的“disparity_service_number1”。
在此情况下，字幕流ES1中包括的“页成分片段，Page Compositionsegment”的“disparity_data_association_flag”设为“1”。因此，指示存在与“页成分片段”中的页相关联的视差信息(视差数据)。
在前面的描述中，例如，已经考虑了包括在字幕流ES1中的英文字幕与视差信息相关联的情况。例如，也可以以类似方式考虑包括在字幕流ES2中的例如日文字幕与视差信息相关联的情况。在此情况下，视差链接描述符安排在对应于PMT中的字幕流ES2的字幕基本流环路(Subtitle ES loop)的描述符(descriptor)部分中。此外，视差链接描述符的“disparity_service_number”设计为代表包含例如对应于日文字幕的视差信息的频道的“disparity_service_number2”。
图84图示视差信息嵌入视差信息流的情况。这里，例如，将考虑字幕流ES1中包括的英文的字幕与视差信息相关联的情况。
在此情况下，视差链接描述符安排在对应于PMT中的字幕流ES1的字幕基本流环路(Subtitle ES loop)的描述符(descriptor)部分中。字幕流ES1的PID存在于该环路中，并且可能用该PID标识字幕流ES1。
此外，在此情况下，视差信息嵌入视差信息流中。因此，视差链接描述符的“disparity_data_association_flag”设为“0”。因此，指示字幕流ES1不包含视差信息(视差数据)。在此情况下，视差链接描述符的“ElementaryPID_of_Service_Component”设计为代表包含视差信息的视差信息基本流(Disparity ES)的PID。此外，视差链接描述符的“disparity_service_number”设计为代表包含例如对应于英文字幕的视差信息的频道的“disparity_service_number1”。
在此情况下，字幕流ES1中包括的“页成分片段”的“disparity_data_association_flag”设为“1”。因此，指示存在与“页成分片段”中的页相关联的视差信息(视差数据)。
在前面的描述中，例如，已经考虑了包括在字幕流ES1中的英文字幕与视差信息相关联的情况。例如，也可以以类似方式考虑包括在字幕流ES2中的例如日文字幕与视差信息相关联的情况。在此情况下，视差链接描述符安排在对应于PMT中的字幕流ES2的字幕基本流环路(Subtitle ES loop)的描述符(descriptor)部分中。此外，视差链接描述符的“disparity_service_number”设计为代表包含例如对应于日文字幕的视差信息的频道的“disparity_service_number2”。
如上所述，在视差信息嵌入字幕流中的情况下，使用新定义的“视差数据组片段”(见图72)。因此，视差信息可以嵌入字幕流，以便可从如“页成分片段”的任何其它片段识别。在接收侧，可以基于用作标识信息的“segment_type”从字幕流有利地获取视差信息。
注意到，嵌入该字幕流的字幕信息和视差信息之间的关系也应用于例如以类似方式嵌入视频流的报头部分的用户数据区域的隐藏字幕信息(CCdata)与视差信息之间的关系。如下所述，它们嵌入用户数据区域中，使得例如可以通过“user_data_type_code”标识它们。
此外，如上所述，在字幕流中包括的包含字幕信息的片段“页成分片段”中新定义由“disparity_data_association_flag”指示的1位标记信息(见图77)。该标记信息指示是否存在与“page_composition_segment”的页相关联的视差信息(视差数据)。因此，在接收侧，可以容易地掌握是否存在与该页相关联的视差信息(视差数据)。
此外，如上所述，视差信息(视差数据)嵌入字幕流、视频流、视差信息流等。该视差信息(视差数据)例如设计为由所有区域(regions)或块(Blocks)共享或者对应于每个区域(region)或每个块(Block)。该视差信息已经添加指示它们之一的信息(共享信息)“共享的视差(shared disparity)”(见图74)。因此，在接收侧，使用共享信息，可以容易地确定发送的视差信息是否由所有区域(regions)或块(Blocks)共享，并且可以有效地执行视差信息获取处理等。
此外，如上所述，视差信息(视差数据)嵌入字幕流、视频流、视差信息流等。该视差信息(视差数据)设计为用于例如特定服务使用或通用。该视差信息已经添加指示任一条视差信息的信息(使用信息)“direct_mode”(见图74)。因此，在接收侧，使用该使用信息，可以确定发送的视差信息是特定服务使用视差信息还是通用视差信息，并且可能适当地使用发送的视差信息。
此外，如上所述，视差信息(视差数据)嵌入字幕流、视频流、视差信息流等。该视差信息(视差数据)设计在服务分量的显示帧时段期间在各个帧中公用或者在各个帧中顺序更新。该视差信息已经添加指示任一条视差信息的标记信息“temporal_extension_flag”(见图74)。
在此情况下，可能例如根据图像的内容，选择性传输在各个帧中公用的视差信息或者在各个帧中顺序更新的视差信息。也就是说，在图像的移动大的情况下，传输在各个帧中顺序更新的视差信息，使得在接收侧，可以根据图像的内容的改变动态改变要给到重叠信息的视差。此外，在图像的移动小的情况下，传输在各个帧中公用的视差信息，因此允许抑制视差信息的数据量。
此外，如上所述，当视差信息(视差数据)在各个帧中顺序更新时，视差信息配置为由关于显示帧时段期间的第一帧的视差信息和相对于关于之前帧的视差信息的关于第二和随后帧的偏移信息形成(见图74)。因此，可能抑制视差信息的数据量。
此外，如上所述，在传送流中插入视差链接描述符。该描述符安排在例如插入传送流中的PSI信息的预定位置。该描述符包含用于标识基本流视差信息的标识信息“ElementaryPID_of_Service_Component”。因此，在接收侧，可以用该标识信息掌握包含视差信息的基本流，并且可以容易地获取视差信息。
此外，如上所述，在插入传送流的PSI信息或SI信息中的预定位置安排视差链接描述符。然后，该描述符安排在例如包含对其应用视差信息的服务分量的数据(重叠信息)的基本流环路中。因此，在接收侧，可以从其中安排描述符的基本流环路容易地掌握包含对其应用视差信息的服务分量的数据的基本流，并且可以容易地获取与该视差信息相关联的服务分量的数据。
此外，如上所述，在插入传送流的PSI信息中的预定位置安排的视差链接描述符存储由“disparity_self_contained_flag”指示的1为标记信息(见图62)。该标记信息指示包含对应于安排描述符的位置的服务分量的数据(重叠信息)的基本流是否包括视差信息。因此，在接收侧，可以用该标记信息确定包含服务分量的数据的基本流是否包括视差信息。然后，当包括视差信息时，可以忽略利用包括在上述描述符中的标识信息“ElementaryPID_of_Service_Component”的确定。
此外，如上所述，在插入传送流的PSI信息中的预定位置安排的视差链接描述符包含由“disparity_service_number”指示的信息(见图62)。在视差信息(视差)是通用操作中时，该“Disparity_service_number”设为“0”，其指示不存在与特定服务的关联。换句话说，“Disparity_service_number”指示视差信息是用于特定服务使用还是通用。因此，在接收侧，可以用该信息确定发送的视差信息是特定服务使用视差信息还是通用视差信息，并且可能适当地使用发送的视差信息。
“传输数据生成单元的另一示例配置”
此外，图22所示的传输数据生成单元110D配置为发送在插入图像数据流的状态下，由视差信息组创建单元131创建的预定组的视差信息组到接收侧。然而，还可以使用这样的配置，其中由视差信息组创建单元131创建的预定组的视差信息组在插入不同于图像数据流的不同数据流的状态下发送到接收侧。
此外，还可以使用这样的配置，其中生成包括由视差信息组创建单元131创建的预定组的视差信息组的视差矢量基本流(视差矢量流)，并且其中视差矢量流与另一流多路复用，并且传输到接收侧。图85图示在此情况下的传输数据生成单元110E的示例配置。在图85中，对应于图22中那些部分的部分分配相同号码，并且省略其详细描述。
类似于图2所示的传输数据生成单元110，传输数据生成单元110E配置为包括视差矢量编码器115。由视差信息组创建单元131创建的预定组的视差信息组发送到视差矢量编码器115。然后，在视差矢量编码器115中，生成包括预定组的视差信息组的视差矢量基本流(视差矢量流)。然后，视差矢量流提供到多路复用器122。在多路复用器122中，视差矢量流也与其它数据流一起多路复用，并且生成位流数据BSD。
在传输数据生成单元110E中，其它配置和操作类似于图22所示的传输数据生成单元110D的那些，尽管省略了详细描述。此外在传输数据生成单元110E中，可以获得类似于由图22所示的传输数据生成单元110D的那些优点的优点。
“传输数据生成单元的另一示例配置”
在图22所示的传输数据生成单元110D中，可能传输通用视差信息组和特定服务使用的视差信息组的任一或者两者作为视差信息组。然而，还可以构思如隐藏字幕信息或字幕信息的受限使用的视差信息设计为要被传输，并且使用能够容易地与现有广播标准(如ATSC和CEA)协调的简单数据结构。
图86图示在此情况下传输数据生成单元110F的示例配置。传输数据生成单元110F配置为创建其使用限制于隐藏字幕信息的示出信息，并且传输该视差信息到接收侧。在图86中，对应于图22中那些部分的部分分配相同号码，并且省略其详细描述。
传输数据生成单元110F包括数据提取单元(归档单元)130、视差信息创建单元131、CC(隐藏字幕)编码器133、视频编码器113、音频编码器117和多路复用器122。
数据记录介质130a以例如可移除的方式附接到数据提取单元130。音频数据和视差矢量(视差信息)与包括左眼图像数据和右眼图像数据的立体图像数据一起记录在数据记录介质130a上，以便相互对应。数据提取单元130从数据记录介质130a提取立体图像数据、音频数据、视差矢量等，并且输出它们。数据记录介质130a是盘形记录介质、半导体存储器等。
这里，记录在数据记录介质130a上的立体图像数据设计为对应于由图2所示的传输数据生成单元110获得的立体图像数据。此外，记录在数据记录介质130a上的视差矢量例如是形成图像的基于像素的视差矢量。
CC编码器133是符合CEA-708的编码器，并且输出CC数据(隐藏字幕信息的数据)，用于显示具有隐藏字幕的字幕。在此情况下，CC编码器133顺序输出要以时间顺序显示的各条隐藏字幕信息的CC数据。
视差信息创建单元132对从数据提取单元130输出的视差矢量(即，基于像素的视差矢量)执行小型化处理，并且输出与从CC编码器133输出的CC数据中包括的每个窗口ID(Window ID)相关的视差信息(视差矢量)。视差信息已经相加了偏移目标指定信息，其基于要重叠在左眼图像上的隐藏字幕信息和要重叠在右眼图像上的隐藏字幕信息中的视差信息，指定要偏移的隐藏字幕信息。
这里，视差信息创建单元132根据从CC编码器133输出的每条隐藏字幕信息的CC数据，输出在其期间显示隐藏字幕信息的一块预定数目的帧期间使用的视差信息。视差信息例如是在其期间显示隐藏字幕信息的一块预定数目的帧期间在各个帧中共同使用的视差信息，或者是在各个帧中顺序更新的视差信息。
然后，视差信息已经添加标记信息，其指示视差信息是在各个中共同使用的还是在各个帧中顺序更新的。例如，视差信息组创建单元132创建在图像的移动大的情况下在各个帧中顺序使用的视差信息，并且创建在图像的移动小的情况下在各个帧中共同使用的视差信息。
视差信息组创建单元132形成在各个帧中顺序更新的视差信息，其例如由关于第一帧的视差信息和关于第二和随后帧相对于之前帧的偏移信息。以此方式，由相对于关于之前帧的视差信息的偏移信息形成关于第二和随后帧的视差信息，因此允许抑制视差信息的数据量，并且还允许各个帧中视差信息的更新的平滑感知。
视频编码器113使用MPEG4-AVC、MPEG2、VC-1等对从数据提取单元130提供的立体图像数据执行编码，以获得编码的视频数据。此外，视频编码器113使用在其后级提供的流格式化器113a，生成包括在有效载荷部分中的编码视频数据的视频基本流。
从上述CC编码器133输出的CC数据和由上述视差信息创建单元131创建的视差信息提供到视频编码器113中的流格式化器113a。流格式化器113a将CC数据和视差信息作为用户数据嵌入视频基本流。换句话说，立体图像数据包括在视频基本流的有效载荷部分，并且CC数据以及此外的视差信息包括在报头部分的用户数据区域中。
如上图41所示，在视频基本流中，在开头安排包括每个序列参数的序列报头部分。在该序列报头部分之后，安排包括每个画面参数和用户数据的画面报头。在该画面报头部分之后，安排包括画面数据的有效载荷部分。随后，重复地安排画面报头部分和有效载荷部分。
CC数据和上述视差信息嵌入例如画面报头部分的用户数据区域中。在此情况下，作为用户数据嵌入的CC数据和视差信息设计为可通过用户数据类型码识别。换句话说，添加到视差信息的用户数据类型码设计为与添加到CC数据的用户数据类型码不同。
音频编码器117对从数据提取单元130提供的音频数据执行使用MPEG-2 Audio AAC等的编码，并且生成音频基本流。多路复用器122多路复用从编码器113和117输出的分组化基本流。然后，多路复用器122输出用作传输数据的位流数据(传送流)BSD。
将简要描述图86所述的传输数据生成单元110F的操作。从数据提取单元130输出的立体图像数据提供到视频编码器113。在视频编码器113中，对立体图像数据执行使用MPEG4-AVC、MPEG2、VC-1等的编码，并且生成包括编码的视频数据的视频基本流。视频基本流提供到多路复用器122。
此外，在CC编码器133中，输出用于显示具有隐藏字幕的字幕的CC数据(隐藏字幕信息的数据)。在此情况下，在CC编码器133中，顺序输出要以时间顺序显示的各条隐藏字幕信息的CC数据。
此外，从数据提取单元130输出的基于像素的视差矢量提供到视差矢量创建单元132。在视差矢量创建单元132中，对视差矢量执行小型化处理等，并且输出与从上述CC编码器133输出的CC数据中包括的每个窗口ID(Window ID)相关的视差信息(视差矢量)。
从CC编码器133输出的CC数据和由视差信息创建单元132创建的视差信息提供到视频编码器113的流格式化器113a。在流格式化器113a中，CC数据和视差信息以这样的方式嵌入视频基本流的报头部分的用户数据区域中，使得CC数据和视差信息可以通过用户数据标识信息(用户数据类型码)识别。
此外，从数据提取单元130输出的音频数据提供到音频编码器117。在音频编码器117中，对音频数据执行使用MPEG-2 Audio AAC等的编码，并且生成包括编码的音频数据的音频基本流。音频基本流提供到多路复用器122。在多路复用器122中，多路复用从各个编码器提供的基本流的分组，并且获得用作传输数据的位流数据BSD。
[包括视差信息(caption_disparity_data)的用户数据的详细配置]
接下来，将描述包括视差信息(caption_disparity_data)的用户数据的详细配置。图87图示用户数据的示例。图88图示图87所示的配置中的每条信息的内容。该示例是在编码方法是MPEG2的情况下的示例。在32位开始码(user_data_start_code)之后，安排用于标识广播标准“ATSC”的32位码“0x47413934”。
此外，在它之后，安排8位用户数据类型码(user_data_type_code)。当设置“user_data_type_code＝0x07”时，视差信息(caption_disparity_data)安排为之后的数据主体。注意到，当设置“user_data_type_code＝0x03”时，CC数据(cc_data)安排为数据主体，并且当设置“user_data_type_code＝0x06”时，条数据(bar_data)安排为数据主体。
接下来，将描述视差信息(caption_disparity_data)的详细配置。图89图示视差信息的示例。图90和91图示图92所示的配置中每条信息的内容。“service_number”是指定隐藏字幕的频道的信息。“service_number”与CEA-708中的“caption service”相关。在对于隐藏字幕存在如例如英文和日文的多个频道的同时，为每个频道安排视差信息。注意到，“service_number＝0”指示特定模式，其中在多个字幕窗口(Caption Window)之间共享一条视差信息(视差矢量)。
“select_view_shift”是形成偏移目标指定信息的2位信息。“select_view_shift”基于要重叠在左眼图像上的隐藏字幕信息和要重叠在右眼图像上的隐藏字幕信息之间的视差信息，指定要偏移的隐藏字幕信息。例如，“select_view_shift＝00”假设为代表保留的。
此外，例如，当设置“select_view_shift＝01”时，指示仅仅要重叠在左眼图像上的隐藏字幕信息在水平方向上偏移对应于视差信息(视差)的量。这里，当视差信息(视差)是正值时，要重叠在左眼图像上的隐藏字幕信息在右边方向偏移。相反，当视差信息(视差)是负值时，要重叠在左眼图像上的隐藏字幕信息在左边方向偏移。
此外，例如，当设置“select_view_shift＝10”时，指示仅仅要重叠在右眼图像上的隐藏字幕信息在水平方向上偏移对应于视差信息(视差)的量。这里，当视差信息(视差)是正值时，要重叠在右眼图像上的隐藏字幕信息在右边方向偏移。相反，当视差信息(视差)是负值时，要重叠在右眼图像上的隐藏字幕信息在左边方向偏移。
此外，例如，当设置“select_view_shift＝11”时，指示要重叠在左眼图像上的隐藏字幕信息和要重叠在右眼图像上的隐藏字幕信息两者在水平方向的相反方向上偏移。这里，在视差信息(视差)是偶数值的情况下，要重叠在左眼图像上的隐藏字幕信息在是正值时在右边方向偏移对应于“视差/2”的量，并且在是负值时在左边方向偏移对应于“视差/2”的量。此外，在视差信息(视差)是偶数值的情况下，要重叠在右眼图像上的隐藏字幕信息在是正值时在左边方向偏移对应于“视差/2”的量，并且在是负值时在右边方向偏移对应于“视差/2”的量。
此外，在视差信息(视差)是奇数的情况下，要重叠在左眼图像上的隐藏字幕信息在是正值时在右边方向偏移对应于“(视差+1)/2”的量，并且在是负值时在左边方向偏移对应于“(视差+1)/2”的量。此外，在视差信息(视差)是奇数值的情况下，要重叠在右眼图像上的隐藏字幕信息在是正值时在左边方向偏移对应于“(视差-1)/2”的量，并且在是负值时在右边方向偏移对应于“(视差-1)/2”的量。
“number_of_caption_windows”是指示与视差信息(视差)相关联的字幕窗口(Caption Window)的数目的3位信息。字幕窗口的数目一直到8个。对于每个字幕窗口安排视差信息(视差)。“caption_window_id”是指示CEA-708的“字幕窗口[0..7]”的3位信息。
“temporal_extension_flag”是用于对应于由“caption_window_id”指示的字幕窗口的视差信息的1位标记信息。该标记信息指示视差信息是在隐藏字幕信息的显示帧时段期间在各个帧中公用，还是在各个帧中顺序更新的视差信息。当设置“temporal_extension_flag＝1”时，指示视差信息的值在显示帧时段期间在各个帧中更新。此外，当设置“temporal_extension_flag＝0”时，使用相同的视差信息，而不用在显示帧时段期间在各个帧中更新视差信息的值。
“disparity”是指示关于显示帧时段期间的第一帧的视差信息的值的8位信息，并且取范围从-128到+127的值。当设置上述“temporal_extension_flag＝0”时，对应于由“caption_window_id”指示的字幕窗口的视差信息仅是8位信息(即，“disparity”)。相反，设置上述“temporal_extension_flag＝1”时，作为对应于由“region_block_id”指示的字幕窗口的视差信息，除了由“disparity”指示的关于第一帧的8位“视差”的视差信息外还存在关于第二帧和随后帧的视差信息。
给出关于第二帧和随后帧的视差信息作为相对于关于之前帧的视差信息的偏移信息。“number_of_frame_set”是在显示帧时段期间第二帧和随后帧的数目以11帧为单位分段的情况下需要多少单位的8位信息。例如，在显示帧时段是30帧的情况下，第二帧和随后帧的数目是29，并且由“number_of_frame_set”指示的单位的数目是“3”。
“offset_sequence”是用作相对于关于之前帧的视差信息的偏移信息的2位信息。“offset_sequence＝00”指示偏移值是“0”。“offset_sequence＝01”指示偏移值是“+1”。“offset_sequence＝10”指示偏移值是“-1”。此外，“offset_sequence＝11”指示没有偏移信息分配到帧。在上述显示帧时段是30帧的情况下，在以11帧为单位分段30帧的情况下获得的第三单位中，“offset_sequence_7”和此后设为“offset_sequence＝11”。
“offset_precision”是指示由上述“offset_sequence”指示的偏移值中“1”的精度，换句话说，使用“1”的像素的数目。当设置“offset_precision＝0”时，指示偏移值“1”代表1个像素。此外，当设置“offset_precision＝1”时，偏移值“1”代表2个像素。
在图86所示的传输数据生成单元110F中，包括用于显示立体图像的左眼图像数据和右眼图像数据的立体图像数据，在包括在视频基本流的有效载荷部分中的状态下传输。此外，CC数据和用于给出视差到基于CC数据的隐藏字幕信息的视差信息，在包括在视频基本流的报头部分的用户数据区域的状态下传输，以便可通过用户数据标识信息(user_data_type_code)标识。
因此，在接收侧，可以从视频基本流获取立体图像数据，并且此外可以容易地获取视差信息和重叠信息的数据。此外，在接收侧，可以使用视差信息将适当的视差给到要重叠在左眼图像和右眼图像上的相同的隐藏字幕信息。因此，在重叠信息的显示中，重叠信息和图像中每个对象之间的透视的一致性可以保持在最佳状态。
此外，在图86所示的传输数据生成单元110F中，视差信息已经添加了偏移目标指定信息(select_view_shift)，其基于要重叠在左眼图像上的左眼隐藏字幕信息和要重叠在右眼图像上的右眼隐藏字幕信息之间的视差信息，指定要偏移的隐藏字幕信息。因此，偏移目标指定信息使得可能根据希望仅偏移左眼隐藏字幕信息、仅偏移右眼隐藏字幕信息或偏移两者。
此外，在图86所示的传输数据生成单元110F中，可以选择在显示隐藏字幕信息(字幕)的预定数目的帧中公用的视差信息或者在预定数目的帧中顺序更新的视差信息作为视差信息。该视差信息添加有指示它们之一的标记信息(temporal_extension_flag)。因此，可能根据例如图像的内容选择性地传输在各个帧中公用的视差信息或者在各个帧中顺序更新的视差信息。也就是说，在图像的移动大的情况下，传输在各个帧中顺序更新的视差信息，并且在接收侧，可以根据图像的内容的改变动态改变要给到重叠信息的视差。此外，在图像的移动小的情况下，传输在各个帧中公用的视差信息，因此允许抑制视差信息的数据量。
此外，在图92所示的传输数据生成单元110F中，在各个帧中顺序更新的视差信息设计为包括关于预定数目的帧的时段期间的第一帧的视差信息，以及相对于关于之前帧的视差信息的关于第二和随后帧的偏移信息。因此，可能抑制视差信息的数据量。
图92图示在图89所示的视差信息(caption_disparity_data)的配置中数据量(数据大小)的计算示例。项目(1-1)代表在这样情况下的计算示例，其中对于8个字幕窗口的每个，在隐藏字幕信息的显示时段期间的各个帧中公用一条视差信息。在此情况下，视差信息(caption_disparity_data)的数据量是18比特。此外，项目(1-2)图示在这样情况下的计算示例，其中使用一个字幕窗口或者对于所有字幕窗口使用相同的视差信息以及在隐藏字幕信息的显示时段期间在各个帧中公用一条视差信息。在此情况下，视差信息(caption_disparity_data)的数据量是4比特。
项目(2)图示在这样情况下的计算示例，其中对于8个字幕窗口的每个使用在使用隐藏字幕信息的显示时段的各个帧中顺序更新的视差信息，并且例如显示时段是5秒(150帧)。在此情况下，视差信息(caption_disparity_data)的数据量是362比特。
注意到，在图86所示的传输数据生成单元110F已经在这样的上下文中作为示例说明，其中传输其使用限制于隐藏字幕信息的视差信息。尽管省略详细描述，例如，也可以以类似方式配置传输其使用限制于如字幕信息的任何其它重叠信息的视差信息。
[机顶盒的描述]
回来参考图1，机顶盒200接收从广播站100经由广播波发送并且在广播波上携带的位流数据(传送流)。该位流数据包含包括左眼图像数据和右眼图像数据的立体图像数据、音频数据、重叠信息数据，并且还包含视差信息(视差矢量)。这里，重叠信息数据例如是字幕数据、图形数据、文本数据(包括隐藏字幕数据)等。
机顶盒200包括位流处理单元201。该位流处理单元201从位流数据中提取立体图像数据、音频数据、重叠信息数据、视差矢量等。位流处理单元201使用立体图像数据、重叠信息数据(字幕数据、图形数据、文本数据)等生成其上重叠了重叠信息的左眼图像和右眼图像的数据。
这里，在将视差矢量作为数字信息发送的情况下，基于视差矢量和重叠信息数据生成要重叠在左眼图像和右眼图像上的左眼重叠信息和右眼重叠信息。在这种情况下，左眼重叠信息和右眼重叠信息为同一重叠信息。然而，例如，图像内右眼重叠信息的重叠位置配置为在水平方向关于左眼重叠信息偏移视差矢量的水平方向分量。
图93(a)图示在传输方法为上述第二传输方法(“并排”方法)的情况下左眼图形信息和右眼图形信息的重叠位置。要重叠在右眼图像IR上的右眼图形信息RGI配置为在水平方向上关于要重叠在左眼图像IL上的左眼图形信息LGI偏移视差矢量的水平方向分量VVT的位置处。注意，IT是空闲偏移值。
在位流处理单元201中，生成图形数据使得以如图93(a)所图示的方式在图像IL和IR上重叠图形信息LGI和RGI。位流处理单元201将所生成的左眼图形数据和右眼图形数据与从位流数据提取的立体图像数据(左眼图像数据、右眼图像数据)进行合成，并且获取处理后的立体图像数据。根据该立体图像数据，如图93(b)所示，观察者可以与图像IL和IR一起、以视差观察各条图形信息LGI和RGI，并且还能够察觉图形信息的透视。
注意，图94(a)图示了在图像IL和IR上照原样重叠基于从位流数据提取的图形数据的图形图像的状态。在这种情况下，如图94(b)所示，观察者观察连同左眼图像IL的左半图形信息和连同右眼图像IR的右半图形信息。因而，使得不正确地识别图形信息。
虽然图93图示了图形信息的情况，但类似的适用于其他重叠信息(如隐藏字幕信息、字幕信息或文本信息)。也就是说，在将视差矢量作为数字信息传输的情况下，基于视差矢量和重叠信息数据生成要分别重叠在左眼图像和右眼图像上的左眼重叠信息和右眼重叠信息。在这种情况下，左眼重叠信息和右眼重叠信息为同一重叠信息。然而，例如，图像内右眼重叠信息的重叠位置配置为在水平方向相对于左眼重叠信息偏移视差矢量的水平方向分量。
这里，可以构思将以下视差矢量用作给出左眼重叠信息与右眼重叠信息之间的视差的视差矢量。例如，可以构思将在图像内的多个位置处检测到的视差矢量之中，采用就透视而言被识别为最近的位置处的视差矢量作为视差矢量。图95(a)、95(b)、95(c)和95(d)图示了时间点T0、T1、T2和T3处三个对象位置处的视差矢量(View Vectors)。
在时间点T0处，与对象1对应的位置(H0，V0)处的视差矢量VV0-1是最大视差矢量Max VV(T0)。在时间点T1处，与对象1对应的位置(H1，V1)处的视差矢量VV1-1是最大视差矢量Max VV(T1)。在时间点T2处，与对象2对应的位置(H2，V2)处的视差矢量VV2-2是最大视差矢量Max VV(T2)。在时间点T3处，与对象1对应的位置(H3，V3)处的视差矢量VV3-0是最大视差矢量Max VV(T3)。
以这种方式，在图像内的多个位置处检测到的视差矢量之中，将就透视而言被识别为最近的位置处的视差矢量用作视差矢量，因而允许将重叠信息显示在就透视而言最近的图像内的对象的前面。
图96(a)图示了图像上的字幕(例如隐藏字幕信息、字幕信息)的显示示例。在这个显示示例中，作为示例，字幕重叠在由背景和前景对象形成的图像。图96(b)图示了背景、前景对象和字幕的透视，其中图示字幕被辨认为位于最近的。
图97(a)图示了与图96(a)相同的、图像上的字幕(例如隐藏字幕信息、字幕信息)的显示示例。图97(b)图示了用于显示字幕的左眼字幕信息LGI和右眼字幕信息RGI。图97(c)图示将视差给予每条字幕信息LGI和RGI，以便允许将字幕识别为位于最近的。
此外，可以构思在图像内多个位置处检测到的视差矢量(包括视差信息组中包括的各个层次的各个区域的视差矢量)之中，采用与其重叠位置对应的视差矢量作为视差矢量。图98(a)图示了基于从位流数据中提取的图形数据的图形信息以及基于从位流数据中提取的文本数据的文本信息。
图98(b)图示了将左眼图形信息LGI和左眼文本信息LTI重叠在左眼图像上的状态。在这种情况下，将左眼图形信息LGI的重叠位置调节在水平方向上的空闲偏移值(IT-0)。此外，将左眼文本信息LTI的重叠位置调节在水平方向的空闲偏移值(IT-1)。
图98(c)图示了将右眼图形信息RGI和右眼文本信息RTI重叠在右眼图像上的状态。在这种情况下，将右眼图形信息RGI的重叠位置调节在水平方向上的空闲偏移值(IT-0)，并且相对于左眼图形信息LGI的重叠位置，进一步偏移与重叠位置对应的视差矢量的水平方向分量VVT-0。此外，将右眼文本信息RTI的重叠位置调节在水平方向上的空闲偏移值(IT-1)，并且相对于左眼文本信息LGI的重叠位置，进一步偏移与重叠位置对应的视差矢量的水平方向分量VVT-1。
注意，图98的示例中，图示了相对于要重叠在左眼图像上的相同图形信息和文本信息的重叠位置，偏移要重叠在右眼图像上的图形信息和文本信息的重叠位置。也就是说，在图98中的示例中，执行处理，用于仅移位要重叠在右眼图像上的图形信息和文本信息的重叠位置。然而，还可以构思执行处理，以便移位左眼图像和右眼图像的重叠位置二者。
图99(a)图示了基于从位流数据提取的图形数据的图形信息以及基于从位流数据提取的文本数据的文本信息。图99(b)图示了在二维显示中图形信息GI和文本信息TI的重叠位置。在这种情况下，文本信息的重叠位置是(x1，y1)，而图形信息的重叠位置是(x2，y2)。
图99(c)图示了在左眼图像上重叠左眼图形信息LGI和左眼文本信息LTI的状态。在这种情况下，关于二维显示中图形信息GI的重叠位置，将左眼图形信息LGI在右方向上偏移该图形信息所对应的视差矢量D1的像素数目的量。此外，关于二维显示中文本信息的重叠位置，将左眼文本信息LTI在右方向上偏移该文本信息LT所对应的视差矢量D0的像素数目的量。
图99(d)图示了在右眼图像上重叠右眼图形信息RGI和右眼文本信息RTI的状态。在这种情况下，关于二维显示中图形信息GI的重叠位置，将右眼图形信息RGI在左方向上偏移该图形信息GI所对应的视差矢量D1的像素数目的量。此外，关于二维显示中文本信息的重叠位置，将右眼文本信息RTI在左方向上偏移该文本信息LT所对应的视差矢量D0的像素数目的量。
注意，在图99(c)和(d)的示例中，作为示例，将偏移的扩展应用到左眼图像和右眼图像中的每个，并且额外设置为提供对应于视差矢量的像素数目的量的移位。实际上，例如，如上图54所示，偏移的扩展由“Views_offset”代表，并且重叠信息关于视差矢量要移位的量由“Disparity_precision”代表。
此外，图100(a)图示从位流数据提取的两个字幕窗口的各条隐藏字幕信息C1(“字幕1”)和C2(“字幕2”)。图100(b)图示在二维显示中各条隐藏字幕信息C1和C2的重叠位置。在此情况下，隐藏字幕信息C1的重叠位置是(x1，y1)，并且隐藏字幕信息C2的重叠位置是(x2，y2)。
图100(c)图示各条左眼隐藏字幕信息LC1和LC2重叠在左眼图像上的状态。在此情况下，左眼隐藏字幕信息LC1在右边方向关于二维显示中的隐藏字幕信息C1的重叠位置，偏移对应于视差矢量D0的像素数目的量，视差矢量D0对应于隐藏字幕信息。此外，左眼隐藏字幕信息LC2在右边方向关于二维显示中的隐藏字幕信息C2偏移对应于视差矢量D1的像素数目的量，视差矢量D1对应于隐藏字幕信息。
图100(d)图示各条右眼隐藏字幕信息RC1和RC2重叠在右眼图像上的状态。在此情况下，右眼隐藏字幕信息RC1在左边方向关于二维显示中的隐藏字幕信息C1的重叠位置，偏移对应于视差矢量D0的像素数目的量，视差矢量D0对应于隐藏字幕信息。此外，右眼隐藏字幕信息RC2在左边方向关于二维显示中的隐藏字幕信息C2偏移对应于视差矢量D1的像素数目的量，视差矢量D1对应于隐藏字幕信息。
注意到，在图100(c)和100(d)的示例中，作为示例，偏移的扩展应用于左眼图像和右眼图像的每个，并且额外设为提供对应于视差矢量的像素数目的量的移位。实际上，例如，如上图89所示，偏移的扩展由“select_view_offset”代表，并且重叠信息关于视差矢量要偏移的量由“offset_precision”代表。
前面描述已经给出了这样的情况的描述，其中基于从位流数据提取的图形数据的图形信息或基于从位流数据提取的文本数据的文本信息重叠在左眼图像和右眼图像上。此外，还可以构思这样的情况下，其中在机顶盒200中产生图形数据或文本数据，并且基于该数据的信息重叠在左眼图像和右眼图像上。
即使在此情况下，通过利用从位流数据提取的图像中预定位置的视差矢量，也可以将视差引入左眼图形信息和右眼图形信息之间，或者左眼文本信息和右眼文本信息之间。因此，可以在图形信息或文本信息的显示中给出适当的透视，以便维持信息和图像中的每个对象之间透视上的一致性。
图101(a)图示了在图像内存在对象A、B和C，并且例如在邻近对象的位置重叠指示每一个对象的注释的文本信息。图101(b)图示了在将视差给予指示对象A、B和C的注释的文本信息的情况下，利用指示对象A、B和C的位置与其位置处的视差矢量之间的对应关系的视差矢量列表以及各个视差矢量。例如，在对象A附近重叠文本信息“Text”的同时，在左眼文本信息与右眼文本信息之间给出与对象A的位置(Ha，Va)处的视差矢量VV-a对应的视差。注意，类似的应用于要在对象B和C附近重叠的文本信息。
注意，图98和图99图示了重叠信息包括图形信息和文本信息的情况。此外，图100图示了重叠信息是隐藏字幕信息的情况。此外，图101图示了重叠信息是文本信息的情况。虽然将省略详细描述，但在类似的应用于其他重叠信息的情况。
接下来，将关于视差矢量被事先反映在重叠信息(如隐藏字幕信息、字幕信息、图形信息、或文本信息)的数据上的同时传输视差矢量的情况进行描述。在这种情况下，从位流数据中提取的重叠信息数据包含使用视差矢量对其给出了视差的左眼重叠信息和右眼重叠信息的数据。
因而，位流处理单元201关于从位流数据提取的立体图像数据(左眼图像数据、右眼图像数据)简单地组合从位流数据提取的重叠信息数据，并且获取处理之后的立体图像数据。注意，对于文本数据(包括隐藏字幕数据)，将字符代码转换为位图数据的处理是必须的。
[机顶盒的示例配置]
将描述机顶盒200的示例配置。图102图示了机顶盒200的示例配置。该机顶盒200包括位流处理单元201、HDMI端子202、天线端子203、数字调谐器204、视频信号处理电路205、HDMI传输单元206和音频信号处理电路207。此外，该机顶盒200包括CPU 211、闪速ROM 212、DRAM 213、内部总线214、遥控接收单元215和遥控发送器216。
天线端子203是用于输入由接收天线(未图示)接收到的电视广播信号的端子。数字调谐器204处理输入到天线端子203的电视广播信号，并输出与用户选择的频道对应的预定位流数据(传送流)。
如上所述，位流处理单元201从位流数据提取立体图像数据(左眼图像数据、右眼图像数据)、音频数据、重叠信息数据、视差信息(视差矢量)等。重叠信息数据是字幕数据、图形数据、文本数据(包括隐藏字幕数据)等。如上所述，该位流处理单元201组合重叠信息(如隐藏字幕信息、字幕信息、图形信息、或文本信息)的数据和立体图像数据，并且获取显示立体图像数据。此外，位流处理单元201输出音频数据。下面将描述位流处理单元201的详细配置。
视频信号处理电路205按照需要对从位流处理单元201输出的立体图像数据执行图像质量调整处理，并且将处理的立体图像数据供应到HDMI传输单元206。音频信号处理电路207根据需要对从位流处理单元201输出的音频数据执行音频质量调整处理等，并且将处理的音频数据供应到HDMI传输单元206。
HDMI传输单元206使用遵循HDMI的通信，从HDMI端子202发送基带图像(视频)和音频的数据。在这种情况下，图像和音频数据被封装，并且从HDMI传输单元206输出到HDMI端子202，用于通过HDMI TMDS通道来发送。下面将描述该HDMI传输单元206的细节。
CPU 211控制机顶盒200的每个单元的操作。闪速ROM 212存储控制软件并且保持数据。DRAM 213形成CPU 211的工作区域。CPU 211将从CPU211读取的软件和数据扩展到DRAM 213，以启动软件，并且控制机顶盒200的每个单元。
遥控接收单元215接收从遥控发送器216发送的遥控信号(遥控代码)，并将该遥控信号供应到CPU 211。CPU 211基于该遥控代码控制机顶盒200的每个单元。CPU 211、闪速ROM 212和DRAM 213连接到内部总线214。
将简短地描述机顶盒200的操作。将输入到天线端子203的电视广播信号供应到数字调谐器204。在该数字调谐器204中，处理电视广播信号，并且输出与用户选择的通道对应的预定位流数据(传送流)。
将从数字调谐器204输出的位流数据供应到位流处理单元201。在该位流处理单元201中，从位流数据提取立体图像数据(左眼图像数据、右眼图像数据)、音频数据、图形数据、文本数据、视差矢量等。此外，在位流处理单元201中，与立体图像数据组合重叠信息(如隐藏字幕信息、字幕信息、图形信息、或文本信息)的数据，并且生成显示立体图像数据。
按照需要，通过视频信号处理电路205，使由位流处理单元201生成的显示立体图像数据经历图像质量调整处理等，并且此后供应到HDMI传输单元206。此外，按照需要，通过音频信号处理电路207，使由位流处理单元201获得的音频数据经历音频质量调整处理等，并且此后供应到HDMI传输单元206。将供应到HDMI传输单元206的立体图像数据和音频数据通过HDMI TMDS通道从HDMI端子202发送到HDMI线缆400。
[位流处理单元的示例配置]
图103图示位流处理单元201的示例配置。该位流处理单元201具有这样的配置，使得该配置对应于在上述图2和图85中所图示的传输数据生成单元110和110E。该位流处理单元201包括解多路分用器220、视频解码器221、字幕/图形解码器222、文本解码器223、音频解码器224和视差矢量解码器225。此外，该位流处理单元201包括立体图像字幕/图形产生单元226、立体图像文本产生单元227、视频重叠单元228和多声道扬声器控制单元229。
解多路分用器220从位流数据BSD提取视频、音频、视差矢量、字幕、图形、文本等，并发送分组到各个解码器。
视频解码器221执行与上述传输数据生成单元110的视频编码器113的相反的处理。也就是说，该视频解码器221从由解多路分用器220提取的视频分组重构视频的基本流，执行解码处理，并获得包括左眼图像数据和右眼图像数据的立体图像数据。该立体图像数据的传输方法的示例包括第一传输方法(“上下”方法)、第二传输方法(“并排”方法)、第三传输方法(“帧顺序”方法)等(参见图4(a)至(c))。
字幕/图形解码器222执行与上述传输数据生成单元110的字幕/图形编码器119相反的处理。也就是说，该字幕/图形解码器222从由解多路分用器220提取的字幕或图形分组重构字幕或图形的基本流。然后，该字幕/图形解码器222进一步执行解码处理来获得字幕数据或图形数据。
文本解码器223执行与上述传输数据生成单元110的文本编码器121的相反的处理。也就是说，该文本解码器223从由解多路分用器220提取的文本分组重构文本的基本流，并且执行解码处理来获得文本数据(包括隐藏字幕数据)。
音频解码器224执行与上述传输数据生成单元110的音频编码器117的相反的处理。也就是说，该音频解码器224从由解多路分用器220提取的音频分组重构音频的基本流，并且执行解码处理来获得音频数据。
视差矢量解码器225执行与上述传输数据生成单元110的视差矢量编码器115相反的处理。也就是说，该视差矢量解码器225从由解多路分用器220提取的视差矢量分组重构视差矢量的基本流，并且执行解码处理来获得图像内的预定位置处的视差矢量。
立体图像字幕/图形产生单元226生成要分别重叠在左眼图像和右眼图像上的左眼和右眼字幕信息或图形信息。基于由解码器222获得的字幕数据或图形数据和由解码器225获得的视差矢量执行该生成处理。在这种情况下，左眼和右眼字幕信息项或图形信息项是同一信息。然而，例如，图像内右眼字幕信息或图形信息的重叠位置配置为在水平方向关于左眼字幕信息或图形信息偏移视差矢量的水平方向分量。然后，立体图像字幕/图形产生单元226输出所生成的左眼和右眼字幕信息或图形信息的数据(位图数据)。
立体图像文本产生单元227基于由解码器223获得的文本数据和由解码器225获得的视差矢量，生成要分别重叠在左眼图像和右眼图像上的左眼文本信息和右眼文本信息。在这种情况下，左眼文本信息和右眼文本信息为同一文本信息。然而，例如，图像内右眼文本信息的重叠位置配置为在水平方向关于左眼文本信息偏移视差矢量的水平方向分量。然后，立体图像文本产生单元227输出所生成的左眼文本信息和右眼文本信息的数据(位图数据)。
视频重叠单元228由视频解码器221获得的立体图像数据(左眼图像数据、右眼图像数据)上重叠由产生单元226和227产生的数据，并且获得显示立体图像数据Vout。注意，使用系统层的时间戳开始重叠信息数据在立体图像数据(左眼图像数据、右眼图像数据)上的重叠。
多声道扬声器控制单元229对由音频解码器224获得的音频数据执行用于生成多声道扬声器的音频数据的处理以实现例如5.1-声道环绕等、用于给出预定声场特性的处理等。此外，该多声道扬声器控制单元229基于由解码器225获得的视差矢量控制多声道扬声器的输出。
存在以下效果：视差矢量的大小越大，立体效果越明显。按照立体程度控制多声道的扬声器输出，因而可以实现提供进一步的立体体验。
图104图示了在电视显示器的方向上观看时在左手侧的视频对象具有大视差矢量VV1的情况下扬声器输出控制的示例。在这个控制示例中，多声道扬声器的左后扬声器音量设置到高，左前扬声器音量设置到中，并且进一步，右前和右后扬声器音量设置到低。以这种方式，将视频内容(立体图像数据)的视差矢量应用到接收侧上的另一媒体数据(如音频数据)，因而使得可以允许观看者体验整体立体效果。
将简要地描述在图103中图示的位流处理单元201的操作。将从数字调谐器204(参看图102)输出的位流数据BSD供应到解多路分用器220。在解多路分用器220中，从位流数据BSD提取视频、音频、视差矢量、字幕或图形以及文本的TS分组，并供应到各个解码器。
在视频解码器221中，根据从解多路分用器220提取的视频分组重构视频的基本流，并且进一步执行解码处理，以获得包括左眼图像数据和右眼图像数据的立体图像数据。将该立体图像数据供应到视频重叠单元228。此外，在视差矢量解码器225中，从由解多路分用器220提取的视差矢量分组重构视差矢量的基本流，并且进一步执行解码处理，以获得图像内的预定位置处的视差矢量(参看图8、图29等)。
在字幕/图形解码器222中，从由解多路分用器220提取的字幕或图形分组重构字幕或图形的基本流。在字幕/图形解码器222中，对字幕或图形的基本流进一步执行解码处理，并且获得字幕数据或图形数据。将该字幕数据或图形数据供应到立体图像字幕/图形产生单元226。也将由视差矢量解码器225获得的视差矢量供应到立体图像字幕/图形产生单元226。
在立体图像字幕/图形产生单元226中，生成要分别重叠在左眼图像和右眼图像上的左眼和右眼字幕信息项或图形信息项的数据。基于由解码器222获得的字幕数据或图形数据以及由解码器225获得的视差矢量执行该生成处理。
在这种情况下，例如，将图像内的右眼字幕信息或图形信息的重叠位置配置为在水平方向上关于左眼字幕信息或左眼图形信息偏移视差矢量的水平方向分量。从该立体图像字幕/图形产生单元226输出所生成的左眼和右眼字幕信息项或图形信息项的数据(位图数据)。
此外，在文本解码器223中，从由多路分用器220提取的文本的TS分组重构文本的基本流，并且进一步执行解码处理，以获得文本数据。将该文本数据供应到立体图像文本产生单元227。也将由视差矢量解码器225获得的视差矢量供应到该立体图像文本产生单元227。
在该立体图像文本产生单元227中，基于由解码器223获得的文本数据和由解码器225获得的视差矢量，生成要分别重叠在左眼图像和右眼图像上的左眼文本信息和右眼文本信息。在这种情况下，左眼文本信息和右眼文本信息为同一文本信息。然而，例如图像内右眼文本信息的重叠位置在水平方向上关于左眼文本信息偏移视差矢量的水平方向分量。从该立体图像文本产生单元227输出所生成的左眼文本信息和右眼文本信息的数据(位图数据)。
注意，在由视差矢量解码器225获得的视差矢量包括在预定组视差信息组的情况下，基于标识信息(Disparity_Sequence_id)，可以使用适于重叠信息的视差信息组。也就是说，可以使用相关联的视差矢量给出适当的视差到叠加信息(如隐藏字幕信息或字幕信息)。
除了来自上述视频解码器221的立体图像数据(左眼图像数据、右眼图像数据)之外，还将从字幕/图形产生单元226和文本产生单元227输出的数据供应到视频重叠单元228。在视频重叠单元228中，将由字幕/图形产生单元226和文本生成单元227所产生的数据重叠在立体图像数据(左眼图像数据、右眼图像数据)上，并获得显示立体图像数据Vout。将该显示立体图像数据Vout作为传输图像数据经由视频信号处理电路205供应到HDMI传输单元206(参看图102)。
此外，在音频解码器224中，从由解多路分用器220提取的音频的TS分组重构音频的基本流，并且进一步执行解码处理，以获得音频数据。将该音频数据供应到多声道扬声器控制单元229。在该多声道扬声器控制单元229中，对该音频数据执行用于生成多声道扬声器的音频数据以实现例如5.1声道环绕等的处理等、用于给出预定声场特性的处理等。
还将由视差矢量解码器225获得的视差矢量供应到多声道扬声器控制单元229。然后，在该多声道扬声器控制单元229中，基于视差矢量控制多声道扬声器的输出。经由音频信号处理电路207将由该多声道扬声器控制单元229获得的多声道音频数据作为传输音频数据供应到HDMI传输单元206(参看图102)。
[给出视差到重叠信息]
现在，将进一步给出在图103中所示的位流处理单元201的立体图像字幕/图形产生单元226和立体图像文本产生单元227中给出视差到重叠信息的描述。
例如，如图105和图106所示，与图像数据流、字幕或图形数据流和文本数据流一起，从广播站100(参见图1)发送包括视差矢量的视差矢量流(参见图8、图29等)。在这种情况下，与每个特定时段对应的预定单元中的视差矢量根据如编码视频的GOP(Group Of Pictures，画面组)、I(Intra Picture，帧内画面)画面、或场景的每个特定时段的开始定时统一发送。可构思预定单元例如是画面(帧)单元、整数倍画面的单元等。
例如，在立体图像字幕/图形产生单元226以及立体图像文本产生单元227中，在重叠信息的重叠时段期间，使用对应的视差矢量(视差信息)以预定单元给出视差到重叠信息。在图105中添加到字幕(图形)数据流和文本数据流的部分的箭头指示以预定单元给出视差到重叠信息的定时。在以此方式给出视差到重叠信息的配置的情况下，可能根据图像的内容的变化动态改变要给出重叠信息的视差。
此外，例如，在立体图像字幕/图形产生单元226以及立体图像文本产生单元227中，在重叠信息的重叠时段期间，使用从对应于重叠时段的视差矢量选择的预定视差矢量(视差信息)，以预定单元给出视差到重叠信息。例如，预定视差矢量设置为展示对应于重叠时间段视差信息中的最大视差的视差信息。
在图106中，添加到字幕(图形)数据流和文本数据流的部分的箭头指示给出视差到重叠信息的定时。在这种情况下，在重叠时段开始处，将视差给出重叠信息，随后使用已经对其给出视差的重叠信息作为要重叠在左眼图像和右眼图像上的重叠信息。在以此方式给出视差到重叠信息的配置的情况下，例如可以将重叠信息的重叠时段中的最大视差给出到重叠信息，而不管图像内容。
此外，例如，如图107所示，从广播站100(参见图1)发送图像数据、隐藏字幕数据和图形数据。视差信息组(参见图29、图31、图33和图36)作为视差矢量流发送。在这种情况下，与各个特定时段对应的预定单元中的视差信息组根据如编码视频的GOP、I画面、或场景的每个特定时段的开始定时统一发送。可构思预定单元例如是画面(帧)单元、整数个画面的单元等。
例如，在立体图像字幕/图形产生单元226以及立体图像文本产生单元227中，在重叠信息的重叠时段期间，使用对应的视差矢量(视差信息)以预定单元给出视差到重叠信息。在图107中，添加到隐藏字幕数据和图形数据的部分的箭头指示以预定单元给出视差到重叠信息的定时。在以此方式给出视差到重叠信息的配置的情况下，可能根据图像重叠信息的内容的变化动态改变要给出重叠信息的视差。
“位流处理单元的另一示例配置”
图108中所示的位流处理单元201A具有这样的配置，使得其对应于在上述图13和图22中所图示的传输数据生成单元110A和110D的配置。在该图108中，对应于图103的部分分配同样标号，并且将省略其详细描述。
该位流处理单元201A提供有视差矢量提取单元231，代替图103所示的位流处理单元201的视差矢量解码器255。该视差矢量提取单元231从通过视频解码器221获得的视频流中提取嵌入其用户数据区域的视差矢量。然后，该视差矢量提取单元231将所提取的视差矢量供应到立体图像字幕/图形产生单元226、立体图像文本产生单元227和多声道扬声器控制单元229。
尽管将省略详细描述，但是图108中所图示的位流处理单元201A的其他组件以与图103中所图示的位流处理单元201类似的方式配置，并且以类似方式工作。
[给出视差到重叠信息]
这里，将进一步给出在图108中所示的位流处理单元201A的立体图像字幕/图形产生单元226和立体图像文本产生单元227中给出视差到重叠信息的描述。
例如，如图109所示，从广播站100(参见图1)发送图像数据流、字幕或图形数据流以及文本数据流。然后，在嵌入图像数据流的状态下发送视差矢量(参见图8、图29等)。在这种情况下，以图像数据的预定单元(例如，以编码视频的画面为单元)，在嵌入图像数据流的状态下发送对应于预定单元的视差矢量。
在立体图像字幕/图形产生单元226以及立体图像文本产生单元227中，在重叠信息的重叠时段期间，使用对应的视差矢量(视差信息)以预定单元给出视差到重叠信息。在图109中，添加到字幕(图形)数据流和文本数据流的部分的箭头指示以预定单元给出视差到重叠信息的定时。在以此方式给出视差到重叠信息的配置的情况下，可能根据图像的内容的变化动态改变要给出重叠信息的视差。
此外，例如，如图110和图111所示，从广播站100(参见图1)发送图像数据流、字幕或图形数据流以及文本数据流。然后，在嵌入图像数据流的状态下，发送视差矢量(参见图8、图29等)。在这种情况下，与各个特定时段对应的每个预定单元中的视差信息组根据如编码视频的GOP、I画面、或场景的每个特定时段的开始定时统一发送。可构思预定单元例如是画面(帧)单元、整数个画面的单元等。
例如，在立体图像字幕/图形产生单元226以及立体图像文本产生单元227中，在重叠信息的重叠时段期间，使用对应的视差矢量(视差信息)以预定单元给出视差到重叠信息。在图110中，添加到字幕(图形)数据流和文本数据流的部分的箭头指示以预定单元给出视差到重叠信息的定时。在以此方式给出视差到重叠信息的配置的情况下，可能根据图像内容的变化动态改变要给出重叠信息的视差。
此外，例如，在立体图像字幕/图形产生单元226以及立体图像文本产生单元227中，在重叠信息的重叠时段期间，使用对应于重叠时段的视差矢量中选择的预定视差矢量(视差信息)，以预定单元给出视差到重叠信息。预定视差矢量例如是设置为展示对应于重叠时段的视差信息中的最大视差的视差信息。
在图111中，添加到字幕(图形)数据流和文本数据流的部分的箭头指示给出视差到重叠信息的定时。在这种情况下，在重叠时段开始处，将视差给出重叠信息，随后使用已经对其给出视差的重叠信息作为要重叠在左眼图像和右眼图像上的重叠信息。在以此方式给出视差到重叠信息的配置的情况下，可以将重叠信息的重叠时段中的最大视差给出到重叠信息，而不管图像内容如何。
此外，例如，如图112所示，从广播站100(参见图1)发送图像数据、隐藏字幕数据和图形数据。视差信息组(参见图29、图31、图33和图36)在嵌入图像数据流的状态下发送。在这种情况下，与各个特定时段对应的预定单元中的视差信息组根据如编码视频的GOP、I画面、或场景的每个特定时段的开始定时统一发送。可构思预定单元例如是画面(帧)单元、整数个画面的单元等。
例如，在立体图像字幕/图形产生单元226以及立体图像文本产生单元227中，在重叠信息的重叠时段期间，使用对应的视差矢量(视差信息)以预定单元给出视差到重叠信息。在图112中，添加到隐藏字幕数据和图形数据的部分的箭头指示以预定单元给出视差到重叠信息的定时。在以此方式给出视差到重叠信息的配置的情况下，可能根据图像内容的变化动态改变要给出重叠信息的视差。
“位流处理单元的另一配置示例”
图113中所示的位流处理单元201B具有这样的配置，使得其对应于在上述图15中所图示的传输数据生成单元110B的配置。在该图113中，对应于图103的部分分配同样标号，并且将省略其详细描述。
该位流处理单元201B提供有视差矢量提取单元232，代替图103所示的位流处理单元201的视差矢量解码器255。该视差矢量提取单元232从通过字幕/图形解码器222获得的字幕或图形流中提取嵌入其中的视差矢量。然后，该视差矢量提取单元232将所提取的视差矢量供应到立体图像字幕/图形产生单元226、立体图像文本产生单元227和多声道扬声器控制单元229。
尽管将省略详细描述，但是图113中所图示的位流处理单元201B的其他组件以与图103中所图示的位流处理单元201类似的方式配置，并且以类似方式工作。注意到，在图113中所示的位流处理单元201B中给予视差到重叠信息类似于上述在图108中所示的位流处理单元201A中给予视差到重叠信息(参看图109到112)。
“位流处理单元的另一配置示例”
图114中所示的位流处理单元201C具有这样的配置，使得其对应于在上述图21中所图示的传输数据生成单元110C的配置。在该图114中，对应于图103的部分分配同样标号，并且将省略其详细描述。
配置该位流处理单元201C，使得从图103中所示的位流处理单元201中移除视差矢量解码器225、立体图像字幕/图形产生单元226以及立体图像文本产生单元227所获得的单元。在这种情况下，视差矢量预先反映在字幕信息、图形信息和文本信息的数据上。
如上所述，传输的字幕数据或图形数据包括：要重叠在左眼图像上的左眼字幕信息或图形信息的数据以及要重叠在右眼图像上的右眼字幕信息或图形信息的数据。类似地，如上所述，传输的文本数据包括：要重叠在左眼图像上的左眼文本信息的数据以及要重叠在右眼图像上的右眼文本信息的数据。因此，视差矢量解码器255、立体图像字幕和图形产生单元226以及立体图像文本产生单元227不必要。
注意，因为通过文本解码器223获得的文本数据是代码数据(字符代码)，因此需要用于将其转换为位图数据的处理。例如，在文本解码器223的最终级或者在视频重叠单元228的输入级中执行该处理。
“位流处理单元的另一配置示例”
图115中所示的位流处理单元201D具有这样的配置，使得其对应于在上述图86中所图示的传输数据生成单元110F的配置。在该图115中，对应于图103的部分分配同样标号，并且将省略其详细描述。
该位流处理单元201D包括解多路分用器220、视频解码器221、音频解码器224、视频重叠单元228和多声道扬声器控制单元229。此外，该位流处理单元201D包括视差信息提取单元235、CC解码器233和立体图像CC产生单元234。
如上所述，CC数据和视差信息嵌入从图86所示的传输数据生成单元110F的视频编码器113输出的视频基本流的报头部分中，使得CC数据和视差信息可通过用户数据类型码(用户数据标识信息)标识。
CC解码器233从通过视频解码器221获得的视频基本流提取CC数据。此外，CC解码器233对于每个字幕窗口(Caption Window)获取隐藏字幕信息(字幕的字符码)，并且进一步从CC数据获取重叠位置和显示时间的控制数据。然后，CC解码器233提供隐藏字幕信息和重叠位置和显示时间的控制数据到立体图像CC产生单元234。
视差矢量提取单元235从通过视频解码器221获得的视频基本流中提取视差信息。该视差信息与由上述CC解码器233获取的每个字幕窗口(CaptionWindow)的隐藏字幕信息(字幕的字符码)有关。视差信息已经添加基于要重叠在左眼图像的隐藏字幕信息和要重叠在右眼图像的隐藏字幕信息中的视视差信息，指定要偏移的隐藏字幕信息的偏移目标指定信息。
视差矢量提取单元235对应于由CC解码器233获取的每个字幕窗口的隐藏字幕信息，提取要在基于该数据的隐藏字幕信息的显示帧时段中使用的视差信息。视差信息是例如在隐藏字幕信息的显示帧时段期间在各个帧中公用的视差信息，或者是在各个帧中顺序更新的视差信息。视差信息已经添加了标记信息，其指示在显示帧时段期间在各个帧中公用的视差信息或在显示帧时段期间在各个帧中顺序更新的视差信息。
视差矢量提取单元235提取关于相对于关于之前帧的视差信息对于第二和随后帧的第一帧和偏移信息的视差信息，作为在各个帧中顺序更新的视差信息。如上所述，关于第二和随后帧的视差信息设为相对于关于之前帧的视差信息的偏移信息。此外，视差矢量提取单元235提取例如关于第一帧的视差信息作为在各个帧中公用的视差信息。
立体图像CC产生单元234对于每个字幕窗口(Caption Window)，生成分别要重叠在左眼图像和右眼图像上的左眼隐藏字幕信息(caption)和右眼隐藏字幕信息(caption)的数据。基于由CC解码器233获得的隐藏字幕数据和重叠位置控制数据和由视差矢量提取单元235提取的视差信息(视差矢量)执行该生成处理。
立体图像CC产生单元234执行偏移处理，用于基于偏移目标指定信息给出视差到左眼隐藏字幕信息和右眼隐藏字幕信息的任一或两者。此外，立体图像CC产生单元234取决于由视差矢量提取单元235提取的视差信息是在各个帧中公用的视差信息还是在各个帧中顺序更新的视差信息，以以下方式给予视差到隐藏字幕信息。
也就是说，当提取的视差信息是在各个帧中公用的视差信息时，立体图像CC产生单元234基于该公共视差信息给予视差到要重叠在左眼图像和右眼图像上的隐藏字幕信息。相反，当提取的视差信息是在各个帧中顺序更新的视差信息时，立体图像CC产生单元234基于每帧更新的视差信息给予视差到要重叠在左眼图像和右眼图像上的隐藏字幕信息。
如上所述，在各个帧中顺序更新的视差信息例如由关于该帧的视差信息以及关于第二和随后帧相对于之前帧的视差信息的偏移信息构成。在此情况下，在第一帧中，基于关于第一帧的视差信息，给予视差到要重叠在左眼图像和右眼图像上的隐藏字幕信息。然后，在第二和随后帧中，通过对应于相对于已经给予视差到之前帧的状态的偏移信息的量，进一步给予视差到要重叠在左眼图像和右眼图像上的隐藏字幕信息。
图116图示了基于在各个帧中顺序更新的视差信息，给予视差到要重叠在左眼图像和右眼图像上的隐藏字幕信息的处理。在第一帧(帧N)中，基于关于第一帧的视差信息DP0执行偏移处理，并且视差给予左眼隐藏字幕信息LC和右眼隐藏字幕信息RC。在下一帧(帧N+1)中，通过作为相对于帧(帧N)的状态的偏移信息(Differential)的“+1”的量对各条信息LC和RC进一步执行偏移处理。
在下一帧(帧N+2)中，通过作为相对于帧(帧N+1)的状态的偏移信息的“+1”的量对各条信息LC和RC进一步执行偏移处理。在下一帧(帧N+3)中，因为偏移信息是“0”，所以各条信息LC和RC的偏移状态保持与帧(帧N+2)的状态相同。此外，在下一帧(帧N+4)中，通过作为相对于帧(帧N+3)的状态的偏移信息的“+1”的量对各条信息LC和RC进一步执行偏移处理。
视频重叠单元228将由立体图像CC产生单元234获得的左眼和右眼隐藏字幕信息项的数据重叠在由视频解码器221获得的立体图像数据(左眼图像数据、右眼图像数据)上，并且获得显示立体图像数据Vout。注意到，使用系统层中的时间戳启动开始隐藏字幕信息的数据在立体图像数据(左眼图像数据、右眼图像数据)上的重叠。此外，基于关于隐藏字幕信息的对于显示时间的控制数据，控制重叠持续时间。
尽管将省略详细描述，但是图115中所图示的位流处理单元201D的其他组件以与图103中所图示的位流处理单元201类似的方式配置，并且以类似方式工作。
将简要地描述在图115中图示的位流处理单元201D的操作。将从数字调谐器204(参看图102)输出的位流数据BSD供应到解多路分用器220。在解多路分用器220中，从位流数据BSD提取视频和音频的TS分组，并供应到各个解码器。在视频解码器221中，根据从解多路分用器220提取的视频分组重构视频的基本流，并且进一步执行解码处理，以获得包括左眼图像数据和右眼图像数据的立体图像数据。将该立体图像数据供应到视频重叠单元228。
此外，由视频解码器221重构的视频基本流供应到CC解码器233。在CC解码器233中，从视频基本流提取CC数据。然后，在CC解码器233中，从CC数据获取隐藏字幕信息(字幕的字符码)和进一步的对于每个字幕窗口(Caption Window)的重叠位置和显示时间的控制数据。隐藏字幕信息和对于重叠位置和显示时间的控制数据供应到立体图像CC产生单元234。
此外，由视频解码器221重构的视频基本流供应到视差信息提取单元235。在视差信息提取单元235中，从视频基本流提取视差信息。该视差信息与由上述CC解码器233获取的每个字幕窗口(Caption Window)的隐藏字幕数据(字幕的字符码)相关。视差信息提供到立体图像CC产生单元234。
在立体图像CC产生单元234中，对于每个字幕窗口(Caption Window)生成分别要重叠在左眼图像和右眼图像上的左眼隐藏字幕信息(caption)和右眼隐藏字幕信息(caption)的数据。基于由CC解码器233获得的隐藏字幕数据和重叠位置控制数据，并且基于由视差信息提取单元235提取的视差信息(视差矢量)执行该生成处理。
在立体图像CC产生单元234中，基于视差信息中包括的偏移目标指定信息，执行用于给予视差到左眼隐藏字幕信息和右眼隐藏字幕信息的任一或两者的偏移处理。在此情况下，当由视差信息提取单元235提取的视差信息是在各个帧中公用的视差信息时，基于公共视差信息将视差给予要重叠在左眼图像和右眼图像上的隐藏字幕信息。此外，当由视差信息提取单元235提取的视差信息是在各个帧中顺序更新的视差信息时，基于每帧更新的视差信息将视差给予要重叠在左眼图像和右眼图像上的隐藏字幕信息(见图116)。
以此方式，由立体图像CC产生单元234为每个字幕窗口(CaptionWindow)生成的左眼和右眼隐藏字幕信息项的数据(位图数据)与用于显示时间的控制数据一起供应到视频重叠单元228。在视频重叠单元228中，从立体图像CC产生单元234供应的隐藏字幕信息的数据重叠在由视频解码器221获得的立体图像数据(左眼图像数据、右眼图像数据)上，并且获得显示立体图像数据Vout。
此外，在音频解码器224中，从由解多路分用器220提取的音频的TS分组重构音频的基本流，并且进一步执行解码处理，以获得音频数据。将该音频数据供应到多声道扬声器控制单元229。在该多声道扬声器控制单元229中，对该音频数据执行用于生成多声道扬声器的音频数据以实现例如5.1声道环绕等的处理等、用于给出预定声场特性的处理等。然后，从该多声道扬声器控制单元229获得多声道扬声器的输出。
在图115所示的位流处理单元201D中，可以从视频基本流的有效载荷部分获取立体图像数据，此外，可以从报头部分的用户数据区域获取CC数据和视差信息。在此情况下，CC数据和视差信息包括在用户数据区域中，使得CC数据和视差信息可以通过用户数据标识信息(user_data_type_code)标识。因此，可以基于用户数据标识信息从用户数据区域有利地获取视差信息以及CC数据。
此外，在图115所示的位流处理单元201D中，可以使用适于隐藏字幕信息的视差信息将适当的视差给予到要重叠在左眼图像和右眼图像上的隐藏字幕信息。因此，在显示隐藏字幕信息时，信息和图像中每个对象之间的透视的一致性可以保持在最佳状态。
此外，在图115所示的位流处理单元201D中，基于添加到视差信息的偏移目标指定信息(select_view_shift)，可以指定仅偏移左眼隐藏字幕信息、仅偏移右眼隐藏字幕信息、或者偏移两者。换句话说，可以给予反映传输侧的强度的视差左眼隐藏字幕信息和右眼隐藏字幕信息。
此外，在图115所示的位流处理单元201D中，接收在隐藏字幕信息的显示时段期间在各个帧中公用的视差信息或者在各个帧中顺序更新的视差信息。可以使用标记信息(temporal_extension_flag)确定已经接收它们中的哪个。然后，在接收的视差信息是在各个帧中顺序更新的视差信息的情况下，可以根据图像的内容的改变动态改变要给到隐藏字幕信息的视差。此外，在接收的视差信息是在各个帧中公用的视差信息的情况下，可以减少处理负荷，并且还可以抑制存储视差信息的存储器的容量，尽管不能根据图像的内容的改变动态改变要给到隐藏字幕信息的视差。
注意到，作为示例，图115所示的位流处理单元201D已经在其使用限制于隐藏字幕信息的视差信息的接收的背景中说明。尽管省略详细描述，例如，也可以以类似方式配置接收和处理其使用限制于如字幕信息的任何其它重叠信息的视差信息的位流处理单元。
[机顶盒的另一配置示例]
图117图示了机顶盒200A的另一配置示例。在该图117中，对应于图102和图108的部分分配相同的标号，并且将适当地省略其详细描述。该机顶盒200A包括位流处理单元201D、HDMI端子202、天线端子203、数字调谐器204、视频和图形处理电路205A、HDMI传输单元206以及音频信号处理电路207。
此外，该机顶盒200A包括CPU 211、闪速ROM 212、DRAM 213、内部总线214、遥控接收单元215、遥控发送器216、网络端子217和以太网接口218。注意，“以太网”是注册商标。
位流处理单元201D从由数字调谐器204获得的位流数据BSD提取立体图像数据(左眼图像数据、右眼图像数据)、音频数据、重叠信息数据、视差信息(视差矢量)等。在该示例中，重叠信息数据是字幕数据。该位流处理单元201D具有大体上与图77中所示的位流处理单元201A类似的配置。
位流处理单元201D包括解多路分用器220A、视频解码器221、字幕解码器222A和音频解码器224。此外，该位流处理单元201D包括立体图像字幕产生单元226A、视频重叠单元228和视差矢量提取单元231。解多路分用器220A从位流数据BSD提取视频、音频和字幕的分组，并将分组发送到各个解码器。
视频解码器221从由解多路分用器220A提取的视频分组重构视频的基本流，并且执行解码处理，以获得包括左眼图像数据和右眼图像数据的立体图像数据。字幕解码器222A从由解多路分用器220A提取的字幕分组重构字幕的基本流。接下来，该字幕解码器222A进一步执行解码处理，以获得字幕数据。音频解码器224从由解多路分用器220A提取的音频分组重构音频的基本流，执行解码处理，以获得音频数据，并将音频数据输出到位流处理单元201的外部。
视差矢量提取单元231从通过视频解码器221获得的视频流提取嵌入在其用户数据区域中的视差矢量(视差信息组)。接下来，该视差矢量提取单元231将提取出的视差矢量提供到立体图像字幕产生单元226，并且此外将其输出到位流处理单元201D的外部。
立体图像字幕和图形产生单元226A生成要叠加在左眼图像和右眼图像上的左眼和右眼字幕信息。该生成处理基于由字幕解码器222A获得的字幕数据以及从视差矢量提取单元231提供的视差矢量(视差信息组)来执行。在这种情况下，左眼和右眼字幕信息项是同一信息。然而，例如图像内的右眼字幕信息或图形信息的重叠位置配置为相对于左眼字幕信息或图形信息在水平方向上偏移视差矢量的水平方向分量。接下来，该立体图像字幕生成单元226A输出左眼和右眼字幕信息项的数据(位图数据)。
视频重叠单元228将由字幕产生单元226A产生的左眼和右眼字幕信息项的数据重叠在由视频解码器221获得的立体图像数据(左眼图像数据、右眼图像数据)上，并且获得显示立体图像数据。注意，使用系统层的时间戳开始重叠信息数据在立体图像数据(左眼图像数据、右眼图像数据)上的重叠。接下来，该视频重叠单元228将显示立体图像数据输出到位流处理单元201D的外部。
以太网接口228经由网络端子227连接到未示出的网络(如，因特网)。以太网接口228还可以根据用户操作，例如使用窗口小部件(Widget)经由网络获取要经历图形显示的各种信息(如天气预报或股票视场信息)。该以太网接口228连接到内部总线214。
根据需要，视频/图形处理单元205A对从位流处理单元201D输出的显示立体图像数据执行图像质量调整处理。此外，该视频/图形处理单元205A例如将基于窗口小部件(Widget)的图形信息的数据重叠在从位流处理单元201D输出的显示立体图像数据上。
将从上述位流处理单元201D输出的视差矢量(视差信息组)提供到该视频/图形处理单元205A。视频/图形处理单元205A基于该视差矢量(视差信息组)，将视差给予要重叠在左眼图像和右眼图像上的相同图形信息。因此，在图像内根据每个对象的透视经历视差调整的图形信息可以用作要重叠在左眼图像和右眼图像上的相同图形信息，并且在该图形信息的显示中，可以维持信息和图像内每个对象之间的透视的一致性。
视频/图形处理单元205A将处理的显示立体图像数据提供到HDMI传输单元206。根据需要，音频信号处理电路207对从位流处理单元201D输出的音频数据执行音频质量调整处理等，并将处理的音频数据提供到HDMI传输单元206。HDMI传输单元206使用遵循HDMI的通信，从HDMI端子202传送基带图像(视频)和音频的数据。在这种情况下，HDMI传输单元206封装封装图像和音频数据，并且将数据输出到HDMI端子202以便使用HDMITMDS通道传输。
尽管将省略详细描述，但是图117中所示的机顶盒200A的其他组件以与图102中所示的机顶盒200A类似的方式配置。
将简要描述图117中所示的机顶盒200A的操作。将输入到天线端子203的电视广播信号供应到数字调谐器204。在该数字调谐器204中，处理电视广播信号，并获得支持用户选择的频道的预定位流数据BSD。将该位流数据BSD提供到位流处理单元201D。
在该位流处理单元201D中，从位流数据提取立体图像数据(左眼图像数据、右眼图像数据)、音频数据、字幕数据、视差矢量(视差信息组)等。此外，在该位流处理单元201D中，与立体图像数据组合字幕信息的数据，并且生成显示立体图像数据。
在这种情况，在位流处理单元201D中，基于视差矢量，将视差给予要重叠在左眼图像和右眼图像上的相同的字幕信息。因此，经历了根据图像内每一个对象的透视的视差调整的字幕信息可以用作要重叠在左眼图像和右眼图像上的相同的字幕信息，并且在该字幕信息的显示中，设计要维持信息和图像内每个对象之间的透视的一致性。
根据需要，由位流处理单元201D生成的显示立体图像数据经历通过视频/图像处理电路205A的图像质量调整处理。此外，在该视频/图形处理电路205A中，根据需要，基于窗口小部件(Widget)的图形信息的数据与由位流处理单元201D生成的显示立体图像数据组合。
在这种情况下，在视频/图形处理电路205A中，基于从位流处理单元201D提供的视差矢量(视差信息组)，将视差给予要重叠在左眼图像和右眼图像上的相同的图形信息。因此，经历了根据图像内每个对象的透视的视差调整的图形信息可以用作要重叠在左眼图像和右眼图像上的相同的图形信息，并且在该图形信息的显示中，设计要维持信息和图像内每个对象之间的透视的一致性。
将从视频/图形处理电路205A获得的处理的显示立体图像数据提供到HDMI传输单元206。此外，根据需要，由位流处理单元201D获得的音频数据经历通过音频信号处理电路207的音频质量调整，此后提供到HDMI传输单元206。通过HDMI的TMDS通道，将提供到HDMI传输单元206的立体图像数据和音频数据从HDMI端子202发送到HDMI线缆400。
在图117中所示的机顶盒200A中，在位流处理单元201D中，基于由位流处理单元201D的视差矢量提取单元231提取的视差矢量(视差信息组)，将视差给予要重叠在左眼图像和右眼图像的相同的字幕信息。此外，在视频/图形处理电路205A中，基于视差矢量(视差信息组)，将视差添加到要重叠在左眼图像和右眼图像上的相同的图形信息。因此，不仅在要从广播站发送的字幕信息而且在该机顶盒200A内产生的图形信息的显示时，可以设计为维持信息和图像内每个对象之间的透视的一致性。
图118图示了在图117中所示的机顶盒200A中，关于左眼图像和右眼图像的字幕信息和图形信息的重叠示例。图118(a)图示了左眼图像。在位流处理单元201D中，将字幕信息“Subtitle 1”重叠在位置(x1，y1)，并且将字幕信息“Subtitle 2”重叠在位置(x2，y2)。此外，在视频和图形处理电路205A中，将图形信息“Graphics 1”重叠在位置(x3，y3)。
图118(b)图示了右眼图像。在位流处理单元201D中，基于对应的视差矢量，将字幕信息“Subtitle 1”重叠在关于左眼图像的重叠位置偏移了偏移1(Offset 1)的位置。类似地，在该位流处理单元201D中，基于对应的视差矢量，将字幕信息“Subtitle 2”重叠在关于左眼图像的重叠位置偏移了偏移2(Offset 2)的位置。此外，在视频/图形处理电路205A中，将图形信息“Graphics 1”重叠在关于左眼图像的重叠偏移了偏移3(Offset 3)的位置。
注意，在图117中所示的机顶盒200A中，位流处理单元201D处理字幕信息，并且此外视频/图形处理电路205A处理图形信息。然而，还可以以类似的方式配置处理其他重叠信息的设备。
[电视接收机的描述]
返回参照图1，电视接收机300经由HDMI线缆400接收从机顶盒200发送的立体图像数据。该电视接收机300包括3D信号处理单元301。该3D信号处理单元301对立体图像数据执行与传输方法对应的处理(解码处理)，并且生成左眼图像数据和右眼图像数据。也就是说，该3D信号处理单元301执行与图2、图13、图15和图21中所示的传输数据生成单元110、110A、110B、110C中的视频成帧单元112相反的处理。接下来，该3D信号处理单元301获取形成立体图像数据的左眼图像数据和右眼图像数据。
[电视接收机的示例配置]
将描述电视接收机300的示例配置。图119图示了电视接收机300的示例配置。该电视接收机300包括3D信号处理单元301、HDMI端子302、HDMI接收单元303、天线端子304、数字调谐器305和位流处理单元306。
此外，该电视接收机300包括视频/图形处理电路307、面板驱动电路308、显示面板309、音频信号处理电路310、音频放大电路311和扬声器312。此外，该电视接收机300包括CPU 321、闪速ROM 322、DRAM 323、内部总线324、遥控接收单元325和遥控发送器326。
天线端子304是对其输入由接收天线(未示出)接收的电视广播信号的端子。数字调谐器305处理输入到天线端子304的电视广播信号，并输出与用户选择的频道对应的预定位流数据(传送流)。
位流处理单元306配置为具有与图102中所示的机顶盒200的位流处理单元201类似的配置。该位流处理单元306从位流数据提取立体图像数据(左眼图像数据、右眼图像数据)、音频数据、重叠信息数据、视差矢量(视差信息)等。重叠信息数据包括字幕数据、图形数据、文本数据(包括隐藏字幕数据)等。该位流处理单元306组合重叠信息数据与立体图像数据，并且获取显示立体图像数据。此外，位流处理单元306输出音频数据。
HDMI接收单元303使用遵循HDMI兼容的通信，经由HDMI线缆400接收提供到HDMI端子302的未压缩图像数据和音频数据。该HDMI接收单元303的版本假设为例如HDMI 1.4，并且可能处理立体图像数据。稍后将描述该HDMI接收单元303的细节。
3D信号处理单元301对由HDMI接收单元303接收的、或者由位流处理单元306获得的立体图像数据执行解码处理，并且生成左眼图像数据和右眼图像数据。在这种情况下，3D信号处理单元301对由位流处理单元306获得的立体图像数据执行与传输方法(参见图4)对应的解码处理。此外，3D信号处理单元301对由HDMI接收单元303接收的立体图像数据执行与稍后描述的TMDS传输数据结构对应的解码处理。
视频/图形处理电路307基于由3D信号处理单元301生成的左眼图像数据和右眼图像数据，生成用于显示立体图像的图像数据。此外，视频/图形处理电路307根据需要，对图像数据执行图像质量调整处理。此外，视频/图形处理电路307根据需要，与图像数据组合重叠信息(如菜单或节目指南)的数据。面板驱动电路308基于从视频/图形处理电路307输出的图像数据来驱动显示面板309。显示面板309例如由LCD(液晶显示器)、PDP(等离子显示面板)等构成。
音频信号处理电路310对由HDMI接收单元303接收的或者由位流处理单元306获得的音频数据执行必要的处理(如D/A转换)。音频放大电路311放大从音频信号处理电路310输出的音频信号，将得到的信号提供到扬声器312。
CPU 321控制电视接收机300的每个单元的操作。闪速ROM 322存储控制软件并且保持数据。DRAM 323形成CPU 321的工作区域。CPU 321将从闪速RAM 322读取的软件和数据扩展到DRAM 323，以启动软件，并且控制电视接收机300的每个单元。
遥控接收单元325接收从遥控发送器326发送的遥控信号(遥控代码)，并将遥控信号提供到CPU 321。CPU 321基于该遥控代码控制电视接收机300的每个单元。CPU 321、闪速ROM 322和DRAM 323连接到内部总线324。
将简要描述图119中所示的电视接收机300的操作。在HDMI接收单元303中，经由HDMI线缆400接收从连接到HDMI端子302的机顶盒200传输的立体图像数据和音频数据。将由该HDMI接收单元303接收到的该立体图像数据提供到3D信号处理单元301。此外，将由该HDMI接收单元303接收到的音频数据提供到音频信号处理单元310。
将输入到天线端子304的电视广播信号提供到数字调谐器305。在该数字调谐器305中，处理电视广播信号，并输出与用户选择的频道对应的预定位流数据(传送流)。
将从数字调谐器305输出的位流数据提供到位流处理单元306。在该位流处理单元306中，从位流数据提取立体图像数据(左眼图像数据、右眼图像数据)、音频数据、重叠信息数据、视差矢量(视差信息)等。此外，在该位流处理单元306中，与立体图像数据组合重叠信息(隐藏字幕信息、字幕信息、图形信息、文本信息)的数据，并产生显示立体图像数据。
将由位流处理单元306生成的显示立体图像数据提供到3D信号处理单元301。此外，将由位流处理单元306获得的音频数据提供到音频信号处理电路310。
在3D信号处理单元301中，对由HDMI接收单元303接收的或者由位流处理单元306获得的立体图像数据执行解码处理，并且生成左眼图像数据和右眼图像数据。将左眼图像数据和右眼图像数据提供到视频/图形处理电路307。在该视频/图形处理电路307，基于左眼图像数据和右眼图像数据，生成用于显示立体图像的图像数据，并且还根据需要执行图像质量调整处理或用于组合重叠信息数据的处理。
将由该视频/图形处理电路307获得的图像数据提供到面板驱动电路308。因此，通过使用显示面板309显示立体图像。例如，基于左眼图像数据的左眼图像和基于右眼图像数据的右眼图像以时分方式在显示面板309上交替地显示。通过配戴具有与显示面板309的显示同步地交替地打开的左眼快门和右眼快门的快门眼镜，观看者可以由左眼仅观看左眼图像，并且由右眼仅观看右眼图像，并且可以感受立体图像。
此外，在音频信号处理电路310中，对由HDMI接收单元303接收的或者由位流处理单元306获得的音频数据执行必要的处理，如D/A转换等。通过音频放大电路311放大该音频数据，然后将其提供到扬声器312。因此，从扬声器312输出音频。
[HDMI传输单元和HDMI接收单元的示例配置]
图120图示图1中的立体图像显示系统10中机顶盒200的HDMI传输单元(HDMI源)206和电视接收机300的HDMI接收单元(HDMI宿)303的配置示例。
在有效图像时段(在下文中，也适当地称为活动视频时段)中，HDMI传输单元206通过多个通道单向传输与一个屏幕的未压缩图像的像素数据对应的差分信号到HDMI接收单元303。这里，有效图像时段是从一个垂直同步信号到下一个垂直同步信号移除水平消隐时段和垂直消隐时段的时段。此外，在水平消隐时段或垂直消隐时段中，HDMI传输单元206通过多个通道单向向HDMI接收单元303传输与至少附接到图像的音频数据、控制数据、其他辅助数据等对应的差分信号。
由HDMI传输单元206和HDMI接收单元303形成的HDMI系统的传输通道包括以下传输通道。也就是说，存在用作用于与像素时钟同步的、从HDMI传输单元206到HDMI接收单元303的像素数据和音频数据的单向串行传输的传输通道的三个TMDS通道#0至#2。此外，存在用作传输像素时钟的传输通道的TMDS时钟通道。
HDMI传输单元206包括HDMI发送器81。发送器81例如将未压缩图像的像素数据转换为对应的差分信号，并通过作为多通道的三个TMDS通道#0、#1和#2将差分信号单向串行传输到经由HDMI线缆400连接的HDMI接收单元303。
此外，发送器81将附接到未压缩图像的音频数据以及此外必要的数据和其他辅助数据等转换为对应的差分信号，并通过三个TMDS通道#0、#1和#2将差分信号单向串行传输到HDMI接收单元303。
进一步，发送器81通过TMDS时钟通道，将与通过三个TMDS通道#0、#1和#2传输的像素数据同步的像素时钟传输到经由HDMI线缆400连接的HDMI接收单元303。这里，通过一个TMDS通道#i(i＝0，1，2)，在像素时钟的一个时钟期间传输10位像素数据。
HDMI接收单元303接收与通过多个通道在活动视频时段中，从HDMI传输单元206单向传输的像素数据对应的差分信号。此外，该HDMI接收单元303接收与通过使用多通道在水平消隐时段或垂直消隐时段中，从HDMI传输单元206单向传输的音频数据或控制数据对应的差分信号。
也就是说，HDMI接收单元303包括HDMI接收器82。该HDMI接收器82接收对应于像素数据的差分信号以及通过TMDS通道#0、#1和#2从HDMI传输单元206单向传输的对应于音频数据或控制数据的差分信号。在这种情况下，通过TMDS时钟通道与从HDMI传输单元206传输的像素时钟同步地接收差分信号。
除了上述TMDS通道#0至#2以及TMDS时钟通道之外，HDMI系统的传输通道还包括称为DDC(显示数据通道)83和CEC线84的传输通道。DDC 83由未示出的包括在HDMI线缆400中的两条信号线形成。DDC 83用于HDMI传输单元206从HDMI接收单元303读出E-EDID(增强扩展显示标识数据)。
也就是说，除了HDMI接收器81之外，HDMI接收单元303还包括已经在其中存储了作为关于其性能(配置/容量)的性能信息的E-EDID的EDIDROM(只读存储器)85。HDMI传输单元206例如根据来自CPU 211(参看图102)的请求，经由DDC 83从经由HDMI线缆400连接的HDMI接收单元303中读取E-EDID。
HDMI传输单元206将所读取的E-EDID发送到CPU 211。CPU 211在闪速ROM 212或DRAM 213中存储该E-EDID。CPU 211可以基于E-EDID识别HDMI接收单元303的性能设置。例如，CPU 211识别包括HDMI接收单元303的电视接收机300是否能够处理立体图像数据，而且在能够处理立体图像数据的情况下，进一步识别电视接收机300可以支持什么TMDS传输数据结构。
CEC线84由未示出的包括在HDMI线缆400中的一条信号线形成，并且用于在HDMI传输单元206与HDMI接收单元303之间的控制使用的数据的双向通信。该CEC线84形成控制数据线。
此外，HDMI线缆400包含连接到被称为HPD(Hot Plug Detect，热插拔检测)的管脚的线(HPD线)86。源设备可以通过利用该线86检测宿设备的连接。注意，该HPD线86也用作形成双向通信路径的HEAC-线。此外，HDMI线缆400包含用于从源设备向宿设备供电的线(电源线)87。此外，HDMI线缆400包含应用线88。该应用线88还用作形成双向通信路径的HEAC+线。
图121图示了在图120中的HDMI发送器81和HDMI接收器82的示例配置。HDMI发送器81包括分别与三个TMDS通道#0、#1和#2对应的三个编码器/串行化器81A、81B和81C。然后，编码器/串行化器81A、81B和81C中的每个编码供应到其的图像数据、辅助数据和控制数据，将它们从并行数据转换成串行数据，并使用差分信号传输得到的数据。这里，在图像数据包括例如R、G和B三个分量的情况下，将B分量供应到编码器/串行化器81A，将G分量供应到编码器/串行化器81B，而将R分量供应到编码器/串行化器81C。
此外，辅助数据的示例包括音频数据和控制分组。例如，将控制分组供应到编码器/串行化器81A，而将该音频数据供应到编码器/串行化器81B和81C。进一步，控制数据包括1-位垂直同步信号(VSYNC)、1-位水平同步信号(HSYNC)和1-位控制位CTL0、CTL1、CTL2和CTL3。将垂直同步信号和水平同步信号供应到编码器/串行化器81A。将控制位CTL0和CTL1供应到编码器/串行化器81B，而将控制位CTL2和CTL3供应到编码器/串行化器81C。
编码器/串行化器81A以时分方式发送供应到其的图像数据的B分量、垂直同步信号、水平同步信号和辅助数据。也就是说，编码器/串行化器81A将供应到其的图像数据的B分量设为以8位(其是固定位数)为单元的并行数据。进一步，编码器/串行化器81A编码并行数据，将其转换为串行数据，并通过TMDS通道#0传输串行数据。
此外，编码器/串行化器81A编码供应到其的垂直同步信号和水平同步信号(即，2-位并行数据)，将该数据转换为串行数据，并通过TMDS通道#0发送串行数据。进一步，编码器/串行化器81A将供应到其的辅助数据设为以4位为单元的并行数据。然后，编码器/串行化器81A编码并行数据，将其转换为串行数据，并通过TMDS通道#0传输串行数据。
编码器/串行化器81B以时分方式发送供应到其的图像数据的G分量、控制位CTL0和CTL1以及辅助数据。也就是说，编码器/串行化器81B将供应到其的图像数据的G分量设为以8位(其是固定位数)为单元的并行数据。进一步，编码器/串行化器81B编码并行数据，将其转换为串行数据，并通过TMDS通道#1传输串行数据。
此外，编码器/串行化器81B编码供应到其的控制位CTL0和CTL1(即，2-位并行数据)，将该数据转换为串行数据，并通过使用TMDS通道#1发送。进一步，编码器/串行化器81B将供应到其的辅助数据取为以4位为增量的并行数据。然后，编码器/串行化器81B编码其并行数据，转换为串行数据，并通过TMDS通道#1传输串行数据。
编码器/串行化器81C以时分方式发送供应到其的图像数据的R分量、控制位CTL2和CTL3以及辅助数据。也就是说，编码器/串行化器81C将供应到其的图像数据的R分量设为以8位(其是固定位数)为单元的并行数据。进一步，编码器/串行化器81C编码并行数据，将其转换为串行数据，并通过TMDS通道#2传输串行数据。
此外，编码器/串行化器81C编码供应到其的控制位CTL2和CTL3(即，2-位并行数据)，将该数据转换为串行数据，并通过TMDS通道#2传输串行数据。进一步，编码器/串行化器81C将供应到其的辅助数据设为以4位为单元的并行数据。然后，编码器/串行化器81C将并行数据编码为串行数据，并通过TMDS通道#2传输串行数据。
HDMI接收器82包括分别与三个TMDS通道#0、#1和#2对应的三个恢复/解码器82A、82B和82C。然后，恢复/解码器82A、82B和82C中的每个接收通过TMDS通道#0、#1和#2中的对应一个使用差分信号传输的图像数据、辅助数据和控制数据。进一步，恢复/解码器82A、82B和82C中的每个将图像数据、辅助数据和控制数据从串行数据转换成并行数据，并进一步解码和输出它们。
也就是说，恢复/解码器82A接收通过TMDS通道#0使用差分信号传输的图像数据的B分量、垂直同步信号、水平同步信号和辅助数据。然后，恢复/解码器82A将该图像数据的B分量、垂直同步信号、水平同步信号和辅助数据从串行数据转换成并行数据，并解码和输出它们。
恢复/解码器82B接收通过TMDS通道#1使用差分信号传输的图像数据的G分量、控制位CTL0和CTL1以及辅助数据。然后，恢复/解码器82B将该图像数据的G分量、控制位CTL0和CTL1以及辅助数据从串行数据转换成并行数据，并解码和输出它们。
恢复/解码器82C接收通过TMDS通道#2使用差分信号传输的图像数据的R分量、控制位CTL2和CTL3以及辅助数据。然后，恢复/解码器82C将该图像数据的R分量、控制位CTL2和CTL3以及辅助数据从串行数据转换成并行数据，并解码和输出它们。
图122图示了TMDS传输数据的示例结构。图122图示了在通过TMDS通道#0、#1和#2传输具有水平方向1920像素和垂直方向1080线的图像数据的情况下的各种传输数据时段。
通过HDMI的三个TMDS通道#0、#1和#2传输的传输数据的视频场(Video Field)，按照传输数据的类型，包括三种时段。该三种时段是视频数据时段(Video Data Period)、数据岛时段(Data Island Period)和控制时段(Control Period)。
这里，视频场时段是从某个垂直同步信号的上升沿(活动沿)到下一个垂直同步信号的上升沿的时段。这个视频场时段可以被分割成水平消隐时段(水平消隐)、垂直消隐时段(垂直消隐)和活动视频时段(活动视频)。该活动视频时段是通过从视频场时段移除水平消隐时段和垂直消隐时段获得的时段。
将视频数据时段分配给活动视频时段。在该视频数据时段中，传输具有1920像素×1080线的有效像素(Active Pixels)的数据(其形成一个屏幕的未压缩图像数据)。
将数据岛时段和控制时段分配给水平消隐时段和垂直消隐时段。在数据岛时段和控制时段中，传输辅助数据(Auxiliary data)。也就是说，将数据岛时段分配给水平消隐时段和垂直消隐时段的一部分。在该数据岛时段中，在辅助数据之中，传输与控制无关的数据，例如如音频数据的分组。
将控制时段分配给水平消隐时段和垂直消隐时段的另外部分。在该控制时段中，在辅助数据之中，传输与控制有关的数据，例如如垂直同步信号、水平同步信号和控制分组等。
图123图示了HDMI端子的示例管脚阵列。图123中所图示的管脚阵列被称为A型(type-A)。使用作为差分线的两条线传输作为TMDS通道#i的差分信号的TMDS数据#i+和TMDS数据#i-。该两条线连接到TMDS数据#i+分配到的管脚(具有管脚号1、4和7的管脚)以及TMDS数据#i-分配到的管脚(具有管脚号3、6和9的管脚)。
此外，传输作为控制使用的数据的CEC信号的CEC线84连接到管脚号为13的管脚。此外，经由其传输诸如E-EDID之类的SDA(Serial Data，串行数据)信号的线连接到管脚号为16的管脚。经由其传输作为用于在SDA信号的传输和接收期间同步的时钟信号的SCL(Serial Clock，串行时钟)信号的线连接到管脚号为15的管脚。上述DDC 83由经由其传输SDA信号的线和经由其传输SCL信号的线组成。
此外，如上所述，用于源设备检测宿设备的连接的HPD线(HEAC-线)86连接到管脚号为19的管脚。此外，应用线(HEAC+线)88连接到管脚号为14的管脚。此外，如上所述，经由其供电的线87连接到管脚号为18的管脚。
[E-EDID结构]
如上所述，HDMI传输单元206例如根据来自CPU 211(参看图102)的请求，经由DDC 83从经由HDMI线缆400连接的HDMI接收单元303中读取E-EDID。然后，CPU 211基于该E-EDID识别HDMI接收单元303的性能设置，例如，HDMI接收单元303是否能够处理立体图像数据。
图124图示了E-EDID的示例数据结构。E-EDID由基本块和扩展块形成。在基本块中，在开头处安排通过以“E-EDID 1.3基本结构”表示的E-EDID 1.3标准定义的数据。在该基本块中，随后安排用“优选定时”表示的用于确保与传统EDID的兼容性的定时信息。此外，在该基本块中，随后安排用不同于“优选定时”的“第二定时”表示的、用于保持与传统EDID的兼容性的定时信息。
此外，在基本块中，在“第二定时”之后，安排用“监视器名称”表示的、指示显示装置的名称的信息。在基本块中，随后，安排指示在由“监视器范围限制”表示的、高宽比为4∶3和16∶9的情况下可显示的像素数量的信息。
在扩展块的开头，安排“简短视频描述符”。这是指示可显示图像大小(分辨率)、帧速率和隔行还是逐行的信息。随后，安排“简短音频描述符”。这是诸如可再现音频编码解码方法、采样频率、截止带、编码解码位数之类的信息。随后，安排用“扬声器分配”表示的、关于左和右扬声器的信息。
此外，在扩展块中，在“扬声器分配”之后，安排用“厂商专用”表示的、对于每一个厂商唯一定义的数据。在扩展块中，随后安排由“第三定时”表示的、用于确保与传统EDID的兼容性的定时信息。在扩展块中，随后还安排由“第四定时”表示的、用于确保与传统EDID的兼容性的定时信息。
图125图示了厂商专用区域(HDMI厂商专用数据块)的示例数据结构。在该厂商专用区域中，提供作为1-字节块的第0块至第N块。
在第0块中，安排用“厂商专用标签代码(＝3)”表示的、指示数据“厂商专用”的数据区域的报头。此外，在该第0块中，安排用“长度(＝N)”表示的、指示数据“厂商专用”的长度的信息。此外，在第一块至第三块中，安排用“24位IEEE注册标识符(0x000C03)LSB在前”表示的、指示对于HDMI(R)注册的号码“0x000C03”的信息。此外，在第四块和第五块中，安排用“A”、“B”、“C”和“D”表示的、指示宿设备的24-位物理地址的信息。
在第六块中，安排用“Supports-AI”表示的、指示对应于宿设备的功能的标记。此外，在该第六块中，安排用“DC-48位”，“DC-36位”和“DC-30位”表示的、指定每个像素的位数的各条信息。此外，在该第六块中，还安排用“DC-Y444”表示的、指示宿设备是否支持YCbCr 4∶4∶4的图像传输的标记。进一步，在该第六块中，安排用“DVI-Dual”表示的、指示宿设备是否支持双重DVI(数字视频接口)的标记。
此外，在第七块中，安排用“Max-TMDS-Clock”表示的、指示TMDS像素时钟的最大频率的信息。此外，在第八块的第六位和第七位，安排用“等待时间”表示的、指示存在/不存在视频和音频的延迟信息的标记。此外，在该第八块的第五位，安排用“HDMI_Video_present”表示的、指示附加HDMI视频格式(3D，4k×2k)的处理是否可用的标记。
此外，在第九块中，安排用“视频等待时间”表示的、逐行视频的延迟时间数据，而在第十块中，安排用“音频等待时间”表示的、伴随该逐行视频的音频的延迟时间数据。此外，在第十一块中，安排用“隔行视频等待时间”表示的、隔行视频的延迟时间数据。进一步，在第十二块中，安排用“隔行音频等待时间”表示的、伴随该隔行视频的音频的延迟时间数据。
此外，在第十三块的第七位中，安排用“3D_present”表示的、指示是否3D图像数据的处理是否可用的标记。此外，在第十四块的第七至第五位中，安排用“HDMI_VIC_LEN”表示的、指示安排在未示出的第十五块及其后中的强制3D数据以外的、可以处理的数据结构的块大小信息。此外，在第十四块的第四至第零位，安排用“HDMI_3D_LEN”表示的、指示安排在未示出的第十五块及其后中的、可以处理的4k×2k的视频格式的块大小信息。
[立体图像数据的TMDS传输数据结构]
图126图示了作为立体图像数据的一种TMDS传输数据结构的帧封装(Frame Packing)方法的3D视频格式(3D Video Format)。该3D视频格式是用于将逐行扫描(progressive)的左眼(L)和右眼(R)图像数据作为立体图像数据传输的格式。
在该3D视频格式中，传输以1920×1080p或1080×720p像素格式的图像数据作为左眼(L)和右眼(R)图像数据。注意，在图93中，图示了左眼(L)图像数据和右眼(R)图像数据中的每一个都具有1920线×1080像素的示例。
使用该3D视频格式，生成这样的传输数据：其中，包括水平消隐时段(Hblank)、垂直消隐时段(Vblank)和活动视频部分(Hactive×Vactive)的视频场时段用作一个单元，其由垂直同步信号分割。在该3D视频格式中，活动视频时段具有两个活动视频区域(Active Video)和在其间的一个活动空区域(Active space)。左眼(L)图像数据被放置在第一活动视频区域，而右眼(R)图像数据被放置在第二活动视频区域。
图127图示了在作为立体图像数据的一种TMDS传输数据结构的行交替(Line alternative)方法的3D视频格式(3D Video Format)。该3D视频格式是用于将逐行的左眼(L)和右眼(R)图像数据作为立体图像数据发送的格式。在该3D视频格式中，作为左眼(L)和右眼(R)图像数据，传输以1920×1080p像素格式的图像数据。
使用该3D视频格式，生成这样的传输数据：其中，包括水平消隐时段(Hblank)、垂直消隐时段(2×Vblank)和活动视频部分(Hactive×2Vactive)的视频场时段用作一个单元，其由垂直同步信号分割。在该3D视频格式中，在活动视频时段中，交替地安排左眼图像数据的一行和右眼图像数据的一行。
图128图示了作为立体图像数据的一种TMDS传输数据结构的并排(side-by-side)(Full，全)方法的3D视频格式(3D Video Format)。该3D视频格式是用于将逐行的左眼(L)和右眼(R)图像数据作为立体图像数据传输的格式。在该3D视频格式中，作为左眼(L)和右眼(R)图像数据，传输以1920×1080p像素格式的图像数据。
使用该3D视频格式，生成这样的传输数据：其中，包括水平消隐时段(2×Hblank)、垂直消隐时段(Vblank)和活动视频部分(2Hactive×Vactive)的视频场时段用作一个单元，其由垂直同步信号分割。在该3D视频格式中，在活动视频时段中，在水平方向的前一半中放置左眼(L)图像数据，而在水平方向的后一半中放置右眼(R)图像数据。
注意，虽然省略了详细描述，但是在HDMI 1.4中，除了在上述图126至128中所图示的3D视频格式之外，还定义用作立体图像数据的TMDS传输数据结构的3D视频格式。例如，定义了帧封装(用于隔行格式的帧封装)方法、场交替(Field alternative)方法、并排(side-by-side)(Half，半)方法等。
如上所述，在图1中所示的立体图像显示系统10中，基于关于左眼图像数据和右眼图像数据之一相对于的另一个的视差信息，将视差给予要重叠在左眼图像数据和右眼图像数据上的相同的重叠信息(如隐藏字幕信息、字幕信息、图形信息、或文本信息)。因此，可以采用根据图像内的每个对象的透视而经历了视差调整的重叠信息用作要重叠在左眼图像数据和右眼图像数据上的相同的重叠信息，并且在重叠信息的显示时，可以维持重叠信息和图像内每个对象之间的透视的一致性。
<2.示例修改>
注意，在以上实施例中，为了将一个分量元素ID与多个视差矢量相关联，在DHI内安排信息“number_of_mutiple_link”(图54、图55)。根据该“number_of_mutiple_link”，预先指定要与分量元素ID相关联的视差矢量的数量。然而，例如，还可构思这样的方法：其中，将连接标记(Connect_flag)添加到分区位置ID(Partition_position_id)，将一个分量元素ID与多个视差矢量相关联。
图129图示了将分量元素ID与视差矢量相关联的方法的示例。这里，隐藏字幕信息的分量元素ID是窗口ID(window_id)。此外，字幕信息的分量元素ID是区域ID(region_id)。为了将分量元素ID与视差矢量相关联，例如，将分量元素ID与指示视差矢量所属的屏幕区域的直到13位的分区位置ID相关联。
该分区位置ID添加有1位连接标记(Connect_flag)。在将一个分量元素ID与一个视差矢量相关联的情况下，如图129所示，该分量元素ID与一个分区位置ID相关联。在这种情况下，添加到该一个分区位置ID的连接标记被设置为“0”，这指示不存在随后的分区位置ID与之相关联。
此外，在将一个分量元素ID与两个视差矢量相关联的情况下，如图129所示，该分量元素ID与两个分区位置ID相关联。在这种情况下，添加到第一分区位置ID的连接标记被设置为“1”，这指示存在随后的分区位置ID进一步相关联。接下来，添加到第二分区位置ID的连接标记被设置为“0”，这指示不存在随后的分区位置ID与之相关联。
注意，尽管在图129中未图示，但是在将一个分量元素ID与三个或更多个视差矢量相关联的情况下，这与上述将一个分量元素ID与两个视差矢量相关联的情况下的处理类似。添加到直至最后分区位置ID之前的分区位置ID的连接标记设置为“1”，并且仅将添加到最后分区位置ID的连接标记设置为“0”。
此外，在以上实施例中，已经图示了这样的示例：其中，立体图像显示系统10由广播站100、机顶盒200和电视接收机300构成。然而，如图119中所示，电视接收机300包括以与机顶盒200内的位流处理单元201等价的方式运行的位流处理单元201。因此，如图130所示，也可构思由广播站100和电视接收机300构成的立体图像显示系统10A。
此外，在上述实施例中，已经图示了这样的示例：其中，从广播站广播100广播包括立体图像数据的数据流(位流数据)。然而，当然，本发明也可以类似地应用于具有如下配置的系统：其中，通过利用网络(如因特网)将该数据流分发至接收端。
此外，在上述实施例中，图示了机顶盒200和电视接收机300之间经由HDMI数字接口连接。然而，当然，本发明甚至可以应用于这样的情况：其中，经由类似于HDMI数字接口的数字接口(除了有线之外包括无线)将它们相互连接。
本申请参照日本专利申请No.2009-153686。
工业实用性
本发明可以应用于在图像上重叠重叠信息(如隐藏字幕信息、字幕信息、图形信息、或文本信息)并且显示得到的图像的立体图像显示系统等。
附图标记列表
10，10A立体图像显示系统；100广播站；110，110A至100E传输数据生成单元；111L，111R相机；112视频成帧单元；113视频编码器；113a流格式化器；114视差矢量检测单元；115视差矢量编码器；116麦克风；117音频编码器；118字幕/图形产生单元；119字幕/图形编码器；119a流格式化器；120文本产生单元；121文本编码器；122多路复用器；124字幕/图形处理单元；125文本处理单元；130数据提取单元；130a数据记录介质；131视差信息组创建单元；132视差信息创建单元；133CC编码器；200，200A机顶盒；201，201A、201B、201C、201D位流处理单元；202HDMI端子；203天线端子；204数字调谐器；205视频信号处理电路；205A视频/图形处理单元；206HDMI传输单元；207音频信号处理电路；211CPU；212闪速ROM；213DRAM；214内部总线；215遥控接收单元；216遥控发送器；220，220A解多路分用器；221视频解码器；222字幕/图形解码器；222A223文本解码器；224音频解码器；225字幕解码器，视频矢量解码器；226立体图像字幕/图形产生单元；226A立体图像字幕产生单元；227立体图像文本产生单元；228视频重叠单元；229多声道扬声器控制单元；231视差矢量提取单元；232视差信息提取单元；300电视接收机；3013D信号处理单元；302HDMI端子；303HDMI接收单元；304天线端子；305数字调谐器；306位流处理单元；307视频/图形处理电路；308面板驱动电路；309显示面板；310音频信号处理电路；311音频放大电路；312扬声器；321CPU；322闪速ROM；323DRAM；324内部总线；325遥控接收单元；326遥控发送器；400HDMI线缆。

Claims (14)

1.一种立体图像数据传输装置，包括：
立体图像数据输出单元，其输出包括左眼图像数据和右眼图像数据的立体图像数据；
重叠信息数据输出单元，其输出要重叠在基于左眼图像数据和右眼图像数据的图像上的重叠信息的数据；
视差信息输出单元，其输出用于通过偏移要重叠在基于左眼图像数据和右眼图像数据的图像上的重叠信息给出视差的视差信息；以及
传输单元，其传输从立体图像数据输出单元输出的立体图像数据、从重叠信息数据输出单元输出的重叠信息的数据、以及从视差信息输出单元输出的视差信息，
其中传输单元
使用相同的基本流传输至少视差信息和重叠信息的数据，使得能够通过标识信息标识视差信息和重叠信息的数据。
2.如权利要求1所述的立体图像数据传输装置，其中重叠信息数据已经添加了用于指示是否存在与重叠信息的数据相关联的视差信息的标记信息。
3.如权利要求1所述的立体图像数据传输装置，
其中视差信息包括要在预定数目的屏幕区域中使用的一条或多条视差信息，并且
其中视差信息已经添加了指示一条视差信息是否由预定数目的屏幕区域共享的共享信息。
4.如权利要求1所述的立体图像数据传输装置，
其中视差信息是特定服务使用的视差信息或通用视差信息，并且
其中视差信息已经添加了用于标识特定服务使用的视差信息和通用视差信息的使用信息。
5.如权利要求4所述的立体图像数据传输装置，
其中当视差信息是特定服务使用的视差信息时，视差信息是属于其中要显示重叠信息的区域的视差信息，并且
其中当视差信息是通用视差信息时，视差信息是属于通过将屏幕划分为预定数目的部分所获得的每个子区域的视差信息。
6.如权利要求1所述的立体图像数据传输装置，
其中视差信息是在其期间显示重叠信息的预定数目的帧的时段期间公用的视差信息，或者是在预定数目的帧的时段期间顺序更新的视差信息，并且
其中视差信息已经添加了指示在各个帧中公用的视差信息或者在各个帧中顺序更新的视差信息的标记信息。
7.如权利要求6所述的立体图像数据传输装置，
其中在各个帧中顺序更新的视差信息包括关于预定数目的帧的时段期间的第一帧的视差信息，以及关于第二和随后帧相对于关于之前帧的视差信息的偏移信息。
8.如权利要求1所述的立体图像数据传输装置，
其中视差信息已经添加了偏移目标信息，其基于要重叠在基于左眼图像数据的图像上的重叠信息以及要重叠在基于右眼图像数据的图像上的重叠信息中的视差信息，指定要偏移的重叠信息。
9.一种立体图像数据接收装置，包括：
接收单元，其接收包括左眼图像数据和右眼图像数据的立体图像数据、要重叠在基于左眼图像数据和右眼图像数据的图像上的重叠信息的数据、以及用于通过偏移要重叠在基于左眼图像数据和右眼图像数据的图像上的重叠信息给出视差的视差信息；以及
图像数据处理单元，其使用由接收单元接收的立体图像数据中包括的左眼图像数据和右眼图像数据、由接收单元接收的视差信息、以及由接收单元接收的重叠信息的数据，给出视差到要重叠在左眼图像和右眼图像上的相同的重叠信息，并且获得其上已经重叠重叠信息的左眼图像的数据以及其上已经重叠重叠信息的右眼图像的数据，
其中使用相同的基本流至少传输由接收单元接收的视差信息和重叠信息的数据，使得能够通过标识信息标识视差信息和重叠信息的数据。
10.一种立体图像数据传输装置，包括：
立体图像数据输出单元，其输出包括左眼图像数据和右眼图像数据的立体图像数据；
重叠信息数据输出单元，其输出要重叠在基于左眼图像数据和右眼图像数据的图像上的重叠信息的数据；
视差信息输出单元，其输出用于通过偏移要重叠在基于左眼图像数据和右眼图像数据的图像上的重叠信息给出视差的视差信息；以及
传输单元，其传输包括从立体图像数据输出单元输出的立体图像数据、从重叠信息数据输出单元输出的重叠信息的数据、以及从视差信息输出单元输出的视差信息的传送流，
其中传送流中已经插入指示传送流中包括的每个基本流属于哪个节目的PSI信息和SI信息，并且
其中至少包括用于标识包含视差信息的基本流的标识信息的描述符安排在PSI信息或SI信息中的预定位置。
11.如权利要求10所述的立体图像数据传输装置，
其中在基本流环路中安排描述符，其中安排标识包含重叠信息的数据的基本流的标识信息。
12.如权利要求10所述的立体图像数据传输装置，
其中描述符中已经描述指示包含重叠信息的数据的基本流是否包含视差信息的标记信息。
13.如权利要求10所述的立体图像数据传输装置，
其中视差信息是特定服务使用的视差信息或通用视差信息，并且
其中描述符中已经描述了用于标识特定服务使用的视差信息和通用视差信息的使用信息。
14.一种立体图像数据接收装置，包括：
数据获取单元，其从传送流获取包括左眼图像数据和右眼图像数据的立体图像数据、要重叠在基于左眼图像数据和右眼图像数据的图像上的重叠信息的数据、以及用于通过偏移要重叠在基于左眼图像数据和右眼图像数据的图像上的重叠信息给出视差的视差信息；以及
图像数据处理单元，其使用由数据获取单元获取的立体图像数据中包括的左眼图像数据和右眼图像数据、由数据获取单元获取的视差信息、以及由数据获取单元获取的重叠信息的数据，给出视差到要重叠在左眼图像和右眼图像上的相同的重叠信息，并且获得其上已经重叠重叠信息的左眼图像的数据以及其上已经重叠重叠信息的右眼图像的数据，
其中传送流中已经插入指示传送流中包括的每个基本流属于哪个节目的PSI信息和SI信息，并且
其中至少包括用于标识包含视差信息的基本流的标识信息的描述符安排在PSI信息或SI信息中的预定位置。
CN201080009863.5A 2009-06-29 2010-06-22 立体图像数据传输装置和立体图像数据接收装置 Expired - Fee Related CN102342113B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP2009153686 2009-06-29
JP2009-153686 2009-06-29
JP2010065272A JP5407968B2 (ja) 2009-06-29 2010-03-19 立体画像データ送信装置および立体画像データ受信装置
JP2010-065272 2010-03-19
PCT/JP2010/060586 WO2011001858A1 (ja) 2009-06-29 2010-06-22 立体画像データ送信装置および立体画像データ受信装置

Publications (2)

Publication Number Publication Date
CN102342113A true CN102342113A (zh) 2012-02-01
CN102342113B CN102342113B (zh) 2014-09-17

Family

ID=43410935

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201080009863.5A Expired - Fee Related CN102342113B (zh) 2009-06-29 2010-06-22 立体图像数据传输装置和立体图像数据接收装置

Country Status (5)

Country Link
US (1) US8860782B2 (zh)
EP (1) EP2451171A4 (zh)
JP (1) JP5407968B2 (zh)
CN (1) CN102342113B (zh)
WO (1) WO2011001858A1 (zh)

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201116041A (en) * 2009-06-29 2011-05-01 Sony Corp Three-dimensional image data transmission device, three-dimensional image data transmission method, three-dimensional image data reception device, three-dimensional image data reception method, image data transmission device, and image data reception
US8760498B2 (en) * 2011-03-14 2014-06-24 Sony Corporation Disparity data transport in standard caption service
US9049426B2 (en) * 2010-07-07 2015-06-02 At&T Intellectual Property I, Lp Apparatus and method for distributing three dimensional media content
US20120044321A1 (en) * 2010-08-18 2012-02-23 Electronics And Telecommunications Research Institute Apparatus and method for monitoring broadcasting service in digital broadcasting system
JP2012044625A (ja) * 2010-08-23 2012-03-01 Sony Corp 立体画像データ送信装置、立体画像データ送信方法、立体画像データ受信装置および立体画像データ受信方法
JP5454444B2 (ja) * 2010-10-01 2014-03-26 ソニー株式会社 立体画像データ送信装置、立体画像データ送信方法、立体画像データ受信装置および立体画像データ受信方法
JP2013021415A (ja) * 2011-07-07 2013-01-31 Sony Corp 送信装置、送信方法および受信装置
JP2013026696A (ja) * 2011-07-15 2013-02-04 Sony Corp 送信装置、送信方法および受信装置
WO2013018489A1 (ja) * 2011-08-04 2013-02-07 ソニー株式会社 送信装置、送信方法および受信装置
JP2013051660A (ja) * 2011-08-04 2013-03-14 Sony Corp 送信装置、送信方法および受信装置
JPWO2013031156A1 (ja) * 2011-08-26 2015-03-23 パナソニック株式会社 映像処理システム、送信装置、受信装置、送信方法、受信方法及びコンピュータプログラム
JP2013066075A (ja) * 2011-09-01 2013-04-11 Sony Corp 送信装置、送信方法および受信装置
US9407897B2 (en) 2011-09-30 2016-08-02 Panasonic Intellectual Property Management Co., Ltd. Video processing apparatus and video processing method
WO2013074160A1 (en) * 2011-11-14 2013-05-23 General Instrument Corporation Association of mvc stereoscopic views to left or right eye display for 3dtv
JP2013126048A (ja) * 2011-12-13 2013-06-24 Sony Corp 送信装置、送信方法、受信装置および受信方法
EP2672713A4 (en) * 2012-01-13 2014-12-31 Sony Corp TRANSMISSION DEVICE, TRANSMISSION METHOD, RECEIVING DEVICE, AND RECEIVING METHOD
WO2013108531A1 (ja) * 2012-01-19 2013-07-25 ソニー株式会社 受信装置、受信方法および電子機器
CN106851239B (zh) 2012-02-02 2020-04-03 太阳专利托管公司 用于使用视差信息的3d媒体数据产生、编码、解码和显示的方法和装置
WO2013121823A1 (ja) * 2012-02-16 2013-08-22 ソニー株式会社 送信装置、送信方法および受信装置
KR101998892B1 (ko) 2012-03-01 2019-07-10 소니 주식회사 송신 장치, 송신 방법 및 수신 장치
WO2013172142A1 (ja) * 2012-05-17 2013-11-21 ソニー株式会社 送信装置、送信方法、受信装置および受信方法
TWI517669B (zh) * 2012-06-05 2016-01-11 晨星半導體股份有限公司 影像的同步方法及其裝置
BR112014032108B1 (pt) 2012-06-28 2022-12-27 Sony Corporation Dispositivos transmissor, receptor, de codificação e de decodificação, e, métodos de transmissão e de recepção
US9762889B2 (en) * 2013-05-08 2017-09-12 Sony Corporation Subtitle detection for stereoscopic video contents
US10979689B2 (en) * 2014-07-16 2021-04-13 Arris Enterprises Llc Adaptive stereo scaling format switch for 3D video encoding

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1774937A (zh) * 2003-04-17 2006-05-17 夏普株式会社 三维图像生成装置、三维图像再现装置、三维图像处理装置、三维图像处理程序及记录该程序的记录介质
CN101013507A (zh) * 2006-01-30 2007-08-08 日本电气株式会社 三维处理装置、信息终端、计算机程序和三维处理方法
US20080192067A1 (en) * 2005-04-19 2008-08-14 Koninklijke Philips Electronics, N.V. Depth Perception
JP4190357B2 (ja) * 2003-06-12 2008-12-03 シャープ株式会社 放送データ送信装置、放送データ送信方法および放送データ受信装置
US20090142041A1 (en) * 2007-11-29 2009-06-04 Mitsubishi Electric Corporation Stereoscopic video recording method, stereoscopic video recording medium, stereoscopic video reproducing method, stereoscopic video recording apparatus, and stereoscopic video reproducing apparatus

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11289555A (ja) * 1998-04-02 1999-10-19 Toshiba Corp 立体映像表示装置
US20060103664A1 (en) 2002-08-27 2006-05-18 Sharp Kabushiki Kaisha Contents reproduction device capable of reproducing a contents in optimal reproduction mode
JP2004274125A (ja) * 2003-03-05 2004-09-30 Sony Corp 画像処理装置および方法
JP4535954B2 (ja) 2005-04-18 2010-09-01 日本電信電話株式会社 ２眼式立体表示装置およびプログラム
JP2006325165A (ja) 2005-05-20 2006-11-30 Excellead Technology:Kk テロップ発生装置、テロップ発生プログラム、及びテロップ発生方法
US8711203B2 (en) 2006-10-11 2014-04-29 Koninklijke Philips N.V. Creating three dimensional graphics data
KR101362941B1 (ko) * 2006-11-01 2014-02-17 한국전자통신연구원 스테레오스코픽 콘텐츠 재생에 이용되는 메타 데이터의복호화 방법 및 장치
JP2008164367A (ja) 2006-12-27 2008-07-17 Matsushita Electric Ind Co Ltd 固体撮像装置、カメラ、車両及び監視装置
JP4942106B2 (ja) 2007-06-27 2012-05-30 独立行政法人情報通信研究機構 奥行データ出力装置及び奥行データ受信装置
SE531899C2 (sv) 2007-07-10 2009-09-01 Agency 9 Ab System för grafikhantering
JP2009101822A (ja) 2007-10-23 2009-05-14 Mazda Motor Corp 車両の追従走行制御装置
KR100955578B1 (ko) * 2007-12-18 2010-04-30 한국전자통신연구원 스테레오스코픽 콘텐츠 장면 재생 방법 및 그 장치
JP2009153686A (ja) 2007-12-26 2009-07-16 Lion Corp 床用清掃シート
BRPI0914459A2 (pt) * 2008-10-21 2015-10-27 Koninkl Philips Electronics Nv "método para processar um sinal de vídeo de entrada tridimensional compreendendo múltiplas visualizações, produto de programa de computador e sistema para processar um sinal de vídeo de entrada tridimensional compreendendo múltiplas visualizações"
US9013551B2 (en) 2008-12-01 2015-04-21 Imax Corporation Methods and systems for presenting three-dimensional motion pictures with content adaptive information
EP2356820B1 (en) * 2008-12-02 2017-07-19 LG Electronics Inc. 3d caption display method and 3d display apparatus for implementing the same
AU2010215135B2 (en) 2009-02-17 2016-05-12 Koninklijke Philips Electronics N.V. Combining 3D image and graphical data
JP5407957B2 (ja) * 2009-06-29 2014-02-05 ソニー株式会社 立体画像データ送信装置および立体画像データ受信装置
JP2012100102A (ja) * 2010-11-02 2012-05-24 Sony Corp 立体画像データ送信装置、立体画像データ送信方法、立体画像データ受信装置および立体画像データ受信方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1774937A (zh) * 2003-04-17 2006-05-17 夏普株式会社 三维图像生成装置、三维图像再现装置、三维图像处理装置、三维图像处理程序及记录该程序的记录介质
JP4190357B2 (ja) * 2003-06-12 2008-12-03 シャープ株式会社 放送データ送信装置、放送データ送信方法および放送データ受信装置
US20080192067A1 (en) * 2005-04-19 2008-08-14 Koninklijke Philips Electronics, N.V. Depth Perception
CN101013507A (zh) * 2006-01-30 2007-08-08 日本电气株式会社 三维处理装置、信息终端、计算机程序和三维处理方法
US20090142041A1 (en) * 2007-11-29 2009-06-04 Mitsubishi Electric Corporation Stereoscopic video recording method, stereoscopic video recording medium, stereoscopic video reproducing method, stereoscopic video recording apparatus, and stereoscopic video reproducing apparatus

Also Published As

Publication number Publication date
EP2451171A1 (en) 2012-05-09
CN102342113B (zh) 2014-09-17
US8860782B2 (en) 2014-10-14
US20110134210A1 (en) 2011-06-09
JP5407968B2 (ja) 2014-02-05
JP2011030193A (ja) 2011-02-10
EP2451171A4 (en) 2014-04-02
WO2011001858A1 (ja) 2011-01-06

Similar Documents

Publication Publication Date Title
CN102342113B (zh) 立体图像数据传输装置和立体图像数据接收装置
CN102177724B (zh) 立体图像数据传输装置、立体图像数据发送方法、立体图像数据接收装置和立体图像数据接收方法
CN102342112B (zh) 立体图像数据发送装置、立体图像数据发送方法、立体图像数据接收装置和立体图像数据接收方法
US8937642B2 (en) Stereo image data transmitting apparatus and stereo image data receiving apparatus
CN102342111A (zh) 立体图像数据传输装置、立体图像数据传输方法、立体图像数据接收装置、以及立体图像数据接收方法
CN102210155B (zh) 发送立体图像数据的立体图像数据发送装置和方法
TWI437873B (zh) Three-dimensional image data transmission device, three-dimensional image data transmission method, three-dimensional image data receiving device and three-dimensional image data receiving method
WO2011001851A1 (ja) 立体画像データ送信装置、立体画像データ送信方法、立体画像データ受信装置、立体画像データ受信方法、画像データ送信装置および画像データ受信装置
CN102177723A (zh) 立体图像数据发送器、用于发送立体图像数据的方法和立体图像数据接收器
CN102172034A (zh) 图像数据发送设备、控制方法和程序
JP2011166757A (ja) 送信装置、送信方法および受信装置
CN103039084A (zh) 三维图像数据发送设备、三维图像数据发送方法、三维图像数据接收设备和三维图像数据接收方法
CN102771131A (zh) 立体图像数据发送装置、立体图像数据发送方法、立体图像数据接收装置和立体图像数据接收方法
CN103168476A (zh) 发送器、发送方法以及接收器
CN103053166A (zh) 立体图像数据发送设备、立体图像数据发送方法和立体图像数据接收设备

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20140917

Termination date: 20150622

EXPY Termination of patent right or utility model