CN102342111A - 立体图像数据传输装置、立体图像数据传输方法、立体图像数据接收装置、以及立体图像数据接收方法 - Google Patents

立体图像数据传输装置、立体图像数据传输方法、立体图像数据接收装置、以及立体图像数据接收方法 Download PDF

Info

Publication number
CN102342111A
CN102342111A CN2010800098211A CN201080009821A CN102342111A CN 102342111 A CN102342111 A CN 102342111A CN 2010800098211 A CN2010800098211 A CN 2010800098211A CN 201080009821 A CN201080009821 A CN 201080009821A CN 102342111 A CN102342111 A CN 102342111A
Authority
CN
China
Prior art keywords
data
image data
eye image
information
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2010800098211A
Other languages
English (en)
Inventor
塚越郁夫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN102342111A publication Critical patent/CN102342111A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/24—Systems for the transmission of television signals using pulse code modulation
    • H04N7/52—Systems for transmission of a pulse code modulated video signal with one or more other pulse code modulated signals, e.g. an audio signal or a synchronizing signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/156—Mixing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/178—Metadata, e.g. disparity information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/183—On-screen display [OSD] information, e.g. subtitles or menus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23614—Multiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4348—Demultiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/488—Data services, e.g. news ticker
    • H04N21/4884—Data services, e.g. news ticker for displaying subtitles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/139—Format conversion, e.g. of frame-rate or size
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Library & Information Science (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

在显示字幕信息、图形信息等时保持图像中每个对象之间透视感的相容性。视频成帧单元(112)根据传输系统处理左眼图像数据和右眼图像数据，以便获得用于传输的三维图像数据。字幕/图形生成单元(118)生成如字幕信息的重叠信息的数据。Z数据单元(127)输出对如字幕信息的重叠信息的每组数据相关联的视差信息(视差矢量)。字幕/图形编码器(19)将视差信息嵌入包括如字幕信息的数据的数据流。多路复用器(122)将来自编码器的数据流多路复用，以便获得要传输的位流数据(BSD)。

Description

立体图像数据传输装置、立体图像数据传输方法、立体图像数据接收装置、以及立体图像数据接收方法
技术领域
本发明涉及立体图像数据传输装置、立体图像数据传输方法、立体图像数据接收装置、以及立体图像数据接收方法，并且更具体地涉及能够根据希望显示如字幕信息、图形信息或文本信息的重叠信息的立体图像数据传输装置等。
背景技术
例如，在PTL 1中，提出了使用电视广播电波传输立体图像数据的方法。在此情况下，传输包括左眼图像数据和右眼图像数据的立体图像，并且电视接收机利用双眼视差执行立体图像显示。
图55图示了利用双眼视差的立体图像显示中屏幕上对象的左和右图像的显示位置与立体图像的再现位置之间的关系。例如，对于以如图所示的方式，显示其左图像La和右图像Ra在屏幕上分别向右和向左偏移的对象A，立体图像的再现位置位于屏幕表面的前面，因为左和右视线在屏幕表面的前面交叉。
同样，例如，对于以如图所示的方式，显示其左图像Lb和右图像Rb在屏幕上相同位置的对象B，立体图像的再现位置位于屏幕表面上，因为左和右视线在屏幕表面上交叉。此外，例如，对于以如图所示的方式，显示其左图像Lc和右图像Rc在屏幕上分别向左和向右偏移的对象C，立体图像的再现位置位于屏幕表面的后面，因为左和右视线在屏幕表面的后面交叉。
引用列表
专利文献
PTL 1：日本未审专利申请公开No.2005-6114
发明内容
技术问题
如上所述，在立体图像显示中，通常观看者通过利用双眼视差感觉立体图像的透视。希望要重叠在图像上的重叠信息(例如，如字幕信息、图形信息或文本信息)不但在二维空间方面而且在三维深度感方面与立体图像显示相关联地表现。
例如，在作为字幕信息的字幕要在图像上重叠并且显示(覆盖显示)的情况下，如果字幕在透视方面不在图像中最近对象的前面显示，则观看者可能感觉透视的不一致。此外，同样希望在其它图形信息或文本信息要在图像上重叠和显示的情况下，根据图像中每个对象的透视执行视差调整以便保持透视的一致性。
本发明的目的是在如字幕信息、图形信息或文本信息的重叠信息的显示中，在重叠信息和图像中的每个对象之间保持透视的一致性。
对于问题的解决方案
本发明的概念在于一种立体图像数据传输装置，包括：
第一数据流生成单元，其生成第一数据流，该第一数据流包括用于显示立体图像的左眼图像数据和右眼图像数据；
视差信息输出单元，其输出视差信息，该视差信息用于给出视差到要重叠在基于左眼图像数据和右眼图像数据的图像上的重叠信息；
第二数据流生成单元，其生成第二数据流，该第二数据流包括重叠信息的数据并且具有嵌入其中的从视差信息输出单元输出的视差信息；以及
数据传输单元，其多路复用由第一数据流生成单元生成的第一数据流和由第二数据流生成单元生成的第二数据流，并且传输多路复用流。
在本发明中，由第一数据流生成单元生成包括用于显示立体图像的左眼图像数据和右眼图像数据的第一数据流。此外，由视差信息输出单元输出用于给出视差到要重叠在基于左眼图像数据和右眼图像数据的图像上的重叠信息的视差信息。
例如，视差信息输出单元配置为包括视差信息确定单元，该视差信息确定单元根据基于左眼图像数据和右眼图像数据的图像的内容，确定每条重叠信息的数据的视差信息，并且输出由视差信息确定单元确定的视差信息。在此情况下，例如，视差信息确定单元配置为包括视差信息检测单元，该视差信息检测单元在基于左眼图像数据和右眼图像数据的图像中的多个位置，检测关于左眼图像和右眼图像之一相对于另一的视差信息，并且对于每条重叠信息的数据，确定由视差信息检测单元检测到的多条视差信息中在对应于重叠位置的检测位置检测到的视差信息。
此外，例如，视差信息输出单元配置为包括视差信息设置单元，该视差信息设置单元对于每条重叠信息的数据设置视差信息，并且输出由视差信息设置单元设置的视差信息。在视差信息设置单元中，例如，通过预定程序处理或用户的手动操作对每条重叠信息的数据设置视差信息。
例如，根据重叠位置设置不同条的视差信息，或者设置公共视差信息而不管重叠位置。可替代地，对于每种重叠信息设置不同条的视差信息。这里，重叠信息的类型例如是如字幕信息、图形信息或文本信息的类型。此外，重叠信息的类型例如是通过重叠位置、重叠持续时间等分类的类型。
此外，例如，视差信息输出单元配置为包括视差信息确定单元和视差信息设置单元，该视差信息确定单元对于每条重叠信息的数据，根据基于左眼图像数据和右眼图像数据的图像的内容确定视差信息，该视差信息设置单元对于每条重叠信息的数据设置视差信息，并且视差信息设置单元选择性地输出由视差信息确定单元确定的视差信息，或者由视差信息设置单元设置的视差信息。
此外，由第二数据流生成单元生成包括重叠信息的数据并且具有嵌入其中的从视差信息输出单元输出的视差信息。然后，由输出传输单元多路复用由第一数据流生成单元生成的第一数据流和由第二数据流生成单元生成的第二数据流并且传输。
以此方式，在本发明中，传输包括用于显示立体图像的左眼图像数据和右眼图像数据的第一数据流，以及包括重叠信息的数据并且具有嵌入其中的视差信息的第二数据流。因此，在接收侧，已经根据图像中每个对象的透视经历视差调整的重叠信息可以用作要重叠在左眼图像和右眼图像上的相同的重叠信息(如字幕信息、图形信息或文本信息)，并且可能在重叠信息的显示时保持重叠信息和图像中的每个对象之间的一致性。
此外，本发明的另一概念在于一种立体图像数据接收装置，包括：
数据接收单元，其接收第一数据流和第二数据流的多路复用数据，该第一数据流包括用于显示立体图像数据的左眼图像数据和右眼图像数据，该第二数据流包括要重叠在基于左眼图像数据和右眼图像数据的图像上的重叠信息的数据，并且具有嵌入其中的视差信息，该视差信息用于给出视差到要重叠在基于左眼图像数据和右眼图像数据的图像上的重叠信息；
图像数据获取单元，其从由数据接收单元接收的第一数据流获取左眼图像数据和右眼图像数据；
重叠信息数据获取单元，其从由数据接收单元接收的第二数据流获取重叠信息的数据；
视差信息获取单元，其从由数据接收单元接收的第二数据流获取视差信息；以及
图像数据处理单元，其使用由图像数据获取单元获取的左眼图像数据和右眼图像数据、由重叠信息数据获取单元获取的重叠信息的数据、以及由视差信息获取单元获取的视差信息，给出视差到要重叠在左眼图像和右眼图像上的相同的重叠信息，并且图像数据处理单元获得其上已经重叠了重叠信息的左眼图像数据和其上已经重叠了重叠信息的右眼图像数据。
在本发明中，由数据接收单元接收第一数据流和第二数据流的多路复用数据。该第一数据流包括用于显示立体图像数据的左眼图像数据和右眼图像数据。该第二数据流包括要重叠在基于左眼图像数据和右眼图像数据的图像上的重叠信息的数据，并且具有嵌入其中的视差信息，该视差信息用于给出视差到要重叠在基于左眼图像数据和右眼图像数据的图像上的重叠信息。
由图像数据获取单元从由数据接收单元接收的第一数据流获取左眼图像数据和右眼图像数据。此外，由重叠信息数据获取单元从由数据接收单元接收的第二数据流获取重叠信息的数据。此外，由视差信息获取单元从由数据接收单元接收的第二数据流获取视差信息。
然后，由图像数据处理单元使用左眼图像数据、右眼图像数据、重叠信息的数据、以及视差信息，给出视差到要重叠在左眼图像和右眼图像上的相同的重叠信息，并且获得其上已经重叠了重叠信息的左眼图像数据和其上已经重叠了重叠信息的右眼图像数据。例如，由图像数据处理单元获得的包括左眼图像数据和右眼图像数据的立体图像数据通过图像数据传输单元传输到外部设备。
以此方式，基于视差信息给出视差到要重叠在左眼图像和右眼图像上的相同的重叠信息。因此，已经根据图像中每个对象的透视经历视差调整的重叠信息可以用作要重叠在左眼图像和右眼图像上的相同的重叠信息，并且可能在重叠信息的显示时保持重叠信息和图像中的每个对象之间的一致性。
此外，本发明的另一概念在于一种立体图像数据传输装置，包括：
图像数据获取单元，其获取用于显示立体图像的左眼图像数据和右眼图像数据；
视差信息获取单元，其获取关于在图像中的预定位置左眼图像和右眼图像之一相对于另一的视差信息；以及
数据传输单元，其将由视差信息获取单元获取的视差信息与包括由图像数据获取单元获取的左眼图像数据和右眼图像数据的立体图像数据一起传输。
在本发明中，由图像数据获取单元获取用于显示立体图像的左眼图像数据和右眼图像数据。此外，由视差信息获取单元获取关于在图像中的预定位置左眼图像和右眼图像之一相对于另一的视差信息。例如，基于左眼图像数据和右眼图像数据设计视差信息，使得使用块匹配方法等确定视差矢量作为视差信息。此外，例如，视差信息设计为预先记录在存储介质上。此外，例如，视差信息设计为基于用户的手动设置。
例如，在图像数据获取单元中，从其上相互关联地记录左眼图像数据、右眼图像数据和视差信息的数据记录介质获取左眼图像数据和右眼图像数据，并且在视差信息获取单元中，从数据记录介质获取视差信息。由视差信息获取单元获取的视差信息与包括由图像数据获取单元获取的左眼图像数据和右眼图像数据的立体图像数据一起由数据传输单元传输。
在本发明中，例如，可以进一步提供重叠信息数据获取单元，其获取要重叠在基于左眼图像数据和右眼图像数据的图像上的重叠信息的数据，并且数据传输单元可以配置为将由视差信息获取单元获取的视差信息和由重叠信息数据获取单元获取的重叠信息，与由图像数据获取单元获取的包括左眼图像数据和右眼图像数据的立体图像数据一起传输。
以此方式，图像中预定位置的视差信息与包括左眼图像数据和右眼图像数据的立体图像数据一起传输。因此，在接收侧，已经根据图像中每个对象的透视经历视差调整的重叠信息可以用作要重叠在左眼图像和右眼图像上的相同的重叠信息，并且可能在重叠信息的显示时保持重叠信息和图像中的每个对象之间的一致性。
此外，本发明的另一概念在于一种立体图像数据接收装置，包括：
数据接收单元，其与包括左眼图像数据和右眼图像数据的立体图像数据一起，接收关于在图像中的预定位置左眼图像和右眼图像之一相对于另一的视差信息；以及
图像数据处理单元，其使用由数据接收单元接收的立体图像数据中包括的左眼图像数据和右眼图像数据和视差信息，给出视差到要重叠在左眼图像设右眼图像上的相同的重叠信息，并且图像数据处理单元获得其上已经重叠了重叠信息的左眼图像数据和其上已经重叠了重叠信息的右眼图像数据。
在本发明中，由数据接收单元与包括左眼图像数据和右眼图像数据的立体图像数据一起，接收关于在图像中的预定位置左眼图像和右眼图像之一相对于另一的视差信息。由图像数据处理单元基于视差信息给出视差到要重叠在左眼图像和右眼图像上的相同的重叠信息。然后，由图像数据处理单元获得其上已经重叠了重叠信息的左眼图像数据和其上已经重叠了重叠信息的右眼图像数据。
以此方式，基于关于左眼图像和右眼图像之一相对于另一的视差信息，给出视差到要重叠在左眼图像和右眼图像上的相同的重叠信息。因此，已经根据图像中每个对象的透视经历视差调整的重叠信息可以用作要重叠在左眼图像和右眼图像上的相同的重叠信息，并且可能在重叠信息的显示时保持重叠信息和图像中的每个对象之间的一致性。
此外，本发明的另一概念在于一种数据记录介质，其中已经存储用于显示立体图像的左眼图像数据和右眼图像数据，并且已经在其上与左眼图像数据和右眼图像数据相关联地记录关于在图像中的预定位置的左眼图像和右眼图像之一相对于另一的视差信息。
在本发明中，用于显示立体图像的左眼图像数据和右眼图像数据、以及关于在图像中的预定位置的左眼图像和右眼图像之一相对于另一的视差信息相互关联地记录。因此，可以从数据记录介质获取要传输的左眼图像数据和右眼图像数据，此外，还可以从相同的数据记录介质获取要与其相关联传输的视差信息。
在本发明中，例如，进一步与左眼图像数据和右眼图像数据相关联地记录要重叠在基于左眼图像数据和右眼图像数据的图像上的重叠信息的数据。在此情况下，还可以从相同的数据记录介质获取要与左眼图像数据和右眼图像数据相关联传输的重叠信息的数据。
本发明的有益效果
根据本发明，在立体图像数据的接收侧，已经根据图像中每个对象的透视经历视差调整的重叠信息可以用作要重叠在左眼图像和右眼图像上的相同的重叠信息，并且可能在重叠信息(如字幕信息、图形信息或文本信息)的显示时保持重叠信息和图像中的每个对象之间的一致性。
附图说明
图1是图示作为本发明的实施例的立体图像显示系统的示例配置的框图。
图2是图示广播站中的传输数据生成单元的示例配置的框图。
图3是图示1920×1080p像素格式的图像数据的图。
图4是包括描述作为立体图像数据(3D图像数据)传输方法的“上下(Top& Bottom)”方法、“并排(Side By Side)”方法和“帧顺序(Frame Sequential)”方法的图。
图5是描述检测右眼图像相对于左眼图像的视差矢量的示例的图。
图6是描述使用块匹配方法确定视差矢量的图。
图7包括图示视差由矢量检测单元检测到的、图像中的预定位置处的视差矢量VV的示例的图。
图8是图示视差矢量的传输内容的图。
图9包括图示视差检测块示例以及在这种情况下视差矢量的传输内容的图。
图10包括描述用于检测和传输视差矢量的定时的示例的图。
图11是描述用于检测和传输视差矢量的定时的示例的图。
图12是图示在传输数据生成单元中多路复用的数据流的示例的图。
图13是图示广播站中的传输数据生成单元的另一示例配置的框图。
图14包括用于描述在传输方法为第一传输方法(“上下”方法)的情况下左眼图形信息和右眼图形信息的重叠位置等的图。
图15包括描述在传输方法为第一传输方法(“上下”方法)的情况下用于生成左眼图形信息和右眼图形信息的方法的图。
图16包括描述在传输方法为第二传输方法(“并排”方法)的情况下用于生成左眼图形信息和右眼图形信息的方法的图。
图17是描述在传输方法为第二传输方法(“并排”方法)的情况下用于生成左眼图形信息和右眼图形信息的方法的图。
图18是图示广播站中的传输数据生成单元的另一示例配置的框图。
图19是图示广播站中的传输数据生成单元的另一示例配置的框图。
图20是图示对于如字幕信息或图形信息的每条重叠信息输出视差信息的Z数据单元的视频配置的框图。
图21是描述“位置”和“区域大小”的信息的图。
图22是图示“页”、“区域”、“物理显示大小”、“Subtitle_Display_Area”等之间关系的图。
图23是图示传统“page_composion_segment”的语法的图。
图24是图示传统“region_composion_segment”的语法的图。
图25是图示其中定义“Region_Disparity_offset”的page_composion_segment”的语法的图。
图26是图示其中定义“region_disparity_offset_far1”、“region_disparity_offset_far2”和“region_disparity_offset_far3”的“region_composion_segment”的语法的图。
图27是图示要嵌入由“Region_Disparity_offset”、“region_disparity_offset_far1”、“region_disparity_offset_far2”和“region_disparity_offset_far3”构成的视差信息的15位区域的图。
图28是图示15位区域中视差信息的位安排的另一示例的图。
图29是图示在传输数据生成单元中多路复用的图像数据流和字幕或者图形数据流的示例的图。
图30包括图示在传输方法是第二传输方法(“并排”方法)的情况下左眼图像信息和右眼图形信息的重叠位置的图。
图31包括图示将基于从位流数据提取的并且使用传统方法传输的图形数据的图形图像照原样重叠在左眼图像和右眼图像上的状态的图。
图32包括图示在时间T0、T1、T2和T3时在三个对象位置的视差矢量(观察矢量)的图。
图33是图示图像上的字幕(图形信息)、以及背景、前景对象和字幕的透视(perspective)的显示示例的图。
图34包括图示图像上的字幕(图形信息)以及用于显示字幕的左眼图形信息LGI和右眼图形信息RGI的显示示例的图。
图35包括描述在图像中的多个位置处检测到的视差矢量中与其重叠位置对应的视差矢量用作视差矢量的图。
图36包括图示在图像中存在对象A、B和C并且指示每个对象的注解的文本信息重叠在邻近对象的位置上的图。
图37是图示机顶盒的示例配置的框图。
图38是图示机顶盒中包括的位流处理单元的示例配置的框图。
图39是图示在电视显示器的方向上观看时在左手侧的视频对象具有大视差矢量VV1的情况下，扬声器输出控制示例的图。
图40是图示机顶盒中包括的位流处理单元的另一示例配置的框图。
图41是图示机顶盒中包括的位流处理单元的另一示例配置的框图。
图42是图示机顶盒中包括的位流处理单元的另一示例配置的框图。
图43是图示电视接收机的示例配置的框图。
图44是图示HDMI传输单元(HDMI源)和HDMI接收单元(HDMI宿)的示例配置的框图。
图45是图示HDMI传输单元中包括的HDMI传输器以及HDMI接收单元中包括的HDMI接收器的示例配置的框图。
图46是图示TMDS传输数据的示例结构(在传输具有水平方向1920像素和垂直方向1080行的图像数据的情况下)的图。
图47是图示在源设备和宿设备之间连接的HDMI线缆的HDMI端子的管脚阵列(类型A)的图。
图48是图示在第一传输方法(“上下”方法)中TMDS传输数据的示例的图。
图49是图示在第二传输方法(“并排”方法)中TMDS传输数据的示例的图。
图50是图示在第三传输方法(“帧顺序”方法)中TMDS传输数据的示例的图。
图51包括描述在HDMI 1.4(新HDMI)中的“帧顺序”方法和在HDMI1.3(传统HDMI)中的“帧顺序”方法的图。
图52是图示机顶盒中包括的位流处理单元的另一示例配置的框图。
图53是图示广播站中的传输数据生成单元的另一示例配置的框图。
图54是图示立体图像显示系统的另一个示例配置的图。
图55是图示利用双眼视差的立体图像显示中屏幕上对象的左右图像的显示位置与立体图像的再现位置之间的关系的图。
具体实施方式
以下将描述用于执行本发明的方式(以下称为“实施例”)。注意，该描述将按以下顺序给出。
1.实施例
2.示例修改
[立体图像传输和接收系统的示例配置]
图1图示了作为实施例的立体图像传输和接收系统10的配置示例。该立体图像传输和接收系统10包括广播站100、机顶盒(STB：Set Top Box)200和电视接收机300。
机顶盒200和电视接收机300经由HDMI(高清晰度多媒体接口)线缆400相互连接。机顶盒200提供有HDMI端子202。电视接收机300提供有HDMI端子302。HDMI线缆400的一端连接到机顶盒200的HDMI端子202，而HDMI线缆400的另一端连接到电视接收机300的HDMI端子302。
[广播站的描述]
广播站100传输在广播波上携带位流数据。该位流数据包含包括左眼图像数据和右眼图像数据的立体图像数据、音频数据、以及重叠信息数据，还包含视差信息(视差矢量)等。这里，重叠信息数据是字幕数据、图形数据、文本数据等。
[传输数据生成单元的示例配置]
图2图示生成上述位流数据的广播站100中的传输数据生成单元110的配置示例。这个示例配置是传输视差矢量作为数字信息的示例。该传输数据生成单元110包括相机111L和111R、视频成帧单元112、视频编码器113、视差矢量检测单元114和视差矢量编码器115。
此外，该传输数据生成单元110包括麦克风116、音频编码器117。此外该传输数据生成单元110包括字幕/图形产生单元118、字幕/图形编码器119、文本产生单元120、文本编码器121和多路复用器122。
相机111L捕获左眼图像并且获得用于立体图像显示的左眼图像数据。相机111R捕获右眼图像并且获得用于立体图像显示的右眼图像数据。视频成帧单元112将由相机111L获得的左眼图像数据以及由相机111R获得的右眼图像数据修改和处理为根据传输方法的状态。
[立体图像数据的传输方法的示例]
尽管这里给出以下第一至第三方法作为立体图像数据(3D图像数据)的传输方法，但是可以使用任何其它传输方法。这里如图3所示，将在这样的情况的背景下给出描述：左眼(L)和右眼(R)的每个图像数据是具有确定的分辨率(例如，作为示例，1920×1080p的像素格式)的图像数据。
第一传输方法是“上下”方法，如图4(a)所示，其是这样的方法：在垂直方向的上一半中传输左眼图像数据的每一行的数据，而在垂直方向的下一半中传输右眼图像数据的每一行的数据。在这种情况下，因为左眼图像数据和右眼图像数据的行被稀疏到1/2，所以垂直分辨率减小到原始信号的分辨率的一半。
第二传输方法是“并排”方法，如图4(b)所示，其是这样的方法：在水平方向的前一半中发送左眼图像数据的像素数据，而在水平方向的后一半中发送右眼图像数据的像素数据。在这种情况下，左眼图像数据和右眼图像数据的每一个的水平方向上的像素数据稀疏到1/2。水平分辨率是当前信号的一半。
第三传输方法是“帧顺序”方法，如图4(c)所示，其是这样的方法：在对于每一场顺序切换左眼图像数据和右眼图像数据的同时，发送这些左眼图像数据和右眼图像数据。
返回图2，视频编码器113使用MPEG4-AVC，MPEG2，VC-1等对由视频成帧单元112修改和处理的立体图像数据执行编码，以获得编码视频数据。此外，视频编码器113在其后级包括流格式化器113a。流格式化器113a允许生成视频的基本流，该视频的基本流在有效载荷部分包括视频数据。
视差矢量检测单元114基于左眼图像数据和右眼图像数据检测视差矢量，该视差矢量是图像内预定位置处左眼图像和右眼图像之一相对于另一个的视差信息。这里，图像内的预定位置包括所有像素位置、多个像素形成的每一个区域的代表性位置、要重叠重叠信息(这里字幕信息、图形信息或文本信息)的区域的代表性位置等。
[视差矢量的检测]
将描述视差矢量的检测示例。这里，将给出对于检测右眼图像相对于左眼图像的视差矢量的示例的描述。如图5所示，假设将左眼图像是检测图像，并且右眼图像是参考图像。在该示例中，检测位置(xi，yi)和(xj，yj)处的视差矢量。
作为示例，将对于检测位置(xi，yi)处的视差矢量的情况进行描述。在这种情况下，例如其左上像素在像素位置(xi，yi)的8×8或16×16的像素块(视差检测块)Bi设置在左眼图像中。然后，在右眼图像中搜索匹配像素块Bi的像素块。
在这种情况下，在右眼图像中设置以位置(xi，yi)作为中心的搜索范围，并且例如通过将搜索范围中的每个像素当作感兴趣像素，顺序地设置与上述像素块Bi类似的8×8或16×16的对照块。
对于每一个对应像素确定像素块Bi与顺序设置的每个对照块之间的绝对差值的总和。这里，如图6所图示，当像素块Bi的像素值由L(x，y)表示，并且对照块的像素值由R(x，y)表示时，像素块Bi与某个对照块之间的绝对差值的总和被表示为∑|L(x，y)-R(x，y)|。
当在右眼图像中设置的搜索范围包括n个像素时，最终确定n个总和S1至Sn，并且选择它们中的最小总和Smin。然后，从对其获得了总和Smin的对照块获得左上像素的位置(xi′，yi′)。从而，以如(xi′-xi，yi′-yi)的方式检测位置(xi，yi)处的视差矢量。虽然将省略详细描述，但是同样通过在左眼图像中设置其左上像素处于位置(xj，yj)的例如8×8或16×16的像素块，使用类似处理步骤检测在位置(xj，yj)的视差矢量。
图7(a)图示图像中的预定位置处的视差矢量VV(其由视差矢量检测单元114检测)的示例。这种情况意味着：如图7(b)所示，在该图像内的预定位置，移位视差矢量VV的左眼图像(检测图像)与右眼图像(参考图像)叠加。
返回参考图2，视差矢量编码器115生成视差矢量基本流，其包括由视差矢量检测单元114等检测到的视差矢量。这里，视差矢量基本流包括下列内容。即，将ID(ID_Block)、垂直位置信息(Vertical_Position)、水平位置信息(Horizontal_Position)和视差矢量(View_Vector)设置为一组。然后，将这个组重复N(其数量等于视差检测块的数量)次。图8图示了视差矢量的传输内容。视差矢量包括垂直方向分量(View_Vector_Vertical)和水平方向分量(View_Vector_Horizontal)。
注意到，视差检测块的垂直和水平位置是在垂直方向和水平方向上从图像的左上原点到该块的左上像素的偏移值。对于每一个视差矢量的传输分配视差检测块的ID，以便确保到要在图像上重叠和显示的重叠信息式样(诸如字幕信息、图形信息、或文本信息)的链接。
例如，如图9(a)所示，当存在视差检测块A至F时，如图9(b)所示，传输内容包括视差检测块A至F的ID、垂直和水平位置信息和视差矢量。例如，在图9(b)中，对于视差检测块A，ID2指示视差检测块A的ID，(Ha，Va)指示视差检测块A的垂直和水平位置信息，而视差矢量a指示视差检测块A的视差矢量。
这里，将描述检测和传输视差矢量的定时。关于该定时，例如，可以想到下列第一至第四示例。
在第一示例中，如图10(a)所示，该定时与画面的编码同步。在这种情况下，以画面的单元传输视差矢量。画面的单元是传输视差矢量的最小单元。在第二示例中，如图10(b)所示，该定时与视频场景同步。在这种情况下，以场景的单位传输视差矢量。
在第三示例中，如图10(c)所示，该定时与编码视频的I-画面(帧内画面)或GOP(画面组)同步。在第四示例中，如图11所示，该定时与要在图像上重叠和显示的图形信息、文本信息等的显示开始定时同步。
返回参照图2，麦克风116检测与使用相机111L和111R拍摄的图像对应的音频，并且获得音频数据。音频编码器117对由麦克风116获得的音频数据执行使用MPEG-2音频AAC等的压缩和编码，并且生成音频的基本流。
字幕/图形产生单元118产生要重叠在图像上的字幕信息和图形信息的数据(字幕数据、图形数据)。字幕信息例如是字幕。此外，图形信息例如是徽标(logo)等。字幕数据或图形数据是位图数据。字幕数据或图形数据添加有指示在图像上的重叠位置的空闲(idling)偏移信息。
该空闲偏移信息指示例如在垂直方向和水平方向上从图像的左上原点到字幕信息或图形图像的重叠位置的左上像素的偏移值。注意，通过DVB(其为欧洲的数字广播标准)将用以将字幕数据作为位图数据传输的标准标准化为DVB_Subtitling，并且所述标准在操作中。
字幕/图形编码器119接收由字幕/图形产生单元118产生的字幕信息或图形信息的数据(字幕数据、图形数据)作为输入。然后，字幕/图形编码器119生成在有效载荷部分中包括这些数据块的基本流。
文本产生单元120产生要重叠在图像上的文本信息的数据(文本数据)。文本信息例如是电子节目指南、文本广播的内容等。与上述图形数据类似，该文本数据添加有指示在图像上的重叠位置的空闲偏移信息。该空闲偏移信息指示在垂直方向和水平方向上从图像的左上原点到文本信息的重叠位置的左上像素的偏移值。注意，文本数据的传输的示例包括作为节目预约操作的EPG以及美国的数字地面规范ATSC中的CC数据(隐藏字幕)。
文本编码器121接收由文本产生单元120产生的文本数据作为输入。然后，文本编码器121生成在有效载荷部分中包括这些数据块的基本流。
多路复用器122多路复用从编码器113、115、117、119和121输出的分组基本流。然后，多路复用器122输出位流数据(传送流)BSD作为传输数据。
将简要地描述在图2中所示的传输数据生成单元110的操作。在相机111L中，拍摄左眼图像。将由相机111L获得的用于立体图像显示的左眼图像数据提供到视频成帧单元112。此外，在相机111R中，拍摄右眼图像。将由相机111R获得的用于立体图像显示的右眼图像数据提供到视频成帧单元112。在视频成帧单元112中，将左眼图像数据和右眼图像数据修改和处理为根据传输方法的状态，并且获得立体图像数据(参见图4(a)至4(c))。
将由视频成帧单元112获得的立体图像数据提供到视频编码器113。在视频编码器113中，对立体图像数据执行使用MPEG4-AVC、MPEG2、VC-1等的编码，并生成包括编码视频数据的视频基本流。将该视频基本流提供到多路复用器122。
此外，通过视频成帧单元112将由相机111L和111R获得的左眼图像数据和右眼图像数据提供到视差矢量检测单元114。在视差矢量检测单元114中，基于左眼图像数据和右眼图像数据，将视差检测块设置到图像中的预定位置，并检测作为关于左眼图像和右眼图像之一相对于另一个的视差信息的视差矢量。
将由视差矢量检测单元114检测到的图像内预定位置的视差矢量提供到视差矢量编码器115。在这种情况下，视差检测块的ID、视差检测块的垂直位置信息、视差检测块的水平位置信息和视差矢量作为一组传递。在视差矢量编码器115中，生成包括视差矢量的传输内容的视差矢量基本流(参见图8)。将视差矢量基本流提供到多路复用器122。
此外，在麦克风116中，检测与使用相机111L和111R拍摄的图像对应的音频。将由该麦克风116获得的音频数据提供到音频编码器117。在音频编码器117中，对音频数据执行使用MPEG-2音频AAC等的编码，并且生成包括编码音频数据的音频基本流。将该音频基本流提供到多路复用器122。
此外，在字幕/图形生成单元118中，产生要在图像上重叠的字幕信息和图形信息的数据(字幕数据、图形数据)。将该数据(位图数据)提供到字幕/图形编码器119。字幕数据或图形数据被添加了指示在图像上的重叠位置的空闲偏移信息。在字幕/图形编码器119中，对字幕数据或图形数据执行预定编码，并且生成包括编码数据的基本流。将该基本流提供到多路复用器122。
此外，在文本生成单元120中，产生要在图像上重叠的文本信息的数据(文本数据)。将该文本数据提供到文本编码器121。类似于上述图形数据，文本数据被添加了指示在图像上的重叠位置的空闲偏移信息。在文本编码器121中，对该文本数据执行预定编码，并且生成包括编码数据的基本流。将该基本流提供到多路复用器122。
在多路复用器122中，多路复用从各个编码器提供的基本流的分组，并获得用作传输数据的位流数据(传送流)BSD。
图12图示了在图2所示的传输数据生成单元110中多路复用的各个数据流的示例。注意，该示例指示了以视频场景的单位检测并传输视差矢量的情况(参见图10(b))。注意，用于同步显示的时间戳被添加到了每个流的分组，并且在接收侧可以控制在图像上重叠字幕信息、图形信息、文本信息等的定时。
注意，在图2所示的传输数据生成单元110中，作为视差数据，传输使用块匹配方法等由视差矢量检测单元114确定的视差矢量作为视差信息。然而，如何获取视差信息不限于该方法。例如，视差信息可以预先记录在存储介质上。此外，例如，视差信息的获取可以基于用户的手动设置。这也类似于下文中图示的传输数据生成单元的另一配置示例。
[传输数据生成单元的另一示例配置]
注意，图2中图示的上述传输数据生成单元110配置为将视差矢量的传输内容(参见图8)传输到接收侧作为独立基本流。然而，也可以想到，在嵌入另一流中的状态下传输视差矢量的传输内容。例如，在嵌入作为用户数据的视频流中的状态下传输视差矢量的传输内容。此外，例如，在嵌入字幕、图形或文本的流中的状态下传输视差矢量的传输内容。
图13图示传输数据生成单元110A的示例配置。这个示例也是传输视差矢量作为数字信息的示例。该传输数据生成单元110A配置为在将视差的传输内容嵌入作为用户数据的视频流的状态下传输该视差矢量的传输内容。在图13中，与图2中的那些对应的部分分配相同标号，并且省略了其详细描述。
在传输数据生成单元110A中，将由视差矢量检测单元114检测到的图像中的预定位置处的视差矢量提供到视频编码器113中的流格式化器113a。在这种情况下，视差检测块的ID、视差检测块的垂直位置信息、视差检测块的水平位置信息和视差矢量作为一组传递。在流格式化器113a中，将视差矢量的传输内容(参见图8)嵌入作为用户数据的视频流。
虽然省略了详细描述，但是在图13中图示的传输数据生成单元110A的其他组件以与在图2中图示的传输数据生成单元110的那些组件类似的方式配置，并且以类似方式运行。
[传输数据生成单元的另一示例配置]
此外，图2中所示的上述传输数据生成单元110和图13中所示的上述传输数据生成单元110A传输视差矢量作为数字信息(参见图8)。然而，代替传输视差矢量作为数字信息，在要重叠在图像上的重叠信息(如，例如字幕信息、图形信息、或文本信息)的数据中预先反映视差数据的同时，在传输侧传输视差信息。
例如，在图形信息的数据中反映视差信息的情况下，在发送侧生成与要重叠在左眼图像上的左眼图形信息和要重叠在右眼图像上的右眼图形信息两者对应的图形数据。在这种情况下，左眼图形信息和右眼图形信息是同样的图形信息。然而，例如图像中右眼图形信息的显示位置配置为在水平方向偏移对应于相对于左眼图形信息的显示位置的视差矢量的水平方向分量。
例如，在图像内多个位置处检测到的视差矢量之中，使用与视差矢量的重叠位置对应的视差矢量作为视差矢量。此外，例如，在图像内多个位置处检测到的视差矢量之中，使用就透视而言被识别为最近的位置处的视差矢量作为视差矢量。注意，虽然省略了详细描述，但在字幕信息或图形信息的数据中反映视差信息的情况下执行类似操作。
图14(a)图示在传输方法为上述第一传输方法(“上下”方法)的情况下左眼图形信息和右眼图形信息的重叠位置。左眼图形信息和右眼图形信息为相同信息。然而，要被重叠在右眼图像IR上的右眼图形信息RGI配置为在水平方向上关于要重叠在左眼图像IL上的左眼图形信息LGI移位视差矢量的水平方向分量VVT的位置。
如图14(a)所示，生成图形数据，使得将各条图形信息LGI和RGI分别重叠在每一个区域IL和IR上。从而，如图14(b)所示，观察者可以使用视差与图像IL和IR一起观察各条图形信息LGI和RGI，并且还能够察觉图形信息的透视。
例如，如图15(a)所示，生成各条图形信息LGI和RGI的图形数据作为单个区域的数据。在这种情况下，可以将各条图形信息LGI和RGI以外的部分中的数据生成为透明数据。此外，例如，如图15(b)所示，将各条图形信息LGI和RGI的图形数据生成为不同区域的数据。
图16(a)图示在传输方法为上述第二传输方法(“并排”方法)的情况下左眼图形信息和右眼图形信息的重叠位置。左眼图形信息和右眼图形信息为相同信息。然而，要重叠在右眼图像IR上的右眼图形信息RGI配置为在水平方向上关于要重叠在左眼图像IL上的左眼图形信息LGI移位视差矢量的水平方向分量VVT的位置。注意，IT是空闲偏移值。
生成图形数据，如图16(a)所示，使得将各条图形信息LGI和RGI分别重叠在图像IL和IR上。从而，如图16(b)所示，观察者可以使用视差与图像IL和IR一起观察各条图形信息LGI和RGI，并且还能够察觉图形信息的透视。
例如，如图17所示，将各条图形信息LGI和RGI的图形数据生成为单个区域的数据。在这种情况下，可以将在各条图形信息LGI和RGI以外的部分中的数据生成为透明数据。
图18图示传输数据生成单元110B的配置示例。该传输数据生成单元110B配置为在字幕信息、图形信息或文本信息的数据中反映视差信息的同时，传输视差信息。在图18中，与图2中的那些对应的部分配置相同标号，并且省略其详细描。
在传输数据生成单元110B中，在字幕/图形产生单元118与字幕/图形编码器119之间插入字幕/图形处理单元124。此外，在传输数据生成单元110B中，在文本产生单元120与文本编码器121之间插入文本处理单元125。然后，将视差矢量检测单元114检测到的图像内预定位置处的视差矢量提供到字幕/图形处理单元124和文本处理单元125。
在字幕/图形处理单元124中，生成要重叠在左眼图像IL和右眼图像IR上的左眼和右眼的字幕或图形信息项LGI和RGI的数据。在这种情况下，基于由字幕/图形产生单元118产生的字幕数据或图形数据产生字幕和图形信息项。左眼和右眼的字幕信息项或图形信息项是相同的信息。然而，例如，配置图像内的右眼字幕信息或图形信息的重叠位置，以便在水平方向上关于左眼字幕信息或图形信息移位视差矢量的水平方向分量VVT(参见图14(a)和图16(a))。
以这种方式，将由字幕/图形处理单元124生成的字幕数据或图形数据提供到字幕/图形编码器119。注意，字幕数据或图形数据添加有指示图像上的重叠位置的空闲偏移信息。在字幕/图形编码器119中，生成由字幕/图形处理单元124生成的字幕数据或图形数据的基本流。
此外，在文本处理单元125中，基于由文本产生单元120产生的文本数据，生成要重叠在左眼图像上的左眼文本信息的数据以及要重叠在右眼图像上的右眼文本信息的数据。在这种情况下，左眼文本信息和右眼文本信息为相同文本信息。然而，例如，配置图像内右眼文本信息的重叠位置，以便在水平方向上关于左眼文本信息移位视差矢量的水平方向分量VVT。
以这种方式，将由文本处理单元125生成的文本数据提供到文本编码器121。注意，该文本数据添加有指示图像上的重叠位置的空闲偏移信息。在文本编码器121中，生成由文本处理单元生成的文本数据的基本流。尽管省略详细描述，但是图18中所示的传输数据生成单元110B的其他组件以与图2中所示的传输数据生成单元110类似的方式配置，并且以类似的方式运行。
“传输数据生成单元的另一示例配置”
图2中图示的传输数据生成单元110配置为将基于由视差矢量检测单元114检测到的视差矢量的传输内容(见图8)照原样传输到接收侧，而不将其与每条重叠信息的数据相关联。此外，图13所示的传输数据生成单元110A配置为在将其嵌入作为用户数据的图像数据流中的状态下传输视差矢量的传输内容(见图8)。然而，还可构思与每条重叠信息的数据相关联的视差信息(视差矢量)在嵌入字幕或图形数据流中的状态下传输。
图19图示传输数据生成单元110C的示例配置。传输数据生成单元110C配置为将与每条重叠信息(字幕信息、图形信息)的数据相关联的视差信息(视差矢量)在嵌入字幕或图形数据流，并且传输该视差信息。在图19中，与图2中的那些对应的部分分配相同标号，并且省略了其详细描述。传输数据生成单元110C包括控制器126和Z数据单元127。
Z数据单元127输出与由字幕/图形产生单元118产生的每条重叠信息(字幕信息、图形信息)的数据相关联的视差信息(视差矢量)。Z数据单元127输出要与每条重叠信息的数据相关联的每个Region_ID的视差信息。控制器126控制Z数据单元127的操作。
图20图示Z数据单元127的示例配置。Z数据单元127输出由控制器126指定的每个Region_id的视差信息。这里，将描述Region_id。Region_id用作用于将重叠信息(字幕信息、图形信息)与视差信息相关联的标识符。对由字幕/图形产生单元118产生的字幕数据或图形数据分配对应于上述Region_id的标识符。
如上所述，Z数据单元127输出每个Region_ID的视差信息。Z数据单元127选择性地输出例如通过基于用户操作的控制器126的切换控制确定的视差矢量或设置的视差矢量作为视差信息。确定的视差信息是基于由视差矢量检测单元114检测的多个视差矢量确定的视差矢量。设置的视差矢量是通过预定的程序处理或用户的手动操作设置的视差矢量。
首先，将描述输出确定的视差矢量作为视差信息的情况。在此情况下，与重叠信息(字幕信息、图形信息)相关，从控制器126提供由上述“Region_ID”、“位置”和“区域大小”形成的信息组到Z数据单元127。这里，如图21所示，信息“位置”指示要显示由“Region_ID”标识的重叠信息(字幕信息、图形信息)的图像(画面)的位置。此外，如图21所示，信息“区域大小”指示要显示由“Region_ID”标识的重叠信息(字幕信息、图形信息)的区域(Region)的大小。
此外，多个(这里，N个)视差矢量Dv0到DvN从视差矢量检测单元114输入到Z数据单元127。N个视差矢量Dv0到DvN是在基于左眼图像数据和右眼图像数据的图像中的N个位置由视差矢量检测单元114检测到的视差矢量。
Z数据单元127从N个视差矢量Dv0到DvN提取与由每个“Region_ID”的信息“位置”和“区域大小”确定的重叠信息(字幕信息、图形信息)的显示区域有关的视差矢量。例如，如果对于位于显示区域中的检测到的位置存在一个或多个视差矢量，则该视差矢量或多个视差矢量选择为与显示区域有关的视差矢量。此外，例如，如果不存在检测到的位置位于显示区域中的视差矢量，则将位于接近显示区域的一个或多个视差矢量选择为与显示区域有关的视差矢量。在图中所示的示例中，选择Dv2到Dvn作为与显示区域有关的视差矢量。
Z数据单元127例如选择距与显示区域有关的视差矢量的最大有符号值，并且将其设为确定的显示矢量DzD。如上所述，由垂直方向分量(View_Vector_Vertical)和水平方向分量(View_Vector_Horizontal)形成视差矢量。然而，例如，这里仅仅水平方向分量的值用作有符号值。原因在于在接收侧执行用于基于视差信息在水平方向偏移要重叠在左眼图像和右眼图像上的重叠信息(字幕信息、图形信息)的处理，并且水平方向分量是重要的。
接下来，将描述输出设置的视差矢量作为视差信息的情况。在此情况下，控制器126通过预定程序处理或用户的手动操作设置每个Region_ID的视差信息。例如，根据重叠信息的重叠位置设置不同的视差矢量，或者设置公共视差信息而不管重叠位置。可替代地，对于每种重叠信息设置不同条的视差信息。
Z数据单元127将以此方式设置的视差信息设为设置的视差矢量DzD’。这里，重叠信息的类型例如是如字幕信息、图形信息或文本信息的类型。此外，重叠信息的类型例如是通过重叠位置、重叠持续时间等分类的类型。
注意到，可以由控制器126通过实际仅设置水平方向分量对每个Region_ID设置视差矢量。原因在于，如上所述，用于基于视差信息在水平方向偏移要重叠在左眼图像和右眼图像上的重叠信息(字幕信息、图形信息)的处理配置为在接收侧执行，并且水平方向分量是重要的。
回来参考图19，从Z数据单元127输出的视差数据(DzD/DzD’)发送到字幕/图形编码器119的流格式化器119a。在流格式化器119a中，视差信息嵌入字幕或图形数据流中。
数据流包含如DVB(数字视频广播)中DVB_Subtitling标准化的多个类型的片段，DVB是欧洲的数字广播标准。片段的示例包括“page_composition_segment”、“region_composition_segment”、“object_data_segment”和“display_definition_segment”。
图22是图示“Page(页)”、“Region(区域)”、“Physical Display Size(物理显示大小)”、“Subtitle_Display_Area”等之间关系的图。“区域”由页中的region_id指定，并且具体由“Subtitle_Display_Area”代表。“页”由“Page_Composition_Segment”代表，并且是用于通过page_id管理除了物理显示大小(Physical Display Size)外的所有参数的控制的上层。“Subtitle_Display_Area”由“Display_Definition_Segment”明确指示。此外，通过在区域中使用“Object_Data_Segment”的pixel_data_subblock指定像素数据编码方法。
图23图示“page_composion_segment”的语法。此外，图24图示“region_composion_segment”的语法。这里，利用“page_composion_segment”的保留区域(8位)和“region_composion_segment”的保留区域(7位)，嵌入每个region_ID的视差信息。
也就是说，如图25所示，在“page_composion_segment”中定义“page_composition_segment”。此外，如图26所示，在“region_composion_segment”中定义“region_disparity_offset_far1”、“region_disparity_offset_far2”和“region_disparity_offset_far3”。因此，如图27所示，保留要嵌入视差信息的15位区域。
考虑这样的情况下，其中如上所述，从Z数据单元127为每个Region_id输出的视差信息(视差矢量的水平方向分量)由例如包括1位符号位的11位代表。在此情况下，可以代表范围从-1023到+1023的视差矢量的水平方向分量。当执行1920×1080像素的图像显示时，使用视差信息，可以给出直到大约水平大小一半的视差到要重叠在左眼图像和右眼图像上的相同的重叠信息(字幕信息、图形信息)。
如上所述，将描述其中由11位有符号表示代表视差信息的情况下各位的示例安排。如图27所示，1位符号位和最低有效7位安排在“page_composition_segment”中定义的“Region_Disparity_offset”中。然后，在“region_composition_segment”中定义的“region_disparity_offset_far1”中安排最高有效3位。
注意到，在一些情况下，当执行其中水平方向的像素的数目是2×1920或4×1920的图像显示时，视差信息的位数可以大于11位。在此情况下，在“region_composition_segment”中定义的“region_disparity_offset_far2”或者还在“region_disparity_offset_far3”中安排最高有效位。
此外，在视差信息的位数小的情况下，代表视差信息的所有位可以安排在“page_composition_segment”中定义的“Region_Disparity_offset”中。在此情况下，在接收侧，不需要读取在“region_composition_segment”中定义的“region_disparity_offset_far1”到“region_disparity_offset_far3”。
图28图示视差信息的各位的另一示例安排。在“page_composition_segment”中定义的“Region_Disparity_offset”中安排1位链接位。链接位指示视差信息的最高有效位是否安排在“region_composition_segment”中定义的“region_disparity_offset_far1”到“region_disparity_offset_far3”中。
在包括符号位的视差信息的位数小于或等于7位的情况下，代表视差信息的所有位可以安排在“page_composition_segment”中定义的“Region_Disparity_offset”中。在此情况下，链接位进入这样的状态，其中没有视差信息的最高有效位安排在“region_composition_segment”中定义的“region_disparity_offset_far1”到“region_disparity_offset_far3”中。
返回参照图19，由文本产生单元120产生的文本数据发送到字幕/图形编码器119。在字幕/图形编码器119中，文本信息的数据嵌入图形数据中。在此情况下，如上所述，要重叠在图形数据流中的视差信息可应用于图形信息和文本信息两者。
从字幕/图形编码器119输出的、具有嵌入其中的视差信息的字幕数据或图形数据的数据流提供到多路复用器122。在多路复用器122中，多路复用从视频编码器113、字幕/图形编码器119和音频编码器117提供的数据流(基本流)，并且获得位流数据BSD。
虽然省略了详细描述，但是在图19中图示的传输数据生成单元110C的其他组件以与在图2中图示的传输数据生成单元110的那些组件类似的方式配置，并且以类似方式运行。
图29图示在图19所示的传输数据生成单元110C中多路复用的图像数据流和字幕或者图形数据流的示例。视差矢量(视差信息)嵌入字幕或特性数据流中，并且被传输。
[机顶盒的描述]
回来参考图1，机顶盒200接收从广播站100经由广播波发送并且在广播波上携带的位流数据(传送流)。该位流数据包含包括左眼图像数据和右眼图像数据的立体图像数据、音频数据、重叠信息数据，并且还包含视差信息(视差矢量)。这里，重叠信息数据例如是字幕数据、图形数据、文本数据等。
机顶盒200包括位流处理单元201。该位流处理单元201从位流数据中提取立体图像数据、音频数据、重叠信息数据、视差矢量等。位流处理单元201使用立体图像数据、重叠信息数据(字幕数据、图形数据、文本数据)等生成其上重叠了重叠信息的左眼图像和右眼图像的数据。
这里，在将视差矢量作为数字信息发送的情况下，基于视差矢量和重叠信息数据生成要重叠在左眼图像和右眼图像上的左眼重叠信息和右眼重叠信息。在这种情况下，左眼重叠信息和右眼重叠信息为同一重叠信息。然而，例如，图像内右眼重叠信息的重叠位置配置为在水平方向关于左眼重叠信息偏移视差矢量的水平方向分量。
图30(a)图示在传输方法为上述第二传输方法(“并排”方法)的情况下左眼图形信息和右眼图形信息的重叠位置。要重叠在右眼图像IR上的右眼图形信息RGI配置为在水平方向上关于要重叠在左眼图像IL上的左眼图形信息LGI偏移视差矢量的水平方向分量VVT的位置处。注意，IT是空闲偏移值。
在位流处理单元201中，生成图形数据使得以如图30(a)所图示的方式在图像IL和IR上重叠图形信息LGI和RGI。位流处理单元201将所生成的左眼图形数据和右眼图形数据与从位流数据提取的立体图像数据(左眼图像数据、右眼图像数据)进行合成，并且获取处理后的立体图像数据。根据该立体图像数据，如图30(b)所示，观察者可以与图像IL和IR一起、以视差观察各条图形信息LGI和RGI，并且还能够察觉图形信息的透视。
注意，图31(a)图示了在图像IL和IR上照原样重叠基于从位流数据提取的图形数据的图形图像的状态。在这种情况下，如图31(b)所示，观察者观察连同左眼图像IL的左半图形信息和连同右眼图像IR的右半图形信息。因而，使得不正确地识别图形信息。
虽然图30图示了图形信息的情况，但对其他重叠信息(如字幕信息或文本信息)执行类似的操作。也就是说，在将视差矢量作为数字信息传输的情况下，基于视差矢量和重叠信息数据生成要分别重叠在左眼图像和右眼图像上的左眼重叠信息和右眼重叠信息。在这种情况下，左眼重叠信息和右眼重叠信息为同一重叠信息。然而，例如，图像内右眼重叠信息的重叠位置配置为在水平方向相对于左眼重叠信息偏移视差矢量的水平方向分量。
这里，可以构思将以下视差矢量用作给出左眼重叠信息与右眼重叠信息之间的视差的视差矢量。例如，可以构思将在图像内的多个位置处检测到的视差矢量之中，采用就透视而言被识别为最近的位置处的视差矢量作为视差矢量。图32(a)、32(b)、32(c)和32(d)图示了时间点T0、T1、T2和T3处三个对象位置处的视差矢量(View Vectors)。
在时间点T0处，与对象1对应的位置(H0，V0)处的视差矢量VV0-1是最大视差矢量Max VV(T0)。在时间点T1处，与对象1对应的位置(H1，V1)处的视差矢量VV1-1是最大视差矢量Max VV(T1)。在时间点T2处，与对象2对应的位置(H2，V2)处的视差矢量VV2-2是最大视差矢量Max VV(T2)。在时间点T3处，与对象1对应的位置(H3，V3)处的视差矢量VV3-0是最大视差矢量Max VV(T3)。
以这种方式，在图像内的多个位置处检测到的视差矢量之中，将就透视而言被识别为最近的位置处的视差矢量用作视差矢量，因而允许将重叠信息显示在就透视而言最近的图像内的对象的前面。
图33(a)图示了图像上的字幕(例如字幕信息)的显示示例。在这个显示示例中，作为示例，字幕重叠在由背景和前景对象形成的图像。图33(b)图示了背景、前景对象和字幕的透视，其中图示字幕被辨认为位于最近的。
图34(a)图示了与图33(a)相同的、图像上的字幕(例如字幕信息)的显示示例。图34(b)图示了用于显示字幕的左眼字幕信息LGI和右眼字幕信息RGI。图34(c)图示将视差给予每条字幕信息LGI和RGI，以便允许将字幕识别为位于最近的。
此外，可以构思在图像内多个位置处检测到的视差矢量(包括视差信息组中包括的各个层次的各个区域的视差矢量)之中，采用与其重叠位置对应的视差矢量作为视差矢量。图35(a)图示了基于从位流数据中提取的图形数据的图形信息以及基于从位流数据中提取的文本数据的文本信息。
图35(b)图示了将左眼图形信息LGI和左眼文本信息LTI重叠在左眼图像上的状态。在这种情况下，将左眼图形信息LGI的重叠位置调节在水平方向上的空闲偏移值(IT-0)。此外，将左眼文本信息LTI的重叠位置调节在水平方向的空闲偏移值(IT-1)。
图35(c)图示了将右眼图形信息RGI和右眼文本信息RTI重叠在右眼图像上的状态。在这种情况下，将右眼图形信息RGI的重叠位置调节在水平方向上的空闲偏移值(IT-0)，并且相对于左眼图形信息LGI的重叠位置，进一步偏移与重叠位置对应的视差矢量的水平方向分量VVT-0。此外，将右眼文本信息RTI的重叠位置调节在水平方向上的空闲偏移值(IT-1)，并且相对于左眼文本信息LGI的重叠位置，进一步偏移与重叠位置对应的视差矢量的水平方向分量VVT-1。
前面描述已经给出了这样的情况的描述，其中基于从位流数据提取的图形数据的图形信息或基于从位流数据提取的文本数据的文本信息重叠在左眼图像和右眼图像上。此外，还可以构思这样的情况，其中在机顶盒200中产生图形数据或文本数据，并且基于该数据的信息重叠在左眼图像和右眼图像上。
即使在此情况下，通过利用从位流数据提取的图像中预定位置的视差矢量，也可以将视差引入左眼图形信息和右眼图形信息之间，或者左眼文本信息和右眼文本信息之间。因此，可以在图形信息或文本信息的显示中给出适当的透视，以便维持信息和图像中的每个对象之间透视上的一致性。
图36(a)图示了在图像内存在对象A、B和C，并且例如在邻近对象的位置重叠指示每一个对象的注释的文本信息。图36(b)图示了在将视差给予指示对象A、B和C的注释的文本信息的情况下，利用指示对象A、B和C的位置与其位置处的视差矢量之间的对应关系的视差矢量列表以及各个视差矢量。例如，在对象A附近重叠文本信息“Text”的同时，在左眼文本信息与右眼文本信息之间给出与对象A的位置(Ha，Va)处的视差矢量VV-a对应的视差。注意，对要在对象B和C附近重叠的文本信息执行类似操作。
注意，图35图示了重叠信息包括图形信息和文本信息的情况。此外，图36图示了重叠信息包括文本信息的情况。虽然将省略详细描述，但在其他重叠信息(如字幕信息)的情况下执行类似的操作。
接下来，将关于视差矢量被事先反映在重叠信息(如字幕信息、图形信息、或文本信息)的数据上的同时传输视差矢量的情况进行描述。在这种情况下，从位流数据中提取的重叠信息数据包含使用视差矢量对其给出了视差的左眼重叠信息和右眼重叠信息的数据。
因而，位流处理单元201关于从位流数据提取的立体图像数据(左眼图像数据、右眼图像数据)简单地组合从位流数据提取的重叠信息数据，并且获取处理之后的立体图像数据。注意，对于文本数据如将字符代码转换为位图数据的处理是必须的。
[机顶盒的配置示例]
将描述机顶盒200的配置示例。图37图示了机顶盒200的配置示例。该机顶盒200包括位流处理单元201、HDMI端子202、天线端子203、数字调谐器204、视频信号处理电路205、HDMI传输单元206和音频信号处理电路207。此外，该机顶盒200包括CPU 211、闪速ROM 212、DRAM 213、内部总线214、遥控接收单元215和遥控发送器216。
天线端子203是用于输入由接收天线(未图示)接收到的电视广播信号的端子。数字调谐器204处理输入到天线端子203的电视广播信号，并输出与用户选择的频道对应的预定位流数据(传送流)。
如上所述，位流处理单元201从位流数据提取立体图像数据(左眼图像数据、右眼图像数据)、音频数据、重叠信息数据、视差信息(视差矢量)等。重叠信息数据是字幕数据、图形数据、文本数据等。如上所述，该位流处理单元201组合重叠信息(如字幕信息、图形信息、或文本信息)的数据和立体图像数据，并且获取显示立体图像数据。此外，位流处理单元201输出音频数据。下面将描述位流处理单元201的详细配置。
视频信号处理电路205按照需要对从位流处理单元201输出的立体图像数据执行图像质量调整处理，并且将处理的立体图像数据提供到HDMI传输单元206。音频信号处理电路207根据需要对从位流处理单元201输出的音频数据执行音频质量调整处理等，并且将处理的音频数据提供到HDMI传输单元206。
HDMI传输单元206使用遵循HDMI的通信，从HDMI端子202发送基带图像(视频)和音频的数据。在这种情况下，封装图像和音频数据，并且从HDMI传输单元206输出到HDMI端子202，用于通过HDMI TMDS通道来发送。下面将描述该HDMI传输单元206的细节。
CPU 211控制机顶盒200的每个单元的操作。闪速ROM 212存储控制软件并且保持数据。DRAM 213形成CPU 211的工作区域。CPU 211将从CPU211读取的软件和数据扩展到DRAM 213，以启动软件，并且控制机顶盒200的每个单元。
遥控接收单元215接收从遥控发送器216发送的遥控信号(遥控代码)，并将该遥控信号提供到CPU 211。CPU 211基于该遥控代码控制机顶盒200的每个单元。CPU 211、闪速ROM 212和DRAM 213连接到内部总线214。
将简短地描述机顶盒200的操作。将输入到天线端子203的电视广播信号提供到数字调谐器204。在该数字调谐器204中，处理电视广播信号，并且输出与用户选择的通道对应的预定位流数据(传送流)。
将从数字调谐器204输出的位流数据提供到位流处理单元201。在该位流处理单元201中，从位流数据提取立体图像数据(左眼图像数据、右眼图像数据)、音频数据、图形数据、文本数据、视差矢量等。此外，在位流处理单元201中，与立体图像数据组合重叠信息(如字幕信息、图形信息、或文本信息)的数据，并且生成显示立体图像数据。
按照需要，通过视频信号处理电路205，使由位流处理单元201生成的显示立体图像数据经历图像质量调整处理等，并且此后提供到HDMI传输单元206。此外，按照需要，通过音频信号处理电路207，使由位流处理单元201获得的音频数据经历音频质量调整处理等，并且此后提供到HDMI传输单元206。将提供到HDMI传输单元206的立体图像数据和音频数据通过HDMI TMDS通道从HDMI端子202发送到HDMI线缆400。
“位流处理单元的示例配置”
图38图示位流处理单元201的示例配置。该位流处理单元201具有这样的配置，使得该配置对应于在上述图2中所图示的传输数据生成单元110。该位流处理单元201包括解多路复用器220、视频解码器221、字幕/图形解码器222、文本解码器223、音频解码器224和视差矢量解码器225。此外，该位流处理单元201包括立体图像字幕/图形产生单元226、立体图像文本产生单元227、视频重叠单元228和多声道扬声器控制单元229。
解多路复用器220从位流数据BSD提取视频、音频、视差矢量、字幕、图形、文本等，并发送分组到各个解码器。
视频解码器221执行与上述传输数据生成单元110的视频编码器113的相反的处理。也就是说，该视频解码器221从由解多路复用器220提取的视频分组重构视频的基本流，执行解码处理，并获得包括左眼图像数据和右眼图像数据的立体图像数据。该立体图像数据的传输方法的示例包括第一传输方法(“上下”方法)、第二传输方法(“并排”方法)、第三传输方法(“帧顺序”方法)等(参见图4(a)至(c))。
字幕/图形解码器222执行与上述传输数据生成单元110的字幕/图形编码器119相反的处理。也就是说，该字幕/图形解码器222从由解多路复用器220提取的字幕或图形分组重构字幕或图形的基本流。然后，该字幕/图形解码器222进一步执行解码处理来获得字幕数据或图形数据。
文本解码器223执行与上述传输数据生成单元110的文本编码器121的相反的处理。也就是说，该文本解码器223从由解多路复用器220提取的文本分组重构文本的基本流，并且执行解码处理来获得文本数据。
音频解码器224执行与上述传输数据生成单元110的音频编码器117的相反的处理。也就是说，该音频解码器224从由解多路复用器220提取的音频分组重构音频的基本流，并且执行解码处理来获得音频数据。
视差矢量解码器225执行与上述传输数据生成单元110的视差矢量编码器115相反的处理。也就是说，该视差矢量解码器225从由解多路复用器220提取的视差矢量分组重构视差矢量的基本流，并且执行解码处理来获得图像内的预定位置处的视差矢量。
立体图像字幕/图形产生单元226生成要分别重叠在左眼图像和右眼图像上的左眼和右眼字幕信息或图形信息。基于由解码器222获得的字幕数据或图形数据和由解码器225获得的视差矢量执行该生成处理。在这种情况下，左眼和右眼字幕信息或图形信息是同一信息。然而，例如，图像内右眼字幕信息或图形信息的重叠位置配置为在水平方向关于左眼字幕信息或图形信息偏移视差矢量的水平方向分量。然后，立体图像字幕/图形产生单元226输出所生成的左眼和右眼字幕信息或图形信息的数据(位图数据)。
立体图像文本产生单元227基于由解码器223获得的文本数据和由解码器225获得的视差矢量，生成要分别重叠在左眼图像和右眼图像上的左眼文本信息和右眼文本信息。在这种情况下，左眼文本信息和右眼文本信息为同一文本信息。然而，例如，图像内右眼文本信息的重叠位置配置为在水平方向关于左眼文本信息偏移视差矢量的水平方向分量。然后，立体图像文本产生单元227输出所生成的左眼文本信息和右眼文本信息的数据(位图数据)。
视频重叠单元228由视频解码器221获得的立体图像数据(左眼图像数据、右眼图像数据)上重叠由产生单元226和227产生的数据，并且获得显示立体图像数据Vout。注意，使用系统层的时间戳开始重叠信息数据在立体图像数据(左眼图像数据、右眼图像数据)上的重叠。
多声道扬声器控制单元229对由音频解码器224获得的音频数据执行用于生成多声道扬声器的音频数据的处理以实现例如5.1-声道环绕等、用于给予预定声场特性的处理等。此外，该多声道扬声器控制单元229基于由解码器225获得的视差矢量控制多声道扬声器的输出。
存在以下效果：视差矢量的大小越大，立体效果越明显。按照立体程度控制多声道的扬声器输出，因而可以实现提供进一步的立体体验。
图39图示了在电视显示器的方向上观看时在左手侧的视频对象具有大视差矢量VV1的情况下扬声器输出控制的示例。在这个控制示例中，多声道扬声器的左后扬声器音量设置到高，左前扬声器音量设置到中，并且进一步，右前和右后扬声器音量设置到低。以这种方式，将视频内容(立体图像数据)的视差矢量应用到接收侧上的另一媒体数据(诸如音频数据)，因而使得可以允许观看者体验整体立体效果。
将简要地描述在图38中图示的位流处理单元201的操作。将从数字调谐器204(参看图37)输出的位流数据BSD提供到解多路复用器220。在解多路复用器220中，从位流数据BSD提取视频、音频、视差矢量、字幕或图形以及文本的TS分组，并提供到各个解码器。
在视频解码器221中，根据从解多路复用器220提取的视频分组重构视频的基本流，并且进一步执行解码处理，以获得包括左眼图像数据和右眼图像数据的立体图像数据。将该立体图像数据提供到视频重叠单元228。此外，在视差矢量解码器225中，从由解多路复用器220提取的视差矢量分组重构视差矢量的基本流，并且进一步执行解码处理，以获得图像内的预定位置处的视差矢量(参看图8)。
在字幕/图形解码器222中，从由解多路复用器220提取的字幕或图形分组重构字幕或图形的基本流。在字幕/图形解码器222中，对字幕或图形的基本流进一步执行解码处理，并且获得字幕数据或图形数据。将该字幕数据或图形数据提供到立体图像字幕/图形产生单元226。也将由视差矢量解码器225获得的视差矢量提供到立体图像字幕/图形产生单元226。
在立体图像字幕/图形产生单元226中，生成要分别重叠在左眼图像和右眼图像上的左眼和右眼字幕信息项或图形信息项的数据。基于由解码器222获得的字幕数据或图形数据以及由解码器225获得的视差矢量执行该生成处理。在这种情况下，例如，将图像内的右眼字幕信息或图形信息的重叠位置配置为在水平方向上关于左眼字幕信息或左眼图形信息偏移视差矢量的水平方向分量。从该立体图像字幕/图形产生单元226输出所生成的左眼和右眼字幕信息项或图形信息项的数据(位图数据)。
此外，在文本解码器223中，从由解多路复用器220提取的文本的TS分组重构文本的基本流，并且进一步执行解码处理，以获得文本数据。将该文本数据提供到立体图像文本产生单元227。也将由视差矢量解码器225获得的视差矢量提供到该立体图像文本产生单元227。
在该立体图像文本产生单元227中，基于由解码器223获得的文本数据和由解码器225获得的视差矢量，生成要分别重叠在左眼图像和右眼图像上的左眼文本信息和右眼文本信息。在这种情况下，左眼文本信息和右眼文本信息为同一文本信息。然而，例如图像内右眼文本信息的重叠位置在水平方向上关于左眼文本信息偏移视差矢量的水平方向分量。从该立体图像文本产生单元227输出所生成的左眼文本信息和右眼文本信息的数据(位图数据)。
除了来自上述视频解码器221的立体图像数据(左眼图像数据、右眼图像数据)之外，还将从字幕/图形产生单元226和文本产生单元227输出的数据提供到视频重叠单元228。在视频重叠单元228中，将由字幕/图形产生单元226和文本生成单元227所产生的数据重叠在立体图像数据(左眼图像数据、右眼图像数据)上，并获得显示立体图像数据Vout。将该显示立体图像数据Vout作为传输图像数据经由视频信号处理电路205提供到HDMI传输单元206(参看图37)。
此外，在音频解码器224中，从由解多路复用器220提取的音频的TS分组重构音频的基本流，并且进一步执行解码处理，以获得音频数据。将该音频数据提供到多声道扬声器控制单元229。在该多声道扬声器控制单元229中，对该音频数据执行用于生成多声道扬声器的音频数据以实现例如5.1声道环绕等的处理等、用于给出预定声场特性的处理等。
还将由视差矢量解码器225获得的视差矢量提供到多声道扬声器控制单元229。然后，在该多声道扬声器控制单元229中，基于视差矢量控制多声道扬声器的输出。经由音频信号处理电路207将由该多声道扬声器控制单元229获得的多声道音频数据作为传输音频数据提供到HDMI传输单元206(参看图37)。
“位流处理单元的另一示例配置”
图40中所示的位流处理单元201A具有这样的配置，使得其对应于在上述图13中所图示的传输数据生成单元110A的配置。在该图40中，对应于图38的部分分配同样标号，并且将省略其详细描述。
该位流处理单元201A提供有视差矢量提取单元231，代替图38所示的位流处理单元201的视差矢量解码器255。该视差矢量提取单元231从通过视频解码器221获得的视频流中提取嵌入其用户数据区域的视差矢量。然后，该视差矢量提取单元231将所提取的视差矢量提供到立体图像字幕/图形产生单元226、立体图像文本产生单元227和多声道扬声器控制单元229。
尽管将省略详细描述，但是图40中所图示的位流处理单元201A的其他组件以与图38中所图示的位流处理单元201类似的方式配置，并且以类似方式工作。
“位流处理单元的另一配置示例”
此外，图41中所示的位流处理单元201B具有这样的配置，使得其对应于在上述图18中所图示的传输数据生成单元110B的配置。在该图41中，对应于图38的部分分配同样标号，并且将省略其详细描述。
配置该位流处理单元201B，使得从图38中所示的位流处理单元201中移除视差矢量解码器225、立体图像字幕/图形产生单元226以及立体图像文本产生单元227所获得的单元。在这种情况下，视差矢量预先反映在字幕信息、图形信息和文本信息的数据上。
如上所述，传输的字幕数据或图形数据包括：要重叠在左眼图像上的左眼字幕信息或图形信息的数据以及要重叠在右眼图像上的右眼字幕信息或图形信息的数据。类似地，如上所述，传输的文本数据包括：要重叠在左眼图像上的左眼文本信息的数据以及要重叠在右眼图像上的右眼文本信息的数据。因此，视差矢量解码器255、立体图像字幕和图形产生单元226以及立体图像文本产生单元227不必要。
注意，因为通过文本解码器223获得的文本数据是代码数据(字符代码)，因此需要用于将其转换为位图数据的处理。例如，在文本解码器223的最终级或者在视频重叠单元228的输入级中执行该处理。
“位流处理单元的另一示例配置”
此外，图42中所示的位流处理单元201C具有这样的配置，使得其对应于在上述图19中所图示的传输数据生成单元110C的配置。在该图42中，对应于图38的部分分配同样标号，并且将省略其详细描述。
位流处理单元201C包括矢量信息提取单元232。如上所述，从图19所示的位流处理单元201C的字幕/图形编码器119输出的字幕或图形数据流其中已经嵌入与字幕数据或图形数据相关联的视差信息(视差矢量)。
在字幕/图形解码器223中，如上所述，从由解多路复用器220提取的字幕或图形的分组重构字幕或图形的数据流(基本流)。然后，在字幕/图形解码器223中，对数据流执行解码处理，并且获得字幕数据或图形数据。将字幕数据或图形数据提供到图像字幕/图形产生单元226。
在矢量信息提取单元232中，提取与嵌入由字幕/图形解码器223重构的数据流的字幕数据或图形数据相关联的视差信息(视差矢量)。将视差信息提供到图像字幕/图形产生单元226。在此情况下，矢量信息提取单元232从“page_composition_segment”中定义的“Region_Disparity_offset”，并且还从“region_composition_segment”中定义的“region_disparity_offset_far1”到“region_disparity_offset_far3”读取视差信息(见图25到28)。
此外，在图像字幕/图形产生单元226中，如上所述，生成要分别重叠在左眼图像和右眼图像的左眼和右眼字幕信息或图形信息。基于由字幕/图形解码器223生成的字幕数据或图形数据以及从矢量信息提取单元232提供的视差信息(视差矢量)，执行该生成处理。
在此情况下，左眼和右眼字幕信息项或图形信息项是相同信息。然而，例如图像中的右眼字幕信息或图形信息的重叠位置配置为相对于左眼字幕信息或图形信息在水平方向偏移视差矢量的水平方向分量。
以此方式，由图像字幕/图形产生单元226生成的左眼和右眼字幕信息项或图形信息项的数据(位图数据)提供到视频重叠单元228。注意到，如上所述，在图19所示的传输数据生成单元110C的字幕/图形编码器119中，在一些情况下，文本信息可以嵌入图形信息中。在此情况下，配置由图像字幕/图形产生单元226生成的左眼和右眼图形信息项的数据，使得文本信息与图形信息一起显示。
在视频重叠单元228中，由图像字幕/图形产生单元226产生的字幕信息或图形信息的数据重叠在由视频解码器221获得的立体图像数据(左眼图像数据，右眼图像数据)上。利用该重叠处理，视频重叠单元228可以获得显示立体图像数据Vout。注意，使用系统层的时间戳开始字幕信息或图形信息的数据在立体图像数据(左眼图像数据、右眼图像数据)上的重叠。此外，基于显示时间信息控制重叠持续时间。
尽管将省略详细描述，但是图42中所图示的位流处理单元201C的其他组件以与图38中所图示的位流处理单元201类似的方式配置，并且以类似方式工作。
[电视接收机的描述]
返回参照图1，电视接收机300经由HDMI线缆400接收从机顶盒200发送的立体图像数据。该电视接收机300包括3D信号处理单元301。该3D信号处理单元301对立体图像数据执行与传输方法对应的处理(解码处理)，并且生成左眼图像数据和右眼图像数据。也就是说，该3D信号处理单元301执行与图2、图13、图18和图19中所示的传输数据生成单元110、110A、110B和110C中的视频成帧单元112相反的处理，并且获取形成立体图像数据的左眼图像数据和右眼图像数据。
[电视接收机的示例配置]
将描述电视接收机300的示例配置。图43图示了电视接收机300的示例配置。该电视接收机300包括3D信号处理单元301、HDMI端子302、HDMI接收单元303、天线端子304、数字调谐器305和位流处理单元306。此外，该电视接收机300包括视频/图形处理电路307、面板驱动电路308、显示面板309、音频信号处理电路310、音频放大电路311和扬声器312。此外，该电视接收机300包括CPU 321、闪速ROM 322、DRAM 323、内部总线324、遥控接收单元325和遥控发送器326。
天线端子304是对其输入由接收天线(未示出)接收的电视广播信号的端子。数字调谐器305处理输入到天线端子304的电视广播信号，并输出与用户选择的频道对应的预定位流数据(传送流)。
位流处理单元306配置为具有与图37中所示的机顶盒200的位流处理单元201到201C类似的配置。该位流处理单元306从位流数据提取立体图像数据(左眼图像数据、右眼图像数据)、音频数据、重叠信息数据、视差矢量(视差信息)等。重叠信息数据包括字幕数据、图形数据、文本数据等。然后，该位流处理单元306组合重叠信息数据与立体图像数据，并且获取显示立体图像数据。此外，位流处理单元306输出音频数据。
HDMI接收单元303使用遵循HDMI的通信，经由HDMI线缆400接收提供到HDMI端子302的未压缩图像数据(立体图像数据)和音频数据。下面将描述HDMI接收单元303的细节。3D信号处理单元301对由HDMI接收单元303接收的或由位流处理单元306获得的立体图像数据执行对应于传输方法的处理(解码处理)，并且生成左眼图像数据和右眼图像数据。
视频/图形处理电路307基于由3D信号处理单元301生成的左眼图像数据和右眼图像数据，生成用于显示立体图像的图像数据。此外，视频/图形处理电路307根据需要，对图像数据执行图像质量调整处理。面板驱动电路308基于从视频/图形处理电路307输出的图像数据来驱动显示面板309。显示面板309例如由LCD(液晶显示器)、PDP(等离子显示面板)等构成。
音频信号处理电路310对由HDMI接收单元303接收的或者由位流处理单元306获得的音频数据执行必要的处理(如，D/A转换)。音频放大电路311放大从音频信号处理电路310输出的音频信号，将得到的信号提供到扬声器312。
CPU 321控制电视接收机300的每个单元的操作。闪速ROM 322存储控制软件并且保持数据。DRAM 323形成CPU 321的工作区域。CPU 321将从闪速RAM 322读取的软件和数据扩展到DRAM 323，以启动软件，并且控制电视接收机300的每个单元。
遥控接收单元325接收从遥控发送器326发送的遥控信号(遥控代码)，并将遥控信号提供到CPU 321。CPU 321基于该遥控代码控制电视接收机300的每个单元。CPU 321、闪速ROM 322和DRAM 323连接到内部总线324。
将简要描述图119中所示的电视接收机300的操作。在HDMI接收单元303中，经由HDMI线缆400接收从连接到HDMI端子302的机顶盒200传输的立体图像数据和音频数据。将由该HDMI接收单元303接收到的该立体图像数据提供到3D信号处理单元301。此外，将由该HDMI接收单元303接收到的音频数据提供到音频信号处理单元310。
将输入到天线端子304的电视广播信号提供到数字调谐器305。在该数字调谐器305中，处理电视广播信号，并输出与用户选择的频道对应的预定位流数据(传送流)。
将从数字调谐器305输出的位流数据提供到位流处理单元306。在该位流处理单元306中，从位流数据提取立体图像数据(左眼图像数据、右眼图像数据)、音频数据、重叠信息数据、视差矢量(视差信息)等。此外，在该位流处理单元306中，与立体图像数据组合重叠信息(字幕信息、图形信息、文本信息)的数据，并产生显示立体图像数据。
将由位流处理单元306生成的显示立体图像数据提供到3D信号处理单元301。此外，将由位流处理单元306获得的音频数据提供到音频信号处理电路310。
在3D信号处理单元301中，对由HDMI接收单元303接收的或者由位流处理单元306获得的立体图像数据执行处理(解码处理)，并且生成左眼图像数据和右眼图像数据。将左眼图像数据和右眼图像数据提供到视频/图形处理电路307。在该视频/图形处理电路307，基于左眼图像数据和右眼图像数据，生成用于显示立体图像的图像数据。因此，通过使用显示面板309显示立体图像。
此外，在音频信号处理电路310中，对由HDMI接收单元303接收的或者由位流处理单元306获得的音频数据执行必要的处理，如D/A转换等。通过音频放大电路311放大该音频数据，然后将其提供到扬声器312。因此，从扬声器312输出音频。
[HDMI传输单元和HDMI接收单元的示例配置]
图44图示图1中的立体图像显示系统10中机顶盒200的HDMI传输单元(HDMI源)206和电视接收机300的HDMI接收单元(HDMI宿)303的配置示例。
在有效图像间隔(在下文中，也适当地称为活动视频间隔)中，HDMI传输单元206通过多个通道单向传输与一屏幕的未压缩图像的像素数据对应的差分信号到HDMI接收单元303。这里，有效图像间隔是从一个垂直同步信号到下一个垂直同步信号移除水平消隐间隔和垂直消隐间隔的间隔。此外，在水平消隐间隔或垂直消隐间隔中，HDMI传输单元206通过多个通道单向向HDMI接收单元303传输与至少附接到图像的音频数据、控制数据、其他辅助数据等对应的差分信号。
由HDMI传输单元206和HDMI接收单元303形成的HDMI系统的传输通道包括以下传输通道。也就是说，存在用作用于与像素时钟同步的、从HDMI传输单元206到HDMI接收单元303的像素数据和音频数据的单向串行传输的传输通道的三个TMDS通道#0至#2。此外，存在用作传输像素时钟的传输通道的TMDS时钟通道。
HDMI传输单元206包括HDMI发送器81。发送器81例如将未压缩图像的像素数据转换为对应的差分信号，并通过作为多通道的三个TMDS通道#0、#1和#2将差分信号单向串行传输到经由HDMI线缆400连接的HDMI接收单元303。
此外，发送器81将附接到未压缩图像的音频数据以及此外必要的数据和其他辅助数据等转换为对应的差分信号，并通过三个TMDS通道#0、#1和#2将差分信号单向串行传输到HDMI接收单元303。
进一步，发送器81通过TMDS时钟通道，将与通过三个TMDS通道#0、#1和#2传输的像素数据同步的像素时钟传输到经由HDMI线缆400连接的HDMI接收单元303。这里，通过一个TMDS通道#i(i＝0，1，2)，在像素时钟的一个时钟期间传输10-位像素数据。
HDMI接收单元303接收与通过多个通道在活动视频时间中，从HDMI传输单元206单向传输的像素数据对应的差分信号。此外，该HDMI接收单元303接收与通过使用多通道在水平消隐间隔或垂直消隐间隔中，从HDMI传输单元206单向传输的音频数据或控制数据对应的差分信号。
也就是说，HDMI接收单元303包括HDMI接收器82。该HDMI接收器82接收对应于像素数据的差分信号以及通过TMDS通道#0、#1和#2从HDMI传输单元206单向传输的对应于音频数据或控制数据的差分信号。在这种情况下，通过TMDS时钟通道与从HDMI传输单元206传输的像素时钟同步地接收差分信号。
除了上述TMDS通道#0至#2和TMDS时钟通道外，由HDMI传输单元206和HDMI接收单元303形成的HDMI系统的传输通道包括称为DDC(显示数据通道)83和CEC线84的传输通道。DDC 83由未示出的包括在HDMI线缆400中的两条信号线形成，并且用于HDMI传输单元206从经由HDMI线缆400连接的HDMI接收单元303读取E-EDID(增强扩展显示标识数据)。
也就是说，除了HDMI接收器81之外，HDMI接收单元303还包括已经在其中存储了作为关于其性能(配置/容量)的性能信息的E-EDID的EDIDROM(只读存储器)85。HDMI传输单元206例如根据来自CPU 211(参看图37)的请求，经由DDC 83从经由HDMI线缆400连接的HDMI接收单元303中读取E-EDID。HDMI传输单元206发送读取的E-EDID到CPU 211。CPU 211将E-EDID存储在闪速ROM 212或DRAM 213中。
CPU 211可以基于E-EDID识别HDMI接收单元303的性能设置。例如，CPU 211识别可以由包括HDMI接收单元303的电视接收机300支持的图像数据格式(如分辨率、帧速率和纵横比)。
CEC线84由未示出的包括在HDMI线缆400中的一条信号线形成，并且用于在HDMI传输单元206与HDMI接收单元303之间的控制使用的数据的双向通信。该CEC线84形成控制数据线。
此外，HDMI线缆400包含连接到被称为HPD(Hot Plug Detect，热插拔检测)的管脚的线(HPD线)86。源设备可以通过利用该线86检测宿设备的连接。此外，HDMI线缆400包含用于从源设备向宿设备供电的线87。此外，HDMI线缆400包含保留线88。
图45图示了在图44中的HDMI发送器81和HDMI接收器82的示例配置。HDMI发送器81包括分别与三个TMDS通道#0、#1和#2对应的三个编码器/串行化器81A、81B和81C。然后，编码器/串行化器81A、81B和81C中的每个编码提供到其的图像数据、辅助数据和控制数据，将它们从并行数据转换成串行数据，并使用差分信号传输得到的数据。现在，在图像数据包括例如R、G和B三个分量的情况下，将B分量提供到编码器/串行化器81A，将G分量提供到编码器/串行化器81B，而将R分量提供到编码器/串行化器81C。
此外，辅助数据的示例包括音频数据和控制分组。例如，将控制分组提供到编码器/串行化器81A，而将该音频数据提供到编码器/串行化器81B和81C。进一步，控制数据包括1-位垂直同步信号(VSYNC)、1-位水平同步信号(HSYNC)和1-位控制位CTL0、CTL1、CTL2和CTL3。将垂直同步信号和水平同步信号提供到编码器/串行化器81A。将控制位CTL0和CTL1提供到编码器/串行化器81B，而将控制位CTL2和CTL3提供到编码器/串行化器81C。
编码器/串行化器81A以时分方式发送提供到其的图像数据的B分量、垂直同步信号、水平同步信号和辅助数据。也就是说，编码器/串行化器81A将提供到其的图像数据的B分量设为以8位(其是固定位数)为单元的并行数据。进一步，编码器/串行化器81A编码并行数据，将其转换为串行数据，并通过TMDS通道#0传输串行数据。
此外，编码器/串行化器81A编码提供到其的垂直同步信号和水平同步信号(即，2-位并行数据)，将该数据转换为串行数据，并通过TMDS通道#0发送串行数据。进一步，编码器/串行化器81A将提供到其的辅助数据设为以4位为单元的并行数据。然后，编码器/串行化器81A编码并行数据，将其转换为串行数据，并通过TMDS通道#0传输串行数据。
编码器/串行化器81B以时分方式发送提供到其的图像数据的G分量、控制位CTL0和CTL1以及辅助数据。也就是说，编码器/串行化器81B将提供到其的图像数据的G分量设为以8位(其是固定位数)为单元的并行数据。进一步，编码器/串行化器81B编码并行数据，将其转换为串行数据，并通过TMDS通道#1传输串行数据。
此外，编码器/串行化器81B编码提供到其的控制位CTL0和CTL1(即，2-位并行数据)，将该数据转换为串行数据，并通过使用TMDS通道#1发送。进一步，编码器/串行化器81B将提供到其的辅助数据取为以4位为增量的并行数据。然后，编码器/串行化器81B编码其并行数据，转换为串行数据，并通过TMDS通道#1传输串行数据。
编码器/串行化器81C以时分方式发送提供到其的图像数据的R分量、控制位CTL2和CTL3以及辅助数据。也就是说，编码器/串行化器81C将提供到其的图像数据的R分量设为以8位(其是固定位数)为单元的并行数据。进一步，编码器/串行化器81C编码并行数据，将其转换为串行数据，并通过TMDS通道#2传输串行数据。
此外，编码器/串行化器81C编码提供到其的控制位CTL2和CTL3(即，2-位并行数据)，将该数据转换为串行数据，并通过TMDS通道#2传输串行数据。进一步，编码器/串行化器81C将提供到其的辅助数据设为以4位为单元的并行数据。然后，编码器/串行化器81C将并行数据编码为串行数据，并通过TMDS通道#2传输串行数据。
HDMI接收器82包括分别与三个TMDS通道#0、#1和#2对应的三个恢复/解码器82A、82B和82C。然后，恢复/解码器82A、82B和82C中的每个接收通过TMDS通道#0、#1和#2中的对应一个使用差分信号传输的图像数据、辅助数据和控制数据。进一步，恢复/解码器82A、82B和82C中的每个将图像数据、辅助数据和控制数据从串行数据转换成并行数据，并进一步解码和输出它们。
也就是说，恢复/解码器82A接收通过TMDS通道#0使用差分信号传输的图像数据的B分量、垂直同步信号、水平同步信号和辅助数据。然后，恢复/解码器82A将该图像数据的B分量、垂直同步信号、水平同步信号和辅助数据从串行数据转换成并行数据，并解码和输出它们。
恢复/解码器82B接收通过TMDS通道#1使用差分信号传输的图像数据的G分量、控制位CTL0和CTL1以及辅助数据。然后，恢复/解码器82B将该图像数据的G分量、控制位CTL0和CTL1以及辅助数据从串行数据转换成并行数据，并解码和输出它们。
恢复/解码器82C接收通过TMDS通道#2使用差分信号传输的图像数据的R分量、控制位CTL2和CTL3以及辅助数据。然后，恢复/解码器82C将该图像数据的R分量、控制位CTL2和CTL3以及辅助数据从串行数据转换成并行数据，并解码和输出它们。
图46图示了TMDS传输数据的示例结构。图46图示了在通过TMDS通道#0、#1和#2传输具有水平方向1920像素和垂直方向1080行的图像数据的情况下的各种传输数据间隔。
通过HDMI的三个TMDS通道#0、#1和#2传输的传输数据的视频场(Video Field)，按照传输数据的类型，包括三种间隔。该三种间隔是视频数据间隔(Video Data Period)、数据岛间隔(Data Island Period)和控制间隔(Control Period)。
这里，视频场间隔是从某个垂直同步信号的上升沿(活动沿)到下一个垂直同步信号的上升沿的间隔。这个视频场间隔可以被分隔成水平消隐时段(水平消隐)、垂直消隐时段(垂直消隐)和活动视频间隔(Active Video)。该活动视频间隔是通过从视频场间隔移除水平消隐时段和垂直消隐时段获得的间隔。
在活动视频时段中分配视频数据间隔。在该视频数据间隔中，传输具有1920像素×1080行的有效像素(Active Pixels)的数据(其形成一个屏幕的未压缩图像数据)。
将数据岛间隔和控制间隔分配给水平消隐时段和垂直消隐时段。在数据岛间隔和控制间隔中，传输辅助数据(Auxiliary data)。也就是说，将数据岛间隔分配给水平消隐时段和垂直消隐时段的一部分。在该数据岛间隔中，在辅助数据之中，传输与控制无关的数据，例如如音频数据的分组。
将控制间隔分配给水平消隐时段和垂直消隐时段的另外部分。在该控制间隔中，传输辅助数据中与控制有关的数据，例如如垂直同步信号、水平同步信号和控制分组等。
图47图示了HDMI端子211和251的示例管脚阵列。图47中所图示的管脚阵列被称为A型(type-A)。
作为差分线的两条线连接到管脚(具有管脚号1、4和7)和管脚(具有管脚号3、6和9)，经由该两条线在TMDS通道#i上传输作为差分信号的TMDS数据#i+和TMDS数据#i，TMDS数据#i+分配到管脚(具有管脚号1、4和7)，并且TMDS数据#i分配到管脚(具有管脚号3、6和9)。
此外，经由其传输作为控制使用的数据的CEC信号的CEC线84连接到具有管脚号13的管脚，具有管脚号14的管脚是空(保留)管脚。此外，经由其传输诸如E-EDID之类的SDA(Serial Data，串行数据)信号的线连接到具有管脚号16的管脚，并且经由其传输作为用于在SDA信号的传输和接收期间同步的时钟信号的SCL(Serial Clock，串行时钟)信号的线连接到具有管脚号15的管脚。上述DDC 83由经由其传输SDA信号的线和经由其传输SCL信号的线组成。
此外，如上所述，用于源设备检测宿设备的连接的HPD线86连接到具有管脚号19的管脚。此外，如上所述，经由其供电的线87连接到具有管脚号18的管脚。
[在立体图像数据的每个方法中的TMDS传输数据的示例]
这里，将描述在立体图像数据的每个方法中TMDS传输数据的示例。图48图示在第一传输方法(“上下”方法)中TMDS传输数据的示例。在此情况下，在1920像素×1080行的活动视频间隔中安排具有1920像素×1080行的有效像素(Active pixels)的数据(左眼(L)图像数据和右眼(R)图像数据的合成数据)。在第一方法的情况下，如上所述，在左眼图像数据和右眼图像数据的每个的垂直方向的行抽取为1/2。这里，要传输的左眼图像数据是奇数行或偶数行的左眼图像数据，类似地，要传输的右眼图像数据是奇数行或偶数行的右眼图像数据。
图49图示在第二传输方法(“并排”方法)中TMDS传输数据的示例。在此情况下，在1920像素×1080行的活动视频间隔中安排具有1920像素×1080行的有效像素(Active pixels)的数据(左眼(L)图像数据和右眼(R)图像数据的合成数据)。在第二传输方法的情况下，如上所述，在左眼图像数据和右眼图像数据的每个的水平方向的像素数据抽取为1/2。
图50图示在第三传输方法(“帧顺序”方法)中TMDS传输数据的示例。在此情况下，在奇数场的1920像素×1080行的活动视频间隔中安排具有1920像素×1080行的有效像素(Active pixels)的左眼(L)图像数据。此外，在偶数场的1920像素×1080行的活动视频间隔中安排具有1920像素×1080行的有效像素(Active pixels)的右眼(R)图像数据。
注意到，在图50所示的“帧顺序”方法中TMDS传输数据的示例指示在HDMI 1.4(新HDMI)中的“帧顺序”方法。在此情况下，如图51(a)所示，在每个帧时段Vfreq中，在奇数场安排左眼图像数据，并且在偶数场安排右眼图像数据。
此外，在HDMI 1.3(传统HDMI)中的“帧顺序”方法的情况下，如图51(b)所示，每个帧时段Vfreq交替传输左眼图像数据和右眼图像数据。在此情况下，需要从源设备发送指示每帧要传输左眼图像数据和右眼图像数据的哪个的信息(L/R信令信息)到宿设备。
在“上下”方法、“并排”方法和“帧顺序”方法的立体图像数据传输到宿设备的情况下，在源设备侧指定方法，并且此外在“帧顺序”方法的情况下，每帧执行L/R信令。
例如，通过重新定义在传统HDMI专用消隐中定义的厂商专用、AVIInfoFrame、或保留之一来传输以下语法。
在HDMI 1.3的情况下，以下信息定义为在消隐时段中传输的信息。
InfoFrame类型#(8位)
-------------------------
0x01：厂商专用(Vendor Specific)
0x02：AVI InfoFrame
0x03：源产品描述(Source Product Description)
0x04：音频InfoFrame
0x05：MPEG源
0x06-0xFF保留
在它们中，厂商专用、AVI InfoFrame、或未使用区域之一被重新定义，并且设置如下。
Figure BDA0000087345850000421
上述信息包含关于三维图像数据和二维图像数据之间的切换的信息(1位3DVideoFlag信息)，以及关于三维图像数据的格式的指定或左眼图像数据和右眼图像数据之间的切换的信息(3位3DVideoFormat信息)。
注意到，上述信息是在画面报头或辅助信息中定义的，在与对其广播类似内容的位流中的画面报头的定时对应的定时发送辅助信息。在此情况下，该位流可替代地包含三维图像数据(由左眼图像数据和右眼图像数据形成的立体图像数据)或二维图像数据。
当接收流时，接收器(机顶盒200)发送信令信息到随后级中的数字接口，使得可以在显示器(电视接收机300)中执行精确的3D转换。
此外，当切换信息(1位3DVideoFlag信息)指示三维图像数据时，即，当数据流包括三维图像数据时，接收器可以配置为从外部设备(如广播服务器)下载用于处理三维图像数据的软件，并且可以将软件安装在其中。
例如，为了传输上述3D信息，需要在HDMI-1.3兼容系统上的额外支持，或者HDMI-1.4兼容系统的软件的更新。因此，在更新软件时，例如，要更新与传输上述3D信息所需的固件或中间件有关的软件。
注意到，在许多情况下，具有静态图案(如上面没有描述的字幕(Subtitle)或字幕(Caption))的显示对象的控制属性从显示的开始时间到显示的结束时间不改变。然而，即使在此情况下，在接收器侧，例如，在上述机顶盒200的位流处理单元中，可以使用以更精细间隔(例如，以画面为单位)接收的视差信息动态控制图案表示的显示位置的偏移。在此情况下，可能允许对象被察觉为处于总是在每个画面改变的视频图像(图像)的深度上最近的位置。此外，还可以允许其中重叠如字幕(subtitle)或字幕(caption)的数据对于预定时段通过预读取接收的视差信息在目标时段期间在对应于最大视差的偏移的情况下显示。
如上所述，在图1所示的立体图像显示系统10中，基于关于左眼图像和右眼图像之一相对于另一的视差信息，给出视差到要重叠在左眼图像和右眼图像上的相同的重叠信息(如字幕信息、图形信息、或文本信息)。因此，已经根据图像中每个对象的透视经历视差调整的重叠信息可以用作要重叠在左眼图像和右眼图像上的相同的重叠信息，并且可能在重叠信息的显示时保持重叠信息和图像中的每个对象之间的一致性。
<2.示例修改>
注意，在以上实施例中，在图像中预定位置的视差矢量从广播站100侧传输到机顶盒200。在此情况下，机顶盒200不要求基于接收的立体图像数据中包括的左眼图像数据和右眼图像数据获得视差矢量，并且使得机顶盒200的处理容易。
然而，还可构思与图2所示的传输数据生成单元110中的视差矢量检测单元114等价的视差矢量检测单元安排在立体图像数据的接收侧(在上述实施例中，在机顶盒中)。在此情况下，即使不发送视差信息，也可能使用视差矢量执行处理。
图52图示例如机顶盒200中提供的位流处理单元201D的示例配置。在图52中，与图38中的部分对应的部分分配相同的标号，并且省略其详细描述。在位流处理单元201D中，安排视差矢量检测单元233替代图38所示的位流处理单元201中的视差矢量解码器225。
视差矢量检测单元233基于形成由视频解码器221获得立体图像数据的左眼图像数据和右眼图像数据，检测图像中预定位置的视差矢量。然后，视差矢量检测单元233将检测到的视差矢量提供到立体图像字幕/图形产生单元206、立体图像文本产生单元227、以及多声道扬声器控制单元229。
尽管将省略详细描述，但是图52中所图示的位流处理单元201D的其他组件以与图38中所图示的传输数据生成单元110类似的方式配置，并且以类似方式工作。
此外，在以上实施例中，重叠信息(字幕信息、图形信息、文本信息)的数据从广播站100侧传输到机顶盒200。还可构思在机顶盒200中产生重叠信息的数据。
例如，在图38所示的位流处理单元201中，由字幕/图形解码器222获得的字幕数据或图形数据提供到立体图像字幕/图形产生单元206。替代或与其一起，还可构思提供在机顶盒200中产生的图形数据(位图数据)的配置。对于文本数据执行类似的操作。
此外，在上述实施例中，在传输数据生成单元110和110A到110C(见图2、13、18和19)，使用从相机111L和111R输出的左眼图像数据和右眼图像数据。此外，在传输数据生成单元110和110A到110C中，使用从麦克风116输出的音频数据。
此外，在传输数据生成单元110和110A到110C中，使用由字幕/图形产生单元118和文本产生单元120产生的重叠信息的数据。此外，在传输数据生成单元110和110A到110C中，使用由视差矢量检测单元114检测到的视差矢量。
然而，还可构思这样的配置，其中从已经在其上记录左眼图像数据、右眼图像数据、音频数据、重叠信息的数据和视差矢量的数据记录介质提取它们并且使用。盘形记录介质、半导体存储器等可构思为数据记录介质。
图53图示了例如生成位流数据的广播站100中的传输数据生成单元110D的示例配置。传输数据生成单元110D包括数据提取单元129、视频成帧单元112、视频编码器113和视差矢量编码器115。此外，传输数据生成单元110D包括音频编码器117、字幕/图形编码器119、文本编码器121和多路复用器122。
数据记录介质130例如以可移除的方式附接到数据提取单元129。数据记录介质130其上已经与左眼图像数据和右眼图像数据一起相关联地记录了音频数据、重叠信息的数据、以及视差矢量。数据提取单元129从数据记录介质130提取左眼图像数据和右眼图像数据，并且将它们提供到视频成帧单元112。此外，数据提取单元129从数据记录介质130提取视差矢量，并且将它提供到视差矢量编码器115。
此外，数据提取单元129从数据记录介质130提取音频数据，并且将它提供到音频编码器117。此外，数据提取单元129从记录介质130提取字幕数据或图形数据，并且将它提供到字幕/图形编码器119。此外，数据提取单元129从数据记录介质130提取文本数据，并且将它提供到文本编码器121。
尽管将省略详细描述，但是图53中所图示的传输数据生成单元110D的其他组件以与图2中所图示的传输数据生成单元110类似的方式配置，并且以类似方式工作。
此外，在以上实施例中，已经图示了由广播站100、机顶盒200和电视接收机300构成的立体图像显示系统10。然而，如图43中所示，电视接收机300包括以与机顶盒200内的位流处理单元201等价的方式运行的位流处理单元306。因此，如图54所示，也可构思由广播站100和电视接收机300构成的立体图像显示系统10A。
此外，在上述实施例中，已经图示了这样的示例：其中，从广播站广播100广播包括立体图像数据的数据流(位流数据)。然而，当然，本发明也可以类似地应用于具有如下配置的系统：其中，通过利用网络(如因特网)将该数据流分发至接收端。
注意，本申请参照日本专利申请No.2009-153686。
工业实用性
本发明可以应用于在图像上重叠了重叠信息(如字幕信息、图形信息、或文本信息)并且显示得到的图像的立体图像显示系统等。
附图标记列表
10，10A立体图像显示系统；100广播站；110，110A至100C传输数据生成单元；111L，111R相机；112视频成帧单元；113视频编码器；113a流格式化器；114视差矢量检测单元；115视差矢量编码器；116麦克风；117音频编码器；118字幕/图形产生单元；119字幕/图形编码器；120文本产生单元；121文本编码器；122多路复用器；124字幕/图形处理单元；125文本处理单元；126控制器；127Z数据单元；129文本提取单元；130数据记录介质；200机顶盒；201，201A到201D位流处理单元；202HDMI端子；203天线端子；204数字调谐器；205视频信号处理电路；206HDMI传输单元；207音频信号处理电路；211CPU；212闪速ROM；213DRAM；214内部总线；215遥控接收单元；216遥控发送器；220解多路复用器；221视频解码器；222字幕/图形解码器；223文本解码器；224音频解码器；225视差矢量解码器；226立体图像字幕/图形产生单元；227立体图像文本产生单元；228视频重叠单元；229多声道扬声器控制单元；231视差矢量提取单元；232视差信息提取单元；300电视接收机；3013D信号处理单元；302HDMI端子；303HDMI接收单元；304天线端子；305数字调谐器；306位流处理单元；307视频/图形处理电路；308面板驱动电路；309显示面板；310音频信号处理电路；311音频放大电路；312扬声器；321CPU；322闪速ROM；323DRAM；324内部总线；325遥控接收单元；326遥控发送器；400HDMI线缆。

Claims (19)

1.一种立体图像数据传输装置，包括：
第一数据流生成单元，其生成第一数据流，该第一数据流包括用于显示立体图像的左眼图像数据和右眼图像数据；
视差信息输出单元，其输出视差信息，该视差信息用于给出视差到要重叠在基于左眼图像数据和右眼图像数据的图像上的重叠信息；
第二数据流生成单元，其生成第二数据流，该第二数据流包括重叠信息的数据并且具有嵌入其中的从视差信息输出单元输出的视差信息；以及
数据传输单元，其多路复用由第一数据流生成单元生成的第一数据流和由第二数据流生成单元生成的第二数据流，并且传输多路复用流。
2.如权利要求1所述的立体图像数据传输装置，
其中视差信息输出单元
包括视差信息确定单元，该视差信息确定单元根据基于左眼图像数据和右眼图像数据的图像的内容，确定每条重叠信息的数据的视差信息，并且
输出由视差信息确定单元确定的视差信息。
3.如权利要求2所述的立体图像数据传输装置，
其中视差信息确定单元
包括视差信息检测单元，该视差信息检测单元在基于左眼图像数据和右眼图像数据的图像中的多个位置，检测关于左眼图像和右眼图像之一相对于另一个的视差信息，并且
对于每条重叠信息的数据，确定由视差信息检测单元检测到的多条视差信息中在对应于重叠位置的检测位置处检测到的视差信息。
4.如权利要求1所述的立体图像数据传输装置，
其中视差信息输出单元
包括视差信息设置单元，该视差信息设置单元对于每条重叠信息的数据设置视差信息，并且
输出由视差信息设置单元设置的视差信息。
5.如权利要求1所述的立体图像数据传输装置，
其中视差信息输出单元
包括视差信息确定单元和视差信息设置单元，该视差信息确定单元对于每条重叠信息的数据，根据基于左眼图像数据和右眼图像数据的图像的内容确定视差信息，该视差信息设置单元对于每条重叠信息的数据设置视差信息，并且
选择性地输出由视差信息确定单元确定的视差信息，或者由视差信息设置单元设置的视差信息。
6.如权利要求1所述的立体图像数据传输装置，
其中重叠信息的数据是用于显示字幕或图形的位图数据。
7.一种立体图像数据传输方法，包括：
第一数据流生成步骤，其生成第一数据流，该第一数据流包括用于显示立体图像的左眼图像数据和右眼图像数据；
视差信息输出步骤，其输出视差信息，该视差信息用于给出视差到要重叠在基于左眼图像数据和右眼图像数据的图像上的重叠信息；
第二数据流生成步骤，其生成第二数据流，该第二数据流包括重叠信息的数据并且具有嵌入其中的在视差信息输出步骤中输出的视差信息；以及
数据传输步骤，其多路复用在第一数据流生成步骤中生成的第一数据流和在第二数据流生成步骤中生成的第二数据流，并且传输多路复用流。
8.一种立体图像数据接收装置，包括：
数据接收单元，其接收第一数据流和第二数据流的多路复用数据，该第一数据流包括用于显示立体图像数据的左眼图像数据和右眼图像数据，该第二数据流包括要重叠在基于左眼图像数据和右眼图像数据的图像上的重叠信息的数据并具有嵌入其中的视差信息，该视差信息用于给出视差到要重叠在基于左眼图像数据和右眼图像数据的图像上的重叠信息；
图像数据获取单元，其从由数据接收单元接收的第一数据流获取左眼图像数据和右眼图像数据；
重叠信息数据获取单元，其从由数据接收单元接收的第二数据流获取重叠信息的数据；
视差信息获取单元，其从由数据接收单元接收的第二数据流获取视差信息；以及
图像数据处理单元，其使用由图像数据获取单元获取的左眼图像数据和右眼图像数据、由重叠信息数据获取单元获取的重叠信息的数据、以及由视差信息获取单元获取的视差信息，给出视差到要重叠在左眼图像和右眼图像上的相同的重叠信息，并且图像数据处理单元获得其上已经重叠了重叠信息的左眼图像数据和其上已经重叠了重叠信息的右眼图像数据。
9.如权利要求8所述的立体图像数据接收装置，还包括：
图像数据传输单元，其将包括由图像数据处理单元获得的左眼图像数据和右眼图像数据的立体图像数据传输到外部设备。
10.如权利要求8所述的立体图像数据接收装置，还包括：
图像显示单元，其基于由图像数据处理单元获得的左眼图像数据和右眼图像数据，显示用于立体图像显示的图像。
11.一种立体图像数据接收方法，包括：
数据接收步骤，其接收第一数据流和第二数据流的多路复用数据，该第一数据流包括用于显示立体图像数据的左眼图像数据和右眼图像数据，该第二数据流包括要重叠在基于左眼图像数据和右眼图像数据的图像上的重叠信息的数据并具有嵌入其中的视差信息，该视差信息用于给出视差到要重叠在基于左眼图像数据和右眼图像数据的图像上的重叠信息；
图像数据获取步骤，其从在数据接收步骤中接收的第一数据流获取左眼图像数据和右眼图像数据；
重叠信息数据获取步骤，其从在数据接收步骤中接收的第二数据流获取重叠信息的数据；
视差信息获取步骤，其从在数据接收单元步骤中接收的第二数据流获取视差信息；以及
图像数据处理步骤，其使用在图像数据获取步骤中获取的左眼图像数据和右眼图像数据、在重叠信息数据获取步骤中获取的重叠信息的数据、以及在视差信息获取步骤中获取的视差信息，给出视差到要重叠在左眼图像和右眼图像上的相同的重叠信息，并且获得其上已经重叠了重叠信息的左眼图像数据和其上已经重叠了重叠信息的右眼图像数据。
12.一种立体图像数据传输装置，包括：
图像数据获取单元，其获取用于显示立体图像的左眼图像数据和右眼图像数据；
视差信息获取单元，其在图像中的预定位置获取关于左眼图像和右眼图像之一相对于另一个的视差信息；以及
数据传输单元，其将由视差信息获取单元获取的视差信息与包括由图像数据获取单元获取的左眼图像数据和右眼图像数据的立体图像数据一起传输。
13.如权利要求12所述的立体图像数据传输装置，还包括：
重叠信息数据获取单元，其获取要重叠在基于左眼图像数据和右眼图像数据的图像上的重叠信息的数据，
其中数据传输单元将由视差信息获取单元获取的视差信息和由重叠信息数据获取单元获取的重叠信息的数据，与包括由图像数据获取单元获取的左眼图像数据和右眼图像数据的立体图像数据一起传输。
14.如权利要求12所述的立体图像数据传输装置，
其中图像数据获取单元从数据记录介质获取左眼图像数据和右眼图像数据，在数据记录介质上相互关联地记录左眼图像数据、右眼图像数据以及视差信息，并且
其中视差信息获取单元从数据记录介质获取视差信息。
15.一种立体图像数据传输方法，包括：
在图像中的预定位置获取关于左眼图像数据和右眼图像数据之一相对于另一个的视差信息；以及
与包括左眼图像数据和右眼图像数据的立体图像数据一起传输获取的视差信息。
16.一种立体图像数据接收装置，包括：
数据接收单元，其与包括左眼图像数据和右眼图像数据的立体图像数据一起，接收关于在图像中的预定位置左眼图像和右眼图像之一相对于另一个的视差信息；以及
图像数据处理单元，其使用由数据接收单元接收的立体图像数据中包括的左眼图像数据和右眼图像数据以及视差信息，给出视差到要重叠在左眼图像和右眼图像上的相同的重叠信息，并且图像数据处理单元获得其上已经重叠了重叠信息的左眼图像数据和其上已经重叠了重叠信息的右眼图像数据。
17.一种立体图像数据接收方法，包括：
数据接收步骤，其与包括左眼图像数据和右眼图像数据的立体图像数据一起，接收关于在图像中的预定位置左眼图像和右眼图像之一相对于另一个的视差信息；以及
图像数据处理步骤，其使用在数据接收步骤中接收的立体图像数据中包括的左眼图像数据和右眼图像数据以及视差信息，给出视差到要重叠在左眼图像和右眼图像上的相同的重叠信息，并且获得其上已经重叠了重叠信息的左眼图像数据和其上已经重叠了重叠信息的右眼图像数据。
18.一种数据记录介质，其中已经存储用于显示立体图像的左眼图像数据和右眼图像数据，并且已经在其上与左眼图像数据和右眼图像数据相关联地记录关于在图像中的预定位置左眼图像和右眼图像之一相对于另一个的视差信息。
19.如权利要求18所述的数据记录介质，
其中进一步与左眼图像数据和右眼图像数据相关联地记录要重叠在基于左眼图像数据和右眼图像数据的图像上的重叠信息的数据。
CN2010800098211A 2009-06-29 2010-06-22 立体图像数据传输装置、立体图像数据传输方法、立体图像数据接收装置、以及立体图像数据接收方法 Pending CN102342111A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP153686/09 2009-06-29
JP2009153686 2009-06-29
JP2009288433A JP2011030180A (ja) 2009-06-29 2009-12-18 立体画像データ送信装置、立体画像データ送信方法、立体画像データ受信装置および立体画像データ受信方法
JP288433/09 2009-12-18
PCT/JP2010/060582 WO2011001854A1 (ja) 2009-06-29 2010-06-22 立体画像データ送信装置、立体画像データ送信方法、立体画像データ受信装置および立体画像データ受信方法

Publications (1)

Publication Number Publication Date
CN102342111A true CN102342111A (zh) 2012-02-01

Family

ID=43410931

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2010800098211A Pending CN102342111A (zh) 2009-06-29 2010-06-22 立体图像数据传输装置、立体图像数据传输方法、立体图像数据接收装置、以及立体图像数据接收方法

Country Status (9)

Country Link
US (1) US20110141233A1 (zh)
EP (1) EP2451168A4 (zh)
JP (1) JP2011030180A (zh)
KR (1) KR20120038387A (zh)
CN (1) CN102342111A (zh)
BR (1) BRPI1004291A2 (zh)
RU (1) RU2011105393A (zh)
TW (1) TW201116042A (zh)
WO (1) WO2011001854A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102780894A (zh) * 2012-05-31 2012-11-14 新奥特（北京）视频技术有限公司 一种3d图像的编解码方法
WO2014100994A1 (en) * 2012-12-26 2014-07-03 Thomson Licensing Method and apparatus for content presentation

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201116041A (en) * 2009-06-29 2011-05-01 Sony Corp Three-dimensional image data transmission device, three-dimensional image data transmission method, three-dimensional image data reception device, three-dimensional image data reception method, image data transmission device, and image data reception
US9258541B2 (en) * 2010-08-17 2016-02-09 Lg Electronics Inc. Apparatus and method for receiving digital broadcasting signal
JP2013021415A (ja) * 2011-07-07 2013-01-31 Sony Corp 送信装置、送信方法および受信装置
WO2013018489A1 (ja) * 2011-08-04 2013-02-07 ソニー株式会社 送信装置、送信方法および受信装置
JP2013051660A (ja) * 2011-08-04 2013-03-14 Sony Corp 送信装置、送信方法および受信装置
JP2013066075A (ja) * 2011-09-01 2013-04-11 Sony Corp 送信装置、送信方法および受信装置
US9407897B2 (en) 2011-09-30 2016-08-02 Panasonic Intellectual Property Management Co., Ltd. Video processing apparatus and video processing method
FR2982448A1 (fr) * 2011-11-07 2013-05-10 Thomson Licensing Procede de traitement d'image stereoscopique comprenant un objet incruste et dispositif correspondant
US9872008B2 (en) * 2012-01-18 2018-01-16 Panasonic Corporation Display device and video transmission device, method, program, and integrated circuit for displaying text or graphics positioned over 3D video at varying depths/degrees
KR20130088636A (ko) * 2012-01-31 2013-08-08 삼성전자주식회사 영상 전송 장치 및 방법, 그리고 영상 재생 장치 및 방법
CN103959769B (zh) 2012-02-02 2016-12-14 太阳专利托管公司 用于使用视差信息的3d媒体数据产生、编码、解码和显示的方法和装置
JP5987899B2 (ja) * 2012-03-30 2016-09-07 富士通株式会社 生成装置、生成プログラムおよび生成方法
KR20140049832A (ko) * 2012-10-18 2014-04-28 삼성전자주식회사 블루레이 디스크와 이를 재생하기 위한 블루레이 디스크 재생 장치 및 그 자막 표시 방법
US10073607B2 (en) 2014-07-03 2018-09-11 Qualcomm Incorporated Single-channel or multi-channel audio control interface
EP3242487B1 (en) * 2014-12-29 2021-10-13 Sony Group Corporation Transmitting device, transmitting method, receiving device and receiving method
JPWO2017006948A1 (ja) 2015-07-09 2018-04-26 ソニー株式会社 受信装置、受信方法、送信装置および送信方法
US9986202B2 (en) 2016-03-28 2018-05-29 Microsoft Technology Licensing, Llc Spectrum pre-shaping in video
CN108293142B (zh) 2016-09-14 2021-11-02 索尼公司 发送装置、发送方法、接收装置和接收方法
CN108370451B (zh) 2016-10-11 2021-10-01 索尼公司 发送装置、发送方法、接收装置以及接收方法
HUE060571T2 (hu) 2016-11-22 2023-03-28 Saturn Licensing Llc Átviteli eszköz, átviteli eljárás, vevõkészülék és vételi eljárás
WO2019185986A2 (en) 2018-03-28 2019-10-03 Nokia Technologies Oy A method, an apparatus and a computer program product for virtual reality
JP2023101331A (ja) * 2022-01-07 2023-07-20 キヤノン株式会社 画像処理装置、画像処理方法、及びコンピュータプログラム

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1795683A (zh) * 2003-05-28 2006-06-28 三洋电机株式会社 立体视频显示装置、文本数据处理装置、程序及存储介质
WO2007116549A1 (ja) * 2006-04-07 2007-10-18 Sharp Kabushiki Kaisha 画像処理装置

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11113028A (ja) * 1997-09-30 1999-04-23 Toshiba Corp ３次元映像表示装置
JPH11289555A (ja) * 1998-04-02 1999-10-19 Toshiba Corp 立体映像表示装置
JP2004274125A (ja) * 2003-03-05 2004-09-30 Sony Corp 画像処理装置および方法
JP4190357B2 (ja) 2003-06-12 2008-12-03 シャープ株式会社 放送データ送信装置、放送データ送信方法および放送データ受信装置
RU2407224C2 (ru) * 2005-04-19 2010-12-20 Конинклейке Филипс Электроникс Н.В. Восприятие глубины
CN105263012A (zh) * 2007-03-16 2016-01-20 汤姆森许可贸易公司 用于将文本与三维内容相结合的系统和方法
US8953684B2 (en) * 2007-05-16 2015-02-10 Microsoft Corporation Multiview coding with geometry-based disparity prediction
JP2009135686A (ja) * 2007-11-29 2009-06-18 Mitsubishi Electric Corp 立体映像記録方法、立体映像記録媒体、立体映像再生方法、立体映像記録装置、立体映像再生装置
KR100955578B1 (ko) * 2007-12-18 2010-04-30 한국전자통신연구원 스테레오스코픽 콘텐츠 장면 재생 방법 및 그 장치
JP2009153686A (ja) 2007-12-26 2009-07-16 Lion Corp 床用清掃シート
RU2546546C2 (ru) * 2008-12-01 2015-04-10 Аймакс Корпорейшн Способы и системы для представления трехмерных изображений движения с адаптивной к содержимому информацией
KR101622688B1 (ko) * 2008-12-02 2016-05-19 엘지전자 주식회사 3차원 캡션 디스플레이 방법 및 이를 구현하기 위한 3차원 디스플레이 장치
PL2399398T3 (pl) * 2009-02-17 2016-10-31 Łączenie obrazu 3d i danych graficznych

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1795683A (zh) * 2003-05-28 2006-06-28 三洋电机株式会社 立体视频显示装置、文本数据处理装置、程序及存储介质
WO2007116549A1 (ja) * 2006-04-07 2007-10-18 Sharp Kabushiki Kaisha 画像処理装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102780894A (zh) * 2012-05-31 2012-11-14 新奥特（北京）视频技术有限公司 一种3d图像的编解码方法
CN102780894B (zh) * 2012-05-31 2016-12-14 新奥特（北京）视频技术有限公司 一种3d图像的编解码方法
WO2014100994A1 (en) * 2012-12-26 2014-07-03 Thomson Licensing Method and apparatus for content presentation

Also Published As

Publication number Publication date
RU2011105393A (ru) 2012-08-20
BRPI1004291A2 (pt) 2016-03-15
WO2011001854A1 (ja) 2011-01-06
US20110141233A1 (en) 2011-06-16
KR20120038387A (ko) 2012-04-23
EP2451168A1 (en) 2012-05-09
EP2451168A4 (en) 2013-12-04
JP2011030180A (ja) 2011-02-10
TW201116042A (en) 2011-05-01

Similar Documents

Publication Publication Date Title
CN102342113B (zh) 立体图像数据传输装置和立体图像数据接收装置
CN102342111A (zh) 立体图像数据传输装置、立体图像数据传输方法、立体图像数据接收装置、以及立体图像数据接收方法
CN102177724B (zh) 立体图像数据传输装置、立体图像数据发送方法、立体图像数据接收装置和立体图像数据接收方法
CN102342112B (zh) 立体图像数据发送装置、立体图像数据发送方法、立体图像数据接收装置和立体图像数据接收方法
CN102210155B (zh) 发送立体图像数据的立体图像数据发送装置和方法
RU2463731C1 (ru) Устройство и способ передачи данных стереоизображения, устройство и способ приема данных стереоизображения, устройство передачи данных изображения и устройство приема данных изображения
TWI413403B (zh) Three-dimensional image data transmission device, three-dimensional image data transmission method and three-dimensional image data receiving device
TWI437873B (zh) Three-dimensional image data transmission device, three-dimensional image data transmission method, three-dimensional image data receiving device and three-dimensional image data receiving method
CN102210154A (zh) 立体图像数据发送装置和立体图像数据接收装置
CN102172034A (zh) 图像数据发送设备、控制方法和程序
CN103597823A (zh) 发送装置、发送方法和接收器装置
JP2011166757A (ja) 送信装置、送信方法および受信装置
CN102771131A (zh) 立体图像数据发送装置、立体图像数据发送方法、立体图像数据接收装置和立体图像数据接收方法
CN104081767A (zh) 发送装置、发送方法、接收装置和接收方法
JP2011010255A (ja) 立体画像データ送信方法、立体画像データ受信装置および立体画像データ受信方法
JP2013176141A (ja) 立体画像データ受信装置および立体画像データ受信方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
AD01 Patent right deemed abandoned

Effective date of abandoning: 20160720

C20 Patent right or utility model deemed to be abandoned or is abandoned