CN102165784A - 立体图像数据传送装置、立体图像数据传送方法、立体图像数据接收装置、立体图像数据接收方法、图像数据传送装置以及图像数据接收装置 - Google Patents

立体图像数据传送装置、立体图像数据传送方法、立体图像数据接收装置、立体图像数据接收方法、图像数据传送装置以及图像数据接收装置 Download PDF

Info

Publication number
CN102165784A
CN102165784A CN201080002717XA CN201080002717A CN102165784A CN 102165784 A CN102165784 A CN 102165784A CN 201080002717X A CN201080002717X A CN 201080002717XA CN 201080002717 A CN201080002717 A CN 201080002717A CN 102165784 A CN102165784 A CN 102165784A
Authority
CN
China
Prior art keywords
image data
data
eye image
information
parallax
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201080002717XA
Other languages
English (en)
Inventor
塚越郁夫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN102165784A publication Critical patent/CN102165784A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/156—Mixing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/178—Metadata, e.g. disparity information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/183—On-screen display [OSD] information, e.g. subtitles or menus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23614—Multiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2381—Adapting the multiplex stream to a specific network, e.g. an Internet Protocol [IP] network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/438—Interfacing the downstream path of the transmission network originating from a server, e.g. retrieving encoded video stream packets from an IP network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/16—Analogue secrecy systems; Analogue subscription systems
    • H04N7/173—Analogue secrecy systems; Analogue subscription systems with two-way working, e.g. subscriber sending a programme selection signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/24—Systems for the transmission of television signals using pulse code modulation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/139—Format conversion, e.g. of frame-rate or size
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2213/00—Details of stereoscopic systems
    • H04N2213/005—Aspects relating to the "3D+depth" image format

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Library & Information Science (AREA)
  • Human Computer Interaction (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

在重叠信息的显示中保持了图像中的各个物体之间的远近感的感知的兼容性。视频成帧单元(112)根据传送系统处理左眼图像数据和右眼图像数据，以获得用于传送的三维图像数据。视差矢量检测单元(114)基于左眼图像数据和右眼图像数据，在图像中的预定位置，检测用作左眼图像和右眼图像之一相对于另一方的视差信息的视差矢量。视差矢量编码器(115)产生视差矢量的基本流。复用器(122)产生和传送通过除视频流、音频流、图形流等之外还复用视差矢量流，获得的比特流。在接收侧，可以使用已经被应用了视差调整的重叠信息，作为根据图像中的各个物体之间的远近感的感知而重叠在左眼图像和右眼图像上的相同重叠信息。

Description

立体图像数据传送装置、立体图像数据传送方法、立体图像数据接收装置、立体图像数据接收方法、图像数据传送装置以及图像数据接收装置
技术领域
本发明涉及一种立体图像数据传送装置、立体图像数据传送方法、立体图像数据接收装置、立体图像数据接收方法、图像数据传送装置以及图像数据接收装置，具体涉及可以以有利的方式执行诸如图形信息和文本信息的重叠信息的显示的立体图像数据传送方法等。
背景技术
例如，在PTL(专利文献)1中，提出了使用电视广播无线电波的立体图像数据的传送模式。在此情况下，传送包括左眼图像数据和右眼图像数据的立体图像数据，并且在电视接收机处执行使用双目视差的立体图像显示。
图42示出了使用双目视差的立体图像显示中、屏幕上的物体的左和右图像的显示位置之间的关系、以及所得到的立体图像的重构位置。例如，对于如在图中所示的、左图像La和右图像Ra在屏幕上分别被显示为向右侧和向左侧位移(shift)的物体A，左和右视线在屏幕平面前方交叉，从而，在屏幕平面前方的位置处重构所产生的立体图像。
而且，例如，对于如在图中所示的、左图像Lb和右图像Rb被显示在屏幕上的相同位置处的物体B，左和右视线在屏幕平面上交叠，从而，所产生的立体图像被重构在屏幕平面上的位置处。此外，例如，对于如在图中所示的、左图像Lc和右图像Rc在屏幕上分别被显示为向左侧和向右侧位移的物体C，左和右视线在屏幕平面后方交叉，从而，所产生的立体图像被重构在屏幕平面后方的位置处。
引用列表
专利文献
PTL1：日本未审查专利申请公布No.2005-6114
发明内容
技术问题
如上所述，在立体图像显示中，观看者通常使用双目视差来感知立体图像的远近感(perspective)。对于重叠在图像上的重叠信息(例如图形信息、文本信息等)，期望不仅以二维空间形式而且还对于三维深度，与立体图像显示联合地呈现所述重叠信息。
例如，当在图像上执行作为图形信息的字幕的重叠显示时，除非将字幕显示在远近感方面最靠近的图像内的物体的前方，否则观看者有时感觉到远近感不一致。而且，当在图像上执行另一图形信息或文本信息的重叠显示时，期望根据图像中的各个物体的远近感施加视差调整，从而保持远近感的一致性。
本发明的目的在于：在诸如图形信息和文本信息的重叠信息的显示中，保持与图像内的各个物体的远近感的一致性。
解决问题的方案
本发明的概念存在于一种立体图像数据传送装置中，其包括：
立体图像数据输出单元，其输出包括左眼图像数据和右眼图像数据的立体图像数据；
视差信息输出单元，其输出用于通过位移要被重叠在基于所述左眼图像数据和所述右眼图像数据的图像上的重叠信息而赋予视差的视差信息；以及
数据传送单元，其将从所述视差信息输出单元输出的视差信息、与从所述立体图像数据输出单元输出的立体图像数据一起传送。
而且，本发明的另一概念存在于一种立体图像数据传送方法中，其包括：
获取用于通过位移要被重叠在基于左眼图像数据和右眼图像数据的图像上的重叠信息而赋予视差的视差信息；以及
将所获取的视差信息、与包括所述左眼图像数据和所述右眼图像数据的立体图像数据一起传送。
而且，本发明的另一概念存在于一种立体图像数据传送方法中，其包括：
基于用于显示立体图像的左眼图像数据和右眼图像数据，在图像内的预定位置获取左眼图像和右眼图像之一相对于另一方的视差信息；以及
将所获取的视差信息、与包括所述左眼图像数据和所述右眼图像数据的立体图像数据一起传送。
在本发明中，由立体图像数据输出单元输出包括左眼图像数据和右眼图像数据的立体图像数据。而且，由视差信息输出单元输出用于通过位移要被重叠在基于所述左眼图像数据和所述右眼图像数据的图像上的重叠信息而赋予视差的视差信息。例如，所述视差信息是左眼图像和右眼图像之一相对于另一方的视差信息，并基于用于显示立体图像的左眼图像数据和右眼图像数据而计算所述视差信息。在此情况下，在图像内的预定位置处，例如通过块匹配方法，计算视差矢量作为视差信息。然后，由数据传送单元将所述视差信息、与包括左眼图像数据和右眼图像数据的立体图像数据一起传送。
例如，将视差信息作为数值信息传送。在此情况下，在接收侧，基于此数值信息，对要被重叠在左眼图像和右眼图像上的相同重叠信息赋予视差。这里，重叠信息是指要被重叠显示在图像上的信息，诸如用于显示字幕的图形信息、或者用于显示电子节目指南(EPG)或文字电视广播信息的文本信息。而且，在将视差信息包含在要被重叠在基于左眼图像数据和右眼图像数据的图像上的重叠信息的数据中的同时，传送视差信息。在此情况下，在接收侧，原样地使用此重叠信息。
如此，在图像内的预定位置处所获取的视差信息被与包括左眼图像数据和右眼图像数据的立体图像数据一起传送。因此，在接收侧，可以使用已经根据图像内的各个物体的远近感而被施加了视差调整的重叠信息，作为要重叠在左眼图像和右眼图像上的相同重叠信息，由此使得可以在重叠信息的显示中保持远近感的一致性。
而且，本发明的概念还存在于一种立体图像数据接收装置中，其包括：
图像数据接收单元，其接收包括左眼图像数据和右眼图像数据的立体图像数据；以及
图像数据处理单元，其基于左眼图像和右眼图像之一相对于另一方的视差信息，对要重叠在所述左眼图像和所述右眼图像上的相同重叠信息赋予视差，并且获得所述重叠信息已经重叠在其上的左眼图像的数据、以及所述重叠信息已经重叠在其上的右眼图像的数据，所述视差信息是通过处理包括在由所述图像数据接收单元接收的立体图像数据中的左眼图像数据和右眼图像数据而获得的。
在本发明中，由图像数据接收单元接收包括左眼图像数据和右眼图像数据的立体图像数据。而且，由图像数据处理单元基于左眼图像和右眼图像之一相对于另一方的视差信息，对要重叠在所述左眼图像和所述右眼图像上的相同重叠信息赋予视差。通过处理包括在由所述图像数据接收单元接收的立体图像数据中的左眼图像数据和右眼图像数据，获得所述视差信息。
例如，与所述图像数据接收单元接收的立体图像数据同步地，由视差信息接收单元接收所述视差信息。在此情况下，不需要基于包含在由图像数据接收单元接收的立体图像数据中的左眼图像数据和右眼图像数据来获得所述视差信息，因此在接收侧的处理被简化。而且，例如，由视差信息获取单元获得视差信息。在此视差信息获取单元中，基于包含在由图像数据接收单元接收的立体图像数据中的左眼图像数据和右眼图像数据，在图像内的预定位置处获得左眼图像和右眼图像之一相对于另一方的视差信息。在此情况下，即使不发送视差信息，使用视差信息的处理也变得可能。
而且，由图像数据处理单元获得已经在其上重叠了重叠信息的左眼图像的数据和已经在其上重叠了重叠信息的右眼图像的数据。例如，包含由图像数据处理单元获得的左眼图像数据和右眼图像数据的立体图像数据被图像数据传送单元传送给外部设备。而且，例如，通过图像显示单元，显示用于基于由图像数据处理单元获得的左眼图像数据和右眼图像数据的立体图像显示的图像。
如此，基于左眼图像和右眼图像之一相对于另一方的视差信息，对要被重叠在左眼图像和右眼图像上的相同重叠信息赋予视差。因此，可以使用已经根据图像内的各个物体的远近感而被施加了视差调整的重叠信息，作为要重叠在左眼图像和右眼图像上的相同重叠信息，由此使得可以在重叠信息的显示中保持远近感的一致性。
应该注意，在本发明中，例如，图像数据处理单元可以对要被重叠在左眼图像和右眼图像上的相同重叠信息赋予根据此重叠信息的重叠位置的视差。在此情况下，因为对重叠信息赋予了根据重叠位置的视差，所以，例如，可以对该重叠信息给予与在该重叠位置处出现的物体的远近感等效的远近感。
而且，在本发明中，例如，还可以提供多声道扬声器和控制单元，该控制单元基于左眼图像和右眼图像之一相对于另一方的视差信息，控制多声道扬声器的输出。在该情况下，可以使立体效果更显著。
本发明的有益效果
根据本发明，在立体图像数据的接收侧，可以使用已经根据图像内的各个物体的远近感而被施加了视差调整的重叠信息，作为要重叠在左眼图像和右眼图像上的相同重叠信息，由此使得可以在重叠信息的显示中保持远近感的一致性。
附图说明
图1是示出作为本发明实施例的立体图像显示系统的构造的示例的框图。
图2是示出广播站中的传送数据产生单元的构造的示例的框图。
图3是示出1920×1080p像素格式的图像数据的图。
图4是说明作为立体图像数据(3D图像数据)的传送模式的“顶部&底部”模式、“并排”模式和“帧顺序”模式的图。
图5是说明右眼图像相对于左眼图像的视差矢量的检测的示例的图。
图6是说明在块匹配模式中计算视差矢量的图。
图7是示出被视差矢量检测单元检测的、图像内的预定位置处的视差矢量VV的示例的图。
图8是示出关于视差矢量的传送信息的图。
图9是示出视差检测块的示例、以及该情况下的关于视差矢量的传送信息的图。
图10是说明检测和传送视差矢量的时刻的示例的图。
图11是说明检测和传送视差矢量的时刻的示例的图。
图12是示出在传送数据产生单元中复用的数据流的示例的图。
图13是示出广播站中的传送数据产生单元的构造的另一示例的框图。
图14是说明在传送模式是第一传送模式(“顶部&底部”模式)的情况下的左眼图形信息和右眼图形信息的重叠位置等的图。
图15是说明在传送模式是第一传送模式(“顶部&底部”模式)的情况下产生左眼图形信息和右眼图形信息的方法的图。
图16是说明在传送模式是第二传送模式(“并排”模式)的情况下产生左眼图形信息和右眼图形信息的方法的图。
图17是说明在传送模式是第二传送模式(“并排”模式)的情况下产生左眼图形信息和右眼图形信息的方法的图。
图18是示出广播站中的传送数据产生单元的构造的另一示例的框图。
图19是示出在传送模式是第二传送模式(“并排”模式)的情况下的左眼图形信息和右眼图形信息的重叠位置的图。
图20是示出基于从比特流数据中提取并通过根据相关技术的方法传送的图形数据的图形图像被原样地重叠在左眼图像和右眼图像的每个上的状态的图。
图21是示出在时刻T0、T1、T2和T3、在三个物体位置处的视差矢量的图。
图22是示出字幕(图形信息)在图像上显示的示例、以及背景、前景物体和字幕的远近感的图。
图23是示出字幕(图形信息)在图像上显示的示例、以及用于显示字幕的左眼图形信息LGI和右眼图形信息RGI的图。
图24是说明在图像内的多个位置处检测的视差矢量之中使用对应于重叠位置的视差矢量作为视差矢量的图。
图25是示出图像内存在物体A、B和C、并且指示对每个物体的注解的文本信息重叠在靠近这些物体中的每个的位置处的图。
图26是示出机顶盒的构造的示例的框图。
图27是示出构成机顶盒的比特流处理单元的构造的示例的框图。
图28是在当面向电视显示器观察时左侧的视频物体的视差矢量VV1更大的情况下、扬声器输出控制的示例。
图29是示出构成机顶盒的比特流处理单元的构造的另一示例的框图。
图30是示出构成机顶盒的比特流处理单元的构造的另一示例的框图。
图31是示出电视接收机的构造的示例的图。
图32是示出HDMI传送单元(HDMI源)和HDMI接收单元(HDMI接收器)的构造的示例的框图。
图33是示出构成HDMI传送单元的HDMI传送器以及构成HDMI接收单元的HDMI接收机的构造的示例的框图。
图34是示出TMDS传送数据(在水平×垂直为1920像素×1080线的图像数据被传送的情况下)的结构的示例的图。
图35是示出连接到HDMI线缆的源设备和接收器设备的HDMI端子的引脚布置(类型A)的图。
图36是示出第一传送模式(“顶部&底部”模式)中的TMDS传送数据的示例的图。
图37是示出第二传送模式(“并排”模式)中的TMDS传送数据的示例的图。
图38是示出第三传送模式(“帧顺序”模式)中的TMDS传送数据的示例的图。
图39是说明HDMI 1.4(新HDMI)中的“帧顺序”模式、以及HDMI 1.3(传统HDMI)中的“帧顺序”的图。
图40是示出构成机顶盒的比特流处理单元的构造的另一示例的框图。
图41是示出立体图像显示系统的构造的另一示例的图。
图42是示出在使用双目视差的立体图像显示中、屏幕上的物体的左和右图像的显示位置与所产生的立体图像的重构位置之间的关系的图。
具体实施方式
下面，将描述实现本发明的模式(下文称为“实施例”)。应该注意，将以以下顺序给出说明。
1.第一实施例
2.修改
<1.第一实施例>
[立体图像传送/接收系统的构造的示例]
图1示出了作为实施例的立体图像传送/接收系统10的构造的示例。立体图像传送/接收系统10具有广播站100、机顶盒(STB)200和电视接收机300。
机顶盒200和电视接收机300经由HDMI(高清晰度多媒体接口)线缆400互相连接。机顶盒200配备有HDMI端子202。电视接收机300配备有HDMI端子302。HDMI线缆400的一端连接到机顶盒200的HDMI端子202，并且HDMI线缆400的另一端连接到电视接收机300的HDMI端子302。
[广播站的描述]
广播站100在广播无线电波上传送比特流数据。此比特流数据包括包含左眼图像数据和右眼图像数据的立体图像数据、音频数据、图形数据、文本数据，并且还包括作为视差信息的视差矢量。
图2示出了在广播站100中产生上述比特流数据的传送数据产生单元110的构造的示例。此构造示例是将视差矢量作为数值数据而传送的示例。传送数据产生单元110具有摄像头(camera)111L和111R、视频成帧单元112、视频编码器113、视差矢量检测单元114以及视差矢量编码器115。而且，传送数据产生单元110具有麦克风116、音频编码器117、图形产生单元118、图形编码器119、文本产生单元120、文本编码器121以及复用器122。
摄像头111L拍摄左眼图像，以获得用于立体图像显示的左眼图像数据。摄像头111R拍摄右眼图像，以获得用于立体图像显示的右眼图像数据。视频成帧单元112将由摄像头111L获得的左眼图像数据和由摄像头111R获得的右眼图像数据操纵和处理为根据传送模式的状态。
[用于立体图像数据的传送模式的示例]
这里，虽然将以下第一至第三模式作为用于立体图像数据(3D图像数据)的传送模式的示例，但也可以使用除这些模式之外的传送模式。这里，如图3所示，对左眼(L)和右眼(R)图像数据各自是具有预定分辨率(例如，以1920×1080p的像素格式)的图像数据的情况进行描述。
第一传送模式是“顶部&底部”模式，其中，如图4(a)所示，在垂直方向的前一半中传送左眼图像数据的每条线中的数据，并在垂直方向的后一半中传送右眼图像数据的每条线中的数据。在此情况下，将左眼图像数据和右眼图像数据的线稀疏化(thin)到1/2，所以垂直分辨率相对于原始信号而变为一半。
第二传送模式是“并排”模式，其中，如图4(b)所示，在水平方向的前一半中传送左眼图像数据的像素数据，并且在水平方向的后一半中传送右眼图像数据的像素数据。在此情况下，在左眼图像数据和右眼图像数据的每个中，水平方向上的像素数据被稀疏化到1/2。水平分辨率相对于当前信号而变为一半。
第三传送模式是“帧顺序”模式，其中，如图4(c)所示，在逐场(field)地顺序切换左眼图像数据和右眼图像数据的同时传送它们。
返回图2，视频编码器113对在视频成帧单元112中操纵和处理的立体图像数据应用诸如MPEG4-AVC或MPEG2的压缩编码，并产生视频的基本流。此外，视频编码器113将此视频的基本流分割，以产生视频的PES(分组化的基本流)分组，并最终产生视频的TS(传输流)分组。替代地，产生基本流，以使其被复用到诸如MP4的文件容器中，或者利用作为容器的实时分组而传送其。
视差矢量检测单元114基于左眼图像数据和右眼图像数据，在图像内的预定位置处，检测作为左眼图像和右眼图像之一相对于另一方的视差信息的视差矢量。这里，图像内的预定位置是每一个像素位置、每个由多个像素组成的区域中的代表位置、要重叠图形信息或文本信息的区域中的代表位置等。
[视差矢量的检测]
将描述视差矢量的检测的示例。这里，将给出对检测右眼图像相对于左眼图像的视差矢量的示例的描述。如图5中所示，左眼图像被作为检测图像，并且右眼图像被作为基准图像。在此示例中，检测每个位置(xi，yi)和(xj，yj)处的视差矢量。
将描述检测位置(xi，yi)处的视差矢量的情况作为示例。在此情况下，在左眼图像中，例如，设定具有在其左上的位置(xi，yi)处的像素的8×8或16×16像素块(视差检测块)Bi。然后，在右眼图像中，搜索匹配像素块Bi的像素块。
在此情况下，在右眼图像中，设定以位置(xi，yi)为中心的搜索范围。对于搜索范围内的顺序地作为目标像素的每个像素，例如，顺序地设定与上述像素块Bi相同的8×8或16×16比较块。
为像素块Bi和顺序地设定的比较块之间的每一个对应的像素计算差的绝对值的和。这里，如图6中所示，假设像素块Bi中的像素值为L(x，y)，并且假设比较块中的像素值为R(x，y)，像素块Bi和给定的比较块之间的差的绝对值的和被表示为∑|L(x，y)-R(x，y)|。
当在右眼图像中设定的搜索范围中包括n个像素时，最终计算n个和S1至Sn，在其中选择最小的和Smin。然后，从获得此最小和Smin所针对的比较块中获得左上像素的位置(xi’，yi’)。因此，位置(xi，yi)处的视差矢量被检测为(xi’-xi，yi’-yi)。虽然未详细描述，但同样对于位置(xj，yj)处的视差矢量，在左眼图像中，例如，设定具有在其左上的位置(xj，yj)处的像素的8×8或16×16像素块Bj，并且通过同样的处理检测视差矢量。
图7(a)示出了由视差矢量检测单元114检测的图像内的预定位置处的视差矢量VV的示例。这意味着，在此情况下，如图7(b)所示，在该图像内的预定位置处，当被位移了视差矢量VV时，左眼图像(检测图像)与右眼图像(基准图像)重叠(overlap)。
返回图2，视差矢量编码器115产生包括由视差矢量检测单元114检测的视差矢量等的视差矢量的基本流。视差矢量的基本流与视频的基本流等一起构成TS分组。
这里，视差矢量的基本流包含以下信息。即，视差检测块的ID(ID_Block)、视差检测块的垂直位置信息(Vertical_Position)、视差检测块的水平位置信息(Horizontal_Position)、以及视差矢量(View_Vector)构成一组。然后，该组被重复视差检测块的数目N次。
应该注意，视差检测块的垂直和水平位置是在垂直方向和水平方向上、从图像的左上处的原点至该块的左上像素的偏移值。视差检测块的ID被分配给每个视差矢量传送的原因在于确保与要被重叠显示在图像上的诸如图形信息和文本信息的重叠信息的样式(pattern)的链接。
例如，如图9(a)中所示，当存在A至F视差检测块时，如图9(b)中所示，该传送信息包括视差检测块A至F的ID、垂直和水平位置信息以及视差矢量。例如，在图9(b)中，关于视差检测块A，ID2指示视差检测块A的ID，(Ha，Va)指示视差检测块A的垂直和水平位置信息，并且视差矢量a指示视差检测块A的视差矢量。
这里，将描述视差矢量的检测和传送的时刻。
对于此时刻，例如，可以考虑以下第一至第四示例。
在第一示例中，如图10(a)中所示，所述时刻与画面的编码同步。在此情况下，以画面为单位传送视差矢量。画面单位是传送视差矢量的最小单位。在第二示例中，如图10(b)中所示，所述时刻与视频的场景同步。在此情况下，以场景为单位传送视差矢量。
在第三示例中，如图10(c)中所示，所述时刻与编码的视频的I画面(内部画面)同步。在第四示例中，如图11中所示，所述时刻与要被重叠显示在图像上的图形信息、文本信息等的显示开始时刻同步。
返回图2，麦克风116通过检测与利用摄像头111L和111R拍摄的图像对应的声音，获得音频数据。音频编码器117向利用麦克风116获得的音频数据应用诸如MPEG-2音频AAC的压缩编码，并产生音频的基本流。此外，音频编码器117将此音频的基本流分割，以产生音频的PES分组，并最终产生TS分组。
图形产生单元118产生要被重叠在图像上的图形信息的数据(图形数据)。例如，图形信息是字幕。此图形数据是位图数据。指示图像上的重叠位置的空闲偏移信息被附加到此图形数据。例如，此空闲偏移信息指示在垂直方向和水平方向上、从图像的左上处的原点至图形信息的重叠位置处的左上像素的偏移值。应该注意，用于传送作为位图数据的字幕数据的标准已被标准化，并被实施为作为欧洲的数字广播标准的DVB中的DVB_Subtitling。
图形编码器119产生由图形产生单元118产生的图形数据的基本流。然后，图形编码器119最终产生上述TS分组。
文本产生单元120产生要被重叠在图像上的文本信息的数据(文本数据)。例如，文本信息是电子节目指南或文字电视广播信息。如同上述的图形数据一样，指示图像上的重叠位置的空闲偏移信息被附加到此文本数据。例如，此空闲偏移信息指示在垂直方向和水平方向上、从图像的左上处的原点至文本信息的重叠位置处的左上像素的偏移值。应该注意，作为文本数据的传送的示例，存在被实施为程序调度的EPG、以及美国的数字陆地标准ATSC的CC_data(隐藏字幕(Closed Caption))。
文本编码器121产生由文本产生单元120产生的文本数据的基本流。
复用器122复用从视频编码器113、视差矢量编码器115、音频编码器117、图形编码器119和文本编码器121输出的各个分组化的基本流。然后，复用器122输出比特流数据(传输流)BSD，作为传送数据。
将简要地描述图2中所示的传送数据产生单元110的操作。利用摄像头111L拍摄左眼图像。利用摄像头111L获得的用于立体图像显示的左眼图像数据被提供给视频成帧单元112。而且，利用摄像头111R拍摄右眼图像。利用摄像头111R获得的用于立体图像显示的右眼图像数据被提供给视频成帧单元112。在视频成帧单元112中，将左眼图像数据和右眼图像数据操纵和处理为根据传送模式的状态，并且获得立体图像数据(见图4(a)至4(c))。
在视频成帧单元112中获得的立体图像数据被提供给视频编码器113。在视频编码器113中，诸如MPEG4-AVC或MPEG2的压缩编码施加到立体图像数据，以产生视频的基本流，并且最终，视频分组被提供给复用器122。
而且，经由视频成帧单元112，将利用摄像头111L和111R获得的左眼图像数据和右眼图像数据提供给视差矢量检测单元114。在视差矢量检测单元114中，基于左眼图像数据和右眼图像数据，在图像内的预定位置处设定视差检测块，并且，检测作为左眼图像和右眼图像之一相对于另一方的视差信息的视差矢量。
由视差矢量检测单元114检测的、在图像内的预定位置处的视差矢量被提供给视差矢量编码器115。在此情况下，视差检测块的ID、视差检测块的垂直位置信息、视差检测块的水平位置信息、以及视差矢量被作为一组传递。在视差矢量编码器115中，包括关于视差矢量的传送信息的视差矢量的基本流(见图8)被产生并提供给复用器122。
而且，利用麦克风116，检测与利用摄像头111L和111R拍摄的图像对应的声音。利用麦克风116获得的音频数据被提供给音频编码器117。在音频编码器117中，对音频数据应用诸如MPEG-2音频AAC的压缩编码，并且音频的基本流被产生并提供给复用器122。
而且，在图形产生单元118中，产生要被重叠在图像上的图形信息的数据(图形数据)。此图形数据(位图数据)被提供给图形编码器119。指示图像上的重叠位置的空闲偏移信息被附加到此图形数据。在图形编码器119中，对此图形数据应用预定压缩编码，以产生提供给复用器122的基本流。
而且，在文本产生单元120中，产生要被重叠在图像上的文本信息的数据(文本数据)。此文本数据被提供给文本编码器121。如同上述的图形数据一样，指示图像上的重叠位置的空闲偏移信息被附加到此文本数据。在文本编码器121中，对此文本数据应用预定压缩编码，以产生基本流，并最终获得文本的TS分组。文本的TS分组被提供给复用器122。
在复用器122中，复用从各个编码器提供的基本流的分组，并获得作为传输数据的比特流数据(传输流)BSD。
图12示出了图2中所示的传送数据产生单元110中复用的数据流的示例。应该注意，此示例表示以视频场景为单位检测视差矢量(见图10(b))的情况。应该注意，各个流的分组被分配了用于指示同步的时间戳，这使得可以在接收侧控制图形信息、文本信息等到图像上的重叠时刻。
应该注意，上述的图2中所示的传送数据产生单元110被构造为向接收侧传送作为独立的基本流的、关于视差矢量的传送信息(见图8)。然而，也可以考虑通过将传送信息嵌入在另一流中而传送关于视差矢量的传送信息。例如，关于视差矢量的传送信息被作为用户数据而嵌入在视频流中而被传送。而且，例如，关于视差矢量的传送信息被嵌入在图形或文本流中而被传送。
图13示出了传送数据产生单元110A的构造的示例。此示例也是将视差矢量作为数值信息而传送的示例。传送数据产生单元110A被构造为通过将传送信息作为用户数据而嵌入在视频流中，来传送关于视差矢量的传送信息。在图13中，用相同的标记表示与图2中的部分对应的部分，并省略它们的详细描述。
在传送数据产生单元110A中，流成帧单元123被插入在视频编码器113和复用器122之间。由视差矢量检测器114检测的、在图像内的预定位置处的视差矢量被提供给流成帧单元123。在此情况下，视差检测块的ID、视差检测块的垂直位置信息、视差检测块的水平位置信息以及视差矢量被作为一组传递。
在流成帧单元123中，关于视差矢量的传送信息(见图8)被作为用户数据而嵌入在视频流中。
虽然省略了详细描述，但在图13中示出的传送数据产生单元110A另外被以与图2中所示的传送数据产生单元110相同的方式构造。
而且，上述的图2中示出的传送数据产生单元110和上述的图13中示出的传送数据产生单元110A各自将视差矢量作为数值信息而传送(见图8)。然而，代替将视差矢量作为数值信息而传送，还可以考虑在将视差矢量包含在要被重叠在图像上的重叠信息(例如，图形信息或文本信息)中的同时传送视差矢量。
例如，在传送侧，在将视差矢量包含在图形信息的数据中的同时传送视差矢量的情况下，产生与要被重叠在左眼图像上的左眼图形信息以及要被重叠在右眼图像上的右眼图形信息两者相对应的图形数据。在此情况下，左眼图形信息和右眼图形信息是相同的图形信息。然而，它们在图像内的显示位置为如此：例如，相对于左眼图形信息，将右眼图形信息在水平方向上位移对应于其显示位置的视差矢量的水平方向分量。
而且，例如，在传送侧，在将视差矢量包含在文本信息的数据中的同时传送视差矢量的情况下，产生与要被重叠在左眼图像上的左眼文本信息以及要被重叠在右眼图像上的右眼文本信息两者对应的文本数据。在此情况下，左眼文本信息和右眼文本信息是相同的文本信息。然而，它们在图像内的重叠位置为如此：例如，相对于左眼文本信息，将右眼文本信息在水平方向上位移视差矢量的水平方向分量。
例如，在图像内的多个位置处检测的视差矢量之中，使用对应于重叠位置的视差矢量，作为视差矢量。而且，例如，在图像内的多个位置处检测的视差矢量之中，使用在远近感方面被识别为最远离的位置处的视差矢量，作为视差矢量。
图14(a)示出了在传送模式是上述第一传送模式(“顶部&底部”模式)的情况下的、左眼图形信息和右眼图形信息的重叠位置。这些左眼图形信息和右眼图形信息是相同的信息。然而，应该注意，相对于要被重叠在左眼图像IL上的左眼图形信息LGI，要被重叠在右眼图像IR上的右眼图形信息RGI处于在水平方向上位移了视差矢量的水平方向分量VVT的位置。
图形数据被如此产生：相对于图像IL和IR，如图14(a)中所示，分别重叠图形信息LGI和RGI。因此，如图14(b)所示，观看者可以观察到连同图像IL和IR一起的、具有视差的图形信息LGI和RGI，由此使得也可以感知到图形信息的远近感。
例如，如图15(a)中所示，图形信息LGI和RGI的图形数据被产生作为单个区域的数据。在此情况下，可以将除图形信息LGI和RGI之外的部分的数据产生为透明数据。而且，例如，如图15(b)中所示，图形信息LGI和RGI中的每个的图形数据被产生作为分离的区域的数据。
图16(a)示出了上述传送模式是第二传送模式(“并排”模式)的情况下的、左眼图形信息和右眼图形信息的重叠位置。这些左眼图形信息和右眼图形信息是相同的信息。然而，应该注意，相对于要被重叠在左眼图像IL上的左眼图形信息LGI，要被重叠在右眼图像IR上的右眼图形信息RGI位于在水平方向上位移了视差矢量的水平方向分量VVT的位置处。应该注意，IT表示空闲偏移值。
图形数据被如此产生：关于图像IL和IR，如图16(a)中所示，分别重叠图形信息LGI和RGI。因此，如图16(b)所示，观看者可以观察到连同图像IL和IR一起的、具有视差的图形信息LGI和RGI，由此使得也可以感知到图形信息的远近感。
例如，如图17中所示，图形信息LGI和RGI的图形数据被产生作为单个区域的数据。在此情况下，可以将除图形信息LGI和RGI之外的部分的数据产生为透明数据。
图18示出了传送数据产生单元110B的构造的示例。传送数据产生单元110B被构造为在将视差矢量包含在图形信息或文本信息的数据中的同时传送视差矢量。在图18中，与图2中部分对应的部分被以相同的标记表示，并且省略它们的详细描述。
在传送数据产生单元110B中，图形处理单元124被插入在图形产生单元118和图形编码器119之间。而且，在传送数据产生单元110B中，文本处理单元125被插入在文本产生单元120与文本编码器121之间。然后，由视差矢量检测单元114检测的、图像内的预定位置处的视差矢量被提供给图形处理单元124和文本处理单元125。
在图形处理单元124中，基于由图形产生单元118产生的图形数据，产生要被重叠在左眼图像IL上的左眼图形信息LGI的数据、以及要被重叠在右眼图像IR上的右眼图形信息RGI的数据。在此情况下，虽然左眼图形信息和右眼图形信息是相同的图形信息，但它们在图像内的重叠位置为如此：例如，相对于左眼图形信息，将右眼图形信息在水平方向上位移视差矢量的水平方向分量VVT(见图14(a)和图16(a))。
以此方式在图形处理单元124中产生的图形数据被提供给图形编码器119。应该注意，指示图像上的重叠位置的空闲偏移信息被附加到此图形数据。在图形编码器119中，产生在图形处理单元124中产生的图形数据的基本流。
而且，在文本处理单元125中，基于在文本产生单元120中所产生的文本数据，产生要被重叠在左眼图像上的左眼文本信息的数据、以及要被重叠在右眼图像上的右眼文本信息的数据。在此情况下，虽然左眼文本信息和右眼文本信息是相同的文本信息，但它们在图像内的重叠位置为如此：例如，相对于左眼文本信息，将右眼文本信息在水平方向上位移视差矢量的水平方向分量VVT。
以此方式在文本处理单元125中产生的文本数据被提供给文本编码器121。应该注意，指示图像上的重叠位置的空闲偏移信息被附加到此文本数据。在文本编码器121中，产生在文本处理单元中产生的文本数据的基本流。
虽然省略了详细描述，但图18中所示的传送数据产生单元110B另外被以与图2中所示的传送数据产生单元110相同的方式构造。
[机顶盒的描述]
返回图1，机顶盒200接收从广播站100传送的、同时被加载(carry)在广播波上的比特流数据(传输流)。此比特流数据包括包含左眼图像数据和右眼图像数据的立体图像数据、音频数据、图形数据、文本数据、以及作为视差信息的视差矢量。
机顶盒200具有比特流处理单元201。比特流处理单元201从比特流数据中提取立体图像数据、音频数据、图形数据、文本数据、视差矢量等。而且，比特流处理单元201通过使用立体图像数据、图形数据、文本数据等，产生其上已经重叠了重叠信息的左眼图像和右眼图像的数据。
这里，在视差矢量被作为数值数据传送的情况下，基于视差矢量和图形数据，产生分别要被重叠在左眼图像和右眼图像上的左眼图形信息和右眼图形信息。在此情况下，左眼图形信息和右眼图形信息是相同的图形信息。然而，它们在图像内的重叠位置为如此：例如，相对于左眼图形信息，将右眼图形信息在水平方向上位移视差矢量的水平方向分量。
图19(a)示出了上述传送模式是第二传送模式(“并排”模式)的情况下的、左眼图形信息和右眼图形信息的重叠位置。
关于要被重叠在左眼图像IL上的左眼图形信息LGI，要被重叠在右眼图像IR上的右眼图形信息RGI位于在水平方向上位移了视差矢量的水平方向分量VVT的位置处。应该注意，IT表示空闲偏移值。
图形数据被如此产生：关于图像IL和IR，如图19(a)中所示，分别重叠图形信息LGI和RGI。
比特流处理单元201将所产生的左眼图形数据和右眼图形数据、与从比特流数据中提取的立体图像数据(左眼图像数据和右眼图像数据)合成，由此获取经处理的立体图像数据。根据此立体图像数据，如图19(b)中所示，观看者可以观察到连同图像IL和IR一起的、具有视差的图形信息LGI和RGI，由此使得也可以感知图形信息的远近感。
应该注意，图20(a)示出了基于从比特流数据中提取的图形数据的图形图像被原样地重叠在图像IL和IR中的每个上的状态。在此情况下，如图20(b)所示，观看者观察到连同左眼图像IL一起的图形信息的左半、以及连同右眼图像IR一起的图形信息的右半。结果，图形信息不再能够被适当地识别。
这里，在视差矢量被作为数值数据传送的情况下，基于视差矢量和文本数据，产生分别要被重叠在左眼图像和右眼图像上的左眼文本信息和右眼文本信息。在此情况下，左眼文本信息和右眼文本信息是相同的文本信息。然而，它们在图像内的重叠位置为如此：例如，相对于左眼文本信息，将右眼文本信息在水平方向上位移视差矢量的水平方向分量。
比特流处理单元201将所产生的左眼文本数据和右眼文本数据的数据(位图数据)、与从比特流数据中提取的立体图像数据(左眼图像数据和右眼图像数据)合成，由此获得经处理的立体图像数据。根据此立体图像数据，如在上述图形信息的情况中，观看者可以观察到连同左眼图像和右眼图像中的各个一起的、具有视差的各个图形信息，由此使得也可以感知文本信息的远近感。
在此情况下，可以考虑使用以下视差矢量，作为赋予左眼图形信息与右眼图形信息之间、或者左眼文本信息与右眼文本信息之间的视差的视差矢量。
例如，可以考虑，在图像内的多个位置处检测的视差矢量之中，使用在远近感方面被识别为最远离的位置处的视差矢量作为视差矢量。图21(a)、21(b)、21(c)和21(d)示出了在每个时刻T0、T1、T2和T3的三个物体位置处的视差矢量。
在时刻T0，对应于物体1的位置(H0，V0)处的视差矢量VV0-1是最大的视差矢量MaxVV(T0)。在时刻T1，对应于物体1的位置(H1，V1)处的视差矢量VV1-1是最大的视差矢量MaxVV(T1)。在时刻T2，对应于物体2的位置(H2，V2)处的视差矢量VV2-2是最大的视差矢量MaxVV(T2)。在时刻T3，对应于物体3的位置(H3，V3)处的视差矢量VV3-3是最大的视差矢量MaxVV(T3)。
如此，通过使用在图像内的多个位置处检测的视差矢量之中、在远近感方面被识别为最远离的位置处的视差矢量作为视差矢量，可以将图形信息和文本信息显示在在远近感方面最靠近的图像内的物体的前方。
图22(a)示出了图像上的字幕(图形信息)的显示示例。此显示示例是将字幕重叠在由背景和前景物体构成的图像上的示例。图22(b)示出了背景、前景物体和字幕的远近感，指示该字幕被识别为最靠近。
图23(a)示出了图像上的字幕(图形信息)的显示示例。图23(b)示出了用于显示该字幕的左眼图形信息LGI和右眼图形信息RGI。然后，图23(c)示出了对每个图形信息LGI和RGI赋予视差，使得该字幕被识别为最靠近。
而且，可以考虑，在图像内的多个位置处检测的视差矢量之中，使用对应于重叠位置的视差矢量作为视差矢量。图24(a)示出了基于从比特流数据中提取的图形数据的图形信息、以及基于从比特流数据中提取的文本数据的文本信息。
图24(b)示出了左眼图形信息LGI和左眼文本信息LTI被重叠在左眼图像上的状态。在此情况下，左眼图形信息LGI的重叠位置在水平方向上通过空闲偏移值(IT-0)调节。而且，左眼文本信息LTI的重叠位置在水平方向上通过空闲偏移值(IT-1)调节。
图24(c)示出了右眼图形信息RGI和右眼文本信息RTI被重叠在右眼图像上的状态。在此情况下，右眼图形信息RGI的重叠位置在水平方向上通过空闲偏移值(IT-0)调节，并且还从左眼图形信息LGI的重叠位置位移了对应于此重叠位置的视差矢量的水平方向分量VVT-0。而且，右眼文本信息RTI的重叠位置在水平方向上通过空闲偏移值(IT-1)调节，并且还从左眼文本信息LTI的重叠位置位移了对应于此重叠位置的视差矢量的水平方向分量VVT-1。
应该注意，以上描述针对将基于从比特流数据中提取的图形数据的图形信息、或基于从比特流数据中提取的文本数据的文本信息重叠在左眼图像和右眼图像上的情况。替代地，还可以考虑在机顶盒200内产生图形数据或文本数据、以及将基于这些数据的信息重叠在左眼图像和右眼图像上的情况。
在该情况下，同样，通过使用从比特流数据中提取的图像内的预定位置处的视差矢量，可以在左眼图形信息和右眼图形信息之间，或者在左眼文本信息和右眼文本信息之间施加视差。因此，在图形信息或文本信息的显示中，可以给出适当的远近感，同时保持与图像内的各个物体的远近感的远近感一致性。
图25(a)示出图像内存在物体A、B和C，并且，例如指示对各个物体的注解的文本信息被重叠在靠近各个所述物体的位置处。
图25(b)示出指示物体A、B和C的位置与所述位置处的视差矢量之间的对应关系的视差矢量表，并且，在对指示对每个物体A、B和C的注解的文本信息赋予视差的情况下使用各个视差矢量。例如，文本信息“Text”被重叠在物体A附近，并且在物体A的左眼文本信息与右眼文本信息之间赋予对应于物体A的位置(Ha，Va)处的视差矢量VV-a的视差。应该注意，这对重叠在每个物体B和C的附近的文本信息同样适用。
下面，将描述将视差矢量包含在图形信息或文本信息的数据中的同时传送视差矢量的情况。在此情况下，从比特流数据中提取的图形数据包括通过视差矢量而被赋予视差的左眼图形信息和右眼图形信息的数据。同样，从比特流数据中提取的文本数据包括通过视差矢量而被赋予视差的左眼文本信息和右眼文本信息的数据。
因此，比特流处理单元201简单地将从比特流数据中提取的图形数据或文本数据、与从比特流数据中提取的立体图像数据(左眼图像数据和右眼图像数据)合成，由此获取经处理的立体图像数据。应该注意，对于文本数据，必须将文本数据(码数据)转换为位图数据。
[机顶盒的构造的示例]
将描述机顶盒200的构造的示例。图26示出了机顶盒200的构造的示例。机顶盒200具有比特流处理单元201、HDMI端子202、天线端子203、数字调谐器204、视频信号处理电路205、HDMI传送单元206以及音频信号处理电路207。而且，机顶盒200具有CPU 211、快闪ROM 212、DRAM 213、内部总线214、遥控接收单元215以及遥控传送器216。
天线端子203是被输入由接收天线(未示出)接收的电视广播信号的端子。数字调谐器204处理向天线端子203输入的电视广播信号，并输出对应于用户所选择的信道的预定比特流数据(传输流)。
如上所述，比特流处理单元201从比特流数据中提取立体图像数据(左眼图像数据和右眼图像数据)、音频数据、图形数据、文本数据、视差矢量等。然后，如上所述，比特流处理单元201将重叠信息(图形信息或文本信息)的数据与立体图像数据合成，从而获取用于显示的立体图像数据。而且，比特流处理单元201输出音频数据。下文将描述比特流处理单元201的详细构造。
视频信号处理电路205对从比特流处理单元201输出的立体图像数据按照需要执行图像质量调整处理等，并将经处理的立体图像数据提供给HDMI传送单元206。音频信号处理电路207对从比特流处理单元201输出的音频数据按照需要执行声音质量调整处理等，并将经处理的音频数据提供给HDMI传送单元206。
HDMI传送单元206通过HDMI兼容的通信，从HDMI端子202发送出基带图像(视频)和音频数据。在此情况下，因为通过HDMI的TMDS信道传送，所以图像和音频数据中的每个被组包(pack)，并被从HDMI传送单元206输出到HDMI端子202。下文将描述HDMI传送单元206的细节。
CPU 211控制机顶盒200的各个单元的操作。快闪ROM 212执行对控制软件的存储和对数据的保存。DRAM 213构成CPU 211的工作区域。CPU 211将从快闪ROM 212读取的软件和数据展开到DRAM 213上，以激活软件，从而控制机顶盒200的各个单元。
遥控接收单元215接收从遥控传送器216提供的遥控信号(遥控码)，并将遥控信号提供给CPU 211。CPU 211基于此遥控码控制机顶盒200的各个单元。CPU 211、快闪ROM 212和DRAM 213连接到内部总线214。
将简要描述机顶盒200的操作。输入到天线端子203的电视广播信号被提供给数字调谐器204。在数字调谐器204中，处理电视广播信号，并输出对应于用户所选择的信道的预定比特流数据(传输流)。
从数字调谐器204输出的比特流数据被提供给比特流处理单元201。在比特流处理单元201中，从比特流数据中提取立体图像数据(左眼图像数据和右眼图像数据)、音频数据、图形数据、文本数据、视差矢量等。而且，在比特流处理单元201中，将重叠信息(图形信息或文本信息)的数据与立体图像数据合成，并产生用于显示的立体图像数据。
在由比特流处理单元201产生的用于显示的立体图像数据在视频信号处理电路205中按照需要经历了图像质量调整处理等之后，用于显示的立体图像数据被提供到HDMI传送单元206。而且，在比特流处理单元201中获得的音频数据在音频信号处理电路207中按照需要经历了音频质量调整处理等之后，音频数据被提供到HDMI传送单元206。提供给HDMI传送单元206的立体图像数据和音频数据被从HDMI端子202发送到HDMI线缆400。
[比特流处理单元的构造的示例]
下面将描述比特流处理单元201的构造的示例。图27示出了比特流处理单元201的构造的示例。以对应于上述图2中所示的传送数据产生单元110的方式构造比特流处理单元201。比特流处理单元201具有解复用器220、视频解码器221、图形解码器222、文本解码器223、音频解码器224和视差矢量解码器225。而且，比特流处理单元201具有立体图像图形产生单元226、立体图像文本产生单元227、视频重叠单元228和多声道扬声器控制单元229。
解复用器220从比特流数据BSD中提取视频、音频、视差矢量、图形和文本的TS分组，并将所述TS分组发送到各个解码器。
视频解码器221执行与上述传送数据产生单元110的视频编码器113的处理相反的处理。即，视频解码器221从由解复用器220提取的视频的分组重构视频的基本流，并执行解码处理以获得包括左眼图像数据和右眼图像数据的立体图像数据。用于此立体数据的传送模式是例如上述的第一传送模式(“顶部&底部”模式)、第二传送模式(“并排”模式)、第三传送模式(“帧顺序”模式)等(见图4(a)至图4(c))。
图形解码器222执行与上述传送数据产生单元110的图形编码器119的处理相反的处理。即，图形解码器222从由解复用器220提取的图形的分组重构图形的基本流，并执行解码处理以获得图形数据。
文本解码器223执行与上述传送数据产生单元110的文本编码器121的处理相反的处理。即，文本解码器223从由解复用器220提取的文本的分组重构文本的基本流，并执行解码处理以获得文本数据。
音频解码器224执行与上述传送数据产生单元110的音频编码器117的处理相反的处理。即，音频解码器224从由解复用器220提取的音频的分组重构音频的基本流，并执行解码处理以获得音频数据。
视差矢量解码器225执行与上述传送数据产生单元110的视差矢量编码器115的处理相反的处理。即，视差矢量解码器225从由解复用器220提取的视差矢量的分组重构视差矢量的基本流，并执行解码处理以获得图像内的预定位置处的视差矢量。
立体图像图形产生单元226基于由解码器222获得的图形数据和由解码器225获得的视差矢量，产生分别要被重叠在左眼图像和右眼图像上的左眼图形信息和右眼图形信息。在此情况下，虽然左眼图形信息和右眼图形信息是相同的图形信息，但它们在图像内的重叠位置为如此：例如，相对于左眼图形信息，将右眼图形信息在水平方向上位移视差矢量的水平方向分量。然后，立体图像图形产生单元226输出所产生的左眼图形信息和右眼图形信息的数据(位图数据)。
立体图像文本产生单元227基于由解码器223获得的文本数据和由解码器225获得的视差矢量，产生分别要被重叠在左眼图像和右眼图像上的左眼文本信息和右眼文本信息。在此情况下，虽然左眼文本信息和右眼文本信息是相同的文本信息，但它们在图像内的重叠位置为如此：例如，相对于左眼文本信息，将右眼文本信息在水平方向上位移视差矢量的水平方向分量。然后，立体图像文本产生单元227输出所产生的左眼文本信息和右眼文本信息的数据(位图数据)。
视频重叠单元228将由图形产生单元226产生的数据以及由文本产生单元227产生的数据重叠在由视频解码器221获得的立体图像数据(左眼图像数据和右眼图像数据)上，从而获得用于显示的立体图像数据Vout。
多声道扬声器控制单元229对由音频解码器224获得的音频数据施加例如产生用于实现5.1通道环绕等的多声道扬声器的音频数据的处理、赋予预定的声场特征的处理等。而且，多声道扬声器控制单元229基于由解码器225获得的视差矢量，控制多声道扬声器的输出。
更大的视差矢量提供更显著的立体效果。通过依据立体程度而控制多声道扬声器输出，可以实现增强的立体体验的提供。
图28示出了当面向电视显示器观看时，视差矢量VV1对于左侧的视频物体更大的情况下的扬声器输出控制的示例。在此控制示例中，将多声道扬声器的左后扬声器的音量设定为大，将左前扬声器的音量设定为中等，并还将右前和右后扬声器的音量设定为小。如此，通过在接收侧将视频内容(立体图像数据)的视差矢量施加到诸如音频数据的另一媒体数据，可以允许观看者在整体感官上体验立体效果。
将简要描述图27中所示的比特流处理单元201的操作。从数字调谐器204(见图26)输出的比特流数据BSD被提供给解复用器220。在解复用器220中，从比特流数据BSD中提取视频、音频、视差矢量、图形和文本的TS分组，并将所述TS分组提供给各个解码器。
在视频解码器221中，从由解复用器220提取的视频的分组重构视频的基本流，并且还执行解码处理以获得包括左眼图像数据和右眼图像数据的立体图像数据。此立体图像数据被提供到视频重叠单元228。而且，在视差矢量解码器225中，从由解复用器220提取的视差矢量的分组重构视差矢量的基本流，并且还执行解码处理以获得图像内预定位置处的视差矢量(见图8)。
在图形解码器222中，从由解复用器220提取的图形的分组重构图形的基本流，并且还执行解码处理以获得图形数据。此图形数据被提供到立体图像图形产生单元226。由视差矢量解码器225获得的视差矢量也被提供到立体图像图形产生单元226。
在立体图像图形产生单元226中，基于由解码器222获得的图形数据以及由解码器225获得的视差矢量，产生分别要重叠在左眼图像和右眼图像上的左眼图形信息和右眼图形信息。在此情况下，虽然左眼图形信息和右眼图形信息是相同的图形信息，但它们在图像内的重叠位置为如此：例如，相对于左眼图形信息，将右眼图形信息在水平方向上位移视差矢量的水平方向分量。将所产生的左眼图形信息和右眼图形信息的数据(位图数据)从立体图像图形产生单元226中输出。
而且，在文本解码器223中，从由解复用器220提取的文本的分组重构文本的基本流，并且还执行解码处理以获得文本数据。此文本数据被提供到立体图像文本产生单元227。由视差矢量解码器225获得的视差矢量也被提供到立体图像文本产生单元227。
在立体图像文本产生单元227中，基于由解码器223获得的文本数据以及由解码器225获得的视差矢量，产生分别要重叠在左眼图像和右眼图像上的左眼文本信息和右眼文本信息。在此情况下，虽然左眼文本信息和右眼文本信息是相同的文本信息，但它们在图像内的重叠位置为如此：例如，相对于左眼文本信息，将右眼文本信息在水平方向上位移视差矢量的水平方向分量。将所产生的左眼文本信息和右眼文本信息的数据(位图数据)从立体图像文本产生单元227中输出。
除上述来自视频解码器221的立体图像数据(左眼图像数据和右眼图像数据)之外，从图形产生单元226和文本产生单元227中的每个输出的数据也被提供到视频重叠单元228。在视频重叠单元228中，在图形产生单元226和文本产生单元227中的每个中产生的数据被重叠在立体图像数据(左眼图像数据和右眼图像数据)上，从而获得用于显示的立体图像数据Vout。经由视频信号处理电路205，将此用于显示的立体图像数据Vout提供给HDMI传送单元206(见图26)，作为传送图像数据。
而且，在音频解码器224中，从由解复用器220提取的音频的分组重构音频的基本流，并且还执行解码处理以获得音频数据。此音频数据被提供给多声道扬声器控制单元229。在该多声道扬声器控制单元229中，例如，对音频数据施加产生用于实现5.1通道环绕等的多声道扬声器的音频数据的处理、赋予预定的声场特征的处理等。
由视差矢量解码器225获得的视差矢量也被提供给多声道扬声器控制单元229。然后，在多声道扬声器控制单元229中，基于视差矢量控制多声道扬声器的输出。经由音频信号处理电路207，将由多声道扬声器控制单元229获得的多声道音频数据提供给HDMI传送单元206(见图26)，作为传送音频数据。
应该注意，以对应于上述图2中的传送数据产生单元110的方式构造上述图27中所示的比特流处理单元201。以对应于上述图13中的传送数据产生单元110A的方式构造图29中所示的比特流处理单元201A。在图29中，与图27中的部分对应的部分由相同的标记表示，并省略它们的详细描述。
在比特流处理单元201A中，提供视差矢量提取单元231，代替图27中所示的比特流处理单元201的视差矢量解码器225。视差矢量提取单元231从经由视频解码器221获得的视频的流中提取嵌入在其用户数据中的视差矢量。然后，视差矢量提取单元231将所提取的视差矢量提供给立体图像图形产生单元206、立体图像文本产生单元227以及多声道扬声器控制单元229。
虽然省略了详细描述，但另外以与图27所示的比特流处理单元201相同的方式构造图29中所示的比特流处理单元201A。
而且，以对应于上述图18中的传送数据产生单元110B的方式构造图30中所示的比特流处理单元201B。在图30中，与图27中的部分对应的部分由相同的标记表示，并省略它们的详细描述。
在比特流处理单元201B中，将视差矢量解码器225、立体图像图形产生单元206、以及立体图像文本产生单元207从图27中所示的比特流处理单元201中去除。在此情况下，在将视差矢量包含在图形信息或文本信息的数据中的同时，传送视差矢量。而且，如上所述，所传送的图形数据包括要被重叠在左眼图像上的左眼图形信息的数据、以及要被重叠在右眼图像上的右眼图形信息的数据。同样地，如上所述，所传送的文本数据包括要被重叠在左眼图像上的左眼文本信息的数据、以及要被重叠在右眼图像上的右眼文本信息的数据。因此，视差矢量解码器225、立体图像图形产生单元206、以及立体图像文本产生单元207变得不需要。
应该注意，因为由文本解码器223获得的文本数据是码数据，所以需要将文本数据转换为位图数据的处理。例如，在文本解码器223的最后级执行该处理，或者在视频重叠单元228的输入级执行该处理。
[电视接收机的描述]
返回图1，电视接收机300接收从机顶盒200经由HDMI线缆400发送的立体图像数据。电视接收机300具有3D信号处理单元301。3D信号处理单元301对立体图像数据执行对应于传送模式的处理(解码处理)，并产生左眼图像数据和右眼图像数据。即，3D信号处理单元301通过执行与图2、13、18中所示的传送数据产生单元110、110A、110B中的视频成帧单元112的处理相反的处理，获取构成立体图像数据的左眼图像数据和右眼图像数据。
[电视接收机的构造的示例]
将描述电视接收机300的构造的示例。图31示出了电视接收机300的构造的示例。电视接收机300具有3D信号处理单元301、HDMI端子302、HDMI接收单元303、天线端子304、数字调谐器305、以及比特流处理单元306。而且，电视接收机300具有视频信号处理电路307、面板驱动电路308、显示面板309、音频信号处理电路310、音频信号放大电路311、以及扬声器312。而且，电视接收机300具有CPU 321、快闪ROM 322、DRAM 323、内部总线324、遥控接收单元325、以及遥控传送器326。
天线端子304是被输入由接收天线(未示出)接收的电视广播信号的端子。数字调谐器305处理输入到天线端子304的电视广播信号，并输出对应于用户所选择的信道的预定比特流数据(传输流)。
以与图26中所示的机顶盒200的比特流处理单元201相同的方式构造比特流处理单元306。比特流处理单元306从比特流数据中提取立体图像数据(左眼图像数据和右眼图像数据)、音频数据、图形数据、文本数据、视差矢量等。然后，比特流数据306将重叠信息(图形信息或文本信息)的数据合成在立体图像数据上，并获取用于显示的立体图像数据。而且，比特流处理单元306输出音频数据。
通过HDMI兼容的通信，HDMI接收单元303接收经由HDMI线缆400提供到HDMI端子302的未压缩的图像数据(立体图像数据)和音频数据。下文将描述HDMI接收单元303的细节。3D信号处理单元301对由HDMI接收单元303接收的或由比特流处理单元306获得的立体图像数据执行对应于传送模式的处理(解码处理)，由此产生左眼图像数据和右眼图像数据。
视频信号处理电路307基于由3D信号处理单元301产生的左眼图像数据和右眼图像数据，产生用于显示立体图像的图像数据。而且，视频信号处理电路对图像数据按需要执行图像质量调整处理。面板驱动电路308基于从视频信号处理单元307输出的图像数据，驱动显示面板309。显示面板309由例如LCD(液晶显示器)、PDP(等离子显示面板)等形成。
音频信号处理电路310对由HDMI接收单元303接收的或由比特流处理单元306获得的音频数据执行诸如D/A转换的必要处理。音频放大电路311放大从音频信号处理电路310输出的音频信号，并将该音频信号提供给扬声器312。
CPU 321控制电视接收机300的各个单元的操作。快闪ROM 322执行对控制软件的存储以及对数据的保存。DRAM 323构成CPU 321的工作区域。CPU 321将从快闪ROM 322读取的软件和数据展开到DRAM 323上，以激活软件，从而控制电视接收机300的各个单元。
遥控接收单元325接收从遥控传送器326提供的遥控信号(遥控码)，并将遥控信号提供给CPU 321。CPU 321基于此遥控码控制电视接收机300的各个单元。CPU 321、快闪ROM 322和DRAM 323连接到内部总线324。
将简要描述图31中所示的电视接收机300的操作。在HDMI接收单元303中，接收从经由HDMI线缆400连接到HDMI端子302的机顶盒200传送的立体图像数据和音频数据。由HDMI接收单元303接收的立体图像数据被提供给3D信号处理单元301。而且，由HDMI接收单元303接收的音频数据被提供给音频信号处理电路310。
输入到天线端子304的电视广播信号被提供到数字调谐器305。在数字调谐器305中，处理电视广播信号，并输出对应于用户所选择的信道的预定比特流数据(传输流)。
从数字调谐器305输出的比特流数据被提供到比特流处理单元306。在比特流处理单元306中，从比特流数据中提取立体图像数据(左眼图像数据和右眼图像数据)、音频数据、图形数据、文本数据、视差矢量等。而且，在比特流处理单元306中，将重叠信息(图形信息或文本信息)的数据与立体图像数据合成，并且产生用于显示的立体图像数据。
由比特流处理单元306产生的用于显示的立体图像数据被提供到3D信号处理单元301。而且，由比特流处理单元306获得的音频数据被提供到音频信号处理电路310。
在3D信号处理单元301中，对由HDMI接收单元303接收的或由比特流处理单元306获得的立体图像数据执行对应于传送模式的处理(解码处理)，并且产生左眼图像数据和右眼图像数据。左眼图像数据和右眼图像数据被提供给视频信号处理单元电路307。在视频信号处理电路307中，基于左眼图像数据和右眼图像数据，产生用于显示立体图像的图像数据。结果，立体图像被显示面板309显示。
而且，在音频信号处理电路310中，对由HDMI接收单元303接收的或由比特流处理单元306获得的音频数据执行诸如D/A转换的必要处理。该音频数据被在音频放大电路311中放大之后，被提供给扬声器312。结果，音频被从扬声器312中输出。
[HDMI传送单元和HDMI接收单元的构造的示例]
图32示出了图1中的立体图像显示系统10中的机顶盒200的HDMI传送单元(HDMI源)206、以及电视接收机300的HDMI接收单元(HDMI接收器)303的构造的示例。
在有效(active)图像时段(下文，也适当地称为有效视频时段)期间，HDMI传送单元206在多个信道上将与相当于一屏的图像的未压缩像素数据对应的差分信号单向地传送至HDMI接收单元303。这里，有效图像时段是从一个垂直同步信号至下一垂直同步信号的时段中减去水平消隐(blanking)时段和垂直消隐时段的时段。而且，在水平消隐时段或垂直消隐时段期间，HDMI传送单元206在多个信道上将对应于伴随图像的至少音频数据和控制数据、其它辅助数据等的差分信号单向地传送至HDMI接收单元303。
以下传送信道作为用于包括HDMI传送单元206和HDMI接收单元303的HDMI系统的传送信道而存在。即，存在三个TMDS信道#0至#2，作为用于与像素时钟同步地将像素数据和音频数据从HDMI传送单元206单向地传送至HDMI接收单元303的传送信道。
HDMI传送单元206具有HDMI传送器81。例如，传送器81将图像的未压缩像素数据转换为对应的差分信号，并在多个信道上将该差分信号单向地串行传送至经由HDMI线缆400连接的HDMI接收单元303，其中该多个信道是所述三个TMDS信道#0、#1和#2。
而且，传送器81将伴随图像的未压缩音频数据、以及另外必要的控制数据、其它辅助数据等转换为对应的差分信号，并在所述三个TMDS信道#0、#1和#2上将该差分信号单向地串行传送至HDMI接收单元303。
此外，传送器81在TMDS时钟信道上向经由HDMI线缆400连接的HDMI接收单元303传送与在所述三个TMDS信道#0、#1和#2上传送的像素数据同步的像素时钟。这里，在单个TMDS信道#i(i＝0，1，2)上，在像素时钟的一个时钟周期期间传送10比特的像素数据。
在有效视频时段期间，HDMI接收单元303接收在多个信道上从HDMI传送单元206单向传送的对应于像素数据的差分信号。而且，在水平消隐时段或垂直消隐时段期间，HDMI接收单元303接收在多个信道上从HDMI传送单元206单向传送的对应于音频数据和控制数据的差分信号。
即，HDMI接收单元303具有HDMI接收机82。HDMI接收机82接收对应于像素数据的差分信号以及对应于音频数据和控制数据的差分信号，它们被在TMDS信道#0、#1和#2上从HDMI传送单元206单向传送。在此情况下，与在TMDS时钟信道上从HDMI传送单元206传送的像素时钟同步地，接收所述差分信号。
除上述TMDS信道#0至#3以及TMDS时钟信道外，包括HDMI传送单元206和HDMI接收单元303的HDMI系统中的传送信道还包括称为DDC(显示数据信道)83和CEC(消费电子控制)线84的传送信道。DDC 83由包含在HDMI线缆400中的两个未示出的信号线形成，并被用于HDMI传送单元206从经由HDMI线缆400连接的HDMI接收单元303读取E-EDID(增强的扩展显示标识数据)。
即，除HDMI接收机82之外，HDMI接收单元303还具有存储E-EDID的EDID ROM(只读存储器)85，E-EDID是与HDMI接收单元303本身的性能(构造/能力)相关的性能信息。例如，响应于来自CPU 211(见图26)的请求，HDMI传送单元206经由DDC 83从经由HDMI线缆400连接的HDMI接收单元303读取HDMI接收单元303的E-EDID。HDMI传送单元206向CPU 211发送所读取的E-EDID。CPU 211将此E-EDID存储到快闪ROM 212或DRAM 213上。
CPU 211可以基于此E-EDID识别HDMI接收单元303的性能设定。例如，CPU 211识别可以被具有HDMI接收单元303的电视接收机300支持的图像数据的格式(分辨率、帧频、宽高比(aspect)等)。
CEC线84由包含在HDMI线缆400中的未示出的单个信号线形成，并被用于执行HDMI传送单元206和HDMI接收单元303之间的控制数据的双向通信。CEC线84构成控制数据线。
而且，HDMI线缆400包括连接到称为HPD(热插拔检测)的引脚的线(HPD线)86。通过使用线86，源设备可以检测接收器设备的连接。而且，HDMI线缆400包括用于从源设备向接收器设备供电的线87(电源线)。此外，HDMI线缆400包括保留线88。
图33示出了图32中的HDMI传送器81和HDMI接收器82的构造的示例。HDMI传送器81具有分别对应于三个TMDS信道#0、#1和#2的三个编码器/串行器81A、81B和81C。此外，该三个编码器/串行器81A、81B和81C中的每个对提供至其的图像数据、辅助数据和控制数据进行编码，以执行从并行数据到串行数据的转换，并通过差分信号传送该串行数据。这里，如果图像数据具有三个分量R(红)、G(绿)和B(蓝)，则例如将B分量提供给编码器/串行器81A，将G分量提供给编码器/串行器81B，并且将R分量提供给编码器/串行器81C。
而且，辅助数据包括例如音频数据和控制分组。例如，将控制分组提供给编码器/串行器81A，并且将音频数据提供给编码器/串行器81B和81C。此外，控制数据包括1比特的垂直同步信号(VSYNC)、1比特的水平同步信号(HSYNC)以及各自具有1比特的控制比特CTL0、CTL1、CTL2和CTL3。将垂直同步信号和水平同步信号提供给编码器/串行器81A。将控制比特CTL0和CTL1提供给编码器/串行器81B，并且将控制比特CTL2和CTL3提供给编码器/串行器81C。
编码器/串行器81A以时分方式传送提供至其的图像数据的B分量、垂直同步信号和水平同步信号、以及辅助数据。即，编码器/串行器81A将提供至其的图像数据的B分量转换为以作为固定数目的比特的8比特为单位的并行数据。此外，编码器/串行器81A将该并行数据编码并转换为串行数据，并在TMDS信道#0上传送该串行数据。
而且，编码器/串行器81A将提供至其的垂直同步信号和水平同步信号的2比特并行数据编码并转换为串行数据，并在TMDS信道#0上传送该串行数据。此外，编码器/串行器81A将提供至其的辅助数据转换为以4比特为单位的并行数据。然后，编码器/串行器81A将该并行数据编码并转换为串行数据，并在TMDS信道#0上传送该串行数据。
编码器/串行器81B以时分方式传送提供至其的图像数据的G分量、控制比特CTL0和CTL1、以及辅助数据。即，编码器/串行器81B将提供至其的图像数据的G分量转换为以作为固定数目的比特的8比特为单位的并行数据。此外，编码器/串行器81B将该并行数据编码并转换为串行数据，并在TMDS信道#1上传送该串行数据。
而且，编码器/串行器81B将提供至其的控制比特CTL0和CTL1的2比特并行数据编码并转换为串行数据，并在TMDS信道#1上传送该串行数据。此外，编码器/串行器81B将提供至其的辅助数据转换为以4比特为单位的并行数据。然后，编码器/串行器81B将该并行数据编码并转换为串行数据，并在TMDS信道#1上传送该串行数据。
编码器/串行器81C以时分方式传送提供至其的图像数据的R分量、控制比特CTL2和CTL3、以及辅助数据。即，编码器/串行器81C将提供至其的图像数据的R分量转换为以作为固定数目的比特的8比特为单位的并行数据。此外，编码器/串行器81C将该并行数据编码并转换为串行数据，并在TMDS信道#2上传送该串行数据。
而且，编码器/串行器81C将提供至其的控制比特CTL2和CTL3的2比特并行数据编码并转换为串行数据，并在TMDS信道#2上传送该串行数据。此外，编码器/串行器81C将提供至其的辅助数据转换为以4比特为单位的并行数据。然后，编码器/串行器81C将该并行数据编码并转换为串行数据，并在TMDS信道#2上传送该串行数据。
HDMI接收器82具有分别对应于三个TMDS信道#0、#1和#2的三个恢复器/解码器82A、82B和82C。恢复器/解码器82A、82B和82C中的每个接收在TMDS信道#0、#1和#2上通过差分信号传送的图像数据、辅助数据和控制数据。此外，恢复器/解码器82A、82B和82C中的每个将所接收的图像数据、辅助数据和控制数据从串行数据转换为并行数据，并解码和输出该并行数据。
即，恢复器/解码器82A接收在TMDS信道#0上通过差分信号传送的图像数据的B分量、垂直同步信号、水平同步信号和辅助数据。然后，恢复器/解码器82A将图像数据的B分量、垂直同步信号、水平同步信号和辅助数据从串行数据转换为并行数据，并解码和输出该并行数据。
恢复器/解码器82B接收在TMDS信道#1上通过差分信号传送的图像信号的G分量、控制比特CTL0和CTL1、以及辅助数据。然后，恢复器/解码器82B将图像数据的G分量、控制比特CTL0和CTL1、以及辅助数据从串行数据转换为并行数据，并解码和输出该并行数据。
恢复器/解码器82C接收在TMDS信道#2上通过差分信号传送的图像信号的R分量、控制比特CTL2和CTL3、以及辅助数据。然后，恢复器/解码器82C将图像数据的R分量、控制比特CTL2和CTL3、以及辅助数据从串行数据转换为并行数据，并解码和输出该并行数据。
图34示出了TMDS传送数据的结构的示例。图34示出了在三个TMDS信道#0、#1和#2上传送水平×垂直为1920像素×1080线的图像数据的情况下的、传送数据的各个时段。
在HDMI的三个TMDS信道#0、#1和#2上传送传送数据的视频场(Video Field)期间，取决于传送数据的类型，存在三种类型的时段——视频数据时段、数据岛时段和控制时段。
这里，视频场时段是从给定的垂直同步信号的上升沿(有效沿)至下一垂直同步信号的上升沿的时段，并被分割为水平消隐、垂直消隐和有效视频。此有效视频是视频场时段减去水平消隐和垂直消隐的时段。
视频数据时段被分配给有效视频时段。在此视频数据时段中，传送构成相当于一屏的未压缩图像数据的、1920像素×1080线的有效像素的数据。
数据岛时段和控制时段被分配给水平消隐和垂直消隐。在此数据岛时段和控制时段中，传送辅助数据。即，数据岛时段被分配给水平消隐和垂直消隐中的每个的一部分。在此数据岛时段中，传送辅助数据中与控制不相关的数据，例如，音频数据分组等。
控制时段被分配给水平消隐和垂直消隐中的每个的其它部分。在此控制时段中，传送辅助数据中与控制相关的数据，例如，垂直同步信号、水平同步信号、控制分组等。
图35示出了HDMI端子211和251的引脚布置的示例。图35中示出的引脚布置被称为类型A。
作为传送作为TMDS信道#i上的差分信号的TMDS数据#i+和TMDS数据#i-所沿着的差分线的两条线连接到被分配TMDS数据#i+的引脚(引脚号是1、4和7的引脚)、以及被分配TMDS数据#i-的引脚(引脚号是3、6和9的引脚)。
而且，传送作为控制数据的CEC信号所沿着的CEC线84连接到引脚号是13的引脚。引脚号是14的引脚是保留引脚。而且，传送诸如E-EDID的SDA(串行数据)信号所沿着的线连接到引脚号是16的引脚。传送作为用于在SDA信号的传送和接收时同步的时钟信号的SCL(串行时钟)信号所沿着的线连接到引脚号是15的引脚。上述DDC 83由传送SDA信号所沿着的线和传送SCL信号所沿着的线形成。
而且，上述用于源设备检测接收器设备的连接的HPD线86连接到引脚号是19的引脚。而且，上述用于供电的线87连接到引脚号是18的引脚。
[用于立体图像数据的各个模式中的TMDS传送数据的示例]
这里，将描述用于立体图像数据的各个模式中的TMDS传送数据的示例。图36示出了第一传送模式(“顶部&底部”模式)中的TMDS传送数据的示例。在此情况下，1920像素×1080线的有效像素的数据(左眼(L)图像数据和右眼(R)图像数据的合成数据)被布置在1920像素×1080线的有效视频时段中。在此第一模式的情况中，如上所述，左眼图像数据和右眼图像数据中的每个的垂直方向上的线被稀疏化到1/2。这里，要传送的左眼图像数据要么是奇数号线要么是偶数号线，同样地，要传送的右眼图像数据要么是奇数号线要么是偶数号线。
图37示出了第二传送模式(“并排”模式)中的TMDS传送数据的示例。在此情况下，1920像素×1080线的有效像素的数据(左眼(L)图像数据和右眼(R)图像数据的合成数据)被布置在1920像素×1080线的有效视频时段中。在此第二模式的情况中，如上所述，左眼图像数据和右眼图像数据中的每个的水平方向上的线被稀疏化到1/2。
图38示出了第三传送模式(“帧顺序”模式)中的TMDS传送数据的示例。在此情况下，1920像素×1080线的有效像素的左眼(L)图像数据被布置在1920像素×1080线的有效视频时段的奇数号场中。而且，1920像素×1080线的有效像素的右眼(R)图像数据被布置在1920像素×1080线的有效视频时段的偶数号场中。
应该注意，图38中示出的“帧顺序”模式中的TMDS传送数据的示例示出了HDMI 1.4(新HDMI)中的“帧顺序”模式。在此情况下，如图39(a)中所示，在每个帧时段Vfreq中，左眼图像数据被布置在奇数号场中，而右眼图像数据被布置在偶数号场中。
然而，在HDMI 1.3(传统HDMI)中的“帧顺序”模式的情况下，如图39(b)所示，对于每个帧时段Vfreq，交替地传送左眼图像数据和右眼图像数据。在此情况下，源设备需要为每个帧向接收器设备发送指示正在传送的图像数据是左眼图像数据还是右眼图像数据的信息(L、R信令信息)。
当向接收器设备传送“顶部&底部”模式、“并排”模式或“帧顺序”模式中的立体图像数据时，在源设备侧指定模式，并且，进一步在“帧顺序”模式的情况下，为每个帧执行L、R的信令。
例如，通过重新定义在传统HDMI规范的消隐中定义的供应商自定义(Vendor Specific)、AVI信息帧(AVI InfoFrame)和保留(Reserved)之一来传送以下语法。
在HDMI 1.3的情况下，以下内容被定义为要在消隐时段中发送的信息。信息帧类型#(8比特)
-------------
0x01：供应商自定义
0x02：AVI信息帧
0x03：源产品描述
0x04：音频信息帧
0x05：MPEG源
0x06-0xFF：保留
在这些之中，供应商自定义、AVI信息帧和保留区域之一被重新定义如下。
上述信息包括有关三维图像数据和二维图像信息之间的切换的信息(1比特的3D视频标记信息)、以及有关三维图像数据的格式的指定或左眼图像数据和右眼图像数据之间的切换的信息(3比特的3D视频格式信息)。
应该注意，此信息将被定义在其上广播相同信息的比特流中的、在同等时刻发送的画面头部或辅助信息中。在此情况下，在此比特流中择一地包括三维图像数据(包括左眼图像数据和右眼图像数据的立体图像数据)或二维图像数据。
在接收机(机顶盒200)中，在接收该流时，此信令信息被发送到在后续级的数字接口，以确保可以在显示器(电视接收机300)上完成精确的3D转换。
而且，当有关切换的信息(1比特的3D视频标记信息)指示三维图像数据时，即，当数据流包括三维图像数据时，接收机可以从诸如广播服务器的外部设备下载并安装用于处理此三维图像数据的软件。
例如，为了传送上述3D信息，对支持HDMI 1.3的系统的额外支持或者对支持HDMI 1.4的系统的软件的更新变得必要。因此，当更新软件时，对例如与传送上述3D信息所必需的固件或中间件相关的软件进行更新。
如上所述，在图1中所示的立体图像显示系统10中，基于左眼图像和右眼图像之一相对于另一方的视差信息，对要被重叠在左眼图像和右眼图像上的相同重叠信息(图形信息或文本信息)赋予视差。因此，可以使用已经根据图像内的各个物体的远近感而被应用了视差调整的重叠信息，作为要被重叠在左眼图像和右眼图像上的相同重叠信息，从而使得可以在重叠信息的显示中保持与图像内的各个物体的远近感的一致性。
<2.修改>
应该注意，在上述实施例中，从广播站100一侧将图像内的预定位置处的视差矢量传送至机顶盒200。在此情况下，不需要机顶盒200基于包含在已经接收的立体图像数据中的左眼图像数据和右眼图像数据获得视差矢量，因此简化了机顶盒200中的处理。
然而，还可以考虑在立体图像数据的接收侧，布置等效于图2中的传送数据产生单元110中的视差矢量检测单元114的视差矢量检测单元，其中所述立体图像数据的接收侧是上述实施例中的机顶盒200。在此情况下，即使不发送视差矢量，使用视差矢量的处理也变得可能。
例如，图40示出了在机顶盒200中提供的比特流处理单元201C的构造的示例。在图40中，与图27中的部分对应的部分由相同的标记表示，并且省略它们的详细描述。在比特流处理单元201C中，布置视差矢量检测单元233，代替图27中所示的比特流处理单元201中的视差矢量解码器225。
视差矢量检测单元233基于构成由视图解码器221获得的立体图像数据的左眼图像数据和右眼图像数据，检测图像内的预定位置处的视差矢量。然后，视差矢量检测单元233将所检测的视差矢量提供给立体图像图形产生单元206、立体图像文本产生单元227以及多声道扬声器输出控制单元229。
虽然省略了详细描述，但图40中所示的比特流处理单元201C另外被以与图27中所示的比特流处理单元201相同的方式构造。
而且，上述实施例针对于立体图像显示系统10由广播站100、机顶盒200和电视接收机300形成的情况。然而，如图31中所示，电视接收机300包括以与机顶盒200内的比特流处理单元201等效的方式工作的比特流处理单元201。因此，如图41所示，由广播站100和电视接收机300形成的立体图像显示系统10A也是可能的。
而且，上述实施例针对于从广播站100广播包括立体图像数据的数据流(比特流数据)的情况。然而，当然，本发明可以被类似地应用于如下构造的系统，该系统被构造为使得通过使用诸如因特网的网络将此数据流分布到接收终端。
工业实用性
本发明可以被应用于立体图像显示系统等，其中，诸如图形信息或文本信息的重叠信息被重叠显示在图像上。
附图标记列表
10、10A  立体图像显示系统
100  广播站
110、110A、110B  传送数据产生单元
111L、111R  摄像头
112  视频成帧单元
113  视频编码器
114  视差矢量检测单元
115  视差矢量编码器
116  麦克风
117  音频编码器
118  图形产生单元
119  图形编码器
120  文本产生单元
121  文本编码器
122  复用器
123  流成帧单元
124  图形处理单元
125  文本处理单元
200  机顶盒
201、201A、201B、201C  比特流处理单元
202  HDMI端子
203  天线端子
204  数字调谐器
205  视频信号处理电路
206  HDMI传送单元
207  音频信号处理电路
211  CPU
212  快闪ROM
213  DRAM
214  内部总线
215  遥控接收单元
216  遥控传送器
220  解复用器
221  视频解码器
222  图形解码器
223  文本解码器
224  音频解码器
225  视差矢量解码器
226  立体图像图形产生单元
227  立体图像文本产生单元
228  视频重叠单元
229  多声道扬声器控制单元
231  视差矢量提取单元
233  视差矢量检测单元
300  电视接收机
301  3D信号处理单元
302  HDMI端子
303  HDMI接收单元
304  天线端子
305  数字调谐器
306  比特流处理单元
307  视频信号处理电路
308  面板驱动电路
309  显示面板
310  音频信号处理电路
311  音频放大电路
312  扬声器
321  CPU
322  快闪ROM
323  DRAM
324  内部总线
325  遥控接收单元
326  遥控传送器
400  HDMI线缆

Claims (17)

1.一种立体图像数据传送装置，包括：
立体图像数据输出单元，其输出包括左眼图像数据和右眼图像数据的立体图像数据；
视差信息输出单元，其输出用于通过位移要被重叠在基于所述左眼图像数据和所述右眼图像数据的图像上的重叠信息而赋予视差的视差信息；以及
数据传送单元，其将从所述视差信息输出单元输出的视差信息与从所述立体图像数据输出单元输出的立体图像数据一起传送。
2.如权利要求1所述的立体图像数据传送装置，其中，所述数据传送单元将所述视差信息作为数值信息传送。
3.如权利要求1所述的立体图像数据传送装置，其中，所述数据传送单元以将所述视差信息包含在要被重叠在基于所述左眼图像数据和所述右眼图像数据的图像上的重叠信息的数据中的方式，传送所述视差信息。
4.一种立体图像数据传送方法，包括：
获取用于通过位移要被重叠在基于左眼图像数据和右眼图像数据的图像上的重叠信息而赋予视差的视差信息；以及
将所获取的视差信息与包括所述左眼图像数据和所述右眼图像数据的立体图像数据一起传送。
5.一种立体图像数据传送方法，包括：
基于用于显示立体图像的左眼图像数据和右眼图像数据，在图像内的预定位置获取左眼图像和右眼图像之一相对于另一方的视差信息；以及
将所获取的视差信息与包括所述左眼图像数据和所述右眼图像数据的立体图像数据一起传送。
6.一种立体图像数据接收装置，包括：
图像数据接收单元，其接收包括左眼图像数据和右眼图像数据的立体图像数据；以及
图像数据处理单元，其基于所述左眼图像和所述右眼图像之一相对于另一方的视差信息，对要重叠在左眼图像和右眼图像上的同一重叠信息赋予视差，并且获得其上已经重叠了所述重叠信息的所述左眼图像的数据、以及其上已经重叠了所述重叠信息的所述右眼图像的数据，所述视差信息是通过处理包括在由所述图像数据接收单元接收的立体图像数据中的左眼图像数据和右眼图像数据而获得的。
7.如权利要求6所述的立体图像数据接收装置，其中，所述图像数据处理单元根据所述重叠信息的重叠位置，向要重叠在所述左眼图像和所述右眼图像上的同一重叠信息赋予所述视差。
8.如权利要求6所述的立体图像数据接收装置，还包括视差信息接收单元，其与所述图像数据接收单元接收的立体图像数据同步地，接收所述视差信息。
9.如权利要求6所述的立体图像数据接收装置，还包括视差信息获取单元，其基于包含在所述图像数据接收单元接收的立体图像数据中的左眼图像数据和右眼图像数据，在图像内的预定位置获得所述左眼图像和所述右眼图像之一相对于另一方的视差信息。
10.如权利要求6所述的立体图像数据接收装置，还包括图像数据传送单元，其将包括由所述图像数据处理单元获得的左眼图像数据和右眼图像数据的立体图像数据传送至外部设备。
11.如权利要求10所述的立体图像数据接收装置，其中，所述图像数据传送单元在帧顺序模式中将所述左眼图像数据和所述右眼图像数据传送至所述外部设备，并且还将用于区别各个帧中传送的图像数据是所述左眼图像数据还是所述右眼图像数据的信号传送至所述外部设备。
12.如权利要求6所述的立体图像数据接收装置，还包括图像显示单元，其基于所述图像数据处理单元获得的左眼图像数据和右眼图像数据，显示用于立体图像显示的图像。
13.如权利要求6所述的立体图像数据接收装置，还包括：
多声道扬声器；以及
控制单元，其基于所述左眼图像和所述右眼图像之一相对于另一方的视差信息，控制所述多声道扬声器的输出。
14.一种立体图像数据接收方法，包括：
图像数据接收步骤，接收包括左眼图像数据和右眼图像数据的立体图像数据；以及
图像数据处理步骤，基于左眼图像和右眼图像之一相对于另一方的视差信息，对要重叠在所述左眼图像和所述右眼图像上的同一重叠信息赋予视差，并且获得其上已经重叠了所述重叠信息的左眼图像的数据、以及其上已经重叠了所述重叠信息的右眼图像的数据。
15.一种图像数据传送装置，包括：
数据流传送单元，其传送择一地包括三维图像数据或二维图像数据的数据流；以及
信息嵌入单元，其将有关所述三维图像数据和所述二维图像数据之间的切换的信息、以及有关所述三维图像数据的格式的指定或左眼图像数据和右眼图像数据之间的切换的信息嵌入到所述数据流中。
16.一种图像数据接收装置，包括：
数据流接收单元，其接收数据流，所述数据流择一地包括三维图像数据或二维图像数据，并且包括有关所述三维图像数据和所述二维图像数据之间的切换的信息、以及有关所述三维图像数据的格式的指定或左眼图像数据和右眼图像数据之间的切换的信息；
图像数据传送单元，其经由数字接口将包含在由所述数据接收单元接收的数据流中的图像数据传送至外部设备；以及
信息传送单元，其经由所述数字接口，将包含在所述数据流中的、有关所述三维图像数据和所述二维图像数据之间的切换的信息以及有关所述三维图像数据的格式的指定或左眼图像数据和右眼图像数据之间的切换的信息传送至所述外部设备。
17.一种图像数据接收装置，包括：
数据流接收单元，其接收择一地包括三维图像数据或二维图像数据的数据流；以及
下载单元，当所述数据流接收单元接收到包括所述三维图像数据的数据流时，所述下载单元从外部设备下载用于处理所述三维图像数据的软件。
CN201080002717XA 2009-06-29 2010-06-22 立体图像数据传送装置、立体图像数据传送方法、立体图像数据接收装置、立体图像数据接收方法、图像数据传送装置以及图像数据接收装置 Pending CN102165784A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP153686/09 2009-06-29
JP2009153686 2009-06-29
PCT/JP2010/060579 WO2011001851A1 (ja) 2009-06-29 2010-06-22 立体画像データ送信装置、立体画像データ送信方法、立体画像データ受信装置、立体画像データ受信方法、画像データ送信装置および画像データ受信装置

Publications (1)

Publication Number Publication Date
CN102165784A true CN102165784A (zh) 2011-08-24

Family

ID=43410928

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201080002717XA Pending CN102165784A (zh) 2009-06-29 2010-06-22 立体图像数据传送装置、立体图像数据传送方法、立体图像数据接收装置、立体图像数据接收方法、图像数据传送装置以及图像数据接收装置

Country Status (9)

Country Link
US (3) US20110149024A1 (zh)
EP (1) EP2451165A4 (zh)
JP (1) JP5531972B2 (zh)
KR (1) KR20120097313A (zh)
CN (1) CN102165784A (zh)
BR (1) BRPI1004295A2 (zh)
RU (2) RU2463731C1 (zh)
TW (1) TW201116041A (zh)
WO (1) WO2011001851A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103037228A (zh) * 2011-10-09 2013-04-10 瑞昱半导体股份有限公司 立体影像传输方法及立体影像传输电路
CN103222270A (zh) * 2011-09-01 2013-07-24 索尼公司 发送设备、发送方法和接收设备
CN104541509A (zh) * 2012-08-15 2015-04-22 高通股份有限公司 兼容三维视频通信
CN105338400A (zh) * 2011-10-07 2016-02-17 日立麦克赛尔株式会社 显示装置

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102131097B (zh) * 2011-03-21 2016-05-18 中国电信股份有限公司 3d流媒体传输方法及系统
TWI486052B (zh) 2011-07-05 2015-05-21 Realtek Semiconductor Corp 立體影像處理裝置以及立體影像處理方法
WO2013046281A1 (ja) 2011-09-30 2013-04-04 パナソニック株式会社 映像処理装置及び映像処理方法
EP2785051A4 (en) * 2011-11-25 2015-11-25 Hitachi Maxell IMAGE TRANSMISSION DEVICE, IMAGE TRANSMISSION METHOD, IMAGE RECEPTOR AND IMAGE RECEPTION PROCESS
KR101899324B1 (ko) * 2011-12-28 2018-09-18 삼성전자주식회사 3ｄ 입체 영상을 제공하는 디스플레이 장치 및 방법
CN103959769B (zh) 2012-02-02 2016-12-14 太阳专利托管公司 用于使用视差信息的3d媒体数据产生、编码、解码和显示的方法和装置
EP2688304B1 (en) 2012-03-01 2019-09-25 Sony Corporation Transmitter, transmission method and receiver
CN103517062B (zh) * 2012-06-15 2016-05-25 晨星软件研发(深圳)有限公司 影像的同步方法及其装置
CN104885450B (zh) * 2012-12-27 2017-09-08 日本电信电话株式会社 图像编码方法、图像解码方法、图像编码装置、图像解码装置、图像编码程序、以及图像解码程序
BR112015023251B1 (pt) * 2013-04-12 2023-03-14 Intel Corporation Codificação de profundidade simplificada com intracodificação modificada para codificação de vídeo em 3d
CN105359522B (zh) * 2013-07-12 2019-09-17 索尼公司 图像解码装置和方法
US10051364B2 (en) * 2014-07-03 2018-08-14 Qualcomm Incorporated Single channel or multi-channel audio control interface
CA2929052A1 (en) 2014-09-12 2016-03-17 Sony Corporation Transmission device, transmission method, reception device, and a reception method
US9948913B2 (en) 2014-12-24 2018-04-17 Samsung Electronics Co., Ltd. Image processing method and apparatus for processing an image pair
CN107113457B (zh) * 2014-12-29 2020-12-04 索尼公司 发送装置、发送方法、接收装置和接收方法
CN105763848B (zh) * 2016-03-03 2019-06-11 浙江宇视科技有限公司 鱼眼摄像机后端接入方法及系统
JP6472845B2 (ja) * 2017-08-28 2019-02-20 マクセル株式会社 画像受信装置
EP3553590A1 (de) 2018-04-13 2019-10-16 Deutsche Telekom AG Vorrichtung und verfahren zur aufzeichnung, übertragung und räumlichen rekonstruktion von bildern dreidimensionaler objekte
GB2576696A (en) 2018-07-27 2020-03-04 Cross Flow Energy Company Ltd Turbine
CN114764824A (zh) * 2020-12-30 2022-07-19 安霸国际有限合伙企业 使用导引节点的视差图构建

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06301390A (ja) * 1993-04-12 1994-10-28 Sanyo Electric Co Ltd 立体音像制御装置
JPH11289555A (ja) * 1998-04-02 1999-10-19 Toshiba Corp 立体映像表示装置
KR20030037140A (ko) * 2001-11-02 2003-05-12 전자부품연구원 검색기능을 포함한 3차원 입체영상을 위한 다시점영상통신 시스템
JP2004274125A (ja) * 2003-03-05 2004-09-30 Sony Corp 画像処理装置および方法
JP2004274642A (ja) * 2003-03-12 2004-09-30 Nippon Telegr & Teleph Corp <Ntt> ３次元映像情報の伝送方法
CN1643939A (zh) * 2002-03-27 2005-07-20 三洋电机株式会社 立体图像处理方法及装置
JP2007166277A (ja) * 2005-12-14 2007-06-28 Nippon Telegr & Teleph Corp <Ntt> ３次元画像情報の伝送方法、送信側装置および受信側装置
CN101035261A (zh) * 2007-04-11 2007-09-12 宁波大学 一种交互式多视点视频系统的图像信号处理方法
CN101072366A (zh) * 2007-05-24 2007-11-14 上海大学 基于光场和双目视觉技术的自由立体显示系统和方法
WO2008115222A1 (en) * 2007-03-16 2008-09-25 Thomson Licensing System and method for combining text with three-dimensional content
US20080303832A1 (en) * 2007-06-11 2008-12-11 Samsung Electronics Co., Ltd. Method of generating two-dimensional/three-dimensional convertible stereoscopic image bitstream and method and apparatus for displaying the same
US20090142041A1 (en) * 2007-11-29 2009-06-04 Mitsubishi Electric Corporation Stereoscopic video recording method, stereoscopic video recording medium, stereoscopic video reproducing method, stereoscopic video recording apparatus, and stereoscopic video reproducing apparatus

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3157384B2 (ja) * 1994-06-20 2001-04-16 三洋電機株式会社 立体映像装置
RU2097940C1 (ru) * 1995-04-18 1997-11-27 Акционерное общество закрытого типа "Ракурс-ЗД" Способ получения и воспроизведения объемного изображения и устройство для его реализации
US5612735A (en) * 1995-05-26 1997-03-18 Luncent Technologies Inc. Digital 3D/stereoscopic video compression technique utilizing two disparity estimates
US5619256A (en) * 1995-05-26 1997-04-08 Lucent Technologies Inc. Digital 3D/stereoscopic video compression technique utilizing disparity and motion compensated predictions
DE69736062T2 (de) * 1996-02-28 2007-01-11 Matsushita Electric Industrial Co., Ltd., Kadoma Optische Platte mit verschachtelt aufgezeichneten Digitalvideo-Datenströmen, sowie Vorrichtungen und Verfahren zur Aufzeichnung auf und Wiedergabe von der optischen Platte
JPH11113028A (ja) * 1997-09-30 1999-04-23 Toshiba Corp ３次元映像表示装置
JP2000020698A (ja) * 1998-07-06 2000-01-21 Fuji Photo Film Co Ltd ３次元画像ファイル作成方法および装置、画像生成方法および装置並びにこれらの方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読取り可能な記録媒体
JP2000078611A (ja) * 1998-08-31 2000-03-14 Toshiba Corp 立体映像受信装置及び立体映像システム
JP2001061164A (ja) * 1999-08-19 2001-03-06 Toshiba Corp 立体映像信号伝送方法
JP4190357B2 (ja) 2003-06-12 2008-12-03 シャープ株式会社 放送データ送信装置、放送データ送信方法および放送データ受信装置
CN100576251C (zh) * 2005-04-19 2009-12-30 皇家飞利浦电子股份有限公司 呈现单元、呈现方法以及图像处理设备
JP4637672B2 (ja) * 2005-07-22 2011-02-23 株式会社リコー 符号化処理装置及び方法
US20090284584A1 (en) * 2006-04-07 2009-11-19 Sharp Kabushiki Kaisha Image processing device
KR100955578B1 (ko) * 2007-12-18 2010-04-30 한국전자통신연구원 스테레오스코픽 콘텐츠 장면 재생 방법 및 그 장치
CN101350931B (zh) * 2008-08-27 2011-09-14 华为终端有限公司 音频信号的生成、播放方法及装置、处理系统
EP2356818B1 (en) * 2008-12-01 2016-04-13 Imax Corporation Methods and systems for presenting three-dimensional motion pictures with content adaptive information
EP2356820B1 (en) * 2008-12-02 2017-07-19 LG Electronics Inc. 3d caption display method and 3d display apparatus for implementing the same
ES2578022T3 (es) * 2009-02-17 2016-07-20 Koninklijke Philips N.V. Combinación de datos de imágenes 3D y gráficos
JP2011030180A (ja) * 2009-06-29 2011-02-10 Sony Corp 立体画像データ送信装置、立体画像データ送信方法、立体画像データ受信装置および立体画像データ受信方法
JP5402715B2 (ja) * 2009-06-29 2014-01-29 ソニー株式会社 立体画像データ送信装置、立体画像データ送信方法、立体画像データ受信装置および立体画像データ受信方法
JP5407968B2 (ja) * 2009-06-29 2014-02-05 ソニー株式会社 立体画像データ送信装置および立体画像データ受信装置
JP5429034B2 (ja) * 2009-06-29 2014-02-26 ソニー株式会社 立体画像データ送信装置、立体画像データ送信方法、立体画像データ受信装置および立体画像データ受信方法
JP2011030182A (ja) * 2009-06-29 2011-02-10 Sony Corp 立体画像データ送信装置、立体画像データ送信方法、立体画像データ受信装置および立体画像データ受信方法
JP2011030179A (ja) * 2009-06-29 2011-02-10 Sony Corp 画像データ送信装置、制御方法およびプログラム

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06301390A (ja) * 1993-04-12 1994-10-28 Sanyo Electric Co Ltd 立体音像制御装置
JPH11289555A (ja) * 1998-04-02 1999-10-19 Toshiba Corp 立体映像表示装置
KR20030037140A (ko) * 2001-11-02 2003-05-12 전자부품연구원 검색기능을 포함한 3차원 입체영상을 위한 다시점영상통신 시스템
CN1643939A (zh) * 2002-03-27 2005-07-20 三洋电机株式会社 立体图像处理方法及装置
JP2004274125A (ja) * 2003-03-05 2004-09-30 Sony Corp 画像処理装置および方法
JP2004274642A (ja) * 2003-03-12 2004-09-30 Nippon Telegr & Teleph Corp <Ntt> ３次元映像情報の伝送方法
JP2007166277A (ja) * 2005-12-14 2007-06-28 Nippon Telegr & Teleph Corp <Ntt> ３次元画像情報の伝送方法、送信側装置および受信側装置
WO2008115222A1 (en) * 2007-03-16 2008-09-25 Thomson Licensing System and method for combining text with three-dimensional content
CN101035261A (zh) * 2007-04-11 2007-09-12 宁波大学 一种交互式多视点视频系统的图像信号处理方法
CN101072366A (zh) * 2007-05-24 2007-11-14 上海大学 基于光场和双目视觉技术的自由立体显示系统和方法
US20080303832A1 (en) * 2007-06-11 2008-12-11 Samsung Electronics Co., Ltd. Method of generating two-dimensional/three-dimensional convertible stereoscopic image bitstream and method and apparatus for displaying the same
US20090142041A1 (en) * 2007-11-29 2009-06-04 Mitsubishi Electric Corporation Stereoscopic video recording method, stereoscopic video recording medium, stereoscopic video reproducing method, stereoscopic video recording apparatus, and stereoscopic video reproducing apparatus

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103222270A (zh) * 2011-09-01 2013-07-24 索尼公司 发送设备、发送方法和接收设备
CN105338400A (zh) * 2011-10-07 2016-02-17 日立麦克赛尔株式会社 显示装置
CN105338400B (zh) * 2011-10-07 2018-11-09 麦克赛尔株式会社 显示装置
CN103037228A (zh) * 2011-10-09 2013-04-10 瑞昱半导体股份有限公司 立体影像传输方法及立体影像传输电路
CN104541509A (zh) * 2012-08-15 2015-04-22 高通股份有限公司 兼容三维视频通信

Also Published As

Publication number Publication date
RU2012124406A (ru) 2013-12-20
US20110149024A1 (en) 2011-06-23
JP5531972B2 (ja) 2014-06-25
TW201116041A (en) 2011-05-01
KR20120097313A (ko) 2012-09-03
RU2011105394A (ru) 2012-08-20
JP2011120261A (ja) 2011-06-16
BRPI1004295A2 (pt) 2016-03-15
WO2011001851A1 (ja) 2011-01-06
US20140053224A1 (en) 2014-02-20
RU2463731C1 (ru) 2012-10-10
EP2451165A1 (en) 2012-05-09
EP2451165A4 (en) 2013-12-04
US20140053220A1 (en) 2014-02-20

Similar Documents

Publication Publication Date Title
CN102165784A (zh) 立体图像数据传送装置、立体图像数据传送方法、立体图像数据接收装置、立体图像数据接收方法、图像数据传送装置以及图像数据接收装置
TWI413403B (zh) Three-dimensional image data transmission device, three-dimensional image data transmission method and three-dimensional image data receiving device
US8937642B2 (en) Stereo image data transmitting apparatus and stereo image data receiving apparatus
CN102177724B (zh) 立体图像数据传输装置、立体图像数据发送方法、立体图像数据接收装置和立体图像数据接收方法
CN102342113B (zh) 立体图像数据传输装置和立体图像数据接收装置
EP2451168A1 (en) Three-dimensional image data transmission device, three-dimensional image data transmission method, three-dimensional image data reception device, and three-dimensional image data reception method
TWI437873B (zh) Three-dimensional image data transmission device, three-dimensional image data transmission method, three-dimensional image data receiving device and three-dimensional image data receiving method
EP2451170A1 (en) Stereoscopic image data transmitter and method for transmitting stereoscopic image data
US20110141232A1 (en) Image data transmitting apparatus, control method, and program
EP2485492A1 (en) Stereoscopic image data transmission device, stereoscopic image data transmission method, and stereoscopic image data reception device
EP2506580A1 (en) Stereoscopic image data transmission device, stereoscopic image data transmission method, and stereoscopic image data reception device
JP2011010255A (ja) 立体画像データ送信方法、立体画像データ受信装置および立体画像データ受信方法
JP2013176141A (ja) 立体画像データ受信装置および立体画像データ受信方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C12 Rejection of a patent application after its publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20110824