CN101873507A - 传输装置、接收装置、立体图像数据传输方法和接收方法 - Google Patents

传输装置、接收装置、立体图像数据传输方法和接收方法 Download PDF

Info

Publication number
CN101873507A
CN101873507A CN201010163850A CN201010163850A CN101873507A CN 101873507 A CN101873507 A CN 101873507A CN 201010163850 A CN201010163850 A CN 201010163850A CN 201010163850 A CN201010163850 A CN 201010163850A CN 101873507 A CN101873507 A CN 101873507A
Authority
CN
China
Prior art keywords
image data
data
information
stereoscopic image
screen size
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201010163850A
Other languages
English (en)
Inventor
泷塚博志
武中康一
篠原隆之
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Interactive Entertainment Inc
Sony Corp
Original Assignee
Sony Corp
Sony Computer Entertainment Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp, Sony Computer Entertainment Inc filed Critical Sony Corp
Priority to CN201410534388.3A priority Critical patent/CN104284176B/zh
Priority to CN201510195377.1A priority patent/CN104869388B/zh
Publication of CN101873507A publication Critical patent/CN101873507A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194Transmission of image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/139Format conversion, e.g. of frame-rate or size
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/172Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/178Metadata, e.g. disparity information

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Library & Information Science (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

提供一种传输装置、接收装置、立体图像数据传输方法和接收方法,该传输装置包括:图像数据输出单元,其输出包括左眼图像数据和右眼图像数据的立体图像数据,用于显示立体图像;数据传输单元,其通过传输路径将从所述图像数据输出单元输出的所述立体图像数据传输到外部设备;以及信息获取单元,其通过所述传输路径从所述外部设备获取关于屏幕尺寸的信息。所述图像数据输出单元输出适合从由所述信息获取单元获取的信息得到的屏幕尺寸的立体图像数据。

Description

传输装置、接收装置、立体图像数据传输方法和接收方法
技术领域
本发明涉及传输装置、立体图像数据传输方法、接收装置和立体图像数据接收方法,并且具体涉及传输包含用于显示立体图像等的左眼图像数据和右眼图像数据的立体图像数据的传输装置。
背景技术
近来,例如,如高清晰度多媒体接口(HDMI)的接口作为通信接口已经得到普及,其以高速将数字视频信号(即未压缩(基带)视频信号(图像数据))和伴随视频信号的数字音频信号(音频数据)从游戏机、数字多功能盘(DVD)记录器、机顶盒或其它音频-视频(AV)源传输到TV机、投影仪或其它显示器。HDMI标准的细节例如在高清晰度多媒体接口规范版本1.3a(2006年11月10日)中描述。
发明内容
例如,可以假设将包含用于显示立体图像的左眼图像数据和右眼图像数据的立体图像数据从AV源传输到显示器,并且使用双眼视差在显示器中显示立体图像。
图30示出当使用双眼视差显示立体图像时、在屏幕上对象的左右图像的显示位置和立体图像的再现位置之间的关系。例如,对于其中左图像La和右图像Ra在如图30所示的屏幕上分别向右和向左位移显示的对象A,因为左右视线在屏幕平面的前面相互交叉,所以立体图像的再现位置位于屏幕平面的前面。
此外,例如,对于其中左图像Lb和右图像Rb在如图30所示的屏幕上的相同位置显示的对象B,因为左右视线在屏幕平面上相互交叉,所以立体图像的再现位置位于屏幕平面上。此外,例如,对于其中左图像Lc和右图像Rc在如图30所示的屏幕上分别向左和向右位移显示的对象C,因为左右视线在屏幕平面的后面相互交叉,所以立体图像的再现位置位于屏幕平面的后面。
在图30中,对象D是在无限远处的对象。对于对象D,左图像Ld和右图像Rd在屏幕上的显示位置应该相互位移瞳孔间距离(例如,对于成年人大约6.5cm)。然而,当用于在屏幕上显示左眼图像和右眼图像的视频信号相同时,左图像Ld和右图像Rd之间的位移距离改变屏幕尺寸,从而在一些情况下对象D的立体图像的再现位置不是无限远。
例如,在具有20英寸屏幕尺寸的小TV机或PC监视器中,假设以这样的方式生成视频信号(左眼视频信号和右眼视频信号)V1:在屏幕上的左图像Ld和右图像Rd的显示位置之间的位移距离等于瞳孔间距离。例如,在具有20英寸屏幕尺寸的小TV机或PC监视器中、通过显示基于视频信号V1的左图像Ld和右图像Rd执行立体图像显示的情况下,因为在屏幕上的左图像Ld和右图像Rd的显示位置之间的位移距离为瞳孔间距离,所以对象D的立体图像的再现位置是无限远。然而,例如,在具有200英寸屏幕尺寸的投影仪中、通过显示基于视频信号V1的左图像Ld和右图像Rd执行立体图像显示的情况下,在屏幕上的左图像Ld和右图像Rd的显示位置之间的位移距离大于瞳孔间距离,使得立体图像显示失败。
此外,例如,假设以这样的方式生成视频信号(左眼视频信号和右眼视频信号)V2:在具有200英寸屏幕尺寸的投影仪上的显示位置之间的位移距离等于瞳孔间距离。例如,在具有200英寸屏幕尺寸的投影仪中、通过显示基于视频信号V2的左图像Ld和右图像Rd执行立体图像显示的情况下,因为在屏幕上的左图像Ld和右图像Rd的显示位置之间的位移距离是瞳孔间距离,所以对象D的立体图像的再现位置是无限远。然而,例如,在具有20英寸屏幕尺寸的小TV机或PC监视器中、通过显示基于视频信号V2的左图像Ld和右图像Rd执行立体图像显示的情况下,在屏幕上的左图像Ld和右图像Rd的显示位置之间的位移距离小于瞳孔间距离,使得对象D的立体图像的再现位置处于无限远的前面。
当屏幕尺寸改变、同时用于在屏幕上显示左眼图像和右眼图像的视频信号相同时,上述影响不但扩展到无限远对象D,而且扩展到对象A和C。具体地,因为在屏幕上的左图像和右图像的显示位置之间的位移距离变化屏幕尺寸,所以基于屏幕平面的对象A和C的立体图像的再现位置显著偏移,或者立体图像显示失败。
如上所述,当用于在屏幕上显示左眼图像和右眼图像的视频信号相同时,屏幕尺寸的改变导致合适的立体图像显示的失败。
迄今,在图像显示时动态生成左眼视频信号和右眼视频信号的情况下,如在游戏机中,通过设置屏幕尺寸信息,即使改变屏幕尺寸,也已经允许合适的立体图像显示。然而,在此情况下,需要用户根据屏幕尺寸的改变将屏幕尺寸信息设置到游戏机。
此外,存在迄今使用的技术,其通过来自左眼图像和右眼图像的特征点提取、图像间相关等检测左眼图像和右眼图像中的对象的位移,从其获取深度信息的线索,然后在校正深度信息之后执行图像显示。然而,使用屏幕尺寸信息可以更适当地进行校正。如果可以自动获取屏幕尺寸信息,则不需要用户设置屏幕尺寸信息。
鉴于前述,希望允许适于屏幕尺寸的立体图像显示而不增加用户的工作量。
根据本发明的实施例,提供一种传输装置,包括:图像数据输出单元,其输出包括用于显示立体图像的左眼图像数据和右眼图像数据的立体图像数据;数据传输单元,其通过传输路径将从图像数据输出单元输出的立体图像数据传输到外部设备;以及信息获取单元,其通过传输路径从外部设备获取关于屏幕尺寸的信息。图像数据输出单元输出适合从由信息获取单元获取的信息得到的屏幕尺寸的立体图像数据。
根据本发明的另一实施例,提供一种接收装置,包括:数据接收单元,其通过传输路径从外部设备接收包括用于显示立体图像的左眼图像数据和右眼图像数据的立体图像数据;数据处理单元,其处理由数据接收单元接收的立体图像数据,并且获得左眼图像数据和右眼图像数据;以及信息提供单元,其通过传输路径将关于屏幕尺寸的信息提供到外部设备。数据接收单元从外部设备接收适合由通过信息提供单元提供的信息指示的屏幕尺寸的立体图像数据。
在传输装置中,数据传输单元通过传输路径将从图像数据输出单元输出的立体图像数据传输到外部设备(接收装置),该立体图像数据包括用于显示立体图像的左眼图像数据和右眼图像数据。在接收装置中,数据接收单元通过传输路径从外部设备(传输装置)接收立体图像数据,该立体图像数据包括用于显示立体图像的左眼图像数据和右眼图像数据,并且数据处理单元处理立体图像数据,并且获得左眼图像数据和右眼图像数据。
在传输装置中,信息获取单元通过传输路径从外部设备(接收装置)获取关于屏幕尺寸的信息,并且图像数据输出单元输出适合从该信息得到的屏幕尺寸的立体图像数据。在接收装置中,信息提供单元通过传输路径将关于屏幕尺寸的信息提供到外部设备(传输装置),并且数据接收单元接收适合屏幕尺寸的立体图像数据。例如,信息获取单元通过从包括在外部设备(接收装置)中的存储单元(例如,EDID ROM)读取信息,获取关于屏幕尺寸的信息。
屏幕尺寸是其中实际显示左眼图像和右眼图像的区域的宽度、高度、对角线长度等。关于屏幕尺寸的信息意味着直接代表宽度、高度、对角线长度等的信息或从其可以间接得到宽度、高度、对角线长度等的信息。
例如,图像数据输出单元基于屏幕尺寸信息动态生成立体图像数据,并且输出该立体图像数据。此外,图像数据输出单元基于现有立体图像数据估计深度信息,基于估计的深度信息和屏幕尺寸信息校正现有立体图像数据,并且输出立体图像数据。
以此方式,在传输装置中,信息获取单元从外部设备(接收装置)获取关于屏幕尺寸的信息,并且图像数据输出单元输出适合屏幕尺寸的立体图像数据,并且数据传输单元将立体图像数据传输到外部设备(接收装置)。在接收装置中,信息提供单元将关于屏幕尺寸的信息提供到外部设备(传输装置),并且数据接收单元接收从外部设备(传输装置)传输的适合屏幕尺寸的立体图像数据。这允许适合屏幕尺寸的立体图像显示而不增加用户的工作量。
例如,传输装置的图像数据输出单元通过使用屏幕尺寸和视距信息输出适合屏幕尺寸的立体图像数据。视距是从观众到屏幕的距离。此外,图像数据输出单元可以使用基于屏幕尺寸获得的推荐视距信息作为视距信息。例如,推荐视距是屏幕高度的两到三倍。在此情况下,可能生成或校正立体图像数据而不用用户的设置,从而减少用户的工作量。
此外,传输装置还可以包括调整单元,用于用户通过使用作为默认值的推荐视距和屏幕尺寸,调整屏幕尺寸和视距。在此情况下,用户可以从接近最佳值开始视距的调整,从而可能有效地调整视距。
例如,当屏幕尺寸足够大时,接收装置的信息提供单元提供指示屏幕尺寸足够大的信息作为关于屏幕尺寸的信息。当屏幕尺寸足够大时,瞳孔间距离相对于屏幕尺寸的比率小。此外,当屏幕尺寸足够大时,可以假设视距足够长。在传输装置的图像数据输出单元输出立体图像数据时,不需要屏幕尺寸的精确值,并且知道屏幕尺寸足够大就够了。当通过信息获取单元获取的信息指示屏幕尺寸足够大时,传输装置的图像数据输出单元输出适合屏幕尺寸足够大的情况的立体图像数据。
例如,传输装置的数据传输单元通过多个信道上的差分信号,将立体图像数据通过传输路径传输到外部设备。接收装置的数据接收单元通过多个信道上的差分信号,通过传输路径从所述外部设备接收立体图像数据。
例如,传输装置的信息获取单元通过构成传输路径的控制数据线(例如HDMI线缆的CEC线等),从外部设备(接收装置)获取关于屏幕尺寸的信息。此外,例如,信息获取单元通过由传输路径的预定线构成的双向通信路径获取关于屏幕尺寸的信息。例如,双向通信路径是一对差分传输路径,并且该对差分传输路径的至少一个具有用直流偏置电势通知外部设备的连接状态的功能(例如HDMI线缆的HPD线等)。
根据上述本发明的实施例,关于屏幕尺寸的信息从接收装置提供到传输装置,并且适合屏幕尺寸的立体图像数据从传输装置传输到接收装置。从而可能显示适合屏幕尺寸的立体图像而不增加用户的工作量。
附图说明
图1是示出根据本发明实施例的AV系统的示例性配置的框图。
图2A是示出作为立体图像的显示方案的示例的“场顺序方案”的视图。
图2B是示出作为立体图像的显示方案的示例的“相差片(plate)方案”的视图。
图3是示出包括在AV系统中的游戏机(源设备)的示例性配置的框图。
图4是示出包括在AV系统中的TV机(宿设备)的示例性配置的框图。
图5是示出HDMI传输单元(HDMI源)和HDMI接收单元(HDMI宿)的示例性配置的框图。
图6是示出HDMI传输单元中的HDMI传输器和HDMI接收单元中的HDMI接收器的示例性配置的框图。
图7是示出(当传输宽度1920像素乘高度1080行的图像数据时)TMDS传输数据的示例性结构的视图。
图8是示出与HDMI线缆连接的源设备和宿设备的HDMI端子的管脚输出(A型)的视图。
图9是示出左眼(L)图像数据和右眼(R)图像数据(1920×1080p的像素格式的图像数据)的视图。
图10A是用于描述通过以逐场(field-by-field)方式顺序切换左眼图像数据和右眼图像数据来传输它们的方案的视图,所述方案是3D(立体)图像数据传输方案。
图10B是用于描述相互交替传输左眼图像数据的一行和右眼图像数据的一行的方案的视图,所述方案是3D(立体)图像数据传输方案。
图10C是用于描述分别在水平方向的第一半中传输左眼图像数据的像素数据、然后在水平方向的后一半中传输右眼图像数据的像素数据的方案的视图,所述方案是3D(立体)图像数据传输方案。
图11是示出在通过以逐场方式顺序切换左眼图像数据和右眼图像数据来传输它们的方案中的TMDS传输数据的示例的视图。
图12是示出在相互交替传输左眼图像数据的一行和右眼图像数据的一行的方案中的TMDS传输数据的示例的视图。
图13是示出在在水平方向上的第一半中传输左眼图像数据的像素数据、然后在水平方向上的后一半中传输右眼图像数据的像素数据的方案中的TMDS传输数据的示例的视图。
图14是用于描述屏幕尺寸是其中实际显示左眼图像和右眼图像的区域的宽度、高度、对角线长度等的视图。
图15是示出E-EDID数据的示例性结构的视图。
图16是示出短视频描述符区域中的视频数据的示例的视图。
图17是示出厂商专用区域中的数据结构的示例的视图。
图18是用于描述当生成立体图像数据时的建模处理的视图。
图19是用于描述当生成立体图像数据时屏幕尺寸和视距作为参数的使用的视图。
图20是示意性地示出游戏机中的立体图像数据的生成和输出处理的流程的流程图。
图21是用于描述视角和相机宽高比(aspect)的第一计算方法的参考视图。
图22是用于描述视角和相机宽高比的第二计算方法的参考视图。
图23是用于描述当相对于水平方向上的行获得估计深度信息时的L图像和R图像之间的相关性的视图。
图24是用于描述深度信息的估计的视图。
图25是示出图像的估计深度信息的视图。
图26是示意性地示出当将用于显示立体图像的立体图像数据(左眼图像数据和右眼图像数据)从游戏机传输到TV机时的序列的视图。
图27是示出其中AV放大器连接在盘播放器和TV机之间的AV系统的示例性配置的框图。
图28是示出包括在AV系统中的盘播放器(源设备)的示例性配置的框图。
图29是示出包括在AV系统中的AV放大器(转发器设备)的示例性配置的框图。
图30是用于描述使用双眼视差的立体图像显示中的立体图像的再现位置等的视图。
具体实施方式
下文中,将参照附图详细描述本发明的优选实施例。注意到,在本说明书和附图中,具有基本相同功能和结构的结构元件用相同的参考标号表示,并且省略这些结构元件的重复说明。
注意,将以下面的顺序进行描述。
1.实施例
2.替代示例
<1.实施例>
[AV系统的示例性配置]
图1示出根据本发明实施例的音频视频(AV)系统200的示例性配置。AV系统200包括用作源设备的游戏机210和用作宿设备的TV机250。源设备可以不同于游戏机,如生成3D视频的设备或向蓝光盘播放器的重放3D视频的设备。
游戏机210和TV机250通过HDMI线缆350连接。游戏机210具有HDMI传输单元(HDMI TX)212连接到其的HDMI端子211。TV机250具有HDMI接收单元(HDMI RX)252连接到其的HDMI端子251。HDMI线缆350的一端连接到游戏机210的HDMI端子211,并且HDMI线缆350的另一端连接到TV机250的HDMI端子251。
在图1所示的AV系统200中,未压缩图像数据(视频信号)通过HDMI线缆350从游戏机210传输到TV机250,并且在TV机250中显示基于来自游戏机210的图像数据的图像。此外,未压缩音频数据(音频信号)通过HDMI线缆350从游戏机210传输到TV机250,并且在TV机250中输出基于来自游戏机210的音频数据的声音。
在从游戏机210传输到TV机250的图像数据是用于显示立体图像的立体图像数据(3D图像数据)的情况下,TV机250执行立体图像的显示。
下面描述立体图像显示方案的示例。作为立体图像显示方案,例如存在以逐场方式交替显示左眼(L)图像和右眼(R)图像的方案,其是所谓的“场顺序方案”,如图2(a)所示。在该显示方案中,需要在TV机中以正常帧速率的两倍驱动。此外,在该显示方案中,尽管不需要使光学薄膜粘附到显示单元,但是需要在由用户配戴的眼镜中与显示单元的场同步切换左右透镜单元的快门的开关状态。
此外,作为立体图像显示方案,例如存在通过以逐行(line-by-line)方式切换左眼(L)图像和右眼(R)图像以显示它们的方案,其是所谓的“相差片方案”,如图2(b)所示。在该显示方案中,使得偏振方向从行到行相差90度的起偏振(polarizing)片附接到TV机中的显示单元。然后,相对眼图像的光由用户配戴的偏振镜阻挡,从而实现立体图像的显示。
[游戏机的示例性配置]
图3示出游戏机210的示例性配置。
游戏机210包括HDMI端子211、HDMI传输单元212、以太网接口(I/F)214和网络端子215。游戏机210还包括输入接口216、控制板217、驱动接口218和数字多功能盘/蓝光盘(DVD/BD)驱动器219。
游戏机210还包括内部总线220、中央处理单元(CPU)221、闪速只读存储器(ROM)222和动态随机存取存储器(DRAM)223。游戏机210还包括呈现处理单元224、视频随机存取存储器(VRAM)225、音频处理单元226和MPEG解码器227。应该注意,“以太网”和“蓝光盘”是注册商标。
HDMI传输单元(HDMI源)212通过符合HDMI标准的通信,从HDMI端子211传输未压缩(基带)视频(图像)和音频数据。随后描述HDMI传输单元212的细节。
CPU 221、闪速ROM 222、DRAM 223、以太网接口214、输入接口216和驱动器接口218连接到内部总线220。呈现处理单元224、VRAM 225、音频处理单元226和MPEG解码器227也连接到内部总线220。DVD/BD驱动器219经由驱动器接口218连接到内部总线220。DVD/BD驱动器219执行如记录在记录介质(如DVD)上的电影的内容的再现、记录在这样的记录介质上的游戏软件信息的再现等。
在游戏机210用作播放器的情况下,MPEG解码器227执行从如DVD的记录介质再现的压缩视频数据和音频数据的解码,从而获得未压缩的视频数据和音频数据。
CPU 221控制游戏机210的每个单元的操作。闪速ROM 222存储控制软件和数据。DRAM 223形成CPU 221的工作区域。CPU 221在DRAM 223中扩展从闪速ROM 222读取的软件和数据,并且启动软件,从而控制游戏机210的每个单元。
控制板217构成用户操作单元。输入接口216将来自控制板217的操作输入信号捕获入内部总线220。呈现处理单元224包括呈现引擎。在游戏机210用作游戏机的情况下,呈现处理单元224基于游戏软件信息,响应于来自控制板217的用户操作动态地生成游戏图像,并且将其在VRAM 225中扩展。
呈现处理单元224生成用于显示二维图像的图像数据,并且还生成用于显示立体图像的立体图像数据(左眼图像数据和右眼图像数据)作为游戏图像数据。在此情况下,呈现处理单元224通过使用如随后所述的TV机250的屏幕尺寸和视距的信息生成立体图像数据。
如果从记录介质(如DVD)再现的如电影的内容的图像数据是用于显示立体图像的立体图像数据,则呈现处理单元224根据来自用户的指令执行立体图像数据的校正。就像上述立体图像数据的生成,通过使用TV机250的屏幕尺寸和视距的信息执行立体图像数据的校正。然后,当通过HDMI的TMDS信道传输用于显示立体图像的立体图像数据时,立体图像数据处理为符合传输方案的状态。立体图像数据包括左眼图像数据和右眼图像数据。随后描述立体图像数据的传输方案等。
在游戏机210用作游戏机的情况下,音频处理单元226基于游戏软件信息,响应于来自控制板217的用户的操作,生成用于获得对应于游戏图像的游戏声音的音频数据。
下面简要描述图3所示的游戏机210的操作。
通过图示的方式,描述当游戏机210再现如记录在记录介质(如DVD)上的电影的内容时的操作。
由DVD/BD驱动器219再现的图像数据和音频数据由MPEG解码器227解码,从而获得未压缩的图像和音频数据。将图像和音频数据提供到HDMI传输单元212,并且通过HDMI的TMDS信道从HDMI端子211发出到HDMI线缆。
此外,下文描述在游戏机210用作游戏机的情况下的操作。
基于游戏软件信息,响应于来自控制板217的用户的操作,在呈现处理单元224中动态地生成用于显示游戏图像的图像数据,并且将其在VRAM 225中扩展。如果要生成的图像数据是立体图像数据(左眼图像数据和右眼图像数据),则通过使用TV机250的屏幕尺寸和视距的信息,在呈现处理单元224中适当地生成立体图像数据。然后从VRAM 225读取图像数据,并且将其提供到HDMI传输单元212。
此外,在此情况下,基于游戏软件信息,响应于来自控制板217的用户的操作,在音频处理单元226中生成用于获得对应于游戏图像的游戏声音的音频数据。将音频数据提供到HDMI传输单元212。然后提供到HDMI传输单元212的游戏图像和音频数据通过HDMI的TMDS信道从HDMI端子211发出到HDMI线缆。
此外,在游戏机210再现如电影的内容、作为通过MPEG解码器227的解码的结果获得的图像数据是立体图像数据、并且用户给出执行校正的指令的情况下的操作如下。
在此情况下,在MPEG解码器227中获得的立体图像数据(左眼图像数据和右眼图像数据)通过内部总线220提供到呈现处理单元224。在呈现处理单元224中,通过使用TV机250的屏幕尺寸和视距的信息校正立体图像数据(现有立体图像数据)。以此方式校正的立体图像数据在VRAM 225中扩展并且读出,然后提供到HDMI传输单元212。
随后描述呈现处理单元224中的上述立体图像数据生成和校正处理的流程。
从呈现处理单元224和音频处理单元226提供到HDMI传输单元212的图像数据和音频数据在HDMI传输单元212中封装并且输出到HDMI端子211。如果图像数据是立体图像数据(左眼图像数据和右眼图像数据),则立体图像数据在呈现处理单元224中处理为符合传输方案的状态,然后提供到HDMI传输单元212。
[TV机的示例性配置]
图4示出TV机250的示例性配置。TV机250包括HDMI端子251、HDMI接收单元252和3D信号处理单元254。TV机250还包括天线端子255、数字调谐器256、解复用器257、MPEG解码器258、视频信号处理电路259、图形生成电路260、面板驱动电路261和显示面板262。
TV机250还包括音频信号处理电路263、音频放大电路264、扬声器265、内部总线270、CPU 271、闪速ROM 272和DRAM 273。TV机250还包括以太网接口274、网络端子275、遥控接收单元276、遥控传输器277和DTCP电路278。
天线端子255是用于输入由接收天线(未示出)接收的电视广播信号的端子。数字调谐器256处理输入到天线端子255的电视广播信号,并且输出对应于用户选择的信道的预定传送流。解复用器257从通过数字调谐器256获得的传送流提取对应于用户选择的信道的部分传送流(TS)(视频数据TS分组和音频数据TS分组)。
此外,解复用器257从通过数字调谐器256获得的传送流获取节目特定信息/服务信息(PSI/SI),并且将其输出到CPU 271。在通过数字调谐器256获得的传送流中,复用多个信道。解复用器257可以通过从PSI/SI(PAT/PMT)获得给定信道的分组ID(PID)的信息,从传送流提取给定信道的部分TS。
MPEG解码器258执行由在解复用器257中获得的视频数据TS分组组成的视频分组化基本流(PES)分组的解码,从而获得图像数据。此外,MPEG解码器258执行由在解复用器257中获得的音频数据TS分组组成的音频PES分组的解码,从而获得音频数据。
视频信号处理电路259和图形生成电路260对由MPEG解码器258获得的图像数据或由HDMI接收单元252接收的图像数据,适当地执行缩放(分辨率转换)、图形数据的叠加等。此外,如果由HDMI接收单元252接收的图像数据是立体图像数据,则视频信号处理电路259对左眼图像数据和右眼图像数据执行用于显示立体图像的处理(参照图2)。面板驱动电路261基于从图形生成电路260输出的视频(图像)数据驱动显示面板262。
显示面板262例如是液晶显示器(LCD)、等离子显示面板(PDP)等。音频信号处理电路263对通过MPEG解码器258获得的音频数据执行必要的处理(如D/A转换)。音频放大电路264放大从音频信号处理电路263输出的音频信号,并且将其提供到扬声器265。
CPU 271控制TV机250的每个单元的操作。闪速ROM 272存储控制软件和数据。DRAM 273形成CPU 271的工作区域。CPU 271在DRAM 273中扩展从闪速ROM 272读取的软件和数据,并且启动软件,从而控制TV机250的每个单元。DTCP电路278解密从网络端子275提供到以太网接口274的加密数据。
遥控接收单元276接收从遥控传输器277传输的遥控信号(遥控代码),并且将其提供到CPU 271。CPU 271基于遥控代码控制TV机250的每个单元。网络端子275是用于与网络进行连接的端子,并且连接到以太网接口274。CPU 271、闪速ROM 272、DRAM 273和以太网接口274连接到内部总线270。
HDMI接收单元(HDMI宿)252通过符合HDMI标准的通信,接收通过HDMI线缆350提供到HDMI端子251的未压缩图像(视频)和音频数据。随后描述HDMI接收单元252的细节。
3D信号处理单元254对由HDMI接收单元252接收的立体图像数据执行符合传输方案的处理(解码),从而生成左眼图像数据和右眼图像数据。3D信号处理单元254因此执行上述游戏机210的呈现处理单元224的相反处理,并且获取构成立体图像数据的左眼图像数据和右眼图像数据。
下面简要描述图4所示的TV机250的操作。
输入到天线端子255的电视广播信号提供到数字调谐器256。在数字调谐器256中,处理电视广播信号,并且输出对应于用户选择的信道的预定传送流,并且将预定传送流提供到解复用器257。在解复用器257中,从传送流提取对应于用户选择的信道的部分TS(视频数据TS分组和音频数据TS分组),并且将部分TS提供到MPEG解码器258。
在MPEG解码器258中,对由视频数据TS分组组成的视频PES分组执行解码,从而获得视频数据。然后,在视频信号处理电路259和图形生成电路260中对视频数据适当地执行缩放(分辨率转换)、图形数据的叠加等,并且将图像数据提供到面板驱动电路261。结果,在显示面板262上显示对应于用户选择的信道的图像。
此外,在MPEG解码器258中,对由音频数据TS分组组成的音频PES分组执行解码,从而获得音频数据。然后,在音频信号处理电路263中对音频数据执行必要的处理(如D/A转换),并且音频数据通过音频放大电路264放大,然后提供到扬声器265。结果,从扬声器265输出对应于用户选择的信道的声音。
另一方面,通过DTCP电路278解密从网络端子275提供到以太网接口274的加密的内容数据(图像数据和音频数据),然后将其提供到MPEG解码器258。随后的操作与当接收电视广播信号时的上述操作相同,结果在显示面板262上显示图像,并且从扬声器265输出声音。
在HDMI接收单元252中,获取从通过HDMI线缆350连接到HDMI端子251的游戏机210传输的图像数据和音频数据。图像数据经由3D信号处理单元254提供到视频信号处理电路259。音频数据直接提供到音频信号处理电路263。随后的操作与当接收电视广播信号时的上述操作相同,结果在显示面板262上显示图像,并且从扬声器265输出声音。
如果由HDMI接收单元252接收的图像数据是立体图像数据(3D图像数据),则在3D信号处理单元254中对立体图像数据执行符合传输方案的处理(解码),使得生成左眼图像数据和右眼图像数据。左眼图像数据和右眼图像数据然后从3D信号处理单元254提供到视频信号处理电路259。当提供构成立体图像数据的左眼图像数据和右眼图像数据时,基于左眼图像数据和右眼图像数据,在视频信号处理电路259中生成用于显示立体图像的图像数据(参照图2)。结果,在显示面板262上显示立体图像。
[HDMI传输单元和HDMI接收单元的示例性配置]
图5示出图1所示的AV系统200中的游戏机210的HDMI传输单元(HDMI源)212和TV机250的HDMI接收单元(HDMI宿)252的示例性配置。
在有效图像时段(下文中也称为有效视频时段)中,HDMI传输单元212通过多个信道将对应于一个屏幕的未压缩图像的图像数据的差分信号在一个方向上传输到HDMI接收单元252。有效图像时段是从一个垂直同步信号到下一个垂直同步信号的时段,不包括水平消隐时段和垂直消隐时段。此外,在水平消隐时段或垂直消隐时段中,HDMI传输单元212通过多个信道将至少对应于伴随图像的音频数据的差分信号、控制数据、其它辅助数据等在一个方向上传输到HDMI接收单元252。
包括HDMI传输单元212和HDMI接收单元252的HDMI系统的传输信道如下。具体地,存在三个TMDS信道#0到#2,其用作用于与像素时钟同步地、将像素数据和音频数据在一个方向从HDMI传输单元212串行地传输到HDMI接收单元252的传输信道。还存在TMDS时钟信道,其用作用于传输像素时钟的传输信道。
HDMI传输单元212包括HDMI传输器81。例如,HDMI传输器81将未压缩图像的像素数据转换为对应的差分信号,然后通过作为多个信道的三个TMDS信道#0、#1和#2,将信号在一个方向串行传输到通过HDMI线缆350连接的HDMI接收单元252。
此外,传输器81将伴随未压缩图像的音频数据和此外的必要控制数据、其它辅助数据等转换为对应的差分信号,然后通过三个TMDS信道#0、#1和#2,将信号在一个方向串行传输到HDMI接收单元252。
传输器81还通过TMDS时钟信道,将像素时钟传输到通过HDMI线缆350连接的HDMI接收单元252,所述像素时钟与通过三个TMDS信道#0、#1和#2传输的像素数据同步。在一个TMDS信道#i(i=0,1,2)中,在一个像素时钟传输10位像素数据。
HDMI接收单元252接收对应于图像数据的差分信号,所述差分信号在有效视频时段中通过多个信道从HDMI传输单元212在一个方向传输。HDMI接收单元252还接收对应于音频数据和控制数据的差分信号,所述差分信号在水平消隐时段或垂直消隐时段中通过多个信道从HDMI传输单元212在一个方向传输。
具体地,HDMI接收单元252包括HDMI接收器82。HDMI接收器82接收通过TMDS信道#0、#1和#2从HDMI传输单元212在一个方向传输的、对应于图像数据的差分信号和对应于音频数据和控制数据的差分信号。此时,HDMI接收单元252与通过TMDS时钟信道从HDMI传输单元212传输的像素时钟同步接收信号。
除了上述TMDS信道#0到#2和TMDS时钟信道,包括HDMI传输单元212和HDMI接收单元252的HDMI系统的传输信道包括称为显示数据信道(DDC)83和CEC线84的传输信道。DDC 83由两条信号线(未示出)构成,所述两条信号线包括在HDMI线缆350中,并且当HDMI传输单元212从通过HDMI线缆350连接的HDMI接收单元252读取增强扩展显示标识数据(E-EDID)时使用。
具体地,除了HDMI接收器82之外,HDMI接收单元252包括EDID只读存储器(ROM)85,其存储作为与其自身配置/能力有关的能力信息的E-EDID。例如,HDMI传输单元212响应于来自CPU 221(参照图3)的请求,通过DDC 83从通过HDMI线缆350连接的HDMI接收单元252读取HDMI接收单元252的E-EDID。HDMI传输单元212将读取的E-EDID传输到CPU 221。CPU 221将E-EDID存储在闪速ROM 222或DRAM 223中。
CPU 221可以基于E-EDID识别HDMI接收单元252的能力配置。例如,CPU 221识别与包括HDMI接收单元252的TV机250兼容的图像数据的格式(分辨率、帧速率、宽高比(aspect)等)。此外,在该实施例中,CPU 221基于随后描述的E-EDID中包含的与屏幕尺寸有关的信息,识别包括HDMI接收单元252的TV机250的实际图像显示区域的尺寸(屏幕尺寸)。
CEC线84由一条信号线(未示出)构成,所述一条信号线包括在HDMI线缆350中,并且用于执行HDMI传输单元212和HDMI接收单元252之间的控制数据的双向通信。CEC线84构成控制数据线。
此外,连接到称为热插拔检测(HPD)的管脚的线(HPD线)86包括在HDMI线缆350中。源设备可以通过使用线86检测宿设备的连接。此外,用于将电源从源设备提供到宿设备的线87包括在HDMI线缆350中。此外,保留线88包括在HDMI线缆350中。
图6示出图5中的HDMI传输器81和HDMI接收器82的示例性配置。
HDMI传输器81包括分别对应于三个TMDS信道#0、#1和#2的三个编码器/串行化器81A、81B和81C。编码器/串行化器81A、81B和81C的每个编码提供到其的图像数据、辅助数据和控制数据,将数据从并行数据转换为串行数据,然后通过差分信号传输数据。例如,如果图像数据包含三个分量R、G和B,则分量B提供到编码器/串行化器81A,分量G提供到编码器/串行化器81B,并且分量R提供到编码器/串行化器81C。
辅助数据例如包括音频数据和控制分组,并且例如控制分组提供到编码器/串行化器81A,并且音频数据提供到编码器/串行化器81B和81C。控制数据包括1位垂直同步信号(VSYNC)、1位水平同步信号(HSYNC)和1位控制位CTL0、CTL1、CTL2和CTL3。垂直同步信号和水平同步信号提供到编码器/串行化器81A。控制位CTL0和CTL1提供到编码器/串行化器81B,并且控制位CTL2和CTL3提供到编码器/串行化器81C。
编码器/串行化器81A以时分方式传输提供到其的图像数据的分量B、垂直同步信号、水平同步信号和辅助数据。具体地,编码器/串行化器81A将提供到其的图像数据的分量B处理为每个8位(其是固定的位数)的并行数据。编码器/串行化器81A然后编码并行数据,将编码的并行数据转换为串行数据,并且通过TMDS信道#0传输串行数据。
此外,编码器/串行化器81A编码提供到其的垂直同步信号和水平同步信号的2位并行数据,将编码的并行数据转换为串行数据,并且通过TMDS信道#0传输串行数据。编码器/串行化器81A还将提供到其的辅助数据处理为每个4位的并行数据。编码器/串行化器81A然后编码并行数据,将编码的并行数据转换为串行数据,并且通过TMDS信道#0传输串行数据。
编码器/串行化器81B以时分方式传输提供到其的图像数据的分量G、控制位CTL0和CTL1、和辅助数据。具体地,编码器/串行化器81B将提供到其的图像数据的分量G处理为每个8位(其是固定的位数)的并行数据。编码器/串行化器81B然后编码并行数据,将编码的并行数据转换为串行数据,并且通过TMDS信道#1传输串行数据。
此外,编码器/串行化器81B编码提供到其的控制位CTL0和CTL1的2位并行数据,将编码的并行数据转换为串行数据,并且通过TMDS信道#1传输串行数据。编码器/串行化器81B还将提供到其的辅助数据处理为每个4位的并行数据。编码器/串行化器81B然后编码并行数据,将编码的并行数据转换为串行数据,并且通过TMDS信道#1传输串行数据。
编码器/串行化器81C以时分方式传输提供到其的图像数据的分量R、控制位CTL2和CTL3、和辅助数据。具体地,编码器/串行化器81C将提供到其的图像数据的分量R处理为每个8位(其是固定的位数)的并行数据。编码器/串行化器81C然后编码并行数据,将编码的并行数据转换为串行数据,并且通过TMDS信道#2传输串行数据。
此外,编码器/串行化器81C编码提供到其的控制位CTL2和CTL3的2位并行数据,将编码的并行数据转换为串行数据,并且通过TMDS信道#2传输串行数据。编码器/串行化器81C还将提供到其的辅助数据处理为每个4位的并行数据。编码器/串行化器81C然后编码并行数据,将编码的并行数据转换为串行数据,并且通过TMDS信道#2传输串行数据。
HDMI接收器82包括分别对应于三个TMDS信道#0、#1和#2的三个恢复/解码器82A、82B和82C。恢复/解码器82A、82B和82C的每个分别接收通过TMDS信道#0、#1和#2由差分信号传输的图像数据、辅助数据和控制数据。恢复/解码器82A、82B和82C的每个然后将图像数据、辅助数据和控制数据从串行数据转换为并行数据,并且解码和输出它们。
具体地,恢复/解码器82A接收通过TMDS信道#0由差分信号传输的图像数据的分量B、垂直同步信号、水平同步信号和辅助数据。恢复/解码器82A然后将图像数据的分量B、垂直同步信号、水平同步信号和辅助数据从串行数据转换为并行数据,并且解码和输出它们。
恢复/解码器82B接收通过TMDS信道#1由差分信号传输的图像数据的分量G、控制位CTL0和CTL1、和辅助数据。恢复/解码器82B然后将图像数据的分量G、控制位CTL0和CTL1和辅助数据从串行数据转换为并行数据,并且解码和输出它们。
恢复/解码器82C接收通过TMDS信道#2由差分信号传输的图像数据的分量R、控制位CTL2和CTL3、和辅助数据。恢复/解码器82C然后将图像数据的分量R、控制位CTL2和CTL3和辅助数据从串行数据转换为并行数据,并且解码和输出它们。
图7示出TMDS传输数据的示例性结构。图7示出在通过TMDS信道#0、#1和#2传输宽度1920像素乘高度1080行的图像数据的情况下的各种传输数据的时段。
在其中通过HDMI的三个TMDS信道#0、#1和#2传输传输数据的视频场中,取决于传输数据的类型存在三种时段。三种时段是视频数据时段、数据岛时段和控制时段。
视频场时段是某一垂直同步信号的有效边缘和下一垂直同步信号的有效边缘之间的时段。视频场时段分为水平消隐、垂直消隐和有效视频时段。有效视频时段是不包括水平消隐和垂直消隐的视频场的时段。
视频数据时段分配到有效视频时段。在视频数据时段中,传输构成用于一个屏幕的未压缩图像数据的1920像素乘1080行的有效像素的数据。
数据岛时段和控制时段分配到水平消隐和垂直消隐。在数据岛时段和控制时段中,传输辅助数据。具体地,数据岛时段分配到水平消隐和垂直消隐的部分。在数据岛时段中,例如传输与控制不相关的辅助数据,如音频数据分组。
控制时段分配到水平消隐和垂直消隐的其他部分。在控制时段中,例如传输与控制相关的辅助数据,如垂直同步信号、水平同步信号和控制分组。
图8示出HDMI端子211和HDMI端子251的管脚输出(A型)的示例。图8所示的管脚输出称为A型管脚输出。
作为TMDS信道#i的差分信号的TMDS数据#i+和TMDS数据#i-通过其的两条差分线连接到为其分配TMDS数据#i+的管脚(具有管脚号1、4和7)、以及为其分配TMDS数据#i-的管脚(具有管脚号3、6和9)。
通过其传输作为控制数据的CEC信号的CEC线84连接到具有管脚号13的管脚,并且具有管脚号14的管脚是保留管脚。通过其传输如E-EDID的串行数据(SDA)信号的线连接到具有管脚号16的管脚,并且通过其传输作为时钟信号的串行时钟(SCL)信号的线连接到具有管脚号15的管脚,所述时钟信号用于在传输和接收SDA信号时的同步。上述DDC 83由通过其传输SDA信号的线和通过其传输SCL信号的线构成。
此外,用于源设备检测宿设备的连接的上述HPD线86连接到具有管脚号19的管脚。用于电源的上述线87连接到具有管脚号18的管脚。
[立体图像数据的示例性传输方案]
下面描述用于传输立体图像数据(3D图像数据)的第一到第三传输方案,尽管其它传输方案也是可应用的。下文中,通过图示描述左眼(L)图像数据和右眼(R)图像数据是如图9所示的1920×1080p的像素格式的图像数据的情况。
第一传输方案是这样的方案,如图10(a)所示,其通过逐场方式顺序切换左眼图像数据和右眼图像数据来传输它们。在该方案中,尽管需要用于切换的场存储器,但是源设备中的信号处理是最简单的。图11示出第一传输方案中的示例性TMDS传输数据。在该方案中,1920像素乘1080行的有效像素的左眼(L)图像数据置于奇数场中的1920像素乘1080行的有效视频时段中。此外,1920像素乘1080行的有效像素的右眼(R)图像数据置于偶数场中的1920像素乘1080行的有效视频时段中。
第二传输方案是这样的方案,如图10(b)所示,其相互交替传输左眼图像数据的一行和右眼图像数据的一行。在该方案中,在左眼图像数据和右眼图像数据中行分别减少为1/2。该方案等于之前描述的称为“相差片方案”的立体图像显示方案中的视频信号,并且宿设备的显示单元中的信号处理是最简单的;然而,垂直分辨率变为原始信号的垂直分辨率的一半。
图12示出第二传输方案中的示例性TMDS传输数据。在该方案中,1920像素乘1080行的有效像素的数据(左眼(L)图像数据和右眼(R)图像数据的合成数据)置于1920像素乘1080行的有效视频时段中。在第二传输方案的情况下,如上所述左眼图像数据和右眼图像数据中垂直方向的行分别减少为1/2。要传输的左眼图像数据在奇数行或偶数行中,并且要传输的右眼图像数据也在奇数行或偶数行中。
第三传输方案是这样的方案,如图10(c)所示,其在水平方向的第一半中传输左眼图像数据的像素数据,然后在水平方向的后一半中传输右眼图像数据的像素数据,这是当前在实验广播中使用的“并排(side-by-side)”方案。在该方案中,左眼图像数据和右眼图像数据中水平方向的像素数据分别减少为1/2。即使在与立体图像数据不兼容的源设备中,也可以通过输出作为现有2D图像数据的数据实现第三传输方案,因此该方案与迄今使用的源设备具有高兼容性。
图13示出第三传输方案中的示例性TMDS传输数据。在该方案中,1920像素乘1080行的有效像素的数据(左眼(L)图像数据和右眼(R)图像数据的合成数据)置于1920像素乘1080行的有效视频时段中。在第三传输方案的情况下,如上所述左眼图像数据和右眼图像数据中水平方向的像素数据分别减少为1/2。
[屏幕尺寸信息]
在生成用于显示游戏图像的立体图像数据时或在校正如电影的内容的现有立体图像数据时,图1所示的AV系统200中的游戏机210使用TV机250的屏幕尺寸信息。
在该实施例中,游戏机210从TV机250获取关于屏幕尺寸的信息,并且从获取的信息获得屏幕尺寸信息。游戏机210通过从TV机250读取增强扩展显示标识数据(E-EDID)获取关于屏幕尺寸的信息。换句话说,TV机250将关于屏幕尺寸的信息添加到E-EDID,从而将该信息提供给游戏机210。
E-EDID还包含在TV机250中处理的图像数据的格式(分辨率、帧速率、宽高比等)的信息。游戏机210从E-EDID获取与TV机250兼容的图像数据的格式(分辨率、帧速率、宽高比等)的信息。游戏机210然后将要传输到TV机250的图像数据的格式设为与TV机250兼容的格式。
[关于屏幕尺寸的信息]
如图14所示,屏幕尺寸是实际显示左眼图像和右眼图像的区域(显示区域)的宽度、高度、对角线长度等。例如,关于屏幕尺寸的信息可以是以下(1)到(3)。
(1)在使用如液晶显示器(LCD)或等离子体显示面板(PDP)的显示面板的TV机的情况下,关于面板的有效显示尺寸的信息。该信息对于每个TV机是固定值。在此情况下,源设备基于输出视频将在显示面板的整个区域上显示的假设生成3D视频。
(2)当显示16∶9全HD的图像(1920×1080点)时、关于实际显示图像的区域的尺寸的信息。该信息对于每个TV机是固定值。在此情况下,如上面的情况(1),源设备也基于输出视频将在显示面板的整个区域上显示的假设生成3D视频。
(3)当显示每个显示分辨率和宽高比的图像(1920×1080/16∶9,NTSC:720×480/4∶3等)时、关于实际显示图像的区域的尺寸的信息。该信息对于每个分辨率和宽高比是可变值。
在上面情况(1)到(3)中,以厘米、英寸等表示区域的宽度、高度、对角线长度的值是关于屏幕尺寸的信息。在这些情况下,关于屏幕尺寸的信息直接指示屏幕尺寸。
应该注意,例如,从其不直接获得上面(1)到(3)中区域的尺寸的值(如对应于10cm的点数)可以用作关于屏幕尺寸的信息。
此外,如在上面情况(3)中,在关于屏幕尺寸的信息取决于分辨率和宽高比的情况下,相对于与TV机250兼容的每个分辨率和宽高比的关于屏幕尺寸的信息的列表可以从TV机250提供到游戏机210。此外,如在上面情况(3)中,在关于屏幕尺寸的信息取决于分辨率和宽高比的情况下,用于显示的分辨率和宽高比的信息可以通过CEC控制数据线从游戏机210传输到TV机250,然后对应于分辨率和宽高比的关于屏幕尺寸的信息可以从TV机250传输到游戏机210。
例如,当完全显示16∶9全HD的图像(1920×1080点)时、实际显示图像的区域(实际尺寸)的对角线长度可以设为上述E-EDID,作为TV机250中关于屏幕尺寸的信息。在此情况下,例如,长度如下以英寸设置。以英寸设置长度,因为TV机(TV)的屏幕尺寸通常根据英寸尺寸设计。
32”TV:32英寸
40”TV:40英寸
52”TV:52英寸
200”投影仪:200英寸
此外,例如,当完全显示16∶9全HD的图像(1920×1080点)时、实际显示图像的区域(实际尺寸)的宽度可以设为上述E-EDID,作为TV机250中关于屏幕尺寸的信息。在此情况下,例如,宽度如下以厘米(或0.25cm或mm)设置。
32”TV:71cm
40”TV:88cm
52”TV:115cm
200”投影仪:442cm
如果显示区域的尺寸大到一定程度,则指示“足够大”的值可以设为上述E-EDID,作为关于屏幕尺寸的信息。因此,例如,在投影仪中的实际显示区域的尺寸未知的情况下,可以设置指示“足够大”的值(例如255)。
[E-EDID的结构]
图15示出E-EDID的数据结构的示例。E-EDID由基本块和扩展块构成。在基本块的头部,存在由通过“E-EDID 1.3基本结构”表示的E-EDID 1.3标准定义的数据,其跟随有:由“优选定时”表示的、用于维持与迄今使用的EDID的兼容性的定时信息;以及不同于“优选定时”的、由“第二定时”表示的用于维持迄今使用的EDID的定时信息。
此外,在基本块中,“第二定时”按以下顺序顺序地跟随有:由“监视器名称”表示的、指示显示装置的名称的信息;以及由“监视器范围限制”表示的、指示当宽高比是4∶3和16∶9时可显示的像素数目的信息。
在扩展块的头部,按以下顺序顺序地放置:由“短视频描述符”表示的、描述指示可显示的图像尺寸(分辨率)、帧速率和隔行/逐行的信息以及如宽高比的信息的数据;由“短音频描述符”表示的、描述如可再现音频编解码器、采样频率、截止频率或编解码器位计数的信息的数据;以及由“扬声器分配”表示的、与右边和左边扬声器有关的信息。
此外,在扩展块中,“扬声器分配”跟随有:由“厂商专用”表示的、为每个制造商唯一定义的数据;由“第三定时”表示的、用于维持与迄今使用的EDID的兼容性的定时信息;以及由“第四定时”表示的、用于维持与迄今使用的EDID的兼容性的定时信息。
图16示出短视频描述符区域中的视频数据的示例。在短视频描述符区域中的字节#1到字节#L中,以分辨率、帧速率和宽高比(宽高比率)的组合描述由CEA-861-D定义的视频信号格式中可由接收装置(该实施例中的TV机250)显示的格式。
图17示出厂商专用区域(HDMI厂商专用数据块)的数据结构的示例。厂商专用区域具有第0块到第N块,每个是1字节长。
在由“厂商专用”代表的数据的头部放置的第0块包含:由“厂商专用标签代码(=3)”代表的、指示数据“厂商专用”的数据区域的报头;以及由“长度(=N)”代表的、指示数据“厂商专用”的长度的信息。
此外,第一到第三块包含由“24位IEEE登记标识符(0x000C03)LSB首先”代表的、指示为HDMI(R)登记的号码“0x000C03”的信息。第四和第五块包含分别由“A”、“B”、“C”和“D”代表的、指示24位的宿设备的物理地址的信息。
第六块包含:由“Supports_AI”代表的、指示与宿设备兼容的功能的标记;由“DC_48位”、“DC_36位”和“DC_30位”代表的、指定每像素的位数的信息;由“DC_Y444”代表的、指示宿设备与YCbCr4:4:4的图像传输的兼容性的标记;以及由“DVI_Dual”代表的、指示宿设备与双数字视觉接口(DVI)的兼容性的标记。
第七块包含由“Max_TMDS_Clock”代表的、指示TMDS像素时钟的最大频率的信息。第八块包含由在第6位和第7位的“Latency(等待时间)”代表的、指示视频和音频等待时间信息的存在或不存在的标记。
第九块包含由“Video_Latency”代表的、逐行视频等待时间数据,并且第十块包含由“Audio_Latency”代表的、伴随逐行视频的音频等待时间数据。第十一块包含由“Interlaced_Video_Latency”代表的、隔行视频等待时间数据。第十二块包含由“Interlaced_Audio_Latency”代表的、伴随隔行视频的音频等待时间数据。
在该实施例中,第八块在第5位具有指示关于屏幕尺寸的信息的存在或不存在的标记。该标记设为“1”,并且上述关于屏幕尺寸的信息包含在第十三块中。
[立体图像数据的输出]
当传输立体图像数据到TV机250时,游戏机210输出和传输适合从关于屏幕尺寸的信息得到的屏幕尺寸的立体图像数据,如上所述,所述关于屏幕尺寸的信息从TV机250获取。
如上所述,在显示游戏图像时,游戏机210基于屏幕尺寸信息动态生成立体图像数据,并且输出该数据。此外,除了屏幕尺寸信息,通过使用视距信息,可能用绝对精确视距生成立体图像数据(左眼图像数据和右眼图像数据)。视距是从观众到屏幕的距离。
如上所述,游戏机210能够从如上所述自TV机250获取的关于屏幕的信息获得屏幕尺寸信息,并且自动获取是可用的而不用用户的设置。当从TV机250获取的关于屏幕尺寸的信息是上述指示“足够大”的值时,预先设置的足够大的值用作屏幕尺寸(宽度和高度)。
对于视距信息,自动获取不可用,并且在游戏机210中需要用户的手动设置。在该实施例中,游戏机210包括视距调整单元,其设置基于TV机250的屏幕尺寸获得的推荐视距作为默认值。例如,TV机的推荐视距是纵向尺寸的两到三倍。例如,用户通过操作控制板217在视距调整模式下调整视距。在此情况下,例如用于视距调整的GUI屏幕显示在TV机250的显示面板262上,并且用户使用GUI屏幕执行视距的调整(设置)。
在用户不进行用于视距调整的操作的情况下,游戏机210照原样使用默认值。以此方式,可以使用默认值而不用改变,并且只有希望进行调整到最佳值的用户进行手动设置,使得可以减轻用户的设置负担。此外,因为默认值在某种程度上是合适的值,所以与用户从头开始(from scratch)设置视距的情况相比,视距可以容易地调整到更合适的值。
简要描述游戏图像的立体图像数据(3D CG)的生成和输出的流程。当生成立体图像数据时,如图18所示,通过3D(三维)空间中的建模和2D(二维)屏幕上的投影创建2D图像(左眼图像和右眼图像)。在图18所示的建模的示例中,矩形立方体Oa和圆柱体Ob放置在屏幕平面的后面。在此情况下,使用屏幕尺寸和视距作为参数,可以创建具有精确视距的2D图像(左眼图像和右眼图像)。
图20的流程图示意性地示出游戏机210中的立体图像数据生成和输出处理的流程。首先,在步骤ST1,游戏机210执行初始化。在该步骤中,游戏机210执行包括各种库和存储器的初始化、VRAM(帧缓冲器)225的设置和输出设置的各种初始化处理。
接下来,在步骤ST2中,游戏机210执行建模。在建模处理中,呈现处理单元224计算每帧中的呈现目标的每个顶点数据。从而建立每个对象的模型。然后,对于每个对象在“模型坐标系统”(“本地坐标系统”)中计算要呈现的每个顶点的数据。此外,要呈现的每个对象放置在“世界坐标系统”的空间。具体地,在“模型坐标系统”中计算的呈现目标的每个对象的顶点数据安排到“世界坐标系统”中。
然后,游戏机210在步骤ST3中执行视点和光源的设置,并且进一步在步骤ST4中执行呈现,从而生成左边和右边图像数据。当生成立体图像数据时,视点的设置是重要的。在这些步骤中,呈现处理单元224执行视点和光源设置和对左眼图像的呈现,从而生成左眼图像数据,然后执行视点和光源设置和对右眼图像的呈现,从而生成右眼图像数据。
视点和光源设置处理执行视点位置和方向的设置。在其中安排要呈现的对象的“世界坐标系统”中,设置视点、关注点(a point of regard)、向上矢量(指定哪个方向是相机的向上方向,以便确定视点位置)、相机的视角和相机的宽高比。在该步骤中,用分开的瞳孔间距离确定左眼和右眼的视点的坐标。作为关注点,为左眼和右眼指定相同点。作为向上矢量,以左眼和右眼水平安排的方式,为左眼和右眼指定相同方向。
对于相机的视角(视野角),指定从TV机250的屏幕尺寸和视距计算的视角。在此情况下,基于从TV机250获取的关于屏幕尺寸的信息,计算高度和宽度作为屏幕尺寸。对于视距,使用由用户设置的值、基于屏幕尺寸的推荐视距(例如屏幕高度的两到三倍)等。
在指定纵向方向的视角作为相机的视角的情况下,可以从屏幕尺寸的高度和视距得到实际观看环境下的视角。在指定横向方向的视角作为相机的视角的情况下,可以从屏幕尺寸的宽度和视距得到实际观看环境下的视角。指定输出图像的宽高比作为相机的宽高比。例如,当用全HD(1920x1080 16∶9)输出图像时,宽高比设为16∶9。
图21是视角和相机的宽高比的第一计算方法的参考视图。当屏幕尺寸与瞳孔间距离相比足够大时,可以应用第一计算方法。在此情况下计算的值是近似值。可以通过以下表达式(1)得到视角,并且可以通过以下表达式(2)得到宽高比。
[视角]=atan(([屏幕尺寸]/2)/[视距])×2…(1)
[宽高比]=[输出视频的宽高比]…(2)
图22是视角和相机的宽高比的第二计算方法的参考视图。在第二计算方法中,可以获得视角和宽高比的更精确的值。在此情况下,可以通过以下表达式(3)得到视角1,并且可以通过以下表达式(4)得到视角2。然后,可以通过以下表达式(5)得到视角,作为视角1和视角2的和。
[视角1]=atan(([屏幕尺寸]/2-[瞳孔间距离]/2)/[视距])…(3)
[视角2]=atan(([屏幕尺寸]/2+瞳孔间距离]/2)/[视距])…(4)
[视角]=[视角1]+[视角2]
      =atan(([屏幕尺寸]/2-[瞳孔间距离]/2)/[视距])
      +atan(([屏幕尺寸]/2+[瞳孔间距离]/2)/[视距])…(5)
如果要指定的相机的宽高比为[宽度]/[长度],则可以通过以下表达式(6)获得宽高比(宽度/长度)。
[宽高比(宽度/长度)]
=cos([视角2]-[视角1])*[示出视频的宽高比(宽度/长度)]
=cos(atan(([屏幕尺寸]/2+[瞳孔间距离]/2)/[视距])
-atan(([屏幕尺寸]/2-[瞳孔间距离]/2)/[视距]))
*[输出视频的宽高比(宽度/长度)]…(6)
此外,如果要指定的相机的宽高比为[长度]/[宽度],则宽高比(长度/宽度)是表达式(6)的倒数。
在呈现处理中,执行纹理映射、深度测试、alpha测试、模板(stencil)测试、混合、各种效果处理等,以便生成对应于要显示的最终图像的左眼图像数据和右眼图像数据,并且该数据在VRAM 225中扩展(呈现)。
最终,在步骤ST5,游戏机210读取VRAM(帧缓冲器)225中扩展的(呈现的)左眼图像数据和右眼图像数据,并且将数据从HDMI传输单元212传输到TV机250。此时,与输出图像数据的标准一致地,适当转换左眼图像数据和右眼图像数据的位置和尺寸,然后将其提供到HDMI传输单元212并且传输。
此外,如上所述,在再现如电影的内容的情况下,并且当再现图像数据是立体图像数据并且用户给出执行校正的指令时,游戏机210基于屏幕尺寸信息校正立体图像数据,然后输出该数据。除了游戏机,当以此方式校正和再现视频内容时,可以使用如蓝光盘播放器的运动视频回放装置。
游戏机210的呈现处理单元224通过从再现的立体图像数据(左眼图像数据和右眼图像数据)检测深度信息来执行校正。此时,呈现处理单元224分析构成再现的立体图像数据的左眼图像数据和右眼图像数据,提取特征点并且检测左眼图像和右眼图像之间的相关性,从而估计深度信息。在估计深度信息之后,呈现处理单元224基于TV机250的屏幕尺寸和视距校正左眼图像数据和右眼图像数据。
下文中描述游戏机210中的立体图像数据校正和输出处理的流程。呈现处理单元224首先估计深度信息。具体地,呈现处理单元224分析构成再现的立体图像数据的左眼(L)图像数据和右眼(R)图像数据,并且获得L图像和R图像之间的相关性。可以假设相机的向上矢量在为显示立体图像所捕获的L图像和R图像中是相同的。
因此,如图23所示,相对于水平方向的每行获得L图像和R图像之间的相关性。此时,可以通过使用亮度和颜色信息、过滤(边缘检测)之后的图像信息(如亮度和颜色的区别)等获得相关性,并且可以相对于图像的每个点和每个区域获得左右之间的位移。此外,如果如成对透镜之间的距离和透镜角度的信息可以用作相机拍摄条件,则可以从相机位置和角度信息以及每个区域和每个点中左右之间的位移信息,精确估计每个区域和每个点的深度信息。
在图24所示的情况下,对于圆柱体对象,左右视线在参考平面(屏幕平面)的前面相互交叉。因此发现圆柱体对象存在于屏幕平面的前面。在此情况下,也可以通过计算获得深度。此外,对于矩形对象,左右视线在屏幕平面上相互交叉。因此发现矩形对象存在于参考平面(屏幕平面)的位置。
如图25所示,可以表示图像的深度信息。具体地,圆柱体对象存在于参考平面的前面,并且矩形对象存在于参考平面的位置。此外,可以假设对象的位置在左右区域之间。
接下来,呈现处理单元224以与之前描述的生成游戏图像的处理流程相同的方式执行L和R图像数据的校正。此时,呈现处理单元224设置通过建模中的估计获得的对象位置和深度信息,然后以与之前描述的当生成游戏图像时相同的方式执行视点和光源设置、呈现和视频输出。从而可能根据TV机250的屏幕尺寸和视距,校正作为现有立体图像数据的再现的立体图像数据的L和R图像数据,然后将数据从HDMI传输单元212传输到TV机250。
图26示意性地示出当将用于显示立体图像的立体图像数据(左眼图像数据和右眼图像数据)从游戏机210传输到TV机250时的序列。在传输立体图像数据之前,游戏机210从TV机250读取和获取E-EDID(参照图15到17)。
游戏机210获得包含在E-EDID中的与TV机250兼容的图像数据的格式信息、TV机250的屏幕尺寸信息等,从而设置输出分辨率,并且进一步设置用于生成或校正立体图像数据的图像生成参数,如屏幕尺寸和视距。
此后,游戏机210使用设置的参数生成或校正立体图像数据,并且将数据传输到TV机250。TV机250接收从游戏机210传输的立体图像数据,并且显示立体图像。
如上所述,在图1所示的AV系统200中,在游戏机210中从TV机250获取关于屏幕尺寸的信息。然后,在游戏机210中,生成适合屏幕尺寸的立体图像数据,或将现有立体图像数据校正为适合屏幕尺寸。然后,将生成的或校正的立体图像数据从游戏机210传输到TV机250。此外,在TV机250中,基于从游戏机210传输的、适合屏幕尺寸的立体图像数据,显示表示立体图像的左眼图像和右眼图像。从而可能显示适合屏幕尺寸的立体图像而不增加用户的工作量。
此外,在图1所示的AV系统200中,在游戏机210中在生成或校正立体图像数据时使用屏幕尺寸和视距信息。当用户不设置(调整)视距时,基于屏幕尺寸获得的推荐视距用作游戏机210中的视距。因此可能生成或校正立体图像数据而不用用户的设置,从而减小用户的工作量。
此外,在图1所示的AV系统200中,基于屏幕尺寸获得的推荐视距用作游戏机210中的用户设置(调整)的默认值。从而用户可以从接近最佳值开始视距的调整,从而可能有效地调整视距。
<2.替代示例>
在上述实施例中,示出了其中游戏机210和TV机250通过HDMI线缆350直接连接的AV系统200。然而,这样的配置也是可行的,其中用作转发器设备的AV放大器、图像转换装置等连接在如游戏机210或蓝光盘播放器的3D运动视频回放装置和TV机250之间。
图27示出AV系统200A的示例性配置,其中AV放大器300连接在盘播放器400和TV机250之间。TV机250与图1所示的AV系统200中的TV机250相同。AV系统200A包括用作源设备的盘播放器400、用作转发器设备的AV放大器300和用作宿设备的TV机250。
盘播放器400和AV放大器300通过HDMI线缆351连接。盘播放器400具有连接到HDMI传输单元(HDMI TX)402的HDMI端子401。AV放大器300具有连接到HDMI接收单元(HDMI RX)302a的HDMI端子301a。HDMI线缆351的一端连接到盘播放器400的HDMI端子401,并且HDMI线缆351的另一端连接到AV放大器300的HDMI端子301a。
此外,AV放大器300和TV机250通过HDMI线缆352连接。AV放大器300具有连接到HDMI传输单元(HDMI TX)302b的HDMI端子301b。HDMI线缆352的一端连接到AV放大器300的HDMI端子301b,并且HDMI线缆352的另一端连接到TV机250的HDMI线缆251。
[盘播放器的示例性配置]
图28示出盘播放器400的示例性配置。盘播放器400包括HDMI端子401、HDMI传输单元402、驱动器接口403和BD/DVD驱动器404。盘播放器400还包括解复用器405、MPEG解码器406、视频信号处理电路407、音频解码器408和音频信号处理电路409。
盘播放器400还包括内部总线410、CPU 411、闪速ROM 412和DRAM413。盘播放器400还包括以太网接口(I/F)414、网络端子415、遥控接收单元416和遥控传输器417。应该注意,“以太网”是注册商标。CPU 411、闪速ROM 412、DRAM 413、以太网接口414和驱动器接口403连接到内部总线410。
CPU 411控制盘播放器400的每个单元的操作。闪速ROM 412存储控制软件和数据。DRAM 413形成CPU 411的工作区域。CPU 411在DRAM 413中扩展从闪速ROM 412读取的软件和数据,并且启动软件,从而控制盘播放器400的每个单元。遥控接收单元416接收从遥控传输器417传输的遥控信号(遥控代码),并且将其提供到CPU 411。CPU 411根据遥控代码控制盘播放器400的每个单元。
BD/DVD驱动器404将内容数据记录在作为盘形记录介质的BD或DVD(未示出)中,或从BD或DVD再现内容数据。BD/DVD驱动器404经由驱动器接口403连接到内部总线410。
解复用器405从BD/DVD驱动器404中的再现数据分离视频和音频基本流。MPEG解码器406执行由解复用器405分离的视频基本流的解码,从而获得未压缩图像数据。
视频信号处理电路407对由MPEG解码器406获得的图像数据适当地执行缩放(分辨率转换)、图形数据的叠加等,并且将数据提供到HDMI传输单元402。此外,如果由MPEG解码器406接收的图像数据是用于显示立体图像的立体图像数据(左眼图像数据和右眼图像数据),则视频信号处理电路407将立体图像数据处理为符合传输方案的状态,就像之前描述的游戏机210的呈现处理单元224。
此外,如果由MPEG解码器406接收的图像数据是用于显示立体图像的立体图像数据(左眼图像数据和右眼图像数据),则视频信号处理电路407响应于来自用户的指令校正立体图像数据。通过使用TV机250的屏幕尺寸和视距的信息执行立体图像数据的校正,就像之前描述的游戏机210的呈现处理单元224。
音频解码器408执行由解复用器405分离的音频基本流的解码,从而获得未压缩音频数据。音频信号处理电路409对由音频解码器408获得的音频数据适当地执行音调控制等,并且将数据提供到HDMI传输单元402。
HDMI传输单元402通过符合HDMI标准的通信,传输来自HDMI端子401的基带图像(视频)和音频数据。以与之前描述的游戏机210的HDMI传输单元212相同的方式配置HDMI传输单元402。
下文中描述当再现如电影的内容时图28所示的盘播放器400的操作。
将DVD/BD驱动器404的再现数据提供到解复用器405,并且分离为视频和音频基本流。将由解复用器405分离的视频基本流提供到MPEG解码器406并且解码,使得获得未压缩图像数据。将由解复用器405分离的音频基本流提供到音频解码器408并且解码,使得获得未压缩音频数据。
将通过MPEG解码器406获得的图像数据经由视频信号处理电路407提供到HDMI传输单元402。将通过音频解码器408获得的音频数据经由音频信号处理电路409提供到HDMI传输单元402。然后,通过HDMI的TMDS信道将图像数据和音频数据从HDMI端子401发出到HDMI线缆。
从视频信号处理电路407和音频信号处理电路409提供到HDMI传输单元402的图像数据和音频数据在HDMI传输单元402中封装,并且输出到HDMI端子401。如果图像数据是立体图像数据(左眼图像数据和右眼图像数据),则通过视频信号处理电路407将立体图像数据处理为符合传输方案的状态,然后提供到HDMI传输单元402。
[AV放大器的示例性配置]
图29示出AV放大器300的示例性配置。AV放大器300包括HDMI端子301a和301b、HDMI接收单元302a和HDMI传输单元302b。AV放大器300还包括视频和图形处理电路305、音频处理电路307、音频放大电路308和音频输出端子309a到309f。AV放大器300还包括内部总线312、CPU 313、闪速ROM 314和DRAM 315。
HDMI接收单元302a通过符合HDMI标准的通信,接收通过HDMI线缆351提供到HDMI端子301a的未压缩视频(图像)和音频数据。尽管未详细描述,但是HDMI接收单元302a具有与图1所示的AV系统200中的TV机250的HDMI接收单元252相同的配置。
HDMI接收单元302b通过符合HDMI标准的通信,将未压缩视频(图像)和音频数据从HDMI端子301b发出到HDMI线缆352。尽管未详细描述,但是HDMI传输单元302b具有与图1所示的AV系统200中的游戏机210的HDMI传输单元212相同的配置。
音频处理电路307对通过HDMI接收单元302a获得的音频数据,执行生成用于实现5.1ch环绕的各个声道的音频数据的处理、添加规定声场特征的处理、将数字信号转换为模拟信号的处理等。音频放大电路308放大从音频处理电路307输出的各个声道的音频信号,并且将信号输出到音频输出端子309a到309f。
音频处理电路307在执行必要处理之后还将通过HDMI接收单元302a获得的音频数据提供到HDMI传输单元302b。视频和图形处理电路305对通过HDMI接收单元302a获得的视频(图像)数据适当执行图像转换、图形数据的叠加等,并且将数据提供到HDMI传输单元302b。
CPU 313控制AV放大器300的每个单元的操作。闪速ROM 314存储控制软件和数据。DRAM 315形成CPU 313的工作区域。CPU 313在DRAM 315中扩展从闪速ROM 314读取的软件和数据,并且启动软件,从而控制AV放大器300的每个单元。CPU 313、闪速ROM 314和DRAM 315连接到内部总线312。
简要描述图29所示的AV放大器300的操作。
在HDMI接收单元302a中,获取从通过HDMI线缆351连接到HDMI端子301a的盘播放器400传输的视频(图像)数据和音频数据。将视频数据和音频数据分别经由视频和图形处理电路305和音频处理电路307提供到HDMI传输单元302b,并且通过HDMI线缆352从HDMI端子301b传输到TV机250。AV放大器300从而行使转发器功能。
当经由AV放大器300输出声音时,音频处理电路307对通过HDMI接收单元302a获得的音频数据执行必要处理,如生成用于实现5.1ch环绕的各个声道的音频数据的处理、添加规定声场特征的处理和将数字信号转换为模拟信号的处理。然后各个声道的音频数据通过音频放大电路308放大,并且输出到音频输出端子309a到309f。
在图27所示的AV系统200A中,盘播放器400经由AV放大器300获取TV机250的E-EDID的内容。盘播放器400从而获取关于与TV机250兼容的图像数据的格式(分辨率、帧速率、宽高比等)的信息以及关于屏幕尺寸的信息。
因此,在图27所示的AV系统200A中,盘播放器400可以根据屏幕尺寸通过视频信号处理电路407校正再现的立体图像数据。盘播放器400然后可以经由AV放大器300将校正的立体图像数据传输到TV机250。
结果,在图27所示的AV系统200A中也可以获得与在图1所示的AV系统200中相同的优点。具体地,在TV机250中适合屏幕尺寸的立体图像显示是可能的,而不增加用户的工作量。
注意到,在图27所示的AV系统200A中,例如AV放大器300的视频和图形处理电路305可以提供有与之前描述的游戏机210的呈现处理单元224的功能类似的功能。在此情况下,例如可以在视频和图形处理电路305中将从盘播放器400传输的再现的立体图像数据(校正之前)校正为适合TV机250的屏幕尺寸的立体图像数据,然后将校正的立体图像数据传输到TV机250。
本领域技术人员应当理解,依赖于设计需求和其他因素可以出现各种修改、组合、子组合和更改,只要它们在权利要求或其等效物的范围内。
在上述实施例中,通过图示的方式示出使用HDMI传输路径的系统。然而,本发明同样可应用于例如使用数字视觉接口(DVI)、显示器端口(DP)接口、无线传输、希望在未来变得普遍的千兆比特以太网光纤传输路径等的系统。
例如,在DVI的情况下,就像上述HDMI,定义将视频信号的兼容图像格式(分辨率、帧速率等)存储到包括在接收装置中的称为E-EDID的区域的标准。
因此,在DVI的情况下,传输装置可以以与上述HDMI的情况相同的方式,通过显示数据信道(DDC)从接收装置中的E-EDID获取上述兼容图像格式信息、关于屏幕尺寸的信息等。因此,传输装置可以生成适合接收装置的屏幕尺寸的立体图像数据,或将现有立体图像数据校正为适合接收装置的屏幕尺寸。
此外,在上述实施例中,示出其中在TV机250的E-EDID中描述关于屏幕尺寸的信息的系统,并且TV机250等(除了TV机250之外其包括盘播放器400和AV放大器300)通过读取E-EDID获得关于TV机250的屏幕尺寸的信息。
然而,游戏机210等获取关于TV机250的屏幕尺寸的信息的方式不限于此。例如,游戏机210等可以例如通过使用作为HDMI线缆的控制数据线的CEC线来执行游戏机210等和TV机250之间的通信,获取关于TV机250的屏幕尺寸的信息。
此外,不同于游戏机210等的盘播放器400可以例如通过由上述HDMI线缆的预定线(例如保留线、HPD线等)构成的双向通信信道执行通信,获取关于TV机250的屏幕尺寸的信息。
此外,在上述实施例中,通过图示的方式示出了传输装置是游戏机210或盘播放器400并且接收装置是TV机250的情况。然而,传输装置和接收装置不限于此。例如,传输装置可以是DVD记录器、机顶盒或其它AV源,来替代游戏机210。此外,接收装置可以是投影仪、PC监视器或其它显示器,来替代TV机250。
本发明可应用于AV系统,其允许适合屏幕尺寸的适当的立体图像显示而不增加用户的工作量,并且其通过从传输装置传输立体图像数据并且在接收装置中显示左眼图像和右眼图像,为观众提供立体图像。
本申请包含涉及于2009年4月22日向日本专利局提交的日本优先权专利申请JP 2009-104359中公开的主题,在此通过引用并入其全部内容。

Claims (17)

1.一种传输装置,包括:
图像数据输出单元,其输出包括用于显示立体图像的左眼图像数据和右眼图像数据的立体图像数据;
数据传输单元,其通过传输路径将从所述图像数据输出单元输出的所述立体图像数据传输到外部设备;以及
信息获取单元,其通过所述传输路径从所述外部设备获取关于屏幕尺寸的信息,
其中
所述图像数据输出单元输出立体图像数据,该立体图像数据适合从由所述信息获取单元获取的信息得到的屏幕尺寸。
2.如权利要求1所述的传输装置,其中
所述图像数据输出单元通过使用屏幕尺寸和视距信息,输出适合屏幕尺寸的立体图像数据。
3.如权利要求2所述的传输装置,其中
所述图像数据输出单元使用基于屏幕尺寸获得的推荐视距信息作为所述视距信息。
4.如权利要求3所述的传输装置,还包括:
调整单元,用于用户通过使用作为默认值的屏幕尺寸和推荐视距,调整屏幕尺寸和视距。
5.如权利要求1所述的传输装置,其中
当由所述信息获取单元获取的信息指示屏幕尺寸足够大时,所述图像数据输出单元输出适合屏幕尺寸足够大的情况的立体图像数据。
6.如权利要求1所述的传输装置,其中
所述图像数据输出单元基于屏幕尺寸信息动态地生成立体图像数据,并且输出所述立体图像数据。
7.如权利要求1所述的传输装置,其中
所述图像数据输出单元基于现有立体图像数据估计深度信息,基于估计的深度信息和屏幕尺寸信息校正现有立体图像数据,并且输出立体图像数据。
8.如权利要求1所述的传输装置,其中
所述信息获取单元通过从包括在所述外部设备中的存储单元读取关于屏幕尺寸的信息,获取所述关于屏幕尺寸的信息。
9.如权利要求1所述的传输装置,其中
所述数据传输单元通过多个信道上的差分信号,将立体图像数据通过传输路径传输到外部设备。
10.如权利要求9所述的传输装置,其中
所述信息获取单元通过构成传输路径的控制数据线从外部设备获取关于屏幕尺寸的信息。
11.如权利要求9所述的传输装置,其中
所述信息获取单元通过由传输路径的预定线构成的双向通信路径获取关于屏幕尺寸的信息。
12.如权利要求11所述的传输装置,其中
所述双向通信路径是一对差分传输路径,并且该对差分传输路径的至少一个具有用直流偏置电势通知外部设备的连接状态的功能。
13.一种立体图像数据传输方法,包括以下步骤:
输出包括用于显示立体图像的左眼图像数据和右眼图像数据的立体图像数据;
通过传输路径将在输出立体图像数据的步骤中输出的立体图像数据传输到外部设备;以及
通过所述传输路径从所述外部设备获取关于屏幕尺寸的信息,
其中
输出立体图像数据的步骤输出适合从获取信息的步骤中获取的信息得到的屏幕尺寸的立体图像数据。
14.一种接收装置,包括:
数据接收单元,其通过传输路径从外部设备接收包括用于显示立体图像的左眼图像数据和右眼图像数据的立体图像数据;
数据处理单元,其处理由所述数据接收单元接收的立体图像数据,并且获得左眼图像数据和右眼图像数据;以及
信息提供单元,其通过所述传输路径将关于屏幕尺寸的信息提供到所述外部设备,
其中
所述数据接收单元从所述外部设备接收立体图像数据,该立体图像数据适合由通过所述信息提供单元提供的信息指示的屏幕尺寸。
15.如权利要求14所述的接收装置,其中
当屏幕尺寸足够大时,所述信息提供单元提供指示屏幕尺寸足够大的信息作为关于屏幕尺寸的信息。
16.如权利要求14所述的接收装置,其中
所述数据接收单元通过多个信道上的差分信号,通过传输路径从所述外部设备接收立体图像数据。
17.一种立体图像数据接收方法,包括以下步骤:
通过传输路径从外部设备接收包括用于显示立体图像的左眼图像数据和右眼图像数据的立体图像数据;
处理在接收立体图像数据的步骤中接收的立体图像数据,并且获得左眼图像数据和右眼图像数据;以及
通过所述传输路径将关于屏幕尺寸的信息提供到所述外部设备,
其中
接收立体图像数据的步骤从所述外部设备接收立体图像数据,该立体图像数据适合由在提供信息的步骤中提供到所述外部设备的信息指示的屏幕尺寸。
CN201010163850A 2009-04-22 2010-04-15 传输装置、接收装置、立体图像数据传输方法和接收方法 Pending CN101873507A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201410534388.3A CN104284176B (zh) 2009-04-22 2010-04-15 立体图像数据传输方法和立体图像数据传输装置
CN201510195377.1A CN104869388B (zh) 2009-04-22 2010-04-15 传输装置、接收装置、立体图像数据传输方法和接收方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP104359/09 2009-04-22
JP2009104359A JP5469911B2 (ja) 2009-04-22 2009-04-22 送信装置および立体画像データの送信方法

Related Child Applications (3)

Application Number Title Priority Date Filing Date
CN201410534388.3A Division CN104284176B (zh) 2009-04-22 2010-04-15 立体图像数据传输方法和立体图像数据传输装置
CN201410534386.4A Division CN104284175A (zh) 2009-04-22 2010-04-15 立体图像数据接收方法和立体图像数据接收装置
CN201510195377.1A Division CN104869388B (zh) 2009-04-22 2010-04-15 传输装置、接收装置、立体图像数据传输方法和接收方法

Publications (1)

Publication Number Publication Date
CN101873507A true CN101873507A (zh) 2010-10-27

Family

ID=42991778

Family Applications (4)

Application Number Title Priority Date Filing Date
CN201410534388.3A Active CN104284176B (zh) 2009-04-22 2010-04-15 立体图像数据传输方法和立体图像数据传输装置
CN201410534386.4A Pending CN104284175A (zh) 2009-04-22 2010-04-15 立体图像数据接收方法和立体图像数据接收装置
CN201010163850A Pending CN101873507A (zh) 2009-04-22 2010-04-15 传输装置、接收装置、立体图像数据传输方法和接收方法
CN201510195377.1A Active CN104869388B (zh) 2009-04-22 2010-04-15 传输装置、接收装置、立体图像数据传输方法和接收方法

Family Applications Before (2)

Application Number Title Priority Date Filing Date
CN201410534388.3A Active CN104284176B (zh) 2009-04-22 2010-04-15 立体图像数据传输方法和立体图像数据传输装置
CN201410534386.4A Pending CN104284175A (zh) 2009-04-22 2010-04-15 立体图像数据接收方法和立体图像数据接收装置

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201510195377.1A Active CN104869388B (zh) 2009-04-22 2010-04-15 传输装置、接收装置、立体图像数据传输方法和接收方法

Country Status (3)

Country Link
US (2) US8810563B2 (zh)
JP (1) JP5469911B2 (zh)
CN (4) CN104284176B (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102378041A (zh) * 2011-10-25 2012-03-14 中兴通讯股份有限公司 一种图像质量检测方法及装置
CN102823264A (zh) * 2011-03-31 2012-12-12 松下电器产业株式会社 能够变更立体视觉影像的进深的影像处理装置、系统、影像处理方法、影像处理程序
CN102832519A (zh) * 2011-06-13 2012-12-19 泗阳万旭电子元件有限公司 Hdmi传输线
CN102970563A (zh) * 2011-08-31 2013-03-13 株式会社东芝 视频处理装置以及视频处理方法
CN103024424A (zh) * 2011-09-20 2013-04-03 Lg电子株式会社 图像显示装置及其操作方法
CN103037184A (zh) * 2011-09-30 2013-04-10 索尼公司 投影仪设备和视频显示方法
CN103913847A (zh) * 2014-03-19 2014-07-09 京东方科技集团股份有限公司 一种三维显示系统
CN105247860A (zh) * 2013-06-05 2016-01-13 索尼公司 图像处理设备及图像处理方法
CN107280625A (zh) * 2017-07-07 2017-10-24 深圳市博盛医疗科技有限公司 一种3d全高清电子腹腔镜系统

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2343907A4 (en) * 2008-10-10 2012-06-20 Lg Electronics Inc RECEPTION SYSTEM AND METHOD OF PROCESSING DATA
JP5469911B2 (ja) * 2009-04-22 2014-04-16 ソニー株式会社 送信装置および立体画像データの送信方法
KR20110136414A (ko) * 2010-06-15 2011-12-21 삼성전자주식회사 영상처리장치 및 그 제어방법
JP2012120143A (ja) * 2010-11-10 2012-06-21 Sony Corp 立体画像データ送信装置、立体画像データ送信方法、立体画像データ受信装置および立体画像データ受信方法
JP2012129827A (ja) * 2010-12-15 2012-07-05 Sony Corp 送信装置、送信方法、受信装置および受信方法
JP2012204852A (ja) * 2011-03-23 2012-10-22 Sony Corp 画像処理装置および方法、並びにプログラム
FR2968108A1 (fr) * 2011-06-20 2012-06-01 Thomson Licensing Procede de reduction de la taille d’une image stereoscopique
CN103096014B (zh) 2011-10-28 2016-03-30 华为技术有限公司 一种视频呈现方法和系统
EP2785051A4 (en) * 2011-11-25 2015-11-25 Hitachi Maxell IMAGE TRANSMISSION DEVICE, IMAGE TRANSMISSION METHOD, IMAGE RECEPTOR AND IMAGE RECEPTION PROCESS
JP2014022839A (ja) * 2012-07-13 2014-02-03 Japan Display Inc 電子表示装置及び電子表示装置の制御方法
JP2014232228A (ja) * 2013-05-29 2014-12-11 ソニー株式会社 情報処理装置、および情報処理システム
KR102459917B1 (ko) * 2015-02-23 2022-10-27 삼성전자주식회사 이미지 신호 프로세서와 이를 포함하는 장치들
CN104636890B (zh) * 2015-03-13 2021-06-29 中国民航大学 一种空中交通管制员工作负荷测量方法
US10037612B2 (en) * 2015-12-28 2018-07-31 Empire Technology Development Llc Three dimensional data acquisition with orthogonal composite pattern for structured light illuminated vision
KR102695517B1 (ko) * 2016-11-29 2024-08-14 삼성전자주식회사 동공 거리 결정 방법 및 장치
CN106791795A (zh) * 2017-01-03 2017-05-31 京东方科技集团股份有限公司 3d视频流的发送方法及发送装置、接收方法及接收装置
CN109803134A (zh) * 2017-11-16 2019-05-24 科通环宇(北京)科技有限公司 一种基于hdmi系统的视频图像传输方法及数据帧结构
CN110233982A (zh) * 2018-03-06 2019-09-13 北京视联动力国际信息技术有限公司 一种基于视联网的监控方法和装置
TWI691204B (zh) * 2018-12-22 2020-04-11 弘真科技股份有限公司 無線影音資訊分享系統及方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050271303A1 (en) * 2004-02-10 2005-12-08 Todd Simpson System and method for managing stereoscopic viewing
CN1774937A (zh) * 2003-04-17 2006-05-17 夏普株式会社 三维图像生成装置、三维图像再现装置、三维图像处理装置、三维图像处理程序及记录该程序的记录介质
CN101013201A (zh) * 2006-02-05 2007-08-08 天津三维显示技术有限公司 一种自由立体显示技术
CN101155289A (zh) * 2006-09-26 2008-04-02 佳能株式会社 图像控制设备和图像控制方法
US20080267527A1 (en) * 2004-04-14 2008-10-30 Koninklijke Philips Electronics, N.V. Ghost Artifact Reduction for Rendering 2.5D Graphics

Family Cites Families (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0759120A (ja) 1993-08-13 1995-03-03 Sony Corp 立体映像表示装置
JP3428132B2 (ja) 1994-03-14 2003-07-22 ソニー株式会社 テレビジョン方式及び表示装置
US20050146521A1 (en) * 1998-05-27 2005-07-07 Kaye Michael C. Method for creating and presenting an accurate reproduction of three-dimensional images converted from two-dimensional images
JP2002095018A (ja) * 2000-09-12 2002-03-29 Canon Inc 画像表示制御装置及び画像表示システム、並びに画像データの表示方法
CN1200572C (zh) * 2000-12-04 2005-05-04 北京双攀科技发展有限责任公司 一种在现行制式上实现立体电视的方法和装置
JP4066744B2 (ja) 2002-08-27 2008-03-26 トヨタ自動車株式会社 内燃機関の燃料供給装置
WO2004049734A1 (ja) * 2002-11-28 2004-06-10 Seijiro Tomita 立体映像信号生成回路及び立体映像表示装置
JP3978392B2 (ja) * 2002-11-28 2007-09-19 誠次郎 富田 立体映像信号生成回路及び立体映像表示装置
US7907150B2 (en) * 2003-08-09 2011-03-15 Doubleshot, Inc. Method of fusion or merging imagery data for improved visual perception using monoscopic and stereographic fusion and retinal decay techniques
GB0403932D0 (en) * 2004-02-21 2004-03-24 Koninkl Philips Electronics Nv Improving image quality in a 3D image display device
US20050251834A1 (en) * 2004-05-06 2005-11-10 Hulbig William F Theater for user selected entertainment
US7783130B2 (en) * 2005-01-24 2010-08-24 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration Spatial standard observer
JP4478604B2 (ja) * 2005-04-06 2010-06-09 キヤノン株式会社 画像表示システム
JP4798358B2 (ja) * 2006-03-14 2011-10-19 セイコーエプソン株式会社 画像処理システム、表示装置および画像処理方法
US8108119B2 (en) * 2006-04-21 2012-01-31 Sri International Apparatus and method for object detection and tracking and roadway awareness using stereo cameras
JP4179387B2 (ja) * 2006-05-16 2008-11-12 ソニー株式会社 伝送方法、伝送システム、送信方法、送信装置、受信方法及び受信装置
JP4363426B2 (ja) * 2006-08-21 2009-11-11 ソニー株式会社 映像受信装置及び映像受信方法
TWI314832B (en) * 2006-10-03 2009-09-11 Univ Nat Taiwan Single lens auto focus system for stereo image generation and method thereof
JP2008158595A (ja) * 2006-12-20 2008-07-10 Sony Corp 情報処理装置
KR101309793B1 (ko) * 2007-01-12 2013-09-23 삼성전자주식회사 입체 영상을 처리하는 영상장치 및 그 제어방법
JP4291862B2 (ja) * 2007-07-04 2009-07-08 稔 稲葉 立体テレビジョンシステム及び立体テレビジョン受像機
JP2009025343A (ja) * 2007-07-17 2009-02-05 Victor Co Of Japan Ltd 映像出力装置
US20090055694A1 (en) * 2007-08-22 2009-02-26 Tektronix, Inc. Apparatus and method for measuring skew in serial data communication
US8390674B2 (en) * 2007-10-10 2013-03-05 Samsung Electronics Co., Ltd. Method and apparatus for reducing fatigue resulting from viewing three-dimensional image display, and method and apparatus for generating data stream of low visual fatigue three-dimensional image
JP4433041B2 (ja) * 2007-11-16 2010-03-17 ソニー株式会社 表示装置、画像信号処理方法、およびプログラム
KR20100095464A (ko) * 2007-12-18 2010-08-30 코닌클리케 필립스 일렉트로닉스 엔.브이. 디스플레이 인터페이스를 통한 입체 이미지 데이터의 전송
DK2230844T3 (en) * 2008-01-17 2018-01-02 Panasonic Ip Man Co Ltd REGISTRATION MEDIUM, WHICH 3D VIDEO IS REGISTERED, REGISTRATION MEDIUM FOR REGISTERING 3D VIDEO AND REPLACEMENT DEVICE AND METHOD OF REPRESENTING 3D VIDEO
US8941672B1 (en) * 2008-02-13 2015-01-27 Nvidia Corporation Method for identifying a display when a GPU connected to the display is powered down
US20090213129A1 (en) * 2008-02-25 2009-08-27 Kuo-Yang Li Storage Unit and Storage Module for Storing EDID
KR101488199B1 (ko) * 2008-03-12 2015-01-30 삼성전자주식회사 영상 처리 방법, 영상 재생 방법, 그 장치 및 기록매체
CN101605233A (zh) * 2008-06-10 2009-12-16 株式会社东芝 用于在电子设备间提供通信的通信设备
US9124870B2 (en) * 2008-08-20 2015-09-01 Samsung Electronics Co., Ltd. Three-dimensional video apparatus and method providing on screen display applied thereto
JP2010088092A (ja) * 2008-09-02 2010-04-15 Panasonic Corp 立体映像伝送システム、映像表示装置および映像出力装置
EP2326101B1 (en) * 2008-09-18 2015-02-25 Panasonic Corporation Stereoscopic video reproduction device and stereoscopic video display device
US20100110069A1 (en) * 2008-10-31 2010-05-06 Sharp Laboratories Of America, Inc. System for rendering virtual see-through scenes
US7982615B2 (en) * 2008-12-23 2011-07-19 Dish Network L.L.C. Systems and methods for providing viewer-related information on a display based upon wireless identification of a particular viewer
JP2012089906A (ja) * 2009-02-13 2012-05-10 Panasonic Corp 表示制御装置
US8406619B2 (en) * 2009-03-23 2013-03-26 Vincent Pace & James Cameron Stereo camera with automatic control of interocular distance
JP5469911B2 (ja) * 2009-04-22 2014-04-16 ソニー株式会社 送信装置および立体画像データの送信方法
US8370536B2 (en) * 2009-04-24 2013-02-05 Analog Devices, Inc. Method and apparatus for providing robust display digital channel transmission

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1774937A (zh) * 2003-04-17 2006-05-17 夏普株式会社 三维图像生成装置、三维图像再现装置、三维图像处理装置、三维图像处理程序及记录该程序的记录介质
US20050271303A1 (en) * 2004-02-10 2005-12-08 Todd Simpson System and method for managing stereoscopic viewing
US20080267527A1 (en) * 2004-04-14 2008-10-30 Koninklijke Philips Electronics, N.V. Ghost Artifact Reduction for Rendering 2.5D Graphics
CN101013201A (zh) * 2006-02-05 2007-08-08 天津三维显示技术有限公司 一种自由立体显示技术
CN101155289A (zh) * 2006-09-26 2008-04-02 佳能株式会社 图像控制设备和图像控制方法

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102823264A (zh) * 2011-03-31 2012-12-12 松下电器产业株式会社 能够变更立体视觉影像的进深的影像处理装置、系统、影像处理方法、影像处理程序
CN102832519A (zh) * 2011-06-13 2012-12-19 泗阳万旭电子元件有限公司 Hdmi传输线
CN102970563A (zh) * 2011-08-31 2013-03-13 株式会社东芝 视频处理装置以及视频处理方法
CN103024424A (zh) * 2011-09-20 2013-04-03 Lg电子株式会社 图像显示装置及其操作方法
CN103037184A (zh) * 2011-09-30 2013-04-10 索尼公司 投影仪设备和视频显示方法
CN102378041A (zh) * 2011-10-25 2012-03-14 中兴通讯股份有限公司 一种图像质量检测方法及装置
CN102378041B (zh) * 2011-10-25 2016-06-22 中兴通讯股份有限公司 一种图像质量检测方法及装置
CN105247860A (zh) * 2013-06-05 2016-01-13 索尼公司 图像处理设备及图像处理方法
CN105247860B (zh) * 2013-06-05 2017-12-19 索尼公司 图像处理设备及图像处理方法
CN103913847A (zh) * 2014-03-19 2014-07-09 京东方科技集团股份有限公司 一种三维显示系统
US9720247B2 (en) 2014-03-19 2017-08-01 Boe Technology Group Co., Ltd. Three-dimensional display system
CN107280625A (zh) * 2017-07-07 2017-10-24 深圳市博盛医疗科技有限公司 一种3d全高清电子腹腔镜系统

Also Published As

Publication number Publication date
US20100271461A1 (en) 2010-10-28
CN104284176A (zh) 2015-01-14
US8810563B2 (en) 2014-08-19
US20140111613A1 (en) 2014-04-24
CN104869388A (zh) 2015-08-26
CN104869388B (zh) 2018-04-20
CN104284176B (zh) 2016-08-24
JP5469911B2 (ja) 2014-04-16
CN104284175A (zh) 2015-01-14
JP2010258609A (ja) 2010-11-11

Similar Documents

Publication Publication Date Title
CN101873507A (zh) 传输装置、接收装置、立体图像数据传输方法和接收方法
CN101877795B (zh) 立体图像数据发送、接收和中继方法以及其设备
JP5446913B2 (ja) 立体画像データ送信装置および立体画像データ送信方法
CN102883215B (zh) 发送器、接收器、三维图像数据发送方法和接收方法
JP5531972B2 (ja) 立体画像データ送信装置、立体画像データ送信方法、立体画像データ受信装置および立体画像データ受信方法
WO2011001855A1 (ja) 立体画像データ送信装置、立体画像データ送信方法、立体画像データ受信装置および立体画像データ受信方法
CN102036044A (zh) 发送器、发送方法、接收器和接收方法
JP2011166757A (ja) 送信装置、送信方法および受信装置
WO2012063675A1 (ja) 立体画像データ送信装置、立体画像データ送信方法および立体画像データ受信装置
JP5577476B1 (ja) 立体画像データ送信方法および立体画像データ送信装置
JP5538604B2 (ja) 立体画像データ送信方法および立体画像データ送信装置
JP5577477B1 (ja) 立体画像データ受信方法および立体画像データ受信装置
JP5583297B2 (ja) 立体画像データ受信方法および立体画像データ受信装置
JP2014225901A (ja) 立体画像データ送信方法および立体画像データ送信装置
JP2014131272A (ja) 受信装置および情報処理方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C12 Rejection of a patent application after its publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20101027