CN102972034B - 电子设备、发送电子设备中的立体图像信息的方法和接收电子设备中的立体图像信息的方法 - Google Patents

电子设备、发送电子设备中的立体图像信息的方法和接收电子设备中的立体图像信息的方法 Download PDF

Info

Publication number
CN102972034B
CN102972034B CN201280001902.6A CN201280001902A CN102972034B CN 102972034 B CN102972034 B CN 102972034B CN 201280001902 A CN201280001902 A CN 201280001902A CN 102972034 B CN102972034 B CN 102972034B
Authority
CN
China
Prior art keywords
information
mhl
register
image information
stereo image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201280001902.6A
Other languages
English (en)
Other versions
CN102972034A (zh
Inventor
田尾昭彦
斋藤武比古
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN102972034A publication Critical patent/CN102972034A/zh
Application granted granted Critical
Publication of CN102972034B publication Critical patent/CN102972034B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81Monomedia components thereof
    • H04N21/816Monomedia components thereof involving special video data, e.g 3D video
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F15/00Digital computers in general; Data processing equipment in general
    • G06F15/16Combinations of two or more digital computers each having at least an arithmetic unit, a program unit and a register, e.g. for a simultaneous processing of several programs
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • G06T1/0007Image acquisition
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/172Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/178Metadata, e.g. disparity information
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194Transmission of image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/366Image reproducers using viewer tracking
    • H04N13/371Image reproducers using viewer tracking for tracking viewers with different interocular distances; for tracking rotational head movements around the vertical axis
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/366Image reproducers using viewer tracking
    • H04N13/378Image reproducers using viewer tracking for tracking rotational head movements around an axis perpendicular to the screen
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/16Analogue secrecy systems; Analogue subscription systems
    • H04N7/173Analogue secrecy systems; Analogue subscription systems with two-way working, e.g. subscriber sending a programme selection signal
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/16Analogue secrecy systems; Analogue subscription systems
    • H04N7/173Analogue secrecy systems; Analogue subscription systems with two-way working, e.g. subscriber sending a programme selection signal
    • H04N7/17309Transmission or handling of upstream communications
    • H04N7/17318Direct or substantially direct transmission and handling of requests
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/16Analogue secrecy systems; Analogue subscription systems
    • H04N7/173Analogue secrecy systems; Analogue subscription systems with two-way working, e.g. subscriber sending a programme selection signal
    • H04N7/17309Transmission or handling of upstream communications
    • H04N7/17336Handling of requests in head-ends

Abstract

可以实现各电子设备之间的立体图像信息(3D信息)的高速有效传送。使用MHL能力寄存器在各设备之间传送3D信息。(1)紧接对能力寄存器的3D信息进行改变之后,MHL宿设备发送“SET_INT命令”,在MHL源设备侧的3D_CHG标志中设置“1”,并且向MHL源设备通知3D信息。(2)MHL源设备提供ACK响应。(3)MHL源设备确认“1”设置在3D_CHG标志中,向MHL宿设备发送其中增加能力寄存器的3D信息的地址信息的“READ_DEVCAP命令”,并且仅从能力寄存器读取3D信息。通过在使用MHL便签式存储器寄存器的各设备之间执行3D信息传送,可以实现精细的3D控制。

Description

电子设备、发送电子设备中的立体图像信息的方法和接收电子设备中的立体图像信息的方法
技术领域
本发明涉及电子设备、电子设备的立体图像信息发送方法和电子设备的立体图像信息接收方法,具体地,涉及构成用于立体图像显示的图像显示系统的电子设备。
背景技术
近年来,例如,诸如HDMI(高清晰度多媒体接口)的数字接口已经广泛地用作通信接口,该通信接口用于以高速将图像或声音数据从源设备发送到宿设备。例如,源设备是移动电话、游戏机、DVD(数字多功能盘)记录器或机顶盒,并且除了上述之外存在AV源(视听源)。例如,宿设备是电视接收机、投影仪,并且除了上述之外存在显示器。例如,在NPL中公开了关于HDMI标准的详细描述。
引用列表
非专利文献
NPL1:高清晰度多媒体接口规范,版本1.4,2009年06月05日
发明内容
技术问题
在HDMI中,将宿设备的3D能力发送部件按EDID(增强扩展显示标识数据)发送到源设备。关于发送部件,存在以下问题。
(1)当宿设备和源设备相互链接时,在宿设备侧的3D能力中产生变化的情况下,源设备每次需要至少读取包括除了3D信息外的信息的EDID2块(256字节)。如果该信息仅仅是3D信息,则需要发送仅几个字节到十几个字节,然而,关于上述,由于传输变得冗长并且在读取中导致过多的功率消耗,所以发送部件不适于电池驱动的移动设备。
(2)在EDID中产生变化的情况下,宿设备生成最小100ms长的低脉冲作为HPD(热插拔检测)信号,并且向源设备通知该变化。也就是说,由于在宿设备侧出现变化,所以增加了直到源设备可以被识别的至少100ms和用于通过读取EDID识别3D信息的时间,并且直到源设备可以被识别的至少100ms和用于通过读取EDID识别3D信息的时间导致影响源设备的响应的时间延迟。
此外,在HDMI中,作为用于在宿设备和源设备之间发送3D信息的部件,仅存在用于从宿设备到源设备的传输的EDID和用于从源设备到宿设备的传输的HDMI厂商特定InfoFrame。为了充分实现3D功能,进一步需要在多个方向以高速发送多种3D信息的部件。然而,在目前的HDMI中,还没有限定如上所述的部件。
本技术的目的是使得能够实现要在个电子设备之间以高速有效传输的立体图像信息(3D信息)。
问题的解决方案
根据本技术的一方面,本发明提供一种电子设备,该电子设备包括:寄存器,功能信息预先写入到该寄存器;变化通知发送单元,当寄存器中写入的立体图像信息中存在变化时,该变化通知发送单元将变化通知发送到外部设备;读取命令接收单元,其接收根据从变化通知发送单元发送的变化通知而从外部设备发送的读取命令、以及寄存器中的立体图像信息的地址信息;以及立体图像信息发送单元,其从对应于读取命令接收单元中接收的地址信息的寄存器中的地址读出立体图像信息,并且将立体图像信息发送到外部设备。
在本发明中,提供预先写入多种功能信息的寄存器,多种功能信息包括立体图像信息(3D信息)。当寄存器中写入的立体图像信息中产生变化时,通过变化通知发送单元将变化通知发送到外部设备。响应于变化通知的发送,从外部设备发送读取命令和寄存器中的立体图像信息的地址信息。
通过读取命令接收单元接收读取命令和地址信息。然后通过立体图像信息接收单元从对应于地址信息的寄存器的地址读出立体图像信息,并且将该立体图像信息发送到外部设备。在本发明中,例如,立体图像信息包括能够由其自身管理的立体图像数据的结构和视频格式的信息。
如上所述,在本发明中,当寄存器中写入的立体图像信息中产生改变时,当变化通知发送到外部设备时,基于响应于变化通知从外部设备发送的读取命令,变化的立体图像信息立刻发送到外部设备。在该情况下,基于来自外部设备的地址信息,从寄存器仅读出立体图像信息,并且将该立体图像信息发送到外部设备。因此,立体图像信息可以高速有效地发送到外部设备。
此外,根据本发明的另一方面,本发明提供一种电子设备,该设备包括:变化通知接收单元,其接收从具有寄存器的外部设备通知的立体图像信息的变化通知,该寄存器中预先写入功能信息;读取命令发送单元,其根据变化通知接收单元中接收的变化通知向外部设备发送读取命令和寄存器中的立体图像信息的地址信息;以及立体图像信息接收单元,其接收从对应于从读取命令发送单元发送的读取命令和从读取命令发送单元发送的立体图像信息的地址信息的外部设备中的寄存器读取和发送的立体图像信息。
在本技术中,外部设备包括预先写入功能信息的寄存器。当寄存器中写入的立体图像信息(3D信息)中产生变化时,从外部设备发送变化通知。通过变化通知接收单元接收变化通知。响应于变化通知,通过命令发送单元发送读取命令和寄存器中的立体图像信息的地址信息。
从对应于地址信息的寄存器中的地址读出立体图像信息,并且从外部设备发送该立体图像信息。如上所述,通过立体图像信息接收单元接收从外部设备发送的立体图像信息。在本技术中,例如,在立体图像信息中,包括能够由外部设备管理的立体图像数据的结构和视频格式的信息。
如从以上可以看出的,在本发明中,当外部设备中的寄存器中写入的立体图像信息中产生变化时,从外部设备发送变化通知,并且通过将读取命令发送到外部设备,立刻从外部设备发送变化的立体图像信息。然后,在该情况下,基于发送到外部设备的地址信息,在外部设备中从寄存器仅读取立体图像信息,并且将其发送。因此,可以以高速从外部设备有效地接收立体图像信息。
此外,根据本技术的另一方面,本发明提供一种电子设备,该电子设备包括:写入请求发送单元,其向具有寄存器的外部设备发送立体图像信息的写入请求,该寄存器中能够写入立体图像信息;写入许可接收单元,其接收从对应于从写入请求发送单元发送的写入请求的外部设备发送的写入许可;以及立体图像信息发送单元,其根据写入许可接收单元中接收的写入许可向外部设备发送写入命令、寄存器中的立体图像信息的地址信息和立体图像信息。
在本技术中,在外部设备中包括预先写入多种功能信息的寄存器,该多种功能信息包括立体图像信息(3D信息)。通过写入请求发送单元将立体图像信息的写入请求发送到外部设备。响应于写入请求,从外部设备发送写入许可。通过写入许可接收单元接收写入许可。响应于写入许可,写入命令、寄存器中的立体图像信息的地址信息和立体图像信息通过立体图像信息发送单元发送到外部设备。在外部设备中,接收如上所述发送的写入命令、寄存器中的立体图像信息的地址信息和立体图像信息,并且立体图像信息写入在对应于地址信息的寄存器中的地址中。
在本技术中,例如,在发送到外部设备的立体图像信息中,包括能够由其自身管理的立体图像数据的结构和视频格式的信息。此外,在本技术中,例如,进一步包括立体图像显示单元,并且在发送到外部设备的立体图像信息中,包括立体图像信息显示单元的立体图像信息显示系统的信息。此外,在本技术中,例如,进一步包括立体图像信息显示单元,并且在发送到外部设备的立体图像信息中,立体图像信息显示单元的观看者的位置信息包括在发送到外部设备的立体图像信息中。
此外,在本技术中,例如,外部设备进一步包括立体图像信息显示单元。此外,在本技术中,例如,外部设备包括其中双凸透镜布置在显示屏幕上的立体图像显示单元,并且或者在竖直和横向方向双凸透镜的位移量和旋转角的信息或者在竖直和横向方向图像的位移量和旋转角的信息的任一、或者二者包括在发送到外部设备的立体图像信息中。
此外,在本技术中,例如,外部设备包括立体图像信息显示单元,并且字幕的显示位置的信息包括在发送到外部设备的立体图像显示信息中。此外,在本技术中,例如,电子设备还包括使用快门眼镜使得立体图像被感知的立体图像显示单元,立体图像的开/关信息包括在发送到外部设备的立体图像信息中。
此外,在本技术中,例如外部设备包括使用快门眼镜得立体图像被感知的立体图像显示单元,并且立体图像的开/关信息包括在发送到外部设备的立体图像信息中。此外,在本技术中,例如,电子设备还包括将立体图像数据发送到外部设备的图像数据发送单元,并且立体图像数据的结构和视频格式的信息包括在发送到外部设备的立体图像信息中。
如上所述,在本发明中,写请求发送到外部设备,并且当从对应于以上的外部设备接收写入许可时,将立体图像信息(3D信息)发送到外部设备。因此,可以以高速有效地向外部设备发送立体图像信息。
此外,根据本技术的另一方面,本技术提供一种电子设备,其包括:寄存器,其中能够写入立体图像信息;写入请求接收单元,其从外部设备接收对寄存器的立体图像信息的写入请求;写入许可发送单元,其根据写入请求接收单元中接收的写入请求将写入许可发送到外部设备;以及写入控制单元,其根据从写入许可发送单元发送的写入许可接收从外部设备发送的写入命令、寄存器中的立体图像信息的地址信息和立体图像信息,并且在对应于接收的地址信息的寄存器中的地址上写入接收的立体图像信息。
在本技术中,电子设备包括能够写入立体图像信息的寄存器。通过写入请求接收单元,接收从外部设备发送的立体图像信息的写入请求。响应于写入信息,通过写入许可发送单元向外部设备发送写入许可。响应于写入许可,从外部设备发送写入命令、寄存器中的立体图像信息的地址信息和立体图像信息。然后,通过写入控制单元接收写入命令、寄存器中的立体图像信息的地址信息和立体图像信息,并且将立体图像信息写入在对应于地址信息的寄存器中的地址中。
如上所述,在本发明中,当从外部设备发送写入请求时,通过发送写入许可到外部设备,立刻从外部设备发送立体图像信息(3D信息)。因此,可以以高速有效地从外部设备接收立体图像。
本发明的有益效果
根据本技术,可以以高速有效地在电子设备之间发送立体图像信息(3D信息)。
附图说明
[图1]图1是根据本技术的实施例的图像显示系统的配置示例的框图。
[图2]图2是移动电话和构成图像显示系统的电视接收机的配置示例的框图。
[图3]图3是移动电话的MHL发送单元(MHL源设备)和电视接收机的MHL接收单元(MHL宿设备)的配置示例的图。
[图4]图4是用于MHL的寄存器的配置的图。
[图5]图5是HDMI源设备的HDMI发送单元和HDMI宿设备的HDMI接收单元的配置示例的图。
[图6]图6是图示紧接HDMI宿设备连接到HDMI源设备之后,HPD线(引脚19)通过100ms或更多设置为低(L)的图。
[图7]图7是图示在MHL中,使用MSC命令模拟对应于HDMI的HPD线的降低(L)的处理,并且使得对应于降低HPD线的时间为50ms或更多的图。
[图8]图8是MHL的当前能力寄存器(能力寄存器)的参数分配的状态的图。
[图9]图9是其中MHL设备(请求侧)读取(响应侧)的能力寄存器(能力寄存器)的过程的图。
[图10]图10是中断寄存器(设备中断寄存器)的配置的图。
[图11]图11是中断寄存器的“地址0x20”的“RCHANGE_INT寄存器”的细节的图。
[图12]图12是其中在MHL设备(变化侧)改变在终端阶段的自身能力寄存器(能力寄存器)之后,将其变化通知给另一方的MHL设备(响应侧)的过程的图。
[图13]图13是关于从MHL宿设备发送到MHL源设备的参数的示例的图。
[图14]图14是MHL宿设备支持的3D强制格式的图。
[图15]图15是允许MHL源设备读取MHL宿设备的3D信息的过程的序列图。
[图16]图16是使用普通暂存寄存器(scratchpad register)(暂存寄存器)的发送方法的序列图。
[图17]图17是使用采用暂存寄存器(便签式存储器寄存器)的发送方法从MHL宿设备发送到MHL源设备的3D信息的示例的图。
[图18]图18是从MHL宿设备发送到MHL源设备的3D开和关信息的示例的图。
[图19]图19是为了通过MHL宿设备向MHL源设备通知3D显示方法发送的信息的示例的图。
[图20]图20是用于说明观看者的面部位置的信息(诸如关于电视的距离或角度)的图。
[图21]图21是为了观看者可以基于其面部位置容易地观看3D图像执行校正的示例的图。
[图22]图22是用于说明在使用位置检测传感器不容易检测观看者的面部位置的情况下,例如使用电视遥控器的垂直和横向方向按钮、旋转按钮通过人工操作执行校正的图。
[图23]图23是在通过MHL宿设备进行使用位置检测传感器(面部检测传感器)或遥控器的位置信息的输入,并且通过MHL源设备进行校正处理的情况下,从MHL宿设备发送到MHL源设备的信息的示例的图。
[图24]图24是用于说明双凸透镜系统(直接观看系统的一个系统)的结构的图。
[图25]图25是用于说明双凸透镜系统(直接观看系统的一个系统)的结构的图。
[图26]图26是用于说明在通过直接观看系统中的观看者的位置优化3D效果的情况下,双凸透镜或图像、或者其二者在垂直和横向方向移位或旋转的图。
[图27]图27是在通过MHL源设备进行使用位置检测传感器(面部检测传感器)或遥控器的位置信息的输入,并且通过MHL宿设备进行校正处理的情况下,从MHL源设备发送到MHL宿设备的信息的示例的图。
[图28]图28是在2D屏幕上隐藏字幕(CC)的显示帧的图。
[图29]图29是用于说明在3D的情况下高度、宽度和深度三个方向指定为隐藏字幕(CC)的显示帧的位置的图。
[图30]图30是在包括隐藏字幕(CC)的AV流从MHL源设备发送的情况下,从MHL宿设备发送到MHL源设备的信息的示例的图。
[图31]图31是在电视接收机与MHL不兼容的情况下,图像显示系统的配置示例的框图。
具体实施方式
下文中,描述用于执行本发明的方面(下文中,称为实施例)。这里,按以下顺序进行描述。
1.实施例
2.修改
<1.实施例>
[图像显示系统]
图1图示作为实施例的用于显示立体图像(3D图像)的图像显示系统10的配置示例。图像显示系统10配置有作为MHL源设备的移动电话(移动电话)100和作为MHL宿设备的电视接收机200。这些设备通过MHL电缆300连接。
描述MHL的概况。主要地,MHL是用于移动设备的AV(视听)数字接口标准。在MHL中,MHL源设备通过MHL电缆连接到MHL宿设备,并且MHL源设备的诸如运动图像、静止图像、声音的内容在MHL宿设备中再现(AV流单方向)。此外,在各设备之间,通过发送和接收DDC命令和MSC(MHL边带信道)(遥控器相互方向)进行EDID读取、HDCP认证、寄存器读取/写入、遥控等的控制(遥控双方向)。
在图像显示系统10中,可能在移动电话100和电视接收机200之间执行信息(也就是说,关于3D的立体图像信息(下文中,适当地称为“3D信息”))的发送,并且执行详细的处理。在图像显示系统10中,使用暂存寄存器(暂存寄存器)或者能力寄存器(能力寄存器)以便发送3D信息。随后描述寄存器的细节。
例如,从电视接收机200,向移动电话100提供在电视接收机200中管理的立体图像数据的结构(3D结构)和视频格式的信息。这里,例如3D结构指示诸如帧封装格式、并排格式和上下格式的立体图像数据(3D图像数据)的发送格式。而且,视频格式指示3D图像数据分辨率、帧号码(字段号码)等,诸如在60Hz1920×1080i,或在60Hz1280×720P。
此外,例如,从电视接收机200,向移动电话100提供立体图像显示系统(3D显示系统)的信息。这里,例如存在3D眼镜(3D Glass)系统(快门眼镜系统)、直接观看系统、头部安装系统等作为3D显示系统。而且,例如,从移动电话100向电视接收机200提供3D图像的观看者(观察者)的位置信息。此外,例如,相反地,从电视接收机200向移动电话100提供立体图像(3D图像)的观看者(观察者)的位置信息。这里,位置信息是诸如例如示出关于图像显示单元观看者的面部位置的距离、角度(垂直角、横向角和扭转角)的信息。
此外,例如,存在这样的情况,其中电视接收机200的3D显示系统是直接观看系统,并且双凸透镜安排在显示屏幕上。在该情况下,在垂直和横向方向双凸透镜的位移量和旋转角度的信息、或者在垂直和横向方向图像的位移量或旋转角度的信息、或者二者从移动电话100提供到电视接收机200。而且,例如,隐藏字幕的显示位置(宽度、高度和深度)等的信息从电视接收机200提供到移动电话100。
而且,例如,在电视接收机200的3D显示系统是3D眼镜系统(快门眼镜系统)的情况下,3D的开和关信息从电视接收机200提供到移动电话100。此外,在该情况下,3D的开和关信息从移动电话100提供到电视接收机200。此外,例如,在电视接收机200的3D显示系统是3D眼镜系统(快门眼镜系统)的情况下,快门眼镜的电源开和关信息从移动电话100提供到电视接收机200。而且,例如,发送的3D图像数据的3D结构和视频格式的信息从移动电话100提供到电视接收机200。
[移动电话和电视接收机的配置示例]
图2图示移动电话100和电视接收机200的配置示例。首先,描述移动电话100。移动电话100包括控制单元101、用户操作单元102、显示单元103、以及3G/4G调制解调器单元104、相机单元105、记录再现单元106、发送处理单元107、MHL发送单元108和MHL终端109。
控制单元101控制移动电话100的每个单元的操作。用户操作单元102和显示单元103构成用户接口并且连接到控制单元101。用户操作单元102配置有在移动电话100的外壳(未示出)上布置的按键、按钮、拨盘或者在显示单元103的显示表面上布置的触摸面板等。显示单元103配置有LCD(液晶显示器)、有机EL(电致发光)等。
3G/4G调制解调器单元104执行蜂窝电话的通信。相机单元105拍摄运动图像和静止图像。记录再现单元106在诸如例如内置存储器(非易失性存储器)或存储卡的记录介质中被驱动,并且执行记录再现(读取和写入)。记录再现单元106执行通过调制解调器单元104操作的通信的记录再现。而且,记录再现单元106执行诸如通过调制解调器单元104获得的运动图像或静止图像的图像数据的记录再现,以及诸如通过相机单元(包括麦克风)105成像获得的运动图像或静止图像的图像数据与声音数据的记录再现。此外,在记录再现单元106中,进行用于关于诸如通过相机单元105成像获得运动图像和静止图像的图像数据压缩数据的处理。
根据通过用户操作单元102的用户的指令,记录再现单元106的记录介质的记录内容可以显示为内容列表。此外,当通过用户操作单元102由用户指令内容列表中的任一时,在记录再现单元106中,从记录介质再现指令内容的数据,并且将其发送到发送处理单元107。
这里,还可以考虑这样的情况,其中实时发送通过3G/4G调制解调器单元104获得的图像数据和声音数据或者通过相机单元105获得的图像数据或声音数据。在该情况下,未示出内容数据,然而,该数据直接发送到发送处理单元107。而且,还可以考虑这样的情况,其中在将存储卡插入其他设备并且写入内容数据之后,存储卡安装在记录再现单元106中,并且数据发送到发送处理单元107。
发送处理单元107执行处理,以使得通过记录再现单元106再现并且发送到电视接收机200的诸如运动图像、静止图像和声音数据的数据成为适当的形式。例如,转换3D图像数据的发送格式和视频格式,以便可能在电视接收机200中管理。MHL发送单元108连接到MHL终端109。MHL发送单元108将通过发送处理单元107处理的诸如图像和声音的数据,在根据基于MHL标准的通信的一个方向通过MHL电缆300从MHL终端109发送到电视接收机200。随后描述MHL发送单元108的细节。
接下来,描述电视接收机200。电视接收机200包括控制单元201、用户操作单元202、MHL终端203、MHL接收单元204、调谐器205、天线端子206、转换单元207、显示处理单元208和显示面板209。控制单元201控制电视接收机200的每个单元的操作。用户操作单元202构成用户接口并且连接到控制单元201。用户操作单元202配置有布置在电视接收机200的外壳(未示出)上的按键、按钮、拨盘或者遥控器。
MHL接收单元204连接到MHL终端203。MHL接收单元204根据基于MHL标准的通信,接收在通过MHL电缆300连接的移动电话100的一个方向从MHL发送单元108发送的图像和声音数据。MHL接收单元204向转换单元207提供接收的图像数据。此外,通过MHL接收单元204接收的声音数据提供给用于声音数据的转换单元(未示出)。稍后描述MHL接收单元204的细节。
调谐器205接收BS广播、数字陆地广播等。通过连接到天线端子206的天线(未示出)捕捉的广播信号提供到调谐器205。调谐器205基于广播信号获取预定节目的图像数据(屏幕图像信号)和声音数据。转换单元207选择地提取通过MHL接收单元204接收的图像数据或者通过调谐器205获取的图像数据。
显示处理单元208关于转换单元207提取的图像数据执行诸如隐藏字幕的字幕的重叠处理。此外,在转换单元207提取的图像数据是3D图像数据的情况下,显示处理单元208根据电视接收机200的3D图像系统基于其图像显示执行图像数据的创建处理。显示面板209根据显示处理单元208处理的图像数据显示图像。例如,显示面板209配置有LCD(液晶显示器)、有机EL(电致发光)、PDP(等离子体显示器面板)等。
[MHL发送单元和MHL接收单元的配置示例]
图3图示图2中的移动电话100的MHL发送单元108和电视接收机200的MHL接收单元204配置示例。MHL发送单元108提供有发送器(Transmitter)并且MHL接收单元204提供有接收器(Receiver)。MHL发送单元108和MHL接收单元204通过引脚和使用五线(MHL+、MHL-、CBUS、VBUS和GND)的MHL电缆相互连接。引脚分配根据连接器而不同,关于以上的描述在此未提及。“MHL+”和“MHL-”是一对双绞线并且发送AV流及其同步信号(MHL时钟)。
CBUS用于在相互方向发送DDC命令和MSC命令。DDC命令用于EDID读取或HDCP认证。此外,MSC命令用于EDID的控制、各种寄存器的读取和写入、遥控器的控制等。VBUS用于从MHL宿设备到MHL源设备或者从MHL源设备到MHL宿设备提供+5V的电源。
图4图示用于MHL的寄存器的配置。MHL发送单元108和MHL接收单元204分别具有四种类型的寄存器,并且可以通过MSC命令相互访问寄存器。各个作用如下。
(1)能力寄存器(能力寄存器)
存在指示每个MHL设备的功能的寄存器。通过读取“MSCREAD_DEVCAP命令”,可能获得另一方侧的设备的功能信息。
(2)中断寄存器(中断寄存器)
中断寄存器用于另一方侧的MHL设备的事件通知。通过“MSC SET_INT命令”,将该寄存器设置为另一方侧的中断寄存器。
(3)状态寄存器(状态寄存器)
状态寄存器向另一方侧的MHL设备通知其能力寄存器可以读取的事实和TMDS信道(TMDS信道)的状态。通过“MSC WRITE_STAT命令”,将该寄存器写入到另一方侧的状态寄存器。
(4)暂存寄存器(Scratchpad Register)
暂存寄存器执行对另一方侧的MHL设备的消息或数据发送。通过“MSCWRITE_BURST命令”,将该寄存器写入到另一方侧的暂存寄存器。
此外,在图4中,“MSC偏移范围”、“最大大小”、“Req’d大小”和“使用MHL CBUS”分别表示如下。换句话说,“MSC偏移范围”表示在读出和写入期间关于另一方侧的MHL设备的每个寄存器的偏移值。“最大大小”表示每个寄存器的最大容量(字节)。“Req’d大小”表示每个MHL设备需要具有的最小寄存器容量(字节)。
“使用MHL CBUS”表示关于另一方侧的MHL设备的每个寄存器使用访问系统的MSC命令。例如,在另一方侧的MHL设备的能力寄存器(能力寄存器)中,仅读取可用并且在此时可以使用“READ_DEVCAP命令”。此外,置位位(置位位)表示另一方侧的MHL设备的中断寄存器的某一位(多个位可以使用)被置位,并且在此时可以使用“SET_INT命令”。通过利用各寄存器,描述关于3D的各种应用。
[3D应用的描述]
描述在图1和图2中的图像显示系统10的关于3D的各种应用。下文中,通过适当地将移动电话100设置为MHL源设备以及将电视接收机200设置为MHL宿设备进行描述。
[3D能力的发送]
在3D的发送之前,源设备需要知道宿设备的3D能力,并且需要发送宿设备可以支持的范围的3D图像数据。具体地,意味着宿设备支持的3D结构和每个3D结构支持的视频格式。3D结构是帧封装格式、并排格式、上下格式等。而且,视频格式是1920×1080i,60Hz、1280×720P,60Hz等。
在HDMI中,在EDID中的HDMI-LLC厂商特定块(VSDB)中定义信息,并且除了其他EDID信息之外通过HDMI源设备写入该信息。在VSDB中3D信息本身是几字节到十几字节的数据量。EDID的数据长度是作为最小值的2块(256字节)和作为最大值的256字节(32,768字节)。在以上之间,HDMI VSDB包括在普通块1(从头部起第二块)中。
图5图示HDMI源设备的HDMI发送单元和HDMI宿设备的HDMI接收单元的配置示例。在与HDMI源设备连接之后,HDMI宿设备允许HPD线(引脚19)被降低(L:低)100ms或更多,如图6所示。HDMI源设备进行以上作为触发,并且基于I2C总线标准适用DDC线(引脚15、16和17)从图5中的EDID ROM读取EDID。而且,在HPD线为高(H:高)期间,HDMI源设备总是可以读取EDID。相反地,此外,在在HPD线为低期间,禁止EDID读取。
而且,在HDMI源设备和HDMI宿设备的连接期间,在包括3D信息的EDID的内容中生成变化的情况下,HDMI宿设备允许HPD线为低,并且在执行EDID的变化之后允许HPD线再次为高。HDMI源设备进行以上作为触发并且再次读取EDID。如果在HDMI宿设备侧支持的3D信息中生成变化,根据以上描述的过程执行EDID的变化,并且必须允许HDMI源设备读取。作为在HDMI设备侧支持的3D信息中生成变化的情况,例如,存在用户通过电视的3D支持菜单改变3D接收的启动和禁止、3D结构或视频格式支持范围的情况。
在MHL中,MHL宿设备具有与HDMI相同的方式的EDID,然而不具有HPD线。因此,使用MSC命令模拟对应于HDMI的低HPD线的处理。此时,对应于低HPD线的时间定义为50ms或更多。
图7是图示此时的流程的定时图。在MHL宿设备和MHL源设备的连接之后,如图7所示,MHL宿设备发送“CLR_HPD命令”到MHL源设备,并且MHL源设备送回表示接收到该命令的“ACK命令”。通过使50ms的间隙作为最小值,从MHL宿设备发送“SET_HPD命令”,接收关于以上的“ACK命令”,并且完成该过程。
在从接收“CLR_HPD命令”到接收“SET_HPD命令”的时段期间,禁止MHL源设备的EDID读取,并且在不同于以上的其他时段期间,MHL源设备总是能够读取。使用图3所示的BUS线上的DDC命令执行EDID读取。随后,在MHL宿设备侧的EDID内容中生成变化的情况下,再次执行图7所示的过程,并且在EDID读取的禁止时段期间变化EDID。
当在MHL中以与HDMI相同的方式在EDID内部部分中定义3D信息时,出现50ms或更多的时间延迟。而且,当在MHL中以与HDMI相同的方式在EDID内部部分中定义3D信息时,仅改变十几个字节,然而必需读取作为最小值的256字节和作为最大值的32,768字节的数据,花费过多的时间并且不必要的功率消耗是必需的。也就是说,对于诸如移动电话的CPU的处理性能低并且使用电池驱动的情况以上是缺点。在本发明中,可能通过利用作为标准安装到MHL源设备和MHL宿设备的上述寄存器、以及发送以最小值要求的信息,解决上述缺点。下文中,描述使用能力寄存器(能力寄存器)的方法和使用暂存寄存器(暂存寄存器)的方法。
(使用能力寄存器(能力寄存器)的方法)
首先,描述使用能力寄存器的方法。每个MHL设备预先在能力寄存器中写入在终端阶段的自身能力。MHL设备(MHL源设备和MHL宿设备)通过使用“READ_DEVCAP命令”读取另一方侧的能力寄存器来了解其能力。
图8图示当前能力寄存器(能力寄存器)的参数分配的状态。其中“X”附加到图8中的右侧的参数示出MHL源设备、MHL宿设备和MHL转换器(dongle)设备支持其参数。
图9图示右侧MHL设备(请求侧)读取左侧MHL设备(响应侧)的能力寄存器(能力寄存器)的过程。右侧MHL设备向左侧MHL设备发送“READ_DEVCAP命令”和读取信息的偏移值(地址)。关于以上,左侧MHL设备向右侧MHL设备发送示出接收到命令的ACK和对应于指定的偏移值的值。
而且,在本身的能力寄存器在处理中间改变的情况下,执行改变的MHL设备可以通过打开中断寄存器(设备终端寄存器)的对应位向其他方侧通知效果。图10图示中断寄存器的结构。此外,图11图示“地址0x20”的“RCHANGE_INT寄存器”的细节。
图12图示在右侧MHL设备(改变侧)改变在终端阶段的自身的能力寄存器(能力寄存器)之后,向另一方侧的MHL设备(响应侧)通知效果的过程。首先,右侧MHL设备改变在终端阶段的自身能力寄存器的任意部分。接下来,右侧MHL设备发送遵循左侧MHL设备的“SET_INT命令”、“偏移0x20”和“值0x01”。以上意味着“1”设置到图11所示的RCHANGE_INT(偏移0x20)的DCAP_CHANGE(位0)。
左侧MHL设备发回表示命令正常接收到右侧MHL设备的ACK。此外,左侧MHL设备可以通过将本身的DCAP_CHG位设置为“1”并且通过重复图9所示过程,了解存在其他方侧的能力寄存器(能力寄存器)的改变,执行重读取。
这里,在支持3D的MHL设备的情况下,所支持的3D结构和视频格式写入到还没有使用的偏移值,例如,图8所示的0x0F到0x1F。可能通过读取图9所示过程的MHL设备了解MHL宿设备的3D支持状态。图13是其中定义关于3D的参数的示例,然而,可以应用其他限定。
描述图13中关于3D的每个参数。在“3D_present=1”的情况下,MHL宿设备支持3D。其中从地址0x10指定的强制格式和可选格式的格式对于3D是支持的。在“3D_present=0”的情况下,不支持3D。
例如,在图14中示出强制格式。在图14中,VIC(视频ID代码)意味着增加到CEA-861定义的视频格式的视频号码。在VIC中,MHL宿设备中支持为2D的视频格式使用EDID的“视频数据块”中的“短视频描述符”中的VIC号码指定。
在“3D_present=1”的情况下“MHL_3d_LEN”有效。“MHL_3d_LEN”示出从地址0x10起的有效参数长度。三个参数,也就是说“2D_VIC_order_n”、“3D_Structure_n”和“3D_Detail_n”通过将以上三个分组为一个集合定义可选3D视频格式信息之一。
“2D_VIC_order_n”用索引0到15指定能够3D发送的视频格式。该索引表示对在EDID中的“视频数据块”中的“短视频描述符”2D指定的从头部到第16个VIC行的具体之一。例如,在“2D_VIC_order_n=0”的情况下,索引表示第一个VIC(头部),并且在“2D_VIC_order_n=15”的情况下,索引表示第16个VIC。
“3D_Structure_n”示出通过能够用从0到3几个值发送为3D的3D格式由“2D_VIC_order_n”指定的视频格式。各个值表示以下含义。
0:帧封装
1:并排
2:上下
3:(保留)
“3D_Detail”仅在“3D_Structure_n=1”的情况下有效,并且变为从0到3的任一值。各个值指示以下含义。
0:横向子采样奇数位置
1:横向子采用偶数位置
2:五点矩阵子采样奇数位置
3:五点矩阵子采用偶数位置
这里,设置使得十六个可选3D视频格式能够以最大值被指定的规范,一般,如果确保该程度的区域,则不存在问题。然而,如果规范改变,则可能指定更多的3D视频格式。此外,作为通知3D信息中的改变的标志,3D_CHG标志增加到图11中的位4。
使用以上描述的增加的参数,在接下来的过程中,允许MHL源设备读取MHL宿设备的3D信息。换句话说,(1)紧接MHL宿设备和MHL源设备的连接之后,或者紧接图13和图14中改变3D信息之后,如下执行MHL宿设备。也就是说,MHL宿设备发送“SET_INT(SET_INT+偏移0x20+值0x10)命令”并且将MHL源设备的3D_CHG标记设置为“1”。(2)MHL源设备响应ACK。(3)MHL源设备识别1设置给3D_CHG标记并且通过重复图9所示的过程,读取3D信息。图15中的序列图示出此时的过程。
(使用暂存寄存器(暂存寄存器)的方法)
接下来,描述使用暂存寄存器的方法。每个MHL设备具有用于发送消息或数据到另一方侧的MHL设备的16字节长度到64字节长度的暂存寄存器(参考图4)。在本发明中,暂存寄存器用于从MHL宿设备到MHL源设备发送3D信息。
图16示出使用一般暂存寄存器(暂存寄存器)的发送方法。该发送方法的基本过程是以下的(1)到(3)。
(1)向要发送的目的地的MHL设备请求的写入许可(用SET_INT命令设置要发送的目的地的REQ_WRT位)。
(2)要发送的目的地的MHL设备允许写入(用SET_INT命令设置发送源的GRT_WRT位)。
(3)发送源的MHL设备发送写入数据(WRITE_BURST命令+写入头部偏移+在最大值的16字节数据+EOF)。
图17图示通过上述使用暂存寄存器(暂存寄存器)的发送方法从MHL宿设备发送到MHL源设备的3D信息。在头部第一字节中,安排表示从第一字节发送的数据是3D信息的标识符“3D_ID_CODE(能力寄存器)”。第二字节后的参数具有图13中的含义相同的含义。在数据长度超过16字节以致不可以用“WRITE_BURST命令”一次发送数据的情况下,剩余的数据通过重复图16所示的过程发送。
[3D设备之间的协作]
除了以上描述的3D信息之外,以下示出的信息通过暂存寄存器(暂存寄存器)在MHL宿设备和MHL源设备之间发送。通过这样做,执行3D的设备之间的协作并且执行小心的控制。
(1)3D的开/关:宿→源和源→宿
(2)宿侧的3D显示系统(3D眼镜、头部安装和直接观看):宿→源
(3)观看者的位置(距离、垂直角度θ1、横向角度θ2和扭转角度θ3):宿→源和源→宿
(4)双凸透镜或图像的垂直偏移量、横向偏移量和旋转角度θ:源→宿
(5)诸如隐藏字幕(CC)等的字幕的显示位置:宿→源
[3D的开/关控制功能]
通过本申请,具有3D显示功能的MHL宿设备可以允许发送源的MHL源设备执行请求,在从MHL源设备接收3D内容期间,在接收中间暂时将显示转换为2D或者将显示转换为3D。例如,当观看者(观察者)摘下3D眼镜时、当关闭3D眼镜的电源时等是有效的。
当MHL宿设备检测到摘下3D眼镜,3D眼镜的电源关闭,按下遥控器上的3D/2D按钮等时,MHL宿设备向MHL源设备请求2D。此时,MHL宿设备通过例如发送图18所示2字节信息(数据行)向MHL源设备请求2D。MHL宿设备(发送源)通过遵循图16所示的过程向MHL源设备(要发送的目的地)的暂存寄存器(暂存寄存器)写入信息,发送2字节的信息到MHL源设备。
在图18所示的2字节信息中,在第一字节中,布置表示该信息是3D开/关信息标识符“3D_ID_CODE(3D开/关)”。此外,在2字节信息中,3D开/关信息“3D_ON/OFF”布置在第二字节的第七位。这里,设置“3D_ON/OFF=0”,“3D OFF”,也就是说,显示“请求2D”。此外,通过设置“3D_ON/OFF=1”,“3D ON”,也就是说,可以显示“请求3D”。
接收2字节信息的MHL源设备在发送内容之后从3D转换为2D。相反地,当发送内容返回3D时,MHL宿设备再次发送图18所示的2字节信息。在该情况下,设置“3D_ON/OFF=1”,并且“3D ON”,也就是说,显示“请求3D”。接收2字节信息的MHL源设备在发送内容之后从2D转换为3D。
通过上述3D的开/关控制,当观看者摘下3D眼镜、关闭3D眼镜的电源等时,显示立刻转换为2D。因此,观看者可以连续地观看2D的内容,无需接缝。此外,通过上述3D的开/关控制,当观看者佩戴3D眼镜、打开3D眼镜的电源等时,显示立刻转换为3D。因此,观看者可以无缝地连续观看3D的内容。
在以上描述中,MHL宿设备控制MHL源设备的内容发送的3D/2D。相反地,可以考虑MHL源设备控制MHL宿设备的的3D/2D显示的情况。在该情况下,上述图18所示的2字节信息(数据行)遵循图16所示的过程从MHL源设备发送到MHL宿设备。在2D内容可以插入3D内容的情况下,通过以从3D到2D的转换的时序执行当前处理,可能例如通过禁止3D眼镜的快门允许右和左眼镜进入打开状态。通过这样做,与启动快门时相比可以更清楚地观看2D图像。
在HDMI中,在垂直消隐期间,通过HDMI VSI(厂商特定信息帧)分组,发送期间的3D内容信息发送到HDMI宿设备。因此,在MHL中也以相同的方式,通过利用垂直消隐时段,可以考虑3D/2D转换信息发送到MHL宿设备。然而,在60Hz的帧速率的视频格式的情况下,如果使用垂直消隐,出现最大值16.7ms的时间延迟。另一方面,当通过暂存寄存器(暂存寄存器)交换信息时,因为经由约1Mbps的CBUS执行发送速率,所以比使用垂直消隐的情况更有优势。
[检测观看者的位置和显示适当的3D图像的功能:3D眼镜系统的情况]
本应用是用于3D眼镜系统(快门眼镜系统)的应用。因此,在处理之前,MHL宿设备向MHL源设备通知3D显示系统是3D眼镜系统。
因此,MHL宿设备例如通过发送图19所示的2字节信息(数据行)通知MHL源设备。MHL宿设备(发送源)通过遵循图16所示的过程写入昔日到MHL源设备的暂存寄存器(暂存寄存器)发送2字节信息。
在图19所示2字节信息中,在第一字节中,布置表示该信息是3D显示系统信息的标识符“3D_ID_CODE(宿类别)”。此外,在2字节信息中的第二字节的第七位到第五位中,布置3D显示系统信息“宿类别”。这里,设置“宿类别=001”,显示“3D眼镜系统”。除了以上之外,例如,“宿类别=010”表示“直接观看”,并且“宿类别=011”表示“头部安装系统”。
在3D眼镜系统的情况下,MHL源设备执行本应用。在3D眼镜系统的MHL宿设备的情况下,一般,当观看者(观察者)在正面方向垂直观看3D图像时,可以获得最大3D效果。当观看者在与电视偏斜的方向或在面部移位的状态下观看3D图像时,不仅3D效果降低而且观看者可以感觉到生理不便。
这里,在本申请中,进行校正处理,以便允许3D图像进入关于观看者观看图像的位置的最优状态。在该情况下,例如,如图20(a)所示,使用MHL宿设备中安装的位置检测传感器(面部检测传感器),检测据电视机屏幕的观看者的面部的位置或倾斜度。
如图20所示,可以考虑存在一个观看者的情况。在该情况下,从电视机屏幕的中心到观看者面部的距离设置为r(参考图20(a)),在横向方向上关于穿过电视机屏幕的中心的法线的角度设置为角度θ1(参考图20(b))。而且,在该情况下,在垂直向方向上关于穿过电视机屏幕的中心的法线的角度设置为角度θ2(参考图20(c)),并且面部的倾斜度的角度设置为θ3(参考图20(d))。
图21图示关于观看者使得3D图像被容易地观看的校正的示例。如图21所示,显示图像使得从屏幕正面被观看,以便关于观看者最大化3D效果。此外,省略各图,然而,存在两个观看者或者更多的情况,考虑通过聚焦在平均位置或接近屏幕的一个观看者执行校正的方法。
如图22(a)中所示,当难以使用位置检测传感器(面部检测传感器)检测观看者的面部位置时,例如,如图22(b)所示,考虑通过使用遥控器的箭头按钮和旋转按钮在观看屏幕的同时的手动操作执行校正的方法。关于如从以上可以看出的使用传感器的3D图像校正技术和面部检测技术,可以使用现有技术中的公知技术,因此这里省略其详细描述。
当使用位置检测传感器(面部检测传感器)或者遥控器通过MHL宿设备执行位置信息的输入,并且通过MHL源设备执行校正处理时,例如,图23所示的5字节信息从MHL宿设备发送到MHL源设备。MHL宿设备(发送源)通过遵循图16所示的过程将信息写入到MHL源设备的暂存寄存器(暂存寄存器),来将5字节信息发送到MHL源设备。
在图23所示5字节信息中,在第一字节中,布置表示该信息是3D校正信息的标识符“3D_ID_CODE(3D调整1)”。此外,在5字节信息中,在第二字节中布置距离r的信息,以及在第三字节中布置垂直角度θ1(90°到-90°)的信息。而且,在5字节信息中,在第四字节中布置横向角度θ2(90°到-90°)的信息,以及在第五字节中布置扭转角度θ3(90°到-90°)的信息。
接收5字节信息的MHL源设备执行图像校正处理,该处理允许3D图像基于距离r的信息、垂直角度θ1的信息、横向角度θ2的信息和扭转角度θ3的信息,关于观看者观看图像的位置进入最优状态。MHL源设备在经由图3所述的TMDS信道对MHL宿设备校正之后发送图像数据。
此外,相反地,还可以考虑使用位置检测传感器通过MHL源设备执行位置信息的输入,并且通过MHL宿设备执行图像校正处理的情况。在该情况下,MHL源设备发送图23所示5字节信息(数据行)到MHL宿设备。在该情况下,不校正经由TMDS信道从MHL源设备发送的图像数据。因此,MHL宿设备允许3D图像基于距离r的信息、垂直角度θ1的信息、横向角度θ2的信息和扭转角度θ3的信息,关于观看者观看图像的位置进入最优状态。
[检测观看者的位置和显示适当的3D图像的功能:直接观看的情况]
本申请是特别地用于直接观看系统的应用。因此,在处理之前,MHL宿设备向MHL源设备通知3D显示系统是直接观看系统。
因此,MHL宿设备例如通过发送图19所示的2字节信息(数据行)向MHL源设备通知信息。这里,设置“宿类别=010”并且显示“直接观看”。MHL宿设备(发送源)通过遵循图16所示的过程向MHL源设备(要发送的目的地)的暂存寄存器(暂存寄存器)写入信息,来向MHL源设备发送2字节信息。MHL源设备在直接观看系统的情况下实施本申请。
图24和图25示出作为直接观看系统之一的双凸透镜系统的配置。在双凸透镜系统的情况下,图24(a)所示的双凸透镜重叠并布置在如图24(b)所示的电视显示屏幕上。如图25所示双凸透镜形成为平坦和不平坦的。通过在电视屏幕上重叠双凸透镜并且当电视屏幕上的发射的光穿过双凸透镜时利用折射,实现直接观看系统的3D显示。
还是在该情况下,以与上述3D眼镜系统相同的方式,当从正面垂直观看电视屏幕时可以获得最大3D效果。这里,以与上述3D眼镜系统相同的方式,还是在直接观看系统中,可以考虑根据观看者的位置优化3D效果的情况。在该情况下,如图26所示,通过在垂直和横向方向移位图像或双凸透镜或者二者或者通过旋转,可能根据观看者观看图像的位置提高3D效果。
当使用位置检测传感器(面部检测传感器)或者遥控器通过MHL源设备执行位置信息的输入时,或者当通过MHL宿设备执行校正处理时,例如,MHL源设备向MHL宿设备发送图27所示的8字节信息(数据行)。MHL源设备(发送源)通过遵循图16所示的过程向MHL宿设备(要发送的目的地)的暂存寄存器(暂存寄存器)写入信息,来向MHL宿设备发送8字节信息。
在图27所示的8字节信息中,在第一字节中,布置表示信息是3D图像校正信息的标识符“3D_ID_CODE(3D调整2)”。而且,在8字节信息中,在第二字节中布置距离r的信息。并且,在8字节信息中,在第三字节、第四字节和第五字节中布置双凸透镜的垂直位移量(100%到-100%)、横向位移量(100%到-100%)和扭转角度θ(90°到-90°)。此外,在8字节信息中,在第六字节、第七字节和第八字节中布置图像的垂直位移量(100%到-100%)、横向位移量(100%到-100%)和扭转角度θ(90°到-90°)。
接收8字节信息的MHL宿设备执行校正,以便允许3D图像基于其中包括的信息关于观看者观看图像的位置进行最优状态。在该情况下,MHL宿设备关于双凸透镜或者电视显示屏幕或者其二者执行移位和旋转处理。
[隐藏字幕(Closed Caption)显示位置的3D控制]
隐藏字幕(CC)在美国执行,并且是通过同步电视屏幕上的对话或有效声音与图像示出字符的字幕显示功能。在隐藏字幕中,要显示的字符或控制信息被编码,并且被增加到广播波或DVD等的分组内容中的特定轨道。
电视的调谐器接收的CC代码通过电视的CC解码器解码,并且作为字符显示在电视屏幕上。此时,电视屏幕的字符的显示位置可以通过电视的遥控器改变。作为操作方法的一个示例,每当每次按下遥控器上的位置确定按钮时,按右上方到右下方到左上方到左下方的顺序改变CC的显示位置。
HDMI和MHL不具有将CC代码照原样从源设备发送到宿设备的功能。因此,例如,当具有调谐器的源设备接收广播波并且在宿设备侧观看图像时,或者当设置具有DVD再现功能的源设备以再现包括CC代码的DVD时,CC代码可以不照原样发送到宿设备。
因此,CC代码通过源设备侧的cc解码器解码,并且通过作为字符的代码展现在屏幕上(开放字幕),经由HDMI或MHL电缆作为AV流被发送到宿设备。在该情况下,使用源侧的遥控器改变屏幕上字符的显示位置。在该情况下,如果可能使用宿侧(也就是说,电视)的遥控器改变显示位置,则是方便的。
图28中的虚线示出的距离表示现有技术中2D屏幕上CC显示框。在该情况下,虚线指定高度和宽度两个位置。在3D的情况下,如图29所示,作为显示位置,虚线指定三个,除了高度和宽度之外还有深度。
当从MHL源设备发送包括隐藏字幕(CC)的AV流时,MHL宿设备例如发送图30所示的7字节信息(数据行)到MHL源设备。MHL宿设备(发送源)通过遵循图16所示的过程向MHL源设备(要发送的目的地)的暂存寄存器(暂存寄存器)写入信息,来向MHL源设备发送7字节信息。
在图30所示的7字节信息中,在第一字节中,布置表示信息是CC信息的标识符“3D_ID_CODE(隐藏字幕)”。而且,在7字节信息中,在第二字节中布置字符的尺寸(特大、大、中等和小)的信息,并且在第三字节中布置点A的横向方向的信息(0到255),在第四字节中布置点A的垂直方向的信息(0到255)。此外,在7字节信息中,在第五字节中布置点B的横向方向的信息(0到255),在第六字节中布置点B的垂直方向的信息(0到255),在第七字节中布置点A和B的深度方向的信息(0到255)。
此外,图30所示的7字节信息中包括每个信息的含义如下。
(1)字符尺寸:指定显示的字符的尺寸。存在四种类型,诸如特大、大、中等和小。
(2)点A的横向方向:在图28中的虚线示出矩形显示框上指定左上方的横向位置。当值是0时,不存在指定。当值是1到255时,指定当将宿屏幕的宽度划分为254部分时从左侧起的位置。例如,在“1”的情况下,屏幕的左侧指定为点A的横向方向的位置,并且在“255”的情况下,屏幕的右侧指定为点A的横向方向的位置。
(3)点A的垂直方向:指定图28中的虚线示出矩形显示框的左上的垂直位置。当值是0时,不存在指定。当值是1到255时,指定当将宿屏幕的宽度划分为254部分时从上部起的位置。例如,在“1”的情况下,屏幕的上方指定为点A的垂直方向的位置,并且在“255”的情况下,屏幕的下方指定为点A的垂直和横向方向的位置。
(4)点B的横向方向:在图28中的虚线示出矩形显示框上指定右上方的横向位置。当值是0时,不存在指定。当值是1到255时,指定当将宿屏幕的宽度划分为254部分时从左侧起的位置。例如,在“1”的情况下,屏幕的左侧指定为点B的横向方向的位置,并且在“255”的情况下,屏幕的右侧指定为点B的横向方向的位置。
(5)点B的垂直方向:指定图28中的虚线示出矩形显示框的右下的垂直位置。当值是0时,不存在指定。当值是1到255时,指定当将宿屏幕的宽度划分为254部分时从上部起的位置。例如,在“1”的情况下,屏幕的上方指定为点B的垂直方向的位置,并且在“255”的情况下,屏幕的下方指定为点B的垂直方向的位置。
(6)显示框AB的深度:指定图29中虚线示出的矩形显示框AB的深度位置。当值是0时,不存在指定。当值是1到255时,指定当将宿屏幕的深度划分为254部分时从最前方起的位置。例如,在“1”的情况下,屏幕的最前方部分指定为矩形显示框AB的深度的位置,并且在“255”的情况下,屏幕的最后面部分指定为矩形显示框AB的深度的位置。
接收7字节信息的MHL源设备在其中包括指定的位置和深度的矩形框AB内,用指定的字符尺寸基于其中包括的信息展现(开放字幕)字符。MHL源设备通过TMDS信道作为AV流发送信息到MHL宿设备。由于预先在AV流中展现隐藏字幕(CC),所以MHL宿设备不必解码CC代码,并且可以照原样显示图像。
在图1和图2示出的图像显示系统中,使用MHL的能力寄存器(能力寄存器)和暂存寄存器(暂存寄存器)执行各设备之间的3D信息的发送。因此,可能以高速高效地发送3D信息。
例如,与HDMI的情况相比,可能以高速将MHL宿设备的3D能力发送到MHL源设备。结果,因为可以关于电池驱动的并且CPU性能低的移动设备,实现响应的改进和电池功耗的降低,所以对以上非常有效。上述还匹配其中以使用移动设备为前提的MHL标准的要旨。而且,使用各种MHL设备的寄存器,因为执行在相互方向上的宿和源之间的数据发送,所以可以实现不可以在HDMI设备中执行的详细的各种3D处理。
[修改]
这里,根据实施例的图像显示系统10示出其中电视接收机200是如图1所示的MHL宿设备的示例。然而,还是在图31示出的图像显示系统10A中,本发明可以以相同的方式应用。在图像显示系统10A中,移动电话100和MHL转换器(dongle)400通过MHL电缆300相互连接。而且,MHL转换器400和电视接收机200A通过HDMI电缆500相互连接。MHL转换器400执行MHL-HDMI的转换处理。
在图像显示系统10A中,电视接收机200A与HDMI兼容,然而,与MHL不兼容。在图像显示系统10A中,来自移动电话100的AV流是在使用MHL转换器400从MHL转换为HDMI之后,对电视接收机200A的HDMI输入端子的输入。
此外,根据上述本实施例,示出MHL源设备是移动电话100并且MHL宿设备是电视接收机200的示例。然而,MHL源设备和MHL宿设备的组合不限于以上。即使在这样的情况下,也可能在使用MHL的能力寄存器、暂存寄存器等以高速在各设备之间高效地发送3D信息,并且通过执行在各设备之间发送3D信息,可以执行详细的控制。
而且,即使不提及以上,从MHL源设备发送到MHL宿设备的3D图像数据的3D结果和视频格式可以使用暂存寄存器从MHL源设备发送到MHL宿设备。以与使用上述各种3D信息的暂存寄存器的发送相同的方式,执行发送方法,因此省略其描述。
在本实施例,隐藏字幕显示为字幕,本发明可以应用于其他字幕,例如,DVB字幕、ARIB字幕等。
本发明可以例如应用于构成用于显示3D图像的图像显示系统的电子设备。
参考符合列表
10、10A  图像显示系统
100  移动电话
101  控制单元
102  用户操作单元
103  显示单元
104  3G/4G调制解调器单元
105  相机单元
106  记录再现单元
107  发送处理单元
108  MHL发送单元
109  MHL终端
200、200A  电视接收机
201  控制单元
202  用户操作单元
203  MHL终端
204  MHL接收单元
205  调谐器
206  天线端子
207  转换单元
208  显示处理单元
209  显示面板
300  MHL电缆
400  MHL电缆
500  HDMI电缆

Claims (5)

1.一种电子设备,包括:
寄存器,功能信息预先写入到该寄存器;
变化通知发送单元,当寄存器中写入的立体图像信息中存在变化时,该变化通知发送单元将变化通知发送到外部设备;
读取命令接收单元,其接收根据从变化通知发送单元发送的变化通知而从外部设备发送的读取命令、以及寄存器中的立体图像信息的地址信息;以及
立体图像信息发送单元,其从对应于读取命令接收单元中接收的地址信息的寄存器中的地址读出立体图像信息,并且将立体图像信息发送到外部设备。
2.如权利要求1所述的电子设备,其中立体图像信息包括能够管理的立体图像数据的结构和视频格式的信息。
3.一种立体图像信息发送方法,包括:
变化通知发送步骤,当寄存器中写入的立体图像信息中存在变化时,将变化通知发送到外部设备,功能信息预先写入到该寄存器;
读取命令接收步骤,接收根据变化通知发送步骤中发送的变化通知而从外部设备发送的读取命令,并且接收寄存器中的立体图像信息的地址信息;以及
立体图像信息发送步骤,从对应于读取命令接收步骤中接收的地址信息的寄存器中的地址读出立体图像信息,并且将立体图像信息发送到外部设备。
4.一种电子设备,包括:
变化通知接收单元,其接收从具有寄存器的外部设备通知的立体图像信息的变化通知,功能信息预先写入到该寄存器;
读取命令发送单元,其根据变化通知接收单元中接收的变化通知,向外部设备发送读取命令和寄存器中的立体图像信息的地址信息;以及
立体图像信息接收单元,其接收从外部设备中的寄存器读取和发送的立体图像信息,该寄存器对应于从读取命令发送单元发送的读取命令和从读取命令发送单元发送的立体图像信息的地址信息。
5.一种立体图像信息接收方法,包括:
变化通知接收步骤,接收从具有寄存器的外部设备通知的立体图像信息的变化通知,功能信息预先写入到该寄存器;
读取命令发送步骤,根据变化通知接收步骤中接收的变化通知,向外部设备发送读取命令和寄存器中的立体图像信息的地址信息;以及
立体图像信息接收步骤,接收从外部设备中的寄存器读取和发送的立体图像信息,该寄存器对应于读取命令发送步骤中发送的读取命令和立体图像信息的地址信息。
CN201280001902.6A 2011-02-09 2012-02-06 电子设备、发送电子设备中的立体图像信息的方法和接收电子设备中的立体图像信息的方法 Expired - Fee Related CN102972034B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2011026482A JP5673172B2 (ja) 2011-02-09 2011-02-09 電子機器、電子機器における立体画像情報送信方法、および電子機器における立体画像情報受信方法
JP2011-026482 2011-02-09
PCT/JP2012/052648 WO2012108393A1 (ja) 2011-02-09 2012-02-06 電子機器、電子機器における立体画像情報送信方法、および電子機器における立体画像情報受信方法

Publications (2)

Publication Number Publication Date
CN102972034A CN102972034A (zh) 2013-03-13
CN102972034B true CN102972034B (zh) 2015-07-15

Family

ID=46638608

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280001902.6A Expired - Fee Related CN102972034B (zh) 2011-02-09 2012-02-06 电子设备、发送电子设备中的立体图像信息的方法和接收电子设备中的立体图像信息的方法

Country Status (10)

Country Link
US (1) US9628872B2 (zh)
EP (1) EP2541955B1 (zh)
JP (1) JP5673172B2 (zh)
KR (1) KR101905918B1 (zh)
CN (1) CN102972034B (zh)
AU (1) AU2012215788A1 (zh)
BR (1) BR112012025208A2 (zh)
CA (1) CA2800347A1 (zh)
RU (1) RU2604987C2 (zh)
WO (1) WO2012108393A1 (zh)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102833418B (zh) * 2012-08-31 2016-08-24 广东欧珀移动通信有限公司 一种rcp通信过程选择联系人方法及移动智能终端
WO2014061624A1 (ja) * 2012-10-16 2014-04-24 ソニー株式会社 電子機器、電子機器の充電制御方法、電子機器のバッテリ残量表示方法、ソース機器およびシンク機器
CN102945076B (zh) * 2012-10-19 2016-08-24 广东欧珀移动通信有限公司 一种显示终端图像旋转方法、装置及一种显示控制系统
CN102984568B (zh) * 2012-11-21 2016-08-03 广东欧珀移动通信有限公司 一种遥控器控制移动终端的方法和系统
WO2014141425A1 (ja) * 2013-03-14 2014-09-18 株式会社 東芝 映像表示システム、ソース機器、シンク機器及び映像表示方法
JP2015029209A (ja) * 2013-07-30 2015-02-12 株式会社東芝 受信装置、送信装置、及び送受信システム
KR101549164B1 (ko) 2013-08-08 2015-09-03 주식회사 넥시아 디바이스 엠에이치엘 인터페이스를 통한 문자 송수신 방법
US20150172589A1 (en) * 2013-12-16 2015-06-18 Kabushiki Kaisha Toshiba Electronic device and method for controlling the same
JP6442836B2 (ja) * 2014-02-28 2018-12-26 セイコーエプソン株式会社 表示装置、および、表示装置の制御方法
CN106464964B (zh) * 2014-03-13 2019-09-10 Lg电子株式会社 利用hdmi发送和接收数据的装置和方法
KR20160050296A (ko) * 2014-10-29 2016-05-11 삼성전자주식회사 전자 장치 및 그 제어 방법
JP2016116178A (ja) * 2014-12-17 2016-06-23 ソニー株式会社 通信装置及び通信方法
EP3038358A1 (en) 2014-12-22 2016-06-29 Thomson Licensing A method for adapting a number of views delivered by an auto-stereoscopic display device, and corresponding computer program product and electronic device
JP2016122873A (ja) 2014-12-24 2016-07-07 ソニー株式会社 通信装置及び通信方法
JP2016127433A (ja) 2014-12-29 2016-07-11 ソニー株式会社 通信装置及び通信方法
US10277275B2 (en) 2015-09-08 2019-04-30 Google Llc Audio media streaming device
US9736531B2 (en) 2015-09-08 2017-08-15 Google Inc. Video media streaming device
CN105868130A (zh) * 2015-12-08 2016-08-17 乐视移动智能信息技术(北京)有限公司 一种控制接口应用程序的方法及移动终端
CN105578233B (zh) * 2016-01-29 2019-03-01 四川长虹电器股份有限公司 一种实现智能电视控制手机应用的方法
US11079799B2 (en) * 2016-05-04 2021-08-03 Hewlett-Packard Development Company, L.P. Mateable computing devices

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6115823A (en) * 1997-06-17 2000-09-05 Amphus, Inc. System and method for task performance based dynamic distributed power management in a computer system and design method therefor
JP3922326B2 (ja) * 1998-06-30 2007-05-30 富士フイルム株式会社 非同期データ通信方法
KR20010097455A (ko) * 2000-04-24 2001-11-08 윤종용 온 스크린 디스플레이 커서 표시방법 및 osd 영상 표시장치
WO2003056608A1 (en) * 2001-12-21 2003-07-10 Thinking Pictures, Inc. Method, system and apparatus for media distribution and viewing verification
JP2003322824A (ja) * 2002-02-26 2003-11-14 Namco Ltd 立体視映像表示装置および電子機器
JP2004062220A (ja) * 2002-07-24 2004-02-26 Matsushita Electric Ind Co Ltd 情報処理装置、情報処理方法、およびプログラム変換装置
JP3958150B2 (ja) * 2002-08-22 2007-08-15 シャープ株式会社 表示補正装置、表示補正方法、表示補正プログラム、および表示補正プログラムを記録した記録媒体
US7535841B1 (en) * 2003-05-14 2009-05-19 Nortel Networks Limited Flow-rate-regulated burst switches
JP2005332032A (ja) * 2004-05-18 2005-12-02 Murata Mach Ltd データ転送システム
WO2008095251A1 (en) * 2007-02-07 2008-08-14 Vr21 Pty Ltd Multi-view stereoscopic display
JP2009100456A (ja) * 2007-09-27 2009-05-07 Panasonic Corp ビデオ・オーディオ出力装置および記録媒体
JP4483939B2 (ja) * 2007-12-19 2010-06-16 船井電機株式会社 映像信号処理装置
JP5338166B2 (ja) * 2008-07-16 2013-11-13 ソニー株式会社 送信装置、立体画像データ送信方法、受信装置および立体画像データ受信方法
WO2010064118A1 (en) * 2008-12-01 2010-06-10 Imax Corporation Methods and systems for presenting three-dimensional motion pictures with content adaptive information
JP2010147542A (ja) * 2008-12-16 2010-07-01 Panasonic Corp データ送信回路
JP5351960B2 (ja) * 2009-05-14 2013-11-27 パナソニック株式会社 ビデオデータの伝送方法
CN102172033B (zh) 2009-06-17 2013-07-17 松下电器产业株式会社 再生装置、记录方法、记录介质再生系统
TW201119353A (en) * 2009-06-24 2011-06-01 Dolby Lab Licensing Corp Perceptual depth placement for 3D objects
US9924154B2 (en) * 2009-07-27 2018-03-20 Koninklijke Philips N.V. Switching between 3D video and 2D video

Also Published As

Publication number Publication date
BR112012025208A2 (pt) 2017-06-27
US20130021439A1 (en) 2013-01-24
KR20140000137A (ko) 2014-01-02
WO2012108393A1 (ja) 2012-08-16
EP2541955A1 (en) 2013-01-02
EP2541955B1 (en) 2016-01-13
KR101905918B1 (ko) 2018-10-08
RU2012141875A (ru) 2014-04-10
JP2012169702A (ja) 2012-09-06
EP2541955A4 (en) 2013-11-06
RU2604987C2 (ru) 2016-12-20
CN102972034A (zh) 2013-03-13
US9628872B2 (en) 2017-04-18
JP5673172B2 (ja) 2015-02-18
AU2012215788A1 (en) 2012-11-01
CA2800347A1 (en) 2012-08-16

Similar Documents

Publication Publication Date Title
CN102972034B (zh) 电子设备、发送电子设备中的立体图像信息的方法和接收电子设备中的立体图像信息的方法
CN102804789B (zh) 接收系统和提供3d图像的方法
CN105308977B (zh) 发送装置和方法、接收装置和方法以及计算机可读存储介质
CN102811361B (zh) 立体图像数据发送、接收和中继方法以及其设备
US20100271461A1 (en) Transmitting apparatus, stereoscopic image data transmitting method, receiving apparatus, and stereoscopic image data receiving method
CN103533282A (zh) 发送设备、发送方法、接收设备以及接收方法
CN103763499A (zh) 显示设备、发送设备和视频信号的发送方法
CN102025942A (zh) 视频处理系统和视频处理方法
US20150163450A1 (en) Video display system, source device, sink device, and video display method
CN106031187B (zh) 发射设备、发射方法、接收设备与接收方法
CN103814577A (zh) 发送装置、发送方法、接收装置、接收方法和发送/接收系统
CN102316346A (zh) 图像数据发送设备和方法、接收设备和方法及系统
CN102884800A (zh) 发送装置、发送方法、接收装置、以及接收方法
CN105491368A (zh) 基于fpga的4k裸眼3d一体机及其播放视频的方法
TWI674556B (zh) 用於在平板面板輸入立體圖像的硬體系統
CN109982004A (zh) 一种视频点对点拼接系统
KR20120139528A (ko) 화상 데이터 송신 장치, 화상 데이터 송신 방법 및 화상 데이터 수신 장치
JP5725604B2 (ja) 表示装置、電子機器、及び機器制御システム
CN102857770A (zh) 三维显示系统的显示芯片的运作方法
CN209545719U (zh) 一种视频点对点拼接系统
CN219875871U (zh) 一种用于横竖屏显示的投屏装置及电子设备
WO2015174357A1 (ja) レセプタクル、プラグ、送信装置、送信装置におけるデータ送信方法、受信装置および受信装置におけるデータ受信方法
CN115967830A (zh) 一种显示设备及音画同步方法
TWI510055B (zh) 立體影像格式轉換器及其立體影像格式轉換方法
KR20130076675A (ko) 디스플레이장치, 이에 접속되는 외장형 주변장치 및 그 영상표시방법

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20150715

Termination date: 20220206