CN105319717A - 用于显示图像的头戴式显示设备及其方法 - Google Patents

用于显示图像的头戴式显示设备及其方法 Download PDF

Info

Publication number
CN105319717A
CN105319717A CN201510456850.7A CN201510456850A CN105319717A CN 105319717 A CN105319717 A CN 105319717A CN 201510456850 A CN201510456850 A CN 201510456850A CN 105319717 A CN105319717 A CN 105319717A
Authority
CN
China
Prior art keywords
lens
hmd equipment
image
hmd
color information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201510456850.7A
Other languages
English (en)
Other versions
CN105319717B (zh
Inventor
韩橓燮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020150007447A external-priority patent/KR102321362B1/ko
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN105319717A publication Critical patent/CN105319717A/zh
Application granted granted Critical
Publication of CN105319717B publication Critical patent/CN105319717B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B27/0172Head mounted characterised by optical features
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/56Processing of colour picture signals
    • H04N1/60Colour correction or control
    • H04N1/6083Colour correction or control controlled by factors external to the apparatus
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0112Head-up displays characterised by optical features comprising device for genereting colour display
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B2027/0178Eyeglass type

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)

Abstract

提供了一种头戴式显示(HMD)设备、HMD设备显示图像的方法、非瞬时计算机可读记录介质以及芯片集。HMD设备包括:色彩信息获得单元,被配置为获得关于布置在HMD设备的一部分处的透镜的色彩信息;以及控制单元,被配置为经由布置在HMD设备处的显示单元来输出基于色彩信息修改的图像。所述方法包括:获得关于布置在HMD设备的一部分处的透镜的色彩信息;以及经由布置在HMD设备处的显示单元来输出基于色彩信息修改的图像。

Description

用于显示图像的头戴式显示设备及其方法
对相关申请的交叉引用
本申请要求于2014年7月29日向韩国知识产权局提交的序列号No.10-2014-0096765的韩国专利申请和于2015年1月15日向韩国知识产权局提交的序列号No.10-2015-0007447的韩国专利申请的优先权,这两个专利申请的全部内容通过引用合并于此。
技术领域
本公开一般地涉及可穿戴显示设备,更具体地涉及头戴式显示(HMD)设备。
背景技术
随着数字设备的重量和大小的减小,已开发了各种可穿戴设备。在可穿戴设备中,头戴式显示(HMD)设备是指被用户穿戴在头部上并且向用户提供多媒体内容的各种数字设备。可以以例如眼镜、头盔等各种形式中的任何一个来嵌入HMD设备,以被穿戴在头部上。
由于HMD设备在附接到用户的身体上之后被使用,所以HMD设备随着用户移动而从各种环境向用户提供图像。因此,HMD设备有必要包括具有各种色彩和透过率的透镜。例如,HMD设备可以包括涂有较暗色彩的透镜以在阳光强的室外位置阻挡太阳光线,或包括在室内位置使用的涂有透明色彩的透镜。因此,用户可以适当地看到其周围环境。
HMD设备可以将布置在其一侧的透镜切换到具有另一种色彩的透镜。替选地,如果布置在HMD设备的一侧的透镜是能够改变其色彩或透过率中的至少一个的智能窗口,则HMD设备可以控制透镜的色彩和透过率。当布置在HMD设备的一侧的透镜的色彩或透过率被修改时,HMD设备可以提供用户可以更容易识别的图像
发明内容
已做出本发明来解决上述问题和缺点,并且提供至少下述的优点。
因此,本发明的一个方面提供一种能够经由用户接口提供用户可以更清楚地识别的内容的HMD设备和经由HMD设备显示内容的方法。
另外方面将部分地在下面的说明书中阐述,以及部分地从说明书将是明显的,或者可以通过实践本发明来了解。
依据本发明的一个方面,提供了一种HMD。该HMD包括:色彩信息获得单元,被配置为获得关于布置在HMD设备的一部分处的透镜的色彩信息;以及控制单元,被配置为经由布置在HMD设备处的显示单元来输出基于色彩信息修改的图像。
依据本发明的另一个方面,提供了一种由HMD设备显示图像的方法。该方法包括:获得关于布置在HMD设备的一部分处的透镜的色彩信息;以及经由布置在HMD设备处的显示单元来输出基于色彩信息修改的图像。
依据本发明的另一个方面,提供了一种非瞬时计算机可读记录介质,其上记录有用于实现由HMD设备显示图像的方法的计算机程序。该方法包括:获得关于布置在HMD设备的一部分处的透镜的色彩信息;以及经由布置在HMD设备处的显示单元来输出基于色彩信息修改的图像。
依据本发明的另一个方面,提供了一种用于显示图像的芯片集。该芯片集被配置为:获得关于布置在HMD设备的一部分处的透镜的色彩信息;以及经由布置在HMD设备处的显示单元来输出基于色彩信息修改的图像。
附图说明
从结合附图的以下描述,本发明的上述和其他方面、特征和优点将更明显,其中:
图1图示出根据本发明一个实施例的头戴式显示(HMD)设备;
图2图示出根据本发明一个实施例的HMD设备;
图3图示出根据本发明一个实施例的HMD设备;
图4图示出根据本发明一个实施例的HMD设备;
图5是根据本发明一个实施例的HMD设备的框图;
图6是根据本发明一个实施例的HMD设备显示图像的方法的图;
图7是根据本发明一个实施例的HMD设备显示图像的方法的图;
图8是根据本发明一个实施例的显示单元的框图;
图9是根据本发明一个实施例的透镜的图;
图10是根据本发明一个实施例的HMD设备的透镜中包括的镜片的图;
图11A至图11C是根据本发明一个实施例的HMD设备显示图像的方法的图;
图12是根据本发明一个实施例的HMD设备显示图像的方法的流程图;
图13是根据本发明一个实施例的用于修改和显示图像的框图;
图14是根据本发明一个实施例的获得关于透镜的色彩信息的方法的流程图;
图15是根据本发明一个实施例的用于使用金属线来识别透镜的HMD设备的图;
图16是根据本发明一个实施例的包括金属线、电极和透镜的HMD设备的部分的图;
图17是根据本发明一个实施例的通过印刷在透镜上的代码来识别透镜的方法的图;
图18是根据本发明一个实施例的通过使用光敏传感器来获得关于透镜的色彩信息的方法的流程图;
图19A和图19B是根据本发明一个实施例的通过使用光敏传感器来获得关于透镜的色彩信息的方法的图;
图20是根据本发明一个实施例的基于用户的瞳孔的大小来获得关于透镜的色彩信息的方法的流程图;
图21是根据本发明一个实施例的基于用户的瞳孔的大小来获得色彩信息的方法的图;
图22是根据本发明一个实施例的基于用户的设置来获得关于透镜的色彩信息的方法的图;
图23是根据本发明一个实施例的HMD设备显示图像的方法的流程图;
图24是根据本发明一个实施例的HMD设备显示图像的方法的图;
图25是根据本发明一个实施例的HMD设备推荐透镜的方法的流程图;
图26是根据本发明一个实施例的HMD设备推荐透镜的方法的流程图;
图27至图31是根据本发明一个实施例的HMD设备推荐透镜的方法的图;
图32是根据本发明一个实施例的HMD设备改变显示图像的透镜的色彩或透过率的方法的流程图;
图33是根据本发明一个实施例的可以用来修改图像的互补色的图表;
图34和35是根据本发明一个实施例的显示校正图像的HMD设备的图;
图36和37是根据本发明的另一个实施例的显示修改图像的HMD设备的图;
图38是根据本发明一个实施例的HMD设备的框图;
图39是根据本发明一个实施例的HMD设备显示图像的方法的流程图;
图40至图43是根据本发明的另一个实施例的显示校正图像的HMD设备的图;
图44是根据本发明一个实施例的HMD设备控制透镜的色彩或透过率的方法的流程图;
图45是根据本发明一个实施例的HMD设备拾取用于控制色彩或透过率的图像的方法的图;以及
图46是根据本发明一个实施例的HMD设备控制透镜的色彩或透过率的方法的流程图。
具体实施方式
现在将详细参考本发明的实施例,其示例在附图中图示出,其中,贯穿各图,相似的标号指代相似的元件。在这方面,本发明的实施例可以具有不同的形式,并且不应当被认为限于在此阐述的描述。因此,下面通过参考附图仅描述本发明的实施例,以解释本发明的方面。如在此使用的,术语“和/或”包括相关联列出的项目中的一个或多个的任意以及所有组合。诸如“中的至少一个”的表达在元素的列出之后时,修饰列出的全部元素,而不是修饰列出的单个元素。
贯穿本公开,将理解,当将一部分称为“连接至”另一部分时,其可以“直接连接至”该另一部分,或经由另一元件“电连接至”该另一部分。此外,将进一步理解,在此使用的术语“包括”和/或“包含”指定所述特征或组件的存在,但不排除一个或多个其他特征或组件的存在或添加。
贯穿本公开,“透镜”可以指代能够透过光的物体。透镜不限于具有用于形成光学图像的表面的物体。例如,透镜可以是具有平坦表面的物体。透镜可以由玻璃、水晶或塑料形成。替选地,透镜可以是智能窗口。智能窗口可以包括以下的元件,基于施加到其的信号,可以改变色彩或透过率中的至少一个。例如,可以使用电致变色玻璃、悬浮粒子设备(SPD)或液晶(LC)来形成智能窗口。
贯穿本公开,由HMD设备显示的图像不仅包括直接显示在透镜上的图像,而且包括由用户等识别为显示在透镜上的图像。
此外,贯穿本公开,“在透镜上显示图像”不仅包括图像被直接显示在透镜上的情况,而且包括图像被输出以被用户等识别为显示在透镜上的情况。
图1图示出根据本发明一个实施例的HMD设备100。
参考图1,可以以经由用户的耳朵或鼻子固定到用户(或穿戴者)的面部的眼镜的形式具体化HMD设备100。然而,HMD设备100的构造不限于此。例如,可以以被附接到头盔或护目镜的形式具体化HMD设备100可。
根据本发明一个实施例的HMD设备100可以包括框架110。根据本发明一个实施例的HMD设备100可以包括要在中心部分130处固定在用户的鼻子上的鼻梁架140。根据本发明一个实施例,鼻梁架140可以包括桥臂131和垫141。
根据本发明一个实施例,可拆卸透镜120可附接到框架110。可以使用不同色彩的多个透镜120。例如,用户可以使用附接有用于室内的透明透镜120的HMD设备100,以及可以使用附接有用于室外的具有暗色彩的透镜120的HMD设备100。例如,可以将布置在透镜120处的夹子附接到HMD设备100的桥臂131。
此外,HMD设备100可以包括用于显示图像的显示单元111。根据本发明的实施例显示单元111可以被具体化为各种形式。例如,可以将显示单元111配置为在用户的视网膜上形成图像,或可以将其配置为如图1中所示在透镜上显示图像。
图2图示出根据本发明一个实施例的HMD设备100。
参考图2,可以将HMD设备100具体化为可以经由用户的耳朵或鼻子固定到用户(或穿戴者)的面部的眼镜的形式。然而,HMD设备100的构造不限于此。例如,HMD设备100可以附接到头盔或可以具体化为护目镜的形式。
图2中所示的HMD设备100可以包括透镜框架201、右和左侧臂202和203、透镜204、机载计算机205、相机206、用户输入单元207、传感器208、209和210、触觉模块211、显示器212、光学输出单元213、麦克风214、右和左扬声器215和216以及电源单元217。
可以将包括在HMD设备100中的组件中的一些布置在HMD设备100内部,而可以将其余组件布置在HMD设备100的外部。例如,可以将传感器208、209和210布置在HMD设备100的内部。可以将显示器212布置在HMD设备外部。布置在HMD设备100内部的组件和布置在HMD设备100外部的组件不限于此。
包括在HMD设备100中的组件不限于图2中所示的那些。例如,HMD设备100可以排除传感器208、209和210以及触觉模块211中的一些。例如,HMD设备100可以仅包括传感器208、209和210中的传感器210或可以在HMD设备100的内部或外部的更多位置包括比图2中所示的传感器多的传感器。
透镜框架201以及右和左侧臂202和203可以由诸如塑料和/或金属的固体材料形成,并且可以具有中空结构,以包括用于互连包括在HMD设备100中的组件的布线。
图2中所示的透镜框架201以及右和左侧臂202和203可以被彼此集成而无需连接构件。因此,可以将透镜框架201以及右和左侧臂202和203统称为HMD设备100的框架。
透镜框架201以及右和左侧臂202和203的结构不限于图2中所示的结构。例如,HMD设备100可以被配置为具有将连接构件布置在透镜框架201以及右和左侧臂202和203之间的结构。换句话说,如果HMD设备100被配置为具有将连接构件布置在透镜框架201以及右侧臂202之间以及将连接构件布置在透镜框架201以及左侧臂203之间的结构,则右和左侧臂202和203可以朝向透镜框架201折叠。
如果将HMD设备100配置为具有将连接构件布置在透镜框架201的中心201’的结构、将连接构件布置在透镜框架201和右侧臂202之间、将连接构件布置在透镜框架201和左侧臂203之间、以及将连接构件布置在右和左侧臂202和203的相应中心202’和203’处,则透镜框架201以及右和左侧臂202和203可以经由相应连接构件向内折叠,由此降低HMD设备100的体积。
连接构件可以是螺丝组装的或可以经由钩和槽附接的。然而,本发明不限于此。
可以将右和左侧臂形成为具有悬挂在用户的耳朵上的形状。可以将右和左侧臂202和203配置为延伸到用户的头部的后面。如果将右和左侧臂202和203配置为延伸到用户的头部的后面,则可以将用于将右和左侧臂202和203固定到用户的头部的带添加到右和左侧臂202和203。带可以是用于将右和左侧臂202和203固定到用户的头部的弹性带,与用户的头部的大小无关。
可以将防滑构件附接到右和左侧臂202和203的内部部分,接触用户的头部的在耳扇后面的部分,以防止右和左侧臂202和203滑动。
可以将透镜框架201配置为使得将透镜204附接到其或从其拆卸透镜204。图2中所示的透镜204与鼻梁204’集成。然而,本发明不限于此。例如,如果透镜框架201不与鼻梁204'集成,则透镜204可以包括右透镜404和左透镜405,如图4中所示。
透镜204可以由允许用户看穿其的透明材料形成。透镜204可以由透过由显示器212反射的光的材料形成。用于形成透镜204的材料可以包括聚碳酸酯的塑料以及玻璃,但不限于此。透镜204可以包括防反射和防刺眼涂层、防雾涂层、超紫外(UV)线阻挡涂层中的至少一个。
机载计算机205可以通过有线或无线被连接到HMD设备100。机载计算机205位于透镜框架201附近的左侧臂203的一部分处。然而,本发明不限于此。例如,可以将机载计算机205布置在HMD设备100的另一部分处,例如右侧臂202的一部分处、左侧臂203的另一部分处等。
机载计算机205可以从相机206、用户输入单元207以及传感器208、209和210接收数据,对所接收的数据进行分析,以及生成要经由光学输出单元213、显示器212以及右和左扬声器215和216中的至少一个提供给HMD设备100的用户的数据。要提供给用户的数据可以包括图像、文本、视频和音频中的至少一个。然而,本发明不限于此。
可以将相机206布置在左侧臂203的外部部分或布置在左侧臂203的内部。可以将相机206附接到HMD设备100的其他位置。例如,可以将相机206布置在右侧臂202的一部分处或透镜框架201的一部分(例如中心)处。相机206可以是用于智能电话的小尺寸相机或网络摄像头。可以将相机206布置在用于对HMD设备100的用户的周围的至少一部分进行拍照的位置处。
用户输入单元207可以包括可以由用户的手指操作的触摸垫或可以由用户进行按操作的按钮中的至少一个。然而,本发明不限于此。可以将用户输入单元207布置在左侧臂203的位置处或HMD设备100的其他位置。例如,可以将用户输入单元207布置在左侧臂203的另一部分、右侧臂202的一部分或透镜框架201的一部分处。
用户输入单元207可以被用户用来输入命令。用户输入单元207可以包括用于打开/关闭HMD设备100的“开/关”开关。
传感器208可以是用于检测用户的生物信息的生物信息检测传感器。可以将传感器208布置为从透镜框架201的右下部分突出。然而,传感器208的附接不限于此。例如,可以将传感器208布置在透镜框架201的内部或可以布置在透镜框架201上。可以将传感器208布置在HMD设备100的任意部分处。
如果传感器208由基于图像传感器的相机组成,则传感器208可以检测有血丝的眼睛、眼睛干涩、眨眼速率、瞳孔位置以及用户的眼睛的瞳孔的改变。然而,本发明不限于此。
如果传感器208是氧气传感器、空气传感器和细灰尘传感器中的至少一个,则传感器208可以检测用户的眼睛干涩。然而,本发明不限于此。
传感器209可以是用于检测HMD设备100的周围环境的周围环境传感器。将传感器208布置在透镜框架201的内部部分。然而,本发明不限于此。例如,可以将传感器209布置在透镜框架201的除了透镜框架201的内部中心部分外的内部部分、透镜框架201的外部部分、右和左侧臂202和203的内部部分以及右和左侧臂202和203的外部部分中的至少一个处。然而,用于附接传感器209的位置和结构不限于此。传感器209可以是用于检测环境状况的传感器,所述环境状况诸如在HMD设备100的附近的温度、光条件、湿度、风速、高度和气压。然而,可检测的环境状况不限于此。
如果将传感器208配置为如上所述的氧气传感器、空气传感器和细灰尘中的至少一个,则关于HMD设备100的周围环境的信息可以基于由传感器208检测的信号。在该情况中,HMD设备100可以不包括传感器209。
传感器210可以是用于检测穿戴HMD设备100的状态的传感器。传感器210被布置在右侧臂202的内部部分,接触用户的头部的耳后的表面。然而,传感器210的位置不限于此。例如,可以将传感器210布置在左侧臂203的内部部分,接触用户的头部的耳后的表面;或布置在电源单元217内,接触用户的头部的耳后的表面。
传感器210可以是压力传感器。在该情况中,传感器210可以检测压力及其幅度,并且将关于该压力的信息传送到机载计算机205。因此,基于从传感器210接收的检测值,机载计算机205可以检测用户穿戴HMD设备100的时间段,或用户在穿戴HMD设备100的同时执行应用的时间段。
将触觉模块211布置在HMD设备100的左侧臂的端部附近的内部部分。然而,触觉模块211的位置不限于此。例如,可以将触觉模块211布置在右侧臂202的内部部分或HMD设备100的另一位置。
触觉模块211可以由能够生成可以被用户感觉的各种触觉感觉的材料形成。例如,触觉模块211可以由能够生成各种触觉感觉的材料形成,诸如能够生成振动、接触皮肤表面的刺激、基于抖动或吸入空气的刺激、基于电极的接触的刺激、使用静电力的刺激、基于热吸收设备或热发射设备的冷/热感觉等。然而,本发明不限于此。
显示器212连接到HMD设备100的左侧臂203,并且位于透镜204的左上部分处。然而,显示器212的位置不限于此。例如,显示器212可以连接到右侧臂202以位于透镜204的右中心或可以连接到左侧臂203以位于透镜204的左中心。显示器212可以由半透明光导(例如棱镜)形成。然而,本发明改变不限于此。因此,显示器212可以反射光学输出单元213输出的光,并且将图像聚焦在HMD设备100的用户的眼睛的视网膜的中央凹处。
可以将光学输出单元213配置为微型投影仪。然而,本发明概念不限于此。
麦克风214可以接收HMD设备100的用户的语言信号和其他声音。可以将麦克风214配置为选择性地设置为近距离模式或远距离模式。例如,如果将麦克风214设置为近距离模式,则麦克风214可以用于接收HMD设备100的用户的关于生物信息(例如关于眨眼的信息)的声音。如果将麦克风214设置为远距离模式,则麦克风214可以用于接收HMD设备100的用户的语音。麦克风214的近距离模式可以是用于接收在HMD设备100的内部生成的声音的模式,而麦克风214的远距离模式可以是用于接收在HMD设备100的外部生成的声音的模式。然而,可以不同地设置近距离模式和远距离模式的操作范围。
可以将右和左扬声器215和216配置为要安装在HMD设备100的用户的耳朵上的耳机。扬声器215位于要安装在用户的右耳朵上的右侧臂202的内部部分。左扬声器216位于要安装在用户的左耳朵上的左侧臂203的内部部分处。
可以将右和左扬声器215和216固定到HMD设备100,如图2中所示。然而,右和左扬声器215和216的附接不限于此。例如,可以将右和左扬声器215和216可拆卸地附接到HMD设备100,因而HMD设备100的用户可以选择性地将右和左扬声器215和216插入到用户的耳朵中。
如果右和左扬声器215和216可从HMD设备100拆卸,则可以将右和左扬声器215和216布置在右和左侧臂202和203的内部部分处,接触用户的头部的耳后部分。因此,用户可从相应的右和左侧臂202和203拆卸右和左扬声器215和216,并且将右和左扬声器215和216分别插入用户的右和左耳朵。在如上所述从相应的右和左侧臂202和203拆卸右和左扬声器215和216并且将右和左扬声器215和216分别插入用户的右和左耳朵的情况中,可以将连接线布置在右和左扬声器215和216以及HMD设备100之间。
当右和左扬声器215和216附接到HMD设备100时,可以将在右和左扬声器215和216以及HMD设备100之间的连接线布置在HMD设备100中。然而,本发明不限于此。右和左扬声器215和216以及HMD设备100可以基于近距离通信来无线地彼此连接。
可以将基于弹性构件(例如弹簧)的连接构件布置在右和左扬声器215和216以及HMD设备100之间。在该情况中,基于弹性构件的连接构件可以基于用户的耳朵的位置而变形。例如,连接构件可以变形以在向左方向、向右方向、向上方向和向下方向中的至少一个中倾斜右和左扬声器215和216。如果在右和左扬声器215和216以及HMD设备100之间存在基于弹性构件的连接构件,则可以将右和左扬声器215、216以及HMD设备100配置为通过有线或无线彼此通信。根据本发明的实施例,可以将右和左扬声器215和216配置为骨骼导电扬声器。
将电源单元217布置在HMD设备100的右侧臂202的端部部分处。然而,电源单元217的位置不限于此。例如,可以将电源单元217布置在HMD设备100的左侧臂203的端部部分处。
电源单元217可以可拆卸地附接到HMD设备100的右侧臂202。电源单元217可以包括外部电源连接器,其可以在连接到右侧臂202或从右侧臂202拆卸之后连接到外部电源对HMD设备100充电。可以将电源单元217与HMD设备100的右侧臂202集成。即使当电源单元217与HMD设备100的右侧臂202集成时,电源单元217也可以包括外部电源连接器,其可以连接到外部电源设备以对HMD设备100充电。
图3示出了根据本发明一个实施例的HMD设备300。图3所示的HMD设备300包括可以经由如图2中所示的眼镜型显示设备具体化的单眼透镜303或被具体化为单眼显示设备。
参考图3,根据本发明一个实施例的HMD设备300是经由用户的一个耳朵和鼻子的一侧固定到用户的面部的类似单片眼镜的设备。HMD设备300可以附接到头盔结构。
HMD设备300可以包括透镜框架301、侧臂302、单眼透镜303、机载计算机304、相机305、用户输入单元306、传感器307、308和309、触觉模块310、显示器311、光学输出单元312、麦克风313、扬声器314和电源单元315。
包括在HMD设备300中的组件不限于图3中所示的组件。例如,HMD设备300可以排除传感器307、308和309以及触觉模块310中的一些。例如,HMD设备300可以仅包括传感器307、308和309中的传感器309或与图3中所示的相比可以在HMD设备300内部或外部的位置处包括更多的传感器。附接到HMD设备300的传感器307、308和309的位置可以改变。
可以将透镜框架301配置为能够从HMD设备300附接或拆卸,如上面参考图1所述的。此外,如上面参考图2所述的,HMD设备300可以包括透镜框架301和侧臂302之间的连接构件。此外,如上面参考图2所描述的,HMD设备300可以包括在侧臂302的中心的连接构件。
包括在HMD设备300中的单眼透镜303、机载计算机304、相机305、用户输入单元306、传感器307、308和309、触觉模块310、显示器311、光学输出单元312、麦克风313、扬声器314和电源单元315可以类似于图2中所示(当位于左侧臂203时)的透镜202、机载计算机205、相机206、用户输入单元207、传感器208、209和210、触觉模块211、显示器212、光学输出单元213、麦克风214、扬声器216和电源单元217定位和配置。
可以类似于图4中所示的HMD设备400来配置根据本发明一个实施例的HMD设备100。将图4中所示的HMD设备400配置为双眼显示设备。HMD设备400可以附接到头盔结构或可以具有类似眼镜的结构。
图4示出了根据本发明一个实施例的HMD设备400。
参考图4,HMD设备400可以包括透镜框架401、右和左侧臂402和403、右和左透镜404和405、机载计算机406、相机407、用户输入单元408、传感器409、410和411、触觉模块412、右和左显示器413和414、麦克风415、右和左扬声器416和417、以及电源单元418。
图4中所示的HMD设备400中包括的透镜框架401与鼻梁401’集成。透镜框架401可以具有包括矩形、椭圆形和椭圆形的各种形状中的任何一个。然而,透镜框架401的形状不限于此。透镜框架401可以由类似于构成图2中所示的透镜框架201的材料形成。
右和左透镜404和405可以包括适合于显示包括由光学输出单元投影的图像或图形的数据的任意材料,所述光学输出单元是如上面参考图2所述的投影仪。右和左透镜404和405可以包括能够根据用户通过右和左透镜404和405看到的周围环境来覆盖包括由光学输出单元投影的图像或图形的数据的材料。右和左透镜404和405可以类似上面参考图2描述的透镜204由塑料材料或玻璃形成。然而,用于形成右和左透镜404和405的材料不限于此。
尽管图4中所示的右和左侧臂402和403、机载计算机406、相机407、用户输入单元408、传感器409、410和411、触觉模块412、麦克风415、右和左扬声器416和417、以及电源单元418中的一些布置在与图2中所示的右和左侧臂202和203、机载计算机205、相机206、用户输入单元207、传感器208、209和210、触觉模块211、麦克风214、右和左扬声器215和216以及电源单元217不同的位置处,但是图2中所示的右和左扬声器215和216以及电源单元217、图4中所示的上述组件的功能和配置可以类似于图4中所示的组件的那些。然而,本发明不限于此。
图4中所示的右和左显示器413和414可以显示包括由可以附接到相应右和左侧臂402和403的内表面的光学输出单元投影的图像或图形的数据。
可以将HMD设备400变换为将右和左透镜404和405操作为显示单元。在该情况中,可以将右和左透镜404和405配置为透明显示单元或半透明显示单元。如果将右和左透镜404和405被配置为半透明显示单元,则右和左透镜404和405可以包括至少一个光波导(例如棱角)、电致发光显示单元、或液晶显示(LCD)单元。然而,本发明不限于此。
图5是根据本发明一个实施例的HMD设备500的框图。
参考图5,根据本发明一个实施例的HMD设备500可以包括输入/输出单元510、存储器520、传感器单元525、电池530、电源管理单元535、通信单元540、触摸传感器550、相机560、显示单元570、透镜580和控制单元590。
输入/输出单元510包括用于从用户接收输入、向用户提供信息、外部地接收数据以及外部地输出数据的单元。输入/输出单元510可以包括至少一个扬声器511、至少一个麦克风512、以及按钮、连接器和键区中的至少一个或其组合。然而,本发明不限于此。
扬声器511可以在控制单元590的控制下输出与来自HMD设备500的各种数据相对应的声音。此外,扬声器511可以输出与由HMD设备500执行的功能相对应的声音。可以将扬声器511布置在HMD设备500的适当位置或可以将多个扬声器511布置在HMD设备500的适当位置。根据本发明一个实施例,可以将扬声器511配置为图2中所示的耳机。
麦克风512可以接收在HMD设备500外部的语音或声音,基于所接收的语音或所接收的声音来生成电信号,以及向控制单元590输出所生成的电信号。可以将麦克风512布置在HMD设备500的适当位置,或可以将多个麦克风512布置在HMD设备500的适当位置。在整个本公开中,也可以将信号称为数据,并且也可以将数据称为数据信号。
传感器单元525可以包括用于检测HMD设备500的状态或周围环境的状态的至少一个传感器。例如,传感器单元525可以包括用于检测接近HMD设备500的用户的接近传感器、用于检测HMD设备500的运动(例如旋转、加速、减速、振动等)的运动/方向传感器、用于检测周围光量的光量传感器、用于检测光的色彩或光谱的光敏传感器或其组合中的至少一个。此外,运动/方向传感器可以包括重力传感器、地磁传感器、陀螺仪传感器、震动传感器、全球定位系统(GPS)模块、罗盘和加速传感器中的至少一个。例如,GPS模块可以从绕地球而行的多个GPS卫星接收无线电信号,并且可以通过使用无线电信号从GPS卫星到HMD设备500的到达时间来计算HMD设备500的位置。
电源管理单元535可以在控制单元590的控制下将电力提供给HMD设备500。电源管理单元535可以连接到一个或多个电池530。此外,电源管理单元535可以将经由线缆从外部电源输入的电力提供给HMD设备500。
通信单元540可以是有线通信单元、无线通信单元或有线/无线通信单元,并且可以经由外部通信网络或通过空中来通过有线或无线将来自控制单元590的数据传送给外部设备,经由外部通信网络或通过空中来通过有线或无线从电子设备接收数据,以及将所接收的数据传送给控制单元590。根据本发明一个实施例,通信单元540可以包括移动通信模块、无线局域网(LAN)模块、以及近距离通信模块中的至少一个。
移动通信模块可以在控制单元590的控制下通过使用至少一个天线经由移动通信网络执行与外部设备的通信。移动通信模块可以向和从移动电话、智能电话、平板个人计算机(PC)、或具有诸如网际协议(IP)地址或电话号码的网络地址的其他通信设备发送或接收用于语音呼叫的无线信号、语音呼叫、短消息服务(SMS)或多媒体消息服务(MMS)。
无线LAN模块可以在控制单元590的控制下经由接入点(AP)附近的无线AP连接到因特网。无线LAN模块可以支持电气和电子工程师协会(IEEE)的无线LAN标准IEEE802.11x。
近距离通信模块可以在控制单元590的控制下执行与外部通信设备的无线近距离通信。近距离通信方法可以是蓝牙TM、红外数据协会(IrDA)标准、无线保真(Wi-Fi)直接通信、近场通信(NFC)或其组合。
触摸传感器550可以向控制单元590发送与至少一个触摸输入相对应的信号。用户可以通过使用身体部分(例如手指)或另一触摸输入单元来接触触摸传感器550,并且触摸传感器550可以通过检测用户的接触来接收触摸输入。此外,触摸传感器550可以基于在触摸位置的连续触摸(例如拖动输入)来接收输入。触摸输入信息可以包括触摸坐标和/或接触状态。接触状态可以是其中身体部分接触触摸传感器550的状态、其中身体部分与触摸传感器550分开的状态、或者其中在身体部分接触触摸传感器550的同时身体部分在触摸传感器550上滑动的状态。控制单元590可以基于触摸输入来确定用户输入信息,例如选择或移动菜单项或项、手写输入等。控制单元590可以执行与触摸输入相对应的功能(例如建立电话呼叫、拍照、选择菜单、撰写/读取消息、发送数据等)。
然而,在本公开中,触摸输入不限于基于在触摸传感器550和触摸输入设备之间的接触的输入。触摸输入可以包括无接触输入(例如触摸传感器550和触摸输入设备彼此分开)。这样的无触摸输入也可以称为悬置输入。
可以将触摸传感器550具体化为电阻型、电容型、红外型、声波型、电磁共振(EMR)型或其组合。
相机560可以包括透镜系统和图像传感器,并且可以进一步包括闪光灯。相机560可以将经由透镜系统输入(或拾取)的光转换为电图像信号,并且将所转换的图像信号传输给控制单元590。用户可以通过使用相机560来拾取运动图片或静止图像。此外,相机560也可用来接收基于用户的移动或手势的输入。
透镜系统可以通过会聚外部接收的光来形成对象的图像。透镜系统包括至少一个或多个透镜,其中透镜中的每一个可以是凸透镜、非球面透镜等。透镜系统关于从透镜系统的中心延伸的光轴对称,其中可以将光轴定义为透镜系统的中心轴。图像传感器可以将基于经由透镜系统输入的外部光形成的光学图像转换为电图像信号。图像传感器可以包括按M×N矩阵形状布置的多个像素单元。每个像素单元可以包括光电二极管以及多个晶体管。像素单元累积通过光的输入生成的电荷,并且基于累积的电荷的电压可以指示光的输入的亮度的强度。在处理静态图像或组成运动图片的图像的情况中,图像传感器输出的图像信号由像素单元输出的一组电压(即像素值)组成,并且图像信号可以指示一帧(即静态图像)。此外,一帧可以包括M×N个像素。图像传感器可以是电荷耦合设备(CCD)图像传感器或互补金属氧化物半导体(CMOS)图像传感器。
根据从控制单元590接收的控制信号,图像传感器可以操作图像传感器的所有像素或仅仅感兴趣区域中的像素。像素输出的图像数据可以被输出到控制单元590。
控制单元590可以处理从相机560输入的图像、存储在存储器520中的图像或由控制单元590使用存储在存储器520中的数据逐帧形成的图像。控制单元590可以经由显示单元570向外输出图像的帧或将图像的帧存储在存储器520中。在本公开中,显示单元570输出的图像可以是包括运动图片或静态图像的视觉内容或图形用户界面(GUI)。
根据本发明的实施例,可以将显示单元570具体化为各种形式中的任何一个。例如,显示单元570可以根据各种光学系统原理通过在用户的视网膜上形成图像来显示图像。替选地,显示单元570可以包括透明显示单元并且在透明显示单元上显示图像。
可以将根据本发明的实施例的透镜580配置为可附接到HMD设备500并且可从HMD设备500拆卸,如图1中所示。换句话说,透镜580可以不包括在HMD设备500中,并且仅用于安装透镜580的结构可以被包括在HMD设备500中。用户可以通过将透镜580切换到具有不同色彩的透镜来改变HMD设备500的透镜580的色彩。替选地,根据本发明的实施例的透镜580可以是智能窗口,可以在控制单元590的控制下修改该智能窗口的色彩和透过率。
图6是根据本发明的实施例的HMD设备600显示图像的方法的图。根据本发明的实施例的HMD设备600可以包括包含光学系统的显示单元570。根据本发明的实施例的显示单元570可以通过经由透镜580辐射光以在用户1的眼睛610上形成图像来显示图像。
图7是根据本发明的实施例的HMD设备500的一部分的图。
参考图7,HMD设备500可以包括用于附接透镜580的框架720。根据本发明的实施例,框架720可以具有其中经由铰链722连接框架720的结构。可以将作为用于输出由框架720中包括的显示单元中包括的投影仪从框架720外部输出的投影光710的路径的开口711布置在框架720的内表面。在该情况中,可以将用于防止灰尘进入框架720的玻璃构件或透明塑料构件布置在开口处。
此外,可以将至少一个扬声器布置在框架720的内表面。
投影仪输出用于形成虚拟图像的投影光710。投影仪输出的投影光被透镜580聚焦和反射,并且被聚焦和反射的投影光730可以在用户的眼睛610的视网膜上形成虚拟图像。在该情况中,聚焦可以指光的准直。聚焦可以包括光到点的汇聚或光的光束点的减少。所反射的投射光730可以汇聚在透镜上或眼睛610的瞳孔上。HMD设备500可以使用用于分别在用户的两只眼睛上形成虚拟图像的多个投影仪。
图8是根据本发明的实施例的显示单元的框图。详细地,图8是示出在显示单元包括投影仪的情况中投影仪的结构的框图。
参考图8,如果显示单元570包括投影仪,则显示单元570包括光源810、用于通过使用光源810输出的光来照明显示设备840的照明光学系统820、用于反射透过照明光学系统820的光的镜子830、用于通过逐像素反射镜子830所反射的光来形成虚拟图像的显示设备840、以及用于投影显示设备840从外部反射的光的投影光学系统850。
可以沿着与x轴平行的第一光轴571来布置照明光学系统820。照明光学系统820可以包括至少一个准直透镜、至少一个滤光器、至少一个均衡透镜、聚焦透镜或其组合。
可以沿着第一光轴571对准照明光学系统820的光学元件(例如透镜、棱镜、滤光器等)。一般地,光轴可以指当光学系统绕其旋转时在光学系统中不发生光学改变的轴。当沿着光轴对准光学元件时,构成光学系统的光学元件的曲率位于光轴上或光学元件的对称中心位于光轴上。
光源810可以输出沿着第一光轴571行进的光。例如,输出白光、原色(即蓝、红和黄)的光、或原色的组合(例如紫、绿、橙等)的光的至少一个发光二极管(LED)可以被用作光源810。
照明光学系统820可以使从光源810输入的光准直、过滤和/或聚焦以及向镜子830输出所处理的光。
镜子830可以朝向显示设备840反射经由照明光学系统820输入的光。镜子830可以具有其中将高反射电介质层或高反射金属层沉积在基底上的结构。
显示设备840可以基于控制单元590输入的数据逐像素显示数据。显示设备840可以包括与预置的分辨率相对应的像素元件。显示设备840通过接通和断开像素元件来显示图像。例如,包括以M×N矩阵形状布置的微镜的数字微镜设备(DMD)可以用作显示设备840。根据驱动信号,每个微镜可以被旋转到与接通状态相对应的位置和与断开状态相对应的位置。每个微镜可以在接通状态中以在显示设备840外部显示的角度来反射入射光,以及在断开状态中以不在显示设备840外部显示的角度反射入射光。
可以沿与y轴平行的第二光轴572布置投影光学系统850。投影光学系统850可以包括中继透镜860和投影透镜870。可以在第二光轴572上对准中继透镜860和投影透镜870。
中继透镜860可以考虑光超量(lightoverfilling)来朝向显示设备840对准由镜子830反射的光。换句话说,中继透镜860可以允许镜子830反射的光入射到比显示设备840的像素元件占据的区域更大的区域上。
此外,中继透镜860可以接收由显示设备840反射的光,降低光的光束点大小,以及输出所处理的光。由于由显示设备840反射的光具有较大光束点大小,所以由于光损失光可能不被传送到投影透镜870。中继透镜860聚焦显示设备840反射的光并降低其光束点大小,因而可以将更多光传送到投影透镜870。
投影透镜870可以接收透过中继透镜860的光,使所接收的光准直或聚焦,以及外部投影所处理的光。
图9是根据本发明的实施例的能够改变色彩或透过率的透镜的图。
参考图9,根据本发明的实施例的透镜580可以改变其色彩或透过率。根据本发明的实施例的透镜580可以包括能够改变其透过率(即基于提供给其的信号修改玻璃581的色彩和透过率)的玻璃581和用作凹面镜的全息光学元件(HOE)582。
透镜580可以透射从外部透过其的周围光911,并且可以反射和聚焦显示单元570输出的光921。
透射的周围光911和透镜580反射的光921被输入到用户的眼睛610,并且基于透射的周围光912和显示的图像920(基于反射光)的周围环境图像910可以被重叠地形成在眼睛610的视网膜613上。换句话说,用户看到形成为彼此重叠的周围环境图像910和显示图像920的图像。用户可以识别为如同显示图像920被浮置在周围环境图像910上的透明层那样。显示图像920可以包括包含与电话呼叫、联系人信息、消息、主菜单相对应的菜单和图标的静止GUI,或可以包括包含静态图像或运动图片的内容图像。尽管在图9中将显示显示图像920的区域示出为非透明区域,但是显示显示图像920的区域可以具有允许用户在显示显示图像920的区域中看到周围环境图像910的透明度。换句话说,显示显示图像920的区域的透明度可以根据本发明的实施例改变。
显示单元570输出的光921可以是具有波长λ的平行光(即准直光)。光921可以入射到HOE以与HOE582的法线形成角度θ。HOE582可以是具有波长选择性的元件。HOE582可以反射和聚焦波长λ的光(即根据本发明的光921),并且可以透射透过与波长λ不同的波长的光(即根据本发明的周围光911)而不会聚。
HOE582可以反射和聚焦输入光921。此外,来自HOE582的反射光922可以会聚在与眼睛相对应的位置,其距离HOE582的一定距离(即眼睛间隙)。反射光922可以被会聚在与眼睛610的瞳孔611或目镜612相对应的位置。在该情况中,会聚光922可以具有会聚角或观看角。目镜612控制入射到眼睛610上的光的聚焦,并且由于所透射的周围光912会聚在与瞳孔611或目镜612相对应的位置,所以所透射的周围光912可以被投影到视网膜613上,而不被目镜612会聚,并且形成图像920。
尽管上面将入射到HOE582的光921描述为平行光,但是本发明不限于此。如果来自HOE582的反射光922会聚在与瞳孔611或目镜612相对应的位置上,则光921可以不是平行光,而是发散光或会聚光。
如果穿戴HMD设备的用户斜视其眼睛来看其周围的实际对象,则HMD设备显示的图像(虚拟对象)可能被不清楚地形成在用户的视网膜上。在该情况中,用户不能同时清楚地看到实际对象和虚拟对象,因此不可以实现扩增的实际感。此外,实际对象和显示图像之间的聚焦不一致可能由于在眼睛的会聚和单眼的聚焦调整之间的不一致而增加用户的疲劳感。
根据本发明的实施例的HMD设备可以会聚所投影的光,用于在瞳孔、目镜或接近其的位置形成虚拟图像,由此基于目镜降低所投影的光的聚焦改变。如果所投影的光与目镜的动作无关地被直接投影到视网膜上,则用户可以将投影到视网膜的图像识别为清楚图像,而与聚焦调整和目镜的失常无关。
HOE582可以具有与瞳孔611或目镜612与HOE582之间的距离相对应的聚焦距离。
图10是根据本发明的实施例的在HMD设备的透镜中包括的玻璃581的图。可以基于控制单元590施加到玻璃581的信号或电压来修改根据本发明的实施例的玻璃581的透过率或色彩。
可以将电致变色玻璃、悬浮粒子设备(SPD)或液晶(LC)用作玻璃581。替选地,如果需要,可以将其透过率基于光的波长或温度的改变而被动修改而不是经由信号的施加而被主动控制的光致变色玻璃或热致变色玻璃用作玻璃581。
可以使用各种方法来制造玻璃581。例如,可以通过将可以控制其透过率的材料应用到玻璃上或将可以控制其透过率的薄膜附接到玻璃上来制造玻璃581。
将参考图10来描述将电致变色玻璃用作玻璃的情况。
玻璃581包括第一和第二绝缘基底1010和1015、沉积在第一绝缘基底1010的上表面上的第一导电电极1020、沉积在第二绝缘基底1015的下表面上的第二导电电极1025、将第一和第二绝缘基底1010和1015相互分开并且密封其间的空间的绝缘隔片1030、以及电致变色层1040和填充在第一和第二绝缘基底1010和1015之间的空间的电介质1050。
第一和第二绝缘基底1010和1015可以由透明玻璃或透明塑料形成。例如,透明塑料可以包括聚丙烯酸酯、邻苯二甲酸酯、聚萘二甲酸乙二醇酯、聚碳酸酯、多芳基化合物、聚醚酰亚胺、聚醚砜和聚酰亚胺中的至少一个。
第一导电电极1020可以由透明导体形成。例如,第一导电电极1020可以包含无机导电材料,诸如氧化铟锡(ITO)、氟掺杂氧化锡(FTO)、或锑掺杂氧化锡(ATO);或有机导电材料,诸如聚乙炔或聚噻吩。
第二导电电极1025可以有透明或非透明导电材料形成。例如,第二电极1025可以包含ITO、FTO、类似铝(Al)的金属、ATO或其组合。
可以将包括电致变色材料的电致变色层1040布置在第一导电电极1020上。可以将电致变色层1040作为膜布置在第一电极1020上,但不限于此。
第一绝缘基底1010和第二绝缘基底1015可以被固定到绝缘隔片1030。第一绝缘基底1010和第二绝缘基底1015之间的空间可以被填充有电介质1050。电介质1050可以包括与电致变色材料反应的氧化/还原材料。电介质1050可以是液体电介质或固体电介质。通过诸如氢氧化锂(LiOH)或高氯酸锂LiClO4的锂盐、诸如氢氧化钾的钾盐、或诸如氢氧化钠的钠盐的溶液可以用作液体电介质。同时,例如,聚(2-丙烯酸-2-甲基苯乙烯磺酸基酸)或聚(乙烯)氧化物(PEO)可以用作固体电介质。
构成电致变色层1040的材料(即电致变色材料)可以包含金属有机合成物,其是金属和包括能够形成具有金属的配位官能团的有机化合物的组合。金属可以包括轻金属、过度金属、稀土属金属、碱金属或其组合。例如,金属可以包括铍(Be)、钡(Ba)、铜(Cu)、锌(Zn)、铈(Ce)、镁(Mg)、铝(Al)、钛(Ti)或其组合。此外,例如,官能团可以包括羧基团、嘧啶团、咪唑团或其组合。此外,例如,有机化合物可以包括紫精衍生物、蒽醌衍生物或其组合。
图11A至图11C是根据本发明的实施例的HMD设备显示图像的方法的图。
参考图11A,可以将显示单元布置在透镜580和用户的眼睛之间。显示单元570可以包括其中能够透射光的透明显示器。
周围环境的光1110-1可以透过透镜580和显示单元570,并且入射到用户的眼睛,并且显示单元570生成的光1120-1可以直接入射到用户的眼睛而不透过透镜580。
替选地,参考图11B,可以将透镜580布置在显示单元570和用户的眼睛之间。在该情况下,周围环境的光1110-2可以透过透镜580和显示单元570,并且可以入射到用户的眼睛。显示单元570生成的光1120-2可以透过透镜580,并且入射到用户的眼睛。在该情况中,由于周围环境的光1110-2和显示单元570生成的光1120-2两者都可以透过透镜580并且入射到用户的眼睛,所以HMD设备可以考虑用户从显示单元570生成并透过透镜580的光1120-2识别的色彩来修改图像。
替选地,参考图11C,可以将显示单元570和透镜580彼此集成作为显示单元/透镜570-1。在该情况中,可以控制显示单元/透镜570-1的色彩或透过率,并且可以将显示单元/透镜570-1配置为能够显示图像的智能窗口。周围环境的光1110-3可以透过显示单元/透镜570-1,并入射到用户的眼睛。此外,显示单元/透镜570-1生成的光1120-3可以直接入射到用户的眼睛。
图12是根据本发明的实施例的HMD设备显示图像的方法的流程图。
参考图12,HMD设备可以在步骤S1210获得关于透镜的色彩信息。关于透镜的色彩信息可以是指用于HMD设备识别透镜的色彩的标识信息。例如,关于透镜的色彩信息可以包括指示透镜的色彩的红-绿-蓝(RGB)值。根据本发明的实施例色彩信息可以被改变。例如,色彩信息可以是指令透镜的色彩的信息。替选地,根据本发明的实施例,色彩信息可以指令被识别为HMD设备显示的图像周围的背景色彩的色彩。在该情况中,通过布置在HMD设备处的光敏传感器来检测透过透镜的光的色彩,因此HMD设备可以获得指令被识别为背景色彩的色彩的色彩信息。在该情况中,可以将指令被识别为背景色彩的色彩的色彩信息称为关于图像显示区域的色彩信息。
HMD设备可以使用各种方法来获得关于透镜的色彩信息。例如,如果HMD设备是可互换透镜的,则HMD设备可以在互换透镜时获得替换透镜的色彩。此外,根据本发明的实施例,如果透镜是其透过率或色彩可以在HMD设备的控制单元的控制下被修改的智能窗口,则HMD设备可以控制透镜的色彩,并且因此可以获得透镜的当前色彩。
接下来,HMD设备可以基于在步骤S1210获得的色彩信息来修改图像,并且在步骤S1220可以经由显示单元来显示修改的图像。例如,当HMD设备显示包括文本的图像并且所获得的关于透镜的色彩信息指示黄色时,HMD设备可以将文本的色彩修改为作为黄色的互补色的蓝色,并且经由显示单元以蓝色显示修改的文本。
如果透镜可以附接到HMD设备和从HMD设备拆卸或者如果HMD设备能够控制透镜的色彩,则HMD设备可以在步骤S1210获得关于透镜的色彩信息。然而,如果透镜与HMD设备集成并且透镜的色彩不可改变,则可以预置关于透镜的色彩信息。换句话说,如果固定色彩的透镜与HMD设备集成,则HMD设备可以基于预置的关于透镜的色彩信息来校正图像的色彩。例如,如果将蓝色透镜固定到HMD设备,则HMD设备可以将图像的色彩改变为作为蓝色的互补色的红色,而无需获得关于透镜的色彩信息和显示修改的图像。
图13是根据本发明的实施例的用于修改和显示图像的框图。
参考图13,根据本发明的实施例的HMD设备可以包括色彩校正模块1330。色彩校正模块1330可以显示通过基于关于透镜的色彩信息1310和原始图像1320来修改原始图像1320的色彩而生成的修改图像1340。在该情况中,根据本发明的实施例的色彩校正模块1330可以使用控制单元590。例如,色彩校正模块1330可以包括加载有用于生成修改图像1340的程序的处理器。
根据本发明的实施例,色彩校正模块1330可以使用各种方法来修改原始图像1320。例如,如果原始图像1320包括文本,则色彩校正模块1330可以修改原始图像1320以用透镜的色彩的互补色来显示文本。
然而,色彩校正模块1330对图像的修改不限于对原始图像1320的色彩的修改。例如,色彩校正模块1330可以增加或降低在原始图像1320中包括的对象(例如类似图标的GUI对象)的大小。作为另一个示例,色彩校正模块1330可以改变在原始图像1320中包括的对象(例如类似图标的GUI对象)的形状。
如果透镜与HMD设备集成并且不能够改变透镜的色彩,则可以不将色彩信息1310单独地输入到色彩校正模块1330,而是可以预置色彩信息1310。色彩校正模块1330可以基于预置的色彩信息来修改图像。换句话说,如果具有固定色彩的透镜与HMD设备集成,则色彩校正模块1330可以基于预置的关于透镜的色彩信息来修改图像。例如,如果蓝色透镜被固定到HMD设备,则色彩校正模块1330可以将图像的色彩修改为作为蓝色的互补色的红色,而不获得关于透镜的色彩信息和显示修改的图像。
显示单元570可以显示由色彩校正模块1330输出的修改图像1340。
根据本发明的实施例,HMD设备可以使用各种方法来获得关于透镜的色彩信息。例如,HMD设备可以通过使用包括在透镜中的金属线、印刷在透镜上的代码、光敏传感器或相机拾取的图像来获得关于透镜的色彩信息。在该情况中,获得关于透镜的色彩信息可以包括其中由用户输入关于透镜的色彩信息的情况或其中当HMD设备控制透镜的色彩或透过率时HMD设备能够识别关于透镜的色彩信息的情况。
图14是根据本发明的实施例的获得关于透镜的色彩信息的方法的流程图。
参考图14,在步骤S1410中HMD设备可以获得关于透镜的标识信息。在该情况中,关于透镜的标识信息可以指用于HMD设备识别透镜的信息。例如,关于透镜的标识信息可以是基于透镜的类型分配的代码。用于HMD设备获得关于透镜的标识信息的方法可以根据本发明的实施例改变。例如,如果在透镜处布置金属线,则可以基于金属线的位置来获得关于透镜的标识信息。作为另一个示例,如果将代码(例如条形码或快速响应(QR)码)印刷在透镜的表面上,则HMD设备可以从印刷在透镜上的代码来获得关于透镜的标识信息。
在该情况中,所获得的关于透镜的标识信息可以是基于透镜的色彩分配的信息。例如,关于黑色透镜的标识信息可以是“01”并且关于透明(例如,无色)透镜的标识信息可以是“00”。在该情况中,HMD设备可以获得关于与所获得的标识信息相对应的透镜的色彩信息。
接下来,HMD设备可以基于所获得的色彩信息来修改要显示的图像。根据本发明的实施例,HMD设备可以使用各种方法来修改图像。例如,HMD设备可以修改图像,使得以透镜的色彩的互补色来显示包括在图像中的文本。
然而,HMD设备对图像的修改不限于对图像的色彩的修改。例如,HMD设备可以增加或降低包括在图像中的对象(例如类似图标的GUI对象)的大小。作为另一个示例,HMD设备可以改变包括在图像中的对象(例如类似图标的GUI对象)的形状。
接下来,HMD设备可以在步骤S1440中显示所修改的图像。
图15是根据本发明的实施例的用于使用金属线来识别透镜的HMD设备1500的图。
参考图15,根据本发明的实施例的HMD设备1500可以包括布置在框架1510的一部分处的显示单元1511和电极1532。根据本发明的实施例,透镜1520可以附接到HMD设备1500或可以从其拆卸。在该情况中,可拆卸透镜1520可以包括金属线1531。在该情况中,可以将电极1532和金属线1531布置在当将透镜1520被附接到框架1510时电极1532和金属线1531可以彼此接触的位置处。当将透镜1520附接到框架1510时,HMD设备1500可以通过使用电极1532来检测金属线1531的位置。HMD设备1500可以获得关于透镜1520的标识信息。根据本发明的实施例,可以将磁体1540布置在框架1510的一位置处,使得可以将透镜1520固定到框架1510。
图16是根据本发明的实施例的包括金属线、电极和透镜的HMD设备1500的部分的图。
参考图16,可拆卸透镜1520可以包括金属线1531。在该情况中,可以将金属线1531布置在基于透镜1520的类型分配的某个位置处。当将透镜1520附接到框架1510时,金属线1531可以接触电极1532。
当金属线1531接触电极1532时,HMD设备1500可以检测金属线1531所布置在的位置。HMD设备1500可以获得关于与金属线1531所布置在的位置相对应的透镜1520的标识信息。
图17是根据本发明的实施例的通过使用印刷在透镜上的代码来识别透镜的方法的图。
参考图17,HMD设备1700可以基于在透镜1720中包括的代码1721来获得关于透镜1720的标识信息。尽管图17示出代码1721被印刷在透镜1720的前表面上,但是代码1721的位置可以根据本发明的实施例改变。
根据本发明的实施例,代码1721可以是指被提供以由HMD设备光学地读取的符号。例如,代码1721可以是QR代码或条形码。在该情况中,HMD设备1700可以通过使用相机1710来拾取代码1721所布置在的位置的图像,并且从所拾取的图像中获得关于透镜1720的标识信息。
图18是根据本发明的实施例的通过使用光敏传感器来获得关于透镜的色彩信息的方法的流程图。
参考图18,根据本发明的实施例的HMD设备可以包括光敏传感器。光敏传感器是指能够通过对类似光的辐射能量进行响应来检测光的传感器。在步骤S1810,HMD设备可以经由光敏传感器来检测透过透镜的光并且分析所检测的光。
接下来,HMD设备可以在步骤S1820中基于分析的结果来确定关于透镜的色彩信息。例如,HMD设备可以分析由光敏传感器检测的光的光谱。如果所检测的光中蓝光的百分比较高,则HMD设备可以将与蓝色相对应的色彩信息获得为关于透镜的色彩信息。
一旦获得关于透镜的色彩信息,则HMD设备可以在步骤S1830基于所获得的色彩信息来修改图像以及在步骤S1840显示所修改的图像。
图19A和图19B是示出根据本发明的实施例的通过使用光敏传感器来获得关于透镜的色彩信息的方法的图。
参考图19A和图19B,根据本发明的实施例的HMD设备可以在可以接收由在HMD设备的透镜1920后面布置的光源1910发出的光的位置处包括光敏传感器1930。例如,参考图19B,可以将光敏传感器1930布置在HMD设备的框架的一部分处。根据本发明的实施例的HMD设备可以作为分析透过透镜1920的光的结果来获得关于透镜1920的色彩信息。
图20是根据本发明的另一实施例的基于用户的瞳孔的大小来获得关于透镜的色彩信息的方法的流程图。
参考图20,HMD设备可以在步骤S2010中通过使用相机来拾取图像。在该情况中,所拾取的图像可以包括用户的眼睛的图像。
HMD设备可以关于所拾取的图像来执行图像识别。作为图像识别的结果,HMD设备可以获得关于图像中所包括的瞳孔的大小的值。基于所获得的关于瞳孔的大小的值,可以在步骤S2020中确定在图像中包括的瞳孔的大小的改变。
接下来,HMD设备可以在步骤S2030中基于瞳孔的改变来确定关于透镜的色彩信息。如果透镜的透过率较高,则大量的光可以入射到用户的眼睛,因此用户的瞳孔的大小可能降低。相反,如果透镜的透过率较低,则小量的光可以入射到用户的眼睛,因此用户的瞳孔的大小可能增加。基于该机制,HMD设备可以基于用户的瞳孔的大小来获得关于透镜的色彩信息。换句话说,如果用户的瞳孔的大小较大,则HMD设备可以确定透镜具有亮色彩。相反,如果用户的瞳孔的大小较小,则HMD设备可以确定透镜具有暗色彩。
一旦获得了关于透镜的色彩信息,HMD设备可以在步骤S2040中基于所获得的色彩信息来修改图像以及在步骤S2050中显示所修改的图像。
图21是根据本发明的实施例的基于用户的瞳孔的大小来获得色彩信息的方法的图。
参考图21,HMD设备2100可以通过使用在HMD设备2100的一部分处布置的相机2110来拾取用户的眼睛2120的图像。尽管图21示出了透镜被布置在相机2110和用户之间,但是相机2110的位置可以根据本发明的实施例而改变。HMD设备2100可以从眼睛2120的图像检测瞳孔的大小。HMD设备2100可以获得关于所检测的瞳孔的大小的色彩信息。
图22是根据本发明的实施例的基于用户的设置来获得关于透镜的色彩信息的方法的图。
根据本发明的实施例,用户可以设置关于透镜2220的色彩信息。参考图22,HMD设备2200可以显示用于设置关于透镜2220的色彩信息的用户界面2210。例如,用户界面2210可以包括色彩信息的列表。
HMD设备2200可以经由输入/输出单元来从用户接收用于从关于透镜2220的色彩信息中选择一个色彩信息的输入。例如,参考图22,如果经由用户界面2210选择了棕色,则HMD设备可以获得与棕色相对应的RGB值作为关于透镜2220的色彩信息。
图23是根据本发明的实施例的HMD设备显示图像的方法的流程图。此外,图24是根据本发明的实施例的HMD设备显示图像的方法的图。
根据本发明的实施例,HMD设备可以是不能处理图像的无源设备。在该情况中,HMD设备可以通过使用能够与HMD设备通信的有源设备来修改图像。
参考图23和图24,HMD设备2300可以在步骤S2310中获得关于透镜的标识信息。接下来,HMD设备2300可以在步骤2320中将所获得的关于透镜的标识信息发送到作为有源设备的控制终端2400。
接下来,控制终端2400可以在步骤2330中基于从HMD设备2300接收的标识信息来修改或生成要由HMD设备2300显示的图像。
接下来,控制终端2400可以在步骤2340中将所修改或生成的图像发送到HMD设备2300。
接下来,HMD设备2300可以在步骤2350中显示所修改或生成的图像。
图25是根据本发明的实施例的HMD设备推荐透镜的方法的流程图。
参考图25,HMD设备可以在步骤S2510中获得关于外部环境的信息。关于外部环境的信息可以是指示由至少一个传感器检测的HMD设备附近的状况的信息。例如,关于外部环境的信息可以包括关于HMD设备的附近的亮度的信息、关于HMD设备的位置的GPS坐标、或关于HMD设备检测的声音的信息。
接下来,HMD设备可以在步骤S2520中确定与在步骤S2510中获得的关于外部环境的信息相对应的色彩信息。根据本发明的实施例,关于外部环境的色彩信息可以是关于外部环境的原始信息,诸如关于HMD设备的附近的亮度的信息。例如,HMD设备可以通过使用相机560来拾取HMD设备的外部环境的图像。HMD设备可以从所拾取的图像中获得关于外部环境的信息。在该情况中,可以省略步骤S2520。此外,根据本发明的实施例,关于外部环境的色彩信息可以是基于关于HMD设备的附近的亮度的信息、关于HMD设备的位置的GPS坐标、或关于HMD设备检测的声音的信息从在HMD设备的内部或外部包括的色彩数据库(DB)中包括的色彩信息中选择的色彩代码。HMD设备可以在步骤S2530推荐与所确定的关于外部环境的色彩信息相对应的透镜。表述“HMD设备可以推荐透镜”例如指示HMD设备显示指令用户改变透镜的消息。例如,如果在步骤S2510中获得的亮度较低,则HMD设备可以推荐无色透镜。相反,如果在步骤S2510中获得的亮度较高,则HMD设备可以推荐有色透镜,例如棕色透镜、蓝色透镜、黑色透镜等。
图27是HMD设备2700推荐透镜的方法的图。
参考图27,HMD设备2700可以基于关于外部环境的信息来显示用于推荐选择透镜的消息2710。在该情况中,HMD设备2700可以显示消息2710,使得用户识别出在透镜2720上显示了消息2710。
根据本发明的实施例,如果HMD设备2700能够控制透镜2720的色彩或透过率,则可以用其中HMD设备2700基于在步骤S2520中确定的关于外部环境的色彩信息来控制透镜2720的色彩或透过率的步骤来替代步骤S2530。
图26是根据本发明的实施例的HMD设备推荐透镜的方法的流程图。此外,图28至图31是根据本发明的实施例的HMD设备推荐透镜的方法的图。
HMD设备可以在步骤S2610中选择要经由显示器显示的内容。例如,HMD设备可以显示内容列表并且基于经由HMD设备的输入/输出单元接收的用户输入来从内容列表选择内容。在该情况中,内容列表可以包括可执行的应用或包括图片或运动图片的多媒体内容。
例如,参考图28,HMD设备2700可以在透镜2720上显示内容列表2810。HMD设备2700可以从在内容列表2810中包括的内容中选择一个内容。如图28中所示,HMD设备2700可以从内容列表2810中选择web浏览器2811。
接下来,HMD设备2700可以在图26的步骤S2620中推荐与在步骤S2610中选择的内容相对应的透镜。例如,参考图29,如果选择了web浏览器2811,则HMD设备2700可以在透镜2820上显示用于推荐具有适合于使用web浏览器2811的色彩的透镜的消息2920。此外,HMD设备2700可以显示web浏览器执行屏幕图像2910。
接下来,可以在图26的步骤S2630中确定所推荐的透镜是否附接到了HMD设备。在步骤S2630中,HMD设备可以通过使用各种方法来确定所推荐的透镜是否附接到HMD设备。例如,HMD设备可以获得关于透镜的标识信息并且确定所获得的标识信息是否与所推荐的透镜的标识信息相同。作为另一个示例,HMD设备可以获得关于透镜的色彩信息并且确定所获得的色彩信息是否与推荐的透镜的色彩信息相同。如图30中所示,如果用具有不同色彩的透镜2821替代了透镜2820,则HMD设备可以确定所推荐的透镜被附接到了HMD设备。如果所推荐的透镜未附接到HMD设备,HMD设备可以再次执行图26的步骤S2620。
根据本发明的实施例,如果HMD设备能够控制透镜2820的色彩或透过率,则可以用用于控制透镜2820以将透镜2820的色彩或透过率改变为推荐用于显示所选择的内容的色彩或透过率的步骤来替代步骤S2620和S2630。
接下来,HMD设备可以在步骤S2640中在透镜上显示所选择的内容。在步骤S2640中显示的内容可以是基于在步骤S2620和S2630中修改的关于透镜的色彩信息而修改的图像。如图31中所示,HMD设备2700可以在具有修改的色彩的透镜2821上显示用于显示具有修改的色彩的屏幕图像2911的web浏览器。
图32是根据本发明到实施例的能够改变显示图像的透镜的色彩或透过率的HMD设备的方法的流程图。
根据本发明的实施例的HMD设备可以在步骤S3110中控制透镜的色彩或透过率。例如,HMD设备可以通过使用亮度传感器来测量亮度并且控制透镜的透过率。例如,亮度传感器可以包括用于检测周围光量的光量传感器、用于检测光的色彩或光谱的光敏传感器或其组合中的至少一个。然而,本发明不限于此。作为另一个示例,HMD设备可以通过使用相机来拾取周围环境的图像,并且基于所拾取的图像来测量亮度。替选地,可以通过使用指示HMD设备的位置的信息来测量HMD设备的附近的亮度。如果所测量的亮度较低,则可以增加透镜的透过率。相反,如果所测量的亮度较低,则可以降低透镜的透过率以保护用户的眼睛。
由于透镜是由电致变色玻璃、液晶(LC)面板或悬浮粒子设备(SPD)形成的,则HMD设备可以控制透镜的色彩或透过率。例如,透镜可以包括包含电致发光材料(EC)薄膜透明电极的电致变色玻璃、ITO玻璃和电介质。如果透镜是由电致变色玻璃形成的,HMD设备可以通过控制施加到电致变色玻璃的电压的幅度来控制透镜的色彩或透过率。
接下来,HMD设备可以在步骤S3120基于透镜的色彩或透过率来修改图像。HMD设备可以在步骤S3130显示所修改的图像。例如,如果HMD设备控制透镜以将透镜的色彩改变为蓝色,则HMD设备可以以作为蓝色的互补色的红色来显示文本。
图33是根据本发明的实施例的可以被用于修改图像的互补色的图表。
根据本发明的实施例的HMD设备可以通过使用互补色图表来修改图像。例如,如果在图12的步骤S1210中获得的色彩信息是FFFF00(例如黄色),则HMD设备可以以作为黄色的互补色的蓝色来显示文本。然而,本发明不限于此,并且修改图像的方法可以根据本发明的实施例而改变。
在该情况中,色彩信息可以根据本发明的实施例而改变。例如,根据本发明的实施例,色彩信息可以是指令透镜的色彩的信息。替选地,根据本发明的实施例,色彩信息可以指令被识别为HMD设备所显示的图像周围的背景色彩的色彩。在该情况中,通过布置在HMD设备处的光敏传感器来检测透过透镜的光的色彩,因此HMD设备可以获得指令被识别为背景色彩的色彩的色彩信息。根据本发明的实施例,色彩信息可以是基于关于外部环境的信息确定的信息。
图34和图35是根据本发明的实施例的显示校正图像的HMD设备的图。
参考图34,当穿戴HMD设备3300的用户看到室内风景时显示图像3310。HMD设备3300可以测量环境的亮度。如果HMD设备3300位于室内位置并且所测量的亮度较低,则HMD设备3300可以增加透镜3320的透过率或可以将透镜3320控制为无色。HMD设备3300的用户可以识别出在透镜3320上显示了图像3310。
参考图35,当穿戴HMD设备3300的用户看到室外风景3401时显示图像3311。由于所测量的亮度增加,所以HMD设备3300可以控制透镜3321的色彩或透过率。当透镜3321的色彩或透过率被修改时,HMD设备3300可以基于与所修改的透镜3321的色彩或透过率相对应的色彩信息来修改图像3311。如图35中所示,HMD设备3300可以用所修改的色彩或修改的图标大小来显示图像3311。
图36和图37是根据本发明的实施例的显示修改的图像的HMD设备的图。
参考图36,HMD设备3500可以在透镜3520上显示用于提供扩增的现实功能的图像3510。用于提供扩增的现实功能的图像3510可以关于例如用户正看到的实际对象的信息。如在图37中所示,如果透镜3520的色彩或透过率被修改,则HMD设备3500可以显示所修改的图像3511。所修改的图像3511可以不仅仅是具有所修改的色彩的图像,而且可以是如图37所示的包括修改的对象的图像。
图38是根据本发明的实施例的HMD设备的框图。
HMD设备可以包括色彩信息获得单元3710、控制单元3720和显示单元3730。
根据本发明的实施例的色彩信息获得单元3710可以获得关于透镜的色彩信息。根据本发明的实施例,可以以各种方式来配置色彩信息获得单元3710。例如,如图15中所示,色彩信息获得单元3710可以包括电极1532。替选地,色彩信息获得单元3710可以包括如图17所示的识别单元,其通过使用相机1710来识别代码,或如图19所示,可以通过使用光敏传感器1930来获得关于透镜的色彩信息。替选地,如果图38的控制单元3720控制透镜的色彩或透过率,则信息获得单元3710可以被包括在控制单元3720中。
此外,如果透镜可以被附接到HMD设备或从HMD设备拆卸,则色彩信息获得单元3710可以确定透镜是否被附接到HMD设备。当识别出附接到HMD设备的透镜,则色彩信息获得单元3710可以获得关于附接的透镜的色彩信息。
控制单元3720可以处理信息并控制HMD设备的组件。控制单元3720可以基于色彩信息获得单元3710获得的色彩信息来修改图像。控制单元3720可以控制显示单元3730显示所修改的图像。
根据本发明的实施例,控制单元3720可以控制透镜的色彩和透过率中的至少一个。在该情况中,透镜可以包括电致变色玻璃、SPD或LC。例如,透镜可以包括具有如图10所示的结构的玻璃。如果图38的控制单元3720控制透镜的色彩或透过率,则控制单元3720可以获得关于与所修改的色彩或透过率相对应的透镜的色彩信息。此外,控制单元3720可以基于所获得的关于透镜的色彩信息来修改图像。
根据本发明的实施例,控制单元3720可以选择可以经由显示单元3730输出的内容。例如,HMD设备可以显示内容列表并且基于经由HMD设备的输入/输出单元接收的用户输入来从内容列表选择内容。在该情况中,内容列表可以包括可执行应用或包括图片或运动图片的多媒体内容。
此外,根据本发明的实施例的HMD设备可以进一步包括用于获得关于外部亮度的信息的亮度传感器。控制单元3720可以进一步考虑关于经由亮度传感器获得的外部亮度的信息来修改图像。例如,控制单元3720可以在外部亮度增加时增加图像的亮度。
根据本发明的实施例的HMD设备可以进一步考虑用户看到的背景(例如图像的背景)的色彩来修改图像。
图39是根据本发明的实施例的HMD设备4000显示图像的流程图。此外,图40至图43是根据本发明的实施例的显示校正图像4125的HMD设备4000的图。
首先,HMD设备4000可以在步骤S3910中拾取背景图像4020。HMD设备4000可以包括用于沿用户1的观看方向拾取图像的相机4010。HMD设备4000可以通过使用相机4010来拾取背景图像4020。
参考图40,HMD设备4000可以在HMD设备4000的一部分处包括相机4010。如果穿戴HMD设备4000的用户1看到人行横道,则相机4010可以获得其中捕获人行横道的背景图像4020。
接下来,HMD设备4000可以在步骤S3920确定与要由HMD设备4000显示在背景图像4020中的图像4110的位置相关的图像显示区域4120。当HMD设备4000显示图像4110时,图像显示区域4120可以是背景图像4020的一部分,该部分被用户识别为其中显示有图像4110的区域。根据本发明的实施例,可以基于显示图像4110的位置来确定图像显示区域4120。
参考图41,如果在HMD设备4000的左上部分显示图像4110,则HMD设备可以确定图像显示区域4120位于背景图像4020的左上部分。参考图42,用户1可以识别出图像4110被显示在背景图像4020中的图像显示区域4120上。在该情况中,如果图像显示区域4120中的背景的色彩类似于图像4110的色彩,则用户1可能难以识别出图像4110。因而,有必要修改图像4110的色彩。
当在图39中的步骤S3920中确定了图像显示区域4120时,HMD设备4000可以在步骤S3930中确定关于图像显示区域4120的色彩信息。在该情况中,步骤S3930可以根据本发明的实施例而改变。例如,HMD设备4000可以将图像显示区域4120中包括的像素的平均色彩确定为关于图像显示区域4120的色彩信息。作为另一个示例,HMD设备4000可以从图像显示区域4120中的诸如中心点的特征点提取色彩信息。
此外,根据本发明的实施例,HMD设备4000可以考虑透镜的色彩和图像显示区域4120的色彩两者来确定色彩信息。如果用户1通过透镜看到对象,则用户1可以识别对象处于与对象的实际色彩不同的色彩。因此,在步骤S3930,HMD设备4000可以将用户1通过透镜识别出的对象的色彩确定为关于图像显示区域4120的色彩信息。
接下来,HMD设备4000可以在步骤S3940中基于在步骤S3930确定的关于图像显示区域4120的色彩信息来修改图像。HMD设备4000可以在步骤S3950中经由显示单元来显示修改的图像。
例如,HMD设备4000可以相对于关于图像显示区域4120的色彩信息来确定互补色,并且将图像4110的色彩修改为所确定的互补色。参考图43,HMD设备4000可以显示所修改的图像4125,使得所修改的图像4125容易地与背景图像4020相区分。
在步骤S3940中,不必修改整个图像。例如,可以仅修改图像的边界的色彩,或可以在图像周围增加单独的背景。
图44是根据本发明的实施例的HMD设备控制透镜的色彩或透过率的方法的流程图。
首先,在步骤S4410中,HMD设备可以通过使用包括在HMD设备中的相机来拾取图像。在该情况中,相机可以从HMD设备外部瞄准。换句话说,相机可以通过接收不是透过透镜的光来拾取图像。
接下来,在步骤S4420中,HMD设备可以确定透镜的色彩或透过率。在该情况中,透镜可以包括其透过率或色彩在HMD设备的控制单元的控制下可以被修改的智能窗口。例如,HMD设备可以基于所拾取的图像来确定外部亮度。换句话说,HMD设备可以分析所拾取的图像的亮度,并且可以基于分析的结果来确定HMD设备外部的亮度。如果外部亮度较高,则HMD设备可以将透镜的色彩改变为暗色彩,诸如棕色。相反,如果外部亮度较低,则HMD设备可以将透镜控制为无色,或对于透镜将透镜的色彩或透过率确定为具有高透过率。
接下来,在步骤S4430,HMD设备可以控制透镜的色彩或透过率,使得透镜具有在步骤S4420中确定的色彩或透过率。
图45是根据本发明的实施例的HMD设备拾取图像以用于控制色彩或透过率的方法的图。
根据本发明的实施例,HMD设备可以包括多个相机。参考图45,HMD设备可以包括第一相机560-1和第二相机560-2。第一相机560-1可以被布置为接收外部发射到HMD设备但是未透过透镜580的光4520。第二相机560-2可以被配置为接收透过透镜580的光4510。
HMD设备可以基于经由第一相机560-1接收的光4520和经由第二相机560-2接收的光4510来确定透镜580的色彩或透过率。例如,HMD设备可以将经由第一相机560-1接收的光4520与经由第二相机560-2接收的光4510进行比较(例如亮度差或色彩差),并且基于比较的结果来确定透镜580的色彩或透过率。替选地,HMD设备可以选择经由第一相机560-1接收的光4520和经由第二相机560-2接收的光4510中的一个,并且基于所选择的光的亮度或色彩来确定透镜580的色彩或透过率。根据本发明的实施例,确定透镜的色彩或透过率的方法可以改变。
图46是根据本发明的实施例的HMD设备控制透镜的色彩或透过率的方法的流程图。
首先,HMD设备可以在步骤S4610中经由第一相机560-1拾取图像。此外,HMD设备可以在步骤S4615中经由第二相机560-2拾取图像。
接下来,在步骤S4620中,HMD设备可以分析在步骤S4610和S4615中拾取的图像。例如,HMD设备可以将经由第一相机560-1拾取的图像与经由第二相机560-2拾取的图像进行比较。替选地,HMD设备可以选择经由第一相机560-1和第二相机560-2拾取的图像中的一个。然而,本发明不限于此。
接下来,在步骤S4630中,HMD设备可以确定透镜的色彩或透过率。当确定了透镜的色彩或透过率时,HMD设备可以在步骤S4640中基于所确定的色彩或透过率来控制透镜的色彩或透过率。
如上所述,根据本发明的实施例,用户可以容易地识别出内容或用户界面。
还可以将本发明的实施例实现为非瞬时性计算机可读可记录介质,其包括可由计算机执行的指令,诸如程序模块。非瞬时性计算机可读可记录介质可以是能够被计算机访问并且包括易失性介质(例如随机存取存储器(RAM))和非易失性介质(例如只读存储器(ROM))两者以及可移除和非可移除介质两者的任何可获得的介质。此外,非瞬时性计算机可读可记录介质可以包括计算机存储介质和通信介质两者。计算机存储介质包括计算机可读指令、数据结构、程序模块或通过使用用于存储信息的任何技术实现的易失性、非易失性、可移除或非可移除介质。通信介质典型地包括计算机可读指令、数据结构、程序模块、其他数据或用于调制数据信号的其他传输机制以及任何信息传递介质。例如,非瞬时性计算机可读记录介质可以是ROM、RAM、闪存、压缩盘(CD)、数字视频盘(DVD)、磁盘或磁带。
应理解,应仅在描述的意义上而不是限制的目的来考虑在此所描述的本发明的实施例。典型地应将在本发明的每个实施例内的特征或方面的描述认为可用于其他实施例中的其他类似特征或方面。
尽管已参考附图描述了本发明的一个或多个实施例,但是本领域技术人员将理解在此可以在不背离如所附权利要求及其等同物限定的本发明的精神和范围的情况下进行各种形式和细节改变。

Claims (15)

1.一种头戴式显示(HMD)设备,包括:
色彩信息获得单元,被配置为获得关于布置在HMD设备的一部分处的透镜的色彩信息;以及
控制单元,被配置为经由布置在HMD设备处的显示单元来输出基于色彩信息修改的图像。
2.根据权利要求1所述的HMD设备,其中,透镜被配置为在控制单元的控制下修改其色彩或透过率中的至少一个,以及
色彩信息获得单元进一步被配置为获得与透镜的所修改的色彩或透过率相对应的色彩信息。
3.根据权利要求1所述的HMD设备,其中,透镜可附接到HMD设备以及可从HMD设备拆卸,以及
如果检测到透镜被附接到HMD设备,则色彩信息获得单元进一步被配置为获得透镜的色彩信息。
4.根据权利要求3所述的HMD设备,其中,色彩信息获得单元进一步包括:识别单元,被配置为识别透镜上的代码以及获得与由识别单元识别的代码相对应的色彩信息。
5.根据权利要求3所述的HMD设备,其中,控制单元进一步被配置为选择要经由显示单元输出的内容,确定与所选择的内容相对应的透镜,以及经由显示单元输出用于推荐所确定的透镜的推荐消息。
6.根据权利要求3所述的HMD设备,进一步包括被配置为获得关于外部亮度的信息的亮度传感器,
其中,控制单元进一步被配置为确定与经由亮度传感器获得的关于外部亮度的信息相对应的透镜以及经由显示单元输出用于推荐所确定的透镜的推荐消息。
7.根据权利要求1所述的HMD设备,其中,色彩信息获得单元包括光敏传感器,并且进一步被配置为基于经由光敏传感器获得的信息来获得关于透镜的色彩信息。
8.根据权利要求1所述的HMD设备,进一步包括被配置为获得关于外部亮度的信息的亮度传感器,
其中,经由显示单元输出的图像是进一步考虑关于外部亮度的信息而被修改的图像。
9.一种由头戴式显示(HMD)设备显示图像的方法,所述方法包括:
获得关于布置在HMD设备的一部分处的透镜的色彩信息;以及
经由布置在HMD设备处的显示单元来输出基于色彩信息修改的图像。
10.根据权利要求9所述的方法,进一步包括在控制单元的控制下修改透镜的色彩或透过率中的至少一个,
其中,在获得色彩信息中,获得与透镜的所修改的色彩或透过率相对应的色彩信息。
11.根据权利要求9所述的方法,其中,透镜可附接到HMD设备以及可从HMD设备拆卸,以及
如果识别出透镜被附接到HMD设备,则获得色彩信息。
12.根据权利要求11所述的方法,其中,获得色彩信息包括:
识别透镜上的代码;以及
获得与代码相对应的色彩信息。
13.根据权利要求11所述的方法,进一步包括:
选择要经由HMD设备输出的内容;以及
推荐与所选择的内容相对应的透镜,
其中,在显示所修改的图像中,输出包括基于关于所推荐的透镜的色彩信息而修改的所选择的内容的图像。
14.根据权利要求11所述的方法,进一步包括:
获得关于外部亮度的信息;以及
推荐与关于外部亮度的信息相对应的透镜。
15.一种非瞬时计算机可读记录介质,其上记录有用于实现由头戴式显示(HMD)设备显示图像的方法的计算机程序,所述方法包括:
获得关于布置在HMD设备的一部分处的透镜的色彩信息;以及
经由布置在HMD设备处的显示单元来输出基于色彩信息而修改的图像。
CN201510456850.7A 2014-07-29 2015-07-29 用于显示图像的头戴式显示设备及其方法 Active CN105319717B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR10-2014-0096765 2014-07-29
KR20140096765 2014-07-29
KR10-2015-0007447 2015-01-15
KR1020150007447A KR102321362B1 (ko) 2014-07-29 2015-01-15 헤드 마운트 디스플레이 디바이스가 영상을 디스플레이하는 방법 및 그 헤드 마운트 디스플레이 디바이스

Publications (2)

Publication Number Publication Date
CN105319717A true CN105319717A (zh) 2016-02-10
CN105319717B CN105319717B (zh) 2018-12-28

Family

ID=53673868

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510456850.7A Active CN105319717B (zh) 2014-07-29 2015-07-29 用于显示图像的头戴式显示设备及其方法

Country Status (4)

Country Link
US (1) US10338389B2 (zh)
EP (1) EP2981058B1 (zh)
CN (1) CN105319717B (zh)
WO (1) WO2016017966A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109408008A (zh) * 2017-08-18 2019-03-01 财团法人工业技术研究院 影像辨识系统及其信息显示方法
CN109791301A (zh) * 2016-10-11 2019-05-21 索尼公司 显示设备
US11106034B2 (en) 2019-05-07 2021-08-31 Apple Inc. Adjustment mechanism for head-mounted display

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9715112B2 (en) 2014-01-21 2017-07-25 Osterhout Group, Inc. Suppression of stray light in head worn computing
US9400390B2 (en) 2014-01-24 2016-07-26 Osterhout Group, Inc. Peripheral lighting for head worn computing
US9651784B2 (en) 2014-01-21 2017-05-16 Osterhout Group, Inc. See-through computer display systems
US9753288B2 (en) 2014-01-21 2017-09-05 Osterhout Group, Inc. See-through computer display systems
US11487110B2 (en) 2014-01-21 2022-11-01 Mentor Acquisition One, Llc Eye imaging in head worn computing
JP6334484B2 (ja) * 2015-09-01 2018-05-30 株式会社東芝 メガネ型ウェアラブル装置及びその制御方法及び情報管理サーバー
US20170139145A1 (en) * 2015-10-20 2017-05-18 Kaiam Corp. Optical interconnect for switch applications
US9880441B1 (en) 2016-09-08 2018-01-30 Osterhout Group, Inc. Electrochromic systems for head-worn computer systems
US9826299B1 (en) 2016-08-22 2017-11-21 Osterhout Group, Inc. Speaker systems for head-worn computer systems
US10219060B2 (en) 2016-03-24 2019-02-26 Hearshot Inc. Helmet-worn device for electronic communications during high motion activity
CN106267552B (zh) 2016-07-25 2020-03-10 京东方科技集团股份有限公司 一种穿戴设备、虚拟现实方法和终端系统
GB2557569B (en) * 2016-09-09 2022-07-06 Displaylink Uk Ltd Adjusting display data
US10885676B2 (en) * 2016-12-27 2021-01-05 Samsung Electronics Co., Ltd. Method and apparatus for modifying display settings in virtual/augmented reality
CN107085316A (zh) * 2017-06-30 2017-08-22 京东方科技集团股份有限公司 液晶镜片和液晶眼镜
TW201923415A (zh) * 2017-08-23 2019-06-16 新加坡商偉創力有限公司 光投影引擎附接及對準
WO2019055839A2 (en) * 2017-09-15 2019-03-21 Trustees Of Dartmouth College VISUALIZATION SENSORS AND EYE MOVEMENT TRACKING APPARATUSES, AND ASSOCIATED METHODS AND SOFTWARE
CN108563023B (zh) * 2018-04-25 2020-11-27 京东方科技集团股份有限公司 增强现实处理方法、系统、控制设备和增强现实设备
CN111077671B (zh) * 2018-10-19 2022-07-29 广东虚拟现实科技有限公司 设备控制方法、装置、显示设备及存储介质
US20200159027A1 (en) * 2018-11-20 2020-05-21 Facebook Technologies, Llc Head-mounted display with unobstructed peripheral viewing
US11249310B1 (en) * 2018-11-26 2022-02-15 Lockheed Martin Corporation Augmented reality device with external light control layer for realtime contrast control
US10642050B1 (en) * 2018-12-14 2020-05-05 Google Llc Modular accessory systems for wearable devices
CN110286538B (zh) * 2019-06-28 2022-05-24 Oppo广东移动通信有限公司 显示方法、显示装置、头戴式显示装置和存储介质
US11494953B2 (en) * 2019-07-01 2022-11-08 Microsoft Technology Licensing, Llc Adaptive user interface palette for augmented reality
US11402925B2 (en) * 2019-09-25 2022-08-02 Apple Inc. Crown input and feedback for head-mountable devices
KR102570187B1 (ko) * 2019-09-30 2023-08-25 주식회사 엘지화학 헤드 마운티드 디스플레이
TWI711312B (zh) * 2019-11-21 2020-11-21 宏碁股份有限公司 色彩校正方法與電子裝置
US11715355B1 (en) * 2020-07-31 2023-08-01 Apple Inc. Crown input and feedback for head-mountable devices
US11948043B2 (en) * 2021-06-02 2024-04-02 Apple Inc. Transparent insert identification

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102809821A (zh) * 2011-06-01 2012-12-05 索尼公司 显示设备
US20130021373A1 (en) * 2011-07-22 2013-01-24 Vaught Benjamin I Automatic Text Scrolling On A Head-Mounted Display
US20130113973A1 (en) * 2011-11-04 2013-05-09 Google Inc. Adaptive brightness control of head mounted display
US20140063055A1 (en) * 2010-02-28 2014-03-06 Osterhout Group, Inc. Ar glasses specific user interface and control interface based on a connected external device type
CN103901618A (zh) * 2012-12-28 2014-07-02 联想(北京)有限公司 电子设备和显示方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6863395B1 (en) * 2003-12-29 2005-03-08 Irene Corporation Eyeglasses having detachable lenses
TWM343803U (en) 2005-08-12 2008-11-01 Universal Vision Biotechnology Co Ltd Headwear display device with charge seat
JP2009092810A (ja) * 2007-10-05 2009-04-30 Nikon Corp ヘッドマウントディスプレイ装置
JP5304329B2 (ja) * 2009-03-05 2013-10-02 ブラザー工業株式会社 ヘッドマウントディスプレイ装置、画像制御方法および画像制御プログラム
JP5402293B2 (ja) 2009-06-22 2014-01-29 ソニー株式会社 頭部装着型ディスプレイ、及び、頭部装着型ディスプレイにおける画像表示方法
KR101758373B1 (ko) 2010-10-07 2017-07-17 엘지전자 주식회사 능동형 셔터 안경 및 스마트 윈도우
US8471967B2 (en) * 2011-07-15 2013-06-25 Google Inc. Eyepiece for near-to-eye display with multi-reflectors
WO2013028908A1 (en) 2011-08-24 2013-02-28 Microsoft Corporation Touch and social cues as inputs into a computer
US8724206B2 (en) 2012-09-28 2014-05-13 Google Inc. Photo-chromic coating for optics
US20140191927A1 (en) * 2013-01-09 2014-07-10 Lg Electronics Inc. Head mount display device providing eye gaze calibration and control method thereof
US20140253605A1 (en) * 2013-03-05 2014-09-11 John N. Border Controlling brightness of a displayed image
GB201310359D0 (en) 2013-06-11 2013-07-24 Sony Comp Entertainment Europe Head-Mountable apparatus and systems

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140063055A1 (en) * 2010-02-28 2014-03-06 Osterhout Group, Inc. Ar glasses specific user interface and control interface based on a connected external device type
CN102809821A (zh) * 2011-06-01 2012-12-05 索尼公司 显示设备
US20130021373A1 (en) * 2011-07-22 2013-01-24 Vaught Benjamin I Automatic Text Scrolling On A Head-Mounted Display
US20130113973A1 (en) * 2011-11-04 2013-05-09 Google Inc. Adaptive brightness control of head mounted display
CN103901618A (zh) * 2012-12-28 2014-07-02 联想(北京)有限公司 电子设备和显示方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109791301A (zh) * 2016-10-11 2019-05-21 索尼公司 显示设备
US11215896B2 (en) 2016-10-11 2022-01-04 Sony Corporation Display apparatus
CN109408008A (zh) * 2017-08-18 2019-03-01 财团法人工业技术研究院 影像辨识系统及其信息显示方法
US11106034B2 (en) 2019-05-07 2021-08-31 Apple Inc. Adjustment mechanism for head-mounted display

Also Published As

Publication number Publication date
EP2981058B1 (en) 2019-06-19
US20160033772A1 (en) 2016-02-04
US10338389B2 (en) 2019-07-02
WO2016017966A1 (en) 2016-02-04
CN105319717B (zh) 2018-12-28
EP2981058A1 (en) 2016-02-03

Similar Documents

Publication Publication Date Title
CN105319717B (zh) 用于显示图像的头戴式显示设备及其方法
TWI598634B (zh) 顯示影像用之頭戴顯示裝置及其方法
US10775623B2 (en) Method for providing virtual image to user in head-mounted display device, machine-readable storage medium, and head-mounted display device
JP2021507277A (ja) 拡張現実ディスプレイシステム
US20220375172A1 (en) Contextual visual and voice search from electronic eyewear device
CN117616381A (zh) 语音控制的设置和导航
KR20190070899A (ko) 헤드-마운티드 디스플레이 장치에서 가상 이미지를 사용자에게 제공하는 방법, 기계로 읽을 수 있는 저장 매체 및 헤드-마운티드 디스플레이 장치
WO2022114535A1 (ko) 카메라를 포함하는 증강 현실 웨어러블 전자 장치
US20240069843A1 (en) Extending user interfaces of mobile apps to ar eyewear
US20230204958A1 (en) Eyewear electronic tinting lens with integrated waveguide
WO2024122801A1 (ko) 외부 전자 장치의 위치에 기반하여 시각적 객체를 표시하기 위한 전자 장치 및 그 방법
WO2022108150A1 (ko) 빛 간섭이 방지되는 증강 현실 웨어러블 전자 장치
US20220365370A1 (en) Eyewear electrochromic lens with multiple tint regions
WO2024096485A1 (ko) 외부 광원의 조도에 따라 광투과율을 조정하는 웨어러블 장치 및 그 제어 방법
WO2023191554A1 (ko) 투명 디스플레이를 구비한 웨어러블 장치 및 그 동작 방법
US20220373796A1 (en) Extended field-of-view capture of augmented reality experiences
US20230367137A1 (en) Eyewear with a shape memory alloy actuator
US20240096254A1 (en) Wearable device for adjusting size of effective display area according to external illuminance and control method thereof
US20220279151A1 (en) Projector with field lens
KR20230120951A (ko) 주변 조도에 기초한 ar 컨텐츠 표시 방법 및 장치
KR20230065049A (ko) 비전 정보를 이용하여 전자기기를 제어하는 웨어러블 전자 장치 및 방법
KR20240029489A (ko) 디스플레이 모듈 제어 방법 및 상기 방법을 수행하는 전자 장치
KR20240019667A (ko) 디스플레이 모듈 제어 방법 및 상기 방법을 수행하는 전자 장치
KR20230069433A (ko) Ar 이미지의 휘도를 제어하는 방법 및 장치
KR20220151420A (ko) 웨어러블 전자 장치 및 3d 이미지 출력 방법

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant