CN108873330A - 头戴式显示装置以及适应性遮罩方法 - Google Patents

头戴式显示装置以及适应性遮罩方法 Download PDF

Info

Publication number
CN108873330A
CN108873330A CN201710431567.8A CN201710431567A CN108873330A CN 108873330 A CN108873330 A CN 108873330A CN 201710431567 A CN201710431567 A CN 201710431567A CN 108873330 A CN108873330 A CN 108873330A
Authority
CN
China
Prior art keywords
mentioned
content
light
pixel
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710431567.8A
Other languages
English (en)
Inventor
萧博文
范富诚
林君达
张维仁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
HTC Corp
Original Assignee
High Tech Computer Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by High Tech Computer Corp filed Critical High Tech Computer Corp
Publication of CN108873330A publication Critical patent/CN108873330A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/363—Image reproducers using image projection screens
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0112—Head-up displays characterised by optical features comprising device for genereting colour display
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0118—Head-up displays characterised by optical features comprising devices for improving the contrast of the display / brillance control visibility
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0132—Head-up displays characterised by optical features comprising binocular systems
    • G02B2027/0134—Head-up displays characterised by optical features comprising binocular systems of stereoscopic type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)

Abstract

一种头戴式显示装置，其具有显示系统以及光调制器。显示系统选择性地显示或不显示第一内容，其中第一内容的显示是于视觉上迭加于周遭环境的场景之上。光调制器设置于显示系统与周遭环境之间，且包括由多个像素所组成的阵列，像素的第一部份被设置以调制光线以显示第二内容，而像素的其他部份被设置为实质透光。

Description

头戴式显示装置以及适应性遮罩方法
技术领域
本申请是有关于虚拟实境装置或扩增实境装置，特别是有关于一种运用了光调制器的头戴式显示装置，其中光调制器是设置于显示系统与周遭环境之间，特别用以针对光线进行适应性的遮罩以增进图像特性。
背景技术
近年来，虚拟实境装置或扩增实境装置已被运用在诸多领域中且其应用价值已受到相当的肯定，这些领域横跨了科学视算(scientific visualization)、医学、军事训练、工程设计及原型设计(prototyping)、遥控操作(tele-manipulation)及遥现(tele-presence)、以及个人娱乐系统。
扩增实境一般系指将扩增的内容(例如：二维(two-dimensional，3D)或三维(three-dimensional，3D)内容、文字、以及虚拟物件等)迭加到周遭真实世界的画面。换句话说，扩增实境装置所显示的是被扩增的视图，也就是真实世界的画面再加上虚拟的二维或三维内容。
相较之下，虚拟实境一般是指呈现一个完全虚拟的二维或三维环境以取代周遭的真实世界。目前已有许多基于手机的虚拟实境装置以头戴式显示器的方式实作，将手机萤幕固定在使用者的视线方向、头戴式显示器的透镜后方，使得使用者在其视域仅能看见手机萤幕所显示的虚拟画面，藉此提供广角的视觉呈现效果。
发明内容
本申请的一实施例提供了一种头戴式显示装置，包括一显示系统以及一光调制器。上述显示系统选择性地显示或不显示一第一内容，其中上述第一内容的显示是于视觉上迭加于一周遭环境的一场景之上。上述光调制器设置于上述显示系统与上述周遭环境之间，且包括由复数像素所组成的一阵列，其中上述像素的第一部份是用以调制光线以显示一第二内容，而上述像素的其他部份是被设置为实质透光。
本申请的另一实施例提供了一种适应性遮罩方法，适用于一头戴式显示装置，上述头戴式显示装置包括一显示系统以及设置于上述显示系统与一周遭环境之间的一光调制器，上述光调制器包括由复数像素所组成的一阵列。上述适应性遮罩方法包括以下步骤：设定上述显示系统选择性地显示或不显示一第一内容，其中上述第一内容的显示是于视觉上迭加于一周遭环境的一场景之上；设定上述像素的第一部份对光线进行调制以显示一第二内容；以及设定上述像素的其他部份为实质透光。
关于本申请其他附加的特征与优点，本领域技术人员，在不脱离本申请的精神和范围内，当可根据本案实施方法中所揭露的头戴式显示装置以及适应性遮罩方法做些许的更动与润饰而得到。
附图说明
图1是根据本申请一实施例所述的头戴式显示装置的示意图。
图2是显示头戴式显示装置100的组成外观的示意图。
图3是根据本申请一实施例所述的头戴式显示装置100在周遭环境的应用示意图。
图4A是由显示系统10所显示的一虚拟内容的范例图。
图4B是由光调制器20所提供的一虚拟内容的范例图。
图4C是显示透过显示系统10与光调制器20所呈现的扩增实境的范例图。
图5A～5C根据本申请的不同实施例所述强化扩增实境的虚拟物件的示意图。
图6A根据本申请一实施例所述倚重光调制器20的协助提供清晰可见的虚拟内容的示意图。
图6B根据本申请一实施例所述单独由光调制器20提供清晰可见的虚拟内容的示意图。
图6C根据本申请一实施例所述由显示系统10与光调制器20协同提供清晰可见的虚拟内容的示意图。
图7根据本申请一实施例所述在扩增实境中提供深度融合式虚拟内容的示意图。
图8根据本申请一实施例所述在扩增实境中提供立体虚拟内容的示意图。
具体实施方式
本章节所叙述的是实施本申请的最佳方式，目的在于说明本申请的精神而非用以限定本申请的保护范围，应理解下列实施例可经由软体、硬体、韧体、或上述任意组合来实现。
图1是根据本申请一实施例所述的头戴式显示装置的示意图。头戴式显示装置100包括显示系统10、光调制器20、图像捕获系统30、控制器40、储存装置50、以及电源供应器60。
显示系统10主要负责显示虚拟内容。在一实施例，显示系统10可包括光学引擎与透视光学元件(see-through optics)，其中光学引擎可将虚拟内容投影到透视光学元件上进行显示。光学引擎可包括一或多个投影机，例如：奈米投影机、微型投影机(pico/micro/femto-projector)、雷射投影机、全像(holographic)投影机等。透视光学元件亦可称为光学组件，其可包括一反射镜以及至少一透镜(例如可包括一光波导透镜以及附着于该光波导透镜的一透明校正透镜)。无论光学引擎是开启或关闭，穿戴者都能透过透视光学元件中的透镜清楚地观看到周遭环境的场景。
光调制器20是设置于显示系统10与周遭环境之间，其主要负责对从周遭环境射向显示系统10的光线进行适应性的遮罩、过滤、或调制。光调制器20包括由复数像素所组成的一阵列，其中每个像素的尺寸均小于光的波长，且每个像素均具有一介电常数(permittivity)，藉由施加于上述一像素的一电子讯号而能控制该像素的介电常数，所有像素的介电常数可被设置呈现一模式以产生绕射效应，从而实现光线的调制。特别是，像素的一部份可用以调制光线以显示虚拟内容，而像素的其他部份则可被设置为实质透光。
在一实施例，光调制器20的每个像素均可被设置为一颜色过滤器，仅允许外在光线中特定一或多个组成色的部分得以穿透，而实现虚拟内容的显示。
光调制器20可为电湿润显示器(Electro-Wetting Display，EWD)、液晶显示器(Liquid-Crystal Display，LCD)、或有机发光二极体显示器(Organic Light-EmittingDiode，OLED)。
以电湿润显示器为例，其原理是使用电压去改变位于固体表面上的液体的表面张力而实现电湿润的操作。藉由电压的使用，能够改变疏水表面的湿润特性，使其具有疏水性或可湿润性。所述液体表面张力的改变是藉由着色油墨的电性收缩而能够提供简易的光学开关的效果。在一实施例，着色油墨可以是基于四分色(CMYK)模式或三原色(RGB)模式，其中四分色模式为减色混合系统，其使用的组成色包括：青色(cyan)、洋红色(magenta)、以及黄色；三原色模式为加色混合系统，其使用的组成色包括：红色、绿色、以及蓝色。当未施加电压至一像素时，着色油墨会在该像素上呈现为连续的油膜，让使用者能够看见色彩；反之，当施加电压至特定像素时，着色油墨会被移位，使得该像素为透明。因此，当不同的像素各自被独立操作时，就能显示出相片或影片般的内容。举例来说，每个像素可进一步包括三个子像素，每个子像素上覆盖有四分色模式或三原色模式的一个别组成色的油墨，当光线射至一像素并穿透其上的油墨时，就会产生特定组成色的光，而透过精密地控制通过每个子像素的光量，即可改变每个组成光的产生比例，从而实现显示各种色彩的效果。
需注意的是，不同于显示系统10是仰赖其中的投影机作为其光源，光调制器20的光源为环境光，因此，在显示图像时，光调制器20所需耗用的电力将远低于显示系统10。
图像捕获系统30主要负责捕获周遭环境的图像，而后可由控制器40根据该图像决定周遭环境的相关信息，包括：周遭环境中物件的位置、颜色、以及/或尺寸。图像捕获系统30可包括至少一景深镜头以及一或多个环境感测镜头，其中景深镜头可为灰阶镜头、三原色镜头、或四分色镜头，支援深度侦测、位置追踪、以及三维对应等功能，而环境感测镜头可为灰阶镜头、三原色镜头、或四分色镜头，支援物件侦测的功能。
控制器40可为通用处理器、微处理器(Micro Control Unit，MCU)、应用处理器(Application Processor，AP)、数位讯号处理器(Digital Signal Processor，DSP)、图形处理器(Graphics Processing Unit，GPU)、或全像处理器(Holographic ProcessingUnit，HPU)、或上述处理器的任意组合，其可包括各式电路逻辑，用以：提供数据与图像的处理及运算的功能、传送帧(frame)资料(如：代表文字讯息、图形、或图像的资料)至显示系统10、传送控制信号至光调制器20、从图像捕获系统30接收周遭环境的图像、以及从储存装置50读取或储存数据。
特别是，控制器40是用以协调显示系统10、光调制器20、图像捕获系统30、以及储存装置50的运作，以执行本申请的适应性遮罩方法。
本领域技术人员应当理解，控制器40中的电路逻辑通常可包括多个电晶体，用以控制该电路逻辑的运作以提供所需的功能及作业。更进一步的，电晶体的特定结构及其之间的连结关系通常是由编译器所决定，例如：暂存器转移语言(Register TransferLanguage，RTL)编译器可由处理器所运作，将类似组合语言码的指令档(script)编译成适用于设计或制造该电路逻辑所需的形式。
储存装置50为非暂态(non-transitory)的电脑可读取储存媒体，包括：记忆体(如：快闪记忆体、非挥发性随机存取记忆体(Non-volatile Random Access Memory，NVRAM))、或磁性储存装置(如：硬碟、磁带)、或光碟、或上述媒体的任意组合，其主要用以储存：帧资料、电脑可读取及执行的指令或程式码(包括：应用/通讯协定的程式码)、以及/或本申请的适应性遮罩方法的程式码。
电源供应器60为一可携式/可替换的充电电池，其主要负责提供电力予显示系统10、光调制器20、图像捕获系统30、控制器40、以及储存装置50，且使得头戴式显示装置100具备可携性。
当可理解的是，图1所示的元件仅用以提供一说明的范例，并非用以限制本申请的保护范围。在另一实施例，头戴式显示装置100还可包括其他元件，例如：一或多个按钮、麦克风、喇叭、环境光源感测器、无线通讯装置、以及/或全球定位系统(Global PositioningSystem，GPS)等。按钮、麦克风、以及喇叭可用以提供人机操作介面(Man-MachineInterface，MMI)。环境光源感测器可用以侦测周遭环境的光源条件。无线通讯装置可包括蓝芽或无线保真(Wireless Fidelity，WiFi)技术的晶片，用以提供与其他通讯装置(如：智慧型手机或平板电脑)之间进行短距无线通讯的功能。全球定位系统可提供头戴式显示装置100的位置信息，以用于行动定位服务/应用。
图2是显示头戴式显示装置100的组成外观的示意图。在此实施例，头戴式显示装置100是实作为一虚拟/扩增实境的眼镜或头戴组。
如图2所示，显示系统10是布置于眼镜/头戴组的主构架101其中的前方下部102，图像可投影在显示系统10的透镜部件。图像捕获系统30是布置于眼镜/头戴组的主构架101其中的前方中央部104。光调制器20是布置于另一前方下部105，其位于前方下部102的前且与前方下部102相隔一距离。头戴式显示装置100的其余元件，诸如：控制器40、储存装置50、以及电源供应器60可嵌入在主构架101的托架部分106、前方上部107、或其余未被使用的部分。
图3是根据本申请一实施例所述的头戴式显示装置100在周遭环境的应用示意图。在一实施例，头戴式显示装置100可由一使用者所穿戴，该使用者透过头戴式显示装置100可透视到周遭环境，其中周遭环境是由太阳光作为其环境光源，且使用者对周遭环境中的物件(如：树木)的观看是基于太阳光照射到物件之后的折射，折射的光线从物件反向沿着使用者的视线依序抵达光调制器20、显示系统10，然后抵达使用者的眼睛。
图像捕获系统30捕获周遭环境(包括：树木)的图像，然后将图像传送至控制器40进行分析以了解周遭环境中的详细布置。
控制器40分析图像捕获系统30所捕获的图像以决定周遭环境的场景的物件信息，具体来说，物件信息包括了周遭环境中物件的尺寸、颜色、以及/或三维位置。接着，控制器40将一虚拟物件的信息传送至显示系统10以及光调制器20，其中该虚拟物件的显示位置是根据周遭环境中的树的位置、以及/或环境光的亮度来决定。
在收到虚拟物件的信息时，显示系统10可直接显示该虚拟物件，而光调制器20可针对从周遭环境射向显示系统10的光线进行调制，以提升虚拟物件的显示效果。
图4A是由显示系统10所显示的一虚拟内容的范例图。如图4A所示，虚拟内容为一文字方块，其背景色为一特定淡色(如：淡蓝色)，且其位置在显示画面的偏右边，预期将重迭到周遭环境中的树的一小部分。
图4B是由光调制器20所提供的一虚拟内容的范例图。如图4B所示，虚拟内容为一方块，其位置、大小、以及背景色都相同于图4A所示的文字方块。
由于光调制器20在该方块部分仅容许同色光(如：淡蓝色)穿透到显示系统10所显示的虚拟内容，因此，对使用者的观看而言，虚拟内容的亮度以及/或对比将获得提升。
图4C是显示透过显示系统10与光调制器20所呈现的扩增实境的范例图。如图4C所示，虚拟方块的背景色被增强(例如：从淡蓝色变成蓝色)，使得显示系统10所显示的虚拟内容能够在环境光源过亮时依旧清晰可见。
第5A～5C图根据本申请的不同实施例所述强化扩增实境的虚拟物件的示意图。其中图5A所示的实施例是藉由设定光调制器20将射向虚拟物件的光线完全遮蔽而达到强化虚拟物件的成像的效果。
如图5A所示，显示系统10显示一苹果的图像在显示画面中是位于树的右边，且苹果的图像是于视觉上迭加于周遭环境的场景之上。同时，光调制器20藉由将对应到苹果位置的像素设定为完全不透光，其余像素设定为实质透光，从而得以在相同位置提供完全相同或近乎相同的苹果的图像。
如此一来，虚拟内容(即：苹果)的图像将获得亮度以及/或对比的提升。尤其是当环境光源的亮度太强的时候，显示系统10无需增加其投影功率即可保持虚拟内容的图像清晰可见。
图5B所示的实施例是藉由设定光调制器20将射向虚拟物件的光线过滤掉部分组成光而达到强化虚拟物件的成像的效果。类似于图5A的实施例，显示系统10显示一苹果的图像，而光调制器20也在对应位置提供完全相同或近乎相同的苹果的图像。
在此实施例，假设苹果的颜色为红色，则光调制器20中对应到苹果位置的像素可被设定为红光过滤器，仅容许红色光的穿透，而其余像素则被设定为实质透光。
同样地，在此实施例，虚拟内容(即：苹果)的图像可获得亮度以及/或对比的提升。尤其是当环境光源的亮度太强的时候，显示系统10无需增加其投影功率即可保持虚拟内容的图像清晰可见。
或者，光调制器20中对应到苹果位置的像素可被设定为仅容许光线中其他组成色(如：深红色)的穿透，以进一步强化苹果的图像。在另一实施例，针对虚拟内容的图像强化还可以是改变虚拟内容的颜色呈现、或改变周遭环境中真实物件的颜色呈现。举例来说，光调制器20中对应到苹果或树木位置的像素可被设定为蓝光过滤器，仅容许蓝色光的穿透，而蓝光能让原本红色的苹果看起来变为紫色、或让原本绿色的树看起来变为青色。
图5C所示的实施例亦是藉由设定光调制器20将射向虚拟物件的光线过滤掉部分组成光而达到强化虚拟物件的成像的效果。类似于图5A的实施例，显示系统10显示一苹果的图像，而光调制器20也在对应位置提供完全相同或近乎相同的苹果的图像。
在此实施例，假设苹果的叶柄为棕色、叶子为绿色、果实为红色，则光调制器20中对应到叶柄位置的像素可被设定为棕光过滤器，仅容许光线中棕色的部份穿透，对应到叶子位置的像素可被设定为绿光过滤器，仅容许光线中绿色的部分穿透，对应到果实位置的像素可被设定为红光过滤器，仅容许光线中红色部分的穿透。也就是说，光调制器20可因应要显示的虚拟内容的细节而提供具适应性及精密性的光调制作业。
同样地，在此实施例，虚拟内容的图像获得了亮度以及/或对比的提升。尤其是当环境光源的亮度太强的时候，显示系统10无需增加其投影功率即可保持虚拟内容的图像清晰可见。
或者，当光调制器20搭配亮度够强的环境光源时，其所提供的虚拟内容的图像在亮度以及/或对比上的表现将具备一定的品质，因此，可选择性地将显示系统10的投影功率调低、或甚至将显示系统10关闭。也就是说，头戴式显示装置100可透过图像捕获系统30或环境光源感测器来侦测环境光的亮度，并据以调整显示系统10的投影功率。
图6A根据本申请一实施例所述倚重光调制器20的协助提供清晰可见的虚拟内容的示意图。在此实施例，假设环境光的亮度够高，足以使光调制器20藉由光调制的操作而提供清晰可见的一苹果图像。
明确来说，光调制器20中对应到苹果位置的像素可被设定为单色光过滤器，仅容许光线中特定单色(如：红色)部分穿透，而其余像素则被设定为实质透光。
另一方面，显示系统10可使用低功率投影出相同的苹果图像。也就是说，控制器40可根据周遭环境的光源条件调整显示系统10以及光调制器20所使用的电力位准。
如此一来，显示系统10便可调降其投影功率，但仍保持虚拟内容的图像清晰可见。
图6B根据本申请一实施例所述单独由光调制器20提供清晰可见的虚拟内容的示意图。类似于图6A的实施例，环境光的亮度够高，足以使光调制器20藉由光调制的操作而提供清晰可见的苹果图像。
然而，在此实施例，显示系统10被设定为关闭其显示功能(意即：无需投影任何图像)，而仅由光调制器20来提供苹果图像。也就是说，控制器40可根据周遭环境的光源条件调整显示系统10以及光调制器20所使用的电力位准，包括是否关闭显示系统10的显示功能。
如此一来，显示系统10便可大幅节省其电力消耗，但依然可提供清晰可见的虚拟内容。
图6C根据本申请一实施例所述由显示系统10与光调制器20协同提供清晰可见的虚拟内容的示意图。如图6C所示，周遭环境的场景中存在一树木。
头戴式显示装置100可透过图像捕获系统30捕获周遭环境中树木的图像，接着，由显示系统10或光调制器20在相同的位置提供一样的树木图像、或者可由显示系统10与光调制器20同时在相同的位置提供一样的树木图像，使得显示系统10以及/或光调制器20所提供得图像于视觉上迭加于周遭环境中的树木的图像。
如此一来，对使用者的观看而言，真实物件的图像的亮度以及/或对比将获得提升。或者，在其他实施例，显示系统10以及/或光调制器20可提供不同颜色的图像，使得图像在经过迭加而混色之后，改变了使用者最终所感知到的图像颜色。
图7根据本申请一实施例所述在扩增实境中提供深度融合式(depth-fused)虚拟内容的示意图。在此实施例，显示系统10显示一苹果图像，同时，光调制器20藉由将对应位置的像素设定为仅容许与苹果相同色的光通过，其余像素设定为实质透光，从而得以在对应位置提供完全相同或近乎相同的苹果图像。
如图7所示，显示系统10与光调制器20被设置在相互平行、但垂直于使用者的视线的位置，且显示系统10与光调制器20之间存在一间隔。基于显示系统10与光调制器20的上述布置，显示系统10与光调制器20所提供的苹果图像可藉由调整各自输出的图像亮度而产生具深度融合的视觉效果。
举例来说，当光调制器20所提供的苹果图像的亮度高于显示系统10所提供的苹果图像的亮度时，使用者所感知到的苹果图像会比较远离使用者(意即：深度加深)。
反之，当光调制器20所提供的苹果图像的亮度低于显示系统10所提供的苹果图像的亮度时，使用者所感知到的苹果图像会比较靠近使用者(意即：深度变浅)。
图8根据本申请一实施例所述在扩增实境中提供立体虚拟内容的示意图。在此实施例，显示系统10显示一只鹦鹉的光场图像，同时，光调制器20藉由将对应位置的像素设定为仅容许与光场图像相同色的光通过，其余像素设定为实质透光，从而得以在对应位置提供完全相同或近乎相同的光场图像。光场图像可以是由M乘N(如：8乘15)个子画面所构成的网格(grid)，其中每个子画面中的鹦鹉图像是于相同场景下以不同的角度与照度所捕获到的。
如图8所示，显示系统10与光调制器20被设置在相互平行、但垂直于使用者的视线的位置，且显示系统10与光调制器20之间存在一间隔。特别是，显示系统10与光调制器20的布置位置极靠近使用者的眼睛。基于显示系统10与光调制器20的上述布置，且相同的光场图像分别由显示系统10与光调制器20所提供，使得光场图像以多层式呈现而产生三维视觉效果。
根据前述实施例，当可理解的是，本申请的适应性遮罩方法可透过光调制器的运用有效提升图像的显示效果，明确来说，是藉由在显示系统与周遭环境之间设置光调制器来提供多种视觉效果，包括：强化虚拟/实体物件图像的亮度以及/或对比、或改变虚拟/实体物件图像的颜色、亮度以及/或对比、或提供深度融合或三维的视觉效果。如此一来，便可有效降低显示系统的投影功率，但整体而言依然能提供清晰可见的虚拟内容。
本申请虽以各种实施例揭露如上，然而其仅为范例参考而非用以限定本申请的范围，任何本领域技术人员，在不脱离本申请的精神和范围内，当可做些许的更动与润饰。因此上述实施例并非用以限定本申请的范围，本申请的保护范围当视后附的申请专利范围所界定者为准。
于申请专利范围中所使用的「第一」、「第二」等词是用来修饰权利要求中的元件，并非用来表示之间具有优先权顺序，先行关系，或者是一个元件先于另一个元件，或者是执行方法步骤时的时间先后顺序，仅用来区别具有相同名字的元件。
符号说明
100 头戴式显示装置
10 显示系统
20 光调制器
30 图像捕获系统
40 控制器
50 储存装置
60 电源供应器
101 主构架
102 前方下部
104 前方中央部
105 前方下部
106 托架部分
107 前方上部

Claims (22)

1.一种头戴式显示装置，包括：
一显示系统，用以选择性地显示或不显示一第一内容，其中上述第一内容的显示是于视觉上迭加于一周遭环境的一场景之上；以及
一光调制器，设置于上述显示系统与上述周遭环境之间，且包括由复数像素所组成的一阵列，其中上述像素的第一部份是用以调制光线以显示一第二内容，而上述像素的其他部份是被设置为实质透光。
2.如权利要求1所述的头戴式显示装置，其中上述第一内容与上述第二内容均均包括一样的一图像，上述第一部分的像素是用以调制从上述周遭环境射向上述第一内容的光线，使得上述第二内容的显示是于视觉上迭加至上述第一内容，从而提升以下至少一个：上述图像的亮度、以及上述图像的对比。
3.如权利要求1所述的头戴式显示装置，其中上述第一内容与上述第二内容均均包括一样的一图像但以不同的亮度显示，上述第一部分的像素是用以调制从上述周遭环境射向上述第一内容的光线，使得上述第二内容的显示是于视觉上迭加至上述第一内容，从而得以通过改变上述图像的亮度而调整上述图像的呈现深度。
4.如权利要求1所述的头戴式显示装置，其中上述第一内容与上述第二内容均均包括一样的一光场(light-field)图像，上述第一部分的像素是用以调制从上述周遭环境射向上述第一内容的光线，使得上述第二内容的显示是于视觉上迭加至上述第一内容，从而产生一三维(three-dimensional，3D)视觉效果。
5.如权利要求1所述的头戴式显示装置，其中上述第一部分的像素是用以调制来自上述场景中的一物件的光线，以提升以下至少一个：上述物件的亮度、以及上述物件的对比。
6.如权利要求1所述的头戴式显示装置，还包括：
一图像捕获系统，用以捕获上述场景的一图像；以及
一控制器，用以根据上述图像决定上述场景中的一物件的信息，其中上述物件的信息包括以下至少一个：上述物件的尺寸、上述物件的颜色、以及上述物件的三维位置；
其中上述第一内容的显示是根据上述物件的信息而执行，上述光线调制是根据上述物件的信息而执行。
7.如权利要求1所述的头戴式显示装置，还包括：
一环境光源感测器，用以侦测上述周遭环境的一光源条件；以及
一控制器，用以根据上述光源条件调整以下至少一个：上述显示系统显示上述第一内容时所使用的一第一电力位准、上述光调制器调制光线时所使用的一第二电力位准。
8.如权利要求7所述的头戴式显示装置，其中关于上述第一电力位准与上述第二电力位准的调整包括：
在上述光源条件指示一光源亮度高于一预定门槛时，将上述第二电力位准调高并将上述第一电力位准调低；以及
在上述光源条件指示上述光源亮度低于上述预定门槛时，将上述第一电力位准调高并将上述第二电力位准调低。
9.如权利要求1所述的头戴式显示装置，其中上述光调制器为一电湿润显示器(Electro-Wetting Display，EWD)、一液晶显示器(Liquid-Crystal Display，LCD)、或一有机发光二极体显示器(Organic Light-Emitting Diode，OLED)。
10.如权利要求1所述的头戴式显示装置，其中上述像素的每一个均均具有一介电常数(permittivity)，通过施加于上述一像素的一电子讯号而控制该像素的介电常数，上述像素的所有介电常数的一模式产生绕射效应以实现上述光线调制。
11.如权利要求1所述的头戴式显示装置，其中上述显示系统包括一光学组件以及一投影器，上述投影器是用以将上述第一内容导引至上述光学组件以进行显示。
12.一种适应性遮罩方法，适用于一头戴式显示装置，上述头戴式显示装置包括一显示系统以及设置于上述显示系统与一周遭环境的间的一光调制器，上述光调制器包括由复数像素所组成的一阵列，上述适应性遮罩方法包括：
设定上述显示系统选择性地显示或不显示一第一内容，其中上述第一内容的显示是于视觉上迭加于一周遭环境的一场景的上；
设定上述像素的第一部份对光线进行调制以显示一第二内容；以及
设定上述像素的其他部份为实质透光。
13.如权利要求12所述的适应性遮罩方法，其中上述第一内容与上述第二内容均均包括一样的一图像，上述第一部份的像素是用以调制从上述周遭环境射向上述第一内容的光线，使得上述第二内容的显示是于视觉上迭加至上述第一内容，从而提升以下至少一个：上述图像的亮度、以及上述图像的对比。
14.如权利要求12所述的适应性遮罩方法，其中上述第一内容与上述第二内容均均包括一样的一图像但以不同的亮度显示，上述第一部份的像素是用以调制从上述周遭环境射向上述第一内容的光线，使得上述第二内容的显示是于视觉上迭加至上述第一内容，从而得以通过改变上述图像的亮度调整上述图像的呈现深度。
15.如权利要求12所述的适应性遮罩方法，其中上述第一内容与上述第二内容均包括一样的一光场图像，上述第一部份的像素是用以调制从上述周遭环境射向上述第一内容的光线，使得上述第二内容的显示是于视觉上迭加至上述第一内容，从而产生一三维视觉效果。
16.如权利要求12所述的适应性遮罩方法，其中上述第一部份的像素是用以调制来自上述场景中的一物件的光线，以提升以下至少一个：上述物件的亮度、以及上述物件的对比。
17.如权利要求12所述的适应性遮罩方法，还包括：
透过一图像捕获系统捕获上述场景的一图像；以及
根据上述图像决定上述场景中的一物件的一物件的信息，其中上述物件的信息包括以下至少一个：上述物件的尺寸、上述物件的颜色、以及上述物件的三维位置；
其中上述第一内容的显示是根据上述物件的信息而执行，上述光线调制是根据上述物件的信息而执行。
18.如权利要求12所述的适应性遮罩方法，还包括：
透过一环境光源感测器侦测上述周遭环境的一光源条件；以及
根据上述光源条件调整以下至少一个：上述显示系统显示上述第一内容时所使用的一第一电力位准、上述光调制器调制光线时所使用的一第二电力位准。
19.如权利要求18所述的适应性遮罩方法，其中关于上述第一电力位准与上述第二电力位准的调整包括：
在上述光源条件指示一光源亮度高于一预定门槛时，将上述第二电力位准调高并将上述第一电力位准调低；以及
在上述光源条件指示上述光源亮度低于上述预定门槛时，将上述第一电力位准调高并将上述第二电力位准调低。
20.如权利要求12所述的适应性遮罩方法，其中上述光调制器为一电湿润显示器、一液晶显示器、或一有机发光二极体显示器。
21.如权利要求12所述的适应性遮罩方法，其中上述像素的每一个均具有一介电常数，通过施加于上述一像素的一电子讯号而控制该像素的介电常数，上述像素的所有介电常数的一模式产生绕射效应以实现上述光线调制。
22.如权利要求12所述的适应性遮罩方法，其中上述显示系统包括一光学组件以及一投影器，上述投影器是用以将上述第一内容导引至上述光学组件以进行显示。
CN201710431567.8A 2017-05-11 2017-06-09 头戴式显示装置以及适应性遮罩方法 Pending CN108873330A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/592,496 US10771773B2 (en) 2017-05-11 2017-05-11 Head-mounted display devices and adaptive masking methods thereof
US15/592,496 2017-05-11

Publications (1)

Publication Number Publication Date
CN108873330A true CN108873330A (zh) 2018-11-23

Family

ID=63640650

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710431567.8A Pending CN108873330A (zh) 2017-05-11 2017-06-09 头戴式显示装置以及适应性遮罩方法

Country Status (3)

Country Link
US (1) US10771773B2 (zh)
CN (1) CN108873330A (zh)
TW (1) TWI629507B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111399230A (zh) * 2020-05-12 2020-07-10 潍坊歌尔电子有限公司 一种显示系统及头戴显示设备
WO2021254320A1 (zh) * 2020-06-16 2021-12-23 京东方科技集团股份有限公司 透视头戴显示器

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11311188B2 (en) * 2017-07-13 2022-04-26 Micro Medical Devices, Inc. Visual and mental testing using virtual reality hardware
US10922878B2 (en) * 2017-10-04 2021-02-16 Google Llc Lighting for inserted content
CN111489448A (zh) * 2019-01-24 2020-08-04 宏达国际电子股份有限公司 检测真实世界光源的方法、混合实境系统及记录介质
CN112837422A (zh) * 2019-11-25 2021-05-25 苹果公司 基于来自物理环境的光叠加修改显示器操作参数
US11361735B1 (en) * 2020-04-15 2022-06-14 Apple Inc. Head-mountable device with output for distinguishing virtual and physical objects
US11514875B1 (en) 2021-07-07 2022-11-29 Htc Corporation Method for mitigating dizziness, electronic device, and computer readable medium

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1457199A (zh) * 2002-05-09 2003-11-19 日本先锋公司 三维显示器及方法
CN101661163A (zh) * 2009-09-27 2010-03-03 合肥工业大学 增强现实系统的立体头盔显示器
CN103389579A (zh) * 2011-12-23 2013-11-13 微软公司 用于增强现实的像素不透明度
CN103986924A (zh) * 2013-02-08 2014-08-13 瑞昱半导体股份有限公司 立体影像的调整装置及其方法
US9297996B2 (en) * 2012-02-15 2016-03-29 Microsoft Technology Licensing, Llc Laser illumination scanning
CN105765444A (zh) * 2013-10-15 2016-07-13 增强现实眼镜公司 用于可重构投影的增强现实器具/虚拟现实器具的系统和方法
US20160260258A1 (en) * 2014-12-23 2016-09-08 Meta Company Apparatuses, methods and systems coupling visual accommodation and visual convergence to the same plane at any depth of an object of interest
CN106125324A (zh) * 2016-06-24 2016-11-16 北京国承万通信息科技有限公司 光场编辑装置、系统及方法以及光场显示系统及方法
CN106233187A (zh) * 2014-04-25 2016-12-14 微软技术许可有限责任公司 具有调光面板的显示设备
CN106489177A (zh) * 2014-07-18 2017-03-08 伊奎蒂公司 具有自发光微显示引擎的近眼显示器
US20170102544A1 (en) * 2015-10-08 2017-04-13 Tuomas Vallius Reducing stray light transmission in near eye display using resonant grating filter

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8659510B2 (en) * 2008-12-16 2014-02-25 Hewlett-Packard Development Company, L.P. Spatial light modulator
EP2539759A1 (en) * 2010-02-28 2013-01-02 Osterhout Group, Inc. Local advertising content on an interactive head-mounted eyepiece
TW201447375A (zh) 2013-06-13 2014-12-16 Hsiu-Chi Yeh 擴增實境之頭戴式電子裝置及方法
CN103383491B (zh) 2013-07-03 2015-08-26 成都理想境界科技有限公司 一种视透率可调的头戴显示装置
CN205608290U (zh) 2016-02-01 2016-09-28 深圳超多维光电子有限公司 头戴式显示设备

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1457199A (zh) * 2002-05-09 2003-11-19 日本先锋公司 三维显示器及方法
CN101661163A (zh) * 2009-09-27 2010-03-03 合肥工业大学 增强现实系统的立体头盔显示器
CN103389579A (zh) * 2011-12-23 2013-11-13 微软公司 用于增强现实的像素不透明度
US9297996B2 (en) * 2012-02-15 2016-03-29 Microsoft Technology Licensing, Llc Laser illumination scanning
CN103986924A (zh) * 2013-02-08 2014-08-13 瑞昱半导体股份有限公司 立体影像的调整装置及其方法
CN105765444A (zh) * 2013-10-15 2016-07-13 增强现实眼镜公司 用于可重构投影的增强现实器具/虚拟现实器具的系统和方法
CN106233187A (zh) * 2014-04-25 2016-12-14 微软技术许可有限责任公司 具有调光面板的显示设备
CN106489177A (zh) * 2014-07-18 2017-03-08 伊奎蒂公司 具有自发光微显示引擎的近眼显示器
US20160260258A1 (en) * 2014-12-23 2016-09-08 Meta Company Apparatuses, methods and systems coupling visual accommodation and visual convergence to the same plane at any depth of an object of interest
US20170102544A1 (en) * 2015-10-08 2017-04-13 Tuomas Vallius Reducing stray light transmission in near eye display using resonant grating filter
CN106125324A (zh) * 2016-06-24 2016-11-16 北京国承万通信息科技有限公司 光场编辑装置、系统及方法以及光场显示系统及方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111399230A (zh) * 2020-05-12 2020-07-10 潍坊歌尔电子有限公司 一种显示系统及头戴显示设备
WO2021254320A1 (zh) * 2020-06-16 2021-12-23 京东方科技集团股份有限公司 透视头戴显示器

Also Published As

Publication number Publication date
TWI629507B (zh) 2018-07-11
US20180332268A1 (en) 2018-11-15
US10771773B2 (en) 2020-09-08
TW201901236A (zh) 2019-01-01

Similar Documents

Publication Publication Date Title
CN108873330A (zh) 头戴式显示装置以及适应性遮罩方法
US10643400B2 (en) Head-mounted display device, method of controlling head-mounted display device, and computer program
US9594247B2 (en) System, method, and computer program product for a pinlight see-through near-eye display
US10019831B2 (en) Integrating real world conditions into virtual imagery
US9297996B2 (en) Laser illumination scanning
CN103309034B (zh) 头部佩戴型显示装置以及头部佩戴型显示装置的控制方法
JP6364715B2 (ja) 透過型表示装置および透過型表示装置の制御方法
CN108369339A (zh) 双模式增强/虚拟现实（ar/vr）近眼可佩戴显示器
US11380287B2 (en) Display system, electronic device, and display method
JP5879353B2 (ja) 頭の位置及び向きのトラッキング
KR101728845B1 (ko) 표시 장치, 포장 박스 및 포장 장치
US11030793B2 (en) Stylized image painting
US20210306608A1 (en) Multi-dimensional rendering
JP2016142887A (ja) 頭部装着型表示装置およびその制御方法、並びにコンピュータープログラム
US10182226B2 (en) Display unit, display system, and display method
US11736668B2 (en) Artistic effects for images and videos
US11347060B2 (en) Device and method of controlling device
JP7145944B2 (ja) 視覚キューを提供する手段を用いる表示装置および表示方法
EP4198873A1 (en) Sparse rgb filter hardware accelerator
JP2019114236A (ja) 表示システム、電子機器、及び、表示方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20181123

WD01 Invention patent application deemed withdrawn after publication