CN104798109B - 用于在增强现实显示器内组织虚拟对象的方法和设备 - Google Patents
用于在增强现实显示器内组织虚拟对象的方法和设备 Download PDFInfo
- Publication number
- CN104798109B CN104798109B CN201380058700.XA CN201380058700A CN104798109B CN 104798109 B CN104798109 B CN 104798109B CN 201380058700 A CN201380058700 A CN 201380058700A CN 104798109 B CN104798109 B CN 104798109B
- Authority
- CN
- China
- Prior art keywords
- virtual objects
- area
- real
- user
- objects
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/60—Editing figures and text; Combining figures or text
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B27/0172—Head mounted characterised by optical features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/012—Head tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/001—Texturing; Colouring; Generation of texture or colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0112—Head-up displays characterised by optical features comprising device for genereting colour display
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0118—Head-up displays characterised by optical features comprising devices for improving the contrast of the display / brillance control visibility
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Optics & Photonics (AREA)
- Computer Hardware Design (AREA)
- Computer Graphics (AREA)
- Software Systems (AREA)
- Human Computer Interaction (AREA)
- User Interface Of Digital Computer (AREA)
- Processing Or Creating Images (AREA)
- Controls And Circuits For Display Device (AREA)
- Image Analysis (AREA)
Abstract
本发明呈现用于在增强现实显示器内组织虚拟对象的各种布置。可提供显示器且其可经配置以呈现具有叠加于现实世界场景上的多个虚拟对象的虚拟视场。可基于所述现实世界场景内存在的现实世界对象将优先级指派给所述虚拟视场的多个区。所述多个区中的区的优先级可基于在所述区中识别的一或多个现实世界对象。所述多个虚拟对象可在基于所述经区分优先的多个区布置的所述虚拟视场内显示。
Description
背景技术
可包含头戴式显示器(HMD)的增强现实(AR)装置可允许用户观看现实世界场景,同时也观看由所述AR装置的HMD显示给用户的一或多个虚拟对象(例如,文本、图形)和/或与所述一或多个虚拟对象交互。AR装置的HMD可呈护目镜或眼镜的形式。举例来说,AR眼镜可使用相机来俘获正由AR装置的用户观看的现实世界场景的图像且提供与现实世界场景相关的信息和/或用户有兴趣与其交互的信息。
由于AR装置是电子的,因此AR装置需要电源以便对其组件(例如AR眼镜的HMD、处理器和/或无线接口)进行供电。由于AR装置可既定为在正执行日常任务时是移动的且由用户佩戴,因此可使用一或多个电池对AR装置进行供电以使得用户无须约束于电源插座或其它形式的电源。为了具有充足电力来操作AR装置达合理的时间量,电池可需要存在于AR装置中,其与减少电池的大小、复杂性和/或容量的情况相比使AR装置较大、较重和/或更昂贵。
发明内容
在一些实施例中,呈现用于在增强现实显示器内组织虚拟对象的方法。所述方法可包含提供经配置以呈现具有叠加于现实世界场景上的多个虚拟对象的虚拟视场的显示器。所述方法可包含基于所述现实世界场景内存在的现实世界对象指派所述虚拟视场的多个区的优先级。所述多个区中的区的优先级可基于在所述区中识别的一或多个现实世界对象。所述方法可包含在所述虚拟视场内显示基于所述经区分优先的多个区布置的所述多个虚拟对象。
此方法的实施例可包含以下各者中的一或多者:被指派最低优先级的所述多个区可用以显示所述多个虚拟对象。所述方法可包含在指派所述多个区的所述优先级之前俘获所述现实世界场景的图像。所述方法可包含接收界定现实世界对象的优先级的用户偏好集合,其中所述用户偏好集合用以指派所述多个区的所述优先级。所述多个区中的每一区的所述优先级可至少部分基于在所述区中识别的所述一或多个现实世界对象展现的移动量。所述多个区中的每一区的所述优先级可至少部分基于在所述区中识别的所述一或多个现实世界对象展现的发光度。所述多个虚拟对象在用户提供输入之前可并不基于所述经区分优先的多个区来布置。所述显示器可包括头戴式显示器(HMD)。在所述虚拟视场内显示基于所述经区分优先的多个区布置的所述多个虚拟对象可在从所述多个虚拟对象先前经布置用于显示时起已经过至少阈值时间周期的情况下发生。
在一些实施例中,呈现用于在增强现实显示器内组织虚拟对象的系统。所述系统可包含经配置以呈现具有叠加于现实世界场景上的多个虚拟对象的虚拟视场的显示器。所述系统可包含处理器,其经配置以基于所述现实世界场景内存在的现实世界对象指派所述虚拟视场的多个区的优先级。所述多个区中的区的优先级可基于在所述区中识别的一或多个现实世界对象。所述处理器可经配置以致使所述显示器在所述虚拟视场内显示基于所述经区分优先的多个区布置的所述多个虚拟对象。
此系统的实施例可包含以下各者中的一或多者:被指派最低优先级的所述多个区可用以显示所述多个虚拟对象。所述系统可包含相机,其经配置以在指派所述多个区的所述优先级之前俘获所述现实世界场景的图像。所述处理器可进一步经配置以接收界定现实世界对象的优先级的用户偏好集合,其中所述用户偏好集合用以指派所述多个区的所述优先级。所述多个区中的每一区的所述优先级可至少部分基于在所述区中识别的所述一或多个现实世界对象展现的移动量。所述多个区中的每一区的所述优先级可至少部分基于在所述区中识别的所述一或多个现实世界对象展现的发光度。所述多个虚拟对象在用户提供输入之前可并不基于所述经区分优先的多个区来布置。所述显示器可包括头戴式显示器(HMD)。所述显示器在所述虚拟视场内显示基于所述经区分优先的多个区布置的所述多个虚拟对象可在从所述多个虚拟对象先前经布置用于显示时起已经过至少阈值时间周期的情况下发生。
在一些实施例中,呈现用于在增强现实显示器内组织虚拟对象的设备。所述设备可包含用于呈现具有叠加于现实世界场景上的多个虚拟对象的虚拟视场的装置。所述设备可包含用于基于所述现实世界场景内存在的现实世界对象指派所述虚拟视场的多个区的优先级的装置。所述多个区中的区的优先级可基于在所述区中识别的一或多个现实世界对象。所述设备可包含用于在所述虚拟视场内显示基于所述经区分优先的多个区布置的所述多个虚拟对象的装置。
此设备的实施例可包含以下各者中的一或多者:被指派最低优先级的所述多个区可用以显示所述多个虚拟对象。所述设备可包含用于在指派所述多个区的所述优先级之前俘获所述现实世界场景的图像的装置。所述设备可包含用于接收界定现实世界对象的优先级的用户偏好集合的装置,其中所述用户偏好集合用以指派所述多个区的所述优先级。所述多个区中的每一区的所述优先级可至少部分基于在所述区中识别的所述一或多个现实世界对象展现的移动量。所述多个区中的每一区的所述优先级可至少部分基于在所述区中识别的所述一或多个现实世界对象展现的发光度。所述多个虚拟对象在用户提供输入之前可并不基于所述经区分优先的多个区来布置。所述用于显示的装置可为头戴式的。在所述虚拟视场内基于所述经区分优先的多个区布置的所述多个虚拟对象可在从所述多个虚拟对象先前经布置用于显示时起已经过至少阈值时间周期的情况下由所述用于显示的装置显示。
在一些实施例中,呈现驻留于非暂时性处理器可读媒体上以用于在增强现实显示器内组织虚拟对象的计算机程序产品。所述处理器可读指令可经配置以致使处理器致使呈现具有叠加于现实世界场景上的多个虚拟对象的虚拟视场。所述处理器可读指令可进一步经配置以致使所述处理器基于所述现实世界场景内存在的现实世界对象指派所述虚拟视场的多个区的优先级。所述多个区中的区的优先级可基于在所述区中识别的一或多个现实世界对象。所述处理器可读指令可进一步经配置以致使所述处理器致使在所述虚拟视场内呈现基于所述经区分优先的多个区布置的所述多个虚拟对象。
此计算机程序产品的实施例可包含以下各者中的一或多者:被指派最低优先级的所述多个区可用以显示所述多个虚拟对象。所述处理器可读指令可进一步经配置以致使所述处理器在指派所述多个区的所述优先级之前致使俘获所述现实世界场景的图像。所述处理器可读指令可进一步经配置以致使所述处理器接收界定现实世界对象的优先级的用户偏好集合,其中所述用户偏好集合用以指派所述多个区的所述优先级。所述多个区中的每一区的所述优先级可至少部分基于在所述区中识别的所述一或多个现实世界对象展现的移动量。所述多个区中的每一区的所述优先级可至少部分基于在所述区中识别的所述一或多个现实世界对象展现的发光度。所述处理器可读指令可进一步经配置以致使所述处理器在用户提供授权输入之前并不基于所述经区分优先的多个区来布置所述虚拟对象。头戴式显示器(HMD)可用于所述呈现。经配置以致使所述处理器致使在所述虚拟视场内呈现基于所述经区分优先的多个区布置的所述多个虚拟对象的所述处理器可读指令可进一步包括额外处理器可读指令,所述额外处理器可读指令致使所述处理器致使:在从所述虚拟对象先前经布置用于显示时起已经过至少阈值时间周期的情况下呈现基于所述经区分优先的多个区布置的所述多个虚拟对象。
附图说明
参照以下各图,可以实现对各种实施例的性质及优点的进一步理解。在附图中,类似的组件或特征可以具有相同的参考标记。此外,通过在参考标记后面加上破折号及在类似组件之间进行区分的第二标记来区分相同类型的各种组件。如果说明书中只使用第一参考标记,那么描述适用于具有相同第一参考标记的类似组件中的任一者,而与第二参考标记无关。
图1说明经配置以经由头戴式显示器呈现虚拟对象的系统的实施例。
图2A说明正用以将虚拟对象呈现给用户的头戴式显示器的第一人称视点的实施例,其中已基于现实世界场景调整虚拟对象的亮度、颜色和位置。
图2B说明头戴式显示器的第一人称视点的实施例,其中说明不同优先级的区。
图3说明用于响应于现实世界场景而调整虚拟对象的颜色的方法的实施例。
图4说明用于响应于现实世界场景和/或用户的焦点而调整虚拟对象的亮度的方法的实施例。
图5说明用于响应于现实世界场景的亮度而调整虚拟对象的位置的方法的实施例。
图6说明用于响应于现实世界场景的颜色和亮度而调整虚拟对象的亮度、颜色和位置的方法的实施例。
图7说明用于响应于现实世界场景的区的优先级而调整虚拟对象的位置的方法的实施例。
图8说明用于响应于现实世界场景的区的优先级、现实世界场景的颜色、现实世界场景的亮度和用户偏好而调整虚拟对象的位置的方法的实施例。
图9说明计算机系统的实施例。
具体实施方式
可为增强现实(AR)装置(例如,增强现实眼镜)的部分的头戴式显示器(HMD)可用于在由用户观看的现实世界场景上方叠加虚拟对象。佩戴HMD且使用AR装置的用户可观看含有现实世界对象(例如,其它人员和物理对象)的现实世界场景。AR装置可将信息作为叠加在现实世界场景上的虚拟对象呈现给用户。可以某种方式呈现虚拟对象使得仅用户可经由HMD观看虚拟对象,实质上可防止其它人员看到如由HMD所呈现的虚拟对象。因此,在使用AR装置时,用户可观看叠加有仅用于由用户观看的一或多个虚拟对象的现实世界场景。与这些一或多个虚拟对象互动可涉及用户移动和/或聚焦其眼睛以阅读或以其它方式观看虚拟对象。
为了减小AR装置的大小和/或重量,可减少AR装置的电力消耗以便准许使用一或多个物理上较小和/或较小电荷容量的电池,同时仍维持AR装置以电池电荷的合理的操作时间。
为了减小由AR装置消耗的电力量,可减少AR装置的HMD的流明输出(可见光的量度)。可涉及一或多个微型投影仪的使用的AR眼镜的HMD随着HMD的流明输出减小而可消耗较少电力。虽然减少AR装置的HMD的流明输出可导致电力消耗的减小,但为了AR装置保持可用于用户,用户必须能够充分看见AR装置的HMD正显示的虚拟对象。为了当HMD的流明输出减少时维持呈现给用户的虚拟对象的可见度,可修改由AR装置呈现的虚拟对象的颜色、亮度和/或位置。
首先,通过调整用以显示虚拟对象的一或多个颜色,如果用以呈现虚拟对象的所述一或多个颜色与虚拟对象叠加于其上的现实世界场景的部分的颜色形成对比,那么在显示器正以较低流明输出操作时由AR装置的HMD呈现的虚拟对象可保持对用户可见。举例来说,如果用户通过AR装置的HMD看着天空(可为淡蓝色),那么可使用橙色(文本和/或图形)将虚拟对象呈现给用户。通过使用橙色文本或图形,用以将虚拟对象显示给用户的HMD的流明输出可经设定为低于在所述虚拟对象已使用例如白色等另一颜色呈现给用户的情况,同时仍保持对用户充分可见。如果用户调节他的观看以使得用户现在正看着地面的现实世界场景(例如,道路的柏油路),那么可使用白色将同一虚拟对象呈现给用户(文本和/或图形)。再次,在此实例中,通过使用白色文本或图形,用以将虚拟对象显示给用户的HMD的流明输出可经设定为低于所述虚拟对象已使用例如黑色等另一颜色呈现给用户的情况,同时仍保持对用户充分可见。因此,通过改变虚拟对象的显示颜色且减少HMD的流明输出(与显示颜色未经修改的情况的流明输出相比),可实现由HMD消耗的电力量的减小。
虽然先前实例依赖于橙色和白色,但可针对各种颜色做出相似调整。因此,通过调整信息的颜色以维持与虚拟对象所叠加的现实世界对象的高对比度量,可在AR装置的显示器的较低流明输出下使虚拟对象充分可见。
第二,AR装置的HMD对虚拟对象叠加于其上的现实世界对象的亮度的测量可用以减少HMD的流明输出。如果通过AR装置使虚拟对象叠加于其上的现实世界对象未经明亮地照射,那么可不需要以高流明输出显示虚拟对象以使所述虚拟对象对用户充分可见。如果现实世界对象变亮(例如,接通房间中的灯且现实世界对象现在表现为更亮),那么可增加虚拟对象的显示的流明输出以为用户维持虚拟对象的充足可见度。此外,可将用户的眼睛上的聚焦作为影响因素。如果用户未沿虚拟对象的方向观看和/或用户的眼睛未聚焦于虚拟对象投影于其上的虚拟平面上,那么可减少虚拟对象的亮度。举例来说,如果用户不在看着正作为虚拟对象呈现给用户的文本,那么所述文本是可读的可能不重要;而是,所述文本可仅需要明亮到足以在用户使他的眼睛聚焦于所述文本的情况下可读。
第三,正由AR装置的HMD呈现给用户的虚拟对象可由AR装置的HMD显示,其中存在于现实世界场景中的对象较暗或另外更有助于使虚拟对象叠加于其上方。举例来说,如果用户正看着电影屏幕,那么在电影屏幕的侧面之外的区域可能相当均匀地暗。正由AR装置呈现给用户的虚拟对象可存在于这些区域中以使得需要来自AR装置的HMD的较低流明输出以使虚拟对象对用户充分可见。如果用户移动他的头,且电影屏幕现在占据先前暗的现实世界场景的区,那么一或多个虚拟对象可从在电影屏幕的前方显示移动到叠加于现在较暗的现实世界场景的部分上方。此类移动可仅在用户观看的场景已保持充分静态达某一时间周期(例如,沿特定方向观看达至少阈值时间周期)的情况下发生。
除基于亮度的定位于场景的区中的信息之外,可基于在现实世界场景中识别的对象和/或通过跟踪用户的眼睛移动来将优先级指派给现实世界场景的不同区。举例来说,在现实世界场景中,面部、文本(例如,书籍、杂志)和电子装置可能为用户所关注且可被指派高优先级。例如天花板、地板、桌面和墙壁等现实世界场景的其它区可能对用户来说较不关注。AR装置可确定这些区中的每一者的优先级且可叠加虚拟对象以用于在最低优先级区中显示。作为一实例,如果用户正在以AR装置查看电子邮件应用程序(在此实例中,虚拟对象)且用户向下看着杂志,那么所述电子邮件应用程序经定位以由所述AR装置的HMD显示以使得所述杂志的文本和图形不被所述电子邮件应用程序遮挡。
无论虚拟对象的颜色、亮度和/或位置是否经调整以节省电力,所述修改的“积极性”可随着电池电量减小而增加。增加所述修改的积极性可涉及:增加颜色、亮度和/或位置修改的频率;将亮度减少较大量,更经常地调整虚拟对象的颜色以使得可减少亮度和/或更经常地再定位虚拟对象以使得可减少亮度。作为一实例,当电池具有大于50%的电荷时虚拟对象可不再定位和/或改变颜色。然而,当低于50%时,虚拟对象可周期性地重新布置或改变颜色以使得HMD的亮度和AR装置使用的电力减少。
对虚拟对象的此类操纵可由“窗管理器”执行。表示经由AR装置的HMD的虚拟视场(FoV)正呈现给用户的信息的虚拟对象可响应于正由用户观看的现实世界场景的不同区的优先级而在所述虚拟FoV内再定位。因此,每一应用程序的执行可不受影响,而是仅可修改如由窗管理器控制的所述虚拟FoV内的位置(以及可能亮度和/或颜色)。
图1说明经配置以使用HMD向用户显示虚拟对象的系统100的实施例。系统100可包含图像俘获模块110、对象、颜色和亮度识别与跟踪模块120、显示模块130、运动/焦点跟踪模块135、用户接口模块140、虚拟对象管理器150、用户偏好模块160和电力供应器模块170。系统100的其它实施例可包含较少或较大数目的组件。系统100可为增强现实装置或可为增强现实装置的部分。此AR装置可由用户佩戴或以其它方式使用。
图像俘获模块110可经配置以周期性地俘获正由佩戴或另外使用系统100的用户观看的现实世界场景的图像。举例来说,图像俘获模块110可包含经定位以俘获正由用户观看的现实世界场景的视场的图像俘获装置。图像俘获模块110可包含一或多个相机。相机可为指向式的,使得其俘获由用户观看的场景的图像。图像俘获模块110可快速地俘获图像。举例来说,可由图像俘获模块110每秒俘获多个帧。这些图像中的一些或所有可经处理以确定现实世界场景内的各种对象(例如,人员和其身份)的位置。
由图像俘获模块110俘获的图像可传递到对象、颜色和亮度识别与跟踪模块120。对象、颜色和亮度识别与跟踪模块120可执行多个功能。首先,可识别现实世界场景内存在的颜色。对于现实世界场景的一或多个区,可识别颜色和/或突出的颜色。第二,可识别现实世界场景的区的亮度。对于现实世界场景的一或多个区,可确定亮度等级。第三,可分类且跟踪所述场景内的现实世界对象。举例来说,可识别和/或跟踪人员的位置、面部、屏幕、文本、具有高颜色和/或纹理变化的对象、地板、天花板、墙壁、具有相似颜色和/或亮度等级的区和/或现实世界场景内的其它对象。出于本发明的目的,现实世界场景中的任何可见项目可视为现实世界对象。可评估现实世界场景内的现实世界对象的颜色、亮度和/或分类以确定应将虚拟对象如何呈现给用户。
显示模块130可充当输出装置以将虚拟对象呈现给用户。显示模块130可为头戴式显示器(HMD)。举例来说,显示模块130可包含将光直接投影到用户的一个或两个眼睛或将光投影到用户观看的反射性表面上的投影仪。在一些实施例中,用户佩戴由显示模块130将光投射到其上的眼镜(或单一透镜)。因此,用户可同时观看存在于场景中的虚拟对象和现实世界对象。所叠加虚拟对象可为半透明的,使得用户仍可至少部分看到虚拟对象后方的现实世界对象(例如,人员面部)。显示模块130可经配置使得仅用户可观看虚拟对象。对于存在于用户附近的其它人员,由于显示模块130可为HMD,因此虚拟对象可实质上不可见。因而,对于用户附近的其它人员,辨别显示模块130是否正给用户呈现一或多个虚拟对象和/或虚拟对象是否叠加于存在于场景中的人员的面部或头部上方可为不可能的。基于来自虚拟对象管理器150的输入,可设定和/或修改虚拟对象的颜色、位置和/或亮度。显示模块130输出的光越少,显示模块130可使用的电力越少。因此,作为一个简化实例,如果显示模块130将其流明输出减小50%,那么显示模块130消耗的电力可减小近似50%。因此,最小化或更一般地减少显示模块130的流明输出同时维持虚拟对象对用户的充足可见度可为期望的。
运动/焦点跟踪模块135可用于确定用户头部的角度和/或用户眼睛聚焦的方向。为跟踪用户头部的角度,可使用加速度计或陀螺仪。在一些实施例中,取决于用户头部的角度,叠加于人员面部上的虚拟对象可从面部脱锚以用于显示。运动/焦点跟踪模块135可包含可用于确定用户眼睛的焦点贯注于何处的相机或其它形式的眼睛追踪装置。因此,运动/焦点跟踪模块135可能够确定用户正看着的方向和/或用户的眼睛聚焦于的深度。因此,确定用户的眼睛是否聚焦于其上呈现虚拟对象的虚拟平面或现实世界场景内的现实世界对象上可为可能的。
用户接口模块140可准许用户对系统100提供输入。举例来说,用户接口模块140可为其上具有一或多个按钮的手环。用户可致动这些按钮以将输入提供到系统100。举例来说,用户可想要提供虚拟对象和/或人员的评级、激活/去激活面部叠加和/或与虚拟对象交互(例如,打开用户电子邮件帐户内的电子邮件)。虽然手环为一种形式的用户接口,但应理解用户可使用各种其它用户接口以提供输入(例如,可与运动/焦点跟踪模块135一起并入的话音辨识模块或眼睛跟踪模块)。
虚拟对象管理器150可用来调整经由显示模块130显示给用户的虚拟对象的颜色、亮度和/或位置。虚拟对象管理器150可不控制虚拟对象的内容,所述内容可由单独执行的应用程序控制。而是,可经由虚拟对象管理器150控制虚拟对象的颜色、位置和/或亮度。虚拟对象管理器150可接入用户偏好模块160以用于确定将用于虚拟对象的适当颜色、位置和/或亮度等级。虚拟对象管理器150可接收来自对象、颜色和亮度识别与跟踪模块120的输入。举例来说,基于由识别与跟踪模块120识别的对象、颜色和/或亮度,虚拟对象管理器150可对虚拟对象进行重新着色、调整亮度和/或再定位。虚拟对象管理器150可不影响虚拟对象的内容。
用户偏好模块160可使用经配置以存储用户偏好的计算机可读存储媒体而存储。用户偏好模块160可允许用户指定:与虚拟对象叠加于其上的现实世界对象相比虚拟对象更亮的程度,准许使用何种颜色来增加虚拟对象的对比度,应使用多少对比度(可能经界定为Lab颜色空间中的距离)以及如叠加于现实世界场景上(例如,天花板、地板和墙壁上)的虚拟对象的优选位置的分级。用户偏好模块160还可存储其它用户偏好。
电力供应器模块170可为系统100供应电力。电力供应器模块170可包含一或多个电池。通过减少显示模块130所需的电力量可减少电力供应器模块170的大小、容量和/或成本。另外或替代地,系统100以电力供应器模块170的单一电荷可工作的时间长度可通过减少显示模块130所需的电力量而增加。因此,通过由虚拟对象管理器150调整虚拟对象的颜色、亮度和/或位置,系统100以电力供应器模块170的单一电荷可工作的时间长度可增加和/或可减少电力供应器模块170的大小、容量和/或成本。
可使用计算机化装置(例如,图9的计算机系统900)实施系统100的模块中的至少一些。系统100的模块可组合或划分成较小或较大数目个模块。可由计算机化装置实施多个模块。举例来说,虚拟对象管理器150可实施为由计算机化装置(例如,处理器、计算机系统)执行的指令。
图2A说明正用以将虚拟对象呈现给用户的头戴式显示器的第一人称视点200A的实施例,其中基于现实世界场景调整虚拟对象的亮度、颜色和/或位置。在图2A的第一人称视点200A中,现实世界场景含有多个现实世界对象,包含:窗205、显示器210、桌子215、人员225、图片230、墙壁235、墙壁240和地板245。虚拟对象250由AR装置的HMD叠加于场景的现实世界对象上方以用于显示。
在第一人称视点200A的所说明的实施例中,两个虚拟对象250叠加于现实世界场景的部分上方。虚拟对象250的位置、颜色和/或位置可基于场景内存在(以及如由AR装置俘获的图像中存在)的现实世界对象而确定。参考虚拟对象250-1,到显示虚拟对象250-1的此位置可基于墙壁235的亮度而选择。墙壁235可不如窗205和膝上型计算机的显示器210明亮。此外,基于建立的优先级,墙壁235可具有比人员225、显示器210、图片230和窗205低的优先级。因此,通过在墙壁235上方显示虚拟对象250-1,被指派较高优先级的现实世界对象可保持对用户完全可见。虚拟对象250-1的亮度和颜色可基于墙壁235的视觉性质而确定。可选择虚拟对象250-1的一或多个颜色以增加(或最大化)与墙壁235的对比度。这可根据存储的“色轮”而实现。色轮的相对侧上的颜色可称为互补的。色轮的相对侧上的颜色可导致高对比度。因此,如果墙壁235是蓝色的,那么可选择黄色或橙色(从色轮的相对侧)以用于显示虚拟对象250-1。通过使用黄色或橙色,呈现虚拟对象250-1给用户的显示器的亮度可减少,同时允许虚拟对象250-1保持对用户充分可见。
基于虚拟对象250-1正投影的墙壁235的所确定的亮度,可确定虚拟对象250-1的亮度。举例来说,基于虚拟对象250-1正投影的区中墙壁235的流明测量值,可确定虚拟对象250-1的显示的流明输出。用于显示给用户的虚拟对象的流明输出可维持比虚拟对象投影于其上的现实世界对象的流明输出高至少阈值量。所述流明输出也可以基于正用以显示虚拟对象的所述一或多个颜色:由于HMD和/或用户的眼睛的性质,某些颜色与其它颜色相比可以更容易感知与现实世界对象的背景颜色的对比度。
参考虚拟对象250-2,显示虚拟对象250-2的此位置可基于地板245和墙壁235的亮度而选择。地板245可不如窗205和显示器210明亮。此外,基于建立的优先级,地板245和墙壁235可具有比人员225、显示器210、图片230和窗205低的优先级。由于墙壁235上的对象和虚拟对象250-1已经叠加于墙壁235的区上方,因此虚拟对象250-2可叠加于地板(的至少部分)上方。因此,通过在地板245上方显示虚拟对象250-2,被指派较高优先级的现实世界对象可保持对用户完全可见。可基于地板245和墙壁235的性质确定虚拟对象250-2的亮度和颜色。
可选择虚拟对象250-2的一或多个颜色以增加(或最大化)与地板245的对比度。根据存储的色轮,如果地板245是棕色的,那么可选择绿色或蓝绿色以用于显示虚拟对象250-2。通过使用绿色或蓝绿色,呈现虚拟对象250-2给用户的显示器的亮度可减少,同时允许虚拟对象250-2保持对用户充分可见。并且,基于虚拟对象250-2正在(或将要)投影的地板245和墙壁235的所确定的亮度,可确定虚拟对象250-2的亮度。举例来说,基于虚拟对象250-2正投影的区中的地板245的流明测量值,可选择虚拟对象250-2的显示的流明输出。用于虚拟对象的亮度的流明输出可不同于用于另一虚拟对象的显示的流明输出。因此,虚拟对象250-1可由HMD以不同于虚拟对象250-2的流明输出来投影。
用户的眼睛的方向和/或聚焦深度可影响虚拟对象的颜色和/或亮度。如果用户不在看着虚拟对象和/或用户未将他的眼睛聚焦于其上呈现虚拟对象的虚拟平面上,那么可减少虚拟对象的亮度。举例来说,如果用户正看着人员225,那么虚拟对象250-2和虚拟对象250-1的亮度可减少。如果用户正看着虚拟对象250-1,那么可增加虚拟对象250-1的亮度且可稍微增加虚拟对象250-2的亮度。最亮的虚拟对象可为用户正看着的虚拟对象。如果用户正将他的眼睛聚焦于虚拟平面上,那么可使所有虚拟对象变亮。如果用户正聚焦于超出虚拟对象平面的现实世界对象,那么可减少所有虚拟对象的亮度。如果用户表现为聚焦于现实世界对象上,那么可对叠加于现实世界对象上方或接近叠加现实世界对象的虚拟对象进行调整大小、移动和/或使其更透明(通过减少亮度)。距用户的视线至少阈值距离的虚拟对象可保持大小、位置和/或亮度未经修改。当用户的眼睛焦点返回到可已经再定位、调整大小、模糊或变得更透明的虚拟对象时,虚拟对象可在大小、位置、亮度和/或锐度方面返回到其先前显示状态。
应理解,视点200仅是用于实例目的,用以投影虚拟对象的位置、颜色和亮度可基于特定现实世界场景和/或用户偏好而变化。虽然上文描述着重于正调整的虚拟对象的位置、颜色和亮度,但应理解可能基于用户偏好而仅可调整这些性质的子组。举例来说,在一些实施例中,可不调整颜色,且仅调整虚拟对象的位置和亮度。
上文描述着重于虚拟对象移动到低优先级的区以显示给用户。应理解替代地或另外,也可以调整虚拟对象的大小。举例来说,为了配合在低重要性的区内,可减少虚拟对象的大小。如果低重要性的区增长,那么可增长虚拟对象的大小以占据低重要性的区的较大部分。
在图2A中,没有用户的部分可见。然而应理解,如果用户延伸他的手臂和/或向下看,那么用户的某一部分可为可见的,例如用户的手和/或手臂。当用户正看着他的手或手臂或附近时,用户可能需要看他正在做什么(例如处置或操控对象)。因此,可使虚拟对象变为透明的、模糊、移动和/或调整大小以允许用户清楚地观看用户的手和/或手臂。因此,用户自身的身体可被提供高优先级。可经由肤色辨识而检测用户的手和/或手臂。一旦用户已完成处置或操控对象,则可放大、再定位、锐化和/或加亮虚拟对象以占据先前由用户的手和/或手臂占据的场景的至少一些。
作为当虚拟对象可调整大小时的另一实例,如果用户正例如与人员225进行面对面对话,那么在用户和所述人员彼此靠近站立的情况下所述人员的面部可占据场景的大部分。如果所述人员的面部占据大于阈值百分比的场景,那么可减少一些或所有虚拟对象的大小以使得所述人员的面部不被遮挡。在一些实施例中,可仅对与人员的面部重叠的虚拟对象调整大小。
此外,在一些实施例中,可使用陀螺仪和/或加速度计来检测何时用户的注意力已转移。举例来说,如果用户在特定方向中快速移动他的头,那么可假设用户的注意力已转移且可最小化或另外遮挡虚拟对象的一些或全部而不显示达至少阈值时间周期或直到用户提供请求重新显示虚拟对象的输入为止。
图2B说明HMD的第一人称视点200B的实施例,其中说明不同优先级的区。如关于图2A所论述,可将不同优先级等级指派给叠加于现实世界场景上方的虚拟视场的不同部分。基于现实世界场景内存在的现实世界对象,可界定不同区且对其指派优先级。在图2B中,界定六个区且对其指派优先级。仅出于说明的目的,在虚点方框中勾勒这些区。区260-1经界定以含有人员225且被给予最高优先级(例如,基于人员的存在)。区260-2经界定为含有显示器210和桌子215且被给予第二最高优先级(例如,基于作为用户可需要观看和/或交互的对象)。区260-3经界定为含有窗205且被给予第三最高优先级。区260-4经界定为含有图片230且被给予第四最高优先级。区260-5经界定为含有地板245和墙壁235且被给予第五最高优先级。区260-6经界定为含有墙壁235的部分且被给予区260的最少优先级。具有最少优先级的区可首先用以显示虚拟对象。因此,两个所显示的虚拟对象在虚拟视场的对应于场景中的最低优先级现实世界对象的区中显示。
各种类型的区的分类可由用户设定。举例来说,用户可经由用户偏好指定窗是高优先级。这可能是因为用户喜欢看向窗外且他的观看不受虚拟对象遮挡。用户可将地板和墙壁设定为低优先级,因此此经分类区可首先用于虚拟对象的叠加。表1说明用于对现实世界场景内的区进行分类的示范性分级系统。如果来自表的特定分类不存在于现实世界场景内,那么此分类可不用于确定优先级。
分类 | 优先级 |
人员 | 3 |
文本 | 2(从不) |
“空白空间”(例如,墙壁、地板、天花板) | 7 |
显示装置(例如,电视、监视器) | 5 |
交通工具 | 4 |
家具 | 6 |
用户的身体 | 1(从不) |
表1
根据示范性表1,虚拟对象可在具有最少优先级的区上方显示。因此,如果存在于由用户观看的场景中,那么空白空间可用以呈现虚拟对象。如果现实世界场景内不存在空白空间或空白空间已叠加有虚拟对象,那么可使用下一最低优先级区。在表1的实例中,任何家具(例如,桌子、椅子)可叠加有虚拟对象。如果不存在或存在的家具已经叠加有虚拟对象,那么显示装置(如果存在)可叠加有虚拟对象。在一些实施例中,某些优先级等级可从不叠加有虚拟对象。举例来说,某些分类可设定成从不叠加有虚拟对象。在表1的实例中,用户自身的身体和存在于现实世界场景中的文本从不叠加有虚拟对象。用户经由用户偏好可指定从不叠加有虚拟对象的分类。
可使用图1的系统执行各种方法。可执行各种方法以定位AR装置的HMD、调整所述HMD的颜色和/或调整所述HMD的亮度。图3说明用于响应于现实世界场景的对象而调整虚拟对象的颜色的方法300的实施例。方法300可使用增强现实(AR)装置执行,例如包含系统100或经配置以使用HMD将虚拟对象显示给用户的某种其它系统的AR装置。例如图9的计算机系统900的计算机化装置可用以执行方法300的至少一些步骤。用于执行方法300的装置包含一或多个:计算机化装置、相机、头戴式显示器和电源。用于执行方法300的装置可包含系统100的模块中的一或多者。用于执行方法300的装置可包含一或多个处理器。
在步骤310处,可由AR装置俘获现实世界场景的图像。可使用相机俘获此图像。可引导相机俘获与用户的眼睛相同或相似的视点。因此,由相机俘获的图像可含有与用户的视场交叉的视场。可周期性地俘获图像,例如每秒多次。此些图像可传递到AR装置的处理模块。
在步骤320处,可确定虚拟对象当前叠加于其上或即将叠加于其上的现实世界场景的区中存在的一或多个颜色。为了确定所述颜色,可分析在步骤310处俘获的图像。如果虚拟对象叠加于其上或即将叠加于其上的现实世界场景的区中存在多个颜色,那么可确定主导的或平均颜色。举例来说,如果现实世界场景的区是以具有细黑色条纹的浅灰色墙纸覆盖的墙壁,那么可确定主导颜色为浅灰色。在一些实施例中,虚拟对象叠加于其上或将叠加于其上的图像的区中的每一像素的RGB分量可经平均化以确定平均颜色。使用此RGB分量可以像素的亮度作为因数(每一分量值越大,测得的亮度越大)。
在一些实施例中,并非仅使用虚拟对象将叠加于其上的现实世界场景的区的颜色,来自在步骤310处俘获的图像的虚拟对象周围的像素的预定义数目可另外或替代地用以确定将用于显示虚拟对象的所述一或多个颜色。
在步骤330处,可使用在步骤320处识别的所述一或多个颜色、突出的颜色或平均颜色确定一或多个显示颜色。为了最大化(或至少增加)现实世界场景的背景与叠加于现实世界场景的区上的虚拟对象之间的对比度,可确定互补颜色,例如色轮的相对侧上的颜色。用户偏好(例如将使用或不使用的颜色)可以用于确定选择哪些颜色用于显示虚拟对象。
在使用存储的色轮时,虚拟对象将叠加于其上方的区的主导颜色或平均颜色可位于所述色轮上。为了选择高对比度颜色来用于显示虚拟对象,可选择色轮的相对侧上的颜色。此对比颜色可沿着穿过色轮的中心的线定位。在一些实施例中,可使用与所述对比颜色互补的颜色。通过围绕色轮从所述对比颜色顺时针或逆时针移动预定距离可定位此互补颜色。
并非使用存储的色轮,可使用Lab颜色空间来确定提供充足对比度用于由用户观看的对比颜色。在L-a-b颜色空间中,L界定亮度,a界定红到绿,且b界定黄到蓝。现实世界场景的区的突出或平均颜色可位于Lab颜色空间中。用于显示虚拟对象的颜色可能需要远离Lab颜色空间中的平均或突出的颜色的位置至少预定义距离。在一些实施例中,可不修改虚拟对象的所述一或多个颜色,除非所述一或多个颜色下降到距虚拟对象叠加于其上的现实世界场景的区的平均或主导颜色阈值距离以下。如果虚拟对象的颜色改变,那么新选择的颜色在Lab颜色空间中可能需要远离虚拟对象叠加于其上的现实世界场景的区的主导或平均颜色至少阈值距离。
在一些实施例中,用户可界定(或可使用默认)表,所述表基于虚拟对象将叠加于其上的现实世界场景的区的主导或平均颜色而界定应使用哪些颜色来呈现虚拟对象。举例来说,表2可用以界定将用于虚拟对象的颜色。“背景”可指代虚拟对象将叠加于其上的现实世界场景的区的颜色。“前景”可指代将用于虚拟对象的颜色。
背景 | 前景 |
白色 | 黑色 |
黑色 | 白色 |
橙色 | 蓝色 |
深蓝色 | 橙色 |
红色 | 浅灰色 |
棕色 | 浅绿色 |
绿色 | 白色 |
黄色 | 栗色 |
浅蓝色 | 栗色 |
浅棕色 | 黑色 |
表2
在步骤340处,可使用在步骤330处确定的所述一或多个显示颜色将虚拟对象显示给用户。显示可经由HMD对用户发生。所述所确定的颜色可不用于整个虚拟对象,而是虚拟对象的仅一部分可使用所确定的显示颜色,例如虚拟对象的文本。通过使用所确定的显示颜色,虚拟对象(的至少部分)与虚拟对象叠加到其上的现实世界场景的部分(和/或现实世界场景的包围虚拟对象的一部分)之间的对比度量可增加。
在步骤350处,由于虚拟对象的至少部分与虚拟对象叠加到其上的现实世界对象之间的较高对比度,可减少HMD上所显示的虚拟对象的亮度,同时维持对用户的充足可见度。维持对用户的“充足可见度”所必要的亮度量可通过用户偏好而界定。可由用户界定的此充足可见度特性可转换为用于确定Lab颜色空间中的最小距离的距离。例如,由充足可见度特性指定的对比度越大,用于Lab颜色空间中的对比颜色的距离越大。
在步骤360处,与使用与所叠加现实世界对象的颜色具有较少对比度的显示颜色的情形相比可减少HMD执行步骤340所消耗的电力量。由于可使用较大对比颜色来显示虚拟对象,因此在步骤350处可减少所显示虚拟对象的亮度。此亮度减小可导致HMD消耗较少电力来显示虚拟对象。
电池电荷的量可影响如何显示虚拟对象。可仅调整虚拟对象的颜色(和亮度)以当电池低于电荷阈值(例如25%)时保存电池寿命。此些设定可为用户界定的。因此,在AR装置的电池电量到达阈值水平之前可不执行方法300。
图4说明用于响应于现实世界场景的对象而调整虚拟对象的亮度的方法的实施例。方法400可使用增强现实(AR)装置执行,例如包含系统100或经配置以使用HMD将虚拟对象显示给用户的某种其它系统的AR装置。例如图9的计算机系统900的计算机化装置可用以执行方法400的至少一些步骤。用于执行方法400的装置包含一或多个:计算机化装置、相机、头戴式显示器和电源。用于执行方法400的装置可包含系统100的模块中的一或多者。用于执行方法400的装置可包含一或多个处理器。方法400可与图3的方法300的一或多个步骤结合执行。
在步骤410处,可由AR装置俘获现实世界场景的图像。可使用相机俘获此图像。可引导相机俘获与用户的眼睛相同或相似的视点。因此,由相机俘获的图像可含有与用户的视场交叉的视场。可周期性地俘获图像,例如每秒多次。此些图像可传递到AR装置的处理模块。
在步骤420处,可确定虚拟对象当前叠加于其上或即将叠加于其上的现实世界场景的区中存在的现实世界对象的亮度。为了确定亮度,可使用在步骤410处俘获的图像。可使用跨越所述区的平均亮度或所述区内的最亮测量值。区经确定为越亮,为了对用户的充足可见度可需要的虚拟对象的亮度越大。
在一些实施例中,并非仅使用虚拟对象将叠加于其上的现实世界场景的区的亮度,在步骤410处俘获的图像中的虚拟对象周围的像素的预定义数目可另外或替代地用以确定将用于显示虚拟对象的亮度。举例来说,如果直接在虚拟对象的侧面存在所观看的明亮现实世界对象,那么为了对用户的充足可见度而可增加虚拟对象的亮度。
在步骤430处,可确定用户的眼睛的聚焦深度和/或聚焦方向。可基于用户的眼睛的焦点而调整虚拟对象的亮度。如果用户沿着远离虚拟对象的方向观看和/或未聚焦于虚拟对象投影于其上的虚拟平面上,那么可减少虚拟对象的亮度。举例来说,当用户直接看着虚拟对象且聚焦于虚拟对象投影于其上的虚拟平面上时含有文本的虚拟对象可仅需要亮到足以为可读的。否则,所述虚拟对象可仅需要亮到足以使用户定位所述虚拟对象。作为一实例,如果多个虚拟对象正呈现给用户,那么可以高亮度级仅显示用户正使他的眼睛聚焦于的虚拟对象(如果存在)。
在步骤440处,可使用基于在步骤420处确定的现实世界场景的区的亮度等级和/或基于如在步骤430处确定的用户的眼睛的焦点的亮度等级将虚拟对象显示给用户。因此,可维持虚拟对象的亮度为在虚拟对象叠加于其上的现实世界对象上方可见。用户偏好可用以确定虚拟对象应表现为比虚拟对象叠加于其上方的现实世界对象亮多少流明,以便维持对用户的充足可见度。用户可界定“亮度对比度特性”,其可用以确定虚拟对象与虚拟对象叠加于其上方的现实世界场景的区之间的最小流明差异。通过调整虚拟对象的亮度等级,当虚拟对象叠加于暗淡的现实世界对象上方时,可减少HMD用以呈现虚拟对象的亮度量,因此可能导致HMD消耗较少电力。
在步骤450处,与曾使用较大亮度等级呈现虚拟对象的情形相比可减少HMD执行步骤440消耗的电力量。亮度减小可导致HMD消耗较少电力来显示虚拟对象。
电池电荷的量可影响如何显示虚拟对象。可仅调整虚拟对象的亮度以当电池低于电荷阈值(例如25%)时保存电池寿命。此些设定可为用户界定的。因此,在AR装置的电池电量到达阈值水平之前可不执行方法400。
图5说明用于响应于现实世界场景的对象的亮度而调整虚拟对象的位置的方法的实施例。方法500可使用增强现实(AR)装置执行,例如包含系统100或经配置以使用HMD将虚拟对象显示给用户的某种其它系统的AR装置。例如图9的计算机系统900的计算机化装置可用以执行方法500的至少一些步骤。用于执行方法500的装置包含一或多个:计算机化装置、相机、头戴式显示器和电源。用于执行方法500的装置可包含系统100的模块中的一或多者。用于执行方法500的装置可包含一或多个处理器。方法500可与图3的方法300和/或图4的方法400的一或多个步骤结合执行。
在步骤510处,可由AR装置俘获现实世界场景的图像。可使用相机俘获此图像。可引导相机俘获与用户的眼睛相同或相似的视点。因此,由相机俘获的图像可含有与用户的视场交叉的视场。可周期性地俘获图像,例如每秒多次。此些图像可传递到AR装置的处理模块。
在步骤520处,可确定现实世界场景中存在的现实世界对象的亮度。为了确定亮度,可使用在步骤510处俘获的图像。可确定现实世界场景的各种区的平均亮度。区经确定为越亮,为了对用户的充足可见度可需要的叠加虚拟对象的亮度越大。而且在步骤520处,可确定现实世界场景的各种区中存在的一或多个颜色。为了确定所述颜色,可分析在步骤510处俘获的图像。如果存在多个颜色,那么可针对现实世界场景的各种区确定主导或平均颜色。在一些实施例中,图像的区中的每一像素的RGB分量可经平均化以确定平均颜色。使用此RGB分量可以像素的亮度作为因数(每一分量值越大,测得的亮度越大)。
在步骤530处,基于在步骤520处识别的场景内的现实世界对象的亮度和/或颜色,可选择经由HMD呈现给用户的虚拟对象的位置。可确定所述位置以通过减少充分照射虚拟对象以得到对用户的可见度所必要的HMD的流明输出来最大化电力节省。因此,现实世界场景的较暗区和/或场景的具有一致颜色的区可用以显示一或多个虚拟对象。此外,在某些颜色上方投影虚拟对象可为更电力有效的。举例来说,在蓝色现实世界对象上方叠加虚拟对象可不需要与在白色现实世界对象上方叠加的虚拟对象一样多的显示器输出的光(同时维持对用户的可见度)。
在步骤540处,可于在步骤530处确定的位置中将虚拟对象显示给用户。这可涉及将虚拟对象从第一显示位置移动到第二显示位置。通过调整虚拟对象的位置,通过在现实世界场景的暗淡区(相对于现实世界场景的其它区)或选定颜色现实世界对象(例如,暗色现实世界对象)上方叠加虚拟对象,可减少由HMD用以呈现虚拟对象的亮度量。
可设定阈值时间以使得虚拟对象不会过度经常移动。举例来说,一旦虚拟对象移动,其便在经界定时间周期(例如一分钟)内不能够再次移动。在一些实施例中,如果检测到用户的头来回移动,那么虚拟对象可不移动达某一时间周期。仅一旦用户的头已看着特定方向达某一时间周期(例如30秒),便可再定位虚拟对象。作为此情形的实例,如果用户正沿着走廊行走且他的视场持续改变,那么可不重新布置虚拟对象的位置。然而,一旦用户坐在他的桌子边且看着他的计算机屏幕达某一时间周期(例如30秒),那么可能够再定位虚拟对象(例如离开到计算机屏幕的侧面在用户观看的现实世界场景的较暗部分上方)。
在步骤550处,由于虚拟对象的至少部分与虚拟对象叠加到其上的现实世界场景的区(以及可能虚拟对象周围的区)之间的对比度和/或亮度差,可减少HMD上所显示的虚拟对象的亮度,同时维持虚拟对象对用户的可见度。维持对用户的“充足可见度”所必要的亮度量可通过用户偏好而界定。
在步骤560处,与曾使用较高亮度和/或不同颜色来显示虚拟对象而不再定位虚拟对象的情况相比可减少显示器执行步骤540消耗的电力量。电池电荷的量可影响如何显示虚拟对象。可仅调整虚拟对象的位置以当电池低于电荷阈值(例如25%)时保存电池寿命。此些设定可为用户界定的。因此,在AR装置的电池电量到达阈值水平之前可不执行方法500。
图6说明用于响应于现实世界场景中存在的对象的优先级而调整虚拟对象的位置的方法的实施例。方法600可使用增强现实(AR)装置执行,例如包含系统100或经配置以使用HMD将虚拟对象显示给用户的某种其它系统的AR装置。例如图9的计算机系统900的计算机化装置可用以执行方法600的至少一些步骤。用于执行方法600的装置包含一或多个:计算机化装置、相机、头戴式显示器和电源。用于执行方法600的装置可包含系统100的模块中的一或多者。用于执行方法600的装置可包含一或多个处理器。方法600可与图3的方法300、图4的方法400和/或图5的方法500的一或多个步骤结合执行。
在步骤610处,可由AR装置俘获现实世界场景的图像。可使用相机俘获此图像。可引导相机俘获与用户的眼睛相同或相似的视点。因此,由相机俘获的图像可含有与用户的视场交叉的视场。可周期性地俘获图像,例如每秒多次。此些图像可传递到AR装置的处理模块。
在步骤620处,可确定现实世界场景中存在的现实世界对象的亮度。为了确定亮度,可使用在步骤610处俘获的图像。可确定现实世界场景的各种区的平均亮度。区经确定为越亮,为了对用户的充足可见度可需要的叠加虚拟对象的亮度越大。而且在步骤620处,可确定现实世界场景的各种区中存在的一或多个颜色。为了确定所述颜色,可分析在步骤610处俘获的图像。如果存在多个颜色,那么可针对现实世界场景的各种区确定主导或平均颜色。在一些实施例中,图像的区中的每一像素的RGB分量可经平均化以确定平均颜色。使用此RGB分量可以像素的亮度作为因数(每一分量值越大,测得的亮度越大)。
在步骤630处,基于在步骤620处识别的场景内的现实世界对象的亮度和/或颜色,可选择经由HMD呈现给用户的虚拟对象的位置。可确定所述位置以通过减少充分照射虚拟对象以得到对用户的可见度所必要的HMD的流明输出来最大化电力节省。因此,现实世界场景的较暗区和/或场景的具有一致颜色的区可用以显示一或多个虚拟对象。此外,在某些颜色上方投影虚拟对象可为更电力有效的。举例来说,在蓝色现实世界对象上方叠加虚拟对象可不需要与在白色现实世界对象上方叠加的虚拟对象一样多的显示器输出的光(同时维持对用户的可见度)。
在步骤640处,可使用在步骤620处识别的所述一或多个颜色、突出的颜色或平均颜色确定一或多个显示颜色。为了最大化(或至少增加)现实世界场景的背景与叠加于现实世界场景的区上的虚拟对象之间的对比度,可确定互补颜色,例如色轮的相对侧上的颜色。用户偏好(例如将使用或不使用的颜色)可以用于确定选择哪些颜色用于显示虚拟对象。色轮或Lab颜色空间可用于确定所述一或多个显示颜色(如关于步骤330详细描述)。
在一些实施例中,可确定更新颜色或位置以便减小亮度(而不是改变两者)是否更有效。举例来说,如果现实世界场景均匀地明亮,那么可调整虚拟对象的对比度。然而,如果现实世界场景具有变暗区域,那么可改为再定位虚拟对象而不调整对比度。是否可同时调整一个或两个特性(以便调整亮度)可根据用户偏好而界定。
在步骤650处,可以在步骤630和步骤640处确定的位置、一或多个颜色和/或亮度将虚拟对象显示给用户。这可涉及将虚拟对象从第一显示位置移动到第二显示位置。通过调整虚拟对象的位置,通过在现实世界场景的暗淡区(相对于现实世界场景的其它区)或选定颜色现实世界对象(例如,暗色现实世界对象)上方叠加虚拟对象,可减少由HMD用以呈现虚拟对象的亮度量。
可设定阈值时间以使得虚拟对象不会过度经常移动、改变颜色和/或改变亮度。举例来说,一旦虚拟对象移动,其便在经界定时间周期(例如一分钟)内不能够再次修改。在一些实施例中,如果检测到用户的头来回移动,那么虚拟对象可不移动达某一时间周期。仅一旦用户的头已看着特定方向达某一时间周期(例如30秒),便可再定位虚拟对象。
当虚拟对象移动而不是虚拟对象从第一位置消失在在第二位置重新出现时,虚拟对象可视觉上从第一位置“滑动”到第二位置。在一些实施例中,可同时对所有虚拟对象进行重新布置、重新着色和/或调整亮度(如果确定改变为有益的)。因此,虚拟对象的呈现将表现为同时对用户改变。用户与其交互最多(可能基于用户使他的眼睛聚焦于虚拟对象上所花费的时间)的虚拟对象可定位于现实世界场景的最暗区域上方,以使得最普遍虚拟对象的亮度可维持低于正显示的其它虚拟对象。因此,如果当用户正看着虚拟对象时其亮度增加,那么最经常看的虚拟对象的亮度可维持在较低流明等级,同时维持可见度。
在步骤660处,与曾使用不同位置、较高亮度和/或不同颜色来显示虚拟对象而不再定位或重新着色虚拟对象的情况相比可减少由HMD消耗的电力量。电池电荷的量可影响如何显示虚拟对象。可仅调整虚拟对象的位置、颜色和/或亮度以当电池低于电荷阈值(例如25%)时保存电池寿命。此些设定可为用户界定的。因此,在AR装置的电池电量到达阈值水平之前可不执行方法600。
图7说明用于响应于现实世界场景中存在的对象的优先级而调整虚拟对象的位置的方法的实施例。方法700可使用增强现实(AR)装置执行,例如包含系统100或经配置以使用HMD将虚拟对象显示给用户的某种其它系统的AR装置。例如图9的计算机系统900的计算机化装置可用以执行方法700的至少一些步骤。用于执行方法700的装置包含一或多个:计算机化装置、相机、头戴式显示器和电源。用于执行方法700的装置可包含系统100的模块中的一或多者。用于执行方法700的装置可包含一或多个处理器。方法700可与图3的方法300、图4的方法400、图5的方法500和/或图6的方法600的一或多个步骤结合执行。
在步骤710处,可由AR装置俘获现实世界场景的图像。可使用相机俘获此图像。可引导相机俘获与用户的眼睛相同或相似的视点。因此,由相机俘获的图像可含有与用户的视场交叉的视场。可周期性地俘获图像,例如每秒多次。此些图像可传递到AR装置的处理模块。
在步骤720处,可识别如步骤710的图像中俘获的现实世界场景的各种部分。每一区可能需要为至少最小预定义大小(例如,大到足以含有虚拟对象)。每一区可基于现实世界场景中的一或多个现实世界对象而界定。举例来说,如果人员处于场景中,那么所述人员可包含在单个区内。在一些实施例中,人员的身体和面部可在单独的区中。为了界定所述区,可识别各种现实世界对象。举例来说,如果确定椅子存在于现实世界场景内,那么可将一区界定为至少包含所述椅子。可基于现实世界对象、亮度、颜色、图案变化(例如,极少变化,例如空白墙壁,或高变化,例如书架上的各种书籍)、颜色变化(例如,大量颜色、较少颜色)、文本(文本存在还是不存在)等来创建区。在一些实施例中,虚拟视场的仅一些部分可包含在区中。举例来说,未识别的现实世界对象可被忽略且可不具有围绕其界定的区。可界定两个或两个以上区。在一些实施例中,可准许界定区的最大数目。
在步骤730处,可将优先级指派给在步骤720处识别的区。优先级可基于用户偏好和/或在现实世界场景内识别的现实世界对象。举例来说,可识别的常见现实世界对象包含:面部、显示屏(例如,移动装置显示屏、计算机显示器屏幕、电视)、文本(例如,书籍、杂志、文档)、图片、天花板、墙壁和地板。表1提供额外实例。例如面部等现实世界对象可被给予比例如地板等现实世界对象高的优先级。这可反映用户将宁愿使虚拟对象叠加于地板上方而不是人员的面部上方。在用户偏好的集合内,用户可能够指定不同类型的现实世界对象的分级。在一些实施例中,可在无用户偏好的情况下确定各种现实世界对象的优先级分级。在一些实施例中,展现运动的现实世界对象被给予超过静态现实世界对象的优先级。经照明高于阈值的现实世界对象(例如,显示屏幕、由照明灯具照亮的书籍)可被给予比未经照明大于所述阈值的现实世界对象(例如,未被照亮的房间、断电的计算机屏幕)高的优先级。所述阈值可基于由用户观看的现实世界场景中的平均流明等级、默认值或用户定义的阈值。
在步骤740处,基于在步骤720处界定的多个区和在步骤730处指派的优先级而选择将显示虚拟对象的位置。可选择最低优先级区(对应于场景中的最低优先级现实世界对象)供虚拟对象叠加于上方。可确定所述区是否大到足以使虚拟对象配合(虚拟对象可在大小方面变化)。如果不是,那么可选择下一最低优先级区。此外,如果一区已经具有叠加于其上方的虚拟对象,那么可选择另一区。参考图2B作为实例,一个区可包含人员225,另一区可包含地板245,第三区可包含墙壁235,且第四区可包含显示器210。包含地板245的区可为最低优先级且可经选择作为其中虚拟对象将定位以用于显示的区。
在步骤750处,可在基于在步骤740处的优先级确定的区中将虚拟对象显示给用户。在步骤750处,由于虚拟对象的至少部分与虚拟对象叠加到其上的现实世界对象之间的对比度,可减少或修改HMD上所显示的虚拟对象的亮度和/或颜色,同时维持虚拟对象对用户的充足可见度。与曾使用与所叠加现实世界对象的颜色具有较少对比度的显示颜色的情形相比可减少显示器执行步骤750所消耗的电力量。
随着用户对现实世界场景的观看改变,可重复方法700以识别现实世界场景的新图像中现在存在的区且可能重新定位一或多个虚拟对象。因此,随着用户的现实世界观看改变,可基于新区及其相关联优先级而修改虚拟对象的位置。在一些实施例中,为了防止虚拟对象持续地再定位,基于用户的头(或更一般化地,用户的身体)的移动,可确定何时用户已看着特定方向达至少阈值时间周期。一旦满足所述阈值,便可再定位虚拟对象。因此,如果用户重复移动他的头,那么可不再定位虚拟对象直到用户看着特定方向达至少阈值时间周期。另外,在一些实施例中,可仅周期性地准许虚拟对象的再定位。举例来说,从指派且显示虚拟对象的位置的最后时间起可需要经过至少阈值时间周期。在一些实施例中,用户可需要提供授权输入以便准许虚拟对象的布置。
图8说明用于响应于现实世界场景中存在的对象的优先级而调整虚拟对象的位置的方法的实施例。方法800可使用增强现实(AR)装置执行,例如包含系统100或经配置以使用HMD将虚拟对象显示给用户的某种其它系统的AR装置。例如图9的计算机系统900的计算机化装置可用以执行方法800的至少一些步骤。用于执行方法800的装置包含一或多个:计算机化装置、相机、头戴式显示器和电源。用于执行方法800的装置可包含系统100的模块中的一或多者。用于执行方法800的装置可包含一或多个处理器。方法800可与图3的方法300、图4的方法400、图5的方法500、图6的方法600和/或图7的方法700的一或多个步骤结合执行。
在步骤810处,可接收类似于表1的关于各种类别的对象的优先级的用户偏好。在一些实施例中,可确定这些用户偏好而用户不必具体地对对象的类别进行分级。举例来说,基于用户通常与其交互的现实世界对象,可产生分级。举例来说,如果用户经常阅读,那么可对文本给予高优先级。或者,如果用户花费较多时间与人员面对面说话,那么可对其它人员提供高于文本的优先级。这些用户偏好还可指示应如何处置虚拟对象的位置、颜色和/或亮度。
在步骤820处,可由AR装置俘获现实世界场景的图像。可使用相机俘获此图像。可引导相机俘获与用户的眼睛相同或相似的视点。因此,由相机俘获的图像可含有与用户的视场交叉的视场。可周期性地俘获图像,例如每秒多次。此些图像可传递到AR装置的处理模块。
在步骤830处,可识别如步骤820的图像中俘获的现实世界场景的各种部分。每一区可能需要为至少最小预定义大小(例如,大到足以含有虚拟对象)。每一区可基于现实世界场景中的现实世界对象而界定。举例来说,如果人员处于场景中,那么所述人员可包含在单个区内。在一些实施例中,人员的身体和面部可在单独的区中。为了界定所述区,可识别各种现实世界对象。举例来说,如果确定椅子存在于现实世界场景内,那么可将一区界定为至少包含所述椅子。可基于现实世界对象、亮度、颜色、图案变化(例如,极少变化,例如空白墙壁,或高变化,例如书架上的各种书籍)、颜色变化(例如,大量颜色、较少颜色)、文本(文本存在还是不存在)等来创建区。在一些实施例中,虚拟视场的仅一些部分可包含在区中。举例来说,未识别的现实世界对象可被忽略且可不具有围绕其界定的区。可界定两个或两个以上区。在一些实施例中,可准许界定区的最大数目。
在步骤840处,可将优先级指派给在步骤820处识别的区。优先级可基于用户偏好和/或在现实世界场景内识别的现实世界对象。举例来说,可识别的常见现实世界对象包含:面部、显示屏(例如,移动装置显示屏、计算机显示器屏幕、电视)、文本(例如,书籍、杂志、文档)、图片、天花板、墙壁和地板。表1提供额外实例。例如面部等现实世界对象可被给予比例如地板等现实世界对象高的优先级。这可反映用户将宁愿使虚拟对象叠加于地板上方而不是人员的面部上方。在用户偏好的集合内,用户可能够指定不同类型的现实世界对象的分级。在一些实施例中,可在无用户偏好的情况下确定各种现实世界对象的优先级分级。在一些实施例中,展现运动的现实世界对象被给予超过静态现实世界对象的优先级。经照明高于阈值的现实世界对象(例如,显示屏幕、由照明灯具照亮的书籍)可被给予比未经照明大于所述阈值的现实世界对象(例如,未被照亮的房间、断电的计算机屏幕)高的优先级。所述阈值可基于由用户观看的现实世界场景中的平均流明等级、默认值或用户定义的阈值。
在步骤850处,基于在步骤620处识别的场景内的现实世界对象的亮度和/或颜色,可选择经由HMD呈现给用户的虚拟对象的位置。可确定所述位置以通过减少充分照射虚拟对象以得到对用户的可见度所必要的HMD的流明输出来最大化电力节省。因此,现实世界场景的较暗区和/或场景的具有一致颜色的区可用以显示一或多个虚拟对象。此外,在某些颜色上方投影虚拟对象可为更电力有效的。举例来说,在蓝色现实世界对象上方叠加虚拟对象可不需要与在白色现实世界对象上方叠加的虚拟对象一样多的显示器输出的光(同时维持对用户的可见度)。
此外,在步骤850处,基于在步骤830处界定的多个区和在步骤840处指派的优先级而选择将显示虚拟对象的位置。可选择最低优先级区(对应于场景中的最低优先级现实世界对象)供虚拟对象叠加于上方。可确定所述区是否大到足以使虚拟对象配合(虚拟对象可在大小方面变化)。如果不是,那么可选择下一最低优先级区。此外,如果一区已经具有叠加于其上方的虚拟对象,那么可选择另一区。
因此,1)优先级,2)颜色;以及3)亮度可组合使用以确定所显示虚拟对象的显示位置和颜色和/或亮度。在一些实施例中,经加权布置可用以确定是否应使用区的优先级或其亮度来确定虚拟对象是否应叠加于现实世界场景的区上方。举例来说,高优先级区可为暗的(例如,黑板),而低优先级区可为亮的(例如,天空)。在一些实施例中,首先选择最低优先级区,随后选择虚拟对象的颜色和亮度以适合于所述区中的显示。
在步骤860处,可基于在步骤850处确定的优先级、位置、一或多个颜色和/或亮度将虚拟对象显示给用户。这可涉及将虚拟对象从第一显示位置移动到第二显示位置。通过调整虚拟对象的位置,如果在现实世界场景的暗淡区(相对于现实世界场景的其它区)或选定颜色现实世界对象(例如,暗色现实世界对象)上方叠加虚拟对象,那么可能够减少由HMD用以呈现虚拟对象的亮度量。
可设定阈值时间以使得虚拟对象不会过度经常移动、改变颜色和/或改变亮度。举例来说,一旦虚拟对象移动,其便在经界定时间周期(例如一分钟)内不能够再次修改。在一些实施例中,如果检测到用户的头来回移动,那么虚拟对象可不移动达某一时间周期。仅一旦用户的头已看着特定方向达某一时间周期(例如30秒),便可再定位虚拟对象。
在步骤870处,与曾使用不同位置、较高亮度和/或不同颜色来显示虚拟对象而不再定位或重新着色虚拟对象的情况相比可减少由HMD消耗的电力量。电池电荷的量可影响如何显示虚拟对象。可仅调整虚拟对象的位置、颜色和/或亮度以当电池低于电荷阈值(例如25%)时保存电池寿命。此些设定可为用户界定的。因此,在AR装置的电池电量到达阈值水平之前可不执行方法800。
图9说明计算机系统的实施例。如图9中说明的计算机系统可并入有先前描述的计算机化装置的部分。举例来说,计算机系统900可表示在本申请案中论述的增强现实装置的一些组件。图9提供如本文所述的可以执行通过各种实施例提供的方法的计算机系统900的一个实施例的示意性说明。计算机系统900可执行图1的系统100的至少一些组件的功能。应注意,图9仅有意提供各种组件的一般化说明,可按需要利用所述组件中的任一者或所有。因此,图9广泛地说明可如何以相对分离或相对较集成方式实施个别系统元件。
计算机系统900展示为包括可经由总线905(或在适当时可以其它方式通信)电耦合的硬件元件。硬件元件可包含:一或多个处理器910,包含(但不限于)一或多个通用处理器及/或一或多个专用处理器(例如,数字信号处理芯片、图形加速度处理器,及/或其类似者);一或多个输入装置915,其可包含(但不限于)鼠标、键盘及/或其类似者;及一或多个输出装置920,其可包含(但不限于)显示装置、打印机及/或其类似者。
计算机系统900可进一步包含(及/或与之通信)一或多个非暂时性存储装置925,其可包括(但不限于)本地及/或网络可接入存储装置,及/或可包含(但不限于)磁盘驱动器、驱动阵列、光学存储装置、例如随机存取存储器(“RAM”)及/或只读存储器(“ROM”)的可编程、快闪可更新及/或其类似者的固态存储装置。此类存储装置可经配置以实施任何适当数据存储装置,包含但不限于各种文件系统、数据库结构及/或其类似者。
计算机系统900还可包含通信子系统930,其可包含(但不限于)调制解调器、网卡(无线或有线)、红外线通信装置、无线通信装置及/或芯片组(例如,BluetoothTM装置、802.11装置、WiFi装置、WiMax装置、蜂窝式通信设备等)及/或其类似者。通信子系统930可准许与网络(例如,作为一个实例,下文所描述的网络)、其它计算机系统及/或本文所描述的任何其它装置交换数据。在许多实施例中,计算机系统900将进一步包括工作存储器935,其可包含RAM或ROM装置,如上文所描述。
计算机系统900还可包括展示为当前位于工作存储器935内的软件元件,包含操作系统940、装置驱动器、可执行库及/或例如一或多个应用程序945的其它代码,其可包括由各种实施例所提供,及/或可经设计以实施方法及/或配置系统,由其它实施例所提供的计算机程序,如本文中所描述。仅仅作为实例,关于上文所论述的方法所描述的一或多个程序可实施为可由计算机(及/或计算机内的处理器)执行的代码及/或指令;接着,在一方面中,此代码及/或指令可用以配置及/或调适通用计算机(或其它装置)以根据所描述方法执行一或多个操作。
可将这些指令及/或代码的集合存储于非暂时性计算机可读存储媒体(例如,上文所描述的非暂时性储存装置925)上。在一些情况下,存储媒体可并入到例如计算机系统900等计算机系统内。在其它实施例中,存储媒体可与计算机系统(例如,可移除式媒体,例如压缩光盘)分开,及/或提供于安装包中,使得存储媒体可用以编程、配置及/或调适其上存储有指令/代码的通用计算机。这些指令可采用可由计算机系统900执行的可执行代码形式,及/或可采用源和/或可安装代码的形式,所述源和/或可安装代码在由计算机系统900编译及/或安装于所述计算机系统上后(例如,使用多种大体可用编译程序、安装程序、压缩/解压缩公用程序等中的任一者),接着采用可执行代码的形式。
所属领域的技术人员将显而易见可根据特定要求作出大量变化。举例来说,还可能使用定制硬件,和/或可能在硬件、软件(包含便携式软件,例如小程序等)或这两者中实施特定元件。另外,可利用到其它计算装置(例如,网络输入/输出装置)的连接。
如上文所提及,在一个方面中,一些实施例可利用计算机系统(例如,计算机系统900)以执行根据本发明的各种实施例的方法。根据一组实施例,响应于处理器910执行工作存储器935中所含有的一或多个指令的一或多个序列(其可并入于操作系统940及/或其它代码(例如,应用程序945中)),由计算机系统900执行此类方法的程序中的一些或所有。此类指令可从另一计算机可读媒体(例如非暂时性存储装置925中的一或多者)读取到工作存储器935中。仅仅作为实例,执行工作存储器935中所含有的指令序列可使得处理器910执行本文中所描述方法的一或多个程序。
如本文中所使用,术语“机器可读媒体”和“计算机可读媒体”指参与提供使机器以具体方式操作的数据的任何媒体。在使用计算机系统900所实施的实施例中,各种计算机可读媒体可涉及将指令/代码提供到处理器910以用于执行,及/或可用于存储及/或载运此类指令/代码。在许多实施方案中,计算机可读媒体为物理和/或有形存储媒体。此媒体可呈非易失性媒体或易失性媒体形式。非易失性媒体包含例如光盘及/或磁盘,例如非暂时性存储装置925。易失性媒体包含但不限于动态存储器,例如工作存储器935。
常见形式的物理及/或有形计算机可读媒体包含例如软盘、柔性磁盘、硬盘、磁带,或任何其它磁性媒体、CD-ROM、任何其它光学媒体、打孔卡、纸带、具有孔图案的任何其它物理媒体、RAM、PROM、EPROM、快闪EPROM、任何其它存储器芯片或盒带,或计算机可从其读取指令及/或代码的任何其它媒体。
在将一或多个指令的一或多个序列载运到处理器910以用于执行时可涉及各种形式的计算机可读媒体。仅举例来说,起初可将指令携载于远程计算机的磁盘和/或光学光盘上。远程计算机可将指令载入到其动态存储器中,并经由传输媒体将指令作为信号进行发送以由计算机系统900接收及/或执行。
通信子系统930(及/或其组件)大体上将接收信号,且总线905可接着将信号(及/或由信号所载运的数据、指令等)载运到处理器910从其检索并执行指令的工作存储器935。由工作存储器935接收的指令可任选地在由处理器910执行之前或之后存储在非暂时性存储装置925上。
上文所论述的方法、系统及装置为实例。各种配置可按需要省略、替代或添加各种程序或组件。举例来说,在替代性配置中,可以不同于所描述的顺来执行方法,和/或可添加、省略和/或组合各种阶段。又,可以各种其它配置组合关于某些配置所描述的特征。可以类似方式组合配置的不同方面及元件。又,技术发展,且因此,元件中的许多为实例且并不限制本发明或权利要求的范围。
在描述中给出特定细节以提供对实例配置(包含实施方案)的透彻理解。然而,可在并无这些特定细节的情况下实践配置。举例来说,在没有不必要的细节的情况下展示众所周知的电路、过程、算法、结构和技术以便避免混淆所述配置。此描述仅提供实例配置,且并不限制权利要求书的范围、适用性或配置。确切地说,配置的之前描述将向所属领域的技术人员提供用于实施所描述技术的实现性描述。可在不脱离本发明的精神或范围的情况下对元件的功能和配置作出各种改变。
而且,可将配置描述为被描绘为流程图或框图的过程。尽管每一流程图或框图可能将操作描述为顺序过程,但许多操作可并行地或同时地来执行。另外,可重新布置操作的次序。过程可具有不包含在图式中的额外步骤。此外,可由硬件、软件、固件、中间件、微码、硬件描述语言或其任何组合实施方法的实例。当以软件、固件、中间件或微码实施时,用以执行必要任务的程序代码或代码段可存储在例如存储媒体的非暂时性计算机可读媒体中。处理器可执行所描述任务。
已描述若干实例配置,可在不脱离本发明的精神的情况下使用各种修改、替代构造及等效物。举例来说,以上元件可为较大系统的组件,其中其它规则可优先于本发明的应用或以其它方式修改本发明的应用。并且,可在考虑以上元件之前、期间或之后进行数个步骤。因此,以上描述并不限制权利要求的范围。
Claims (28)
1.一种用于在增强现实显示器内组织虚拟对象的方法,所述方法包括:
接收用户偏好,所述用户偏好包括针对多种类型现实世界对象的用户指定的优先级等级;
提供经配置以呈现具有叠加于现实世界场景上的多个虚拟对象的虚拟视场的显示器;
基于所述现实世界场景内存在的现实世界对象将优先级指派给所述虚拟视场的多个区,其中
所述多个区中的每一区的优先级至少部分地基于:
在所述区中从所述现实世界场景的图像识别的一或多个现实世界对象展现的发光度,及
包括所述用户指定的优先级等级的所述用户偏好;以及
在所述虚拟视场内显示基于经区分优先的多个区布置的所述多个虚拟对象。
2.根据权利要求1所述的方法,其中被指派最低优先级的所述多个区用以显示所述多个虚拟对象。
3.根据权利要求1所述的方法,其进一步包括:
在指派所述多个区的所述优先级之前俘获所述现实世界场景的所述图像。
4.根据权利要求1所述的方法,其中所述多个区中的每一区的所述优先级是至少部分基于在所述区中识别的所述一或多个现实世界对象展现的移动量。
5.根据权利要求1所述的方法,其中所述多个虚拟对象在用户提供授权输入之前并不基于所述经区分优先的多个区来布置。
6.根据权利要求1所述的方法,其中所述显示器包括头戴式显示器HMD。
7.根据权利要求1所述的方法,其中在所述虚拟视场内显示基于所述经区分优先的多个区布置的所述多个虚拟对象在从所述多个虚拟对象先前经布置用于显示时起已经过至少阈值时间周期的情况下发生。
8.一种用于在增强现实显示器内组织虚拟对象的系统,所述系统包括:
显示器,其经配置以呈现具有叠加于现实世界场景上的多个虚拟对象的虚拟视场;以及
处理器,其经配置以:
接收用户偏好,所述用户偏好包括针对多种类型现实世界对象的用户指定的优先级等级;
基于所述现实世界场景内存在的现实世界对象将优先级指派给所述虚拟视场的多个区,其中
所述多个区中的每一区的优先级至少部分地基于:
在所述区中从所述现实世界场景的图像识别的一或多个现实世界对象展现的发光度,及
包括所述用户指定的优先级等级的所述用户偏好;以及
致使所述显示器在所述虚拟视场内显示基于经区分优先的多个区布置的所述多个虚拟对象。
9.根据权利要求8所述的系统,其中被指派最低优先级的所述多个区用以显示所述多个虚拟对象。
10.根据权利要求8所述的系统,其进一步包括:
相机,其经配置以:
在指派所述多个区的所述优先级之前俘获所述现实世界场景的所述图像。
11.根据权利要求8所述的系统,其中所述多个区中的每一区的所述优先级是至少部分基于在所述区中识别的所述一或多个现实世界对象展现的移动量。
12.根据权利要求8所述的系统,其中所述多个虚拟对象在用户提供授权输入之前并不基于所述经区分优先的多个区来布置。
13.根据权利要求8所述的系统,其中所述显示器包括头戴式显示器HMD。
14.根据权利要求8所述的系统,其中所述显示器在所述虚拟视场内显示基于所述经区分优先的多个区布置的所述多个虚拟对象在从所述多个虚拟对象先前经布置用于显示时起已经过至少阈值时间周期的情况下发生。
15.一种用于在增强现实显示器内组织虚拟对象的设备,所述设备包括:
用于接收用户偏好的装置,所述用户偏好包括针对多种类型现实世界对象的用户指定的优先级等级;
用于呈现具有叠加于现实世界场景上的多个虚拟对象的虚拟视场的装置;
用于基于所述现实世界场景内存在的现实世界对象将优先级指派给所述虚拟视场的多个区的装置,其中
所述多个区中的每一区的优先级至少部分地基于:
在所述区中从所述现实世界场景的图像识别的一或多个现实世界对象展现的发光度,及
包括所述用户指定的优先级等级的所述用户偏好;以及
用于在所述虚拟视场内显示基于经区分优先的多个区布置的所述多个虚拟对象的装置。
16.根据权利要求15所述的设备,其中被指派最低优先级的所述多个区用以显示所述多个虚拟对象。
17.根据权利要求15所述的设备,其进一步包括:
用于在指派所述多个区的所述优先级之前俘获所述现实世界场景的所述图像的装置。
18.根据权利要求15所述的设备,其中所述多个区中的每一区的所述优先级是至少部分基于在所述区中识别的所述一或多个现实世界对象展现的移动量。
19.根据权利要求15所述的设备,其中所述多个虚拟对象在用户提供授权输入之前并不基于所述经区分优先的多个区来布置。
20.根据权利要求15所述的设备,其中所述用于显示的装置是头戴式的。
21.根据权利要求15所述的设备,在所述虚拟视场内基于所述经区分优先的多个区布置的所述多个虚拟对象是在从所述多个虚拟对象先前经布置用于显示时起已经过至少阈值时间周期的情况下由所述用于显示的装置显示。
22.一种用于在增强现实显示器内组织虚拟对象的非暂时性处理器可读媒体,其包括经配置以致使处理器进行以下操作的处理器可读指令:
接收用户偏好,所述用户偏好包括针对多种类型现实世界对象的用户指定的优先级等级;
致使呈现具有叠加于现实世界场景上的多个虚拟对象的虚拟视场;
基于所述现实世界场景内存在的现实世界对象将优先级指派给所述虚拟视场的多个区,其中
所述多个区中的每一区的优先级至少部分地基于:
在所述区中从所述现实世界场景的图像识别的一或多个现实世界对象展现的发光度,及
包括所述用户指定的优先级等级的所述用户偏好;以及
致使在所述虚拟视场内呈现基于经区分优先的多个区布置的所述多个虚拟对象。
23.根据权利要求22所述的非暂时性处理器可读媒体,其中被指派最低优先级的所述多个区用以显示所述多个虚拟对象。
24.根据权利要求22所述的非暂时性处理器可读媒体,其中所述处理器可读指令进一步经配置以致使所述处理器:
在指派所述多个区的所述优先级之前致使俘获所述现实世界场景的所述图像。
25.根据权利要求22所述的非暂时性处理器可读媒体,其中所述多个区中的每一区的所述优先级是至少部分基于在所述区中识别的所述一或多个现实世界对象展现的移动量。
26.根据权利要求22所述的非暂时性处理器可读媒体,其中所述处理器可读指令进一步经配置以致使所述处理器在用户提供授权输入之前并不基于所述经区分优先的多个区来布置所述虚拟对象。
27.根据权利要求22所述的非暂时性处理器可读媒体,其中头戴式显示器HMD用于所述呈现。
28.根据权利要求22所述的非暂时性处理器可读媒体,其中经配置以致使所述处理器致使在所述虚拟视场内呈现基于所述经区分优先的多个区布置的所述多个虚拟对象的所述处理器可读指令进一步包括额外处理器可读指令,所述额外处理器可读指令致使所述处理器致使:
在从所述虚拟对象先前经布置用于显示时起已经过至少阈值时间周期的情况下呈现基于所述经区分优先的多个区布置的所述多个虚拟对象。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201261725708P | 2012-11-13 | 2012-11-13 | |
US61/725,708 | 2012-11-13 | ||
US13/757,194 | 2013-02-01 | ||
US13/757,194 US9619911B2 (en) | 2012-11-13 | 2013-02-01 | Modifying virtual object display properties |
PCT/US2013/065993 WO2014078018A2 (en) | 2012-11-13 | 2013-10-21 | Modifying virtual object display properties |
Publications (2)
Publication Number | Publication Date |
---|---|
CN104798109A CN104798109A (zh) | 2015-07-22 |
CN104798109B true CN104798109B (zh) | 2018-07-03 |
Family
ID=50681205
Family Applications (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201380058700.XA Active CN104798109B (zh) | 2012-11-13 | 2013-10-21 | 用于在增强现实显示器内组织虚拟对象的方法和设备 |
CN201811156512.1A Active CN109615704B (zh) | 2012-11-13 | 2013-10-23 | 修改虚拟对象显示性质以增加增强现实装置的电力性能 |
CN201380058705.2A Active CN104781853B (zh) | 2012-11-13 | 2013-10-23 | 修改虚拟对象显示性质以增加增强现实装置的电力性能 |
Family Applications After (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811156512.1A Active CN109615704B (zh) | 2012-11-13 | 2013-10-23 | 修改虚拟对象显示性质以增加增强现实装置的电力性能 |
CN201380058705.2A Active CN104781853B (zh) | 2012-11-13 | 2013-10-23 | 修改虚拟对象显示性质以增加增强现实装置的电力性能 |
Country Status (6)
Country | Link |
---|---|
US (3) | US9619911B2 (zh) |
EP (2) | EP2920766B1 (zh) |
JP (2) | JP6312690B2 (zh) |
KR (2) | KR20150084980A (zh) |
CN (3) | CN104798109B (zh) |
WO (2) | WO2014078018A2 (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11856323B2 (en) * | 2015-06-05 | 2023-12-26 | Maxell, Ltd. | Video display device and control method |
Families Citing this family (177)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8817092B2 (en) * | 2008-11-25 | 2014-08-26 | Stuart Leslie Wilkinson | Method and apparatus for generating and viewing combined images |
US9619911B2 (en) | 2012-11-13 | 2017-04-11 | Qualcomm Incorporated | Modifying virtual object display properties |
DE102013201377A1 (de) * | 2013-01-29 | 2014-07-31 | Bayerische Motoren Werke Aktiengesellschaft | Verfahren und Vorrichtung zum Verarbeiten von 3d-Bilddaten |
JP6281495B2 (ja) * | 2013-02-01 | 2018-02-21 | ソニー株式会社 | 情報処理装置、端末装置、情報処理方法及びプログラム |
US9286323B2 (en) | 2013-02-25 | 2016-03-15 | International Business Machines Corporation | Context-aware tagging for augmented reality environments |
CN105188516B (zh) | 2013-03-11 | 2017-12-22 | 奇跃公司 | 用于增强和虚拟现实的系统与方法 |
US10019963B2 (en) * | 2013-03-14 | 2018-07-10 | Zumobi, Inc. | Systems and methods for adaptive third party content |
EP4027222A1 (en) | 2013-03-15 | 2022-07-13 | Magic Leap, Inc. | Display system and method |
JP5900393B2 (ja) * | 2013-03-21 | 2016-04-06 | ソニー株式会社 | 情報処理装置、操作制御方法及びプログラム |
JP6107276B2 (ja) * | 2013-03-22 | 2017-04-05 | セイコーエプソン株式会社 | 頭部装着型表示装置および頭部装着型表示装置の制御方法 |
KR102098058B1 (ko) * | 2013-06-07 | 2020-04-07 | 삼성전자 주식회사 | 뷰 모드에서 정보 제공 방법 및 장치 |
US10262462B2 (en) * | 2014-04-18 | 2019-04-16 | Magic Leap, Inc. | Systems and methods for augmented and virtual reality |
KR20150008733A (ko) * | 2013-07-15 | 2015-01-23 | 엘지전자 주식회사 | 안경형 휴대기기 및 그의 정보 투사면 탐색방법 |
JP6364715B2 (ja) * | 2013-07-18 | 2018-08-01 | セイコーエプソン株式会社 | 透過型表示装置および透過型表示装置の制御方法 |
JP5420793B1 (ja) * | 2013-09-10 | 2014-02-19 | テレパシー インク | 画像の視認距離を調整できるヘッドマウントディスプレイ |
US10163264B2 (en) | 2013-10-02 | 2018-12-25 | Atheer, Inc. | Method and apparatus for multiple mode interface |
US10740979B2 (en) | 2013-10-02 | 2020-08-11 | Atheer, Inc. | Method and apparatus for multiple mode interface |
KR102206060B1 (ko) * | 2013-11-19 | 2021-01-21 | 삼성전자주식회사 | 전자 장치의 효과 디스플레이 방법 및 그 전자 장치 |
US20150145887A1 (en) * | 2013-11-25 | 2015-05-28 | Qualcomm Incorporated | Persistent head-mounted content display |
JP5884816B2 (ja) * | 2013-12-16 | 2016-03-15 | コニカミノルタ株式会社 | 透過型hmdを有する情報表示システム及び表示制御プログラム |
US10586395B2 (en) * | 2013-12-30 | 2020-03-10 | Daqri, Llc | Remote object detection and local tracking using visual odometry |
US9667860B2 (en) * | 2014-02-13 | 2017-05-30 | Google Inc. | Photo composition and position guidance in a camera or augmented reality system |
WO2015168155A1 (en) | 2014-04-29 | 2015-11-05 | Cardiac Pacemakers, Inc. | Leadless cardiac pacemaker with retrieval features |
US9971853B2 (en) * | 2014-05-13 | 2018-05-15 | Atheer, Inc. | Method for replacing 3D objects in 2D environment |
JP2016004340A (ja) * | 2014-06-16 | 2016-01-12 | セイコーエプソン株式会社 | 情報配信システム、頭部装着型表示装置、頭部装着型表示装置の制御方法、および、コンピュータープログラム |
US9904055B2 (en) | 2014-07-25 | 2018-02-27 | Microsoft Technology Licensing, Llc | Smart placement of virtual objects to stay in the field of view of a head mounted display |
US9858720B2 (en) | 2014-07-25 | 2018-01-02 | Microsoft Technology Licensing, Llc | Three-dimensional mixed-reality viewport |
US10416760B2 (en) | 2014-07-25 | 2019-09-17 | Microsoft Technology Licensing, Llc | Gaze-based object placement within a virtual reality environment |
US10451875B2 (en) * | 2014-07-25 | 2019-10-22 | Microsoft Technology Licensing, Llc | Smart transparency for virtual objects |
US10311638B2 (en) | 2014-07-25 | 2019-06-04 | Microsoft Technology Licensing, Llc | Anti-trip when immersed in a virtual reality environment |
US9865089B2 (en) * | 2014-07-25 | 2018-01-09 | Microsoft Technology Licensing, Llc | Virtual reality environment with real world objects |
US9766460B2 (en) | 2014-07-25 | 2017-09-19 | Microsoft Technology Licensing, Llc | Ground plane adjustment in a virtual reality environment |
JP6164177B2 (ja) * | 2014-07-31 | 2017-07-19 | キヤノンマーケティングジャパン株式会社 | 情報処理装置、情報処理システム、その制御方法及びプログラム |
US20160048022A1 (en) * | 2014-08-14 | 2016-02-18 | Qualcomm Incorporated | Management for wearable display |
US9946361B2 (en) * | 2014-08-14 | 2018-04-17 | Qualcomm Incorporated | Management for wearable display |
KR102262566B1 (ko) * | 2014-10-10 | 2021-06-07 | 엘지디스플레이 주식회사 | 투명 디스플레이 장치 |
KR20160043331A (ko) * | 2014-10-13 | 2016-04-21 | 삼성전자주식회사 | 디스플레이 장치 및 이의 제어 방법 |
JP2016110296A (ja) * | 2014-12-03 | 2016-06-20 | 株式会社ゼンリンデータコム | ウェアラブルデバイス、情報処理方法及びプログラム |
IL236243A (en) * | 2014-12-14 | 2016-08-31 | Elbit Systems Ltd | Visual enhancement of color icons is shown |
US9811911B2 (en) * | 2014-12-29 | 2017-11-07 | Nbcuniversal Media, Llc | Apparatus and method for generating virtual reality content based on non-virtual reality content |
US9727977B2 (en) | 2014-12-29 | 2017-08-08 | Daqri, Llc | Sample based color extraction for augmented reality |
US9898078B2 (en) | 2015-01-12 | 2018-02-20 | Dell Products, L.P. | Immersive environment correction display and method |
US10262441B2 (en) * | 2015-02-18 | 2019-04-16 | Qualcomm Incorporated | Using features at multiple scales for color transfer in augmented reality |
US9767614B2 (en) * | 2015-03-24 | 2017-09-19 | Nokia Technologies Oy | Augmented reality |
AU2016265703B2 (en) | 2015-05-15 | 2021-06-17 | Vertical Optics, LLC | Wearable vision redirecting devices |
US9690119B2 (en) | 2015-05-15 | 2017-06-27 | Vertical Optics, LLC | Wearable vision redirecting devices |
IL244255A (en) | 2016-02-23 | 2017-04-30 | Vertical Optics Llc | Wearable devices for deflecting vision |
US9652897B2 (en) | 2015-06-25 | 2017-05-16 | Microsoft Technology Licensing, Llc | Color fill in an augmented reality environment |
KR20170005602A (ko) * | 2015-07-06 | 2017-01-16 | 삼성전자주식회사 | 증강현실 및 가상현실의 통합적 제공 방법 및 이를 사용하는 전자 장치 |
CN105139349A (zh) * | 2015-08-03 | 2015-12-09 | 京东方科技集团股份有限公司 | 虚拟现实显示方法及系统 |
CN114998557A (zh) | 2015-08-18 | 2022-09-02 | 奇跃公司 | 虚拟和增强现实系统和方法 |
US20170061696A1 (en) * | 2015-08-31 | 2017-03-02 | Samsung Electronics Co., Ltd. | Virtual reality display apparatus and display method thereof |
JP6334484B2 (ja) * | 2015-09-01 | 2018-05-30 | 株式会社東芝 | メガネ型ウェアラブル装置及びその制御方法及び情報管理サーバー |
WO2017039348A1 (en) * | 2015-09-01 | 2017-03-09 | Samsung Electronics Co., Ltd. | Image capturing apparatus and operating method thereof |
CN106558103A (zh) * | 2015-09-24 | 2017-04-05 | 鸿富锦精密工业(深圳)有限公司 | 扩增实境图像处理系统及扩增实境图像处理方法 |
US20170090195A1 (en) * | 2015-09-25 | 2017-03-30 | Intel Corporation | Selective object filtering devices, systems and methods |
US20170153698A1 (en) * | 2015-11-30 | 2017-06-01 | Nokia Technologies Oy | Method and apparatus for providing a view window within a virtual reality scene |
DE102015226585A1 (de) * | 2015-12-22 | 2017-06-22 | Audi Ag | Verfahren zum Betreiben eines Virtual-Reality-Systems und Virtual-Reality-System |
US10438410B2 (en) * | 2015-12-22 | 2019-10-08 | Intel Corporation | Text enhancements for head-mounted displays |
IL243422B (en) | 2015-12-30 | 2018-04-30 | Elbit Systems Ltd | Information management is displayed according to the directions of the user's gaze |
US9767606B2 (en) * | 2016-01-12 | 2017-09-19 | Lenovo (Singapore) Pte. Ltd. | Automatic modification of augmented reality objects |
JP6969102B2 (ja) * | 2016-02-10 | 2021-11-24 | 株式会社リコー | 画像表示装置及び画像表示方法 |
KR102587841B1 (ko) * | 2016-02-11 | 2023-10-10 | 매직 립, 인코포레이티드 | 깊이 평면들 간의 감소된 스위칭을 갖는 다중-깊이 평면 디스플레이 시스템 |
US10176641B2 (en) * | 2016-03-21 | 2019-01-08 | Microsoft Technology Licensing, Llc | Displaying three-dimensional virtual objects based on field of view |
CN105607264B (zh) * | 2016-03-28 | 2018-08-31 | 联想(北京)有限公司 | 电子设备和显示方法 |
US10134198B2 (en) * | 2016-04-19 | 2018-11-20 | Adobe Systems Incorporated | Image compensation for an occluding direct-view augmented reality system |
EP3454304A4 (en) * | 2016-05-02 | 2019-12-18 | Sony Interactive Entertainment Inc. | IMAGING DEVICE |
CN106203287A (zh) * | 2016-06-28 | 2016-12-07 | 广东欧珀移动通信有限公司 | 一种图像增强现实的处理方法、装置和移动终端 |
CN106127166A (zh) * | 2016-06-28 | 2016-11-16 | 广东欧珀移动通信有限公司 | 一种增强现实ar图像处理方法、装置及智能终端 |
CN106200946A (zh) * | 2016-06-30 | 2016-12-07 | 乐视控股(北京)有限公司 | 一种亮度调节方法及装置 |
CN106101667B (zh) * | 2016-06-30 | 2018-09-04 | 京东方科技集团股份有限公司 | 抬头显示器及抬头显示器显示方法、行驶装置 |
KR102317683B1 (ko) * | 2016-07-28 | 2021-10-26 | 삼성전자주식회사 | 영상을 처리하는 방법, 디바이스 및 기록매체 |
US20180053351A1 (en) * | 2016-08-19 | 2018-02-22 | Intel Corporation | Augmented reality experience enhancement method and apparatus |
JP6694637B2 (ja) * | 2016-08-30 | 2020-05-20 | 株式会社アルファコード | 注目対象物に関する情報提供システムおよび情報提供方法 |
WO2018057987A1 (en) * | 2016-09-23 | 2018-03-29 | Apple Inc. | Augmented reality display |
WO2018082692A1 (en) * | 2016-11-07 | 2018-05-11 | Changchun Ruixinboguan Technology Development Co., Ltd. | Systems and methods for interaction with application |
US20180130444A1 (en) * | 2016-11-07 | 2018-05-10 | Electronics And Telecommunications Research Institute | Information image display apparatus and method |
US11768376B1 (en) * | 2016-11-21 | 2023-09-26 | Apple Inc. | Head-mounted display system with display and adjustable optical components |
CN106598390B (zh) * | 2016-12-12 | 2021-01-15 | 联想(北京)有限公司 | 一种显示方法、电子设备及显示装置 |
CN106888203B (zh) | 2016-12-13 | 2020-03-24 | 阿里巴巴集团控股有限公司 | 基于增强现实的虚拟对象分配方法及装置 |
US20180190019A1 (en) * | 2016-12-29 | 2018-07-05 | Daqri, Llc | Augmented reality user interface visibility |
US10373342B1 (en) | 2017-01-10 | 2019-08-06 | Lucasfilm Entertainment Company Ltd. | Content generation in an immersive environment |
US10235788B2 (en) * | 2017-01-17 | 2019-03-19 | Opentv, Inc. | Overlay contrast control in augmented reality displays |
US10152815B2 (en) * | 2017-01-17 | 2018-12-11 | Opentv, Inc. | Overlay emphasis modification in augmented reality displays |
US10146300B2 (en) | 2017-01-25 | 2018-12-04 | Lenovo Enterprise Solutions (Singapore) Pte. Ltd. | Emitting a visual indicator from the position of an object in a simulated reality emulation |
WO2018148076A1 (en) * | 2017-02-10 | 2018-08-16 | Pcms Holdings, Inc. | System and method for automated positioning of augmented reality content |
US20180255285A1 (en) * | 2017-03-06 | 2018-09-06 | Universal City Studios Llc | Systems and methods for layered virtual features in an amusement park environment |
WO2018209515A1 (zh) * | 2017-05-15 | 2018-11-22 | 上海联影医疗科技有限公司 | 显示系统及方法 |
WO2018217470A1 (en) * | 2017-05-23 | 2018-11-29 | Pcms Holdings, Inc. | System and method for prioritizing ar information based on persistence of real-life objects in the user's view |
KR102355391B1 (ko) * | 2017-06-02 | 2022-01-24 | 애플 인크. | 가상 기재로서 사용하기 위한 평면 및/또는 쿼드트리들을 검출하기 위한 방법 및 디바이스 |
US10304251B2 (en) | 2017-06-15 | 2019-05-28 | Microsoft Technology Licensing, Llc | Virtually representing spaces and objects while maintaining physical properties |
JP6888435B2 (ja) * | 2017-06-16 | 2021-06-16 | コニカミノルタ株式会社 | 印刷システム、表示装置、表示装置の制御方法及びプログラム |
FR3067842B1 (fr) * | 2017-06-19 | 2020-09-25 | SOCIéTé BIC | Procede d'application de texture en realite augmentee, systeme et kits correspondants |
JP6376251B2 (ja) * | 2017-06-21 | 2018-08-22 | キヤノンマーケティングジャパン株式会社 | 情報処理装置、情報処理システム、その制御方法及びプログラム |
JP6717268B2 (ja) * | 2017-07-12 | 2020-07-01 | 京セラドキュメントソリューションズ株式会社 | 情報処理装置及び情報処理プログラム |
US10943399B2 (en) | 2017-08-28 | 2021-03-09 | Microsoft Technology Licensing, Llc | Systems and methods of physics layer prioritization in virtual environments |
DK180470B1 (en) | 2017-08-31 | 2021-05-06 | Apple Inc | Systems, procedures, and graphical user interfaces for interacting with augmented and virtual reality environments |
US10742944B1 (en) | 2017-09-27 | 2020-08-11 | University Of Miami | Vision defect determination for facilitating modifications for vision defects related to double vision or dynamic aberrations |
US10531795B1 (en) | 2017-09-27 | 2020-01-14 | University Of Miami | Vision defect determination via a dynamic eye-characteristic-based fixation point |
US10409071B2 (en) | 2017-09-27 | 2019-09-10 | University Of Miami | Visual enhancement for dynamic vision defects |
EP3687465B1 (en) | 2017-09-27 | 2024-05-29 | University of Miami | Digital therapeutic corrective spectacles |
US10389989B2 (en) | 2017-09-27 | 2019-08-20 | University Of Miami | Vision defect determination and enhancement using a prediction model |
US10922878B2 (en) * | 2017-10-04 | 2021-02-16 | Google Llc | Lighting for inserted content |
US20190132375A1 (en) * | 2017-11-01 | 2019-05-02 | Tsunami VR, Inc. | Systems and methods for transmitting files associated with a virtual object to a user device based on different conditions |
US10580144B2 (en) | 2017-11-29 | 2020-03-03 | International Business Machines Corporation | Method and system for tracking holographic object |
DE102017221488A1 (de) * | 2017-11-30 | 2019-06-06 | Volkswagen Aktiengesellschaft | Verfahren zur Anzeige des Verlaufs einer Trajektorie vor einem Fahrzeug oder einem Objekt mit einer Anzeigeeinheit, Vorrichtung zur Durchführung des Verfahrens sowie Kraftfahrzeug und Computerprogramm |
US10002442B1 (en) * | 2017-12-21 | 2018-06-19 | Capital One Services, Llc | Placement of augmented reality objects using a guide marker |
JP6529571B1 (ja) * | 2017-12-26 | 2019-06-12 | 株式会社コロプラ | 仮想空間を提供するためにコンピュータで実行されるプログラム、方法、およびプログラムを実行するための情報処理装置 |
EP4266259A3 (en) * | 2017-12-29 | 2024-01-17 | InterDigital VC Holdings, Inc. | Method and system for maintaining color calibration using common objects |
CN108108023B (zh) * | 2018-01-02 | 2021-02-19 | 联想(北京)有限公司 | 一种显示方法和显示系统 |
US11120612B2 (en) | 2018-01-22 | 2021-09-14 | Apple Inc. | Method and device for tailoring a synthesized reality experience to a physical setting |
DK201870349A1 (en) | 2018-01-24 | 2019-10-23 | Apple Inc. | Devices, Methods, and Graphical User Interfaces for System-Wide Behavior for 3D Models |
JP7279646B2 (ja) * | 2018-02-07 | 2023-05-23 | ソニーグループ株式会社 | 情報処理装置、情報処理方法及びプログラム |
CN110149458A (zh) * | 2018-02-13 | 2019-08-20 | 中兴通讯股份有限公司 | 增强现实视觉元素显示的方法和装置 |
US10735649B2 (en) | 2018-02-22 | 2020-08-04 | Magic Leap, Inc. | Virtual and augmented reality systems and methods using display system control information embedded in image data |
KR102579034B1 (ko) * | 2018-02-23 | 2023-09-15 | 삼성전자주식회사 | 영상 출력 모듈의 아래에 영상이 출력되는 방향에 대해 지정된 각도로 배치된 반 투명 부재를 포함하는 전자 장치 |
CN108510597A (zh) * | 2018-03-09 | 2018-09-07 | 北京小米移动软件有限公司 | 虚拟场景的编辑方法、装置及非临时性计算机可读存储介质 |
US10580215B2 (en) * | 2018-03-29 | 2020-03-03 | Rovi Guides, Inc. | Systems and methods for displaying supplemental content for print media using augmented reality |
US11262903B2 (en) * | 2018-03-30 | 2022-03-01 | Data Alliance Co., Ltd. | IoT device control system and method using virtual reality and augmented reality |
JP2021103341A (ja) * | 2018-03-30 | 2021-07-15 | ソニーグループ株式会社 | 情報処理装置、情報処理方法、および、プログラム |
US11182964B2 (en) | 2018-04-30 | 2021-11-23 | Apple Inc. | Tangibility visualization of virtual objects within a computer-generated reality environment |
US10491890B1 (en) * | 2018-05-14 | 2019-11-26 | Dell Products L.P. | Systems and methods for automatic adjustment for vertical and rotational imbalance in augmented and virtual reality head-mounted displays |
WO2019236568A1 (en) * | 2018-06-05 | 2019-12-12 | Magic Leap, Inc. | Matching content to a spatial 3d environment |
US10600246B2 (en) * | 2018-06-15 | 2020-03-24 | Microsoft Technology Licensing, Llc | Pinning virtual reality passthrough regions to real-world locations |
CN113238651A (zh) | 2018-07-02 | 2021-08-10 | 苹果公司 | 用于显示系统的基于聚焦的调试和检查 |
US10643398B2 (en) | 2018-07-23 | 2020-05-05 | Microsoft Technology Licensing, Llc | Depth ray layer for reduced visual noise |
EP3599539B1 (en) | 2018-07-26 | 2023-08-23 | Nokia Technologies Oy | Rendering objects in virtual views |
GB2576213A (en) * | 2018-08-10 | 2020-02-12 | Sony Corp | A method for mapping an object to a location in virtual space |
CN109189214A (zh) * | 2018-08-15 | 2019-01-11 | 苏州梦想人软件科技有限公司 | 基于移动设备的增强现实交互系统、设备和方法 |
KR20200021670A (ko) | 2018-08-21 | 2020-03-02 | 삼성전자주식회사 | 웨어러블 장치 및 그 제어 방법 |
US10719127B1 (en) * | 2018-08-29 | 2020-07-21 | Rockwell Collins, Inc. | Extended life display by utilizing eye tracking |
US11170565B2 (en) | 2018-08-31 | 2021-11-09 | Magic Leap, Inc. | Spatially-resolved dynamic dimming for augmented reality device |
EP3621086A1 (en) * | 2018-09-06 | 2020-03-11 | Koninklijke Philips N.V. | Augmented reality user guidance during examinations or interventional procedures |
CN112740144B (zh) * | 2018-09-28 | 2024-03-12 | 苹果公司 | 在增强型现实布景中转移虚拟对象 |
JP7180253B2 (ja) * | 2018-09-28 | 2022-11-30 | 大日本印刷株式会社 | 透過型表示装置、情報処理方法及びプログラム |
US11403810B2 (en) * | 2018-11-02 | 2022-08-02 | Facebook Technologies, Llc. | Display engine for post-rendering processing |
KR20210106990A (ko) | 2018-11-30 | 2021-08-31 | 피씨엠에스 홀딩스, 인크. | 피부 반사율 데이터베이스에 기초하여 장면 발광체를 추정하는 방법 및 장치 |
CN109597492B (zh) * | 2018-12-05 | 2022-03-04 | 谷东科技有限公司 | 激光虚拟键盘与ar眼镜交互系统 |
CN109683707A (zh) * | 2018-12-13 | 2019-04-26 | 谷东科技有限公司 | 一种使ar眼镜投影颜色自适应的方法及系统 |
US10802281B2 (en) | 2018-12-20 | 2020-10-13 | General Electric Company | Periodic lenses systems for augmented reality |
US10911381B2 (en) * | 2018-12-27 | 2021-02-02 | Verizon Media Inc. | Presenting and sharing augmented reality objects |
WO2020146760A1 (en) | 2019-01-11 | 2020-07-16 | Magic Leap, Inc. | Time-multiplexed display of virtual content at various depths |
CN113412479A (zh) | 2019-02-06 | 2021-09-17 | 麦克赛尔株式会社 | 混合现实显示装置和混合现实显示方法 |
KR20200098034A (ko) * | 2019-02-11 | 2020-08-20 | 삼성전자주식회사 | 가상 현실 유저 인터페이스를 제공하기 위한 전자 장치 및 그의 동작 방법 |
GB2584596B (en) * | 2019-03-22 | 2023-08-02 | Eaton Intelligent Power Ltd | Battery powered wearables |
JP7281132B2 (ja) * | 2019-05-07 | 2023-05-25 | 株式会社デンソー | 表示装置、視認性評価方法、及び視対象の大きさ決定方法 |
US11727321B2 (en) | 2019-05-22 | 2023-08-15 | InterDigital VC Holdings Inc. | Method for rendering of augmented reality content in combination with external display |
CN110266939B (zh) * | 2019-05-27 | 2022-04-22 | 联想(上海)信息技术有限公司 | 显示方法及电子设备、存储介质 |
JP2019197564A (ja) * | 2019-07-03 | 2019-11-14 | 株式会社東芝 | ウェアラブル端末、システム及び方法 |
CN110349271B (zh) * | 2019-07-11 | 2023-10-20 | Oppo广东移动通信有限公司 | 透镜颜色调节方法、装置、存储介质及增强现实设备 |
JP7292144B2 (ja) * | 2019-08-06 | 2023-06-16 | 株式会社日立製作所 | 表示制御装置、透過型表示装置 |
JP7387756B2 (ja) * | 2019-09-27 | 2023-11-28 | アップル インコーポレイテッド | 追加のディスプレイを有するデバイスの管理 |
US11568242B2 (en) | 2019-12-05 | 2023-01-31 | International Business Machines Corporation | Optimization framework for real-time rendering of media using machine learning techniques |
KR20210083574A (ko) * | 2019-12-27 | 2021-07-07 | (주) 아키드로우 | 가상 공간 인테리어를 이용한 인터페이스 제공 방법 및 그 장치 |
CN115335869A (zh) * | 2020-03-23 | 2022-11-11 | 麦克赛尔株式会社 | 头戴式显示器和图像显示系统 |
US11423621B1 (en) * | 2020-05-21 | 2022-08-23 | Facebook Technologies, Llc. | Adaptive rendering in artificial reality environments |
CN111651043B (zh) * | 2020-05-29 | 2021-10-12 | 北京航空航天大学 | 一种支持定制化多通道交互的增强现实系统 |
CN115989474A (zh) * | 2020-06-22 | 2023-04-18 | 苹果公司 | 显示虚拟显示器 |
KR20220008118A (ko) | 2020-07-13 | 2022-01-20 | 삼성전자주식회사 | 가상 객체들의 밝기를 다르게 표시하는 방법 및 장치 |
JP7096295B2 (ja) | 2020-07-27 | 2022-07-05 | ソフトバンク株式会社 | 表示制御システム、プログラム、及び表示制御方法 |
CN112348888B (zh) * | 2020-09-09 | 2023-06-20 | 北京市商汤科技开发有限公司 | 显示设备的定位方法、装置、显示设备及计算机存储介质 |
CN112150318A (zh) * | 2020-09-23 | 2020-12-29 | 北京市商汤科技开发有限公司 | 增强现实信息交互方法、装置、电子设备和存储介质 |
US11454816B1 (en) * | 2020-12-07 | 2022-09-27 | Snap Inc. | Segmented illumination display |
JP2024506630A (ja) | 2021-02-08 | 2024-02-14 | サイトフル コンピューターズ リミテッド | 生産性のためのエクステンデッド・リアリティ |
EP4295314A1 (en) | 2021-02-08 | 2023-12-27 | Sightful Computers Ltd | Content sharing in extended reality |
WO2023009580A2 (en) | 2021-07-28 | 2023-02-02 | Multinarity Ltd | Using an extended reality appliance for productivity |
US11808945B2 (en) * | 2021-09-07 | 2023-11-07 | Meta Platforms Technologies, Llc | Eye data and operation of head mounted device |
US12055835B2 (en) * | 2021-09-24 | 2024-08-06 | Arm Limited | Apparatus and method of focusing light |
WO2023080443A1 (ko) * | 2021-11-06 | 2023-05-11 | 삼성전자 주식회사 | 멀티미디어 콘텐트를 표시하기 위한 웨어러블 장치, 방법, 및 비일시적 컴퓨터 판독가능 저장 매체 |
US20230334795A1 (en) | 2022-01-25 | 2023-10-19 | Multinarity Ltd | Dual mode presentation of user interface elements |
US11948263B1 (en) | 2023-03-14 | 2024-04-02 | Sightful Computers Ltd | Recording the complete physical and extended reality environments of a user |
CN114546227B (zh) * | 2022-02-18 | 2023-04-07 | 北京达佳互联信息技术有限公司 | 虚拟镜头控制方法、装置、计算机设备及介质 |
US20230418062A1 (en) * | 2022-06-23 | 2023-12-28 | Snap Inc. | Color calibration tool for see-through augmented reality environment |
WO2024029858A1 (ko) * | 2022-08-04 | 2024-02-08 | 삼성전자주식회사 | 디스플레이 모듈 제어 방법 및 상기 방법을 수행하는 전자 장치 |
WO2024043681A1 (ko) * | 2022-08-26 | 2024-02-29 | 삼성전자주식회사 | 전자 장치의 화면을 확장 현실 환경으로 변환하는 머리 착용형 전자 장치 및 그와 연결된 전자 장치 |
CN116069159A (zh) * | 2022-09-14 | 2023-05-05 | 领悦数字信息技术有限公司 | 用于显示虚拟形象的方法、装置及介质 |
US20240193870A1 (en) * | 2022-12-13 | 2024-06-13 | Snap Inc. | Content creation platform for xr devices |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6771294B1 (en) * | 1999-12-29 | 2004-08-03 | Petri Pulli | User interface |
CN102200881A (zh) * | 2010-03-24 | 2011-09-28 | 索尼公司 | 图像处理装置、图像处理方法以及程序 |
CN102467343A (zh) * | 2010-11-03 | 2012-05-23 | Lg电子株式会社 | 移动终端以及控制移动终端的方法 |
CN102473324A (zh) * | 2009-08-18 | 2012-05-23 | Metaio有限公司 | 用于在真实环境中表示虚拟信息的方法 |
Family Cites Families (38)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0980378A (ja) * | 1995-09-19 | 1997-03-28 | Canon Inc | 液晶表示装置 |
JP2001159880A (ja) * | 1999-12-01 | 2001-06-12 | Toshiba Corp | 情報処理装置 |
US20020044152A1 (en) * | 2000-10-16 | 2002-04-18 | Abbott Kenneth H. | Dynamic integration of computer generated and real world images |
JP3406965B2 (ja) * | 2000-11-24 | 2003-05-19 | キヤノン株式会社 | 複合現実感提示装置及びその制御方法 |
WO2002093491A1 (en) | 2001-05-17 | 2002-11-21 | The Trustees Of Columbia University In The City Of New York | System and method for view management in three dimensional space |
SE0102584D0 (sv) * | 2001-07-23 | 2001-07-23 | Ck Man Ab | Sätt och anordning för bildpresentation |
JP3969252B2 (ja) * | 2002-08-27 | 2007-09-05 | 日本電気株式会社 | 立体画像平面画像切換表示装置及び携帯端末装置 |
CN1156797C (zh) * | 2002-10-23 | 2004-07-07 | 北京航空航天大学 | 在虚拟环境多因素影响下生成逼真光照效果的方法 |
US7505034B2 (en) | 2003-06-17 | 2009-03-17 | Intel Corporation | Method and apparatus for reducing display power consumption by controlling pixel color |
EP1667470A4 (en) * | 2003-09-09 | 2006-10-25 | Seiko Epson Corp | DEVICE AND METHOD FOR PROCESSING IMAGES |
CN100527196C (zh) * | 2003-12-22 | 2009-08-12 | 摩托罗拉公司 | 双模显示器 |
US7707039B2 (en) | 2004-02-15 | 2010-04-27 | Exbiblio B.V. | Automatic modification of web pages |
JP2005300943A (ja) * | 2004-04-13 | 2005-10-27 | Canon Inc | 情報表示位置制御方法及び装置 |
JP2006018444A (ja) * | 2004-06-30 | 2006-01-19 | Taisei Corp | 画像処理システム及び付加情報指示装置 |
JP2006259917A (ja) * | 2005-03-15 | 2006-09-28 | Fuji Xerox Co Ltd | 文書処理装置、文書処理プログラム、及び文書処理方法 |
JP2007101618A (ja) * | 2005-09-30 | 2007-04-19 | Konica Minolta Photo Imaging Inc | 表示装置 |
JP2007207184A (ja) * | 2006-02-06 | 2007-08-16 | Konica Minolta Business Technologies Inc | 画像処理装置、画像処理方法、プログラム及び記録媒体 |
JP5041831B2 (ja) * | 2007-03-13 | 2012-10-03 | シャープ株式会社 | 液晶表示装置 |
US7917773B2 (en) | 2007-05-02 | 2011-03-29 | Microsoft Corporation | Visibility-aware services |
JP2009063757A (ja) * | 2007-09-05 | 2009-03-26 | Calsonic Kansei Corp | ヘッドアップディスプレイ |
US9626685B2 (en) * | 2008-01-04 | 2017-04-18 | Excalibur Ip, Llc | Systems and methods of mapping attention |
JP2009192583A (ja) * | 2008-02-12 | 2009-08-27 | Konica Minolta Holdings Inc | 頭部装着式映像表示装置 |
US8990705B2 (en) * | 2008-07-01 | 2015-03-24 | International Business Machines Corporation | Color modifications of objects in a virtual universe based on user display settings |
US20110254855A1 (en) * | 2008-12-19 | 2011-10-20 | Bae Systems Plc | Display system |
WO2011052331A1 (ja) * | 2009-10-30 | 2011-05-05 | シャープ株式会社 | 表示装置 |
JP2011203823A (ja) | 2010-03-24 | 2011-10-13 | Sony Corp | 画像処理装置、画像処理方法及びプログラム |
KR20110136035A (ko) * | 2010-06-14 | 2011-12-21 | 주식회사 비즈모델라인 | 실제현실 적응형 증강현실 장치 |
US8665286B2 (en) * | 2010-08-12 | 2014-03-04 | Telefonaktiebolaget Lm Ericsson (Publ) | Composition of digital images for perceptibility thereof |
US8576276B2 (en) * | 2010-11-18 | 2013-11-05 | Microsoft Corporation | Head-mounted display device which provides surround video |
US9213405B2 (en) | 2010-12-16 | 2015-12-15 | Microsoft Technology Licensing, Llc | Comprehension and intent-based content for augmented reality displays |
JP5678710B2 (ja) * | 2011-02-14 | 2015-03-04 | ソニー株式会社 | 画像処理装置、および画像処理方法、並びにプログラム |
WO2012118573A1 (en) | 2011-02-28 | 2012-09-07 | Osterhout Group, Inc. | Light control in head mounted displays |
JP5834439B2 (ja) * | 2011-03-24 | 2015-12-24 | セイコーエプソン株式会社 | 頭部装着型表示装置および頭部装着型表示装置の制御方法 |
US20120327116A1 (en) * | 2011-06-23 | 2012-12-27 | Microsoft Corporation | Total field of view classification for head-mounted display |
US8970571B1 (en) | 2012-03-13 | 2015-03-03 | Google Inc. | Apparatus and method for display lighting adjustment |
US20130241805A1 (en) * | 2012-03-15 | 2013-09-19 | Google Inc. | Using Convergence Angle to Select Among Different UI Elements |
US8957916B1 (en) * | 2012-03-23 | 2015-02-17 | Google Inc. | Display method |
US9619911B2 (en) | 2012-11-13 | 2017-04-11 | Qualcomm Incorporated | Modifying virtual object display properties |
-
2013
- 2013-02-01 US US13/757,194 patent/US9619911B2/en active Active
- 2013-02-01 US US13/757,175 patent/US9448404B2/en active Active
- 2013-10-21 JP JP2015541788A patent/JP6312690B2/ja not_active Expired - Fee Related
- 2013-10-21 CN CN201380058700.XA patent/CN104798109B/zh active Active
- 2013-10-21 KR KR1020157015486A patent/KR20150084980A/ko not_active Application Discontinuation
- 2013-10-21 WO PCT/US2013/065993 patent/WO2014078018A2/en active Application Filing
- 2013-10-21 EP EP13789412.7A patent/EP2920766B1/en active Active
- 2013-10-23 JP JP2015541794A patent/JP6614975B2/ja active Active
- 2013-10-23 CN CN201811156512.1A patent/CN109615704B/zh active Active
- 2013-10-23 CN CN201380058705.2A patent/CN104781853B/zh active Active
- 2013-10-23 WO PCT/US2013/066458 patent/WO2014078037A2/en active Application Filing
- 2013-10-23 EP EP13789109.9A patent/EP2920765B1/en active Active
- 2013-10-23 KR KR1020157015171A patent/KR102159753B1/ko active IP Right Grant
-
2016
- 2016-09-09 US US15/260,633 patent/US9727996B2/en active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6771294B1 (en) * | 1999-12-29 | 2004-08-03 | Petri Pulli | User interface |
CN102473324A (zh) * | 2009-08-18 | 2012-05-23 | Metaio有限公司 | 用于在真实环境中表示虚拟信息的方法 |
CN102200881A (zh) * | 2010-03-24 | 2011-09-28 | 索尼公司 | 图像处理装置、图像处理方法以及程序 |
CN102467343A (zh) * | 2010-11-03 | 2012-05-23 | Lg电子株式会社 | 移动终端以及控制移动终端的方法 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11856323B2 (en) * | 2015-06-05 | 2023-12-26 | Maxell, Ltd. | Video display device and control method |
Also Published As
Publication number | Publication date |
---|---|
US9448404B2 (en) | 2016-09-20 |
CN109615704A (zh) | 2019-04-12 |
JP6614975B2 (ja) | 2019-12-04 |
WO2014078037A3 (en) | 2015-02-19 |
US20140132629A1 (en) | 2014-05-15 |
CN104781853A (zh) | 2015-07-15 |
CN104798109A (zh) | 2015-07-22 |
CN109615704B (zh) | 2023-05-12 |
KR102159753B1 (ko) | 2020-09-24 |
JP2016504615A (ja) | 2016-02-12 |
EP2920765B1 (en) | 2016-12-14 |
JP6312690B2 (ja) | 2018-04-18 |
WO2014078037A2 (en) | 2014-05-22 |
US9727996B2 (en) | 2017-08-08 |
KR20150084980A (ko) | 2015-07-22 |
EP2920766A2 (en) | 2015-09-23 |
US20140132484A1 (en) | 2014-05-15 |
US9619911B2 (en) | 2017-04-11 |
JP2016505919A (ja) | 2016-02-25 |
US20160379396A1 (en) | 2016-12-29 |
EP2920765A2 (en) | 2015-09-23 |
WO2014078018A3 (en) | 2015-03-05 |
EP2920766B1 (en) | 2018-07-04 |
KR20150084925A (ko) | 2015-07-22 |
WO2014078018A2 (en) | 2014-05-22 |
CN104781853B (zh) | 2018-10-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104798109B (zh) | 用于在增强现实显示器内组织虚拟对象的方法和设备 | |
CN109076680B (zh) | 控制照明系统 | |
US10019962B2 (en) | Context adaptive user interface for augmented reality display | |
CN109076679B (zh) | 控制照明系统 | |
US11830214B2 (en) | Methods and devices for detecting and identifying features in an AR/VR scene | |
CN107851422A (zh) | 电子设备和电子设备中的显示控制方法 | |
CN105659200A (zh) | 用于显示图形用户界面的方法、设备和系统 | |
CN107077751A (zh) | 隐形眼镜虚拟试戴方法、装置及实施该方法的计算机程序 | |
US11508130B2 (en) | Augmented reality environment enhancement | |
US20140314315A1 (en) | Systems and Methods for Recommending Cosmetic Products for Users with Mobile Devices | |
CN108885497B (zh) | 信息处理装置、信息处理方法和计算机可读介质 | |
CN208013970U (zh) | 一种生物特征识别系统 | |
KR20230079125A (ko) | 컨텍스트-센시티브 원격 안경류 컨트롤러 | |
CN117321537A (zh) | 眼睛佩戴设备动态功率配置 | |
US11789266B1 (en) | Dynamic sensor selection for visual inertial odometry systems | |
CN108513706A (zh) | 电子设备及其面部识别方法 | |
CN111856759B (zh) | 镜片参数调整方法及装置 | |
US12067909B2 (en) | Electronic devices with dynamic brightness ranges for passthrough display content | |
CN112287151A (zh) | 图片显示的处理方法、处理装置、镜面设备及存储介质 | |
CN115017353A (zh) | 一体式衣物管理装置、系统及方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |