CN104641319B - 用于使头戴式显示器的使用对非用户较不明显的方法和系统 - Google Patents

用于使头戴式显示器的使用对非用户较不明显的方法和系统 Download PDF

Info

Publication number
CN104641319B
CN104641319B CN201380047991.2A CN201380047991A CN104641319B CN 104641319 B CN104641319 B CN 104641319B CN 201380047991 A CN201380047991 A CN 201380047991A CN 104641319 B CN104641319 B CN 104641319B
Authority
CN
China
Prior art keywords
virtual objects
personnel
user
superimposed
face
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201380047991.2A
Other languages
English (en)
Other versions
CN104641319A (zh
Inventor
巴巴科·福鲁坦保尔
丹尼尔·S·贝克
德文德尔·A·真川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN104641319A publication Critical patent/CN104641319A/zh
Application granted granted Critical
Publication of CN104641319B publication Critical patent/CN104641319B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Abstract

本发明呈现用于定位由头戴式显示器所显示的虚拟对象的各种布置。可确定现实世界场景内的人员的位置。可将虚拟对象显示给用户使得所述虚拟对象叠加于所述人员的面部上方。

Description

用于使头戴式显示器的使用对非用户较不明显的方法和系统
背景技术
人员可发现其处于如下情形中：其并不希望完全参与其附近中的其它人员的社交，而希望将其注意力焦点于从一些其它源所导出的信息上。举例来说，出席会议的人员可对由说话者所给出的演示不感兴趣，且可替代性地希望将其注意力集中于其电子邮件帐户上。作为另一实例，在面对面会话期间，人员可希望多任务化并审查其社交媒体帐户。通常，为了做到这一点，多任务人员可不明显地尝试观看行动装置(例如，蜂窝电话)的显示屏以访问信息，同时试图给予说话者其正积极地参与倾听演示或参与会话的印象。虽然对行动装置进行此观看已变得随处可见，但在许多情况下多任务者附近中的人员(包含说话者)可将此情况视为粗鲁的。
发明内容
在一些实施例中，呈现一种用于定位由头戴式显示器所显示的虚拟对象的方法。所述方法可包含确定现实世界场景内的人员面部的位置。所述方法可包含经由所述头戴式显示器显示虚拟对象使得所述虚拟对象叠加于所述人员的所述面部上方。
此方法的实施例可包含以下各者中的一或多者：所述虚拟对象的内容可不相关于所述人员。所述方法可包含确定所述人员的身份。所述方法可包含基于所述人员的所述身份从多个虚拟对象之中选择所述虚拟对象。所述方法可包含从用户接收用于多个人员的人员评级集合。所述方法可包含从所述用户接收用于所述多个虚拟对象的虚拟对象评级集合。基于所述人员的所述身份从所述多个虚拟对象之中选择所述虚拟对象可基于所述人员评级集合和所述虚拟对象评级集合。所述方法可包含在显示所述虚拟对象使得所述虚拟对象叠加于所述人员的所述面部上方之后，在阈值时间段之后，将所述虚拟对象重新定位为叠加于第二人员的第二面部上方。所述方法可包含在显示所述虚拟对象使得所述虚拟对象叠加于所述人员的所述面部上方之后，确定用户正向上大于阈值角度注视。所述方法可包含响应于确定所述用户正向上大于所述阈值角度注视，重新定位所述虚拟对象使得所述虚拟对象并不叠加于所述人员的所述面部上方。可由所述头戴式显示器呈现所述虚拟对象使得所述虚拟对象仅可为所述头戴式显示器的用户所见。所述虚拟对象可透明，使得所述人员的所述面部和所述虚拟对象同时可为所述头戴式显示器的用户所见。所述方法可包含确定所述人员的运动量。所述方法可包含在显示所述虚拟对象使得所述虚拟对象叠加于所述人员的所述面部上方之后，归因于所述人员的所述所确定运动量而经由所述头戴式显示器显示所述虚拟对象使得所述虚拟对象叠加于第二人员的所述面部上方。所述方法可包含在显示所述虚拟对象使得所述虚拟对象叠加于所述人员的所述面部上方之前，使用多个人员的每一人员的亮度级别从所述多个人员选择所述人员。
在一些实施例中，一种用于呈现虚拟对象的系统。所述系统可包含图像捕获装置、头戴式显示器、处理器和以通信方式与所述处理器耦合且可由所述处理器读取的存储器。所述存储器中可已存储有处理器可读指令，在由所述处理器执行时所述指令致使所述处理器使用由所述图像捕获装置所捕获的图像确定现实世界场景内的人员的面部位置。所述处理器可读指令可致使所述处理器经由所述头戴式显示器显示虚拟对象使得所述虚拟对象叠加于所述人员的所述面部上方。
此系统的实施例可包含以下各者中的一或多者：所述虚拟对象的内容可不相关于所述人员。所述处理器可读指令可进一步包括在由所述处理器执行时致使所述处理器确定所述人员的身份的处理器可读指令。所述处理器可读指令可致使所述处理器基于所述人员的所述身份从多个虚拟对象之中选择所述虚拟对象。所述处理器可读指令可致使所述处理器从用户接收用于多个人员的人员评级集合。所述处理器可读指令可致使所述处理器从所述用户接收用于所述多个虚拟对象的虚拟对象评级集合。在由所述处理器执行时致使所述处理器基于所述人员的所述身份从所述多个虚拟对象之中选择所述虚拟对象的所述处理器可读指令可进一步包含在由所述处理器执行时致使所述处理器使用所述人员评级集合和所述虚拟对象评级集合以基于所述人员的所述身份从所述多个虚拟对象之中选择所述虚拟对象的处理器可读指令。所述处理器可读指令可进一步包括在由所述处理器执行时致使所述处理器在致使显示所述虚拟对象使得所述虚拟对象叠加于所述人员的所述面部上方之后，在阈值时间段之后将所述虚拟对象重新定位为叠加于第二人员的第二面部上方的处理器可读指令。
另外或替代地，此系统的实施例可包含以下各者中的一或多者：所述处理器可读指令可进一步包括在由所述处理器执行时致使所述处理器在致使显示所述虚拟对象使得所述虚拟对象叠加于所述人员的所述面部上方之后，确定所述头戴式显示器的用户正向上大于阈值角度注视的处理器可读指令。所述处理器可读指令可致使所述处理器响应于确定所述用户正向上大于所述阈值角度注视，致使重新定位所述虚拟对象的显示使得所述虚拟对象并不叠加于所述人员的所述面部上方。可由所述头戴式显示器呈现所述虚拟对象使得所述虚拟对象仅可为所述头戴式显示器的用户所见。所述虚拟对象可透明，使得所述人员的所述面部和所述虚拟对象同时可为所述头戴式显示器的用户所见。所述处理器可读指令可进一步包括在由所述处理器执行时致使所述处理器确定所述人员的运动量的处理器可读指令。所述处理器可读指令可进一步包括在由所述处理器执行时致使所述处理器在致使显示所述虚拟对象使得所述虚拟对象叠加于所述人员的所述面部上方之后，归因于所述人员的所述所确定运动量而致使显示所述虚拟对象使得所述虚拟对象叠加于第二人员的所述面部上方的处理器可读指令。所述处理器可读指令可进一步包括在由所述处理器执行时致使所述处理器在致使显示所述虚拟对象使得所述虚拟对象叠加于所述人员的所述面部上方之前，使用多个人员的每一人员的亮度级别从所述多个人员选择所述人员的处理器可读指令。
在一些实施例中，呈现一种用于定位由头戴式显示器所显示的虚拟对象的驻留于非暂时性处理器可读媒体上的计算机程序产品。所述计算机程序产品可包含经配置以致使处理器确定现实世界场景内的人员的面部位置的处理器可读指令。所述处理器可读指令可致使所述处理器经由所述头戴式显示器显示虚拟对象使得所述虚拟对象叠加于所述人员的所述面部上方。
此计算机程序产品的实施例可包含以下各者中的一或多者：所述虚拟对象的内容可不相关于所述人员。所述处理器可读指令可进一步包括在由所述处理器执行时致使所述处理器确定所述人员的身份的处理器可读指令。所述处理器可读指令可致使所述处理器基于所述人员的所述身份从多个虚拟对象之中选择所述虚拟对象。所述处理器可读指令可致使所述处理器从用户接收用于多个人员的人员评级集合。所述处理器可读指令可致使所述处理器从所述用户接收用于所述多个虚拟对象的虚拟对象评级集合。在由所述处理器执行时致使所述处理器基于所述人员的所述身份从所述多个虚拟对象之中选择所述虚拟对象的所述处理器可读指令可包含在由所述处理器执行时致使所述处理器使用所述人员评级集合和所述虚拟对象评级集合以基于所述人员的所述身份从所述多个虚拟对象之中选择所述虚拟对象的处理器可读指令。所述处理器可读指令可致使所述处理器在致使显示所述虚拟对象使得所述虚拟对象叠加于所述人员的所述面部上方之后，在阈值时间段之后将所述虚拟对象重新定位为叠加于第二人员的第二面部上方。
另外或替代地，此计算机程序产品的实施例可包含以下各者中的一或多者：所述处理器可读指令可致使所述处理器在致使显示所述虚拟对象使得所述虚拟对象叠加于所述人员的所述面部上方之后，确定所述头戴式显示器的用户正向上大于阈值角度注视。所述处理器可读指令可致使所述处理器响应于确定所述用户正向上大于所述阈值角度注视，致使重新定位所述虚拟对象的显示使得所述虚拟对象并不叠加于所述人员的所述面部上方。可由所述头戴式显示器呈现所述虚拟对象使得所述虚拟对象仅可为所述头戴式显示器的用户所见。所述虚拟对象可透明，使得所述人员的所述面部和所述虚拟对象同时可为所述头戴式显示器的用户所见。所述处理器可读指令可致使所述处理器确定所述人员的运动量。所述处理器可读指令可致使所述处理器在致使显示所述虚拟对象使得所述虚拟对象叠加于所述人员的所述面部上方之后，归因于所述人员的所述所确定运动量而致使显示所述虚拟对象使得所述虚拟对象叠加于第二人员的所述面部上方。所述处理器可读指令可致使所述处理器在致使显示所述虚拟对象使得所述虚拟对象叠加于所述人员的所述面部上方之前，使用多个人员的每一人员的亮度级别从所述多个人员选择所述人员。
在一些实施例中，呈现一种用于定位所显示的虚拟对象的设备。所述设备可包含用于确定现实世界场景内的人员的面部位置的装置。所述设备可包含用于显示虚拟对象使得所述虚拟对象叠加于所述人员的所述面部上方的装置。
此设备的实施例可包含以下各者中的一或多者：所述虚拟对象的内容可不相关于所述人员。所述设备可包含用于确定所述人员的身份的装置。所述设备可包含用于基于所述人员的所述身份从多个虚拟对象之中选择所述虚拟对象的装置。所述设备可包含用于从用户接收用于多个人员的人员评级集合的装置。所述设备可包含用于从所述用户接收用于所述多个虚拟对象的虚拟对象评级集合的装置。所述用于基于所述人员的所述身份从所述多个虚拟对象之中选择所述虚拟对象的装置可基于所述人员评级集合和所述虚拟对象评级集合。所述设备可包含用于在阈值时间段之后将所述虚拟对象重新定位为叠加于第二人员的第二面部上方的装置，其中在显示所述虚拟对象使得所述虚拟对象叠加于所述人员的所述面部上方之后进行重新定位。所述设备可包含用于确定用户正向上大于阈值角度注视的装置，其中在显示所述虚拟对象使得所述虚拟对象叠加于所述人员的所述面部上方之后进行确定。所述设备可包含用于重新定位所述虚拟对象使得所述虚拟对象并不叠加于所述人员的所述面部上方的装置，其中响应于确定所述用户正向上大于所述阈值角度注视进行重新定位。可呈现所述虚拟对象使得所述虚拟对象仅可为所述设备的用户所见。所述虚拟对象可透明，使得所述人员的所述面部和所述虚拟对象同时可为所述设备的用户所见。所述设备可包含用于确定所述人员的运动量的装置。所述设备可包含用于归因于所述人员的所述所确定运动量而显示所述虚拟对象使得所述虚拟对象叠加于第二人员的所述面部上方的装置。所述设备可包含用于在显示所述虚拟对象使得所述虚拟对象叠加于所述人员的所述面部上方之前，使用多个人员的每一人员的亮度级别从所述多个人员选择所述人员的装置。
附图说明
图1说明经配置以在场景内存在的人员面部上方叠加由头戴式显示器所显示的虚拟对象的系统的实施例。
图2说明虚拟对象叠加于多个人员面部上方的第一人称视角场景的实施例。
图3说明虚拟对象评级和人员评级的实施例。
图4说明虚拟对象基于用户注视方向所重新布置的第一人称视角场景的实施例。
图5说明虚拟对象的文字横跨注视用户的人员的眼睛滚动的第一人称视角场景的实施例。
图6说明用于叠加由头戴式显示器所显示的虚拟对象的方法的实施例。
图7说明用于在说话人员的面部上方叠加由头戴式显示器所显示的虚拟对象的方法的实施例。
图8说明用于基于已观看虚拟对象的时间量调整在人员面部上方叠加由头戴式显示器所显示的虚拟对象的方法的实施例。
图9说明用于基于用户注视位置调整在正说话人员面部上方叠加由头戴式显示器所显示的虚拟对象的方法的实施例。
图10说明计算机系统的实施例。
具体实施方式
可为扩增实境(AR)装置(例如，扩增实境眼镜)的部分的头戴式显示器(HMD)可用于在由用户观看的场景上方叠加信息。佩戴HMD且使用AR装置的用户可观看含有现实世界对象(例如，其它人员和物理对象)的场景。AR装置可捕获关于场景的信息并至少部分基于场景内的现实世界对象将信息作为叠加于场景上的虚拟对象呈现给用户。可以某种方式呈现虚拟对象使得仅用户可观看虚拟对象，实质上可防止其它人员看到如由HMD所呈现的虚拟对象。因此，在使用AR装置时，用户可观看叠加有仅用于由用户观看的一或多个虚拟对象的现实世界场景。与这些一或多个虚拟对象互动可涉及用户移动和/或聚焦其眼睛以阅读或以其它方式观看虚拟对象。
基于用户眼睛、头部、手和/或其它身体移动，用户与由AR装置的HMD叠加于场景上的虚拟对象互动可通常对用户附近中的其它人员明显。举例来说，若用户看起来注视场景的乏味部分(例如，天花板、地板或空的椅子)，则靠近用户的那些人可明显了解用户正将其注意力集中于由HMD呈现给用户的虚拟对象上，且因此，用户并未将其注意力集中于预期社交内容(例如，现实世界场景中正说话的人员)。
当用户正在社会环境中使用AR装置时，用户可希望看起来正与附近的其它人员互动(例如，倾听、注视)。在用户希望看起来与一或多个其它人员互动时，用户可正将其注意力中的至少一些集中于经由AR装置的HMD呈现给用户的一或多个虚拟对象上。在常规布置中，若一或多个其它人员正观察用户，则当用户将其注意力集中于虚拟对象上而非现实世界场景中的人员时，基于用户的眼睛和/或面部运动此情况可为明显的。举例来说，在用户将其注意力集中于虚拟对象上时，用户可看起来间歇性地向上、向下、向左和向右凝视且至少偶尔朝较不感兴趣的现实世界对象(例如，空白墙面或地板)的方向。另外，用户的眼睛移动(例如，快速来回移动)可向其它人员显露用户很可能正阅读虚拟对象的文字或以其它方式与虚拟对象互动。
用户可希望看起来参与场景中的一或多个其它人员的社交而非用户表面上看起来正与虚拟对象互动。为使用户看起来参与房间中的其它人员的社交，用户与场景中的一或多个其它人员之间的眼神接触(或至少出现眼神接触)可为有益的，使得用户可至少看起来正注视房间中的一或多个人员(例如，当前正说话的人员)。为得到这种外观，可将由AR装置的HMD显示给用户的虚拟对象叠加于场景中的人员的面部(和/或头部)上方，使得当用户正注视叠加于面部上方的虚拟对象时，不论用户的注意力是否完全或部分集中于虚拟对象上，用户看起来正参与房间中的其它人员的社交。
人员和虚拟对象可经指派有评级。举例来说，可由用户根据用户倾向于与其互动的频繁程度或用户感觉与其互动的舒适程度评级人员。作为一实例，用户的妻子可评级为最高，用户的儿子可评级为第二，而用户工作中的老板可评级为较低。对于由HMD显示给用户的虚拟对象，用户可(例如)将其电子邮件帐户评级为最高并将其社交媒体页面评级为第二。这些人员和虚拟对象评级可用于确定谁的面部叠加有哪个虚拟对象。举例来说，最高评级虚拟对象可呈现为叠加于场景中的最高评级人员的面部上方。
参看先前实例，若用户仅与其儿子处于房间中，则儿子的面部可叠加有用户的电子邮件帐户，这是因为电子邮件帐户已给定有最高评级且儿子为场景中存在的最高评级人员。然而，若多个人员(例如，用户的妻子和用户的儿子)处于由用户观察的场景中，则妻子的面部可叠加有用户的电子邮件帐户且儿子的面部可叠加有用户的社交媒体帐户。若妻子或儿子正说话或注视用户，则在用户正至少部分将其注意力贯注于由扩增实境装置叠加于人员面部上的虚拟对象上时，用户可看起来正注视并参与妻子或儿子的社交。
可存在影响虚拟对象和人员的评级使用以确定虚拟对象叠加于哪个人员面部上方的某些条件。举例来说，最高评级虚拟对象可叠加于正说话的人员面部上方。因而，若用户将其注意力集中于正说话的任何人(典型会话期间预期可发生改变)，则用户可继续注视特定虚拟对象。叠加于场景中存在的其它面部上方的虚拟对象可经重新指派以供应叠加于正说话人员的面部上方的最高优先级虚拟对象。
虚拟对象可叠加于人员面部上方，使得虚拟对象看起来离用户类似于现实世界场景中的面部的距离。随着人员移动，与人员相关联的虚拟对象可随着人员移动。虚拟对象可仅部分锚定于人员的面部，使得人员的面部或头部的较小或突然移动并不导致虚拟对象发生移动(因此(例如)使虚拟对象的文字易于阅读)。另外，只要用户的头部或眼睛与地平线在阈值角度范围内对准，则虚拟对象可仅保持锚定于人员的面部。若用户明显向上或向下注视，则虚拟对象可变得从人员面部脱锚且可替代性地看起来浮动于空间中。
在处于具有其它人类的场景中时，典型人员可倾向于历时相对较短时间周期直视人员(其可或可未说话)。因此，为减少佩戴HMD的用户看起来历时较长时间段令人不快地凝视人员的可能性，虚拟对象可在场景的虚拟视野内发生位置偏移。举例来说，虚拟对象可在叠加于各种人员面部上方时发生偏移。在一些实施例中，虚拟对象可叠加于场景中正说话的任何人员的面部或头部上方。因而，若用户在虚拟对象移动时继续注视虚拟对象，则用户看起来参与正说话人员的社交。在一些实施例中，若其面部或头部覆盖有虚拟对象的人员在现实世界场景内移动或离开现实世界场景，则与人员相关联的虚拟对象可重定位至现实世界场景中的下一最接近人员。
在一些实施例中，叠加于人员面部上方的虚拟对象可促进用户与人员之间的互动。举例来说，若用户听觉受损，则虚拟对象可含有表示人员已说出内容的文字。因而，用户可在阅读人员已表示内容时至少看起来与人员维持眼神接触。在一些实施例中，类似文字可用于将人员的外语演讲翻译成用户的本土语言。为进一步促进用户至少看起来与说话者维持眼神接触的能力，此所显示文字可滚动于人员面部(且更确切地说为人员的眼睛)上方，使得可由用户在至少看起来直视说话者的眼睛时阅读演讲。
图1说明经配置以将由AR装置的HMD所显示的虚拟对象叠加于场景内存在的人员面部上方的系统100的实施例。因而，系统100可表示AR装置的组件中的至少一些。系统100可包含图像捕获模块110、面部识别和跟踪模块120、面部叠加模块130、通信模块140、用户偏好模块150、用户接口模块160和显示模块170。系统100的其它实施例可包含较小或较大数目的组件。为简单起见，已从图1省略常用已知组件(例如，电力供应组件)。
图像捕获模块110可经配置以周期性地捕获正由用户观看的场景的图像。举例来说，图像捕获模块110可包含经定位以捕获正由用户观看的场景的视野的图像捕获装置。图像捕获模块110可包含相机。相机可为指向式的，使得其捕获由用户观看的场景的图像。图像捕获模块110可快速地捕获图像。举例来说，可由图像捕获模块110每秒捕获多个帧。这些图像中的一些或所有可经处理以确定现实世界场景内的各种对象(例如，人员和其身份)的位置。
由图像捕获模块110所捕获的图像可传递到面部识别和跟踪模块120。面部识别和跟踪模块120可首先定位从图像捕获模块110所接收的图像内存在的每一面部。面部识别和跟踪模块120可接着确定面部是否对应于先前所识别面部。面部识别和跟踪模块120可访问用户已先前互动人员(例如，家族成员、合作者和/或邻居)的身份数据库125。身份数据库125可含有足以识别人员的信息(例如，人员面部的图像)。可基于用户输入将人员添加到身份数据库125。在一些实施例中，身份数据库125是远程访问的且其含有使用多个AR装置所捕获人员的身份。因而，身份数据库125可含有关于多于仅由系统100的用户已知人员的身份信息。
一旦已定位面部且可能已识别出面部，则可将面部位置和与面部相关联的人员的身份传递到面部叠加模块130。若未识别出与面部相关联的人员的身份，则可将面部与未知人员相关联的指示传递到面部叠加模块130。
面部叠加模块130可从面部识别和跟踪模块120接收与面部(和/或头部)相关联的位置和身份。面部叠加模块130可确定面部是否应叠加有虚拟对象。举例来说，基于从用户所接收的输入，面部叠加模块130可并不将虚拟对象叠加于任何面部上。(即，用户可具有开启和关闭将虚拟对象叠加于面部上的能力。)面部叠加模块130可确定哪个虚拟对象应叠加于面部上方。可基于与面部相关联的人员的身份、与面部相关联的人员是否正说话、用户是否正注视人员、用户是否正与人员说话和/或由用户定义的用户偏好的集合，确定哪个虚拟对象应叠加于面部上方。
运动/焦点跟踪模块135可用于确定用户头部的角度和/或用户眼睛聚焦的方向。为跟踪用户头部的角度，可使用加速计或陀螺仪。在一些实施例中，取决于用户头部的角度，叠加于人员面部上的虚拟对象可从面部脱锚以用于显示。若用户并不关心附近的其它人员是否知道用户正将其注意力贯注于虚拟对象，则这种情况可为有用的。替代性地，用户可在实际上将其注意力贯注于虚拟对象上时向上注视如同陷入沉思一般。
运动/焦点跟踪模块135可包含可用于确定用户眼睛的焦点贯注于何处的相机或其它形式的眼睛追踪装置。用户眼睛的聚焦方向而非需要处于特定角度的用户头部可确定叠加于人员面部上的虚拟对象是否可脱锚以用于显示。因而，若用户的观看角度(可由用户头部的角度和/或用户眼睛的聚焦方向确定)从地平线超出阈值角度，则叠加于人员面部上的虚拟对象可脱锚以用于显示且可以替代性格式呈现(例如，布置为水平序列)。
用户偏好模块150可为经配置以存储虚拟对象的评级和/或人员的评级(例如，关于图3所描述)的计算机可读存储媒体。基于这些评级，可确定哪些虚拟对象叠加于哪些面部上方。对于人员评级，用户可基于用户与人员的舒适程度评级先前已捕获其图像的人员。举例来说，当存在用户感到不适的人员(例如，用户的老板)时，用户可不希望将虚拟对象叠加于人员面部上方。对于用户感到舒适的人员(例如，用户的女儿)，用户可希望叠加虚拟对象。先前已由图像捕获模块110捕获其图像的人员可评级或以其它方式指派有舒适程度。
亦可评级虚拟对象。此等评级可由用户偏好模块150存储。用户可基于希望由用户观看虚拟的频繁程度为虚拟对象指派评级。举例来说，用户可将其电子邮件帐户指派为最高评级，接着为股票代码、社交媒体页面、新闻网页等。因此，当人员存在于场景内时，最高评级虚拟对象可叠加于人员的面部上方。
虚拟对象的评级可用于与人员评级组合以确定虚拟对象是否应叠加于人员面部上方和应叠加哪个虚拟对象。举例来说，若多个人员存在于由用户观看的场景内，则最高评级虚拟对象可叠加于场景中的最高评级人员的面部上方。第二最高评级虚拟对象可叠加于场景中的第二最高评级人员的面部上方。若人员中的一者离开场景，则可再评估哪个虚拟对象叠加于哪个人员的面部上方。
应理解，虽然可基于人员的身份确定哪个虚拟对象叠加于人员面部上方，但虚拟对象的内容并不相关于人员的身份。作为这种情况的一实例，考虑社交媒体页面。可将所进行社交媒体在人员面部上方显示给用户。虽然可基于人员评级和虚拟对象的评级将社交媒体页面虚拟对象叠加于人员面部上方，但社交媒体页面的内容可并不相关于人员的身份。社交媒体页面可相关于AR装置的用户，而非其面部上方叠加社交媒体页面的人员。因而，不论虚拟对象叠加于其面部上的人员如何虚拟对象的内容可并不改变。
基于面部位置、与面部相关联的人员的身份和(可能)来自用户偏好模块150的评级，面部叠加模块130可将虚拟对象叠加于场景中所存在人员的面部上方。因而，虚拟对象可仅可为用户所见且可看起来叠加于场景中的人员的面部上方。因而，当用户正注视所叠加虚拟对象时，人员可看起来用户正注视人员的面部(例如，进行眼神接触)。多个虚拟对象可同时叠加于场景中存在的多个人员的面部上方。因而，若用户将其焦点从一人员切换到另一人，则其也可切换其正注视的虚拟对象。
显示模块170可充当用于面部叠加模块130将虚拟对象呈现给用户的输出装置。显示模块170可为头戴式显示器(HMD)。举例来说，显示模块170可包含将光直接投影到用户的一个或两个眼睛或将光投影到用户观看的反射性表面上的投影仪。在一些实施例中，用户佩戴由显示模块170将光投射到其上的眼镜(或单一透镜)。因此，用户可同时观看存在于场景中的虚拟对象和现实世界对象。所叠加虚拟对象可为半透明的，使得用户仍可至少部分看到虚拟对象后方的现实世界对象(例如，人员面部)。显示模块170可经配置使得仅用户可观看虚拟对象。对于存在于用户附近中的其它人员，由于显示模块170可为HMD，因此虚拟对象可实质上不可见。因而，对于用户附近中的其它人员，辨别显示模块170是否正给用户呈现一或多个虚拟对象和/或虚拟对象是否叠加于存在于场景中的人员的面部或头部上方可为不可能的。
用户接口模块160可准许用户将输入提供到系统100。举例来说，用户接口模块160可为其上具有一或多个按钮的手镯。用户可致动这些按钮以将输入提供到系统100。举例来说，用户可想要提供虚拟对象和/或人员的评级、激活/去激活面部叠加和/或与虚拟对象互动(例如，打开用户电子邮件帐户内的电子邮件)。虽然手镯为一种形式的用户接口，但应理解用户可使用各种其它用户接口以提供输入(例如，可与运动/焦点跟踪模块135一起并入的话音辨识模块或眼睛跟踪模块)。
可使用计算机化装置(例如，图9的计算机系统)实施系统100的模块中的至少一些。系统100的模块可组合或划分成较小或较大数目个模块。可由计算机化装置实施多个模块。举例来说，面部识别和跟踪模块120和面部叠加模块130可实施为由计算机化装置(例如，处理器、计算机系统)执行的指令。另外，应理解系统100的模块之间的连接是示范性的，在其它实施例中，模块可不同地互连。系统100的模块中的任一者当中的通信可为可能的。
图2说明如由用户观看的虚拟对象叠加于场景内存在的多个人员面部上方的第一人称视角200的场景的实施例。第一人称视角200是从佩戴AR装置的HMD的用户的视角。举例来说，可由用户佩戴(或以其它方式使用)图1的系统100，使得虚拟对象可由HMD叠加于场景上。因而，系统100或经配置以为场景内存在的人员面部叠加虚拟对象的一些其它系统可用于产生图2的虚拟视角。
可由使用系统100或经配置以为场景内存在的人员面部叠加虚拟对象的一些其它系统的用户看到第一人称视角200。在第一人称视角200的场景中，存在两个人员：人员210和人员220。人员210直视用户(如由人员210看起来从图直视表示)。因此，人员210和用户可正参与社交(例如，处于会话中)。人员220大体上面向用户且正说话。举例来说，人员220可为向一群人致辞的说话者(例如，在演示期间)。人员220比人员210远离用户较大距离而定位。
在人员210的面部上方，已叠加虚拟对象230。在用户正注视虚拟对象230时，人员210(和附近中的其它人员)可看起来用户正将其注意力集中于人员210上(例如，通过看起来进行眼神接触)。然而，用户可替代性地正将其注意力中的至少一些集中于叠加于人员210的面部上方的虚拟对象230上。由于由HMD将虚拟对象230显示给用户，因此附近中的其它人员可未察觉到HMD存在或将虚拟对象叠加于人员210的面部上方。因此，仅用户可看到虚拟对象230。虽然看起来注视人员210并与人员社交互动，但用户可(例如)正阅读电子邮件。在图2的实例中，人员210的面部叠加有用户的电子邮件帐户。因而，虚拟对象230的内容可不相关于人员210(即，虚拟对象230的内容可并不基于其叠加于哪个人员面部上方而变化)。
很明显，应理解虚拟对象的内容与人员不相关。因而，虚拟对象的形状或内容不相关于人员身份。举例来说，用户的电子邮件帐户可叠加于人员210的面部上方。若用户的电子邮件帐户叠加于人员220的面部上方，则用户电子邮件帐户的内容将保持相同，仅可改变呈现为虚拟帐户的电子邮件帐户的位置。
在人员220的面部上方，叠加有虚拟对象240。在用户注视虚拟对象240时，人员220(和附近中的其它人员(例如，人员210))可看起来用户正将其注意力集中于人员220上(例如，通过看起来进行眼神接触并倾听人员220表示的内容)。由于由HMD将虚拟对象240显示给用户，因此附近中的其它人员可未察觉到HMD存在或将虚拟对象叠加于人员220的面部上方。虽然看起来注视人员220并与其社交互动，但用户可正观看其社交媒体帐户(例如，脸谱网、推特)。在图2的实例中，人员220的面部叠加有用户的社交媒体帐户。因而，虚拟对象240的内容可不相关于人员220(即，虚拟对象240的内容可并不基于其叠加于哪个人员面部上方而变化)。
哪个虚拟对象叠加于哪个人员的面部上方可基于由用户指派(或自动指派)给虚拟对象和/或人员的评级。举例来说，用户可为各种虚拟对象指派评级。图3说明虚拟对象评级和人员评级的评级表300的实施例。评级表300可存储为图1的系统100的用户偏好模块150的部分。因而，可使用计算机可读存储媒体存储评级表300。在评级表300中，AR装置的用户已将评级次序指派给虚拟对象评级栏310中的虚拟对象并将评级次序指派给人员评级栏320中的人员。
根据评级表300，最高评级虚拟对象可叠加于场景内存在的最高评级人员的面部上方。作为一实例，在评级表300中，用户已将其电子邮件帐户指派为最高评级并将其社交媒体帐户指派为第二最高评级。
在图2的所说明实施例中，用户正参与人员210(出于本实例的目的，其为“内德史密斯”)的社交，因此人员210选择为用于显示第一评级虚拟对象230(根据评级表300，其为用户的电子邮件帐户)。第二评级虚拟对象240(根据评级表300，其为用户的社交媒体帐户)叠加于存在的另一人员(人员220，对于这个实例其为“汤亚多伊”)的面部上方。若其它人员进入场景，则额外虚拟对象也可叠加于其面部上方，此情况可导致哪些虚拟对象指派给哪些人员发生改变。
对于评级表300的所说明实施例，最高评级虚拟对象叠加于人员评级栏320中所列举的最高评级人员上方。在其它实施例中，特定虚拟对象可与特定人员相关联。举例来说，当人员(例如，“汤米博迪”)存在于由用户观看的场景内时，天气小组件可叠加于汤米博迪的面部上方。评级表300可考虑并不具有由AR装置所存储的身份的人员。举例来说，可在人员评级栏320内列举“未知人员”。因而，当由用户观看的场景内存在AR装置辨识不出的人员时，此等人员可仍使其面部叠加有虚拟对象。举例来说，若由用户观看的场景内仅存在未知人员，则用户电子邮件帐户可作为虚拟对象叠加于未知人员面部上方。
可由用户基于用户感到舒适和/或希望或并不希望将虚拟对象叠加于其面部上方的人员建立评级表300的人员评级。举例来说，用户可在其妻子周围感到舒适，因此用户可给予其妻子高的评级。这种情况可导致当妻子存在于由用户观看的场景内时，妻子的面部用于显示最高评级虚拟对象中的一者。若妻子离开场景，则所存在的下一最高评级人员可用于显示最高评级虚拟对象。因而，存在于场景中的最高评级人员的面部可用于显示最高评级虚拟对象。因此，已由用户接收最高评级的虚拟对象可叠加于用户周围感觉最舒适的人员的面部上。用户可能够将某些面部指定为永不将虚拟对象叠加于其上方。举例来说，用户可从不想要将虚拟对象叠加于其老板的面部上方。用户指定永不将虚拟对象叠加于其面部上方的人员可为可能的。
在一些实施例中，人员评级是基于用户使用AR装置时谁最频繁地出现于用户的视野中(例如，历时时间段(例如，上月或去年)。因而，出现的最常见人员可接收最高评级。在此等实施例中，可无需用户输入而维持人员评级。对于频繁地调换于由用户较频繁地观看之间的人员(且因此交换评级)，在人员评级改变之前可需要到达用户视野中所存在的阈值差异时间量，使得并不过度频繁地调换叠加于每一人员面部上方的虚拟对象。举例来说，父亲可用于将其股票行情呈现为叠加于其儿子的面部上方。通过存在此阈值，即使父亲开始略微较频繁地注视妻子，阈值可导致儿子和妻子的评级改变并不影响叠加于儿子面部上方的股票行情呈现。
除人员评级之外，哪个人员选择为其上方用于叠加虚拟对象可基于人员面部的亮度。举例来说，相比坐在阴影中的人员，坐在光下的人员可使其面部经较多照射。因而，呈现如叠加于坐在阴影中的人员的面部上方的虚拟对象可消耗较少功率，这是因为HMD并不需要输出许多光以使虚拟对象充分可为用户所见。另外，若存在文字，则通过将虚拟对象叠加于较暗面部上方，可较容易地可读文字。
返回参看图2，虚拟对象(例如，虚拟对象230和240)可部分透明。因而，用户可能够将其注意力集中于虚拟对象或其上叠加虚拟对象的人员的面部。可由用户设定虚拟对象的不透明度。在一些实施例中，用户可能够将不同程度的不透明度指派给不同虚拟对象和/或不同人员。在一些实施例中，虚拟对象的透明度可至少部分基于用户眼睛的焦点。举例来说，若用户的眼睛看起来尝试聚焦于虚拟对象后方的人员面部，则可使虚拟对象较透明、移动虚拟对象、收缩虚拟对象和/或使其模糊。若用户的眼睛看起来尝试聚焦于叠加于人员面部上方的虚拟对象，则可放大、移动、加重虚拟对象和/或使其较不透明。参看系统100，可使用运动/焦点跟踪模块135确定用户眼睛的焦点。
可根据用户离人员的距离变化虚拟对象的大小。如图2中所展示，人员210比人员220更接近用户。因而，虚拟对象230大于虚拟对象240。因此，虚拟对象的大小和/或定向可对应于其上叠加虚拟对象的人员面部的距离和/或定向。可随着人员更接近用户或移动远离用户动态地调整虚拟对象的大小。可设定虚拟对象的最小和/或最大大小，因而，一旦人员离用户足够远，虚拟对象的大小可到达最小且可不再改变。类似地，一旦人员足够接近用户，虚拟对象的大小可到达最大且可不再改变。
尽管人员的面部可随着人员讲话在各种方向上移动，虚拟对象可并不紧接着移动以跟踪人员的移动。实际上，在将虚拟对象的位置调整到人员面部的新位置之前，可要求人员已移动某一时间周期。虚拟对象的此延迟移动可帮助使虚拟对象的文字或图形特征易于用户观看。举例来说，参看图2的人员210，若人员210的面部在会话期间略微向左和向右移动，则虚拟对象230可并不移动或可低于人员210的面部而移动。可由用户设定虚拟对象的反应速度。在一些实施例中，若人员大量移动(例如，踱来踱去)，则可将叠加于人员面部上方的虚拟对象重新指派为叠加于另一人员上方。此重新指派可使用户易于与虚拟对象互动(例如，阅读)。因而，人员的固定程度可纳入考虑以确定哪个(若存在)虚拟对象应叠加于人员面部上。
虚拟对象可周期性地移动就位，使得用户并不历时较长时间段偶然令人不快地凝视同一人。举例来说，参看图2，若用户变得专心于注视虚拟对象230，则用户可使人员210感到不适这是因为人员210将感觉到其正被凝视。若人员210与用户之间不存在会话可尤其如此。偶尔(例如，在自定义时间段之后)，虚拟对象230可与虚拟对象240或一些其它虚拟对象交换位置。在一些实施例中，虚拟对象可周期性地消失以“迫使”用户将其注意力重新集中于其附近中的人员上。在一些实施例中，可经由HMD将警告(例如，“警示灯”或虚拟对象外观改变)呈现给用户而非消失以提醒用户其已花费的集中于虚拟对象上的时间量。
图4说明虚拟对象基于用户注视方向所重新布置的第一人称视角400的场景的实施例。第一人称视角400是从佩戴AR装置的HMD的用户的视角。举例来说，可由用户佩戴(或以其它方式使用)图1的系统100，使得虚拟对象可由HMD叠加于场景上。因而，系统100或经配置以将虚拟对象叠加于场景内存在的人员面部上的一些其它系统可用于产生图4的虚拟视角。
基于用户注视何处，虚拟对象可使其自身免于叠加于人员面部上方。举例来说，若用户注视地板或天花板(可基于用户头部和/或眼睛的角度检测)，则当前显示给用户的虚拟对象可停止叠加于人员面部上方且可以不同布置显示给用户。参看图2，若用户朝向天花板向上注视，则虚拟对象230和240可分别从人员210和220的面部离开且可以不同布置显示。第一人称视角400表示若其视力(如大于阈值角度的基于用户头部角度和/或视力方向所确定)明显向上聚焦，则虚拟对象230和240可如何呈现给用户。因而，虚拟对象可以序列或其它布置而布置并从人员面部脱锚。当用户视力向下返回到人员场景时，虚拟对象230和240可分别重新叠加于人员210和220的面部上方。
图5说明虚拟对象的文字横跨注视用户的人员的眼睛滚动的第一人称视角500的场景的实施例。第一人称视角500是从佩戴AR装置的HMD的用户的视角。举例来说，可由用户佩戴(或以其它方式使用)图1的系统100，使得虚拟对象可由HMD叠加于场景上。因而，系统100或经配置以将虚拟对象叠加于场景内存在的人员面部上的一些其它系统可用于产生图5的虚拟视角。
为进一步维持用户与用户正注视的人员维持眼神接触的外观，虚拟对象可叠加于人员的眼睛上方。另外，虚拟对象可滚动，使得用户眼睛的焦点并不需要改变以阅读信息。举例来说，虚拟对象510为从右到左滚动的股票代码(如由成像箭头所指示)。在看起来注视人员210的眼睛时，用户可在无需注视远方或移动其眼睛的情况下将其注意力中的至少一些贯注于虚拟对象510上。虚拟对象510可显示不同于股票代码的其它信息(例如，人员210看到内容的变位)。
可使用图1的系统100或用于呈现叠加于存在于由用户所观看场景中的人员的面部或头部上方的虚拟对象的类似系统执行各种方法。图6说明用于叠加由头戴式显示器所显示的虚拟对象的方法600的实施例。可使用图1的系统100或经配置以充当具有HMD的AR装置的一些其它系统执行方法600。计算机系统(或更一般来说为计算机化装置)可用于执行方法600的步骤中的至少一些。用于执行方法600的装置包含图像捕获模块(例如，相机)、面部识别和跟踪模块、面部叠加模块、身份数据库、运动/焦点跟踪模块、通信模块、用户接口模块、显示模块和用户偏好模块。可使用处理器执行模块功能中的至少一些。
在步骤610处，可捕获场景的图像。场景可具有AR装置的用户可见的现实世界实体(例如，人类和/或对象)。可由用户通过其眼睛直接实时观看场景。场景可并不作为显示图像呈现给用户。可周期性地(例如，每秒多次(例如，每秒30帧))捕获场景图像。参看图1的系统100，图像捕获模块(例如，相机)可用于捕获图像。应理解，贯穿方法600，可继续捕获场景图像以便更新所显示的虚拟对象的位置。
在步骤620处，可确定场景内的面部位置。可基于场景内存在的人员数目确定场景内的面部位置数目。若场景内并不存在面部，则不可确定面部位置。若存在(例如)五个人员，则可确定五个面部位置。参看图1的系统100，面部识别和跟踪模块120可确定由图像捕获模块110所捕获图像内存在的一或多个人员的面部位置。
在步骤630处，对于步骤620处位于场景内的每一面部，可对与面部相关联的人员的身份执行确定。可访问身份数据库(例如，系统100的身份数据库125)以便比较面部图像与所存储人员表示。若无法识别人员的身份，则可将面部处理为属于未知人员。参看图1的系统100，面部识别和跟踪模块120可确定由图像捕获模块110所捕获图像内存在的一或多个人员的身份。
在步骤640处，可将虚拟对象选择为用于叠加于场景内存在的人员的面部上方。若存在多个人员，则可选择多个虚拟对象。如先前所描述，用于人员和/或虚拟对象的评级系统可用于确定哪个虚拟对象待呈现于人员面部上方。在一些实施例中，选择为用于显示的叠加于人员面部上方的虚拟对象可涉及确定哪个人员最接近于用户、哪个人员正说话和/或哪个人员正注视用户。另外，哪个虚拟对象叠加于人员面部上方可在预定义时间量之后发生变化。在一些实施例中，哪个虚拟对象叠加于人员面部上方可至少部分基于由用户所设定的虚拟对象和/或人员的评级(例如，呈现于评级表300中)。用户输入(例如，经由图1的用户接口模块160)也可用于确定是否将虚拟对象叠加于人员面部上方和/或叠加哪个虚拟对象。举例来说，用户可选择其想要与哪个虚拟对象互动。
在步骤650处，虚拟对象可叠加于人员面部上方以用于显示。可由HMD基于步骤620处所识别的位置定位虚拟对象以呈现于人员面部上方。虚拟对象可为用户希望观看的任何形式的文字、图形和/或数据(例如，网页、电子邮件帐户、社交媒体帐户、股票代码、应用程序、游戏等)。
虚拟对象的内容可不相关于其面部上方叠加有虚拟对象的人员。因而，不论人员的身份和人员的物理特性如何，可将虚拟对象的内容呈现给用户。虽然可由用户直接观看现实世界场景，但可将虚拟对象投射给用户(例如，经由一副眼镜)，使得虚拟对象看起来叠加于人员的面部(或头部)上。由于HMD可用于将虚拟对象呈现给用户，因此除用户以外的其它人员不可能够观看虚拟对象。
若存在多个人员，则可呈现多个虚拟对象，其中不同虚拟对象叠加于每一人员的面部或头部上。在人员移动时，虚拟对象可移动，使得虚拟对象至少大致上保持叠加于人员面部上方。人员面部或头部的较小移动可并不影响虚拟对象的位置以允许虚拟对象的文字或其它元素较易于由用户观看。可基于其上方叠加虚拟对象的人员与用户之间的距离调整虚拟对象的大小。通过虚拟对象叠加于人员面部上方，在用户将其注意力中的至少一些贯注于虚拟对象上时人员看起来用户可能够维持眼神接触(或至少注视人员)。
可基于用户眼睛的焦点调整所叠加虚拟对象的呈现。若用户眼睛的焦点指向其上叠加虚拟对象的人员，则可使虚拟对象较透明、较小、较模糊和/或移动虚拟对象。若用户眼睛的焦点指向虚拟对象，则可使虚拟对象较不透明、较大、加重和/或移动虚拟对象。由于虚拟对象仅可为佩戴HMD的用户所见，因此虚拟对象的此等外观改变可不可为除用户以外的所有人员所见。因此，通过用户调整其眼睛的焦点，用户可将其注意力在人员与叠加于人员面部上的虚拟对象之间进行切换。
图7说明用于将由头戴式显示器所显示的虚拟对象叠加于正说话人员的面部上方的方法700的实施例。可使用图1的系统100或经配置以充当具有HMD的AR装置的一些其它系统执行方法700。计算机系统(或更一般来说为计算机化装置)可用于执行方法700的步骤中的至少一些。用于执行方法700的装置包含图像捕获模块(例如，相机)、面部识别和跟踪模块、面部叠加模块、身份数据库、运动/焦点跟踪模块、通信模块、用户接口模块、音频捕获模块、显示模块和用户偏好模块。可使用处理器执行模块功能中的至少一些。
在步骤710处，可捕获场景的图像。场景可具有AR装置的用户可见的现实世界实体(例如，人类和/或对象)。可由用户通过其眼睛直接实时观看场景。场景可并不作为显示图像呈现给用户。可周期性地(例如，每秒多次(例如，每秒30帧))捕获场景图像。参看图1的系统100，图像捕获模块(例如，相机)可用于捕获图像。应理解，贯穿方法700，可继续捕获场景图像以便更新所显示的虚拟对象的位置。
在步骤720处，可确定场景内的面部位置。可基于场景内存在的人员数目确定场景内的面部位置数目。若场景内并不存在面部，则不可确定面部位置。若存在(例如)五个人员，则可确定五个面部位置。参看图1的系统100，面部识别和跟踪模块120可确定由图像捕获模块110所捕获图像内存在的一或多个人员的面部位置。
在步骤730处，对于步骤720处位于场景内的每一面部，可执行哪个人员正说话的确定。若多个人员正说话，则可确定最接近于用户的正说话人员和/或注视用户的正说话人员。类似于图3的评级表300，用户可能够定义用于应如何将虚拟对象叠加于正说话人员上方的评级表。作为一实例，可基于说话者的行为设定虚拟对象的不透明度。
说话者的动作 经由HMD的虚拟对象显示
正说话人员(与用户并无眼神接触) 在人员面部上方显示不透明所叠加虚拟对象。
正说话人员(与用户具有眼神接触) 在人员面部上方显示透明所叠加虚拟对象。
正说话人员(通过名字提及用户) 隐藏所叠加虚拟对象。
无人说话 在最后说话人员的面部上方显示透明虚拟对象。
表1
应理解，表1是示范性的且可准许用户定制将虚拟对象叠加于场景中正说话人员上方的情况。在一些实施例中，不论场景中人员的评级如何且不论另一虚拟对象已叠加于人员面部上方，将最高评级虚拟对象叠加于人员面部上方(并移动或隐藏已叠加的任何其它虚拟对象)。因而，若用户注视刚好正说话的人员，则用户可继续观看用户的最高评级虚拟对象。
在步骤740处，可将虚拟对象选择为用于叠加于场景内存在的正说话人员的面部上方。若存在用于虚拟对象的评级系统，则可将最高评级虚拟对象叠加于正说话人员的面部上方。叠加于人员面部上方的虚拟对象可在预定义时间量之后发生变化。用户输入(例如，经由图1的用户接口模块160)也可用于确定是否将虚拟对象叠加于人员面部上方和/或叠加哪个虚拟对象。举例来说，用户可选择其想要与哪个虚拟对象互动。
在步骤750处，可将虚拟对象叠加于正说话人员的面部上方以用于显示。可由HMD基于步骤720处所识别的位置和步骤730的确定定位虚拟对象以呈现于人员面部上方。虚拟对象可为用户希望观看的任何形式的文字、图形和/或数据(例如，网页、电子邮件帐户、社交媒体帐户、股票代码、应用程序、游戏等)。
如关于图6详述，虚拟对象的内容可不相关于其面部上方叠加有虚拟对象的人员。因而，不论人员的身份和人员的物理特性如何，可将虚拟对象的内容呈现给用户。虽然可由用户直接观看现实世界场景，但可将虚拟对象投射给用户(例如，经由一副眼镜)，使得虚拟对象看起来叠加于人员的面部(或头部)上。由于HMD可用于将虚拟对象呈现给用户，因此除用户以外的其它人员不可能够观看虚拟对象。
若正说话人员发生改变，则可将虚拟对象叠加于步骤760处现在正说话的人员上方。因而，可动态地移动虚拟对象以使其保持为叠加于场景内正说话的人员上方。若无人说话，则虚拟对象可保持为叠加于先前说话人员上方。在说话者移动时，虚拟对象可移动，使得虚拟对象至少大致上保持叠加于说话者面部上方。人员面部或头部的较小移动可并不影响虚拟对象的位置以允许虚拟对象的文字或其它元素较易于由用户观看。可基于其上方叠加虚拟对象的人员与用户之间的距离调整虚拟对象的大小。通过虚拟对象叠加于人员面部上方，在用户将其注意力中的至少一些贯注于虚拟对象上时人员看起来用户可能够维持眼神接触(或至少注视人员)。
可基于用户眼睛的焦点调整所叠加虚拟对象的呈现。若用户眼睛的焦点指向其上叠加虚拟对象的说话者，则可使虚拟对象较透明、较小、较模糊和/或移动虚拟对象。若用户眼睛的焦点指向虚拟对象，则可使虚拟对象较不透明、较大、加重和/或移动虚拟对象。由于虚拟对象仅可为佩戴HMD的用户所见，因此虚拟对象的此等外观改变可不可为除用户以外的所有人员(包含说话者)所见。因此，通过用户调整其眼睛的焦点，用户可在说话者与叠加于说话者面部上的虚拟对象之间切换其注意力。替代性地，另一形式的用户输入(例如，按下按钮)可用于确定用户的焦点。
图8说明用于基于已由用户观看虚拟对象的时间量调整在人员面部上方叠加由头戴式显示器所显示的虚拟对象的方法800的实施例。可使用图1的系统100或经配置以充当具有HMD的AR装置的一些其它系统执行方法800。计算机系统(或更一般来说为计算机化装置)可用于执行方法800的步骤中的至少一些。用于执行方法800的装置包含图像捕获模块(例如，相机)、面部识别和跟踪模块、面部叠加模块、身份数据库、运动/焦点跟踪模块、通信模块、用户接口模块、显示模块和用户偏好模块。可使用处理器执行模块功能中的至少一些。
在步骤810处，可捕获场景的图像。场景可具有AR装置的用户可见的现实世界实体(例如，人类和/或对象)。可由用户通过其眼睛直接实时观看场景。场景可并不作为显示图像呈现给用户。可周期性地(例如，每秒多次(例如，每秒30帧))捕获场景图像。参看图1的系统100，图像捕获模块(例如，相机)可用于捕获图像。应理解，贯穿方法800，可继续捕获场景图像以便更新所显示的虚拟对象的位置。
在步骤820处，可确定场景内的面部位置。可基于场景内存在的人员数目确定场景内的面部位置数目。若场景内并不存在面部，则不可确定面部位置。若存在(例如)五个人员，则可确定五个面部位置。参看图1的系统100，面部识别和跟踪模块120可确定由图像捕获模块110所捕获图像内存在的一或多个人员的面部位置。
在步骤830处，对于步骤820处位于场景内的每一面部，可对与面部相关联的人员的身份执行确定。可访问身份数据库(例如，系统100的身份数据库125)以便比较面部图像与所存储人员表示。若无法识别人员的身份，则可将面部处理为属于未知人员。参看图1的系统100，面部识别和跟踪模块120可确定由图像捕获模块110所捕获图像内存在的一或多个人员的身份。在一些实施例中，可识别哪个人员或哪些人员正说话而非确定场景内存在的人员的身份(例如图7的方法700中所详述)。
在步骤840处，可将虚拟对象选择为用于叠加于场景内存在的人员的面部上方。若存在多个人员，则可选择多个虚拟对象。如先前所描述，用于人员和/或虚拟对象的评级系统可用于确定哪个虚拟对象待呈现于人员面部上方。在一些实施例中，选择为用于显示的叠加于人员面部上方的虚拟对象可涉及确定哪个人员最接近于用户、哪个人员正说话和/或哪个人员正注视用户。用户输入(例如，经由图1的用户接口模块160)也可用于确定是否将虚拟对象叠加于人员面部上方和/或叠加哪个虚拟对象。举例来说，用户可选择其想要与其互动的虚拟对象。
在步骤850处，可将虚拟对象叠加于人员面部上方以用于显示。可由HMD基于步骤820处所识别的位置定位虚拟对象以呈现于人员面部上方。虚拟对象可为用户希望观看的任何形式的文字、图形和/或数据(例如，网页、电子邮件帐户、社交媒体帐户、股票代码、应用程序、游戏等)。虚拟对象的内容可不相关于其面部上方叠加有虚拟对象的人员。因而，不论人员的身份和人员的物理特性如何，可将虚拟对象的内容呈现给用户。虽然可由用户直接观看现实世界场景，但可将虚拟对象投射给用户(例如，经由一副眼镜)，使得虚拟对象看起来叠加于人员的面部(或头部)上。由于HMD可用于将虚拟对象呈现给用户，因此除用户以外的其它人员不可能够观看虚拟对象。
在步骤860处，可确定用户注视虚拟对象已花费的时间量。可通过监视用户注视方向和用户眼睛的焦点实现这种确定。用户并不历时经延长时间段注视特定虚拟对象可为合乎需要的。由于每一虚拟对象可叠加于另一人的面部上方，因此若用户花费冗长时间段注视虚拟对象，则人员可感觉如同其正被凝视。另外，这种情况可向人员泄露用户正将其注意力贯注于虚拟对象而非场景中正发生的内容。用户可定义在其之后向用户通知或演示已调整虚拟对象的时间量。在一些实施例中，可使用预定义阈值时间量(例如，20秒)。
在步骤870处，用户可已历时阈值时间段(例如，20秒)注视和/或聚焦于特定虚拟对象上。由于已满足或超过阈值时间段，因此可将虚拟对象叠加于场景内存在的第二面部上方。因而，若用户继续注视虚拟对象，则用户将看起来注视不同人员。在一些实施例中，并非将虚拟对象叠加于第二面部上方，且可将警告显示给用户以提醒用户其已历时经延长时间段注视特定虚拟对象。举例来说，可将闪光灯显示给用户、虚拟对象自身可闪光或发生外观改变、可使虚拟对象较透明、虚拟对象可大小收缩、可隐藏虚拟对象等。在一些实施例中，在用户观看虚拟对象的整个时间段中，虚拟对象可变得较透明。因而，用户观看虚拟对象时间愈长，用户将愈显而易见其已将其注意力集中于虚拟对象上多长时间。若用户将其眼睛焦点切换到另一虚拟对象或虚拟对象后方的人员，则可重设步骤850处所监视的时间量。一些其它形式的用户输入也可用于重设步骤860处所确定的模块时间(例如，用户按下AR装置上的按钮)。
如同方法600和方法700，可基于用户眼睛的焦点调整所叠加虚拟对象的呈现。若用户眼睛的焦点指向其上叠加虚拟对象的人员，则可使虚拟对象较透明、较小、较模糊和/或移动虚拟对象。若用户眼睛的焦点指向虚拟对象，则可使虚拟对象较不透明、较大、加重和/或移动虚拟对象。由于虚拟对象仅可为佩戴HMD的用户所见，因此虚拟对象的此等外观改变可不可为除用户以外的所有人员所见。因此，通过用户调整其眼睛的焦点，用户可将其注意力在人员与叠加于人员面部上的虚拟对象之间进行切换。每当用户将其注意力贯注于人员或不同虚拟对象上时，可重设步骤860处所确定的时间量。因而，只要用户周期性地改变其眼睛的焦点显示的虚拟对象可保持不变。
图9说明用于基于用户注视位置调整由HMD叠加于正说话人员面部上方的虚拟对象的显示的方法900的实施例。可使用图1的系统100或经配置以充当具有HMD的AR装置的一些其它系统执行方法900。计算机系统(或更一般来说为计算机化装置)可用于执行方法900的步骤中的至少一些。用于执行方法900的装置包含图像捕获模块(例如，相机)、面部识别和跟踪模块、面部叠加模块、身份数据库、运动/焦点跟踪模块、通信模块、用户接口模块、显示模块和用户偏好模块。可使用处理器执行模块功能中的至少一些。
在步骤910处，可捕获场景的图像。场景可具有AR装置的用户可见的现实世界实体(例如，人类和/或对象)。可由用户通过其眼睛直接实时观看场景。场景可并不作为显示图像呈现给用户。可周期性地(例如，每秒多次(例如，每秒30帧))捕获场景图像。参看图1的系统100，图像捕获模块(例如，相机)可用于捕获图像。应理解，贯穿方法900，可继续捕获场景图像以便更新所显示的虚拟对象的位置。
在步骤920处，可确定场景内的一或多个面部的位置。可基于场景内存在的人员数目确定场景内的面部位置数目。若场景内并不存在面部，则不可确定面部位置。若存在(例如)五个人员，则可确定五个面部位置。参看图1的系统100，面部识别和跟踪模块120可确定由图像捕获模块110所捕获图像内存在的一或多个人员的面部位置。
在步骤930处，对于步骤920处位于场景内的每一面部，可确定与面部相关联的人员的身份。可访问身份数据库(例如，系统100的身份数据库125)以便比较面部图像与所存储人员表示。若无法确定人员的身份，则可将面部处理为属于未知人员。参看图1的系统100，面部识别和跟踪模块120可确定由图像捕获模块110所捕获图像内存在的一或多个人员的身份。
在步骤940处，可将虚拟对象选择为用于叠加于场景内存在的一或多个人员的面部上方。若存在多个人员，则可选择多个虚拟对象。如先前所描述，用于人员和/或虚拟对象的评级系统可用于确定哪个虚拟对象待呈现于人员面部上方。在一些实施例中，选择为用于显示的叠加于人员面部上方的虚拟对象可涉及确定哪个人员最接近于用户、哪个人员正说话和/或哪个人员正注视用户。另外，哪个虚拟对象叠加于人员面部上方可在预定义时间量之后发生变化。用户输入(例如，经由图1的用户接口模块160)也可用于确定是否将虚拟对象叠加于人员面部上方和/或叠加哪个虚拟对象。举例来说，用户可选择其想要与哪个虚拟对象互动。
在步骤950处，可将虚拟对象叠加于人员面部上方以用于显示。可由HMD基于步骤920处所识别的位置定位虚拟对象以呈现于人员面部上方。虚拟对象可为用户希望观看的任何形式的文字、图形和/或数据(例如，网页、电子邮件帐户、社交媒体帐户、股票代码、应用程序、游戏等)。虚拟对象的内容可不相关于其面部上方叠加有虚拟对象的人员。因而，不论人员的身份和人员的物理特性如何，可将虚拟对象的内容呈现给用户。虽然可由用户直接观看现实世界场景，但可将虚拟对象投射给用户(例如，经由一副眼镜)，使得虚拟对象看起来叠加于人员的面部(或头部)上。由于HMD可用于将虚拟对象呈现给用户，因此除用户以外的其它人员不可能够观看虚拟对象。
若存在多个人员，则可呈现多个虚拟对象，其中不同虚拟对象叠加于每一人员的面部或头部上(例如图2的第一人称视角200中)。在人员移动时，虚拟对象可移动，使得虚拟对象至少大致上保持叠加于人员面部上方。人员面部或头部的较小移动可并不影响虚拟对象的位置以允许虚拟对象的文字或其它元素较易于由用户观看。可基于其上方叠加虚拟对象的人员与用户之间的距离调整虚拟对象的大小。通过虚拟对象叠加于人员面部上方，在用户将其注意力中的至少一些贯注于虚拟对象上时人员看起来用户可能够维持眼神接触(或至少注视人员)。
在步骤960处，可确定用户正注视天花板或地板。这种情况可以若干方式发生。在一些实施例中，可将用户头部的角度和/或用户眼睛注视的方向与离地平线的阈值角度进行比较以确定用户是否很可能向上注视(例如，注视天花板)或向下注视(例如，注视地板)。作为一实例，阈值角度可高于或低于地平线60°。在其它实施例中，步骤910处所捕获的图像中的一或多者可用于对象辨识以确定用户是否正注视天花板或地板。若用户正向上或向下注视，则这种情况可触发AR装置修改虚拟对象显示给用户的格式。举例来说，这种情况可为指示并不将虚拟对象叠加于场景内存在的人员面部上方，但实际上呈现为以替代性格式叠加于天花板或地板上方的来自用户的输入形式。向上注视天花板或向下注视地板可未必向存在于场景内的人员提示用户正与虚拟对象互动的事实。实际上，用户可看起来陷入沉思。
在步骤970处，若用户正向上注视，则可停止将叠加于场景内存在的人员面部上方的虚拟对象中的每一者叠加于人员上方且可替代性地叠加于天花板上方，或若用户正向下注视则叠加于地板上方。因而，当用户向上注视天花板或向下注视地板时，场景内人员的移动可并不影响虚拟对象的呈现。可如图3中将虚拟对象呈现给用户。举例来说，可将每一虚拟对象以相同于水平序列中的大小呈现给用户。用户可能够选择用于放大的特定虚拟对象。当用户正向上注视天花板或向下注视地板时，其它显示格式也可用于将虚拟对象呈现给用户。
在步骤980处，可确定用户的焦点已返回到含有人员的场景。这种情况可以若干方式发生。在一些实施例中，可将用户头部的角度和/或用户眼睛的注视方向与离地平线的阈值角度进行比较以确定用户是否很可能正注视场景内的人员。作为一实例，阈值角度可高于或低于地平线45°。在其它实施例中，步骤910处所捕获的图像中的一或多者可用于对象辨识以确定用户是否正朝人员的大致方向注视。若用户正向上注视或向下注视，则这种情况可触发AR装置将虚拟对象显示给用户的格式修改为叠加于场景内存在的人员的面部上方。
在步骤990处，虚拟对象可返回为叠加于场景内存在的人员面部上方。因而，可将虚拟对象叠加于相同于步骤950中其上方叠加虚拟对象的人员的面部上方。可重复方法900的此等步骤，(例如)若用户再次向上注视天花板或向下注视地板，则可重复步骤960和970。
虽然上文描述集中于将虚拟对象叠加于人员的面部上方，但应理解可产生将虚拟对象维持为离人员面部存在一定距离的实施例。举例来说，虚拟对象可维持为离人员面部的左侧或右侧一定距离，使得用户在会话期间对左侧或右侧进行扫视可用于观看虚拟对象。
如图10中所说明的计算机系统可并入为先前所描述AR装置的部分。举例来说，计算机系统1000可表示本申请案中所论述的HMD和AR装置的组件中的一些。计算机系统1000可执行图1的系统100的各种组件的功能。计算机系统1000可并入可佩戴行动装置中。图10提供可执行由各种其它实施例所提供方法的计算机系统1000的一个实施例的示意性说明。应注意，图10仅打算提供各种组件的一般化说明，可按需要利用所述组件中的任一者或所有。因此，图10广泛说明可如何以相对分离或相对较整合方式实施个别系统元件。
计算机系统1000展示为包括可经由总线1005电耦合(或可以其它方式按需要进行通信)的硬件元件。硬件元件可包含：一或多个处理器1010，包含(但不限于)一或多个通用处理器和/或一或多个专用处理器(例如，数字信号处理芯片、图形加速处理器和/或类似者)；一或多个输入装置1015，其可包含(但不限于)鼠标、键盘和/或类似者；和一或多个输出装置1020，其可包含(但不限于)显示装置、打印机和/或类似者。
计算机系统1000可进一步包含以下各者(和/或与以下各者通信)：一或多个非暂时性存储装置1025，其可包括(但不限于)本地和/或网络可访问存储装置，和/或可包含(但不限于)磁盘驱动器、驱动阵列、光学存储装置、例如随机存取存储器(“RAM”)和/或只读存储器(“ROM”)的固态存储装置，其可为可编程的、可快闪更新的和/或类似者。此等存储装置可经配置以实施任何适当数据存储装置，包含(但不限于)各种文件系统、数据库结构和/或类似者。
计算机系统1000还可包含通信子系统1030，其可包含(但不限于)调制解调器、网卡(无线或有线)、红外线通信装置、无线通信装置和/或芯片组(例如，BluetoothTM装置、802.11装置、WiFi装置、WiMax装置、蜂窝式通信设备等)和/或类似者。通信子系统1030可准许与网络(例如，作为一个实例，下文所描述的网络)、其它计算机系统和/或本文中所描述的任何其它装置交换数据。在许多实施例中，计算机系统1000将进一步包括可包含RAM或ROM装置的工作存储器1035，如上文所描述。
计算机系统1000还可包括展示为当前位于工作存储器1035内的软件元件，包含操作系统1040、装置驱动器、可执行库和/或例如一或多个应用程序1045的其它代码，其可包括由各种实施例提供和/或可经设计以实施方法和/或配置系统、由其它实施例提供的计算机程序，如本文中所描述。仅仅作为实例，关于上文所论述方法所描述的一或多个程序可实施为可由计算机(和/或计算机内的处理器)执行的代码和/或指令；接着，在一方面中，此等代码和/或指令可用于配置和/或调适通用计算机(或其它装置)以根据所描述方法执行一或多个操作。
这些指令和/或代码的集合可存储在例如上文所描述的非暂时性存储装置1025的非暂时性计算机可读存储媒体上。在一些状况下，存储媒体可并入到例如计算机系统1000的计算机系统内。在其它实施例中，存储媒体可与计算机系统(例如，可装卸式媒体(例如，光盘))分开，和/或提供于安装包中，使得存储媒体可用以编程、配置和/或调适其上存储有指令/代码的通用计算机。这些指令可呈可由计算机系统1000执行的可执行代码形式，和/或可呈源和/或可安装代码的形式，所述源和/或可安装代码在于计算机系统1000上编译和/或安装(例如，使用多种通常可用编译程序、安装程序、压缩/解压公用程序等中的任一者)之后，接着呈可执行代码的形式。
所属领域的技术人员将显而易见可根据特定要求作出大量变化。举例来说，还可使用定制硬件，和/或可将特定元件实施于硬件、软件(包含便携式软件，例如小程序等)或两者中。另外，可利用到其它计算装置(例如，网络输入/输出装置)的连接。
如上文所提及，在一个方面中，一些实施例可利用计算机系统(例如，计算机系统1000)来执行根据本发明的各种实施例的方法。根据实施例的集合，响应于处理器1010执行工作存储器1035中所含有的一或多个序列的一或多个指令(其可并入到操作系统1040和/或例如应用程序1045的其它代码中)，由计算机系统1000执行此等方法的一些或所有程序。可将此等指令从另一计算机可读媒体(例如，非暂时性存储装置1025中的一或多者)读取到工作存储器1035中。仅仅作为实例，执行工作存储器1035中所含有的指令序列可致使处理器1010执行本文中所描述方法的一或多个程序。
如本文中所使用，术语“机器可读媒体”和“计算机可读媒体”是指参与提供致使机器以特定方式操作的数据的任何媒体。在使用计算机系统1000实施的实施例中，各种计算机可读媒体可涉及于将指令/代码提供到处理器1010以供执行和/或可用以存储和/或载运此等指令/代码。在许多实施方案中，计算机可读媒体为物理和/或有形存储媒体。此媒体可呈非易失性媒体或易失性媒体形式。非易失性媒体包含(例如)光盘和/或磁盘，例如非暂时性存储装置1025。易失性媒体包含(但不限于)动态存储器，例如工作存储器1035。
常见形式的物理和/或有形计算机可读媒体包含(例如)软盘、柔性磁盘、硬盘、磁带，或任何其它磁性媒体、CD-ROM、任何其它光学媒体、打孔卡、纸带、具有孔图案的任何其它物理媒体、RAM、PROM、EPROM、快闪EPROM、任何其它存储器芯片或盒带，或计算机可从其读取指令和/或代码的任何其它媒体。
在将一或多个序列的一或多个指令载运到处理器1010以供执行过程中可涉及各种形式的计算机可读媒体。仅仅作为实例，最初可将指令载运于远程计算机的磁盘和/或光盘上。远程计算机可将指令载入其动态存储器中并经由传输媒体将指令作为信号发送以由计算机系统1000接收和/或执行。
通信子系统1030(和/或其组件)大体上将接收信号，且总线1005可接着将信号(和/或由信号所载运的数据、指令等)载运到处理器1010从其检索并执行指令的工作存储器1035。由工作存储器1035接收的指令可任选地在由处理器1010执行之前或之后存储在非暂时性存储装置1025上。
上文所论述的方法、系统和装置为实例。按需要，各种配置可省略、替代或添加各种程序或组件。举例来说，在替代性配置中，可以不同于所描述的顺来执行方法，和/或可添加、省略和/或组合各种阶段。而且，可以各种其它配置组合关于某些配置所描述的特征。可以类似方式组合配置的不同方面和元件。而且，技术发展，且因此，元件中的许多为实例且并不限制本发明或权利要求的范围。
在描述中给出特定细节以提供对实例配置(包含实施方案)的透彻理解。然而，可在并无这些特定细节的情况下实践配置。举例来说，已在并无不必要细节的情况下展示熟知电路、程序、算法、结构和技术以便避免混淆配置。此描述仅提供实例配置，且并不限制权利要求的范围、适用性或配置。实际上，配置的之前描述将向所属领域的技术人员提供用于实施所描述技术的致能性描述。可在不脱离本发明的精神或范围的情况下对元件的功能和配置作出各种改变。
而且，可将配置描述为被描绘为流程图或框图的过程。尽管每一流程图或框图可将操作描述为顺序过程，但许多操作可并行地或同时地来执行。另外，可重新布置操作次序。过程可具有不包含在图中的额外步骤。此外，可由硬件、软件、固件、中间件、微码、硬件描述语言或其任何组合实施方法的实例。当以软件、固件、中间件或微码实施时，用以执行必要任务的程序代码或代码段可存储在例如存储媒体的非暂时性计算机可读媒体中。处理器可执行所描述任务。
在已描述若干实例配置之后，可在不脱离本发明的精神的情况下使用各种修改、替代性构造和等效物。举例来说，上文元件可为较大系统的组件，其中其它规则可优先于本发明的应用或以其它方式修改本发明的应用。而且，可在考虑上文元件之前、期间或之后进行数个步骤。因此，上文描述并不约束权利要求的范围。

Claims (24)

1.一种用于定位由头戴式显示器所显示的虚拟对象的方法，其包括：
接收用于多个人员的人员评级集合；
接收用于多个虚拟对象的虚拟对象评级集合；
确定现实世界场景内的人员的面部的位置；
确定所述人员的身份；
基于所述人员的所述身份、所述人员评级集合和所述虚拟对象评级集合从所述多个虚拟对象之中选择虚拟对象；和
经由所述头戴式显示器显示所述虚拟对象使得所述虚拟对象叠加于所述人员的所述面部上方。
2.根据权利要求1所述的用于定位由所述头戴式显示器所显示的虚拟对象的方法，其中所述虚拟对象的内容不相关于所述人员。
3.根据权利要求1所述的用于定位由所述头戴式显示器所显示的虚拟对象的方法，其进一步包括：
在显示所述虚拟对象使得所述虚拟对象叠加于所述人员的所述面部上方之后，在阈值时间段之后将所述虚拟对象重新定位为叠加于第二人员的第二面部上方。
4.根据权利要求1所述的用于定位由所述头戴式显示器所显示的虚拟对象的方法，其进一步包括：
在显示所述虚拟对象使得所述虚拟对象叠加于所述人员的所述面部上方之后，确定用户正向上大于阈值角度注视；和
响应于确定所述用户正向上大于所述阈值角度注视，重新定位所述虚拟对象使得所述虚拟对象并不叠加于所述人员的所述面部上方。
5.根据权利要求1所述的用于定位由所述头戴式显示器所显示的虚拟对象的方法，其中由所述头戴式显示器呈现所述虚拟对象，使得所述虚拟对象仅可为所述头戴式显示器的用户所见。
6.根据权利要求1所述的用于定位由所述头戴式显示器所显示的虚拟对象的方法，其中所述虚拟对象透明，使得所述人员的所述面部和所述虚拟对象同时可为所述头戴式显示器的用户所见。
7.根据权利要求1所述的用于定位由所述头戴式显示器所显示的虚拟对象的方法，其进一步包括：
确定所述人员的运动量；和
在显示所述虚拟对象使得所述虚拟对象叠加于所述人员的所述面部上方之后，归因于所述人员的所述所确定运动量，而经由所述头戴式显示器显示所述虚拟对象使得所述虚拟对象叠加于第二人员的所述面部上方。
8.根据权利要求1所述的用于定位由所述头戴式显示器所显示的虚拟对象的方法，其进一步包括：
在显示所述虚拟对象使得所述虚拟对象叠加于所述人员的所述面部上方之前，使用多个人员的每一人员的亮度级别从所述多个人员选择所述人员。
9.一种用于呈现虚拟对象的系统，其包括：
图像捕获装置；
头戴式显示器；
处理器；和
存储器，其以通信方式与所述处理器耦合且可由所述处理器读取，且其中存储有在由所述处理器执行时导致所述处理器进行如下操作的处理器可读指令：
接收用于多个人员的人员评级集合；
接收用于多个虚拟对象的虚拟对象评级集合；
使用由所述图像捕获装置所捕获的图像确定现实世界场景内的人员的面部的位置；
确定所述人员的身份；
基于所述人员的所述身份、所述人员评级集合和所述虚拟对象评级集合从所述多个虚拟对象之中选择虚拟对象；和
导致经由所述头戴式显示器显示所述虚拟对象使得所述虚拟对象叠加于所述人员的所述面部上方。
10.根据权利要求9所述的用于呈现虚拟对象的系统，其中所述虚拟对象的内容不相关于所述人员。
11.根据权利要求9所述的用于呈现虚拟对象的系统，其中所述处理器可读指令进一步包括在由所述处理器执行时导致所述处理器进行如下操作的处理器可读指令：
在导致显示所述虚拟对象使得所述虚拟对象叠加于所述人员的所述面部上方之后，在阈值时间段之后将所述虚拟对象重新定位为叠加于第二人员的第二面部上方。
12.根据权利要求9所述的用于呈现虚拟对象的系统，其中所述处理器可读指令进一步包括在由所述处理器执行时导致所述处理器进行如下操作的处理器可读指令：
在导致显示所述虚拟对象使得所述虚拟对象叠加于所述人员的所述面部上方之后，确定所述头戴式显示器的用户正向上大于阈值角度注视；和
响应于确定所述用户正向上大于所述阈值角度注视，导致重新定位所述虚拟对象的显示使得所述虚拟对象并不叠加于所述人员的所述面部上方。
13.根据权利要求9所述的用于呈现虚拟对象的系统，其中所述虚拟对象由所述头戴式显示器呈现使得所述虚拟对象仅可为于所述头戴式显示器的用户所见。
14.根据权利要求9所述的用于呈现虚拟对象的系统，其中所述虚拟对象透明使得所述人员的所述面部和所述虚拟对象同时可为所述头戴式显示器的用户所见。
15.根据权利要求9所述的用于呈现虚拟对象的系统，其中所述处理器可读指令进一步包括在由所述处理器执行时导致所述处理器进行如下操作的处理器可读指令：
确定所述人员的运动量；和
在导致显示所述虚拟对象使得所述虚拟对象叠加于所述人员的所述面部上方之后，归因于所述人员的所述所确定运动量而导致显示所述虚拟对象使得所述虚拟对象叠加于第二人员的所述面部上方。
16.根据权利要求9所述的用于呈现虚拟对象的系统，其中所述处理器可读指令进一步包括在由所述处理器执行时导致所述处理器进行如下操作的处理器可读指令：
在导致显示所述虚拟对象使得所述虚拟对象叠加于所述人员的所述面部上方之前，使用多个人员的每一人员的亮度级别从所述多个人员选择所述人员。
17.一种用于定位所显示的虚拟对象的设备，其包括：
用于接收用于多个人员的人员评级集合的装置；
用于接收用于多个虚拟对象的虚拟对象评级集合的装置；
用于确定现实世界场景内的人员的面部的位置的装置；
用于确定所述人员的身份的装置；
用于基于所述人员的所述身份、所述人员评级集合和所述虚拟对象评级集合从所述多个虚拟对象之中选择虚拟对象的装置；和
用于显示所述虚拟对象使得所述虚拟对象叠加于所述人员的所述面部上方的装置。
18.根据权利要求17所述的用于定位所显示虚拟对象的设备，其中所述虚拟对象的内容不相关于所述人员。
19.根据权利要求17所述的用于定位所显示虚拟对象的设备，其进一步包括：
用于在阈值时间段之后将所述虚拟对象重新定位为叠加于第二人员的第二面部上方的装置，其中在显示所述虚拟对象使得所述虚拟对象叠加于所述人员的所述面部上方之后进行重新定位。
20.根据权利要求17所述的用于定位所显示虚拟对象的设备，其进一步包括：
用于确定用户正向上大于阈值角度注视的装置，其中在显示所述虚拟对象使得所述虚拟对象叠加于所述人员的所述面部上方之后进行确定；和
用于重新定位所述虚拟对象使得所述虚拟对象并不叠加于所述人员的所述面部上方的装置，其中响应于确定所述用户正向上大于所述阈值角度注视进行重新定位。
21.根据权利要求17所述的用于定位所显示虚拟对象的设备，其中呈现所述虚拟对象使得所述虚拟对象仅可为所述设备的用户所见。
22.根据权利要求17所述的用于定位所显示虚拟对象的设备，其中所述虚拟对象透明使得所述人员的所述面部和所述虚拟对象同时可为所述设备的用户所见。
23.根据权利要求17所述的用于定位所显示虚拟对象的设备，其进一步包括：
用于确定所述人员的运动量的装置；和
用于归因于所述人员的所述所确定运动量而显示所述虚拟对象使得所述虚拟对象叠加于第二人员的所述面部上方的装置。
24.根据权利要求17所述的用于定位所显示虚拟对象的设备，其进一步包括：
用于在显示所述虚拟对象使得所述虚拟对象叠加于所述人员的所述面部上方之前使用多个人员的每一人员的亮度级别从所述多个人员选择所述人员的装置。
CN201380047991.2A 2012-09-18 2013-09-11 用于使头戴式显示器的使用对非用户较不明显的方法和系统 Active CN104641319B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201261702623P 2012-09-18 2012-09-18
US61/702,623 2012-09-18
US13/733,758 US9310611B2 (en) 2012-09-18 2013-01-03 Methods and systems for making the use of head-mounted displays less obvious to non-users
US13/733,758 2013-01-03
PCT/US2013/059204 WO2014046936A1 (en) 2012-09-18 2013-09-11 Methods and systems for making the use of head-mounted displays less obvious to non-users

Publications (2)

Publication Number Publication Date
CN104641319A CN104641319A (zh) 2015-05-20
CN104641319B true CN104641319B (zh) 2017-04-26

Family

ID=50274008

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380047991.2A Active CN104641319B (zh) 2012-09-18 2013-09-11 用于使头戴式显示器的使用对非用户较不明显的方法和系统

Country Status (5)

Country Link
US (1) US9310611B2 (zh)
EP (1) EP2898392B1 (zh)
JP (1) JP5989909B2 (zh)
CN (1) CN104641319B (zh)
WO (1) WO2014046936A1 (zh)

Families Citing this family (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014191718A (ja) 2013-03-28 2014-10-06 Sony Corp 表示制御装置、表示制御方法および記録媒体
US9992419B2 (en) * 2013-03-29 2018-06-05 Sony Corporation Display control apparatus for displaying a virtual object
CN103353667B (zh) 2013-06-28 2015-10-21 北京智谷睿拓技术服务有限公司 成像调整设备及方法
CN103353677B (zh) 2013-06-28 2015-03-11 北京智谷睿拓技术服务有限公司 成像装置及方法
CN103353663B (zh) 2013-06-28 2016-08-10 北京智谷睿拓技术服务有限公司 成像调整装置及方法
CN103424891B (zh) 2013-07-31 2014-12-17 北京智谷睿拓技术服务有限公司 成像装置及方法
CN103431840B (zh) 2013-07-31 2016-01-20 北京智谷睿拓技术服务有限公司 眼睛光学参数检测系统及方法
CN103431980A (zh) 2013-08-22 2013-12-11 北京智谷睿拓技术服务有限公司 视力保护成像系统及方法
CN103439801B (zh) 2013-08-22 2016-10-26 北京智谷睿拓技术服务有限公司 视力保护成像装置及方法
CN103500331B (zh) * 2013-08-30 2017-11-10 北京智谷睿拓技术服务有限公司 提醒方法及装置
CN103605208B (zh) 2013-08-30 2016-09-28 北京智谷睿拓技术服务有限公司 内容投射系统及方法
CN103558909B (zh) 2013-10-10 2017-03-29 北京智谷睿拓技术服务有限公司 交互投射显示方法及交互投射显示系统
US20150156028A1 (en) * 2013-12-01 2015-06-04 Apx Labs, Llc Systems and methods for sharing information between users of augmented reality devices
KR102120105B1 (ko) * 2014-01-08 2020-06-09 엘지전자 주식회사 헤드 마운티드 디스플레이 및 그 제어 방법
US11138793B2 (en) 2014-03-14 2021-10-05 Magic Leap, Inc. Multi-depth plane display system with reduced switching between depth planes
US10397532B2 (en) * 2014-04-09 2019-08-27 International Business Machines Corporation Device for ambience obstruction by an object
US9323983B2 (en) * 2014-05-29 2016-04-26 Comcast Cable Communications, Llc Real-time image and audio replacement for visual acquisition devices
JP6390277B2 (ja) 2014-09-02 2018-09-19 ソニー株式会社 情報処理装置、制御方法、およびプログラム
US10156721B2 (en) * 2015-03-09 2018-12-18 Microsoft Technology Licensing, Llc User-based context sensitive hologram reaction
US9767614B2 (en) 2015-03-24 2017-09-19 Nokia Technologies Oy Augmented reality
JP6780642B2 (ja) * 2015-06-15 2020-11-04 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
US10198620B2 (en) 2015-07-06 2019-02-05 Accenture Global Services Limited Augmented reality based component replacement and maintenance
KR20180057693A (ko) * 2015-09-24 2018-05-30 토비 에이비 눈 추적 가능한 웨어러블 디바이스들
JP6822410B2 (ja) * 2015-09-30 2021-01-27 ソニー株式会社 情報処理システム及び情報処理方法
KR102641655B1 (ko) 2015-10-20 2024-02-27 매직 립, 인코포레이티드 3차원 공간에서 가상 객체들 선택
US9767606B2 (en) * 2016-01-12 2017-09-19 Lenovo (Singapore) Pte. Ltd. Automatic modification of augmented reality objects
US10229541B2 (en) * 2016-01-28 2019-03-12 Sony Interactive Entertainment America Llc Methods and systems for navigation within virtual reality space using head mounted display
KR102587841B1 (ko) * 2016-02-11 2023-10-10 매직 립, 인코포레이티드 깊이 평면들 간의 감소된 스위칭을 갖는 다중-깊이 평면 디스플레이 시스템
CN106200900B (zh) * 2016-06-24 2019-02-01 北京奇思信息技术有限公司 基于识别区域在视频中触发虚拟现实交互的方法及系统
JP2018005091A (ja) * 2016-07-06 2018-01-11 富士通株式会社 表示制御プログラム、表示制御方法および表示制御装置
JP6373920B2 (ja) * 2016-09-14 2018-08-15 株式会社バンダイナムコエンターテインメント シミュレーションシステム及びプログラム
JP6298130B2 (ja) 2016-09-14 2018-03-20 株式会社バンダイナムコエンターテインメント シミュレーションシステム及びプログラム
CN106600334A (zh) * 2016-12-20 2017-04-26 惠州Tcl移动通信有限公司 基于ar的信息交互控制方法、应用程序及ar智能设备
US10146300B2 (en) 2017-01-25 2018-12-04 Lenovo Enterprise Solutions (Singapore) Pte. Ltd. Emitting a visual indicator from the position of an object in a simulated reality emulation
JP2018137505A (ja) * 2017-02-20 2018-08-30 セイコーエプソン株式会社 表示装置およびその制御方法
CN109582141B (zh) * 2018-11-23 2022-05-10 华为技术有限公司 根据眼球焦点控制显示屏的方法和头戴电子设备
CN110141186B (zh) * 2019-04-30 2021-10-15 中山大学 一种自主的指向式裸眼视力筛查系统
CN111246014B (zh) * 2020-01-13 2021-04-06 维沃移动通信有限公司 通话方法、头戴式设备及介质
US11628037B2 (en) 2020-04-29 2023-04-18 Medtronic Navigation, Inc. System and method for viewing a subject
US11593972B2 (en) * 2020-04-29 2023-02-28 Medtronic Navigation, Inc. System and method for viewing a subject
US11017609B1 (en) * 2020-11-24 2021-05-25 Horizon Group USA, INC System and method for generating augmented reality objects
CN112704876B (zh) * 2020-12-30 2022-10-04 腾讯科技（深圳）有限公司 虚拟对象互动模式的选择方法、装置、设备及存储介质
US11640700B2 (en) * 2021-02-26 2023-05-02 Huawei Technologies Co., Ltd. Methods and systems for rendering virtual objects in user-defined spatial boundary in extended reality environment

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102419631A (zh) * 2010-10-15 2012-04-18 微软公司 虚拟内容到现实内容中的融合

Family Cites Families (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5757268A (en) * 1996-09-26 1998-05-26 United Technologies Automotive, Inc. Prioritization of vehicle display features
US6396509B1 (en) * 1998-02-21 2002-05-28 Koninklijke Philips Electronics N.V. Attention-based interaction in a virtual environment
US8482488B2 (en) * 2004-12-22 2013-07-09 Oakley, Inc. Data input management system for wearable electronically enabled interface
US7227976B1 (en) 2002-07-08 2007-06-05 Videomining Corporation Method and system for real-time facial image enhancement
US7053915B1 (en) 2002-07-30 2006-05-30 Advanced Interfaces, Inc Method and system for enhancing virtual stage experience
US7262772B2 (en) * 2003-03-21 2007-08-28 Sap Aktiengesellschaft Visual content summary
TWI255141B (en) 2004-06-02 2006-05-11 Imagetech Co Ltd Method and system for real-time interactive video
GB0422500D0 (en) * 2004-10-09 2004-11-10 Ibm Method and system for re-arranging a display
GB2456593B (en) * 2005-12-28 2011-07-13 Intel Corp A novel user sensitive information adaptive video transcoding framework
US8615112B2 (en) * 2007-03-30 2013-12-24 Casio Computer Co., Ltd. Image pickup apparatus equipped with face-recognition function
US20090003662A1 (en) 2007-06-27 2009-01-01 University Of Hawaii Virtual reality overlay
JP4720810B2 (ja) * 2007-09-28 2011-07-13 富士フイルム株式会社 画像処理装置、撮像装置、画像処理方法及び画像処理プログラム
JP5674465B2 (ja) * 2008-04-23 2015-02-25 レノボ・イノベーションズ・リミテッド（香港） 画像処理装置、カメラ、画像処理方法およびプログラム
US9696546B2 (en) * 2008-06-30 2017-07-04 Honeywell International Inc. Head-mountable cockpit display system
JP5104679B2 (ja) 2008-09-11 2012-12-19 ブラザー工業株式会社 ヘッドマウントディスプレイ
EP2395420B1 (en) * 2009-02-05 2018-07-11 Panasonic Intellectual Property Corporation of America Information display device and information display method
JP5272773B2 (ja) * 2009-02-12 2013-08-28 ソニー株式会社 画像処理装置、画像処理方法およびプログラム
US9128281B2 (en) * 2010-09-14 2015-09-08 Microsoft Technology Licensing, Llc Eyepiece with uniformly illuminated reflective display
WO2012003844A1 (en) 2010-07-05 2012-01-12 Sony Ericsson Mobile Communications Ab Method for displaying augmentation information in an augmented reality system
US8780014B2 (en) * 2010-08-25 2014-07-15 Eastman Kodak Company Switchable head-mounted display
US8619005B2 (en) * 2010-09-09 2013-12-31 Eastman Kodak Company Switchable head-mounted display transition
US8625200B2 (en) * 2010-10-21 2014-01-07 Lockheed Martin Corporation Head-mounted display apparatus employing one or more reflective optical surfaces
KR101338818B1 (ko) * 2010-11-29 2013-12-06 주식회사 팬택 이동 단말기 및 이를 이용한 정보 표시 방법
US8514295B2 (en) * 2010-12-17 2013-08-20 Qualcomm Incorporated Augmented reality processing based on eye capture in handheld device
US9113050B2 (en) * 2011-01-13 2015-08-18 The Boeing Company Augmented collaboration system
US20120210240A1 (en) * 2011-02-10 2012-08-16 Microsoft Corporation User interfaces for personalized recommendations
US9128282B2 (en) 2011-02-10 2015-09-08 Seiko Epson Corporation Head-mounted display device and control method for the head-mounted display device
US8326281B2 (en) * 2011-02-16 2012-12-04 Research In Motion Limited Mobile wireless communications device providing object reference data based upon near field communication (NFC) and related methods
US8704682B1 (en) * 2011-06-29 2014-04-22 Google Inc. Object detection to determine road priority
US8184070B1 (en) * 2011-07-06 2012-05-22 Google Inc. Method and system for selecting a user interface for a wearable computing device
US8963956B2 (en) * 2011-08-19 2015-02-24 Microsoft Technology Licensing, Llc Location based skins for mixed reality displays
US9342610B2 (en) * 2011-08-25 2016-05-17 Microsoft Technology Licensing, Llc Portals: registered objects as virtualized, personalized displays
US9077888B2 (en) * 2011-12-29 2015-07-07 Verizon Patent And Licensing Inc. Method and system for establishing autofocus based on priority
JP5482808B2 (ja) * 2012-01-30 2014-05-07 コニカミノルタ株式会社 管理システム、管理サーバおよびプログラム
US8947322B1 (en) * 2012-03-19 2015-02-03 Google Inc. Context detection and context-based user-interface population

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102419631A (zh) * 2010-10-15 2012-04-18 微软公司 虚拟内容到现实内容中的融合

Also Published As

Publication number Publication date
JP5989909B2 (ja) 2016-09-07
WO2014046936A1 (en) 2014-03-27
EP2898392B1 (en) 2019-08-07
US20140078175A1 (en) 2014-03-20
US9310611B2 (en) 2016-04-12
EP2898392A1 (en) 2015-07-29
JP2015537276A (ja) 2015-12-24
CN104641319A (zh) 2015-05-20

Similar Documents

Publication Publication Date Title
CN104641319B (zh) 用于使头戴式显示器的使用对非用户较不明显的方法和系统
Lucero et al. NotifEye: using interactive glasses to deal with notifications while walking in public
US10209516B2 (en) Display control method for prioritizing information
US10019962B2 (en) Context adaptive user interface for augmented reality display
US20190297304A1 (en) Group video communication method and network device
CN101165538B (zh) 成像显示设备和方法
US20180173404A1 (en) Providing a user experience with virtual reality content and user-selected, real world objects
CN108304063B (zh) 信息处理装置、信息处理方法和计算机可读介质
US11816256B2 (en) Interpreting commands in extended reality environments based on distances from physical input devices
Due The future of smart glasses: An essay about challenges and possibilities with smart glasses
CN113114841B (zh) 动态壁纸获取方法、装置
CN114365197A (zh) 在具有多个物理参与者的环境中放置虚拟内容
CN105843390B (zh) 一种图像缩放的方法与基于该方法的ar眼镜
US11631223B2 (en) Systems, methods, and storage media for conveying virtual content at different locations from external resources in an augmented reality environment
US20210150774A1 (en) Method, device, and system for delivering recommendations
JP2014182597A (ja) 仮想現実提示システム、仮想現実提示装置、仮想現実提示方法
CN109074679A (zh) 具有增强现实强化的基于场景的实时广告
US20230260219A1 (en) Systems and methods for displaying and adjusting virtual objects based on interactive and dynamic content
CN110787451B (zh) 利用人物角色的图像定制
US20230259249A1 (en) Systems and methods for displaying and adjusting virtual objects based on interactive and dynamic content
CN108140124A (zh) 提示信息确定方法、装置、电子设备和计算机程序产品
US20240087221A1 (en) Method and apparatus for determining persona of avatar object in virtual space
CN109922207A (zh) 一种动态调整应用软件交互界面的方法
US20240103707A1 (en) Methods for time of day adjustments for environments and environment presentation during communication sessions
US20240160282A1 (en) Systems and methods for displaying and adjusting virtual objects based on interactive and dynamic content

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
EXSB Decision made by sipo to initiate substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant