CN110968188A - 基于头部位置的应用程序放置 - Google Patents

基于头部位置的应用程序放置 Download PDF

Info

Publication number
CN110968188A
CN110968188A CN201910868273.0A CN201910868273A CN110968188A CN 110968188 A CN110968188 A CN 110968188A CN 201910868273 A CN201910868273 A CN 201910868273A CN 110968188 A CN110968188 A CN 110968188A
Authority
CN
China
Prior art keywords
user interface
head
location
head position
range
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910868273.0A
Other languages
English (en)
Other versions
CN110968188B (zh
Inventor
A·M·伯恩斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apple Inc
Original Assignee
Apple Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Apple Inc filed Critical Apple Inc
Publication of CN110968188A publication Critical patent/CN110968188A/zh
Application granted granted Critical
Publication of CN110968188B publication Critical patent/CN110968188B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04812—Interaction techniques based on cursor appearance or behaviour, e.g. being affected by the presence of displayed objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/451—Execution arrangements for user interfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/20—Linear translation of whole images or parts thereof, e.g. panning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本公开涉及基于头部位置的应用程序放置。本公开涉及确定在计算机生成的现实环境中查看用户界面的用户的头部位置何时不处于舒适和/或符合人体工程学的位置并且正在重新定位所显示的用户界面使得用户将重新定位她/他的头部以在更舒适和/或符合人体工程学的头部位置处查看用户界面。

Description

基于头部位置的应用程序放置
相关申请的交叉引用
本专利申请要求于2018年9月28日提交的名称为“APPLICATION PLACEMENT BASEDON HEAD POSITION”的美国临时专利申请号62/738,927的优先权，该专利申请的内容据此以引用方式并入。
技术领域
本公开总体涉及计算机生成的现实体验，并且更具体地涉及对计算机生成的现实对象进行重新定位，以促进人体工程学姿势。
背景技术
在计算机生成的现实体验期间改善用户舒适性和体验是有益的。
发明内容
本公开描述了用于在用户正在查看计算机生成的现实环境中的用户界面并正在重新定位计算机生成的现实内容使得用户能够从更舒适和/或符合人体工程学的头部位置查看计算机生成的现实内容的同时确定用户的头部位置是否处于人体工程学位置的技术。
在一些实施方案中，描述了一种方法。该方法包括：在计算机生成的现实环境中的第一位置处显示用户界面；获得第一头部位置，其中第一头部位置使用一个或多个传感器获得；以及根据第一头部位置位于位置范围之外的确定：在该计算机生成的现实环境中的第二位置处显示该用户界面，其中第二位置对应于在位置范围内的第二头部位置。
在一些实施方案中，用户界面基于所检测到的第一头部位置在计算机生成的现实环境中的第二位置处显示。在一些实施方案中，在第二位置处的所显示的用户界面可从第二头部位置查看，但不可查看或从第一头部位置仅部分地查看。第二头部位置允许用户界面的视线从正向矢量在预定度数内显示在第二位置处。
该方法还包括如果第一头部位置在位置范围之外，则显示通知。在一些实施方案中，处于位置范围之外的第一头部位置位于位置的警告范围内。该方法包括如果第一头部位置位于位置的警告范围之外或位于位置的警告范围之外持续的时间超过预定时间段，则显示通知。
在一些实施方案中，根据第一头部位置位于位置范围之外的确定，用户设备通过应用程序编程接口接收用户界面应被移动到不同位置的指示。在一些实施方案中，用于获得头部位置的一个或多个传感器位于外部设备上，该外部设备与正在显示所述用户界面的电子设备是不同的。在一些实施方案中，当第一头部位置位于位置范围之外时，用户界面不再显示在计算机生成的现实环境中的第一位置处。在一些实施方案中，当第一头部位置位于位置范围之外时，计算机生成的现实环境不再被显示。注视和姿势可以是用于确定第一头部位置是否位于位置范围之外的因素。在一些实施方案中，当第一头部位置位于位置范围内时，用户界面不移动到第二位置。
在一些实施方案中，在计算机生成的现实环境中的第一位置处的显示的用户界面对应于第一应用程序，并且该方法还包括：在第一位置中显示第一应用程序的用户界面时，从不同于第一应用程序的第二应用程序接收通知；在计算机生成的现实环境中在第三位置处显示通知；响应于接收到的所述通知，获得第三头部位置，其中所述第三头部位置使用一个或多个传感器获得，并且所述第三头部位置不同于所述第一头部位置；并且根据第三头部位置位于位置范围之外的确定：在计算机生成的现实环境中的第四位置处显示通知，其中第四位置对应于第三头部位置，所述第三头部位置被移动到在位置范围内的第四头部位置。
在一些实施方案中，根据权利要求1所述的方法还包括：当用户界面在第一位置中时，在该用户界面的顶部处的第三位置处显示一行图标，其中第三位置对应于在位置范围之外的第三头部位置；以及根据第三头部位置位于位置范围之外的确定，在该用户界面中的第四位置处显示该行的图标，其中第四位置低于在用户界面中的第三位置，并且第四位置对应于在位置范围内的第四头部位置。
在一些实施方案中，根据权利要求1所述的方法还包括：在该用户界面的底部处的第三位置处显示一行图标，其中第三位置对应于在位置范围之外的第三头部位置；以及根据第三头部位置位于位置范围之外的确定，在该用户界面中的第四位置处显示该行的图标，其中第四位置高于在用户界面中的第三位置，并且第四位置对应于在位置范围内的第四头部位置。
在一些实施方案中，描述了一种非暂态计算机可读介质。一种非暂态计算机可读存储介质，该非暂态计算机可读存储介质包括被配置为由电子设备的一个或多个处理器执行的一个或多个程序，该一个或多个程序包括用于执行以下操作的指令：在计算机生成的现实环境中的第一位置处显示用户界面；获得第一头部位置，其中第一头部位置使用一个或多个传感器获得；以及根据第一头部位置位于位置范围之外的确定：在该计算机生成的现实环境中的第二位置处显示该用户界面，其中第二位置对应于在位置范围内的第二头部位置。
根据一些实施方案，描述了一种暂态计算机可读介质。一种暂态计算机可读存储介质，该非暂态计算机可读存储介质包括被配置为由电子设备的一个或多个处理器执行的一个或多个程序，该一个或多个程序包括用于执行以下操作的指令：在计算机生成的现实环境中的第一位置处显示用户界面；获得第一头部位置，其中第一头部位置使用一个或多个传感器获得；以及根据第一头部位置位于位置范围之外的确定：在该计算机生成的现实环境中的第二位置处显示该用户界面，其中第二位置对应于在位置范围内的第二头部位置。
在一些实施方案中，描述了一种电子设备。该电子设备包括：存储器，该存储器存储被配置为由一个或多个处理器执行的一个或多个程序，该一个或多个程序包括用于执行以下操作的指令：在计算机生成的现实环境中的第一位置处显示用户界面；获得第一头部位置，其中第一头部位置使用一个或多个传感器获得；以及根据第一头部位置位于位置范围之外的确定：在该计算机生成的现实环境中的第二位置处显示该用户界面，其中第二位置对应于在位置范围内的第二头部位置。
在一些实施方案中，描述了一种电子设备。该电子设备包括：用于将用户界面显示在计算机生成的现实环境中的第一位置处的装置；用于获得第一头部位置的装置，其中第一头部位置使用一个或多个传感器获得；以及用于根据第一头部位置位于位置范围之外的确定的装置：用于在该计算机生成的现实环境中的第二位置处显示该用户界面的装置，其中第二位置对应于位置范围内的第二头部位置。
附图说明
在下面的描述中，参考构成本公开一部分，且示出本公开的若干个示例的附图。应当理解，其他示例也可被利用，并且在不脱离本公开的范围的情况下可进行结构改变以及操作改变。在不同附图中使用相同的附图符号表示相似或相同项目。
图1A至图1B示出了在各种计算机生成的现实技术中使用的示例性系统。
图2A至图2E描绘了确定用户何时正在未符合人体工程学的头部位置处查看计算机生成的现实环境中的用户界面并且正在重新定位用户界面使得其能够从更舒适和/或符合人体工程学的头部位置被查看的示例。
图3A-图3C描绘了重新定位在相对于所显示的用户界面的位置被显示在未符合人体工程学的观察位置中的通知使得通知可从更符合人体工程学的头部位置被查看的示例。
图4A至图4F描绘了确定用户是否正在观看处于未符合人体工程学的观察位置的用户界面的边缘处或之外的部件并且将该部件重新定位在用户界面内使得其可从更符合人体工程学的头部位置被查看的示例。
图5描绘了一种用于确定用户何时在未符合人体工程学的头部位置处查看计算机生成的现实环境中的用户界面中的用户界面对象并将用户界面对象重新定位在用户界面内使得其可从更符合人体工程学的头部位置被查看的方法。
具体实施方式
以下描述阐述了示例性方法、参数等。然而，应当认识到，此类描述并非意在限制本公开的范围，而是作为对示例性实施方案的描述来提供。
本公开提供了用于用户设备和外部设备的技术，所述用户设备和外部设备在用户正在查看计算机生成的现实环境中的用户界面时检测和获得用户的生物特征，所述生物特征包括用户的头部位置、姿势和注视。所测量的生物特征被用于确定用户的头部位置是否在位置范围内。例如，用户可查看用户界面的导致用户将她/他的头部向下倾斜一段较长时间的部分。当用户的头部位置被确定为处于某些位置时，用户界面被移动到新位置，使得其可从更符合人体工程学的头部位置被查看到。例如，定位在计算机生成的现实环境的底部的用户界面，其在计算机生成的现实环境中向上移动可对用户的眼睛或颈部施加压力以进行观看，，使得用户界面现在处于用户的直视视线中。重新定位用户界面导致用户将她/他的头部从先前的头部向下位置提升至符合人体工程学的位置，以在新位置处查看用户界面。在一些示例中，当用户的头部位置在某个范围内(例如，具有欠佳的人体工程学)时，计算机生成的现实系统移动某些计算机生成的现实对象，使得它们与用户的视线更符合人体工程学上的对齐。在一些示例中，当用户的头部位置在某个范围之外(例如，具有改善的人体工程学)时，计算机生成的现实系统移动某些计算机生成的实际对象，使得它们与用户的视线更符合人体工程学上的对齐。
如下文更详细所述，用户可选择性地阻止包括头部位置和姿势信息的生物特征数据的使用或访问。例如，实现本发明技术的系统可允许用户“选择”或“选择退出”本文所述的特征。
本发明描述了与各种计算机生成的现实技术有关的使用此类系统的电子系统和技术的各种实施方案，包括虚拟现实和混合现实(其结合了来自物理环境的感官输入)。
物理环境(或真实环境)是指人们在没有电子系统帮助的情况下能够感测和/或交互的物理世界。物理环境诸如物理公园包括物理物品(或物理对象或真实对象)，诸如物理树木、物理建筑物和物理人。人们能够诸如通过视觉、触觉、听觉、味觉和嗅觉来直接感测物理环境和/或与物理环境交互。
相反，计算机生成现实(CGR)环境是指人们经由电子系统感知和/或交互的完全或部分模拟的环境。在CGR中，跟踪人的物理运动的一个子集或其表示，并且作为响应，以符合至少一个物理定律的方式调节在CGR环境中模拟的一个或多个虚拟对象的一个或多个特征。例如，CGR系统可以检测人的头部转动，并且作为响应，以与此类视图和声音在物理环境中变化的方式类似的方式调节呈现给人的图形内容和声场。在一些情况下(例如，出于可达性原因)，对CGR环境中虚拟对象的特征的调节可以响应于物理运动的表示(例如，声音命令)来进行。
人可以利用其感官中的任一者来感测CGR对象和/或与CGR对象交互，包括视觉、听觉、触觉、味觉和嗅觉。例如，人可以感测音频对象和/或与音频对象交互，该音频对象创建3D或空间音频环境，该3D或空间音频环境提供3D空间中点音频源的感知。又如，音频对象可以使能音频透明度，该音频透明度在有或者没有计算机生成的音频的情况下选择性地引入来自物理环境的环境声音。在某些CGR环境中，人可以感测和/或只与音频对象交互。
CGR的示例包括虚拟现实和混合现实。
虚拟现实(VR)环境(虚拟环境)是指被设计成对于一个或多个感官完全基于计算机生成的感官输入的模拟环境。VR环境包括人可以感测和/或交互的多个虚拟对象。例如，树木、建筑物和代表人的化身的计算机生成的图像是虚拟对象的示例。人可以通过在计算机生成的环境内人的存在的模拟、和/或通过在计算机生成的环境内人的物理运动的一个子组的模拟来感测和/或与VR环境中的虚拟对象交互。
与被设计成完全基于计算机生成的感官输入的VR环境相比，混合现实(MR)环境是指被设计成除了包括计算机生成的感官输入(例如，虚拟对象)之外还引入来自物理环境的感官输入或其表示的模拟环境。在虚拟连续体上，混合现实环境是完全物理环境作为一端和虚拟现实环境作为另一端之间的任何状况，但不包括这两端。
在一些MR环境中，计算机生成的感官输入可以对来自物理环境的感官输入的变化进行响应。另外，用于呈现MR环境的一些电子系统可以跟踪相对于物理环境的位置和/或取向，以使虚拟对象能够与真实对象(即，来自物理环境的物理物品或其表示)交互。例如，系统可以导致运动使得虚拟树木相对于物理地面看起来是静止的。
混合现实的示例包括增强现实和增强虚拟。
增强现实(AR)环境是指其中一个或多个虚拟对象叠加在物理环境或其表示之上的模拟环境。例如，用于呈现AR环境的电子系统可具有透明或半透明显示器，人可以透过该显示器直接查看物理环境。该系统可以被配置为在透明或半透明显示器上呈现虚拟对象，使得人利用该系统感知叠加在物理环境之上的虚拟对象。另选地，系统可以具有不透明显示器和一个或多个成像传感器，成像传感器捕获物理环境的图像或视频，这些图像或视频是物理环境的表示。系统将图像或视频与虚拟对象组合，并在不透明显示器上呈现组合物。人利用系统经由物理环境的图像或视频而间接地查看物理环境，并且感知叠加在物理环境之上的虚拟对象。如本文所用，在不透明显示器上显示的物理环境的视频被称为“透传视频”，意味着系统使用一个或多个图像传感器捕获物理环境的图像，并且在不透明显示器上呈现AR环境时使用那些图像。进一步另选地，系统可以具有投影系统，该投影系统将虚拟对象投射到物理环境中，例如作为全息图或者在物理表面上，使得人利用该系统感知叠加在物理环境之上的虚拟对象。
增强现实环境也是指其中物理环境的表示被计算机生成的感官信息进行转换的模拟环境。例如，在提供透传视频中，系统可以对一个或多个传感器图像进行转换以施加与成像传感器所捕获的视角不同的选择视角(例如，视点)。又如，物理环境的表示可以通过图形地修改(例如，放大)其部分而进行转换，使得修改后的部分可以是原始捕获图像的代表性的但不是真实的版本。再如，物理环境的表示可以通过以图形方式消除或模糊其部分而进行转换。
增强虚拟(AV)环境是指虚拟或计算机生成环境结合了来自实体环境的一项或多项感官输入的模拟环境。感官输入可以是物理环境的一个或多个特征的表示。例如，AV公园可以具有虚拟树木和虚拟建筑物，但人的脸部是从对物理人拍摄的图像逼真再现的。又如，虚拟对象可以采用一个或多个成像传感器所成像的物理物品的形状或颜色。再如，虚拟对象可以采用符合太阳在物理环境中的位置的阴影。
有许多不同类型的电子系统使人能够感测和/或与各种CGR环境交互。示例包括头戴式系统、基于投影的系统、平视显示器(HUD)、集成有显示能力的车辆挡风玻璃、集成有显示能力的窗户、被形成为被设计用于放置在人眼睛上的透镜的显示器(例如，类似于隐形眼镜)、耳机/听筒、扬声器阵列、输入系统(例如，具有或没有触觉反馈的可穿戴或手持控制器)、智能电话、平板电脑、和台式/膝上型计算机。头戴式系统可以具有一个或多个扬声器和集成的不透明显示器。另选地，头戴式系统可以被配置为接收外部不透明显示器(例如，智能电话)。头戴式系统可以结合用于捕获物理环境的图像或视频的一个或多个成像传感器、和/或用于捕获物理环境的音频的一个或多个麦克风。头戴式系统可以具有透明或半透明显示器，而不是不透明显示器。透明或半透明显示器可以具有媒介，代表图像的光通过该媒介被引导到人的眼睛。显示器可以利用数字光投影、OLED、LED、uLED、硅基液晶、激光扫描光源或这些技术的任意组合。媒介可以是光学波导、全息图媒介、光学组合器、光学反射器、或它们的任意组合。在一个实施方案中，透明或半透明显示器可被配置为选择性地变得不透明。基于投影的系统可以采用将图形图像投影到人的视网膜上的视网膜投影技术。投影系统也可以被配置为将虚拟对象投影到物理环境中，例如作为全息图或在物理表面上。
图1A和图1B示出了在各种计算机生成的现实技术中使用的示例性系统100。
在一些实施方案中，如图1A所示，系统100包括设备100a。设备100a包括各种部件，诸如处理器102、RF电路104、存储器106、图像传感器108、取向传感器110、麦克风112、位置传感器116、扬声器118、显示器120和触敏表面122。这些部件任选地通过设备100a的通信总线150进行通信。
在一些实施方案中，系统100的元件在基站设备(例如，计算设备，诸如远程服务器、移动设备或膝上型计算机)中实现，并且系统100的其他元件在设计成由用户佩戴的头戴式显示器(HMD)设备中实现，其中HMD设备与基站设备通信。在一些示例中，设备100a在基站设备或HMD设备中实现。
如图1B所示，在一些实施方案中，系统100包括两个(或更多个)通信中的设备，诸如通过有线连接或无线连接。第一设备100b(例如，基站设备)包括处理器102、RF电路104和存储器106。这些部件可选地通过设备100b的通信总线150进行通信。第二设备100c(例如，头戴式设备)包括各种部件，诸如处理器102、RF电路104、存储器106、图像传感器108、取向传感器110、麦克风112、位置传感器116、扬声器118、显示器120和触敏表面122。这些部件可选地通过设备100c的通信总线150进行通信。
在一些实施方案中，系统100为移动设备。在一些实施方案中，系统100为头戴式显示器(HMD)设备。在一些实施方案中，系统100为可穿戴HUD设备。
系统100包括处理器102和存储器106。处理器102包括一个或多个通用处理器、一个或多个图形处理器、和/或一个或多个数字信号处理器。在一些实施方案中，存储器106是存储计算机可读指令的一个或多个非暂态计算机可读存储介质(例如，闪存存储器，随机存取存储器)，所述计算机可读指令被配置为由处理器102执行以执行下述技术。
系统100包括RF电路104。RF电路104可选地包括用于与电子设备、网络(诸如互联网、内联网)和/或无线网络(诸如蜂窝网络和无线局域网(LAN))通信的电路。RF电路104可选地包括用于使用近场通信和/或短程通信(诸如
Figure BDA0002201945000000091
)进行通信的电路。
系统100包括显示器120。在一些示例中，显示器120包括第一显示器(例如，左眼显示器面板)和第二显示器(例如，右眼显示器面板)，每个显示器用于向用户的相应眼睛显示图像。对应的图像同时显示在第一显示器和第二显示器上。可选地，对应的图像包括来自不同视点的相同虚拟对象和/或相同物理对象的表示，从而产生视差效应，该视差效应向用户提供显示器上对象的立体感效应。在一些示例中，显示器120包括单个显示器。对于用户的每只眼睛，对应的图像同时显示在单个显示器的第一区域和第二区域上。可选地，对应的图像包括来自不同视点的相同虚拟对象和/或相同物理对象的表示，从而产生视差效应，该视差效应向用户提供单个显示器上对象的立体感效应。
在一些实施方案中，系统100包括用于接收用户输入的触敏表面122，诸如轻击输入和轻扫输入。在一些示例中，显示器120和触敏表面122形成触敏显示器。
系统100包括图像传感器108。图像传感器108可选地包括一个或多个可见光图像传感器(诸如电荷耦合设备(CCD)传感器)和/或可操作以从真实环境获得物理对象的图像的互补金属氧化物半导体(CMOS)传感器。图像传感器还可选地包括一个或多个红外(IR)传感器，诸如无源IR传感器或有源IR传感器，用于检测来自真实环境的红外光。例如，有源IR传感器包括IR发射器，诸如IR点发射器，用于将红外光发射到真实环境中。图像传感器108还可选地包括一个或多个事件相机，这些事件相机被配置为捕获真实环境中的物理对象的移动。图像传感器108还可选地包括一个或多个深度传感器，这些深度传感器被配置为检测物理对象与系统100的距离。在一些示例中，系统100组合使用CCD传感器、事件相机和深度传感器来检测系统100周围的物理环境。在一些示例中，图像传感器108包括第一图像传感器和第二图像传感器。第一图像传感器和第二图像传感器可选地被配置为从两个不同的视角捕获真实环境中的物理对象的图像。在一些示例中，系统100使用图像传感器108来接收用户输入，诸如手势。在一些示例中，系统100使用图像传感器108来检测系统100和/或显示器120在真实环境中的位置和取向。例如，系统100使用图像传感器108来跟踪显示器120相对于真实环境中的一个或多个固定对象的位置和取向。
在一些实施方案中，系统100包括麦克风112。系统100使用麦克风112来检测来自用户和/或用户的真实环境的声音。在一些示例中，麦克风112包括麦克风阵列(包括多个麦克风)，其任选地串联操作，以便识别环境噪声或在真实环境的空间中定位声源。
系统100包括用于检测系统110和/或显示器100的取向和/或移动的取向传感器120。例如，系统100使用取向传感器110来跟踪系统100和/或显示器120的位置和/或取向的变化，诸如关于真实环境中的物理对象。取向传感器110可选地包括一个或多个陀螺仪和/或一个或多个加速度计。
参照图2A至图2E，示出了用于在用户正在CGR环境中查看所显示的用户界面并且重新定位用户界面的位置以使得用户将她/他的头部移动到更佳的人体工程学位置时确定用户的头部位置的示例性技术。
在图2A中，用户220在头部位置200A处在示例性CGR环境中的位置210A处查看示例性用户界面202。在一些实施方案中，用户界面202包括在CGR环境中显示的CGR内容。在一些实施方案中，用户的头部位置200A处于符合人体工程学的位置200A，而用户220正在CGR环境中的对应第一位置210A处查看用户界面202。在一些实施方案中，用户的头部位置移动到未符合人体工程学的位置(例如，头部位置200B和200C)，而用户220在CGR环境中的对应第一位置210A处正查看示例性用户界面202。虽然图2A至图2E主要相对于示例性用户界面202进行描述，但相同(或类似的)技术可以更一般地用于定位、重新定位和查看一个或多个虚拟对象，而不是(或除了)用户界面202。例如，虚拟对象可被定位和/或重新定位在CGR环境中，而不是用户界面202中。
在用户220正在查看用户界面202时，用户头部位置200A被一个或多个传感器212检测到。在一些实施方案中，一个或多个传感器212包括红外相机传感器或可见光传感器。在一些实施方案中，一个或多个传感器212是外部设备212(诸如外部相机)的一部分。在一些实施方案中，一个或多个传感器被集成到由用户220穿戴的头部安装式显示器(HMD)214中。在一些实施方案中，头部位置由外部装置212上的传感器测量并提供给HMD 214。在一些实施方案中，用户220的头部位置200A由HMD 214中的传感器使用加速度计或陀螺仪直接测量，以确定用户头部的位置。
在一些实施方案中，基于当前检测到的头部位置200A的定位，在计算机生成的现实环境内的第一位置210A处显示示例性用户界面202。在一些实施方案中，HMD 214使用所检测的头部位置200A来确定示例性用户界面202在计算机生成的现实环境中被显示的第一位置210A。在一些实施方案中，HMD 214使用所检测的注视信息和/或用户姿势来确定在计算机生成的现实环境中显示示例性用户界面202所在的第一位置210A。在一些实施方案中，在第一位置210A处显示用户界面202导致示例性用户界面202在头部位置200A处对用户220可见。
在图2A中，用户的头部位置200A在头部位置204的范围(例如，符合人体工程学的范围)内，所述头部位置对应于一组所期望的人体工程学的头部位置。在一些实施方案中，头部位置204的符合人体工程学的范围是一组头部位置，该头部位置的集合适于查看在位置210A处的示例性用户界面202。在一些实施方案中，头部位置204的符合人体工程学的范围包括头部位置的集合，其中在特定头部位置200A处的用户视线224与正向矢量222之间的角度在第一阈值度数内。例如，当用户的头部位置在位置200A处时，其中视线224平行于向前矢量222，如图2A所示，视线224与向前矢量222之间的度数为零度数。在一些示例中，当用户的头部处于倾斜位置(例如，位置200B、200C)时，用户的视线224与向前矢量222之间的角度大于零度数(例如，15度)，如图2B所示。在一些实施方案中，阈值度数是基于偏航、俯仰或滚动的变化程度或来自向前矢量222的特性的组合。在一些实施方案中，头部位置204的符合人体工程学的范围基于附加特征，诸如用户的注视和姿势。
在一些实施方案中，用户220正在观看使得用户202将她/他的头部位置220移动到头部位置(例如，200B和200C)的示例性用户界面202，所述头部位置在头部位置204的符合人体工程学的范围之外(例如，范围206和208)，如图2B和图2C所示。在一些实施方案中，当用户的头部位置的节距(例如，头部在向上或向下的方向上的倾斜)超过阈值度数时，头部位置位于头部位置204的符合人体工程学的范围之外。在一些实施方案中，当用户的头部位置的滚动(例如，当用户向左或向右倾斜她/他的头部时)超过阈值度数时，头部位置位于头部位置204的符合人体工程学的范围之外。在一些实施方案中，当用户的头部位置(例如，当用户向左或向右转动她/他的头部时)的偏航超过阈值度数时，头部位置位于头部位置204的符合人体工程学的范围之外。
在一些实施方案中，当用户的头部位置在头部位置204的符合人体工程学的范围之外时，用户界面202移动到新位置，使得用户可从更符合人体工程学的头部位置(例如，头部位置200A和200D)查看用户界面202。在一些实施方案中，HMD 214确定是否将用户界面202移动到新位置。在一些实施方案中，HMD 214使用应用编程接口(API)来获得关于用户的头部位置何时在头部位置204的符合人体工程学的范围之外的信息。在一些实施方案中，当检测到用户的头部位置在头部位置的符合人体工程学的范围之外时，HMD 214使用API来通知与用户界面202相关联的应用程序以重新定位用户界面202的位置。在一些实施方案中，应用程序通过API获得注视信息、与姿势相关的信息以及与用户的头部位置相关的信息。
在图2B所示，用户220在位置210B处向上查看示例性用户界面202，使得用户220将她/他的头部移动到头部位置200B，该头部位置处于位于头部位置204的符合人体工程学的范围之外的位置206的警告范围内。在一些实施方案中，位置206的警告范围包括头部位置，所述头部位置在头部位置204的符合人体工程学的范围的边界处的头部位置与在头部位置208的不期望范围的边界处的头部位置之间。在一些实施方案中，头部位置206的警告范围包括一组头部位置，头部位置的集合是距头部位置的符合人体工程学的范围内的头部位置的阈值度数。在一些实施方案中，位置206的警告范围内的头部位置的子集也在头部位置204的符合人体工程学的范围内。在一些实施方案中，头部位置206的警告范围中的一组头部位置是头部位置204的符合人体工程学的范围内的头部位置的集合的子集。在一些实施方案中，位置206的警告范围内的头部位置的集合与在头部位置204的符合人体工程学的范围内的头部位置的集合是相互排斥的。在一些实施方案中，位置206的警告范围包括也处于不期望的位置208范围内的一组头部位置。在一些实施方案中，位置206的警告范围内的头部位置的集合是位置208的不期望范围内的头部位置的集合的子集。在一些实施方案中，位置206的警告范围内的头部位置与位置208的不期望范围内的头部位置是相互排斥的。
在图2B中，根据用户的头部位置200B位于位置206的警告范围内的确定，在示例性用户界面202中显示通知230，指示用户的头部位置200B处于未符合人体工程学的位置中。在一些实施方案中，通知230包括指示用户220应当将她/他的头部位置移动到更符合人体工程学的位置(例如，头部位置200D)的信息。在一些实施方案中，通知230提供关于用户220应将她/他的头部移动到更符合人体工程学的位置所在的位置的细节。在一些实施方案中，当用户的头部位置在超出阈值时间段已被定位在位置206的警告范围内的未符合人体工程学的位置(例如，头部位置200B)时，显示通知230。在一些实施方案中，用户可在不移动她/他的头部位置的情况下退出通知230。
图2C示出了用户220何时在位置210C处的示例性用户界面202处正向上观察，使得用户220移动她/他的头部位置200C处于超出位置206的警告范围的不期望的位置208的范围内。在一些实施方案中，位置208的符合人体工程学的范围包括一组头部位置，头部位置的集合位于头部位置204的符合人体工程学的范围的边界之外。在一些实施方案中，头部位置208的未符合人体工程学的范围包括一组头部位置，头部位置的集合是距在头部位置的符合人体工程学的范围内的头部位置的阈值度数。在一些实施方案中，头部位置208的未符合人体工程学的范围包括一组头部位置，头部位置的集合是距头部位置的警告范围内的头部位置的阈值度数。
在一些实施方案中，根据用户的头部位置200C位于位置208的不期望范围内，在示例性用户界面202中显示通知230，指示用户220的头部位置200C处于未符合人体工程学的位置。在一些实施方案中，通知230报告用户220该用户220应当将她/他的头部位置移动到更符合人体工程学的位置(例如，头部位置200D)。在一些实施方案中，当用户的头部位置在超出阈值时间段已被定位位置208的不期望范围内的未符合人体工程学的位置(例如，头部位置200C)时，显示通知208。在一些实施方案中，用户可在不移动她/他的头部位置的情况下退出通知230。
在图2D中，示例性用户界面202被重新定位到第二位置(例如，位置210D)，使得用户220将她/他的头部移动到新的头部位置(例如，头部位置200D)，该新头部位置处于位于位置204的符合人体工程学的范围内的人体工程学位置中。在一些实施方案中，用户界面202可从符合人体工程学的第二位置(例如，位置210D)查看，但不可查看或从未符合人体工程学的第一头部位置(例如，位置210B或210C)仅部分地可查看。在一些实施方案中，如果用户的头部位置200A已经处于位置204的符合人体工程学的范围内的人体工程学位置中，则用户界面202不被重新定位到第二位置。在一些实施方案中，通过确定将导致用户将她/他的姿势改变为符合人体工程学的姿势的头部位置来确定第二头部位置。在一些实施方案中，使用用户头部相对于用户颈部与脊柱之间的角度来确定将导致良好姿势的头部位置。在一些实施方案中，第二头部位置允许视线222在距向前矢量的阈值度数内。在一些实施方案中，阈值度数是预先确定的。
在图2E中，当用户的头部位置被确定成处于未符合人体工程学的头部位置200E中时，用户界面202停止显示而不是被重新定位。在一些实施方案中，如果用户在阈值时间段内没有将她/他的头部从未符合人体工程学的头部位置200E移动，则用户界面202停止被显示。在一些实施方案中，如果在警告用户用户的头部位置处于未符合人体工程学的位置的通知230已经被显示之后在阈值时间段之后用户没有移动她/他的头部，则用户界面202停止被显示。在一些实施方案中，计算机生成的现实环境停止被显示，而不是停止显示用户界面202。在一些实施方案中，HMD 214向与用户界面202相关联的应用程序发送停止被显示的指示。
图3A至图3C示出了当用户302正在查看与定位在第一位置310A处的第一应用程序相关联的用户界面302的同事何时接收来自应用程序的传入通知330。在一些实施方案中，第一应用程序和第二应用程序是同一应用程序。在一些实施方案中，与通知330相关联的第二应用程序与和用户界面302相关联的应用程序是不同的应用程序。虽然图3A至图3C主要相对于示例性用户界面302进行描述，但相同(或类似的)技术可以更一般地用于定位、重新定位和查看一个或多个虚拟对象，而不是(或除了)用户界面302。例如，虚拟对象可被定位和/或重新定位在CGR环境中，而不是用户界面302中。
如图3A中所示，接收到的通知330被定位在位置332A处，该位置不在对应于用户的当前头部位置300A的符合人体工程学的观察位置处。在一些实施方案中，通知330不可从符合人体工程学的头部位置300A查看到，而用户界面302在对应于符合人体工程学的头部位置300A的位置310A处。在一些实施方案中，当用户在位置310A处观看用户界面302A时，通知330被显示。
在图3B中，响应于显示通知330，用户320将她/他的头部倾斜至新头部位置300B，该新头部位置在位置306的警告范围内或位置308的未符合人体工程学的范围内，以便在位置322A处查看通知330，而用户界面302保持在初始位置310B中。在一些实施方案中，从用户视线324的视场看不到通知330，而不需要用户必须将她/他的头部从头部位置300A移动到头部位置300B。在一些实施方案中，通知330和用户界面302从用户头部位置300B不可见。在一些实施方案中，用户界面302从用户头部位置300B是部分可见的。在一些实施方案中，HMD314使用API检测通知330的位置。
图3C示出了根据检测到通知未处于符合人体工程学的可查看位置，HMD 314将通知330重新定位到新位置332B，使得用户可查看通知330，而不将她/他的头部从当前头部位置300A移动。在一些实施方案中，当通知从位置332A移动到位置332B时，用户界面302保持在同一位置310A中。在一些实施方案中，根据用户的头部位置在未符合人类工程学的位置300B中的确定，HMD 314将通知330重新定位到新位置332B，而不将用户界面302从位置310A移动，使得其可从符合人体工程学的头部位置300A查看。在一些实施方案中，在用户界面302被移动到可从符合人体工程学的头部位置300C查看的位置310A之后，将通知330从位置332A重新定位到位置332B。在一些实施方案中，通知330从用户界面302之外的位置332A重新定位到在用户界面302内的第二位置332B。
在一些实施方案中，该技术不将通知330定位在位置332A处，而是直接将通知330定位在位置332B处。该技术接收将通知330定位在CGR环境中的请求。例如，该技术将初始位置332A确定为定位通知330的位置(例如，不将通知330实际定位在CGR中的位置332A处)。又如，位置通知330的请求将初始位置332A指定为定位通知330的位置。在一些实施方案中，该技术(例如，通过分析相对于符合人体工程学和/或不符合人体工程学的头部位置的位置332A)确定初始位置332A处的定位通知330是否需要用户320的头部位置处于未符合人体工程学的位置以便查看通知330。根据确定位置332A处的定位通知330将不需要用户320的头部位置处于未符合人体工程学的位置以便查看通知330，该技术将通知330定位在位置332A处(例如，不同时将通知330放置在位置332B处)。根据确定位置332A处的定位通知330将需要用户320的头部位置处于未符合人体工程学的位置以便查看通知330，该技术将通知330定位在与初始位置332A不同的位置(例如，位置332B)(例如，并且不同时将通知330放置在位置332A处)。因此，该技术将通知330定位在CGR环境内的符合人体工程学可查看的位置。另选地，在一些实施方案中，根据确定位置332A处的定位通知330将需要用户320的头部位置处于未符合人体工程学的位置以便查看通知330，该技术放弃在CGR环境中定位通知330(例如，不将通知330定位在初始位置332A并且不将通知330定位在不同的位置，诸如位置332B处)。因此，该技术将通知330定位在CGR环境内的需要未符合人体工程学的查看的位置处。
图4A至图4F示出了当HMD 414确定用户420在不在头部位置404的符合人体工程学的范围内的头部位置(例如，头部位置400B、400E)处正观看用户界面对象430时，将用户界面对象(例如，图标)430重新定位在用户界面402内。图4A示出了在位置434A处沿用户界面402的顶部边缘定位的用户界面对象430，而用户界面402定位在位置410A处，该位置对应于符合人体工程学的头部位置400A。在一些实施方案中，当用户界面对象430(完全和/或至少部分地)定位在CGR环境中从当前头部位置400A不符合人体工程学的可查看位置时，(例如，在符合人体工程学的可查看位置)显示用户界面对象的指示(例如，轮廓、部分轮廓、虚线表示)而不是(例如，在未符合人体工程学的可查看位置处)实际的用户界面对象。在一些实施方案中，当用户界面对象的至少一部分从当前头部位置不可见时(即使用户界面对象的一部分可见)，用户界面对象处于从当前头部位置不可见的位置。在一些实施方案中，当整个用户界面对象从当前头部位置不可见时，用户界面对象处于从当前头部位置不可见的位置。在一些实施方案中，用户界面对象430定位在CGR环境中的用户界面402的外部。在一些实施方案中，用户界面对象430被定位在对应于头部位置406的警告范围内的头部位置400B的位置中。在一些实施方案中，用户界面对象430被定位在对应于头部位置408的未符合人体工程学的范围内的头部位置的位置中。虽然图4A至图4F主要相对于示例性用户界面402和示例性用户界面对象430进行描述，但相同(或类似的)技术可以更一般地用于定位、重新定位和查看虚拟对象，而不是(或除了)用户界面402和用户界面对象430。例如，第一虚拟对象可被定位和/或重新定位在CGR环境中，而不是用户界面402中。又如，一个或多个第二虚拟对象可被定位和/或重新定位在CGR环境中，而不是用户界面对象430中。
在图4B处，用户420将她/他的头部从头部位置400A移动到头部位置400B，以将用户界面对象430与位置410B处的用户界面402一起在位置434B处呈现(例如，在视线424的视场内)。需注意，基于检测到头部位置从头部位置400A到头部位置400B的变化，用户界面402中的视图已从图4A变为4B。在一些实施方案中，一旦用户界面对象430完全可见，用户界面对象430的显示就从用户界面对象的轮廓变化到实际用户界面对象。在一些实施方案中，用户420将她/他的头部从符合人体工程学的头部位置400A移动至未符合人体工程学的头部位置400B，以在位置434B处查看用户界面对象430。在一些实施方案中，用户界面对象430被定位在使得用户420将她/他的头部移动到头部位置406的警告范围内的头部位置的位置(例如，位置434B)处。在一些实施方案中，用户界面对象430被定位在使得用户420将她/他的头部移动到头部位置408的未符合人体工程学范围内的头部位置400B的位置(例如，位置434B)处。在一些实施方案中，当用户420将她/他的头部移动到位于头部位置404的符合人体工程学的范围之外的头部位置400B时，显示通知330。
图4C示出了当HMD 414检测到用户的头部位置400B在符合人体工程学的头部位置404的范围之外时重新定位用户界面对象430。在一些实施方案中，用户界面对象430被移动到用户界面402内的位置434C，所述用户界面已经定位在对应于头部位置404的符合人体工程学的范围内的符合人体工程学的头部位置400C的位置410C中。在一些实施方案中，用户界面对象430和用户界面402两者均从未符合人体工程学的位置移动到对应于头部位置404的符合人体工程学的范围内的头部位置的位置410C。需注意，尽管检测到头部位置从头部位置400B到头部位置400C的变化，但用户界面402中的视图尚未从图4B改变为4C。因此，用户420可继续查看所需的内容而不需要保持不在人体工程学范围404中的头部位置。在一些实施方案中，仅用户界面对象430从位置434B移动到位置434C，而不将CGR环境中的用户界面402的位置从位置410B移动到位置410C。
类似地，图4D示出了在位置434D处显示沿用户界面402的底部边缘定位的用户界面对象430，而用户界面402被定位在位置410D处，该位置对应于符合人体工程学的头部位置400D。在一些实施方案中，当用户界面对象430(例如，图标)被定位在CGR环境中从当前头部位置400A不可见的位置处时，(例如，在从当前头部位置400A可见的位置处)显示用户界面对象的指示(例如，轮廓、部分轮廓、虚线表示)而不是实际用户界面对象。在一些实施方案中，当用户界面对象的至少一部分从当前头部位置不可见时(即使用户界面对象的一部分可见)，用户界面对象处于从当前头部位置不可见的位置。在一些实施方案中，当整个用户界面对象从当前头部位置不可见时，用户界面对象处于从当前头部位置不可见的位置。在一些实施方案中，用户界面对象430定位在CGR环境中的用户界面402的外部。在一些实施方案中，用户界面对象430被定位在位置434E中，其对应于在头部位置406的警告范围内的头部位置400E。在一些实施方案中，用户界面对象430被定位在对应于头部位置408的未符合人体工程学的范围内的头部位置的位置中。
在图4E处，用户420将她/他的头部向下移动到头部位置400E，以将用户界面对象430在位置434E处呈现(例如，在视线424的视场内)。需注意，基于检测到头部位置从头部位置400D到头部位置400E的变化，用户界面402中的视图已从图4D变为4E。在一些实施方案中，一旦用户界面对象430完全在视场内，用户界面对象430的显示就从用户界面对象的轮廓改变为用户界面对象的实际描述。在一些实施方案中，用户420将她/他的头部从符合人体工程学的头部位置400D向下倾斜至未符合人体工程学的头部位置400E，以在位置434E处查看用户界面对象430。在一些实施方案中，在位置434E处定位用户界面对象430，该位置使得用户420将她/他的头部移动到头部位置406的警告范围内的头部位置400E。在一些实施方案中，用户界面对象430被定位在使得用户420将她/他的头部移动到头部位置408的符合人体工程学的范围内的头部位置的位置处。在一些实施方案中，当用户420将她/他的头部倾斜至位于头部位置404的符合人体工程学的范围之外的头部位置400E时，显示通知。
图4F示出了当HMD 414检测到用户的头部位置400E在符合人体工程学的头部位置404的范围之外时将用户界面对象430重新定位到新位置434F。在一些实施方案中，用户界面对象430被移动到用户界面402内的位置434F，该用户界面已经定位在位置410F中，该位置对应于头部位置404的符合人体工程学的范围内的符合人体工程学的头部位置400F。在一些实施方案中，用户界面对象430和用户界面402两者均从未符合人体工程学的位置移动到对应于头部位置404的符合人体工程学的范围内的头部位置的位置。需注意，尽管检测到头部位置从头部位置400E到头部位置400F的变化，但用户界面402中的视图尚未从图4E改变为4F。因此，用户420可继续查看所需的内容而不需要保持不在人体工程学范围404中的头部位置。在一些实施方案中，仅用户界面对象430从位置434D移动到位置434F，而不将CGR环境中的用户界面402的位置410F从位置410E移动到位置410F。
图5描绘了用于确定用户是否正在一系列头部位置处查看计算机生成的现实环境中的用户界面并且确定是否重新定位用户界面使得其可从更符合人体工程学的头部位置被查看的示例性方法500。在一些示例中，该方法通过实现系统100的示例性用户设备执行，诸如上文所述。
在以下描述中，方法500被描述为使用示例性用户设备(例如，HMD214、314、414)来执行。应当认识到，在其他实施方案中，使用一个或更多个电子设备来执行方法500，例如通信地耦接到一个示例性外部设备(例如，相机212、312、412)的成对示例性用户设备。在一些实施方案中，方法500的操作以任何方式分布在用户设备与外部辅助设备之间。应当理解，可修改执行图5的框的顺序。此外，过程500的一个或多个框可以是任选的和/或可以执行附加框。
在框502处，示例性用户设备(例如，HMD 214、314、414)在计算机生成的现实环境内的第一位置(例如，位置210A、210B、210C、210E、310A、410A、410B)处显示用户界面(例如，用户界面202、302、402)。在一些实施方案中，将用户界面(例如，202、302、402)放置在第一位置中是基于对用户的当前头部位置的确定。在一些实施方案中，在计算机生成的现实环境中的第二位置处显示用户界面包括基于所检测的第一头部位置(例如，头部位置200A-200E、300A-300C、400A-400E)将用户界面定位在虚拟环境中。在一些实施方案中，在第一位置(例如，第一位置210A、310A、410A)处显示用户界面允许用户从符合人体工程学的头部位置查看用户界面。在一些实施方案中，在第一位置(例如，210B、210C、210E、410B、410E)处显示用户界面导致用户从未符合人体工程学的头部位置查看用户界面。
在框504处，示例性用户装置(例如，HMD 214、314、414)获得第一头部位置(例如，头部位置200A-200E、300A-300C、400A-400E)，其中使用一个或多个传感器(例如，传感器212、312、412)来获得第一头部位置。在一些实施方案中，一个或多个传感器包括红外相机传感器和可见光传感器。在一些实施方案中，一个或多个传感器与示例性用户设备集成。在一些实施方案中，一个或多个传感器位于外部设备上，所述外部设备与正在显示用户界面的用户设备不同。在一些实施方案中，示例性用户设备基于从示例性用户设备获得的数据来获得第一头部位置。在一些实施方案中，数据包括注视、姿势和头部位置。在一些实施方案中，示例性用户设备使用API来获的关于用户的头部位置的信息。
在框506处，根据第一头部位置(例如，头部位置200B、200C、200E、300B、400B、400E)位于位置的范围(例如，范围204、304、404)之外的确定，示例性用户设备(例如，HMD214、314、414)在计算机生成的现实环境中的第二位置(例如，位置210D，对应于头部位置300C、410C、410F)处显示用户界面(例如，用户界面202、302、402)，其中所述第二位置对应于在位置范围内的第二头部位置(例如，200D、300C、400C、400F)(例如，处于符合人体工程学的可查看位置)。
在一些实施方案中，如果其在头部位置的符合人体工程学的范围之外，则第一头部位置在位置的范围之外。在一些实施方案中，第一头部位置在头部位置的符合人体工程学的范围之外，所述头部位置包括头部位置的集合，其中在该第一头部位置处的用户视线与向前矢量之间的角度大于阈值度数。在一些实施方案中，头部位置的位置的符合人体工程学的范围基于头部位置的范围，其中阈值的度数是基于偏航、俯仰或滚动的变化程度或来自向前矢量222的值的组合。在一些实施方案中，头部位置的符合人体工程学的范围基于附加因素，诸如用户的注视和姿势。
在一些实施方案中，用户界面被移动到第二位置，使得用户界面课从符合人体工程学的头部位置查看。在一些实施方案中，第二头部位置允许用户界面的视线在距正向矢量预定度数内的第二位置处显示。在一些实施方案中，头部位置的俯仰、滚动和偏航被认为是第二头部位置的确定因素。在一些实施方案中，将用户界面移动到第二位置导致用户将她/他的头部位置移动至在头部位置的符合人体工程学的范围内的第二头部位置。在一些实施方案中，在第二位置处的所显示的用户界面可从第二头部位置查看，但不可查看或从第一头部位置仅部分地查看。
在框508处，根据第一头部位置(例如，头部位置200A、300A、400A)位于位置的范围(例如，范围204、304、404)内的确定，放弃在第二位置(例如，头部位置200D、300C、400C、400F)处显示用户界面(例如，用户界面202、302、402)。在一些实施方案中，第一头部位置已经处于头部位置的符合人体工程学的范围内的位置中，因此不需要将用户界面移动到新位置，以可从符合人体工程学的位置查看。
在框510处，第一头部位置(例如，头部位置200A、300A、400A)位于位置的警告范围(例如，警告范围206、306、406)内，该警告范围在位置的符合人体工程学的范围(例如，范围204、304、404)之外。在一些实施方案中，位置的警告范围包括头部位置，所述头部位置略微未符合人体工程学或是在头部位置的符合人体工程学的范围内与头部位置偏离的阈值度数。在一些实施方案中，在位置的警告范围内的头部位置的子集也在头部位置的符合人体工程学的范围内。在一些实施方案中，头部位置的警告范围中的头部位置的集合是在头部位置204的符合人体工程学的范围内的头部位置的集合的子集。在一些实施方案中，位置的警告范围与位置的符合人体工程学的范围是相互排斥的。在一些实施方案中，在位置的警告范围内的头部位置的集合是位置的不期望范围内的头部位置的子集。在一些实施方案中，在位置的警告范围内的头部位置与在位置的不期望位置范围内的头部位置是相互排斥的。
在框512处，如果第一头部位置(例如，头部位置200A、300A、400A)在头部位置符合人体工程学的范围(例如，范围204、304、404)之外，则显示通知(例如，通知330)。在一些实施方案中，如果第一头部位置位于位置的符合人体工程学的范围的位置之外超过预定时间段的持续时间，则显示通知。在一些实施方案中，如果第一头部位置位于位置的警告范围(例如，警告范围206、306、406)之外，则显示通知。在一些实施方案中，如果第一头部位置在位置的警告范围之外超过预定时间段的持续时间，则显示通知。
在框514处，根据第一头部位置(例如，头部位置200A、300A、400A)位于位置的符合人体工程学的范围(例如，范围204、304、404)之外的确定，示例性用户设备(例如，HMD 214、314、414)停止在计算机生成的现实环境内的第一位置处显示用户界面(例如，用户界面202、302、402)。在一些实施方案中，根据第一头部位置位于位置的符合人体工程学的范围之外的确定，不显示计算机生成的现实环境。
如上所述，本发明技术的一个方面是收集和使用生物识别信息，尤其是与头部位置和姿势相关的信息，以改善向计算机生成的现实内容的递送。本公开认识到在本发明技术中使用此类信息可用于使用户受益，例如改善舒适度与人体工程学。
负责收集和使用这类信息的实体应遵守既定的隐私政策和/或隐私惯例。具体地，此类实体应当实行并坚持使用被公认为满足或超出对维护个人信息数据的隐私性和安全性的行业或政府要求的隐私政策和实践。例如，本发明的技术可以避免头部位置数据在设备100外部的传输的方式来实现。另外地或除此之外，可允许用户选择和/或不选择使用本技术。实施上述特征的系统还可通知用户，设备传感器正在检测头部运动，用于在计算机生成的现实中提出物体放置建议。
因此，虽然本公开广义地涵盖诸如头部位置信息之类的生物计量学的使用，来实现一个或多个各种所公开的实施方案，但本公开还设想，也可实施各种实施方案，而无需在用户设备之外和/或以更好地与已建立的隐私政策和/或惯例结合的其它方式传递此类信息。
已经出于说明和描述的目标提供了前述具体实施方案的描述，如分别结合图1A至图5描述的。它们并非旨在穷举或将权利要求的范围限制于所公开的精确形式，并且应当理解，根据上述描述，许多修改和变型是可能的。

Claims (31)

1.一种电子设备，包括：
一个或多个处理器；和
存储器，所述存储器存储被配置为由所述一个或多个处理器执行的一个或多个程序，所述一个或多个程序包括用于执行以下操作的指令：
在计算机生成的现实环境中的第一位置处显示用户界面；
获得第一头部位置，其中所述第一头部位置使用一个或多个传感器获得；并且
根据确定所述第一头部位置位于位置范围之外：
在所述计算机生成的现实环境中的第二位置处显示所述用户界面，其中所述第二位置对应于在所述位置范围内的第二头部位置。
2.根据权利要求1所述的设备，其中在所述计算机生成的现实环境中的所述第二位置处显示所述用户界面包括基于所检测的第一头部位置将所述用户界面定位在所述计算机生成的现实环境中。
3.根据权利要求1所述的设备，其中在所述第二位置处显示的用户界面能从所述第二头部位置查看，但从所述第一头部位置不能查看或仅能部分地查看。
4.根据权利要求1所述的设备，所述一个或多个程序还包括用于执行以下操作的指令：
根据确定所述第一头部位置位于所述位置范围内，放弃在所述第二位置处显示所述用户界面。
5.根据权利要求1所述的设备，其中所述第二头部位置允许针对所述用户界面的视线在所述第二位置处显示在距向前矢量的预定度数内。
6.根据权利要求1所述的设备，所述一个或多个程序还包括用于执行以下操作的指令：
根据确定所述第一头部位置位于所述位置范围之外，通过应用程序编程接口接收所述用户界面应被移动到所述第二位置的指示。
7.根据权利要求1所述的设备，所述一个或多个程序还包括用于执行以下操作的指令：
确定所述第一头部位置是否位于所述位置范围之外，其中注视或姿势是确定所述第一头部位置是否位于所述位置范围之外的因素。
8.根据权利要求1所述的设备，其中所述一个或多个传感器位于外部设备上，所述外部设备与正在显示所述用户界面的所述电子设备不同。
9.根据权利要求1所述的设备，其中在所述计算机生成的现实环境中的所述第一位置处显示的用户界面对应于第一应用程序，所述一个或多个程序还包括用于执行以下操作的指令：
在所述第一位置中显示所述第一应用程序的所述用户界面时，从不同于所述第一应用程序的第二应用程序接收通知；
在所述计算机生成的现实环境中的第三位置处显示所述通知；
响应于接收到所述通知，获得第三头部位置，其中所述第三头部位置使用一个或多个传感器获得，并且所述第三头部位置不同于所述第一头部位置；并且
根据确定所述第三头部位置位于所述位置范围之外：
在所述计算机生成的现实环境中的第四位置处显示所述通知，其中所述第四位置对应于在所述位置范围内的第四头部位置。
10.根据权利要求1所述的设备，所述一个或多个程序还包括用于执行以下操作的指令：
当所述用户界面在所述第一位置处时，在所述用户界面上的第三位置处显示一行图标，其中所述第三位置对应于在所述位置范围之外的第三头部位置；并且
根据确定所述第三头部位置位于所述位置范围之外，在所述用户界面中的第四位置处显示所述一行图标，其中所述第四位置不同于在所述用户界面中的所述第三位置，并且所述第四位置对应于在所述位置范围内的第四头部位置。
11.一种非暂态计算机可读介质，包括被配置为由电子设备的一个或多个处理器执行的一个或多个程序，所述一个或多个程序包括用于执行以下操作的指令：
在计算机生成的现实环境中的第一位置处显示用户界面；
获得第一头部位置，其中所述第一头部位置使用一个或多个传感器获得；并且
根据确定所述第一头部位置位于位置范围之外：
在所述计算机生成的现实环境中的第二位置处显示所述用户界面，其中所述第二位置对应于在所述位置范围内的第二头部位置。
12.根据权利要求11所述的计算机可读介质，其中在所述计算机生成的现实环境中的所述第二位置处显示所述用户界面包括基于所检测的第一头部位置将所述用户界面定位在所述计算机生成的现实环境中。
13.根据权利要求11所述的计算机可读介质，其中在所述第二位置处显示的用户界面能从所述第二头部位置查看，但从所述第一头部位置不能查看或仅能部分地查看。
14.根据权利要求11所述的计算机可读介质，所述一个或多个程序还包括用于执行以下操作的指令：
根据确定所述第一头部位置位于所述位置范围内，放弃在所述第二位置处显示所述用户界面。
15.根据权利要求11所述的计算机可读介质，其中所述第二头部位置允许针对所述用户界面的视线在所述第二位置处显示在距向前矢量的预定度数内。
16.根据权利要求11所述的计算机可读介质，所述一个或多个程序还包括用于执行以下操作的指令：
根据确定所述第一头部位置位于所述位置范围之外，通过应用程序编程接口接收所述用户界面应被移动到所述第二位置的指示。
17.根据权利要求11所述的计算机可读介质，所述一个或多个程序还包括用于执行以下操作的指令：
确定所述第一头部位置是否位于所述位置范围之外，其中注视或姿势是确定所述第一头部位置是否位于所述位置范围之外的因素。
18.根据权利要求11所述的计算机可读介质，其中所述一个或多个传感器位于外部设备上，所述外部设备与正在显示所述用户界面的所述电子设备不同。
19.根据权利要求11所述的计算机可读介质，其中在所述计算机生成的现实环境中的所述第一位置处显示的用户界面对应于第一应用程序，所述一个或多个程序还包括用于执行以下操作的指令：
在所述第一位置显示所述第一应用程序的所述用户界面时，从不同于所述第一应用程序的第二应用程序接收通知；
在所述计算机生成的现实环境中的第三位置处显示所述通知；
响应于接收到所述通知，获得第三头部位置，其中所述第三头部位置使用一个或多个传感器获得，并且所述第三头部位置不同于所述第一头部位置；并且
根据确定所述第三头部位置位于所述位置范围之外：
在所述计算机生成的现实环境中的第四位置处显示所述通知，其中所述第四位置对应于在所述位置范围内的第四头部位置。
20.根据权利要求11所述的计算机可读介质，所述一个或多个程序还包括用于执行以下操作的指令：
当所述用户界面在所述第一位置处时，在所述用户界面上的第三位置处显示一行图标，其中所述第三位置对应于在所述位置范围之外的第三头部位置；并且
根据确定所述第三头部位置位于所述位置范围之外，在所述用户界面中的第四位置处显示所述一行图标，其中所述第四位置不同于在所述用户界面中的所述第三位置，并且所述第四位置对应于在所述位置范围内的第四头部位置。
21.一种方法，包括：
在计算机生成的现实环境中的第一位置处显示用户界面；
获得第一头部位置，其中所述第一头部位置使用一个或多个传感器获得；并且
根据确定所述第一头部位置位于位置范围之外：
在所述计算机生成的现实环境中的第二位置处显示所述用户界面，其中所述第二位置对应于在所述位置范围内的第二头部位置。
22.根据权利要求21所述的方法，其中在所述计算机生成的现实环境中的所述第二位置处显示所述用户界面包括基于所检测的第一头部位置将所述用户界面定位在所述计算机生成的现实环境中。
23.根据权利要求21所述的方法，其中在所述第二位置处显示的用户界面能从所述第二头部位置查看，但从所述第一头部位置不能查看或仅能部分地查看。
24.根据权利要求21所述的方法，还包括：
根据确定所述第一头部位置位于所述位置范围内，放弃在所述第二位置处显示所述用户界面。
25.根据权利要求21所述的方法，其中所述第二头部位置允许针对所述用户界面的视线在所述第二位置处显示在距向前矢量的预定度数内。
26.根据权利要求21所述的方法，还包括：
根据确定所述第一头部位置位于所述位置范围之外，通过应用程序编程接口接收所述用户界面应被移动到所述第二位置的指示。
27.根据权利要求21所述的方法，还包括：
确定所述第一头部位置是否位于所述位置范围之外，其中注视或姿势是确定所述第一头部位置是否位于所述位置范围之外的因素。
28.根据权利要求21所述的方法，其中所述一个或多个传感器位于外部设备上，所述外部设备与正在显示所述用户界面的所述电子设备不同。
29.根据权利要求21所述的方法，其中在所述计算机生成的现实环境中的所述第一位置处显示的用户界面对应于第一应用程序，并且所述方法还包括：
在所述第一位置显示所述第一应用程序的所述用户界面时，从不同于所述第一应用程序的第二应用程序接收通知；
在所述计算机生成的现实环境中的第三位置处显示所述通知；
响应于接收到所述通知，获得第三头部位置，其中所述第三头部位置使用一个或多个传感器获得，并且所述第三头部位置不同于所述第一头部位置；并且
根据确定所述第三头部位置位于所述位置范围之外：
在所述计算机生成的现实环境中的第四位置处显示所述通知，其中所述第四位置对应于在所述位置范围内的第四头部位置。
30.根据权利要求21所述的方法，还包括：
当所述用户界面在所述第一位置处时，在所述用户界面上的第三位置处显示一行图标，其中所述第三位置对应于在所述位置范围之外的第三头部位置；并且
根据确定所述第三头部位置位于所述位置范围之外，在所述用户界面中的第四位置处显示所述一行图标，其中所述第四位置不同于在所述用户界面中的所述第三位置，并且所述第四位置对应于在所述位置范围内的第四头部位置。
31.一种电子设备，包括：
用于执行根据权利要求21至30中任一项所述的方法的装置。
CN201910868273.0A 2018-09-28 2019-09-16 基于头部位置的应用程序放置 Active CN110968188B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201862738927P 2018-09-28 2018-09-28
US62/738,927 2018-09-28
US16/552,549 US11366514B2 (en) 2018-09-28 2019-08-27 Application placement based on head position
US16/552,549 2019-08-27

Publications (2)

Publication Number Publication Date
CN110968188A true CN110968188A (zh) 2020-04-07
CN110968188B CN110968188B (zh) 2022-05-03

Family

ID=69947521

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910868273.0A Active CN110968188B (zh) 2018-09-28 2019-09-16 基于头部位置的应用程序放置

Country Status (2)

Country Link
US (3) US11366514B2 (zh)
CN (1) CN110968188B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI829563B (zh) * 2022-03-23 2024-01-11 宏達國際電子股份有限公司 可穿戴追蹤系統和可穿戴追蹤方法

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019067482A1 (en) * 2017-09-29 2019-04-04 Zermatt Technologies Llc DISPLAYING APPLICATIONS IN A SIMULATED REALITY ENVIRONMENT ENVIRONMENT
US11195336B2 (en) 2018-06-08 2021-12-07 Vulcan Inc. Framework for augmented reality applications
US12003585B2 (en) 2018-06-08 2024-06-04 Vale Group Llc Session-based information exchange
US10996831B2 (en) 2018-06-29 2021-05-04 Vulcan Inc. Augmented reality cursors
US11366514B2 (en) 2018-09-28 2022-06-21 Apple Inc. Application placement based on head position
US10929982B2 (en) * 2019-01-25 2021-02-23 Google Llc Face pose correction based on depth information
WO2021061351A1 (en) 2019-09-26 2021-04-01 Apple Inc. Wearable electronic device presenting a computer-generated reality environment
DE112020001415T5 (de) 2019-09-27 2021-12-09 Apple Inc. Umgebung für Fernkommunikation
US11789266B1 (en) * 2020-06-29 2023-10-17 Snap Inc. Dynamic sensor selection for visual inertial odometry systems
JP7561009B2 (ja) * 2020-11-16 2024-10-03 任天堂株式会社 情報処理システム、情報処理プログラム、情報処理装置、および情報処理方法
US11899204B2 (en) * 2021-06-09 2024-02-13 Snap Inc. Soft follow and pitch angle effects for VR/AR interface
EP4423588A1 (en) * 2021-10-29 2024-09-04 Telefonaktiebolaget LM Ericsson (publ) Ergonomic based reconfiguration of virtual input device
US11783449B2 (en) * 2021-12-09 2023-10-10 Htc Corporation Method for adjusting displayed content based on host posture, host, and computer readable storage medium
FR3138221A1 (fr) * 2022-07-22 2024-01-26 Orange Procédé d’adaptation d’interface homme machine

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103765366A (zh) * 2011-06-28 2014-04-30 谷歌公司 使头部移动和在用户界面上显示的项目相关联的方法及系统
CN104115100A (zh) * 2012-02-17 2014-10-22 索尼公司 头戴式显示器、用于控制头戴式显示器的程序及控制头戴式显示器的方法
WO2015140106A1 (en) * 2014-03-17 2015-09-24 IT-Universitetet i København Computer-implemented gaze interaction method and apparatus
WO2016014872A1 (en) * 2014-07-25 2016-01-28 Microsoft Technology Licensing, Llc Smart placement of virtual objects to stay in the field of view of a head mounted display
CN105431763A (zh) * 2013-06-24 2016-03-23 微软技术许可有限责任公司 在佩戴移动设备时跟踪头部移动
WO2016073986A1 (en) * 2014-11-07 2016-05-12 Eye Labs, LLC Visual stabilization system for head-mounted displays
CN106716302A (zh) * 2014-09-11 2017-05-24 诺基亚技术有限公司 用于显示图像的方法、设备和计算机程序
WO2017171943A1 (en) * 2016-03-29 2017-10-05 Google Inc. Pass-through camera user interface elements for virtual reality
CN108136258A (zh) * 2015-10-28 2018-06-08 微软技术许可有限责任公司 基于跟踪眼部运动来调整图像帧

Family Cites Families (66)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4332964B2 (ja) 1999-12-21 2009-09-16 ソニー株式会社 情報入出力システム及び情報入出力方法
AU2003201032A1 (en) 2002-01-07 2003-07-24 Stephen James Crampton Method and apparatus for an avatar user interface system
US7394459B2 (en) 2004-04-29 2008-07-01 Microsoft Corporation Interaction between objects and a virtual environment display
JP5158006B2 (ja) 2009-04-23 2013-03-06 ソニー株式会社 情報処理装置、および情報処理方法、並びにプログラム
JP5263049B2 (ja) 2009-07-21 2013-08-14 ソニー株式会社 情報処理装置、および情報処理方法、並びにプログラム
JP5960796B2 (ja) 2011-03-29 2016-08-02 クアルコム，インコーポレイテッド ローカルマルチユーザ共同作業のためのモジュール式のモバイル接続ピコプロジェクタ
US20170083993A1 (en) 2011-06-17 2017-03-23 Magna Legal Services, Llc Systems, methods, and media for providing an interactive presentation to remote participants
JP5821526B2 (ja) 2011-10-27 2015-11-24 ソニー株式会社 画像処理装置、画像処理方法及びプログラム
KR20140020568A (ko) 2012-08-09 2014-02-19 삼성전자주식회사 디스플레이 장치 및 이의 제어 방법
US9202313B2 (en) 2013-01-21 2015-12-01 Microsoft Technology Licensing, Llc Virtual interaction with image projection
US20140282220A1 (en) 2013-03-14 2014-09-18 Tim Wantland Presenting object models in augmented reality images
KR102138511B1 (ko) 2013-08-28 2020-07-28 엘지전자 주식회사 헤드 마운티드 디스플레이의 화상통화를 지원하는 포터블 디바이스 및 그 제어 방법
US9630105B2 (en) * 2013-09-30 2017-04-25 Sony Interactive Entertainment Inc. Camera based safety mechanisms for users of head mounted displays
JP6618681B2 (ja) 2013-12-25 2019-12-11 キヤノンマーケティングジャパン株式会社 情報処理装置及びその制御方法及びプログラム、並びに、情報処理システム
US9244539B2 (en) * 2014-01-07 2016-01-26 Microsoft Technology Licensing, Llc Target positioning with gaze tracking
US9524588B2 (en) 2014-01-24 2016-12-20 Avaya Inc. Enhanced communication between remote participants using augmented and virtual reality
US10592929B2 (en) 2014-02-19 2020-03-17 VP Holdings, Inc. Systems and methods for delivering content
US10529359B2 (en) 2014-04-17 2020-01-07 Microsoft Technology Licensing, Llc Conversation detection
US9411412B1 (en) * 2014-06-17 2016-08-09 Amazon Technologies, Inc. Controlling a computing device based on user movement about various angular ranges
US10416760B2 (en) * 2014-07-25 2019-09-17 Microsoft Technology Licensing, Llc Gaze-based object placement within a virtual reality environment
US9858720B2 (en) 2014-07-25 2018-01-02 Microsoft Technology Licensing, Llc Three-dimensional mixed-reality viewport
US9547365B2 (en) * 2014-09-15 2017-01-17 Google Inc. Managing information display
US9665249B1 (en) * 2014-11-10 2017-05-30 Amazon Technologies, Inc. Approaches for controlling a computing device based on head movement
US9754419B2 (en) * 2014-11-16 2017-09-05 Eonite Perception Inc. Systems and methods for augmented reality preparation, processing, and application
US9696549B2 (en) 2014-12-22 2017-07-04 International Business Machines Corporation Selectively pairing an application presented in virtual space with a physical display
US9852546B2 (en) * 2015-01-28 2017-12-26 CCP hf. Method and system for receiving gesture input via virtual control objects
US10156721B2 (en) 2015-03-09 2018-12-18 Microsoft Technology Licensing, Llc User-based context sensitive hologram reaction
US10162412B2 (en) * 2015-03-27 2018-12-25 Seiko Epson Corporation Display, control method of display, and program
US20160308920A1 (en) 2015-04-16 2016-10-20 Microsoft Technology Licensing, Llc Visual Configuration for Communication Session Participants
US9880729B2 (en) 2015-07-13 2018-01-30 International Business Machines Corporation Provision of extended content on a flexible display
WO2017021902A1 (en) 2015-08-03 2017-02-09 Smartvizs Private Limited System and method for gesture based measurement of virtual reality space
US9886086B2 (en) 2015-08-21 2018-02-06 Verizon Patent And Licensing Inc. Gesture-based reorientation and navigation of a virtual reality (VR) interface
WO2017039308A1 (en) * 2015-08-31 2017-03-09 Samsung Electronics Co., Ltd. Virtual reality display apparatus and display method thereof
US10318225B2 (en) 2015-09-01 2019-06-11 Microsoft Technology Licensing, Llc Holographic augmented authoring
JP6548821B2 (ja) * 2015-09-30 2019-07-24 株式会社ソニー・インタラクティブエンタテインメント ヘッドマウントディスプレイの画面上でコンテンツの配置を最適化する方法
US10976808B2 (en) * 2015-11-17 2021-04-13 Samsung Electronics Co., Ltd. Body position sensitive virtual reality
JP6017664B1 (ja) * 2015-12-28 2016-11-02 株式会社コロプラ 情報処理方法及び情報処理プログラム
US20170232335A1 (en) 2016-02-05 2017-08-17 Prizm Labs, Inc. Physical/virtual game system and methods for manipulating virtual objects within a virtual game environment
US20170256096A1 (en) 2016-03-07 2017-09-07 Google Inc. Intelligent object sizing and placement in a augmented / virtual reality environment
US9459692B1 (en) * 2016-03-29 2016-10-04 Ariadne's Thread (Usa), Inc. Virtual reality headset with relative motion head tracker
US10403043B2 (en) 2016-04-14 2019-09-03 The Research Foundation For The State University Of New York System and method for generating a progressive representation associated with surjectively mapped virtual and physical reality image data
US10885801B2 (en) 2016-05-24 2021-01-05 Tangible Play, Inc. Virtualized tangible programming
US10802665B2 (en) 2016-10-05 2020-10-13 Motorola Solutions, Inc. System and method for projecting graphical objects
US10346117B2 (en) 2016-11-09 2019-07-09 Microsoft Technology Licensing, Llc Device having a screen region on a hinge coupled between other screen regions
CN107340853B (zh) 2016-11-18 2020-04-14 北京理工大学 一种基于虚拟现实与手势识别的远程呈现交互方法和系统
EP3337154A1 (en) * 2016-12-14 2018-06-20 Thomson Licensing Method and device for determining points of interest in an immersive content
US10627900B2 (en) 2017-03-23 2020-04-21 Google Llc Eye-signal augmented control
US10290152B2 (en) 2017-04-03 2019-05-14 Microsoft Technology Licensing, Llc Virtual object user interface display
US10747386B2 (en) * 2017-06-01 2020-08-18 Samsung Electronics Co., Ltd. Systems and methods for window control in virtual reality environment
WO2019067482A1 (en) 2017-09-29 2019-04-04 Zermatt Technologies Llc DISPLAYING APPLICATIONS IN A SIMULATED REALITY ENVIRONMENT ENVIRONMENT
US10204592B1 (en) 2017-11-30 2019-02-12 Dell Products L.P. Configuring multiple displays of a computing device to have a similar perceived appearance
CN107977586B (zh) 2017-12-22 2021-04-13 联想(北京)有限公司 显示内容处理方法、第一电子设备以及第二电子设备
US10564915B2 (en) * 2018-03-05 2020-02-18 Microsoft Technology Licensing, Llc Displaying content based on positional state
US10375313B1 (en) 2018-05-07 2019-08-06 Apple Inc. Creative camera
US10650600B2 (en) * 2018-07-10 2020-05-12 Curious Company, LLC Virtual path display
US11036284B2 (en) * 2018-09-14 2021-06-15 Apple Inc. Tracking and drift correction
US11366514B2 (en) 2018-09-28 2022-06-21 Apple Inc. Application placement based on head position
JP7081048B2 (ja) 2018-09-30 2022-06-06 華為技術有限公司 システムナビゲーションバー表示方法、システムナビゲーションバー制御方法、グラフィカルユーザインターフェース、および電子機器
US10854169B2 (en) 2018-12-14 2020-12-01 Samsung Electronics Co., Ltd. Systems and methods for virtual displays in virtual, mixed, and augmented reality
US10891921B2 (en) 2019-01-04 2021-01-12 Byton Limited Separate operating systems for dashboard display
US11159766B2 (en) 2019-09-16 2021-10-26 Qualcomm Incorporated Placement of virtual content in environments with a plurality of physical participants
WO2021061351A1 (en) 2019-09-26 2021-04-01 Apple Inc. Wearable electronic device presenting a computer-generated reality environment
DE112020001415T5 (de) 2019-09-27 2021-12-09 Apple Inc. Umgebung für Fernkommunikation
CN113050851B (zh) 2019-12-27 2023-03-24 华为技术有限公司 控制屏幕显示的方法和电子设备
CN115989474A (zh) 2020-06-22 2023-04-18 苹果公司 显示虚拟显示器
TWI757824B (zh) 2020-08-10 2022-03-11 宏碁股份有限公司 擴增實境螢幕系統及擴增實境螢幕顯示方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103765366A (zh) * 2011-06-28 2014-04-30 谷歌公司 使头部移动和在用户界面上显示的项目相关联的方法及系统
CN104115100A (zh) * 2012-02-17 2014-10-22 索尼公司 头戴式显示器、用于控制头戴式显示器的程序及控制头戴式显示器的方法
CN105431763A (zh) * 2013-06-24 2016-03-23 微软技术许可有限责任公司 在佩戴移动设备时跟踪头部移动
WO2015140106A1 (en) * 2014-03-17 2015-09-24 IT-Universitetet i København Computer-implemented gaze interaction method and apparatus
WO2016014872A1 (en) * 2014-07-25 2016-01-28 Microsoft Technology Licensing, Llc Smart placement of virtual objects to stay in the field of view of a head mounted display
CN106716302A (zh) * 2014-09-11 2017-05-24 诺基亚技术有限公司 用于显示图像的方法、设备和计算机程序
WO2016073986A1 (en) * 2014-11-07 2016-05-12 Eye Labs, LLC Visual stabilization system for head-mounted displays
CN108136258A (zh) * 2015-10-28 2018-06-08 微软技术许可有限责任公司 基于跟踪眼部运动来调整图像帧
WO2017171943A1 (en) * 2016-03-29 2017-10-05 Google Inc. Pass-through camera user interface elements for virtual reality

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI829563B (zh) * 2022-03-23 2024-01-11 宏達國際電子股份有限公司 可穿戴追蹤系統和可穿戴追蹤方法

Also Published As

Publication number Publication date
US20200103962A1 (en) 2020-04-02
CN110968188B (zh) 2022-05-03
US11960641B2 (en) 2024-04-16
US11366514B2 (en) 2022-06-21
US20240272708A1 (en) 2024-08-15
US20230008291A1 (en) 2023-01-12

Similar Documents

Publication Publication Date Title
CN110968188B (zh) 基于头部位置的应用程序放置
US11714592B2 (en) Gaze-based user interactions
US12003890B2 (en) Environment for remote communication
US11756269B2 (en) Tangibility visualization of virtual objects within a computer-generated reality environment
CN112041788B (zh) 使用眼睛注视来选择文本输入字段
US11350113B2 (en) Gaze-driven recording of video
CN112292657B (zh) 围绕布景进行移动
CN111833139B (zh) 产品比较技术
CN110969658A (zh) 利用来自多个设备的图像进行定位和标测
CN111612916A (zh) 在环境内的移动
CN112562088A (zh) 基于用户移动来呈现环境
US11181973B2 (en) Techniques related to configuring a display device

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant