CN116507997A - 在环境中显示用户界面的方法及对应电子设备和计算机可读存储介质 - Google Patents

在环境中显示用户界面的方法及对应电子设备和计算机可读存储介质 Download PDF

Info

Publication number
CN116507997A
CN116507997A CN202180076214.5A CN202180076214A CN116507997A CN 116507997 A CN116507997 A CN 116507997A CN 202180076214 A CN202180076214 A CN 202180076214A CN 116507997 A CN116507997 A CN 116507997A
Authority
CN
China
Prior art keywords
immersion
application
computer
user interface
generated environment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180076214.5A
Other languages
English (en)
Inventor
B·海拉科
A·H·帕兰吉
J·A·卡泽米亚斯
N·吉特
A·M·伯恩斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apple Inc
Original Assignee
Apple Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Apple Inc filed Critical Apple Inc
Publication of CN116507997A publication Critical patent/CN116507997A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482Interaction with lists of selectable items, e.g. menus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842Selection of displayed objects or displayed text elements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048Indexing scheme relating to G06F3/048
    • G06F2203/04804Transparency, e.g. transparent or translucent windows

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明提供了用于在计算机生成的环境中显示用户界面的方法,这些方法提供高效且直观的用户体验。在一些实施方案中,用户界面可具有不同的沉浸水平。在一些实施方案中,用户界面可基于其在三维环境中的位置或距用户的距离而具有相应的沉浸水平。在一些实施方案中,用户界面可基于该用户界面的状态而具有相应的沉浸水平。在一些实施方案中,用户界面可响应于用户与该用户界面的交互而从一个沉浸水平切换到另一沉浸水平。

Description

在环境中显示用户界面的方法及对应电子设备和计算机可读 存储介质
技术领域
本发明整体涉及用于在计算机生成的环境中显示用户界面的方法。
背景技术
计算机生成的环境是其中至少一些显示给用户查看的对象是由计算机生成的环境。用户可与计算机生成的环境交互,诸如通过致使显示应用程序的用户界面。
发明内容
本公开中描述的一些实施方案涉及在计算机生成的环境中显示应用程序的用户界面的方法。本公开中描述的一些实施方案涉及计算机生成的环境中用户界面的不同沉浸水平。这些交互提供更高效且直观的用户体验。附图和具体实施方式中提供了对实施方案的全面描述,应当理解,本发明内容不以任何方式限制本公开的范围。
附图说明
为了更好地理解各种所述实施方案,应该结合以下附图参考下面的具体实施方式,在附图中,类似的附图标号在所有附图中指示对应的部分。
图1示出了根据本公开的一些实施方案的显示计算机生成的环境的电子设备。
图2A至图2B示出了根据本公开的一些实施方案的一个或多个设备的示例性架构的框图。
图3A至图3C示出了根据本公开的一些实施方案的在三维环境中显示应用程序的用户界面的方法。
图4A至图4B示出了根据本公开的一些实施方案的在应用程序的用户界面上显示对象的方法。
图5A至图5B示出了根据本公开的一些实施方案的从一个沉浸水平切换到另一沉浸水平的方法。
图6A至图6B示出了根据本公开的一些实施方案的从一个沉浸水平切换到另一沉浸水平的方法。
图7是示出根据本公开的一些实施方案的在三维环境中显示应用程序的用户界面的方法的流程图。
具体实施方式
在以下对实施方案的描述中将引用附图,附图形成以下描述的一部分并且在附图中以举例方式示出了任选实施的具体实施方案。应当理解,在不脱离所公开的实施方案的范围的情况下,任选地使用其他实施方案并任选地进行结构性变更。
人可以在不借助于电子设备的情况下与物理环境或物理世界交互以及/或者感知物理环境或物理世界。物理环境可包括物理特征,诸如物理对象或表面。物理环境的示例是包括物理植物和动物的物理森林。人可以通过各种手段(诸如听觉、视觉、味觉、触觉和嗅觉)直接感知物理环境以及/或者与物理环境交互。相比之下,人可以使用电子设备与完全或部分模拟的扩展现实(XR)环境交互以及/或者感知该扩展现实环境。该XR环境可以包括混合现实(MR)内容、增强现实(AR)内容、虚拟现实(VR)内容等等。XR环境在本文中通常被称为计算机生成的环境。利用XR系统,人的物理运动或其表示的一些可被跟踪,并且作为响应,能够以符合至少一个物理定律的方式调节在XR环境中模拟的虚拟对象的特征。例如,该XR系统可以检测用户头部的移动,并调节呈现给用户的图形内容和听觉内容(类似于此类视图和声音在物理环境中是如何改变的)。又如,该XR系统可以检测呈现XR环境的电子设备(例如,移动电话、平板电脑、膝上型电脑等)的移动,并调节呈现给用户的图形内容和听觉内容(类似于此类视图和声音在物理环境中是如何改变的)。在一些情形中,该XR系统可以响应于诸如物理运动的表示的其他输入(例如,语音命令)而调节图形内容的特征。
许多不同类型的电子设备可以使用户能够与XR环境进行交互以及/或者感测XR环境。示例的非排他性列表包括抬头显示器(HUD)、头戴式设备、基于投影的设备、具有集成显示器能力的窗户或车辆挡风玻璃、被形成为透镜以放置在用户眼睛上的显示器(例如,接触镜片)、头戴式耳机/听筒、具有或不具有触觉反馈的输入设备(例如,可穿戴或手持式控制器)、扬声器阵列、智能电话、平板计算机和台式/膝上型计算机。头戴式设备可具有不透明显示器和一个或多个扬声器。其他头戴式设备可被配置为接受不透明外部显示器(例如,智能电话)。头戴式设备可包括用于捕获物理环境的图像或视频的一个或多个图像传感器和/或用于捕获物理环境的音频的一个或多个麦克风。头戴式设备可具有透明或半透明显示器,而不是不透明显示器。透明或半透明显示器可具有媒介,光通过该媒介被引导到用户的眼睛。显示器可利用各种显示技术,例如uLED、OLED、LED、硅基液晶、激光扫描光源、数字光投影或其组合。光波导、光学反射器、全息图媒介、光学组合器及其组合或其它类似技术可用于媒介。在一些具体实施中,透明或半透明显示器可被选择性地控制而变得不透明。基于投影的设备可利用将图形图像投影到用户的视网膜上的视网膜投影技术。投影设备也可以将虚拟对象投影到物理环境中(例如,作为全息图或投影到物理表面上)。
图1示出了根据本公开的一些实施方案的可配置为显示计算机生成的环境的电子设备100。在一些实施方案中,电子设备100是便携式设备,诸如平板计算机、膝上型计算机或智能电话。参考图2A至图2B更详细地描述了电子设备100的示例性架构。图1示出了位于物理环境102中的电子设备100和桌子104A。在一些实施方案中,电子设备100被配置为捕获和/或显示物理环境102的包括桌子104A(在电子设备100的视野中示出)的区域。在一些实施方案中,电子设备100被配置为在计算机生成的环境中显示一个或多个虚拟对象,该一个或多个虚拟对象不存在于物理环境102中,而是显示在计算机生成的环境中(例如,定位在或以其他方式锚定到真实世界桌子104A的计算机生成的表示104B的顶表面上)。在图1中,不存在于物理环境中的对象106(例如,虚拟对象)例如任选地响应于检测到物理环境102中的桌子104A的平坦表面而显示在经由设备100显示的计算机生成的环境中的桌子104B的表面上。应当理解,对象106是代表性对象,并且可以在二维或三维计算机生成的环境中包括并且渲染一个或多个不同的对象(例如,具有各种维度的对象,诸如二维或三维对象)。例如,虚拟对象可包括在计算机生成的环境中显示的应用程序或用户界面。另外,应当理解,本文所述的三维(3D)环境(或3D对象)可以是在二维(2D)上下文中显示(例如,在2D显示屏幕上显示)的3D环境(或3D对象)的表示。
图2A至图2B示出了根据本公开的一些实施方案的一个或多个设备的架构的示例性框图。图2A中的框可以表示在设备中使用的信息处理装置。在一些实施方案中,设备200为便携式设备,诸如移动电话、智能电话、平板计算机、膝上型计算机、与另一设备通信的辅助设备等。如图2A所示,设备200任选地包括各种传感器(例如,一个或多个手部跟踪传感器202、一个或多个位置传感器204、一个或多个图像传感器206、一个或多个触敏表面209、一个或多个运动和/或取向传感器210、一个或多个眼睛跟踪传感器212、一个或多个麦克风213或其他音频传感器等)、一个或多个显示生成部件214、一个或多个扬声器216、一个或多个处理器218、一个或多个存储器220和/或通信电路222。一个或多个通信总线208任选地用于设备200的上述部件之间的通信。
通信电路222任选地包括用于与电子设备、网络(诸如互联网、内联网、有线网络和/或无线网络、蜂窝网络和无线局域网(LAN))通信的电路。通信电路222任选地包括用于使用近场通信(NFC)和/或短程通信诸如进行通信的电路。
处理器218任选地包括一个或多个通用处理器、一个或多个图形处理器和/或一个或多个数字信号处理器(DSP)。在一些实施方案中,存储器220是存储计算机可读指令的非暂态计算机可读存储介质(例如,闪存存储器、随机存取存储器,或其他易失性或非易失性存储器或存储装置),这些计算机可读指令被配置为由处理器218执行以执行下文所述的技术、过程和/或方法。在一些实施方案中,存储器220包括多于一个非暂态计算机可读存储介质。非暂态计算机可读存储介质可以是可有形地包含或存储计算机可执行指令以供指令执行系统、装置和设备使用或与其结合的任何介质(例如,不包括信号)。在一些实施方案中,存储介质是暂态计算机可读存储介质。在一些实施方案中,存储介质是非暂态计算机可读存储介质。非暂态计算机可读存储介质可包括但不限于磁存储装置、光学存储装置、和/或半导体存储装置。此类存储装置的示例包括磁盘、基于CD、DVD或蓝光技术的光盘,以及持久性固态存储器诸如闪存、固态驱动器等。
显示器生成部件214任选地包括单个显示器(例如,液晶显示器(LCD)、有机发光二极管(OLED)或其他类型的显示器)。在一些实施方案中,显示生成部件214包括多个显示器。在一些实施方案中,显示生成部件214包括具有触敏表面(例如,触摸屏)、投影仪、全息投影仪、视网膜投影仪等的显示器。
在一些实施方案中,设备200包括被配置为接收用户输入(触摸和/或接近输入)(诸如,轻击输入和轻扫输入或其他手势)的触敏表面209。在一些实施方案中,显示生成部件214和触敏表面209一起形成触敏显示器(例如,与设备200集成的触摸屏或在设备200外部与设备200通信的触摸屏)。应当理解,设备200任选地包括或接收来自除触敏表面之外的一个或多个其他物理用户界面设备的输入,诸如物理键盘、鼠标、触控笔和/或操纵杆(或任何其他合适的输入设备)。
图像传感器206任选地包括一个或多个可见光图像传感器,诸如电荷耦合器件(CCD)传感器,以及/或者可操作以从真实世界环境获得物理对象的图像的互补金属氧化物半导体(CMOS)传感器。图像传感器206任选地包括一个或多个红外(IR)或近红外(NIR)传感器,诸如无源或有源IR或NIR传感器,以用于检测来自真实世界环境的红外或近红外光。例如,有源IR传感器包括用于将红外光发射到真实世界环境中的IR发射器。图像传感器206任选地包括被配置为捕获真实世界环境中的物理对象的移动的一个或多个相机。图像传感器206任选地包括被配置为检测物理对象与设备200的距离的一个或多个深度传感器。在一些实施方案中,来自一个或多个深度传感器的信息可以允许设备标识真实世界环境中的对象并且将其与真实世界环境中的其他对象区分开。在一些实施方案中,一个或多个深度传感器可以允许设备确定真实世界环境中的对象的纹理和/或形貌。
在一些实施方案中,设备200组合使用CCD传感器、事件相机和深度传感器来检测设备200周围的物理环境。在一些实施方案中,图像传感器206包括第一图像传感器和第二图像传感器。第一图像传感器和第二图像传感器一起工作,并且任选地被配置为捕获真实世界环境中的物理对象的不同信息。在一些实施方案中,第一图像传感器是可见光图像传感器,并且第二图像传感器是深度传感器。在一些实施方案中,设备200使用图像传感器206来检测设备200和/或显示生成部件214在真实世界环境中的位置和取向。例如,设备200使用图像传感器206来跟踪显示生成部件214相对于真实世界环境中的一个或多个固定对象的位置和取向。
在一些实施方案中,设备200任选地包括手部跟踪传感器202和/或眼睛跟踪传感器212。手部跟踪传感器202被配置为跟踪相对于计算机生成的环境、相对于显示器生成部件214以及/或者相对于另一坐标系的用户的手部和/或手指的位置/定位,以及/或者用户的手部和/或手指的运动。眼睛跟踪传感器212被配置为跟踪用户的注视(更一般地,眼睛、面部和/或头部)相对于真实世界或计算机生成的环境和/或相对于显示器生成部件214的位置和移动。用户的目光可包括眼睛被引导的方向、任选地与特定点或空间区域的相交点和/或与特定对象的相交点。在一些实施方案中,手部跟踪传感器202和/或眼睛跟踪传感器212与显示生成部件214一起实施(例如,在相同的设备中)。在一些实施方案中,手部跟踪传感器202和/或眼睛跟踪传感器212与显示生成部件214分开实施(例如,在不同的设备中)。
在一些实施方案中,手部跟踪传感器202使用从包括一只或多只手的真实世界捕获三维信息的图像传感器206(例如,一个或多个IR相机、3D相机、深度相机等)。在一些示例中,可以用足够的分辨率来分辨手部,以区分手指及其相应的位置。在一些实施方案中,一个或多个图像传感器206相对于用户定位以限定图像传感器的视场和交互空间,在该交互空间中由图像传感器捕获的手指/手部位置、取向和/或移动被用作输入(例如,以与用户的闲置手部或真实世界环境中的其他人的其他手部进行区分)。跟踪用于输入的手指/手部(例如,手势)的有利之处可能在于,手指/手部用于输入提供了不需要用户触摸或握持输入设备的输入方式,并且使用图像传感器允许跟踪而不需要用户在手部/手指上佩戴信标或传感器等。
在一些实施方案中,眼睛跟踪传感器212包括一个或多个眼睛跟踪相机(例如,IR相机)和/或向用户的眼睛发射光的照明源(例如,IR光源/LED)。眼睛跟踪相机可指向用户的眼睛,以直接或间接地从眼睛接收来自光源的反射光。在一些实施方案中,通过相应的眼睛跟踪相机和照明源单独地跟踪两只眼睛,并且可通过跟踪两只眼睛来确定目光。在一些实施方案中,通过相应的眼睛跟踪相机/照明源来跟踪一只眼睛(例如,主眼)。
设备200任选地包括麦克风213或其他音频传感器。设备200使用麦克风213来检测来自用户和/或用户的真实世界环境的声音。在一些实施方案中,麦克风213包括任选地一起操作的麦克风阵列(例如,以标识环境噪声或定位真实世界环境的空间中的声源)。在一些实施方案中,在电子设备的用户允许时,使用一个或多个音频传感器(例如,麦克风)捕获的音频和/或语音输入可用于与用户界面或计算机生成环境交互。
设备200任选地包括被配置为检测设备200和/或显示生成部件214的位置的位置传感器204。例如,位置传感器204任选地包括从一个或多个卫星接收数据并且允许设备200确定该设备在物理世界中的绝对位置的GPS接收器。
设备200任选地包括被配置为检测设备200和/或显示生成部件214的取向和/或移动的运动和/或取向传感器210。例如,设备200使用取向传感器210来跟踪设备200和/或显示生成部件214的位置和/或取向(例如,相对于真实世界环境中的物理对象)的变化。取向传感器210任选地包括一个或多个陀螺仪、一个或多个加速度计和/或一个或多个惯性测量单元(IMU)。
应当理解,图2A的架构是示例性架构,但设备200不限于图2A的部件和配置。例如,设备可包括处于相同或不同配置的更少的、附加的或其他的部件。在一些实施方案中,如图2B所示,系统250可以在多个设备之间划分。例如,第一设备260任选地包括处理器218A、一个或多个存储器220A,以及任选地通过通信总线208A进行通信的通信电路222A。第二设备270(例如,对应于设备200)任选地包括各种传感器(例如,一个或多个手部跟踪传感器202、一个或多个位置传感器204、一个或多个图像传感器206、一个或多个触敏表面209、一个或多个运动和/或取向传感器210、一个或多个眼睛跟踪传感器212、一个或多个麦克风213或其他音频传感器等)、一个或多个显示生成部件214、一个或多个扬声器216、一个或多个处理器218B、一个或多个存储器220B和/或通信电路222B。一个或多个通信总线208B任选地用于设备270的上述部件之间的通信。设备260和设备270的部件的细节类似于上文关于设备200所讨论的对应的部件,并且为简洁起见在此不再重复。第一设备260和第二设备270任选地经由两个设备之间的有线或无线连接(例如,经由通信电路222A至222B)进行通信。
设备200或系统250通常可以支持可以在计算机生成环境中显示的多种应用程序,诸如以下应用程序中的一者或多者:绘图应用程序、呈现应用程序、文字处理应用程序、网站创建应用程序、盘编辑应用程序、电子表格应用程序、游戏应用程序、电话应用程序、视频会议应用程序、电子邮件应用程序、即时消息应用程序、健身支持应用程序、照片管理应用程序、数字相机应用程序、数字视频相机应用程序、web浏览应用程序、数字音乐播放器应用程序、电视频道浏览应用程序和/或数字视频播放器应用程序。
可以使用电子设备(例如,电子设备100、设备200、设备270)来显示计算机生成的环境,包括使用一个或多个显示生成部件。计算机生成环境可任选地包括各种图形用户界面(“GUI”)和/或用户界面对象。
在一些实施方案中,电子设备可以检测或估计真实世界的照明特性。对照明特性的估计可以提供对环境中的照明的某种理解。例如,对照明特性的估计可以提供真实世界环境的哪些区域是明亮或灰暗的指示。对照明特性的估计可以提供光源(例如,参数光源、定向光源、点光源、区域光源等)的位置和/或光源的取向的指示。在一些实施方案中,照明特性被估计为指示亮度、颜色和/或方向的每个体素的入射光场。例如,照明特性可以被参数化为基于图像的照明(IBL)环境地图。应当理解,照明特性的其他参数化是可能的。在一些示例中,使用具有为每个顶点或每个面定义照明的照明特性的三角形网格在每个像素的基础上估计照明特性。另外,应当理解,对照明特性的估计任选地从中间表示(例如,环境地图)导出。
在一些实施方案中,传感器诸如相机(例如,图像传感器206)用于捕获真实世界环境的图像。图像可以由处理电路(一个或多个处理器218)处理以定位和测量光源。在一些实施方案中,可根据环境中的光源的反射和/或由环境中的光源投射的阴影来确定光。在一些实施方案中,深度学习(例如,监督)或其他人工智能或机器学习用于基于输入图像来估计光照特性。
如本文所述,可以使用包括一个或多个显示生成部件的电子设备诸如电子设备100或设备200来显示包括各种图形用户界面(“GUI”)的计算机生成的环境。计算机生成环境可包括与应用程序相关联的一个或多个GUI。在一些实施方案中,与应用程序相关联的一个或多个用户界面可具有不同的沉浸水平。在一些实施方案中,用户界面的沉浸水平可取决于其难处理性和/或其位置、地点和/或距用户的距离。
图3A至图3C示出了在三维环境300中显示应用程序的用户界面304的方法。在图3A中,电子设备(例如,诸如上述设备100或设备200)正在显示三维环境300。在一些实施方案中,三维环境300包括一个或多个真实世界对象(例如,设备周围的物理环境中的对象的表示)和/或一个或多个虚拟对象(例如,不一定基于设备周围的物理环境中的真实世界对象的由设备生成和显示的对象的表示)。例如,在图3A中,桌子308和图片框302都可以是设备周围的物理环境中的真实世界对象的表示。在一些实施方案中,显示生成部件通过捕获桌子308和图片框302的一个或多个图像并且在三维环境300中分别显示桌子和图片框的表示(例如,照片逼真表示、简化表示、漫画等)来显示桌子308和图片框302。在一些实施方案中,桌子308和图片框302通过不遮挡用户对桌子308和图片框302的查看而由设备经由透明或半透明显示器被动地提供。在图3A中,用户界面304是虚拟对象并且显示在三维环境300中,并且不存在于设备周围的物理环境中。
在图3A中,用户界面304是相应的应用程序的用户界面,包括一个或多个可选择选项306(例如,可选择选项306-1至306-4,包括为简单起见未标记的其他可选择选项)。应当理解,用户界面304可以是任何应用程序的任何类型的用户界面,并且不限于本文所示的实施方案。如图3A所示,用户界面304显示在距用户第一距离处(例如,在“z”维度上)并且在三维环境300中的第一位置处,并且具有第一沉浸水平(例如,无沉浸度)。在一些实施方案中,在用户界面304位于三维环境300中的第一位置处和/或在距用户第一距离处时,用户界面304具有第一沉浸水平,在该第一沉浸水平中,三维环境300的其他对象和/或部分不被修改以在视觉上将用户界面304与三维环境300的其他对象和/或部分区分开。例如,桌子308、图片框302和/或三维环境300的其他部分不从它们的“默认”外观和感觉进行修改。
在一些实施方案中,沉浸的水平(例如,沉浸水平)指示环境(例如,三维环境、计算机生成的环境等)中的对象(例如,用户界面对象、用户界面、菜单、应用程序、可选择选项、形状、虚拟对象等)相对于环境中的其他对象在视觉上被强调以便利用在视觉上被强调的对象来增加用户的沉浸感的状态和量。在一些实施方案中,沉浸的水平(例如,沉浸水平)包括电子设备在第一相应用户界面周围/后面显示背景内容(例如,除相应用户界面之外的内容)的相关联程度,任选地包括所显示的背景内容项的数量和显示背景内容的视觉特性(例如,颜色、对比度、不透明度)。在一些实施方案中,背景内容包括于在其上显示第一相应用户界面的背景中。在一些实施方案中,背景内容包括附加用户界面(例如,由设备生成的对应于除相应用户界面的应用程序之外的应用程序的用户界面、系统用户界面)、与相应用户界面不相关联或不包括在相应用户界面中的虚拟对象(例如,由设备生成的文件、其他用户的表示等)和真实对象(例如,表示电子设备的物理环境中的真实对象的透传对象,这些真实对象由设备显示,使得它们经由显示生成部件可见)。在一些实施方案中,在第一(例如,低)沉浸水平下,背景、虚拟和/或真实对象以不被遮挡的方式显示。例如,具有低沉浸级别的相应用户界面与背景内容同时显示,该背景内容以全亮度、彩色和/或半透明度显示。在一些实施方案中,在第二(例如,更高)沉浸水平下,背景、虚拟和/或真实对象以被遮挡的方式显示(例如,变暗淡、变模糊、从显示器移除等)。例如,显示具有高沉浸水平的相应用户界面而不同时显示背景内容(例如,在全屏或完全沉浸模式中)。又如,以中等沉浸水平显示的用户界面与变暗、变模糊或以其他方式被去强调的背景内容同时显示。在一些实施方案中,背景对象的视觉特性在背景对象之间变化。例如,在特定沉浸级别,一个或多个第一背景对象比一个或多个第二背景对象在视觉上更大强度地被去强调(例如,变暗、模糊、以增加的透明度显示),并且一个或多个第三背景对象停止显示。
在一些实施方案中,在用户界面304位于第一位置处和/或距用户第一距离处时,用户界面304具有相对于用户的第一俯仰值(例如,特定取向或空间关系)。例如,在图3A中,用户界面304成角度,使得它面向上并且朝向用户的头部(例如,用户界面304被显示为低于用户的眼睛水平)。因此,在用户向下看用户界面304时,用户界面304将看起来好像用户界面304面向上朝向用户的眼睛(例如,以特定角度向上俯仰)。
图3B示出了在用户界面304位于三维环境300中的第二位置处和/或距用户第二距离处时的用户界面304。在图3B中,因为用户界面304位于距用户第二距离处,所以用户界面304被显示为更高,使得用户界面处于或略低于用户的眼睛水平。因此,用户界面304以相对于用户的第二俯仰值显示。在一些实施方案中,用户界面304的俯仰值比图3A中的用户界面304的俯仰值浅(例如,以更小的角度向上俯仰)。在一些实施方案中,因为用户界面304处于或略低于用户的眼睛水平(并且高于图3A中的用户界面304),所以用户界面304可以更浅的角度显示,使得当用户看着或向下看用户界面304时,用户界面304所成的角度不需要如图3A中所成的角度那样大以面向用户的眼睛。
在图3B中,用户界面304具有第二沉浸水平,该第二沉浸水平是与图3A中相比更高的沉浸水平。如图3B所示,设备显示沉浸场310。在一些实施方案中,沉浸场310是用户界面304周围的区域,该区域致使在视觉上修改落入沉浸场310的视觉边界(例如,沉浸场310的有效边界)内的对象以增加用户界面304的沉浸效果。在一些实施方案中,如图3B所示,沉浸场310是三维的并且“包绕”中心参考点。在一些实施方案中,中心参考点是用户和/或设备的使得看起来好像沉浸场310距用户和/或设备的距离相同(例如,在沉浸场310的所有点处,使得如果用户向左和/或向右看,沉浸场距用户的距离仍然相同)的位置。在一些实施方案中,沉浸场310的有效边界包括三维环境300的从用户和/或设备的角度来看出现在沉浸场310的边界内部的部分。例如,由于透视效应,如果对象距沉浸场310更远但直接位于沉浸场310后面使得对象以其他方式将被沉浸场310部分地遮挡(例如,如果沉浸场310是实心对象),或者如果对象比沉浸场310更近但直接位于沉浸场310前面使得对象以其他方式将部分地遮挡沉浸场(例如,如果对象是实心对象的话),则沉浸场310前面或后面的对象可落入沉浸场310的有效边界内。
在一些实施方案中,沉浸场310比用户界面304大10%、大30%、大50%、大100%等(例如,更宽、更高或两者)。在一些实施方案中,沉浸场310涵盖比用户界面304涵盖的显示区域大(例如,大10%、大30%、大50%、大100%等)的显示区域(例如,沉浸场310的有效边界)。在一些实施方案中,沉浸场310是在与用户界面304相同的z深度处显示的虚拟对象(例如,沉浸场310是包括用户界面304并且在与用户界面304距用户相同的距离处显示的容器对象)或者在比用户界面304远z深度(例如,在用户界面304后面1英寸、后面6英寸、后面1英尺、后面3英尺等)处显示的虚拟对象。在一些实施方案中,沉浸场310是叠层并且显示在用户界面304的前面(例如,处于比用户界面304浅的z深度)并且覆盖在三维环境300中的每个对象上(例如,沉浸场310不是虚拟对象,而是在三维环境的一部分上的视觉过滤器,使得落入沉浸场304的显示区域和/或有效边界内的每个对象(不管它们各自的z深度如何)在视觉上被修改,如下面将更详细地描述的)。
在一些实施方案中,相比于用户界面304,沉浸场310内的对象(例如,三维环境300中在沉浸场310前面、与该沉浸场处于相同深度和/或比该沉浸场远使得对象落入沉浸场310的有效边界内的对象,或者由沉浸场310覆盖的对象)变暗、阴影化、变模糊、被部分遮挡或者以其他方式在视觉上被去强调。例如,位置比沉浸场310远且位于三维环境300中使得其(例如,从用户的角度来看)出现在沉浸场310直接后面的位置处(例如,对象出现在由沉浸场310的边界限定的边界框内)的对象在视觉上被修改。在一些实施方案中,位置比沉浸场310更近但位于三维环境300中使得其(例如,从用户的角度来看)出现在沉浸场310直接前面(例如,对象看起来在由沉浸场310的边界限定的边界框内)的位置处的对象在视觉上被修改。如图3B所示,用户界面304在视觉上未被修改,并且因此相比于沉浸场310内的其他对象(诸如桌子308和图片框302的位于沉浸场310内的部分),在视觉上被强调。因此,桌子308可变暗、变模糊和/或从显示器完全移除。在一些实施方案中,沉浸场310是三维的并且围绕用户的位置弯曲。在一些实施方案中,在处于第二沉浸水平时,沉浸场310涵盖三维环境300的一部分并且不涵盖整个三维环境300。
图3C示出了在用户界面304处于三维环境300中的第三位置(例如,放置在后壁上)和/或距用户第三距离处时的用户界面304。在图3C中,因为用户界面304在距用户第三距离处N所以用户界面304被显示为更高,使得用户界面在用户的眼睛水平之上。因此,用户界面304以相对于用户的第三俯仰值显示。在一些实施方案中,用户界面304的俯仰值比图3A和图3B中的用户界面304的俯仰值浅。在一些实施方案中,因为用户界面304略高于用户的眼睛水平(并且高于图3A和图3B中的用户界面304),所以用户界面304可以更浅的角度和/或无角度显示,使得当用户看着用户界面304时,用户界面304不需要成角度以看起来面向用户的眼睛。
在图3C中,用户界面304具有第三沉浸水平,该第三沉浸水平是与图3A和图3B中的沉浸水平相比更高的沉浸水平。如图3C所示,设备显示沉浸场310。在一些实施方案中,图3C中的沉浸场310大于图3B中的沉浸场310。例如,图3C中的沉浸场310比用户界面304大20%、大50%、大100%、大300%等(例如,更宽、更高或两者)。在一些实施方案中,沉浸场310涵盖的(例如,正在显示三维环境300的显示生成部件的)显示区域比用户界面304所涵盖的显示区域大(例如,大20%、大50%、大100%、大300%等)。在一些实施方案中,沉浸场310涵盖全部或基本上全部三维环境300(例如,涵盖显示生成部件的正在显示三维环境300的全部或基本上全部显示区域)。在一些实施方案中,沉浸场310是在与用户界面304相同的z深度处显示的虚拟对象(例如,沉浸场310是包括用户界面304并且在与用户界面304距用户相同的距离处显示的容器对象)或者在比用户界面304远z深度(例如,在用户界面304后面1英寸、后面6英寸、后面1英尺、后面3英尺等)处显示的虚拟对象。在一些实施方案中,沉浸场310是叠层并且显示在用户界面304的前面(例如,处于比用户界面304浅的z深度)并且覆盖在三维环境300中的每个对象上(例如,沉浸场310是视觉过滤器,使得落入沉浸场304的显示区域内的每个对象(不管它们各自的z深度如何)在视觉上被修改,如将在下面更详细地描述的)。例如,尽管桌子308在比用户界面304浅的z深度处(这致使沉浸场310显示),但桌子308由于落入沉浸场310内而在视觉上被修改。
在一些实施方案中,图3C中的沉浸场310的效应比图3B中的沉浸场310的效应强。例如,图3C中的沉浸场310比图3B中的沉浸场310引起更多的变暗、更多的变模糊和/或更多的阴影化。在一些实施方案中,沉浸场310可致使某些对象不再显示。例如,在图3C中,桌子308被显示为比在图3B中暗,但图片框302已经从显示器移除(例如,被沉浸场310完全遮挡)。在一些实施方案中,图片框302已从显示器移除,因为图片框在与用户界面304相同的表面上和/或在与该用户界面相同的距离处,并且可不利地影响用户界面304的沉浸。
在一些实施方案中,在处于第三沉浸水平时,沉浸场310涵盖大部分或全部三维环境300(例如,多于图3B中的沉浸场310)。在一些实施方案中,当沉浸场310涵盖全部三维环境300时,任选地,用户界面300之外的全部三维环境300(例如,三维环境300中除了用户界面300之外的所有对象)被遮挡(例如,部分或完全)、变暗、隐去和/或变模糊。在一些实施方案中,三维环境300中的唯一可查看元素是用户界面300。
应当理解,用户界面304在处于三维环境300中的不同沉浸水平和/或位置时可改变大小。例如,当用户界面304处于三维环境300中的第一位置处时(例如,如图3A中),用户界面304具有第一大小,但当用户界面304处于三维环境300中的第二位置时(例如,如图3B中那样),用户界面304具有第二更大的大小。在一些实施方案中,用户界面304在大小上增加与(例如,在z维度上)距用户距离的变化相同的成比例的量,因此,用户界面304的大小看起来不变(例如,从用户的角度来看)。例如,显示区域(例如,可查看区域)的量保持恒定。在一些实施方案中,用户界面304在大小上增加多于与距用户距离的变化成比例的量,因此,随着用户界面304从第一位置移动到第二位置,用户界面304的大小看起来增加(例如,涵盖更多的显示区域)。
还应当理解,尽管本文提供的示例示出了三个沉浸水平,但这仅仅是示例性的,并且可实现任何数量的沉浸水平。类似地,三维环境300中的不同对象受到沉浸水平的影响也可不同。例如,某些对象可与其他对象相比更早和/或更快地变暗(例如,与其他对象相比在更低的沉浸水平下变暗和/或与其他对象相比在更低的沉浸水平下停止显示)。
在一些实施方案中,当应用程序的用户界面具有比最低沉浸水平(例如,诸如图3A中的无沉浸度)高的沉浸水平时,则没有其他应用程序可具有带有升高的沉浸水平的用户界面。例如,两个应用程序不能同时使它们各自的用户界面周围的环境被修改。在一些实施方案中,多个应用程序可同时维持升高的沉浸水平(例如,如果相应沉浸场不冲突的话)。例如,如果第一应用程序的用户界面在三维环境的左侧上显示并且第二应用程序的用户界面在三维环境的右侧上显示,则如果两个用户界面都处于中等沉浸水平(例如,诸如图3B中那样),其中相应沉浸场不重叠,则两个用户界面都可被允许具有升高的沉浸水平。在一些实施方案中,多个应用程序的用户界面可具有升高的沉浸水平,但只有当前关注的应用程序(例如,用户当前正在与之交互的应用程序)的沉浸水平是活动的(例如,其他应用程序的沉浸水平被禁用或是不活动的,直到或除非其他应用程序受到关注)。
图4A至图4B示出了根据本公开的一些实施方案的在应用程序的用户界面上显示对象的方法。在图4A中,电子设备正在显示包括处于(例如,诸如图3B中的)第二沉浸水平中的用户界面404的三维环境400。如图4A所示,用户的目光412指向用户界面404之外的位置(例如,用户正在看三维环境400中用户界面404之外的位置)。在一些实施方案中,根据目光不指向用户界面400或用户界面400的元素的确定,用户界面400在不在视觉上强调或去强调用户界面400中的任何元素的情况下显示。因此,可在不修改用户界面400中的元素的视觉特性的情况下显示用户界面400。
在图4B中,用户的目光412已改变为指向可选择选项406-1。在一些实施方案中,响应于检测到用户的目光412指向可选择选项406-1,相比于用户界面404中的其他元素(例如,其他可选择选项、其他用户界面元素、用户界面404的背景等),可选择选项406-1在视觉上被强调。例如,可选择选项406-1可被突出显示、放大和/或增亮,或者其他用户界面元素可变暗和/或大小减小。在图4B中,可选择选项406-1大小增大,而其他可选择选项(例如,可选择选项406-2至406-4、其他用户界面元素和/或背景)变暗、变模糊、或以其他方式在视觉上被去强调。因此,在一些实施方案中,当用户的目光412指向(例如,聚焦在、看着)特定用户界面元素时,设备可通过在视觉上强调目光指向的元素和/或在视觉上去强调目光未指向的元素来实现局部沉浸水平(例如,在用户界面内、在用户界面中的元素之间等)。
图5A至图5B示出了根据本公开的一些实施方案的从一个沉浸水平切换到另一沉浸水平的方法。在图5A中,设备正在显示包括桌子508和应用程序的用户界面504的三维环境500。在一些实施方案中,用户界面504以第一沉浸水平(例如,无沉浸度)显示。在图5A中,从用户的手509接收用户输入,该用户输入选择用户界面504中的可选择选项506-6。例如,可选择选项506-6可对应于媒体项目的表示,使得可选择选项506-6的选择导致与可选择选项506-6相关联的媒体项目的回放(例如,显示)。
在一些实施方案中,响应于从手509接收到选择可选择选项506-6的用户输入,与用户界面504相关联的应用程序开始相应媒体项目的回放并从第一沉浸水平切换到第二相应沉浸水平,如图5B所示。在一些实施方案中,响应于用户输入导致媒体项目的回放,用户界面504进入内容消费模式并且自动地(例如,在没有附加用户输入的情况下)移动到与媒体回放相关联的位置。例如,在图5B中,与媒体回放相关联的位置是三维环境500的后壁(例如,以便模拟“影院”模式)。在一些实施方案中,响应于用户输入导致媒体项目的回放,用户界面504自动地(例如,在没有附加用户输入的情况下)进入升高的沉浸水平(例如,诸如以上关于图3C所述的第三沉浸水平)。类似于图3C中所描述的,相比于用户界面504,沉浸场510内(例如,沉浸场510的有效区域内)的对象变暗、阴影化、变模糊、被部分遮挡或以其他方式在视觉上被去强调。如图5B所示,用户界面504(例如,其位于沉浸场510的有效显示区域内)在视觉上未被修改,并且因此相比于沉浸场510内的其他对象诸如沉浸场510内的桌子508,在视觉上被强调。在一些实施方案中,沉浸场510可致使某些对象不再显示。例如,图5A中的图片框已因沉浸场510停止显示(例如,被完全遮挡)。
因此,在图5B中,用户界面504处于内容消费模式,其中用户交互限于内容的被动消费(例如,内容查看),而在图5A中,用户界面504处于交互状态,其中期待与用户界面的用户交互。因此,在用户界面以交互状态显示时,诸如当用户界面包括可选择选项或用户界面元素时(例如,如图5A中那样),用户界面可以低沉浸水平显示,并且当期待用户交互被限制和/或被动时,诸如响应于用户选择媒体项目进行回放,用户界面可以高沉浸水平(或任选地全屏沉浸水平)显示。
在一些实施方案中,三维环境可同时显示应用程序的在两个不同的位置处和/或距用户的两个不同的距离处显示的两个用户界面(例如,两个“窗口”)。在一些实施方案中,应用程序可具有交互的部分和被动的部分,并且交互部分可组织到第一用户界面上,被动部分可组织到第二用户界面上。在一些实施方案中,第一用户界面(具有应用程序的交互部分)可被显示为更靠近用户(例如,诸如图3A中的用户界面304),并且第二用户界面(具有应用程序的被动部分)可被显示为距用户更远(例如,诸如图3B或图3C中的用户界面304)。例如,在内容浏览和回放应用程序中,第一用户界面可包括用于浏览、查找和/或选择媒体项目的用户界面元素,并且第二用户界面可显示预览、预告片、封面、媒体内容的回放等。在一些实施方案中,因为媒体浏览的第一用户界面和回放应用程序的第二用户界面在不同的位置处和/或距用户的不同距离处显示,所以这两个用户界面可具有不同的俯仰值和/或大小或甚至不同的沉浸水平,如以上关于图3A至图3C所述。
图6A至图6B示出了根据本公开的一些实施方案的从一个沉浸水平切换到另一沉浸水平的方法。在图6A中,设备正在显示包括应用程序的用户界面602的三维环境600。在一些实施方案中,以第一沉浸水平(例如,无沉浸度)显示用户界面602。在图6A中,从手608接收对应于移动用户界面602的请求的用户输入。如图6A所示,用户输入任选地包括选择输入(例如,捏合或轻击手势),随后是手608向前和/或向上高达和/或小于第一阈值量606-1的移动。在一些实施方案中,用户输入对应于在三维环境600中向上和/或向更远处移动用户界面602的请求。在一些实施方案中,用户输入包括捏合手势和向上(例如,在“y”维度上)或向前(例如,在“z”方向上)移动。在一些实施方案中,在手608在用户界面602的位置处时执行捏合手势,使得看起来好像手608正在捏合用户界面602的一部分并且用手608直接移动用户界面602。在一些实施方案中,在保持捏合手势时,手608的移动致使用户界面602与手608一起移动(例如,好像手608正在捏合用户界面602的一部分并且在三维环境600内四处移动用户界面602)。
在一些实施方案中,响应于移动高达和/或小于第一阈值量606-1的用户输入,在三维环境600中对应于用户界面602响应于用户输入的终止(例如,捏合手势的释放)而将被放置在的位置的位置处显示目标604。在一些实施方案中,目标604是指示用户界面602将被放置在其中的位置的轮廓、虚线或任何其他指示符。在一些实施方案中,目标604是透明或半透明的,使得目标604后面的对象被完全或部分遮挡。在一些实施方案中,如果用户界面602被放置在目标604的位置处,则目标604具有与用户界面602的大小和/或形状相同或更大的大小。在一些实施方案中,目标604具有基于用户界面602的形状。在一些实施方案中,目标604具有基于用户界面602在放置在目标604的位置处将具有的俯仰值的俯仰值。
在一些实施方案中,响应于检测到用户输入的终止,将用户界面602放置在与目标604相关联的位置处(任选地具有不同的俯仰值,如以上关于图4A至4C所述)。在一些实施方案中,三维环境600中的某些位置和/或距离与某些沉浸水平相关联。因此,响应于将用户界面移动到这些相应位置中的一个位置,用户界面自动地从其先前沉浸水平改变到与其新位置相关联的沉浸水平。例如,在图6A中,目标604对应于三维环境600中与第二沉浸水平相关联的位置(例如,诸如图4B中那样)。因此,响应于将用户界面602移动到与目标604相关联的位置,用户界面602自动地改变到第二沉浸水平(例如,从第一沉浸水平改变到第二沉浸水平)。在一些实施方案中,从第一沉浸水平改变到第二沉浸水平可致使用户界面的元素改变为适应沉浸水平的变化。例如,响应于从第一沉浸水平切换到第二沉浸水平,用户界面可从交互更多状态改变到交互更少状态(例如,以反映用户界面距离更远、交互更少并且更处于被动消费模式的事实)。
在图6B中,从用户的手608接收用户输入,该用户输入包括选择输入(例如,捏合或轻击手势),随后是手608向前和/或向上超过第一阈值量606-1和高达或超过第二阈值量606-2(例如,其中第二阈值量606-2超过第一阈值量606-1)的移动。在一些实施方案中,用户输入对应于在三维环境600中向上和/或向更远处移动用户界面602的请求。在一些实施方案中,用户输入包括捏合手势和向上或向前移动。在一些实施方案中,在手608在用户界面602的位置处时执行捏合手势,使得看起来好像手608正在捏合用户界面602的一部分并且用手608直接移动用户界面602。
在一些实施方案中,响应于移动高达和/或小于第二阈值量606-2的用户输入,在三维环境600中对应于用户界面602响应于用户输入的终止而将放置的位置的位置处(例如,在后壁上,诸如图4C中那样)显示目标604。在一些实施方案中,响应于检测到用户输入的终止,将用户界面602放置在与目标604相关联的位置处(任选地具有不同的俯仰值,如以上关于图4A至4C所述)。在一些实施方案中,图6B中的目标604与高沉浸水平(例如,诸如图4C中所述的第三沉浸水平)相关联。因此,响应于将用户界面602移动到与目标604相关联的位置,用户界面602自动地接收第三沉浸水平(例如,从第一沉浸水平改变到第三沉浸水平)。在一些实施方案中,从第一沉浸水平改变到第三沉浸水平可致使用户界面的元素改变为适应沉浸水平的变化。例如,响应于从第一沉浸水平切换到第三沉浸水平,用户界面602可从交互更多状态(例如,诸如图5A中)改变到被动内容消费状态(例如,诸如图5B中那样)。
如上所述,不同的应用程序可在不同的位置处、不同的距离处和/或不同的沉浸水平下显示。在一些实施方案中,应用程序可具有对应于距用户的不同距离范围和/或三维环境中的不同位置的预设数目的所支持的沉浸水平(例如,离散沉浸水平或模拟沉浸水平)。在一些实施方案中,应用程序可具有同时显示的多个用户界面,其中每个用户界面在不同位置处、距离处和/或沉浸水平下显示。在一些实施方案中,响应于用户输入和/或与用户界面的交互,用户界面可自动地改变移动位置和/或改变沉浸水平。在一些实施方案中,响应于用户输入将用户界面移动到特定位置和/或距离,用户界面的沉浸水平可自动地改变。在一些实施方案中,将用户界面移动到以其他方式与不同沉浸水平相关联的位置和/或距离不一定自动地致使沉浸水平改变,并且任选地致使可选择选项显示(例如,按钮、弹出式通知等),该可选择选项可被选择以将沉浸水平改变到相关联的水平。在一些实施方案中,用户能够选择控制元素诸如滑块、旋钮、按钮等(例如,在三维环境或控制机构中显示或作为物理输入机构提供)来改变用户界面的沉浸水平,任选地不考虑用户界面的当前位置、距离和/或模式(例如,内容消费状态与交互状态)是否与特定沉浸水平相关联。
应当理解,虽然以上描述描述了具有沉浸水平的用户界面,但系统本身(例如,三维环境)可具有变化的沉浸水平,并且改变相应用户界面的沉浸水平包括改变系统的沉浸水平(例如,改变环境中的对象的视觉外观)。
图7是示出根据本公开的一些实施方案的在三维环境中显示应用程序的用户界面的方法700的流程图。当在上面参考图3A至图3C、图4A至图4B、图5A至图5B和图6A至图6B描述的表面上显示可选择选项时,方法700任选地在电子设备诸如设备100和设备200处执行。方法700中的一些操作任选地被组合,和/或一些操作的次序任选地被改变。如下所述,方法700提供根据本公开的实施方案的在三维环境中显示应用程序的用户界面的方法(例如,如以上关于图3A至图6B所讨论)。
在一些实施方案中,与显示生成部件(例如,与电子设备集成的显示器(任选地,触摸屏显示器)和/或外部显示器,诸如监视器、投影仪、电视等)和一个或多个输入设备(例如,触摸屏、鼠标(例如,外部)、触控板(任选地,集成或外部)、触摸板(任选地,集成或外部)、远程控制设备(例如,外部)、另一移动设备(例如,与电子设备分开)、手持式设备(例如,外部)、控制器(例如,外部)、相机(例如,可见光相机)、深度传感器和/或运动传感器(例如,手部跟踪传感器、手部运动传感器)等)通信的电子设备(例如,移动设备(例如,平板电脑、智能电话、媒体播放器或可穿戴设备)、计算机等,诸如设备100和/或设备200)经由显示生成部件呈现(702)计算机生成的环境,诸如图3A至图3C中的三维环境300。在一些实施方案中,在呈现计算机生成的环境时,电子设备经由一个或多个输入设备接收(704)对应于显示第一应用程序诸如图3A至图3C中的应用程序304的请求的用户输入。在一些实施方案中,响应于用户输入(706),电子设备在计算机生成的环境中显示(708)第一应用程序诸如图3A中的应用程序304的第一用户界面。在一些实施方案中,根据第一应用程序的当前沉浸状态是第一沉浸状态的确定,电子设备变更(710)除第一应用程序之外的计算机生成的环境的视觉特性,诸如图3B和图3C中那样。在一些实施方案中,根据第一应用程序的当前沉浸状态是不同于第一沉浸状态的第二沉浸状态的确定,电子设备放弃(712)变更计算机生成的环境的视觉特性,诸如图3A中那样。
在一些实施方案中,变更计算机生成的环境的视觉特性包括改变计算机生成的环境的至少一部分的亮度,诸如图3B和图3C中那样。在一些实施方案中,在接收到用户输入之前,计算机生成的环境包括不同于第一应用程序的第二应用程序的用户界面,并且变更计算机生成的环境的视觉特性包括停止在计算机生成的环境中显示第二应用程序的用户界面。例如,当以第一沉浸状态显示第一应用程序时,第二应用程序的用户界面淡出、变暗、最小化或完全停止显示(任选地仅在第二应用程序在第一应用程序的沉浸场内时)。在一些实施方案中,在第一应用程序退出第一沉浸状态和/或进入第二沉浸状态时,恢复(例如,在环境中重新显示)第二应用程序的用户界面。
在一些实施方案中,在第一应用程序的当前沉浸状态是第一沉浸状态时,第一应用程序的第一用户界面具有第一俯仰值,并且在第一应用程序的当前沉浸状态是第二沉浸状态时,第一应用程序的第一用户界面具有不同于第一俯仰值的第二俯仰值,诸如用户界面具有图3B中的第一俯仰值和图3A中的第二俯仰值。
在一些实施方案中,根据第一应用程序处于内容消费模式的确定,电子设备将第一应用程序配置为具有第一沉浸状态,诸如图5B中那样。在一些实施方案中,根据第一应用程序处于不同于内容消费模式的交互模式的确定,电子设备将第一应用程序配置为具有第二沉浸状态,诸如图3A中那样。
在一些实施方案中,计算机生成的环境包括第一应用程序的第一用户界面和第一应用程序的在视觉上与第一用户界面分离的第二用户界面。例如,应用程序可包括视觉上分离的两个用户界面(例如,两个窗口)。在一些实施方案中,第一应用程序的第一用户界面具有第一俯仰值,并且第一应用程序的第二用户界面具有不同于第一俯仰值的第二俯仰值。例如,第一应用程序的两个用户界面可被放置在用户界面中的不同位置处或者在三维环境中的不同水平处(例如,低于眼睛水平、处于眼睛水平、高于眼睛水平等),从而致使用户界面具有不同的俯仰值。
在一些实施方案中,第一应用程序的第一用户界面包括多个用户界面元素,包括第一可选择选项,诸如图3A中的可选择选项306-1至306-4。在一些实施方案中,在显示第一用户界面时,电子设备确定设备的用户的目光指向第一可选择选项,诸如在图4B中目光412指向可选择选项406-1。在一些实施方案中,根据用户的目光指向第一可选择选项的确定,电子设备在视觉上强调第一可选择选项并且在视觉上去强调该多个用户界面元素中的其他用户界面元素,诸如相对于在图4B中变暗的其他可选择选项,突出显示和/或放大可选择选项406-1。
在一些实施方案中,在第一应用程序的当前沉浸状态是第一相应沉浸状态时,电子设备接收第二用户输入,诸如移动第一应用程序的位置的输入,诸如图6A和6B中那样。在一些实施方案中,响应于接收到第二用户输入,电子设备将第一应用程序配置为具有不同于第一相应沉浸状态的第二相应沉浸状态。例如,如果用户将应用程序移动到不与升高的沉浸水平相关联的位置,则用户界面可被配置为不具有沉浸度。在一些实施方案中,如果用户与应用程序交互以退出被动内容消费模式并进入交互模式,则设备可将沉浸水平降低到不具有沉浸度。在另一示例中,如果应用程序处于无沉浸度的水平并且用户输入是移动与升高的沉浸水平相关联的应用程序的请求,则用户界面可被配置为具有升高的沉浸水平(任选地,仅在用户界面支持升高的沉浸水平时)。在一些实施方案中,如果用户与应用程序交互以退出交互模式并进入被动内容消费模式,则设备可提高沉浸水平。
在一些实施方案中,第二用户输入对应于显示内容的请求,诸如图5A中那样。例如,如果用户选择了导致媒体内容的回放的可选择选项。在一些实施方案中,媒体内容的回放致使用户界面进入内容消费模式(例如,影院模式),这任选地致使用户界面将沉浸度提高到升高的沉浸水平。在一些实施方案中,第二用户输入对应于将第一用户界面移动到计算机生成的环境中与第二相应沉浸状态相关联的位置的请求。例如,如果用户将用户界面从与一个沉浸水平相关联的第一位置(例如,高度、深度等)移动到与另一沉浸水平相关联的另一位置(例如,高度、深度等),则用户界面可被配置为具有相应的沉浸水平(任选地,仅在用户界面支持相应的沉浸水平时,或者任选地,用户界面所支持的等于或小于相应的沉浸水平的最高沉浸水平)。
在一些实施方案中,变更除第一应用程序之外的计算机生成的环境的视觉特性包括在计算机生成的环境中显示一个或多个沉浸场,并且放弃变更计算机生成的环境的视觉特性包括放弃在计算机生成的环境中显示一个或多个沉浸场。
在一些实施方案中,第一应用程序的第一用户界面位于一个或多个沉浸场的有效边界内。例如,图3B和图3C中的沉浸场310显示成使得用户界面304落入沉浸场310的有效区域内。在一些实施方案中,沉浸场显示在三维环境的前面(例如,被显示在三维环境内的每个对象的前面),并且落入沉浸场的有效区域内的对象(例如,从用户和/或设备的角度来看出现在沉浸场的边界内的任何对象)受到沉浸场的影响(例如,除了未在视觉上变更的应用程序的用户界面之外)。如图所示,用户界面304不一定显示在沉浸场310的有效边界的中心,并且可显示在沉浸场310的有效边界内的任何位置处(例如,如果用户界面304显示在三维环境300的边缘处或边缘附近,则用户界面304可显示为更靠近沉浸场310的一个边缘,诸如图3C中所示)。
在一些实施方案中,一个或多个沉浸场的有效边界涵盖比第一应用程序的第一用户界面的区域大的区域。例如,沉浸场的有效边界和/或有效区域大于第一应用程序的第一用户界面的大小,使得沉浸场看起来大于第一用户界面(例如,大50%、大100%、大300%等)。在一些实施方案中,沉浸场的大小取决于沉浸状态。例如,在较低沉浸状态(例如,沉浸度较低)下,沉浸场的大小比在应用程序处于较高沉浸状态(例如,沉浸度较高)的情况下更小。
在一些实施方案中,变更除第一应用程序之外的计算机生成的环境的视觉特性包括在视觉上去强调计算机生成的环境中位于一个或多个沉浸场的有效边界内的除第一应用程序的第一用户界面之外的一个或多个对象。例如,诸如在图3B和图3C中,在用户界面304周围显示沉浸场310。如图所示,相比于任选地未在视觉上变更的用户界面304,图3B中落入沉浸场310的有效边界内的桌子308的部分(例如,除右前腿的一部分之外的整个桌子308)在视觉上被去强调(例如,阴影化、变灰、变暗等)。在图3B中,相比于图片框302的没有落入沉浸场310的有效边界内的未在视觉上变更的部分,图片框302的落入沉浸场310的有效边界内的部分(例如,右下角)也在视觉上被去强调。
在一些实施方案中,根据第一应用程序的当前沉浸状态是第一沉浸状态的确定,一个或多个沉浸场的有效边界涵盖第一区域。例如,在图3B中,当用户界面304处于第二沉浸水平时,沉浸场310具有第一大小。在一些实施方案中,根据第一应用程序的当前沉浸状态是不同于第一沉浸状态和第二沉浸状态的第三沉浸状态的确定,电子设备在计算机生成的环境中显示一个或多个沉浸场,其中该一个或多个沉浸场的有效边界涵盖不同于第一区域的第二区域。例如,在图3C中,当用户界面304处于第三沉浸水平时,沉浸场310显示在用户界面304周围并且具有比图3B中的沉浸场310的大小大的第二大小。
在一些实施方案中,在一个或多个沉浸场的有效边界涵盖第一区域时,位于涵盖第一区域的一个或多个沉浸场的有效边界内的第一对象在视觉上被去强调,并且位于一个或多个沉浸场的涵盖第一区域的有效边界之外的第二对象不在视觉上被去强调。例如,当沉浸场具有第一大小(例如,由于处于第一沉浸状态)时,在沉浸场具有第一大小时位于其有效边界内的第一对象在视觉上被去强调(例如,受沉浸场影响),而在沉浸场具有第一大小时不位于其有效边界内(例如,但在沉浸场具有第二大小时落入其有效边界内)的第二对象不在视觉上被去强调。
在一些实施方案中,在一个或多个沉浸场的有效边界涵盖第二区域时,位于一个或多个沉浸场的涵盖第二区域的有效边界内的第一对象在视觉上被去强调,并且位于一个或多个沉浸场的涵盖第二区域的有效边界内的第二对象在视觉上被去强调。例如,当沉浸场具有第二大小时(例如,由于处于第三沉浸状态),在沉浸场具有第二大小时仍然位于其有效边界内的第一对象在视觉上被去强调,并且在沉浸场具有第二大小时现在也位于其有效边界内的第二对象也在视觉上被去强调。
出于解释的目的,前面的描述是通过参考具体实施方案来描述的。然而,上面的例示性论述并非旨在是穷尽的或将本发明限制为所公开的精确形式。根据以上教导内容,很多修改形式和变型形式都是可能的。选择和描述实施方案是为了最佳地阐明本发明的原理及其实际应用,以便由此使得本领域的其他技术人员能够最佳地使用具有适合于所构想的特定用途的各种修改的本发明以及各种所描述的实施方案。

Claims (24)

1.一种方法,包括:
在与显示器和一个或多个输入设备通信的电子设备处:
经由所述显示器呈现计算机生成的环境;
在呈现所述计算机生成的环境时,经由所述一个或多个输入设备接收对应于显示第一应用程序的请求的用户输入;以及
响应于接收到所述用户输入:
在所述计算机生成的环境中显示所述第一应用程序的第一用户界面;
根据所述第一应用程序的当前沉浸状态是第一沉浸状态的确定,变更除所述第一应用程序之外的所述计算机生成的环境的视觉特性,其中所述沉浸状态指示对象相对于所述计算机生成的环境内的其他对象的视觉强调的量;以及
根据所述第一应用程序的所述当前沉浸状态是不同于所述第一沉浸状态的第二沉浸状态的确定,放弃变更所述计算机生成的环境的所述视觉特性。
2.根据权利要求1所述的方法,其中变更所述计算机生成的环境的所述视觉特性包括改变所述计算机生成的环境的至少一部分的亮度。
3.根据权利要求1所述的方法,其中在接收到所述用户输入之前,所述计算机生成的环境包括不同于所述第一应用程序的第二应用程序的用户界面,并且变更所述计算机生成的环境的所述视觉特性包括停止在所述计算机生成的环境中显示所述第二应用程序的所述用户界面。
4.根据权利要求1至3中任一项所述的方法,其中:
在所述第一应用程序的所述当前沉浸状态是所述第一沉浸状态时,所述第一应用程序的所述第一用户界面以具有第一俯仰值的取向显示在所述计算机生成的环境内,并且在所述第一应用程序的所述当前沉浸状态是所述第二沉浸状态时,所述第一应用程序的所述第一用户界面以具有不同于所述第一俯仰值的第二俯仰值的取向显示在所述计算机生成的环境内。
5.根据权利要求1至4中任一项所述的方法,还包括:
根据所述第一应用程序处于内容消费模式的确定,将所述第一应用程序配置为具有所述第一沉浸状态;以及
根据所述第一应用程序处于不同于所述内容消费模式的交互模式的确定,将所述第一应用程序配置为具有所述第二沉浸状态。
6.根据权利要求1至5中任一项所述的方法,其中:
所述计算机生成的环境包括所述第一应用程序的所述第一用户界面和所述第一应用程序的与所述第一用户界面在视觉上分离的第二用户界面,并且
所述第一应用程序的所述第一用户界面以具有第一俯仰值的取向显示在所述计算机生成的环境内,并且所述第一应用程序的所述第二用户界面以具有不同于所述第一俯仰值的第二俯仰值的取向显示在所述计算机生成的环境内。
7.根据权利要求1至6中任一项所述的方法,其中所述第一应用程序的所述第一用户界面包括多个用户界面元素,所述多个用户界面元素包括第一可选择选项,所述方法还包括:
在显示所述第一用户界面时,确定所述设备的用户的目光指向所述第一可选择选项;以及
根据所述用户的所述目光指向所述第一可选择选项的确定,在视觉上强调所述第一可选择选项并且在视觉上去强调所述多个用户界面元素中的其他用户界面元素。
8.根据权利要求1至7中任一项所述的方法,还包括:
在所述第一应用程序的所述当前沉浸状态是第一相应沉浸状态时,接收第二用户输入;以及
响应于接收到所述第二用户输入,将所述第一应用程序配置为具有不同于所述第一相应沉浸状态的第二相应沉浸状态。
9.根据权利要求8所述的方法,其中所述第二用户输入对应于显示内容的请求。
10.根据权利要求8所述的方法,其中所述第二用户输入对应于将所述第一用户界面移动到所述计算机生成的环境中与所述第二相应沉浸状态相关联的位置的请求。
11.根据权利要求1至10中任一项所述的方法,其中变更除所述第一应用程序之外的所述计算机生成的环境的所述视觉特性包括在所述计算机生成的环境中显示一个或多个沉浸场,并且放弃变更所述计算机生成的环境的所述视觉特性包括放弃在所述计算机生成的环境中显示所述一个或多个沉浸场。
12.根据权利要求11所述的方法,其中所述第一应用程序的所述第一用户界面位于所述一个或多个沉浸场的有效边界内。
13.根据权利要求12所述的方法,其中所述一个或多个沉浸场的所述有效边界涵盖比所述第一应用程序的所述第一用户界面的区域大的区域。
14.根据权利要求12至13中任一项所述的方法,其中变更除所述第一应用程序之外的所述计算机生成的环境的所述视觉特性包括在视觉上去强调除所述第一应用程序的所述第一用户界面之外的所述计算机生成的环境中位于所述一个或多个沉浸场的所述有效边界内的一个或多个对象。
15.根据权利要求12至13中任一项所述的方法,其中根据所述第一应用程序的所述当前沉浸状态是第一沉浸状态的确定,所述一个或多个沉浸场的所述有效边界涵盖第一区域,所述方法还包括:
根据所述第一应用程序的所述当前沉浸状态是不同于所述第一沉浸状态和所述第二沉浸状态的第三沉浸状态的确定,在所述计算机生成的环境中显示所述一个或多个沉浸场,其中所述一个或多个沉浸场的所述有效边界涵盖不同于所述第一区域的第二区域。
16.根据权利要求15所述的方法,其中:
在所述一个或多个沉浸场的所述有效边界涵盖所述第一区域时:
位于涵盖所述第一区域的所述一个或多个沉浸场的所述有效边界内的第一对象在视觉上被去强调;以及
位于涵盖所述第一区域的所述一个或多个沉浸场的所述有效边界之外的第二对象不在视觉上被去强调;以及
在所述一个或多个沉浸场的所述有效边界涵盖所述第二区域时:
位于涵盖所述第二区域的所述一个或多个沉浸场的所述有效边界内的所述第一对象在视觉上被去强调;以及
位于涵盖所述第二区域的所述一个或多个沉浸场的所述有效边界内的所述第二对象在视觉上被去强调。
17.一种电子设备,包括:
一个或多个处理器;
存储器;以及
一个或多个程序,其中所述一个或多个程序存储在所述存储器中并且被配置为由所述一个或多个处理器执行,所述一个或多个程序包括用于执行以下操作的指令:
经由显示器呈现计算机生成的环境;
在呈现所述计算机生成的环境时,经由一个或多个输入设备接收对应于显示第一应用程序的请求的用户输入;以及
响应于接收到所述用户输入:
在所述计算机生成的环境中显示所述第一应用程序的第一用户界面;
根据所述第一应用程序的当前沉浸状态是第一沉浸状态的确定,变更除所述第一应用程序之外的所述计算机生成的环境的视觉特性,其中所述沉浸状态指示对象相对于所述计算机生成的环境内的其他对象的视觉强调的量;以及
根据所述第一应用程序的所述当前沉浸状态是不同于所述第一沉浸状态的第二沉浸状态的确定,放弃变更所述计算机生成的环境的所述视觉特性。
18.一种存储一个或多个程序的非暂态计算机可读存储介质,所述一个或多个程序包括指令,所述指令在由电子设备的一个或多个处理器执行时,使得所述电子设备:
经由显示器呈现计算机生成的环境;
在呈现所述计算机生成的环境时,经由一个或多个输入设备接收对应于显示第一应用程序的请求的用户输入;以及
响应于接收到所述用户输入:
在所述计算机生成的环境中显示所述第一应用程序的第一用户界面;
根据所述第一应用程序的当前沉浸状态是第一沉浸状态的确定,变更除所述第一应用程序之外的所述计算机生成的环境的视觉特性,其中所述沉浸状态指示对象相对于所述计算机生成的环境内的其他对象的视觉强调的量;以及
根据所述第一应用程序的所述当前沉浸状态是不同于所述第一沉浸状态的第二沉浸状态的确定,放弃变更所述计算机生成的环境的所述视觉特性。
19.一种电子设备,包括:
一个或多个处理器;
存储器;
用于经由显示器呈现计算机生成的环境的装置;
用于在呈现所述计算机生成的环境时经由一个或多个输入设备接收对应于显示第一应用程序的请求的用户输入的装置;以及
用于执行以下操作的装置:响应于接收到所述用户输入:
在所述计算机生成的环境中显示所述第一应用程序的第一用户界面;
根据所述第一应用程序的当前沉浸状态是第一沉浸状态的确定,变更除所述第一应用程序之外的所述计算机生成的环境的视觉特性,其中所述沉浸状态指示对象相对于所述计算机生成的环境内的其他对象的视觉强调的量;以及
根据所述第一应用程序的所述当前沉浸状态是不同于所述第一沉浸状态的第二沉浸状态的确定,放弃变更所述计算机生成的环境的所述视觉特性。
20.一种用于在电子设备中使用的信息处理装置,所述信息处理装置包括:
用于经由显示器呈现计算机生成的环境的装置;
用于在呈现所述计算机生成的环境时经由一个或多个输入设备接收对应于显示第一应用程序的请求的用户输入的装置;以及
用于执行以下操作的装置:响应于接收到所述用户输入:
在所述计算机生成的环境中显示所述第一应用程序的第一用户界面;
根据所述第一应用程序的当前沉浸状态是第一沉浸状态的确定,变更除所述第一应用程序之外的所述计算机生成的环境的视觉特性,其中所述沉浸状态指示对象相对于所述计算机生成的环境内的其他对象的视觉强调的量;以及
根据所述第一应用程序的所述当前沉浸状态是不同于所述第一沉浸状态的第二沉浸状态的确定,放弃变更所述计算机生成的环境的所述视觉特性。
21.一种电子设备,包括:
一个或多个处理器;
存储器;以及
一个或多个程序,其中所述一个或多个程序存储在所述存储器中并且被配置为由所述一个或多个处理器执行,所述一个或多个程序包括用于执行根据权利要求1至16所述的方法中的任一种方法的指令。
22.一种存储一个或多个程序的非暂态计算机可读存储介质,所述一个或多个程序包括指令,所述指令在由电子设备的一个或多个处理器执行时,使得所述电子设备执行根据权利要求1至16所述的方法中的任一种方法。
23.一种电子设备,包括:
一个或多个处理器;
存储器;以及
用于执行根据权利要求1至16所述的方法中的任一种方法的装置。
24.一种用于在电子设备中使用的信息处理装置,所述信息处理装置包括:
用于执行根据权利要求1至16所述的方法中的任一种方法的装置。
CN202180076214.5A 2020-09-11 2021-09-03 在环境中显示用户界面的方法及对应电子设备和计算机可读存储介质 Pending CN116507997A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US202063077104P 2020-09-11 2020-09-11
US63/077,104 2020-09-11
PCT/US2021/049130 WO2022055821A1 (en) 2020-09-11 2021-09-03 Method of displaying user interfaces in an environment and corresponding electronic device and computer readable storage medium

Publications (1)

Publication Number Publication Date
CN116507997A true CN116507997A (zh) 2023-07-28

Family

ID=77951873

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180076214.5A Pending CN116507997A (zh) 2020-09-11 2021-09-03 在环境中显示用户界面的方法及对应电子设备和计算机可读存储介质

Country Status (3)

Country Link
US (1) US11995301B2 (zh)
CN (1) CN116507997A (zh)
WO (1) WO2022055821A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024064941A1 (en) * 2022-09-23 2024-03-28 Apple Inc. Methods for improving user environmental awareness
US20240103685A1 (en) * 2022-09-24 2024-03-28 Apple Inc. Methods for controlling and interacting with a three-dimensional environment

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2517143A (en) * 2013-08-07 2015-02-18 Nokia Corp Apparatus, method, computer program and system for a near eye display
US9779633B2 (en) * 2014-08-08 2017-10-03 Greg Van Curen Virtual reality system enabling compatibility of sense of immersion in virtual space and movement in real space, and battle training system using same
US9599821B2 (en) * 2014-08-08 2017-03-21 Greg Van Curen Virtual reality system allowing immersion in virtual space to consist with actual movement in actual space
EP3219098B1 (en) * 2014-11-14 2021-10-06 PCMS Holdings, Inc. System and method for 3d telepresence
US10649616B2 (en) * 2017-07-06 2020-05-12 Google Llc Volumetric multi-selection interface for selecting multiple objects in 3D space
KR102417968B1 (ko) * 2017-09-29 2022-07-06 애플 인크. 시선-기반 사용자 상호작용
WO2019176236A1 (ja) * 2018-03-13 2019-09-19 ソニー株式会社 情報処理装置、情報処理方法、および記録媒体
US11182964B2 (en) * 2018-04-30 2021-11-23 Apple Inc. Tangibility visualization of virtual objects within a computer-generated reality environment
US11797150B2 (en) * 2018-05-07 2023-10-24 Apple Inc. Devices, methods, and graphical user interfaces for navigating between user interfaces, displaying a dock, and displaying system user interface elements
US10701661B1 (en) * 2019-04-02 2020-06-30 Google Llc Location determination for device control and configuration
US11082249B2 (en) * 2019-04-02 2021-08-03 Google Llc Location determination for device control and configuration
CN113785260A (zh) * 2019-09-27 2021-12-10 苹果公司 控制计算机生成现实环境中的虚拟对象的表示
US20210286502A1 (en) * 2020-03-16 2021-09-16 Apple Inc. Devices, Methods, and Graphical User Interfaces for Providing Computer-Generated Experiences
CN115769174A (zh) * 2020-04-03 2023-03-07 奇跃公司 用于最佳注视辨别的化身定制
WO2022056079A1 (en) * 2020-09-10 2022-03-17 Sterling Labs Llc Shared space boundaries and phantom surfaces
WO2022221851A1 (en) * 2021-04-13 2022-10-20 Apple Inc. Methods for providing an immersive experience in an environment
US20230273706A1 (en) * 2022-02-28 2023-08-31 Apple Inc. System and method of three-dimensional placement and refinement in multi-user communication sessions

Also Published As

Publication number Publication date
US20230315270A1 (en) 2023-10-05
WO2022055821A1 (en) 2022-03-17
US11995301B2 (en) 2024-05-28

Similar Documents

Publication Publication Date Title
US11768579B2 (en) Devices, methods, and graphical user interfaces for interacting with three-dimensional environments
KR102562285B1 (ko) 사용자 인터페이스와 연관된 몰입을 조정 및/또는 제어하기 위한 방법
US20230325004A1 (en) Method of interacting with objects in an environment
CN114721470A (zh) 用于与三维环境进行交互的设备、方法和图形用户界面
CN116324703A (zh) 用于与用于移动虚拟环境中的虚拟对象的虚拟控件和/或示能表示交互的方法
US20230094522A1 (en) Devices, methods, and graphical user interfaces for content applications
US11995301B2 (en) Method of displaying user interfaces in an environment and corresponding electronic device and computer readable storage medium
US11720171B2 (en) Methods for navigating user interfaces
US20230336865A1 (en) Device, methods, and graphical user interfaces for capturing and displaying media
US20230106627A1 (en) Devices, Methods, And Graphical User Interfaces for Interacting with Three-Dimensional Environments
CN115690306A (zh) 用于对象的三维预览的设备、方法和图形用户界面
CN116438507A (zh) 显示可选择选项的方法
JP7510000B2 (ja) ユーザインタフェースに関連付けられた没入感を調整及び/又は制御する方法
US20230368435A1 (en) Changing Display Rendering Modes based on Multiple Regions
US20240103681A1 (en) Devices, Methods, and Graphical User Interfaces for Interacting with Window Controls in Three-Dimensional Environments
US20240152245A1 (en) Devices, Methods, and Graphical User Interfaces for Interacting with Window Controls in Three-Dimensional Environments
US20240103683A1 (en) Devices and methods for generating virtual objects
US20240094862A1 (en) Devices, Methods, and Graphical User Interfaces for Displaying Shadow and Light Effects in Three-Dimensional Environments
WO2024063786A1 (en) Devices, methods, and graphical user interfaces for displaying shadow and light effects in three-dimensional environments
CN116685940A (zh) 用于启动和替换应用程序的系统和方法
CN115543070A (zh) 用于操纵计算机图形光源的技术

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination