CN116438510A - 用于内容应用程序的设备、方法和图形用户界面 - Google Patents

用于内容应用程序的设备、方法和图形用户界面 Download PDF

Info

Publication number
CN116438510A
CN116438510A CN202180053256.7A CN202180053256A CN116438510A CN 116438510 A CN116438510 A CN 116438510A CN 202180053256 A CN202180053256 A CN 202180053256A CN 116438510 A CN116438510 A CN 116438510A
Authority
CN
China
Prior art keywords
user interface
content item
content
environment
input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180053256.7A
Other languages
English (en)
Inventor
B·海拉科
A·M·伯恩斯
N·吉特
J·A·卡泽米亚斯
A·H·帕兰吉
J·J·奥文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apple Inc
Original Assignee
Apple Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Apple Inc filed Critical Apple Inc
Publication of CN116438510A publication Critical patent/CN116438510A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482Interaction with lists of selectable items, e.g. menus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842Selection of displayed objects or displayed text elements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0485Scrolling or panning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/60Editing figures and text; Combining figures or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/24Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明涉及用于在XR环境中显示的内容应用程序的设备、方法和图形界面,其提供高效且直观的用户体验。在一些实施方案中,在三维计算机生成的环境中显示内容应用程序。在一些实施方案中,不同的查看模式和用户界面可用于三维计算机生成的环境中的内容应用程序。在一些实施方案中,不同的交互对于该XR环境中显示的内容项可用。

Description

用于内容应用程序的设备、方法和图形用户界面
技术领域
本发明整体涉及用于在扩展现实环境中显示的内容应用程序的设备、方法和图形用户界面。
背景技术
计算机生成的环境是其中至少一些显示给用户查看的对象是由计算机生成的环境。用户可以与XR环境中显示的应用程序诸如内容应用程序进行交互。
发明内容
本公开中描述的一些实施方案涉及用于在XR环境中显示的内容应用程序的设备、方法和图形界面。本公开中描述的一些实施方案涉及在三维计算机生成的环境中显示内容项并且与之进行交互。本公开中描述的一些实施方案涉及三维计算机生成的环境中的内容应用程序的不同查看模式和用户界面。这些交互和用户界面提供更有效且直观的用户体验。附图和具体实施方式中提供了对实施方案的全面描述,应当理解,本发明内容不以任何方式限制本公开的范围。
附图说明
为了更好地理解各种所述实施方案,应该结合以下附图参考下面的具体实施方式,在附图中,类似的附图标号在所有附图中指示对应的部分。
图1示出了根据本公开的一些实施方案的显示XR环境的电子设备。
图2示出了根据本公开的一些实施方案的系统或设备的示例性架构的框图。
图3A示出了根据本公开的一些实施方案的包括一个或多个用户界面的示例性计算机生成的环境的示例性视图。
图3B示出了根据本公开的一些实施方案的用于在XR环境中显示剪贴板的示例性标准。
图4A至图4C示出了根据本公开的一些实施方案的XR环境中的剪贴板内容的示例性视图。
图5A至图5C示出了根据本公开的一些实施方案的XR环境中的内容应用程序的示例性视图。
图6示出了根据本公开的一些实施方案的XR环境中的内容应用程序的示例性视图。
图7示出了根据本公开的一些实施方案的XR环境中的内容应用程序的示例性视图。
图8示出了根据本公开的一些实施方案的XR环境中的内容应用程序的示例性视图。
图9A至图9C示出了根据本公开的一些实施方案的滚动内容应用程序的内容浏览用户界面。
图10A至图10D示出了根据本公开的一些实施方案的滚动内容应用程序的内容浏览用户界面。
图11A至图11D示出了根据本公开的一些实施方案的内容应用程序的内容中内容(content-in-content)用户界面的视图。
图12示出了根据本公开的一些实施方案的用于XR环境中的内容应用程序的示例性过程。
图13示出了根据本公开的一些实施方案的用于XR环境中的内容应用程序的示例性过程。
图14示出了根据本公开的一些实施方案的用于XR环境中的内容应用程序的示例性过程。
图15示出了根据本公开的一些实施方案的用于XR环境中的内容应用程序的示例性过程。
图16示出了根据本公开的一些实施方案的用于XR环境中的内容应用程序的示例性过程。
图17A至图17D示出了根据本公开的一些实施方案的在XR环境中滚动内容项的列表。
具体实施方式
在本文的实施方案的描述中,将参考形成以下描述的一部分的附图,并且在附图中以说明的方式示出了任选实施的具体实施方案。应当理解,在不脱离所公开的实施方案的范围的情况下,任选地使用其他实施方案并任选地进行结构性变更。
物理环境是指某人在没有使用电子设备的情况下可与其交互和/或对其进行感测的物理世界。物理环境可包括物理特征,诸如物理对象或物理表面。例如,物理环境可包括物理城市,所述物理城市包括物理建筑物、物理街道、物理树和物理人。人们可直接与物理环境交互和/或感测物理环境,例如通过触觉、视觉、味觉、听觉和嗅觉。另一方面,扩展现实(XR)环境是指某人可使用电子设备与其交互和/或对其进行感测的完全或部分模拟的环境。例如,XR环境可包括虚拟现实(VR)内容、增强现实(AR)内容、混合现实(MR)内容等。
在一些实施方案中,环境可以是完全模拟的环境,并且所显示的所有内容均是虚拟内容。在一些实施方案中,环境可以是具有物理环境的表示(例如,由图像传感器提供并且传递到显示器)和/或显示给用户的虚拟内容的全部或部分模拟的环境。在一些实施方案中,环境可以经由至少部分透明的显示器呈现给用户,其中物理环境是可见的(没有模拟)并且其中部分模拟的虚拟内容经由显示器显示。如本文所用,呈现环境包括呈现物理环境、呈现物理环境的表示(例如,经由显示生成部件来显示),以及/或者呈现虚拟环境(例如,经由显示生成部件来显示)。虚拟内容(例如,用户界面、内容项等)也可以与这些环境一起呈现(例如,经由显示生成部件来显示)。应当理解,如本文所用,术语“呈现”/“所呈现的”和“显示”/“所显示的”通常可互换使用,但取决于上下文,应当理解,当物理环境对用户可见而不是由显示生成部件生成时,这样的物理环境被呈现给用户并且在技术上不显示给用户。
使用XR系统,可跟踪人的身体运动的一部分或其表示。作为响应,可调整在XR环境中模拟的虚拟对象的一个或多个特征,使得其依附于一个或多个物理定律。例如,XR系统可检测用户的头部运动,并且作为响应,以与视图和声音将在物理环境中变化的方式类似的方式调整呈现给用户的图形和听觉内容。在另一示例中,XR系统可检测呈现XR环境的电子设备(例如膝上型电脑、移动电话、平板电脑等)的移动,并且作为响应,以与视图和声音将在物理环境中改变的方式类似的方式调整呈现给用户的图形和听觉内容。在一些情形中,XR系统可响应于物理运动的表示(例如语音命令)而调整XR环境中的图形内容的一个或多个特征。
图1示出了根据本公开的一些实施方案的显示XR环境的电子设备100。在一些实施方案中,电子设备100为手持式设备或移动设备,诸如平板电脑、膝上型电脑、智能电话或头戴式显示器。下面参考图2的结构框图来描述设备100的示例。如图1所示,电子设备100和桌子120位于物理环境110中。在一些实施方案中,电子设备100可以被配置为捕获物理环境110的包括桌子120的区域(在电子设备100的视野中示出)。在一些实施方案中,响应于触发,电子设备100可被配置为在XR环境(例如,由图1所示的立方体表示)中显示对象130,该对象不存在于物理环境110中,而是显示在位于(例如,锚定到)物理桌子120的计算机生成的表示120'的顶部的XR环境中。例如,响应于检测到物理环境110中的桌子120的平坦表面,对象130可以显示在经由设备100显示的XR环境中的桌子120'的表面上。应当理解,对象130是代表性对象,并且可以在三维XR环境中包括并且渲染一个或多个不同的对象(例如,具有各种维度的对象,诸如二维或三维对象)。例如,对象可以表示在XR环境中显示的应用程序或用户界面。在一些示例中,应用程序或用户界面可包括内容应用程序的内容项(例如,照片、视频等)的显示。另外,应当理解,本文所述的三维(3D)环境(或3D对象)可以是在二维(2D)上下文中显示(例如,在2D屏幕上显示)的3D环境(或三维对象)的表示。
图2示出了根据本公开的一些实施方案的系统或设备200的示例性架构的框图。在一些实施方案中,设备200使得某人能够与XR环境进行交互和/或感测XR环境。例如,基于投影的系统、头戴式系统、平视显示器(HUD)、具有集成显示器的窗户、具有集成显示器的车辆挡风玻璃、被设计成放置在用户的眼睛上的显示器(例如,类似于接触透镜)、扬声器阵列、头戴式耳机/听筒、输入系统(例如,具有或不具有触觉反馈的可穿戴或手持式控制器)。在一些实施方案中,设备200为移动设备,诸如移动电话(例如,智能电话)、平板电脑、膝上型电脑、台式计算机、头戴式显示器、与另一设备通信的辅助设备等。在一些实施方案中,如图2所示,设备200包括各种部件,诸如通信电路202、处理器204、存储器206、图像传感器210、位置传感器214、取向传感器216、麦克风218、触敏表面220、扬声器222、显示生成部件224、手部跟踪传感器230,以及/或者眼睛跟踪传感器232。这些部件可选地通过设备200的通信总线208进行通信。在一些实施方案中,用户可以经由一根或多根手指/手部(或一根或多根手指/手部的表示)在空间中相对于用户界面或XR环境的位置、取向或移动以及/或者经由眼睛聚焦(目光)和/或眼睛移动来与用户界面或XR环境进行交互。在一些实施方案中,手指/手部的位置/取向/移动和/或眼睛聚焦/移动可以由本文所述的相机和其他传感器(例如,运动传感器)捕获。在一些实施方案中,音频/语音输入可用于与由本文所述的一个或多个音频传感器(例如,麦克风)捕获的用户界面或XR环境进行交互。
设备200包括通信电路202。通信电路202可选地包括用于与电子设备、网络(诸如互联网、内联网、有线网络和/或无线网络、蜂窝网络和无线局域网(LAN))通信的电路。通信电路202任选地包括用于使用近场通信(NFC)和/或短程通信诸如
Figure BDA0004097805650000051
进行通信的电路。
处理器204包括一个或多个通用处理器、一个或多个图形处理器、和/或一个或多个数字信号处理器。在一些实施方案中,存储器206是存储计算机可读指令的非暂态计算机可读存储介质(例如,闪存存储器、随机存取存储器,或其他易失性或非易失性存储器或存储装置),这些计算机可读指令被配置为由处理器204执行以执行下文描述的技术、过程和/或方法。在一些实施方案中,存储器206可包括多于一个非暂态计算机可读存储介质。非暂态计算机可读存储介质可以是可有形地包含或存储计算机可执行指令以供指令执行系统、装置和设备使用或与其结合的任何介质(例如,不包括信号)。在一些实施方案中,存储介质是暂态计算机可读存储介质。在一些实施方案中,存储介质是非暂态计算机可读存储介质。非暂态计算机可读存储介质可包括但不限于磁存储装置、光学存储装置、和/或半导体存储装置。此类存储装置的示例包括磁盘、基于CD、DVD或蓝光技术的光盘,以及持久性固态存储器诸如闪存、固态驱动器等。
设备200包括显示生成部件224。在一些实施方案中,显示生成部件224包括单个显示器(例如,液晶显示器(LCD)、有机发光二极管(OLED)或其他类型的显示器)。在一些实施方案中,显示生成部件224包括多个显示器。在一些实施方案中,显示生成部件224可包括具有触摸能力(例如,触摸屏)的显示器、投影仪、全息投影仪、视网膜投影仪等。在一些实施方案中,设备200包括用于接收用户输入诸如轻击输入和轻扫输入或其他手势的触敏表面220。在一些实施方案中,显示生成部件224和触敏表面220形成触敏显示器(例如,与设备200集成的触摸屏或在设备200外部与设备200通信的触摸屏)。
在一些实施方案中,显示生成部件224可包括不透明显示器。在一些实施方案中,显示生成部件224可包括透明或半透明显示器。表示图像的光被引导穿过的介质可包括在透明或半透明显示器内。显示器可以利用OLED、LED、μLED、数字光投影、激光扫描光源、硅基液晶或这些技术的任何组合。介质可以是全息图介质、光学组合器、光学波导、光学反射器或它们的组合。在一些示例中,透明或半透明显示器可被配置成选择性地变得不透明。基于投影的系统可使用视网膜投影技术以将图形图像投影到用户的视网膜上。投影系统也可被配置成将虚拟对象投影到物理环境中,例如在物理表面上或作为全息图。
设备200可选地包括图像传感器210。图像传感器210任选地包括一个或多个可见光图像传感器(诸如电荷耦合设备(CCD)传感器)和/或可操作以从物理环境获得物理对象的图像的互补金属氧化物半导体(CMOS)传感器。图像传感器210还任选地包括一个或多个红外(IR)传感器,诸如无源IR传感器或有源IR传感器,用于检测来自物理环境的红外光。例如,有源IR传感器包括用于将红外光发射到物理环境中的IR发射器。图像传感器210还任选地包括一个或多个相机,该一个或多个相机被配置为捕获物理环境中的物理对象的移动。图像传感器210还任选地包括一个或多个深度传感器,该一个或多个深度传感器被配置为检测物理对象与设备200的距离。在一些实施方案中,来自一个或多个深度传感器的信息可以允许设备将物理环境中的对象与物理环境中的其他对象进行标识和区分。在一些实施方案中,一个或多个深度传感器可以允许设备确定物理环境中对象的纹理和/或形貌。
在一些实施方案中,设备200组合使用CCD传感器、事件相机和深度传感器来检测设备200周围的物理环境。在一些实施方案中,图像传感器220包括第一图像传感器和第二图像传感器。第一图像传感器和第二图像传感器协力地工作,并且任选地被配置为捕获物理环境中的物理对象的不同信息。在一些实施方案中,第一图像传感器是可见光图像传感器,并且第二图像传感器是深度传感器。在一些实施方案中,设备200使用图像传感器210来检测设备200和/或显示生成部件224在物理环境中的位置和取向。例如,设备200使用图像传感器210来跟踪显示生成部件224相对于物理环境中的一个或多个固定对象的位置和取向。
在一些实施方案中,设备200包括麦克风218或其他音频传感器。设备200使用麦克风218来检测来自用户和/或用户的物理环境的声音。在一些实施方案中,麦克风218包括任选地协力地操作的麦克风阵列(多个麦克风),以便标识环境噪声或定位物理环境的空间中的声源。
设备200包括用于检测设备200和/或显示生成部件224的位置的位置传感器214。例如,位置传感器214可以包括从一个或多个卫星接收数据并允许设备200确定该设备在物理世界中的绝对位置的GPS接收器。
设备200包括用于检测设备200和/或显示生成部件224的取向和/或移动的取向传感器216。例如,设备200使用取向传感器216来跟踪设备200和/或显示生成部件224的位置和/或取向的变化,诸如相对于物理环境中的物理对象。取向传感器216可选地包括一个或多个陀螺仪和/或一个或多个加速度计。
在一些实施方案中,设备200包括手部跟踪传感器230和/或眼睛跟踪传感器232。手部跟踪传感器230被配置为跟踪用户手部的一个或多个部分的位置/地点,以及/或者用户手部的一个或多个部分相对于XR环境、相对于显示生成部件224以及/或者相对于另一个限定的坐标系的运动。眼睛跟踪传感器232被配置为跟踪用户的目光(更一般地,眼睛、面部或头部)相对于物理或XR环境以及/或者相对于显示生成部件224的位置和移动。在一些实施方案中,手部跟踪传感器230和/或眼睛跟踪传感器232与显示生成部件224一起实施。在一些实施方案中,手部跟踪传感器230和/或眼睛跟踪传感器232与显示生成部件224分开实施。
在一些实施方案中,手部跟踪传感器230可以使用从包括一只或多只手(例如,人类用户的一只或多只手)的物理捕获三维信息的图像传感器210(例如,一个或多个IR相机、3D相机、深度相机等)。在一些示例中,可以用足够的分辨率来分辨手部,以区分手指及其相应的位置。在一些实施方案中,一个或多个图像传感器210相对于用户定位以定义图像传感器的视野和交互空间,在该交互空间中由图像传感器捕获的手指/手部位置、取向和/或移动被用作输入(例如,与用户的休息中的手部或物理环境中的其他人的其他手部进行区分)。跟踪用于输入的手指/手部(例如,手势)可能是有利的,因为这不需要用户触摸、握持或穿戴任何类型的信标、传感器或其他标记。
在一些实施方案中,眼睛跟踪传感器232包括朝向用户的眼睛发射光的至少一个眼睛跟踪相机(例如,红外(IR)相机)和/或照明源(例如,IR光源,诸如LED)。眼睛跟踪相机可以指向用户的眼睛,以直接或间接地从眼睛接收来自光源的反射IR光。在一些实施方案中,通过相应的眼睛跟踪相机和照明源分别跟踪两只眼睛,并且可以通过跟踪两只眼睛来确定焦点/目光。在一些实施方案中,通过相应的眼睛跟踪相机/照明源来跟踪一只眼睛(例如,主眼)。
设备200不限于图2的部件和配置,而是可包括处于多种配置的更少的部件、其他部件或附加部件。使用设备200的人在本文中任选地称为设备的用户。
设备200可以支持可在XR环境中显示的多种应用程序,诸如以下应用程序中的一者或多者:绘图应用程序、呈现应用程序、文字处理应用程序、网站创建应用程序、盘编辑应用程序、电子表格应用程序、游戏应用程序、电话应用程序、视频会议应用程序、电子邮件应用程序、即时消息应用程序、健身支持应用程序、内容应用程序(例如,照片/视频管理应用程序)、数字相机应用程序、数字视频相机应用程序、web浏览应用程序、数字音乐播放器应用程序、电视频道浏览应用程序和/或数字视频播放器应用程序。
如本文所述,可使用包括一个或多个显示生成部件的电子设备诸如电子设备100或设备200来显示包括各种图形用户界面(“GUI”)的XR环境。XR环境可包括与应用程序诸如内容应用程序相关联的一个或多个GUI。例如,内容应用程序可以显示内容项诸如照片或视频以及其他可能类型的内容。图3A示出了根据本公开的一些实施方案的包括一个或多个用户界面的示例性XR环境的示例性视图300。经由显示生成部件(例如,224)从用户的角度呈现XR环境的视图300,使得XR环境中的近区(例如,前景)对应于物理上接近用户的区域,并且XR环境中的其他区域(例如,背景)对应于距用户更远的区域。
视图300包括内容应用程序的内容浏览用户界面302。内容应用程序包括内容项(例如,文本内容、照片内容和/或视频内容)或在内容浏览用户界面302中显示的内容项的一个或多个表示。在一些实施方案中,内容应用程序可以是照片应用程序,并且内容浏览用户界面302包括照片内容项和/或视频内容项。在一些实施方案中,内容浏览用户界面302包括内容项304的网格(例如,布置成行和列)或内容项的其他布置。在一些实施方案中,内容浏览用户界面302任选地包括提供各种功能(例如,以搜索多个内容项、以过滤多个内容项、以调整多个内容项的查看或查看模式等)的一个或多个用户界面元素308。在一些实施方案中,用户界面元素308被设置在用户界面元素306(例如,窗口、容器、窗格等)中。在一些实施方案中,一个或多个用户界面元素308被设置在没有容器的多个内容项之下。在一些实施方案中,在XR环境的不同区域中不显示或显示一个或多个用户界面元素308。在一些实施方案中,内容应用程序的标题可以显示在内容浏览用户界面302上方。在一些实施方案中,内容应用程序的标题可以不显示在XR环境中,或者可以显示在XR环境的不同区域中。
在一些实施方案中,内容浏览用户界面302(以及任选地用户界面元素308)被显示为锚定到物理对象的表示。例如,内容浏览用户界面302可被锚定到物理桌子(例如,对应于图1中的桌子120)的计算机生成的表示310。在一些实施方案中,内容浏览用户界面302可以被锚定到物理壁的计算机生成的表示。在一些实施方案中,内容浏览用户界面302可以在XR环境中的自由空间中浮动。
在一些实施方案中,用户可以经由XR环境中的内容浏览用户界面302与内容应用程序进行交互。可以通过电子设备的一个或多个传感器来促进交互。在一些实施方案中,输入可以来自包括触敏表面、按钮、操纵杆等输入设备。在一些实施方案中,输入可以来自音频传感器。在一些实施方案中,输入可以来自跟踪用户的眼睛和/或手部。
在一些实施方案中,交互可以为内容应用程序提供各种功能。在一些实施方案中,输入可以滚动通过内容浏览用户界面302中的内容项。在一些实施方案中,输入可以选择内容项、预览内容项、改变一个或多个内容项或内容应用程序的查看模式、移动内容项、将内容项添加到剪贴板或共享表中、调用一个或多个用户界面元素(例如,用户界面控件)的显示,以及/或者致动一个或多个用户界面元素(例如,执行相关联的动作的控件),以及执行其他可能的功能。本文中更详细地描述这些交互/功能中的一些。
在一些实施方案中,XR环境的视图300包括剪贴板的表示。剪贴板的表示可包括一个或多个内容项304(例如,从内容浏览用户界面302中的多个内容项中选择)。在一些实施方案中,剪贴板内容的一个或多个内容项可以被表示为内容项的栈320。在这样的栈表示中,一个内容项可以至少部分地(或完全地)覆盖一个或多个其他内容项(例如,第二内容项可以覆盖第一内容项)。在一些实施方案中,栈320可以在栈的顶部上显示最后选择的内容项。在一些实施方案中,可以在剪贴板的表示中以其他方式(例如,无序的栈或堆)来表示内容项。
在一些实施方案中,剪贴板的内容可以显示在用户界面元素312(例如,窗口、容器、窗格等)中。剪贴板的内容(例如,栈320)可以显示为锚定到用户界面元素312。在一些实施方案中,用户界面元素312可以是物理对象(例如,壁、桌子、用户的一部分等)的表示。在一些实施方案中,剪贴板的内容可以显示在XR环境的前景中。在一些实施方案中,剪贴板的内容可以在XR环境中在距用户更远的距离处显示。在一些实施方案中,剪贴板的表示可以显示在XR环境的对应于XR环境内的第一深度的第一区域中,并且内容浏览用户界面302可以显示在XR环境的对应于XR环境内的第二深度的第二区域中。在一些实施方案中,剪贴板内容和/或剪贴板的表示可被显示为锚定到用户的身体部分(例如,锚定到用户的张开的手掌或锚定到由用户的张开的手掌限定的平面)。例如,用户界面元素312可以对应于用户的手部的表示,或接近用户的手部的区域。用户的手部可以提供用于剪贴板的锚点,该锚点易于接近并且接近用户以进行交互。
在一些实施方案中,当剪贴板包括至少一个内容项时,剪贴板保持显示。任选地,响应于从内容浏览用户界面302(或一个或多个内容项的另一用户界面视图)添加至少一个内容项,可以在XR环境中显示剪贴板,并且响应于清空剪贴板的内容项,可以停止显示剪贴板。在一些实施方案中,当剪贴板包括至少两个内容项时,剪贴板保持显示。任选地,剪贴板可以响应于从内容浏览用户界面302(或一个或多个内容项的另一视图)添加第二内容项而被显示,并且剪贴板可以响应于内容项的剪贴板的清空或响应于具有少于两个内容项而停止显示。在一些实施方案中,无论剪贴板是否具有任何内容(例如,当剪贴板是用户的手部时),剪贴板都保持显示。
在一些实施方案中,当满足用于显示剪贴板的一个或多个标准时,在XR环境中显示剪贴板。在一些实施方案中,一个或多个标准任选地包括当剪贴板包括至少一个内容项时得到满足,并且当剪贴板没有内容项时不满足的标准。在一些实施方案中,一个或多个标准任选地包括当手部的表示(任选地显示在XR环境中)对应于预先确定的手部(例如,第二手部,诸如惯用右手的用户的左手)时满足,并且当手部的表示对应于另一手部(例如,第一手部,诸如惯用右手的用户的右手)时不满足的标准。在一些实施方案中,一个或多个标准任选地包括当手部的表示(任选地显示在XR环境中)对应于预先确定的姿势(例如,张开的手掌)时满足,并且当手部的表示不处于预先确定的姿势(例如,握紧的拳头)时不满足的标准。在一些实施方案中,一个或多个标准任选地包括当手部的表示(任选地显示在XR环境中)对应于沿预先确定的方向定向或在预先确定的方向的阈值内(例如,沿预先确定的方向定向或在可对应于面向用户的预先确定的方向的阈值内)的指定方向时满足,并且当手部的表示不对应于指定取向时不满足的标准。在一些实施方案中,一个或多个标准任选地包括当用户的目光聚焦于手部的表示(任选地在XR环境中显示)达阈值时间段时满足,并且当用户的目光聚焦于别处或聚焦于手部的表示不足阈值时间段时不满足的标准。
在一些实施方案中,需要上述一个或多个标准中的一些或全部标准来显示剪贴板内容。在一些实施方案中,需要上述标准中的一些或全部标准来初始显示剪贴板内容,但需要少于上述标准的标准来保持剪贴板内容的显示(例如,可能需要目光来调用剪贴板,但不保持显示剪贴板,可以放松姿势或取向的容限来保持显示等)。在一些实施方案中,在停止显示剪贴板之后的阈值时间段内最初显示剪贴板可能需要少于上述标准的标准(例如,使得在满足调用剪贴板的标准之后的短时间内调用剪贴板更加容易)。
图3B示出了根据本公开的一些实施方案的用于在XR环境中显示剪贴板的示例性标准。图3B示出了用户界面元素312,在一些实施方案中,该用户界面元素是用户的手部的表示(例如,处于张开的手掌姿势)。在一些示例中,XR环境中手部的取向可以由一个或多个向量来定义。第一向量320可以被限定在手部的表示和用户之间(例如,在手部的表示和用户的头部之间,在图3B中由点326表示)。第二向量322可以是手掌的法向向量。例如,法向向量正交于由张开的手掌姿势中的手掌限定的平面。在一些实施方案中,当第二向量322平行于第一向量320时或者当第二向量322在平行于第一向量320的阈值容限内时,满足取向标准。阈值容限在图3B中由围绕第一向量320的锥体324表示。当第二向量322与第一向量320不平行或者在容限之外时,不满足取向标准。取向标准的满足可以对应于以与用户观看手掌的张开的面一致的方式相对于头部定向的手部,这提供了与剪贴板内容进行交互的用户意图的指示。
返回参考图3A,在一些实施方案中,在显示内容浏览用户界面302时的输入用于将内容浏览用户界面302中的多个内容项中的内容项添加到剪贴板。在一些实施方案中,根据确定输入满足一个或多个标准,将内容项添加到剪贴板。在一些实施方案中,根据确定输入未能满足一个或多个标准,不将内容项添加到剪贴板。在一些实施方案中,添加内容项从内容浏览用户界面302中显示的多个内容项中移除内容项。在一些实施方案中,添加内容项从内容浏览用户界面302中显示的多个内容项中复制内容项。
在一些实施方案中,使用目光部分地或完全地执行输入。例如,将目光(例如,使用眼睛跟踪传感器232)聚焦在内容项上达阈值持续时间可以将内容项添加到剪贴板。在一些实施方案中,目光可用于确定要添加剪贴板的目标内容项,并且可需要附加的选择输入来将目标内容项添加到剪贴板。在一些实施方案中,可以使用按钮、触摸屏或其他输入设备来执行附加的选择输入。在一些实施方案中,可以使用手指或手部(例如,使用手部跟踪传感器230),任选地使用在XR环境中显示的手指或手部的表示来执行附加的选择输入。在一些实施方案中,附加的选择输入可包括由手部做出的选择,诸如用手部的表示或手部的手势(例如,基于手部的姿势、取向和/或移动)触摸内容浏览用户界面302中的内容项。在一些实施方案中,可以通过在注视所需内容项时接触两根手指(例如,如图3A中的手部314所示接触拇指和食指)来进行附加的选择输入。在一些实施方案中,可以通过在XR环境中使用手部的表示轻击内容项而不需要使用目光来瞄准特定内容项来进行选择。
在一些实施方案中,输入可以要求子输入序列将内容项添加到剪贴板。在一些实施方案中,序列可包括选择子输入、移动子输入和取消选择子输入。一个或多个标准可以对应于子输入序列。在一些实施方案中,选择可包括两根手指(例如,拇指和食指)的捏合手势,并且取消选择可包括捏合手势的释放。在选择和取消选择之间的移动可以对应于在保持选择子输入的同时沿预先确定的方向的阈值量的移动。例如,移动可包括在拇指和食指捏合时以阈值量(如图3A中的虚线箭头所示)远离内容浏览用户界面中的多个内容项(以及/或者拉向用户)的拉动移动。因此,在一些实施方案中,一个或多个标准包括:第一标准,当移动沿与多个内容项相反的方向超过阈值移动量时满足该第一标准(并且如果测量到小于阈值移动或者如果移动量不沿指定方向则不满足该第一标准);第二标准,当在保持选择的同时发生移动时满足该第二标准(并且如果在没有选择子输入的情况下发生移动则不满足该第二标准);以及第三标准,当取消选择在阈值移动量之后发生时满足该第三标准(以及直到取消选择发生以及/或者如果选择期间的位移指示移动的反转使得在取消选择时总移动小于阈值移动量时才满足该第三标准)。
在一些实施方案中,在输入期间将根据该输入期间的移动的目标/所选择的内容项的移动以动画方式显示,以将内容项添加到剪贴板。在一些实施方案中,直到移动(在保持选择子输入诸如捏合的同时)沿预先确定的方向(例如,远离内容浏览用户界面302中的多个内容项)超过第一阈值移动量时,所选择的内容项可以沿XR环境中的相反方向(与移动方向相反)移动。所选择的内容项沿相反方向的移动量可以是输入的移动量的函数。例如,输入的移动越拉近用户(例如,当输入移动小于第一阈值时),所选择的内容项可以被进一步向后推。附加地或另选地,直到移动(同时保持选择子输入)沿预先确定的方向超过第一阈值移动量时,所选择的内容项的大小可以收缩,所选择的内容项的收缩量是输入的移动量的(不同)函数。例如,图3A示出了由目光焦点316指示的目标内容项304A,当手部314正在移动远离多个内容项时,该目标内容项可以如内容项304A'所表示的那样向后移动和/或收缩,但移动量小于第一阈值移动量。
在一些实施方案中,在移动(在保持选择子输入的同时)沿预先确定的方向超过第一阈值移动量之后,所选择的内容项可以在XR环境中沿相同的方向移动(例如,作为输入的移动量的函数)。例如,移动越靠近用户(例如,当输入移动的量高于第一阈值时),所选择的内容项可以被向前拉向用户。附加地或另选地,在移动(在保持选择子输入的同时)沿预先确定的方向超过第一阈值移动量之后,所选择的内容项的大小可以增加,所选择的内容项的增加量是输入的移动量的函数。例如,图3A示出了当手部314移动远离多个内容项时,目标内容项304A可以如内容项304A”所表示的那样向前移动和/或增加大小,但移动量高于第一阈值移动量。在一些实施方案中,目标内容项的移动量(和/或目标内容项的大小的对应的变化)可以与输入移动量成1:1(例如,内容项在XR环境中移位的距离与手部或手部的表示移位的距离相同)。在一些实施方案中,函数可以不同,使得目标内容项的移动量与输入移动量(例如,线性地或非线性地)成比例。
在一些实施方案中,在阈值移动量(例如,图3A所示的第二阈值)之后取消选择子输入时,所选择的内容项304可被添加到剪贴板(并且任选地显示),如栈320中的内容项304”’所示。在一些实施方案中,取消选择子输入可以使目标内容项的移动改变轨迹。例如,移动可以从朝向用户的轨迹(例如,朝向输入源)改变为朝向剪贴板的轨迹(在显示剪贴板的表示时),以将内容项添加到剪贴板以动画方式显示。在一些实施方案中,内容项304”’的大小可以小于内容项304的大小。在一些实施方案中,内容项304”’的大小可以大于内容项304的大小。当剪贴板的表示显示在计算机生成的环境中时,由内容项304”’表示的所添加的内容项可以至少部分地(或完全地)覆盖栈320中的一个或多个附加的内容项。
在一些实施方案中,上述所选择的内容项304A的移动(包括最先向后移动和/或收缩(内容项304A'),然后向前移动和/或增加(内容项304”),然后移动到剪贴板并且将其添加到剪贴板(内容项304)可以提供将内容项添加到剪贴板的过程的动画。动画可以在过程期间向用户提供视觉反馈,这可以提高过程的直观性和透明度。例如,远离用户的初始收缩/移动可以提供关于瞄准哪个内容项的信息,而不需要光标或目光或瞄准的其他指示符。朝向用户的随后的移动可以提供输入正在进行的指示符。朝向剪贴板的移动在被显示时可以提供输入满足输入标准并且将内容项添加到剪贴板的操作已完成的指示符。
应当理解,上述输入(包括子输入序列)是用于将内容项添加到剪贴板的输入的一个示例,但其他输入也是可能的。附加地或另选地,在一些实施方案中,当剪贴板的表示在XR环境中显示时,上述输入可以使得能够将内容项添加到剪贴板,但是当不显示剪贴板的表示时,可以不将内容添加到剪贴板(例如,需要用于剪贴板的显示标准和用于将内容项添加到剪贴板的输入标准)。在一些实施方案中,满足剪贴板的显示标准可以提供过载输入的上下文。例如,将内容添加到剪贴板的输入可以是与执行另一功能(例如,删除内容项或移动内容项)相同的输入,但预期的功能可以通过剪贴板的显示来消除歧义(通过满足剪贴板显示标准)。
在一些实施方案中,无论剪贴板是否显示在XR环境中(例如,当满足一个或多个剪贴板显示标准时),剪贴板的内容都保留在剪贴板中。因此,在检测到不再满足一个或多个剪贴板显示标准时,剪贴板的表示可以停止在XR环境中显示,但剪贴板内容不改变。当再次满足一个或多个剪贴板显示标准时,剪贴板的表示可以与其内容一起显示在XR环境中。在一些实施方案中,当不再显示剪贴板时,可以清除剪贴板的内容。在一些实施方案中,当用户执行另一动作时,剪贴板可以被清除。动作可包括选择用于清除剪贴板内容、共享剪贴板内容、粘贴剪贴板内容和/或在做出手势之后的示能表示。在一些实施方案中,手势可包括握拳或将取向旋转180度,任选地利用靠近剪贴板内容(或剪贴板内容被锚定到)的手部的表示,或者利用手部的表示来覆盖剪贴板内容。
在一些实施方案中,剪贴板的内容的显示可以响应于另外的输入而被更新。因此,剪贴板的内容的显示可以从多个内容项的第一表示过渡到多个内容项的第二表示。图4A至图4C示出了根据本公开的一些实施方案的XR环境中的剪贴板内容的示例性视图。如上所述,在一些实施方案中,剪贴板内容可被表示为栈420(或更一般地,多个内容项的第一表示),任选地锚定到用户界面元素412(例如,对应于栈320和用户界面元素312)。在栈表示中,一个内容项可以至少部分地(或完全地)覆盖一个或多个其他内容项。在一些示例中,响应于另外的输入,可以在多个内容项的不同表示中扩展和显示栈420的内容(例如,如图4B和图4C所示)。
在一些实施方案中,从多个内容项的第一表示过渡到多个内容项的不同的第二表示的输入可以基于目光和/或手部或手指的表示的接近度。在一些实施方案中,剪贴板内容的显示可以响应于手指和/或手部414在栈420或用户界面元素412的阈值距离418内而被更新(例如,扩展)。在一些实施方案中,剪贴板内容的显示可以响应于目光焦点416所指示的将目光聚焦在栈420或用户界面412上持续阈值时间段而被更新(例如,扩展)。在一些实施方案中,剪贴板内容的显示可以响应于聚焦目光以及/或者响应于手指和/或手部414的表示的接近度而被更新(例如,扩展)。在一些实施方案中,当使用目光和接近度两者时,当检测到手指和/或手部414的表示的阈值距离内的接近度时,可以缩短目光的持续时间,以及/或者当检测到目光聚焦达阈值持续时间时,可以减小手指和/或手部414的表示的阈值距离。
参考图4B和图4C,内容项404可以响应于输入(目光和/或接近度)以扩展形式430显示,诸如以内容项的网格(或其他扩展表示)显示。在扩展形式中,与栈420中部分或完全重叠的内容项404相比,内容项404可以不重叠或可以较少重叠。附加地或另选地,内容项404的大小可以相对于栈420中的内容项404的表示而增加。在一些实施方案中,扩展形式的剪贴板的内容根据内容项的数量可以至少部分地延伸超过用户界面元素412的边界。附加地或另选地,扩展剪贴板的内容遮挡用户界面元素412的部分(例如,用户界面元素412的附加部分和/或不同部分)。
在一些实施方案中,除了更新剪贴板内容的显示之外,还显示一个或多个用户界面元素444和448(例如,示能表示)以共享剪贴板中的内容项。在一些实施方案中,用户界面元素444可以对应于可以经由特定应用程序分享剪贴板的内容的人。例如,人可以对应于经由消息收发应用程序(或电子邮件或其他通信/共享应用程序)发送内容项的最近联系的联系人或频繁联系的联系人。在一些实施方案中,用户界面元素448可以对应于用于共享内容项的不同装置(例如,消息收发应用程序、电子邮件应用程序、近场通信、短程通信等)。用户界面元素444任选地显示在用户界面元素442(例如,窗口、容器、窗格等)中。用户界面元素448任选地显示在用户界面元素446(例如,窗口、容器、窗格等)中。
在一些实施方案中,剪贴板内容的扩展形式430和用户界面元素444、448可以一起显示在内容共享用户界面440中,如图4C所示。在一些实施方案中,与图4B相比,剪贴板内容的扩展形式430任选地相对于用户界面元素412移位,使得包括扩展形式430的内容共享用户界面440可被锚定到用户界面元素412。
在一些实施方案中,第一输入可以使剪贴板内容的显示从图4A的栈表示(多个内容项的第一表示)更新为图4B的扩展形式表示(多个内容项的第二表示),然后更新为图4C的内容共享用户界面(多个内容项的第三表示)。例如,达第一阈值持续时间的目光和/或在第一阈值距离内的接近度可以将显示从多个内容项的第一表示(例如,栈420)更新为多个内容项的第二表示(例如,扩展视图430)。达第二阈值持续时间的目光(长于第一阈值持续时间)和/或在第二阈值距离内的接近度(例如,更靠近剪贴板内容的表示)可以将显示从多个内容项的第二表示(例如,扩展形式430)更新为多个内容项的第三表示(例如,内容共享用户界面440)。在一些实施方案中,如果接近度被检测到在第二阈值距离内而没有在第一阈值距离内以及在第二阈值距离外检测到接近对象超过阈值时间段,则从多个内容项的第一表示到多个内容项的第三表示的过渡可以在不插入第二表示的情况下发生。在一些实施方案中,滞后可用于避免在接近对象停留在阈值距离中的一个阈值距离附近时在剪贴板中的多个内容项的不同表示之间切换。
在一些实施方案中,输入可用于预览内容项以及/或者改变一个或多个内容项或内容应用程序的查看模式。在一些实施方案中,预览内容项以及/或者改变查看模式包括改变在XR环境中显示一个或多个内容项的深度。例如,响应于检测到查看第一用户界面的内容项中的一者的请求,电子设备任选地在第二用户界面中显示所请求的内容项。因此,在一些实施方案中,第二用户界面是包括内容项(例如,文本内容、照片内容和/或视频内容)的内容查看用户界面(本文中也称为“预览用户界面”)。尽管被称为预览或查看用户界面,但应当理解,在这样的用户界面中其他功能也是可能的(例如,滚动等)。
图5A至图5C示出了根据本公开的一些实施方案的XR环境中的内容应用程序的示例性视图。图5A示出了包括对应于多个内容项304的内容浏览用户界面302(并且任选地对应于用户界面元素306、308)的多个内容项504的内容浏览用户界面502(并且任选地包括设置在用户界面元素506中的一个或多个用户界面元素508)的内容应用程序。为简洁起见,在此不再重复内容浏览用户界面502的细节。内容浏览用户界面502在三维XR环境中以第一深度显示。例如,内容浏览用户界面502可以被表示为在如图5A中的轴所指示的X-Y平面中,在沿Z轴的第一深度处的内容项的网格。内容浏览用户界面502被示出为在XR环境中浮动,但可以任选地被锚定到在XR环境中表示的虚拟或物理对象(例如,桌子、壁等)的表示。
在一些实施方案中,输入可以引起向内容应用程序中的不同查看模式的过渡(例如,“过渡输入”)。例如,输入可以来自包括触敏表面、按钮、操纵杆、音频传感器、手部跟踪传感器、眼睛跟踪传感器或任何其他合适的输入设备的输入设备。在一些实施方案中,输入可包括在内容浏览用户界面502中瞄准内容项的目光和来自输入设备的用于选择目标内容项的选择输入(例如,捏合两根手指、按压按钮等)。图5B示出了用于内容应用程序的预览用户界面511。响应于过渡到不同查看模式的输入(例如,选择待预览的内容项),预览用户界面511任选地显示在XR环境中。在一些实施方案中,预览用户界面511包括内容项512A,该内容项对应于用于过渡到不同查看模式的输入(例如,基于目光)所瞄准的内容项504中的一个内容项。内容项512A可以在XR环境中以大于其在内容浏览用户界面502中所对应的所显示的内容项504的大小来显示。任选地,预览用户界面511包括提供各种功能的一个或多个用户界面元素518。在一些实施方案中,由用户界面元素518提供的各种功能中的一些或全部功能可以与由用户界面元素508提供的功能相同。在一些实施方案中,由用户界面元素518提供的各种功能中的一些或全部功能可以不同于由用户界面元素508提供的功能。在一些实施方案中,功能可包括共享内容项512A、删除内容项512A、将内容项512A添加到“收藏”内容项类别、视频内容项的回放控件(例如,播放/暂停、快进、倒带、静音或其他音量调整)等的选项。在一些实施方案中,用户界面元素518被设置在用户界面元素516(例如,窗口、容器、窗格等)中。在一些实施方案中,一个或多个用户界面元素518被设置在具有或不具有容器的内容项512A之下,或者可被设置成与内容项512A的一部分重叠。在一些实施方案中,用户界面元素516不被显示或可以响应于一些输入(例如,目光和/或手势,以及/或者接近度,如上文关于用户界面元素444、448所述)而被显示。在一些实施方案中,在XR环境的不同区域中显示一个或多个用户界面元素518。
在一些实施方案中,预览用户界面511代替XR环境中的内容浏览用户界面502。在此类实施方案中,内容浏览用户界面502停止在XR环境中显示,并且预览用户界面511被显示在其在XR环境中的位置。在一些实施方案中,预览用户界面511被显示在XR环境内与先前显示的内容浏览用户界面502相同的深度(沿Z轴)处。在一些实施方案中,预览用户界面511在XR环境内以不同深度(沿Z轴)显示。在一些实施方案中,预览用户界面511更靠近XR环境中的用户显示。在一些实施方案中,预览用户界面511在XR环境中被显示为距用户更远。
在一些实施方案中,预览用户界面511与内容浏览用户界面502同时显示。在此类实施方案中,预览用户界面511在XR环境中以与内容浏览用户界面502不同的深度(沿Z轴)显示。在一些实施方案中,内容应用程序的一个用户界面的深度被改变。例如,内容浏览用户界面502可以在过渡输入之前保持在其深度,并且预览用户界面511可以在XR环境中以不同深度显示。另选地,由于过渡输入,内容浏览用户界面502可以移动到XR环境中的不同深度,并且预览用户界面511可以显示在XR环境中在过渡输入之前显示内容浏览用户界面502的深度处(例如,显示预览用户界面511可以推回内容浏览用户界面502)。在一些实施方案中,内容应用程序的多个用户界面的深度被改变。例如,图5B示出内容浏览用户界面502由于过渡输入而可以在XR环境中移动到与其在图5A中的深度相比不同的深度处(例如,向后推,-ΔZ),并且预览用户界面511可以在XR环境中显示在与在图5A中所示的输入之前显示内容浏览用户界面502的深度不同的深度处(例如,向前推,+ΔZ)。
在一些实施方案中,XR环境和用户界面的一些特性可以在不同查看模式之间改变。例如,内容浏览模式和预览模式之间的沉浸水平可以不同。在一些实施方案中,可以通过使预览用户界面511外部的XR环境变暗以及/或者通过增加应用于XR环境中的物理表示的不透明度来增加预览模式中的沉浸水平。例如,与图5A所示的内容浏览模式中的XR环境相比,XR环境在图5B所示的预览用户界面511的预览模式中可能更暗。XR环境的变暗可能不适用于内容项512A(和/或预览用户界面511),该内容项可以任选地相对于内容项504A变亮。另外,来自内容项512A的光可以任选地引起内容项512A的反射以在黑暗的计算机生成的环境中显示。例如,图5B示出了来自内容项512(例如,在XR环境中的地板上)的反射520。在一些实施方案中,仅当环境变暗时在XR环境中显示反射。例如,反射520在图5B中示出,但在图5A中未示出。在一些实施方案中,可以在XR环境中示出反射,但反射量取决于内容项的亮度和XR环境的暗度。在此类示例中,来自内容项的反射可以在图5A的XR环境中显示,但在XR环境变暗和/或内容项512A变亮的情况下,内容项504的反射强度小于处于图5B的更深沉浸水平的内容项512A的反射。
在一些实施方案中,XR环境是虚拟现实环境。在一些此类实施方案中,通过使用于生成XR环境的虚拟环境的虚拟光源变暗来实现使XR环境变暗(以及使一些内容项或用户界面变亮)。在一些实施方案中,XR环境是混合或增强现实环境。在一些此类实施方案中,XR环境包括由设备(例如,由图像传感器210)捕获的视频和任选的计算机生成的虚拟内容或显示为覆盖视频的用户界面。通过使XR环境的视频部分变暗来实现使XR环境变暗。在一些此类实施方案中,使用至少部分透明的显示器,该至少部分透明的显示器包括具有可调整的不透明度/透明度的层,以调整穿过显示器的光量。经由该层增加不透明度可以减少光量,从而使XR环境变暗。
在一些实施方案中,内容浏览用户界面502的外观在与预览用户界面511在时间上共延地显示时是不同的。例如,与没有同时显示预览用户界面511的内容浏览用户界面502相比,内容浏览用户界面502的外观在与预览用户界面511一起显示时可以是离焦的、淡出的和/或暗淡的,这任选地是由于XR环境的沉浸水平的变化以及/或者由于预览用户界面511的遮挡。另外,在图5B中的内容浏览用户界面502中显示的内容项504’(以及任选的用户界面元素506’、508’)的大小可以小于在图5A中的内容浏览用户界面502中显示的内容项504的大小。内容项504的显示的大小变化可以是图5A和图5B之间的内容浏览用户界面502的深度变化的函数。
在一些实施方案中,内容浏览模式和预览模式之间的过渡可以是逐渐的。例如,图5A和图5B之间的用户界面元素和内容浏览用户界面502的内容项的位置和/或大小和/或外观的改变可以是逐渐的。例如,过渡可以将内容浏览用户界面502从图5A中的第一深度推回到图5B中的第二深度的移动以及内容浏览用户界面502的内容项和/或用户界面元素的大小的由此产生的变化以动画方式显示。附加地或另选地,因改变沉浸水平而导致的内容浏览用户界面502和XR环境的外观的改变可以是逐渐的。例如,使环境变暗以及/或者使内容浏览用户界面502中的内容项的焦点淡化/模糊可以逐渐地发生。
在一些实施方案中,输入可用于从预览模式过渡回内容浏览模式。图5C示出了从预览模式过渡回内容浏览模式。在一些实施方案中,输入来自输入设备,输入设备包括触敏表面、按钮、操纵杆、音频传感器、手部跟踪传感器、眼睛跟踪传感器或任何其他合适的输入设备。
在一些实施方案中,输入可包括使用输入设备的选择(例如,两根手指的捏合、按压按钮等)和移动。在一些实施方案中,输入可以要求子输入序列从预览模式过渡回内容浏览模式。在一些实施方案中,序列可包括选择子输入(例如,捏合)、移动子输入和取消选择子输入(例如,释放捏合)。在选择和取消选择之间的移动可以对应于在保持选择子输入的同时沿预先确定的方向的阈值量的移动(例如,捏合时的移动)。在一些实施方案中,移动可以对应于沿第一预先确定的方向的第一阈值移动量和沿第二预先确定的方向的第二阈值移动量。例如,如图5C所示,输入可包括将手部514的两根手指(例如,拇指和食指)捏合在一起,其表示任选地显示在XR环境中。在捏合时,移动可包括沿图5C中由箭头532指示的第一预先确定的方向的第一阈值量的第一移动,以及随后沿图5C中由箭头534指示的第二预先确定的方向的第二阈值量的第二移动。在一些实施方案中,第一阈值量和第二阈值量相同。在一些实施方案中,第二阈值量大于第一阈值量。在一些实施方案中,第一预先确定的方向和第二预先确定的方向是相反的方向(或在成相反方向的阈值内)。在一些实施方案中,第一预先确定的方向可以在XR环境中向下,并且第二预先确定的方向可以至少部分地向上并且/或者朝向内容浏览用户界面502。在一些实施方案中,输入的取消选择(例如,捏合的释放)必须在移动高于阈值速度以执行过渡时发生(例如,在沿第二预先确定的方向的第二阈值量的第二移动之后暂停将不执行过渡)。在一些实施方案中,取消选择可以独立于取消选择时的速度来执行过渡。
在一些实施方案中,内容应用程序响应于输入从预览用户界面511过渡回内容浏览用户界面502。在一些实施方案中,可以在预览模式和内容浏览模式之间的过渡可以是逐渐的(例如,反转从内容浏览模式过渡回预览模式)。例如,过渡可以将内容浏览用户界面502从图5B中的第二深度向前拉到图5A中的第一深度的移动以动画方式显示(并且改变内容浏览用户界面502的内容项和/或用户界面元素的大小)。附加地或另选地,因改变沉浸水平而导致的内容浏览用户界面502和XR环境的外观的改变可以是逐渐的。例如,环境的变亮和/或内容浏览用户界面502中的内容项的淡入/成为焦点可以逐渐地发生。
在一些实施方案中,动画包括内容512A返回到内容浏览用户界面502中的对应的内容项504A的移动。在一些实施方案中,动画中的内容项512A的速度可以与输入移动(例如,沿第二预先确定的方向的输入移动)的速度一致。例如,输入移动越快,速度就越快;输入移动越慢,速度就越慢。
在一些实施方案中,过渡在输入(例如,包括选择、移动和取消选择)结束时开始,以返回到内容浏览用户界面502。在一些实施方案中,过渡可以响应于一些子输入而开始,并且随着输入进行到完成而继续(例如,检测所有所需的子输入)。在一些实施方案中,过渡响应于一些子输入而开始,然后如果输入没有进行到完成则取消。例如,在保持捏合输入的同时沿第一预先确定的方向的移动可以通过开始减少沉浸(例如,使环境变亮)或通过开始改变内容项的大小(例如,收缩内容项512A)和/或内容项的位置来开始过渡(例如,在内容浏览用户界面502和预览用户界面511中)。图5C示出了任选地改变内容应用程序的多个用户界面的深度。例如,图5C示出了内容浏览用户界面502可以由于用于过渡的输入的部分或全部而开始从图5B中的深度向前移动到图5A中的深度(例如,在图5C中示出为具有+ΔZ的中间位置),并且预览用户界面511可以开始从图5B中的深度向后移动到内容浏览用户界面502(例如,在图5C中示出具有-ΔZ的中间位置)。根据该移动,内容项504”(以及任选地用户界面元素506”和508”)可以开始增加大小(以及/或者淡入和/或变亮),并且内容项512’(以及任选地用户界面元素516’和518’)可以开始减小大小(以及/或者变暗和/或淡出)。在一些实施方案中,反射520'基于内容项512'的大小和/或亮度以及XR环境的亮度的改变来改变大小和/或亮度。
应当理解,在一些实施方案中,预览用户界面511中的内容项512A所占据的区域大于显示生成部件的阈值量(例如,50%、70%、90%等)的查看区域,使得预览用户界面511被认为是“全屏”预览模式。
图6示出了根据本公开的一些实施方案的XR环境中的内容应用程序的示例性视图。图6对应于用于查看内容应用程序的一个或多个内容项的另一可能的用户界面。例如,响应于检测到查看第一用户界面(例如,图5A的内容浏览用户界面502)中的内容项中的一个内容项的请求,电子设备任选地在第二用户界面中显示所请求的内容项。因此,在一些实施方案中,第二用户界面是包括内容项(例如,文本内容、照片内容和/或视频内容)的内容查看用户界面(本文中也称为“全景用户界面”)。
作为参考,图6示出了对应于图5A的多个内容项504的内容浏览用户界面502(并且任选地对应于用户界面元素506、508)的多个内容项604的内容浏览用户界面602(并且任选地包括设置在用户界面元素606中的一个或多个用户界面元素608)。图6示出了响应于用于过渡到不同查看模式的输入任选地显示在XR环境中的内容应用程序的全景用户界面610(例如,与用于过渡到图5B的预览模式相同的过渡输入或不同的过渡输入)。在一些实施方案中,预览用户界面610包括与过渡输入(例如,基于目光)所瞄准的内容项604中的一个内容项相对应的一个内容项。
全景用户界面610中显示的内容项在XR环境中以大于其在内容浏览用户界面中所对应的所显示的内容项604的大小来显示。在一些实施方案中,全景显示器中的内容项所占据的区域大于显示生成部件的阈值量(例如,50%、70%、90%等)的查看区域。在一些实施方案中,全景用户界面610中的内容项是三维表示(非平面)。在一些实施方案中,全景用户界面610中的内容项部分或完全地围绕用户(例如,提供180°或360°的查看能力)。在一些实施方案中,旋转输入(例如,如由运动传感器、手部跟踪传感器等测量的)可用于旋转XR环境的视图以显示全景用户界面610中显示的内容项的不同部分。
在一些实施方案中,相同的过渡输入用于从内容浏览用户界面502/602过渡到预览用户界面511和全景用户界面610中的任一者。在一些实施方案中,根据对应于全景内容(例如,全景照片或视频)的所选择的内容项来对全景用户界面610进行过渡,而根据对应于非全景内容(例如,标准照片或视频)的所选择的内容项来对预览用户界面511进行过渡。在一些实施方案中,不同的过渡输入分别用于过渡到全景用户界面610或预览用户界面511。
任选地,全景用户界面610包括提供各种功能的一个或多个用户界面元素(未示出)(例如,类似于上文关于用户界面元素518所描述的并且在此不再重复)。在一些实施方案中,响应于一些附加的输入(例如,目光、手势和/或手指/手部的接近度)来显示用户界面元素。
在一些实施方案中,全景用户界面610代替XR环境中的内容浏览用户界面602。在此类实施方案中,内容浏览用户界面602停止在XR环境中显示,并且全景用户界面610被显示在其在XR环境中的位置。在一些实施方案中,全景用户界面610显示在XR环境内与内容浏览用户界面602在过渡到全景查看模式之前的深度相同的深度(沿Z轴)处。在一些实施方案中,全景用户界面610在XR环境内以不同深度(沿Z轴)显示。在一些实施方案中,相比于过渡之前的内容浏览用户界面602,全景用户界面610更靠近XR环境中的用户显示。在一些实施方案中,全景用户界面610在XR环境中显示为相比于过渡之前的内容浏览用户界面602距用户更远。
在一些实施方案中,全景用户界面610与内容浏览用户界面602同时显示。在此类实施方案中,全景用户界面610在XR环境中以与内容浏览用户界面602的深度不同的深度(沿Z轴)显示。在一些实施方案中,内容应用程序的一个用户界面的深度被改变。例如,内容浏览用户界面602可以在过渡输入之前保持在其深度处,并且全景用户界面610可以在XR环境中以不同深度(例如,对于更沉浸的体验,更靠近用户)显示。另选地,由于过渡输入,内容浏览用户界面602被移动到XR环境中的不同深度,并且全景用户界面610可以显示在XR环境中在过渡输入之前显示内容浏览用户界面602的深度处(例如,显示全景用户界面610可以推回内容浏览用户界面602)。在一些实施方案中,内容应用程序的多个用户界面的深度被改变。例如,如图6所示,内容浏览用户界面602由于过渡输入而可以在XR环境中移动到与在图5A中的内容浏览用户界面502的深度相比不同的深度处(例如,向后推,-ΔZ),并且全景用户界面610可以在XR环境中显示在与在图5A中所示的过渡输入之前显示内容浏览用户界面502的深度不同的深度处(例如,向前推,+ΔZ)。
在一些实施方案中,全景模式与内容浏览模式和/或预览模式的沉浸水平可以不同。在一些实施方案中,可以通过使全景用户界面610外部的XR环境变暗以及/或者通过增加应用于XR环境中的物理表示和/或全景用户界面610外部的其他非物理表示的不透明度来增加全景视图中的沉浸水平。例如,与图5A所示的内容浏览模式中的XR环境相比以及/或者与图5B所示的预览模式中的XR环境相比,XR环境在全景模式中可能更暗。XR环境的变暗可能不适用于全景用户界面610中的内容项,与过渡之前的内容浏览用户界面602中的对应的内容项相比,该全景用户界面中的内容项可以任选地变亮。另外,来自全景内容项的光可以任选地引起反射以在变暗的计算机生成的环境中(例如,在地板上)显示。
在一些实施方案中,内容浏览用户界面602的外观可以在与全景用户界面610在时间上共延地显示时被改变。例如,与在没有全景用户界面610的情况下显示的内容浏览用户界面602的外观相比,在与全景用户界面610同时显示的情况下,内容浏览用户界面602的外观可以是离焦的、淡出的和/或暗淡的。另外,在图6中的内容浏览用户界面602中显示的内容项604(以及任选的用户界面元素606、608)的大小可以小于在图5A中的内容浏览用户界面502中显示的内容项504的大小。内容项504的显示的大小变化可以是图5A和图6之间的内容浏览用户界面502/602的深度的改变的函数。
在一些实施方案中,内容浏览模式和全景模式之间的过渡可以是逐渐的。例如,图5A和图6之间的用户界面元素和内容浏览用户界面的内容项的位置和/或大小和/或外观的改变可以是逐渐的。例如,过渡可以将内容浏览用户界面502从图5A中的第一深度推回到图6中的第二深度的移动以及内容浏览用户界面502/602的内容项和/或用户界面元素的大小的结果变化以动画方式显示。附加地或另选地,因改变沉浸水平而导致的内容浏览用户界面602和XR环境的外观的改变可以是逐渐的。例如,使环境变暗以及/或者使内容浏览用户界面602中的内容项的焦点淡化和/或模糊可以逐渐地发生。在一些实施方案中,过渡可以在退出全景模式时任选地以逐渐的方式被反转。在一些实施方案中,可以使用与退出预览模式相同的输入来退出全景模式。
图7示出了根据本公开的一些实施方案的XR环境中的内容应用程序的示例性视图。图7对应于用于查看内容应用程序的一个或多个内容项的另一可能的用户界面。例如,响应于检测到查看第一用户界面(例如,对应于图5A的内容浏览用户界面的内容浏览用户界面702)中的内容项中的一个内容项的请求,电子设备任选地在第二用户界面中显示所请求的内容项。因此,在一些实施方案中,第二用户界面是包括内容项(例如,文本内容、照片内容和/或视频内容)的内容查看用户界面(本文中也称为“预览用户界面”)。
作为参考,图7示出了对应于图5A的多个内容项504的内容浏览用户界面502(并且任选地对应于用户界面元素506、508)的多个内容项704的内容浏览用户界面702(并且任选地包括设置在用户界面元素706中的一个或多个用户界面元素708)。与内容浏览用户界面502不同,内容浏览用户界面702可被设置成更靠近用户(例如,在相对于内容浏览用户界面502的前景中)。在一些实施方案中,内容浏览用户界面702显示为被锚定到物理对象的表示(例如,图1中的桌子720)。图7示出了响应于用于过渡到不同查看模式的输入任选地显示在XR环境中的内容应用程序的预览用户界面710(例如,与用于过渡到图5B的预览模式或图6的全景模式的输入相同的过渡输入或不同的过渡输入)。在一些实施方案中,预览用户界面710包括与过渡输入(例如,基于目光指示符716所指示的目光)所瞄准的内容项704A中的一个内容项相对应的一个内容项704A’。
在一些实施方案中,在预览用户界面710中显示的内容项在XR环境中以大于其所对应的所显示的内容项704的大小来显示。在一些实施方案中,预览用户界面710中的内容项704A'显示在XR环境中的背景中,并且任选地锚定到平坦表面(例如,背景壁)。在一些实施方案中,预览用户界面710中的内容项704A'显示在XR环境内比内容浏览用户界面702所处的高度更高的高度处。
在一些实施方案中,与用于从内容浏览用户界面502/602过渡到预览用户界面511或全景用户界面610的输入相同的输入可用于从内容浏览用户界面702过渡到预览用户界面710。在一些实施方案中,输入是由手部714做出的手势(任选地在XR环境中由手部714的表示反映),包括将手部714的两根手指(例如,拇指和食指)捏合在一起,并且在捏合时,沿图7中由箭头734指示的第一预先确定的方向移动第一阈值量,以投射图像704A来显示预览用户界面710。在一些实施方案中,为了退出预览模式并且返回到内容浏览模式(例如,显示内容浏览用户界面702并且停止显示预览用户界面710),过渡输入包括将手部714的两根手指捏合在一起(任选地当目光瞄准内容项704'时),以及当捏合时,沿图7中由箭头732指示的第二预先确定的方向(例如,与第一预先确定的方向相反)移动第二阈值量以从预览用户界面710拉动图像704A'。在一些实施方案中,根据内容浏览用户界面在用户的阈值距离内(例如,前景)以及/或者根据具有大于阈值距离的平坦表面(例如,背景),响应于过渡输入,进行过渡以预览用户界面710(与内容应用程序的其他用户界面相对)。在一些实施方案中,如上所述,根据内容浏览用户界面在阈值距离之外(以及/或者根据不具有平坦表面),进行从内容浏览用户界面到全景用户界面610或预览用户界面511的过渡。在一些实施方案中,可以使用不同的输入来分别过渡到预览用户界面710、全景用户界面610或预览用户界面511。
任选地,预览用户界面710包括提供各种功能的一个或多个用户界面元素(未示出)(例如,类似于上文关于用户界面元素518所描述的并且在此不再重复)。在一些实施方案中,响应于一些附加的输入(例如,目光、手势等)来显示用户界面元素。在一些实施方案中,这些一个或多个用户界面元素显示在前景中,相比于预览用户界面710更接近用户。
在一些实施方案中,当显示预览用户界面710时,内容浏览用户界面702停止在XR环境中显示。在一些实施方案中,预览用户界面710与内容浏览用户界面702同时显示。在此类实施方案中,预览用户界面710在XR环境中以与内容浏览用户界面702的深度不同的深度(沿Z轴)显示。在一些实施方案中,内容应用程序的一个用户界面的深度被改变。例如,内容浏览用户界面702可以在过渡输入之前保持在其深度,并且预览用户界面710可以在XR环境中(例如,远离用户)以不同深度(例如,-ΔZ)显示。在一些实施方案中,内容应用程序的多个用户界面的深度被改变。例如,由于过渡输入,内容浏览用户界面702可以移动到XR环境中与内容浏览用户界面702的深度相比不同的深度处(例如,朝向用户向前拉,+ΔZ),并且预览用户界面710可以显示在XR环境中与过渡输入之前显示内容浏览用户界面702的深度不同的深度处(例如,从用户向后推,-ΔZ)。
在一些实施方案中,预览用户界面710在预览模式与内容浏览模式下的沉浸水平可以不同(或与预览用户界面511或全景用户界面610相比)。在一些实施方案中,可以通过使预览用户界面710外部的XR环境变暗以及/或者通过增加应用于XR环境中的物理表示和/或预览用户界面710外部的其他非物理表示的不透明度来增加预览模式中的沉浸水平。例如,与图5A中所示的内容浏览模式中的XR环境相比以及/或者与图5B中所示的预览模式中的XR环境相比,XR环境在预览用户界面710被示出为所在的预览模式中可能更暗。在一些实施方案中,对于预览用户界面710,照明/变暗的水平可以与预览用户界面511的相同(均处于预览模式)。XR环境的变暗可能不适用于内容项704A',与对应的内容项704A相比,前者可以任选地变亮。另外,来自内容项704A'的光可以任选地引起反射以在变暗的计算机生成的环境中显示。
在一些实施方案中,内容浏览用户界面702的外观可以在与预览用户界面710在时间上共延地显示时被改变。例如,与不显示预览用户界面710的内容浏览用户界面702相比,在同时显示预览用户界面710时,内容浏览用户界面702的外观可以是离焦的、淡出的和/或暗淡的。另外,内容浏览用户界面702中显示的内容项704(以及任选的用户界面元素706、708)的大小在显示预览用户界面710时与其在内容浏览模式中的大小相比可以更小。
在一些实施方案中,内容浏览模式和预览模式之间的过渡可以是逐渐的。例如,用户界面元素和/或内容浏览用户界面702或预览用户界面710的内容项的位置和/或大小和/或外观的改变可以逐渐发生。例如,过渡可以使内容浏览用户界面702移动向用户的移动以及/或者改变内容浏览用户界面702的内容项的大小或外观以动画方式显示。作为另一示例,当内容项704A过渡为在预览用户界面710中显示为内容项704A'时,该过渡可以将其移动、大小的改变和亮度的改变以动画方式显示。在一些实施方案中,在退出预览模式时,任选地以逐渐的方式反转过渡。在一些实施方案中,可以使用与退出预览模式相同的输入来退出全景模式。
图8示出了根据本公开的一些实施方案的XR环境中的内容应用程序的示例性视图。图8对应于用于浏览和/或查看内容应用程序的内容项的另一可能的内容浏览用户界面800。与内容浏览用户界面502中的内容项的网格布局不同,内容浏览用户界面800示出了在XR环境中展开的多个内容项。在一些实施方案中,展开的内容项802(在图8中被示出为矩形)可以在XR环境中以平面表示布置,但不以网格布置(例如,具有行/列或其他统一表示)。例如,展开的内容项802可以设置在XR环境中的相同的深度(沿Z轴)处并且具有相同的取向。在一些实施方案中,展开的内容项可以非平面表示布置。例如,各种展开的内容项802被设置在不同的深度(沿Z轴)处并且/或者在不同的取向。
在一些实施方案中,内容浏览用户界面800所占据的区域大于显示生成部件的阈值量(例如,50%、70%、90%等)的查看区域。在一些实施方案中,内容浏览用户界面800在XR环境中延伸超过XR环境中表示的物理环境的维度。例如,一些内容项802和/或内容浏览用户界面800中的一些内容浏览用户界面可以出现在XR环境中,与用户的距离大于与用户所处物理环境中的房间的物理壁的距离。在一些实施方案中,内容浏览用户界面800被约束到由查看端口(例如,多边形或圆形查看端口)定义的XR环境的特定区域。
在一些实施方案中,内容浏览用户界面800是类似于全景用户界面610的三维表示(非平面)。在一些实施方案中,内容浏览用户界面800中的展开的内容项部分地或完全地围绕用户(例如,提供180°或360°的查看能力)。在一些实施方案中,旋转输入(例如,如由运动传感器、手部跟踪传感器等测量的)可用于旋转视图并且看到内容浏览用户界面800中显示的展开的内容项的不同部分。
在一些实施方案中,相同的输入可用于从内容浏览用户界面502/602过渡到内容浏览用户界面800,以便过渡到其他查看模式/用户界面(例如,预览用户界面511、全景用户界面610、预览用户界面710等)。在一些实施方案中,可以使用与其他用户界面/查看模式不同的输入来过渡到内容浏览用户界面800。
任选地,内容浏览用户界面800包括提供各种功能的一个或多个用户界面元素(未示出)(例如,类似于上文关于用户界面元素518所描述的并且在此不再重复)。在一些实施方案中,响应于一些附加的输入(例如,目光和/或手指/手部的手势)来显示这些用户界面元素。
在一些实施方案中,内容浏览用户界面800代替XR环境中的内容浏览用户界面502/602(或另一用户界面)。在此类实施方案中,内容浏览用户界面502/602停止在XR环境中显示,并且内容浏览用户界面800显示在XR环境中。在一些实施方案中,内容浏览用户界面800显示在XR环境内与过渡之前呈现的用户界面相同的深度(沿Z轴)处。在一些实施方案中,内容浏览用户界面800中的展开的内容项显示在XR环境内的多个不同的深度(沿Z轴)处。在一些实施方案中,内容浏览器用户界面800在XR环境中更靠近和/或更远离用户显示(与内容浏览用户界面502/602/702相比)。
在一些实施方案中,展开的内容项的内容浏览模式与其他内容浏览模式和/或预览模式的沉浸水平不同。在一些实施方案中,可以通过使内容浏览用户界面800外部的XR环境变暗以及/或者通过增加应用于XR环境中的物理表示和/或内容浏览用户界面800外部的其他非物理表示的不透明度来增加全景视图中的沉浸水平。例如,与图5A所示的内容浏览模式中的XR环境相比、与图5B或图7所示的预览模式中的XR环境相比,以及/或者与图6所示的全景模式相比,XR环境在图8所示的内容浏览用户界面800的全景模式中可能更暗。在一些实施方案中,应用于物理环境的不透明度可以高于阈值,以允许内容项802显示在看起来延伸超过物理环境中的壁(或其他项)的深度处。XR环境的变暗可能不适用于内容项802,该内容项可以任选地变亮。另外,来自内容项802的光可以任选地引起反射以在变暗的计算机生成的环境中显示。
在一些实施方案中,可以改变内容浏览用户界面802中的内容项的外观。例如,用户可以将注意力集中在特定的/目标内容项上,并且注意力的集中可以引起一个或多个内容项的位置的改变(例如,吸引和/或排斥效果)。这种吸引和/或排斥效果可以帮助用户浏览和/或过滤具有共享特性的内容项,并且任选地在用户界面的区域中对具有共享特性的内容项进行聚类。在一些实施方案中,用户可以使用目光将注意力集中在指定的内容项上(例如,由内容项802上的目光焦点804表示)。在一些实施方案中,聚焦于内容项802(例如,特定的人和特定宠物的照片或视频)可以使一个或多个附加的内容项802A至802E以吸引效果移动得更靠近内容项802(例如,移动到由内容项802A’至802E'示出的位置)。在一些实施方案中,内容项的移动可包括三维位置的改变(例如,包括深度的改变)和/或取向的改变。在一些实施方案中,内容项802A至802E更靠近内容项802的移动可以增加内容项的大小(例如,内容项802A'至802E'被示出为相对于内容项802A至802E任选地增加大小)。附加地或另选地,在一些实施方案中,聚焦于内容项802可以使一个或多个附加的内容项以排斥效果从内容项802进一步移动。例如,内容项802F可以从内容项802进一步移动,如内容项802F'所示,任选地改变内容项的位置、取向和/或大小(例如,收缩)。在一些示例中,当焦点离开内容项802时(例如,当输入结束时),上述吸引和排斥移动可以反转。在一些实施方案中,当从特定内容项中移除焦点时,内容项可以保留在它们相应的位置中。在一些实施方案中,每当瞄准新的内容项(例如,通过目光或其他输入)时,内容项可以被吸引到新的目标内容项或从新的目标内容项被排斥。
在一些实施方案中,对目标内容项802的吸引是基于与目标内容项802的共享特性并且/或者对目标内容项802的排斥是基于与目标内容项802不同的特性。吸引和/或排斥的量可以是关于特性是共享的还是不同的(中性的还是相反的)函数。在一些实施方案中,使用多个特性,并且使用基于多个特性是共享的还是不同的(以及特性是如何共享或不同)总体得分来确定吸引/排斥的量。
例如,目标内容项802可以是特定的人和特定宠物的照片(或视频),内容项802A至802E可以是包括特定的人和/或特定宠物的照片(或视频),并且内容项802F可以是不包括人或宠物(或包括不同的人和/或不同的宠物)的照片(或视频)。内容项802A至802E基于共享特性被吸引到内容项802的位置,并且内容项802F基于不同的特性从内容项802的位置被排斥。在一些实施方案中,包括指定的人或指定的宠物(但不是两者)的内容项保持静止或被吸引到内容项802,但不如具有指定的人和宠物的那些内容项那样多。在一些实施方案中,具有不同特性的内容项保持静止或被排斥(排斥量是内容项差异程度的函数)。
以上描述使用人和/或动物的身份作为特性,但其他特性也是可能的。在一些实施方案中,共享特性可以是内容项的其他特性,诸如人和/或动物的数量(例如,具有一个人和一个宠物的内容项、具有四个人的内容项、仅具有宠物的内容项等)、位置(例如,在共享地理位置处创建的内容项,诸如家庭、工作、特定城市或国家等)、日期(例如,在特定日期、周、月、年等创建的内容项)、事件(例如,在相同或类似的事件处创建的内容项,诸如学校、婚礼、运动赛事、会议等)、大小(例如,具有共享长径比的内容项等)、取向(例如,具有共享取向的内容项,诸如风景或肖像)、捕获设备(例如,由共享传感器创建的内容项,诸如后置摄像头、前置摄像头、特定内容创建应用程序等)、模式(例如,自拍模式)、文件类型(例如,照片、视频、文本)、活动(例如,阅读、锻炼、远足、皮划艇等)、滤镜或效果类型(例如,特定的彩色滤镜或黑白滤镜等)、收藏夹(例如,用户指定的收藏夹内容项)、人际关系(例如,配偶、家庭成员、队友等),以及其他可能的特性(风景照、建筑照、著名地标等)。
在一些实施方案中,为目标内容项导出一个特性。在一些实施方案中,为目标内容项导出多个特性。例如,内容项802中的人的身份可被导出为特性(一个特征)或内容项802中的人和宠物的身份(两个特性)。在一些示例中,可以从目标内容项的子集导出特性。例如,内容项802被示出为包括人和宠物,但特性可以基于与宠物并置的目光焦点804而被导出为宠物/宠物身份。
在一些实施方案中,使用一个或多个机器学习模型(例如,深度神经网络等)来确定内容项的不同内容项的一个或多个特性(例如,以提取特征)。在一些实施方案中,当瞄准内容项时(或者当瞄准内容项的一部分时),一个或多个机器学习模型可以预测内容项的一个或多个特性以及/或者生成表示其他内容项与目标内容项的相同程度或相异程度的得分。然后可以使用这些得分来确定是否改变各种内容项的位置,改变是否应该反映吸引或排斥,以及应该应用多少吸引或排斥。
在一些实施方案中,吸引和/或排斥是逐渐的。例如,内容项802A至802F可以从它们的初始位置逐渐移动到由内容项802A'至802F'指示的位置。在一些实施方案中,内容项的移动速率可以是距离、吸引/排斥得分和/或输入持续时间的函数。在一些实施方案中,内容项的移动速度可以是距离的函数(例如,速度与相应的内容项和目标内容项之间的距离成线性比例或非线性比例(或者成反比))。在一些实施方案中,内容项的移动速度可以是得分的函数(例如,速度与相应的内容项和目标内容项之间的得分成线性比例或非线性比例)。在一些实施方案中,内容项的移动速度可以是输入持续时间的函数(例如,速度与目光停留在目标内容项上的持续时间成线性比例或非线性比例)。在一些实施方案中,运动速度是距离、得分和输入持续时间(例如,目光)的函数。
在一些实施方案中,可以将滞后添加到吸引和排斥效果。例如,与吸引/排斥效果相关联的移动可以在目光聚焦于目标内容项上达第一阈值持续时间时开始,然后继续(任选地以较慢的速度)而不管目光的暂时避开。与吸引/排斥相关联的移动可以不停止,直到目光从先前瞄准的选项避开达第二阈值持续时间(或者直到新的内容项被第一阈值方向的目光焦点瞄准)。在一些示例中,展开的内容浏览用户界面800中的吸引和/或排斥效果可被切换为开或关(例如,通过XR环境中的用户界面元素,或者通过其他输入诸如手势或语音命令)。
在一些实施方案中,可以基于空间特性来改变内容浏览用户界面802中的内容项的外观。例如,可以基于XR环境内的位置来增强内容项的外观。例如,可以定义XR环境的特定区域(例如,用户的视场中心)。特定区域处的内容项可以是第一大小,并且与特定区域相距一定距离的内容项可以是不同的(例如,较小的)大小。在一些实施方案中,内容项的大小可以随着移动远离XR环境中的特定区域(例如,从特定区域向左/向右移动和/或向后移动)而(例如,线性地或非线性地)减小。在一些示例中,除了在特定区域处大小被最大化之外,内容项还可以在特定区域处具有最大聚焦和/或照明(和/或最小淡化)。随着移动远离XR环境中的特定区域,焦点和/或照明可以(例如,线性地或非线性地)减小并且/或者淡化可以增加。在一些实施方案中,上述空间特性可以改善焦点并且/或者为作为用户焦点的主题的内容项提供缩放(并且缩小用户焦点之外的内容项),而不需要用户输入来进行缩放。在一些实施方案中,特定区域可以根据用户输入(例如,电子设备的旋转)在XR环境内移动。例如,特定区域可以保持在电子设备的视场内的相同的点处。在一些实施方案中,旋转输入提供用于通过移动电子设备来滚动内容项的另选手段,以提供展开的内容项的不同视图,而不是用于滚动内容项的输入(例如,手势)(例如,如关于图9A至图9C所述)。
在一些实施方案中,内容浏览用户界面800和本文所述的内容应用程序的其他用户界面之间的过渡可以是逐渐的(例如,将用户界面元素和内容项的位置、大小取向和/或外观的改变以动画方式显示)。在一些实施方案中,过渡是瞬时的或快速的。在一些实施方案中,过渡中的一些过渡是逐渐的,并且过渡中的一些过渡是快速的或瞬时的。例如,从内容浏览用户界面502到内容浏览用户界面800的过渡可以逐渐使环境变暗,但快速地移除内容项504并且将内容项802添加到XR环境。在一些实施方案中,在退出展开的内容浏览模式时,任选地以逐渐的方式(和/或快速的方式)反转过渡。
图9A至图9C示出了根据本公开的一些实施方案的滚动内容应用程序的内容浏览用户界面。图9A示出了包括以网格布置(例如,对应于内容浏览用户界面502/602/702)的多个内容项904的内容浏览用户界面900。在一些实施方案中,内容应用程序可包括超过分配给内容浏览用户界面900的显示区域的多个内容项。例如,图9A的内容浏览用户界面900示出了具有用于4×5网格中的20个内容项904的空间的显示区域901(第一区域)。应当理解,分配给内容浏览用户界面的显示区域可以不同于图9A中的示例性表示。在一些实施方案中,用户输入用于滚动多个内容项。例如,可以经由手势(例如,手指或手部的轻扫手势)、经由用户界面中的示能表示(例如,移动滑块或轻击滚动按钮)和/或目光输入(例如,将目光停留在网格的边缘上持续阈值时间段)来提供滚动输入。滚动输入可以使内容项904中的一些内容项被移动以及/或者用未在内容浏览用户界面900的显示区域901中显示的其他内容项来替换。例如,响应于滚动输入,可以将一列内容项906添加到内容浏览用户界面900,并且可以从内容浏览用户界面中移除最左侧的一列内容项904(例如,停止显示最左侧的列)。
在一些实施方案中,为了改善用户体验,在内容浏览用户界面900的边缘区域903(第二区域)中显示附加的内容项906、908。内容项906、908可以与内容应用程序的第一区域901中显示的内容项904不同的外观显示在第二区域903中。沿边缘的第二区域903中的内容项的例示可以为用户提供关于在内容浏览用户界面中是否存在要滚动到的附加的内容项的信息(例如,图9A在右侧而不是在左侧示出了边缘区域中的附加的内容项,从而用户理解仅沿一个方向浏览是可能的),并且还可以提供关于这些内容项可能是什么的一些信息(例如,因为存在内容的另外的表示)。
在一些实施方案中,第二区域903中沿边缘的内容项可以是非平面的,而第一区域901中的内容项可以是平面的。例如,内容浏览用户界面900中的内容项可以适合于曲线905(在图9A中从自顶向下的透视图示出),该曲线包括对应于第一区域901的线性部分和对应于第二区域903的弯曲部分。曲线可以移动远离用户(例如,沿Z轴),使得内容项沿曲线部分具有不同的深度。例如,内容项904可以具有第一深度,内容项906可以具有第二深度(例如,距用户更远的-ΔZ1),并且内容项908可以具有第三深度(例如,距用户甚至更远的-ΔZ2)。在一些实施方案中,沿曲线滚动内容可以提供在第一区域901和第二区域903之间像转盘一样移动的内容项的外观。
在一些实施方案中,沿曲线设置的内容项(例如,内容项906、908)以类似于内容项904的平面方式朝向用户定向(例如,由曲线定义的深度,但取向不由曲线定义)。在一些实施方案中,沿曲线设置的内容项遵循曲线,使得内容项具有深度梯度(并且内容项的取向遵循曲线)。
在一些实施方案中,由于深度变化,第二区域903中的内容项可以具有与第一区域901中的内容项不同的外观。例如,由于内容项906与用户的相对深度,内容项906在大小上可以小于内容项904。同样,由于内容项908与用户的相对深度,内容项908在大小上可以小于内容项906。在一些实施方案中,与内容项904相比,第二区域中的内容项906、908也可以是淡出的、亮度变暗的和/或离焦的。在一些实施方案中,内容项906的淡化、亮度和/或焦点可以相对小于内容项904的淡化、亮度和/或焦点,并且内容项908的淡化、亮度和/或焦点可以相对小于内容项906的淡化、亮度和/或焦点。在一些实施方案中,第二区域903中的内容项的大小、淡化、亮度和/或焦点可以遵循沿曲线905的梯度。另外,应当理解,第二区域903中的内容项可以至少部分地被第一区域901中的内容项遮挡,并且第二区域903中的一些内容项可以至少部分地遮挡第二区域中的其他内容项(例如,内容项906可以部分地遮挡内容项908)。
尽管在图9A中未示出,但附加的边缘区域任选地呈现在显示区域901的相对侧上,并且可以包括在显示区域901的相对侧上的边缘区域中的内容项的表示。在该附加的边缘区域中的内容项的行为和外观是类似的(镜像的),并且为了简洁起见在此不再重复。尽管图9A示出了边缘区域中的两列内容项,但应当理解,在边缘区域中可以显示更少或更多的列。
图9B至图9C示出了内容浏览用户界面的不同视图910、920、930、940,该内容浏览用户界面包括与内容浏览用户界面900类似地以网格布置的多个内容项(例如,示出为矩形)。然而,图9B至图9C的内容浏览用户界面示出了分组为容器902A至902D中的内容项(例如,用户界面元素)。每个容器可以对应于例如时间段(例如,日、周、月、年等)、事件或文件夹。容器902A至902D中的每一个容器可包括一个或多个内容项。例如,视图910中的容器902A包括十个代表性内容项,并且容器902B包括八个代表性内容项。在一些实施方案中,可以根据其中的底层内容项的数量来确定容器的大小。例如,容器902A是三列宽乘以4行以容纳10个内容项,从而留下两个空的空间。容器902B是两列宽乘以4行,以容纳8个内容项。在一些实施方案中,容器大小可以由用户界面的显示区域911(第一区域)的大小限制。例如,显示区域911被示出为容纳5列,并且因此容器902B可包括多于8个项目,但容器902A和容器902B可以一起限于5列内容项。应当理解,分配给内容浏览用户界面的显示区域和容器的大小可以不同于图9B至图9C中的示例性表示。
在一些实施方案中,容器中示出的内容项可以是容器中的内容项的代表性采样,但容器中可以存在比用户界面中显示的内容项更多的内容项。例如,容器902B示出了用户界面中的八个内容项,但可以包括超过八个的内容项。在一些实施方案中,选择相应的容器的输入触发另一用户界面的显示(或到新的用户界面的过渡)以显示容器的内容。在一些实施方案中,用户输入(例如,目光、接近度和/或手势)可用于以与关于图4A至图4C中的剪贴板内容的展开视图所描述的类似方式来展开相应的容器和/或容器中的内容项。例如,容器可以在前景中扩展(或在XR环境中更靠近用户)以显示扩展的内容项。在一些实施方案中,内容项被扩展出容器而不扩展容器。在一些实施方案中,容器包括视觉指示符,指示容器中存在比内容浏览用户界面中显示的内容项更多的内容项。在一些实施方案中,显示少于所有内容项的容器的外观(例如,形状、轮廓等)不同于显示其所有内容项的容器。在一些实施方案中,显示少于所有内容项的容器可以随其他容器收缩而扩展。例如,如本文所述,一些容器可作为滚动过程的一部分而折叠或收缩。在一些实施方案中,代替在单独的用户界面中展开容器的内容物(响应于用于扩展容器以查看内容物的输入),可以在用户界面的显示区域911中展开所选择的容器,并且可以折叠显示区域911中的其他容器以便为所选择的容器的展开留出空间。
在一些实施方案中,用户输入可用于滚动多个内容项。例如,可以经由手势(例如,手指或手部的轻扫手势)、经由用户界面中的示能表示(例如,移动滑块或轻击滚动按钮)和/或目光输入(例如,将目光停留在网格的边缘上持续阈值时间段)来提供滚动输入。滚动输入可以使内容项中的一些内容项被移动以及/或者用未在内容浏览用户界面900的显示区域911中显示的其他内容项来替换。
在一些实施方案中,为了改善用户体验,在内容浏览用户界面的边缘区域913(第二区域)中显示附加的内容项。这些附加的内容项可以不同于内容应用程序的第一区域911中显示的内容项的外观显示在第二区域913中。沿边缘的第二区域913中的内容项的例示可以为用户提供关于在内容浏览用户界面中是否存在要滚动到的附加的内容项的信息(例如,附加的内容项在右侧的边缘区域中示出,而不是在左侧的边缘区域中示出,因此用户理解仅沿一个方向浏览是可能的),并且还可以提供关于这些内容项可能是什么的一些信息(例如,因为存在内容项的附加的表示)。
附加地或另选地,为了改善用户体验,代替为每个滚动过渡在每个边缘上添加和移除一列内容项,第一区域911和第二区域913之间或第二区域913和第一区域911之间的过渡可以对每个容器进行一次。在从第一区域911过渡之前,容器可以最先折叠到较小的大小(例如,一列),并且从第二区域913过渡到第一区域911的容器可以被制成折叠的、大小较小的容器(例如,一列),然后可以在第一区域911中扩展。
在一些实施方案中,第二区域913中沿边缘的内容项和/或容器处于非平面取向,而第一区域911中的内容项和/或容器处于平面取向。例如,内容浏览用户界面中的内容项可以适合于曲线915(从图9B至图9C的自顶向下的角度示出),该曲线包括对应于第一区域911的线性部分和对应于第二区域913的弯曲部分。曲线可以移动远离用户(例如,沿Z轴),使得内容项沿曲线具有不同的深度。例如,容器902A至902B中的内容项可以具有第一深度,并且容器902C中的内容项可以具有第二深度(例如,距用户更远的-ΔZ1)。在一些实施方案中,沿曲线滚动内容可以提供像转盘一样移动的内容项/容器的外观。如关于图9A所描述的,沿曲线设置的内容项(例如,图9A中的容器902C)可以平面方式朝向用户定向,或者另选地,可以沿曲线设置成遵循曲线,使得内容项具有深度梯度。附加地或另选地,如关于图9A所描述的,与第一区域中的内容项和/或容器相比,第二区域913中的内容项和/或容器可以具有不同的外观(大小、淡化、聚焦和/或亮度)。
视图910、920、930和940示出了在滚动(例如,响应于向左滚动输入)期间容器的折叠和展开。视图920示出了容器902A的一列的折叠、容器902B的一列的移位,以及容器902C从第二区域913到第一区域911的过渡(右侧边缘过渡)。视图930示出了容器902A对一列的进一步折叠,容器902B对一列的进一步移位,以及容器902C对一列的展开(没有从第二区域913到第一区域911的进一步过渡)。视图940示出了容器902A从第一区域911到第二区域913的过渡(左侧边缘过渡),容器902B以一列进一步移位,以及容器902C以一列扩展(没有从第二区域913到第一区域911的进一步过渡)。左侧边缘区域913示出了容器902A,并且右侧边缘区域913示出了容器902D(例如,可分别通过向右滚动或向左滚动来访问)。折叠容器和展开容器允许三列内容项以两个边缘过渡(例如,一个左侧边缘和一个右侧边缘)来过渡到第一区域,而在不折叠/展开容器的情况下,三列内容项的滚动可能需要在两个边缘区域913处的三个边缘过渡。
图9A至图9C示出了用于包括多个内容项的内容浏览用户界面的滚动内容项(例如,用于内容浏览用户界面,诸如内容浏览用户界面502/602/702)。在一些实施方案中,滚动输入可用于以示出一个内容项的其他模式来滚动图像(例如,用于预览用户界面511、全景用户界面610和/或预览用户界面710)。因此,即使在具有滚动输入的预览模式和/或全景模式中,某些形式的浏览也是可用的(即,浏览可不限于被称为浏览用户界面的模式)。
在一些实施方案中,对于具有一个内容项的用户界面,响应于滚动输入的过渡在第一内容项和第二内容项之间。在一些实施方案中,过渡包括滑入第一内容项并且同时滑出第二内容项。在一些实施方案中,其他动画过渡是可能的(例如,淡入一个内容项并且同时淡出一个内容项等)。在一些实施方案中,第一内容项和第二内容项的大小是不同的(例如,不同的长径比等)。为了适应不同大小的内容项之间的过渡,在一些实施方案中,使用可调整的遮罩。
图10A至图10D示出了根据本公开的一些实施方案的滚动内容应用程序的内容浏览用户界面。图10A至图10D示出了从第一内容项1002(例如,对应于具有第一长径比的照片)到第二内容项1006(例如,对应于具有第二长径比的照片)接着到第三内容项1008(例如,对应于具有第三长径比或第一长径比的照片)的过渡。在过渡的过程中,可以使用并且动态地调整遮罩1004以提供过渡来改善用户体验。
视图1000示出了用户界面的显示区域(例如,对应于预览用户界面511或710)中的内容项1002,其中遮罩1004掩蔽显示区域中未被内容项1002占据的部分。响应于滚动输入(例如,向左滚动),内容图像1002可被过渡出去并且由内容项1006替换。过渡可包括动画,诸如向左滑动内容图像1002和同时向左滑动内容项1006。如视图1010、1020、1030和1040所示,遮罩1004可以逐渐收缩以容纳较大的内容项1006,同时逐渐将内容项1002滑出显示区域并且将内容项1006滑入显示区域。视图1050示出了第一过渡的结束,其中内容项1006完全替换内容项1002,并且遮罩收缩并且消失(或缩小大小)。
响应于滚动输入(例如,向左滚动),当内容项1006被显示在用户界面的显示区域中时,内容图像1006可被过渡出去并且被内容项1008替换。过渡可包括动画,诸如向左滑动内容图像1006和同时向左滑动内容项1008。如视图1060、1070、1080和1090所示,遮罩1004可以逐渐增长以容纳较小的内容项1008,同时逐渐将内容项1006滑出显示区域并且将内容项1008滑入显示区域。视图1095示出了第二过渡的结束,其中内容项1008完全替换内容项1006,并且遮罩增长以满足内容项1008的大小。
在一些实施方案中,当过渡之前和过渡之后的内容项的大小(例如,长径比等)相同时,不调整遮罩。应当理解,尽管示出了向左滚动,但可以沿向右滚动的相反方向实现类似的行为。另外,应当理解,尽管图10A至图10D示出了调整遮罩以适应具有不同宽度的内容项,但在一些实施方案中,另外或另选地调整遮罩以适应具有不同高度的内容项。另外,尽管本文所述的滚动(例如,在图9A至图9C、图10A至图10D等中)主要是通过向左或向右滚动,但应当理解,在一些实施方案中沿其他方向(例如,向上/向下)执行滚动。
在一些实施方案中,内容应用程序包括内容内的内容显示模式/用户界面(例如,照片内的照片显示模式/用户界面)。在一些实施方案中,内容内的内容显示模式/用户界面提供内容项的显示区域内的可滚动内容的指示(而不在显示区域外部显示指示,诸如在图9A至图9C中的边缘区域中)。在一些实施方案中,为大于阈值大小的内容项提供内容内的内容显示模式/用户界面。较大的内容项可以提供足够的区域来显示主要内容项以及一个或多个辅助内容项,而不会太多地模糊主要内容项(并且提供足够的区域来使辅助内容在视觉上有意义)。在一些实施方案中,内容内的内容在其他用户界面(例如,预览用户界面或全景用户界面)中实现。在一些实施方案中,甚至对于较小的内容项也可以实现内容内的内容。
图11A至图11D示出了根据本公开的一些实施方案的内容应用程序的内容中内容用户界面的视图。图11A至图11D示出了显示在XR环境中的内容中内容用户界面的视图1100、1110、1120和1130,任选地锚定到表面(例如,物理环境中的物理壁的表示)。内容中内容用户界面可包括主要内容项和任选的一个或多个辅助内容项。主内容项1002显示在视图1100中示出的主要显示位置中。在一些实施方案中,响应于输入,在较小的辅助显示位置中显示一个或多个辅助内容项。例如,在视图1110中,主要内容项1002显示在主要显示位置中,并且辅助内容项1104显示在辅助显示位置中。视图1130示出了在主要位置显示的内容项和在相应的辅助显示位置显示的内容项。在一些实施方案中,辅助显示位置占据内容中内容用户界面的较低的相对角(重叠和遮蔽主要显示位置的一部分)。在一些实施方案中,辅助显示位置可以在主要显示位置内的其他位置。在一些实施方案中,如果存在响应于沿一个或两个方向滚动而导航到的另一个内容项,则在一个或多个较小的辅助显示位置中显示一个或多个辅助内容项(任选地没有用户输入)。因此,辅助内容项可以根据沿相应方向的滚动输入来指示待显示的内容项。
如视图1110所示,在XR环境中以第一大小(例如,大于用户界面的第一阈值区域)在主要显示位置中显示主要内容项1102,并且以不同于第一大小的第二大小(例如,小于用户界面的第二阈值面积)显示辅助内容项1104。响应于滚动输入(例如,向左滚动),可以将主要内容项1102过渡出主要显示位置,并且可以将辅助内容项1104过渡到主要显示位置。例如,如视图1130所示,视图1110中的辅助内容项1004的图像被显示为视图1130中的主要内容项1122。在视图1130中,主要内容项1002的图像作为辅助内容项1126显示在左侧辅助显示位置中,并且新的辅助内容项1124的图像显示在右侧辅助显示位置中。
在一些实施方案中,视图1110和视图1130之间的过渡包括动画。在一些实施方案中,动画可包括使辅助位置中的内容项移位,以及交叉淡化主要位置中的内容项和辅助位置中的内容项。例如,视图1120示出了由内容项1114表示的内容项1104的侧向位移。侧向位移任选地通过滑动动画来实现。另外,如视图1120所示,内容项1102和内容项1104的图像是交叉淡化的,由内容项1112表示,该内容项包括在主要显示位置的内容项1102和内容项1104的较浅阴影图像的混合/重叠。另外,在一些实施方案中,内容项1104的图像可以淡出由内容项1114的较浅阴影表示的移位的辅助显示位置。
附加地或另选地,在一些实施方案中,内容项1104的图像可以交叉淡入左侧辅助显示位置(与视图1130中的内容项1126一起显示)并且/或者内容项1124的图像可以交叉淡入右侧辅助显示位置(如视图1130所示)。在一些实施方案中,内容项1124和内容项1126以不同的动画被添加到辅助显示位置。例如,内容项1124可以(在内容项1104/1114的滑动位移之后)滑入右侧辅助显示位置,并且内容项1126可以滑入左侧辅助显示位置。
在一些实施方案中,内容应用程序的一个或多个附加的用户界面可以与内容中内容用户界面同时显示(或者另选地替换内容中内容用户界面),任选地响应于显示内容中内容用户界面时的输入。例如,内容中内容用户界面可以显示在XR环境的背景中,并且另一用户界面(例如,内容浏览用户界面502/602/702/800)可以显示在前景中(任选地响应于输入)。在一些实施方案中,内容中内容用户界面中的内容项可以表示包括可以在内容浏览用户界面中显示的多个内容项的容器(用户界面元素)。例如,在内容中内容用户界面中的主显示位置中的内容项可以对应于内容项的集合(例如,相册、精选列表、事件等),并且可以在附加的用户界面中显示内容项的对应集合。以这种方式,内容中内容用户界面可以允许例如容易地浏览相册,而内容浏览用户界面可以被调用以浏览所选择的相册内的照片。以类似的方式,在浏览时选择照片中的一个照片可以使得能够显示另一用户界面(例如,预览用户界面),该另一用户界面可以替换内容浏览用户界面或进一步显示在XR环境内的前景中(例如,与内容中内容用户界面和/或内容浏览用户界面同时)。更一般地,内容中内容用户界面、内容浏览用户界面和预览用户界面允许在不同层级水平的不同的导航/滚动输入。
图12示出了根据本公开的一些实施方案的用于XR环境中的内容应用程序的示例性过程1200。当执行上面参考图3A至图4C描述的剪贴板相关交互时,任选地在电子设备诸如设备100或设备200处执行过程1200。过程1200中的一些操作任选地被组合以及/或者任选地被省略。在一些实施方案中,任选地改变过程1200中的一些操作的顺序。
在一些实施方案中,过程1200的操作在与显示生成部件(与电子设备集成的显示器(任选的触摸屏显示器)和/或外部显示器,诸如监测器、投影仪、电视等)和一个或多个输入设备(例如,触敏表面、运动跟踪传感器(例如,用于手部和/或眼睛)、按钮、操纵杆、音频传感器等)通信的电子设备处执行。经由显示生成部件(例如,显示生成部件224)呈现包括多个内容项的XR环境。多个内容项任选地显示在XR环境的第一区域中,并且任选地包括第一内容项和第二内容项。XR环境任选地包括物理对象的表示。在呈现XR环境时,在1202处经由一个或多个输入设备检测第一输入。在1204处,响应于第一输入,根据确定第一输入满足一个或多个第一标准(用于将内容项添加到剪贴板),将第一内容项添加到剪贴板。在一些实施方案中,剪贴板的表示被锚定到物理对象的表示,或者剪贴板的表示是物理对象的表示。作为对上文所公开的一个或多个实施方案的补充或替代,在一些实施方案中,根据确定第一输入未能满足一个或多个第一标准,放弃将第一内容项添加到剪贴板。作为对上文所公开的一个或多个实施方案的补充或替代,在一些实施方案中,根据确定满足一个或多个第二标准(用于呈现剪贴板的表示),在1206处呈现XR环境中的剪贴板的表示。剪贴板的表示任选地呈现在XR环境的不同于XR环境的第一区域的第二区域中。任选地,剪贴板的表示与XR环境的第一区域中的多个内容项同时呈现。作为对上文所公开的一个或多个实施方案的补充或替代,在一些实施方案中,根据确定不满足一个或多个第二标准,放弃呈现剪贴板的表示。
作为对上文所公开的一个或多个实施方案的补充或替代,在一些实施方案中,当呈现XR环境时,在1208处经由一个或多个输入设备检测第二输入。响应于第二输入,在1210处,根据确定第二输入满足一个或多个第一标准,将第二内容项的表示添加到剪贴板。第二内容项的表示任选地至少部分地覆盖呈现在剪贴板的表示中的第一内容项的表示。作为对上文所公开的一个或多个实施方案的补充或替代,在一些实施方案中,根据确定第二输入未能满足一个或多个第一标准,放弃将第二内容项的表示添加到剪贴板。
作为对上文所公开的一个或多个实施方案的补充或替代,在一些实施方案中,第一输入包括手部的移动或在XR环境中呈现的手部的表示。作为对上文所公开的一个或多个实施方案的补充或替代,在一些实施方案中,第一输入包括:选择(例如,捏合)、移动(例如,拉向用户/拉动远离内容浏览用户界面302)和取消选择(例如,释放捏合)。当移动量小于阈值量时,第一内容项根据移动量沿与移动方向相反的方向移动并且/或者第一内容项根据移动量在大小上减小。作为对上文所公开的一个或多个实施方案的补充或替代,在一些实施方案中,当移动量大于阈值量时,第一内容项根据移动量沿移动方向移动并且/或者第一内容项根据移动量在大小上增加。
作为对上文所公开的一个或多个实施方案的补充或替代,在一些实施方案中,一个或多个第一标准包括当移动沿与多个内容项相反的方向超过阈值移动量时满足的第一标准、当移动在保持选择的同时发生时满足的第二标准,以及/或者当在阈值移动量之后发生取消选择时满足的第三标准。作为对上文所公开的一个或多个实施方案的补充或替代,在一些实施方案中,XR环境包括手部的表示,并且剪贴板的表示被锚定到手部的表示。作为对上文所公开的一个或多个实施方案的补充或替代,在一些实施方案中,XR环境包括手部的表示,并且剪贴板的表示是手部的表示。作为对上文所公开的一个或多个实施方案的补充或替代,在一些实施方案中,一个或多个第二标准包括当剪贴板中存在至少一个内容项时满足的第一标准、当手部的表示是张开的手掌时满足的第二标准、当张开的手掌沿预先确定的方向或在预先确定的方向的阈值内定向时满足的第三标准,以及/或者当手部的表示对应于预先确定的手部时满足的第四标准。
作为对上文所公开的一个或多个实施方案的补充或替代,在一些实施方案中,在呈现剪贴板的表示时,过程1200任选地包括在1212处检测第三输入。响应于第三输入,在1214处,显示生成部件在剪贴板的表示中呈现第一内容项的表示和第二内容项的表示,而第二内容项的表示不至少部分地覆盖第一内容项的表示,并且任选地以扩展形式。作为对上文所公开的一个或多个实施方案的补充或替代,在一些实施方案中,呈现第一内容项的表示和第二内容项的表示包括在XR环境中改变第一内容项的表示的位置以及/或者改变第二内容项的表示的位置。作为对上文所公开的一个或多个实施方案的补充或替代,在一些实施方案中,显示生成部件在1216处响应于第三输入而呈现用于共享剪贴板中的内容项的一个或多个用户界面元素(例如,示能表示)。作为对上文所公开的一个或多个实施方案的补充或替代,在一些实施方案中,接收第三输入包括检测XR环境的第二区域处的目光达阈值持续时间以及/或者检测XR环境中呈现的第一手部的表示与剪贴板的表示或XR环境的第二区域中呈现的第二手部的表示的接近度。
作为对上文所公开的一个或多个实施方案的补充或替代,在一些实施方案中,根据确定第二输入满足一个或多个第一标准,过程1200包括呈现内容共享用户界面,该内容共享用户界面包括剪贴板的表示和在呈现剪贴板的表示时共享剪贴板的内容项的一个或多个示能表示。
作为对上文所公开的一个或多个实施方案的补充或替代,在一些实施方案中,第一区域对应于XR环境内的第一深度,并且第二区域对应于XR环境内的第二深度。作为对上文所公开的一个或多个实施方案的补充或替代,在一些实施方案中,在XR环境内第一深度被设置在手部的表示的范围之外,并且第二深度被设置在手部的表示的范围之内。
应当理解,对图12中的操作进行描述的特定顺序仅仅是示例性的,并非旨在表明所描述的顺序是可执行这些操作的唯一顺序。本领域的普通技术人员会想到多种方式来对本文所述的操作进行重新排序。
上述信息处理方法中的操作任选地通过运行信息处理装置中的一个或多个功能模块来实现,该信息处理装置诸如通用处理器(例如,如关于图2所描述)或特定于应用的芯片。此外,上文参考图12所述的操作任选地由图2中所描绘的部件来实现。
图13示出了根据本公开的一些实施方案的用于XR环境中的内容应用程序的示例性过程1300。例如,当在上面参考图5A至图7描述的不同模式/视图之间执行过渡时,过程1300任选地在电子设备诸如设备100或设备200处执行。过程1300中的一些操作任选地被组合以及/或者任选地被省略。在一些实施方案中,任选地改变过程1300中的一些操作的顺序。
在一些实施方案中,在与显示生成部件和一个或多个输入设备通信的电子设备处执行过程1300。在一些实施方案中,在1302处,电子设备经由显示生成部件呈现包括第一用户界面的XR环境,该第一用户界面包括在XR环境内的第一深度处在XR环境的第一区域中的多个内容项。在一些实施方案中,在呈现XR环境时,电子设备在1304处经由一个或多个输入设备检测第一输入。在一些实施方案中,响应于第一输入,电子设备在1306处呈现与第一用户界面不同的第二用户界面,该第二用户界面包括在XR环境内的不同于第一深度的第二深度处的多个内容项中的内容项。
作为对上文所公开的一个或多个实施方案的补充或替代,在一些实施方案中,根据确定第一深度处的第一用户界面在距用户的第一阈值距离内,电子设备呈现第二深度处的第二用户界面包括呈现距用户的距离大于第二阈值距离的第二用户界面,该第二阈值距离大于该第一阈值距离。
作为对上文所公开的一个或多个实施方案的补充或替代,在一些实施方案中,根据确定第一深度处的第一用户界面在距用户的第一阈值距离内,电子设备呈现第二深度处的第二用户界面包括呈现锚定到XR环境中的平坦表面的表示的第二用户界面。作为对上文所公开的一个或多个实施方案的补充或替代,在一些实施方案中,平坦表面的表示是物理平坦表面的表示。
作为对上文所公开的一个或多个实施方案的补充或替代,在一些实施方案中,根据确定第一深度处的第一用户界面在距用户的第一阈值距离之外,电子设备在第二深度处呈现第二用户界面包括呈现在距用户的第二阈值距离内的内容项,该第二阈值距离小于该第一阈值距离。
作为对上文所公开的一个或多个实施方案的补充或替代,在一些实施方案中,电子设备在呈现第二用户界面的情况下呈现第一用户界面。作为对上文所公开的一个或多个实施方案的补充或替代,在一些实施方案中,同时呈现第一用户界面和第二用户界面的电子设备包括在XR环境内的不同于第一深度和第二深度的第三深度处呈现第一用户界面,其中第一深度在第二深度和第三深度之间。
作为对上文所公开的一个或多个实施方案的补充或替代,在一些实施方案中,根据确定呈现第一用户界面而不呈现第二用户界面,电子设备以第一外观呈现第一用户界面。作为对上文所公开的一个或多个实施方案的补充或替代,在一些实施方案中,根据确定第一用户界面与第二用户界面同时呈现,电子设备以不同于第一外观的第二外观呈现第一用户界面。作为对上文所公开的一个或多个实施方案的补充或替代,在一些实施方案中,第二外观与第一外观相比是淡化的,第二外观与第一外观相比是离焦的,第二外观与第一外观相比是暗淡的,或者第二外观与第一外观相比是部分模糊的。
作为对上文所公开的一个或多个实施方案的补充或替代,在一些实施方案中,响应于第一输入,电子设备使XR环境变暗。
作为对上文所公开的一个或多个实施方案的补充或替代,在一些实施方案中,第二深度处的第二用户界面在XR环境中至少部分地围绕用户。作为对上文所公开的一个或多个实施方案的补充或替代,在一些实施方案中,根据确定内容项具有第一特性,电子设备在1308处呈现具有第一大小的内容项的第二用户界面,该第一大小的内容项在XR环境中至少部分地围绕用户。作为对上文所公开的一个或多个实施方案的补充或替代,在一些实施方案中,根据确定内容项具有不同于第一特性的第二特性,电子设备在1310处呈现具有第二大小的内容项的第二用户界面,该第二大小小于第一大小,该第二大小的内容项不在XR环境中围绕用户。
作为对上文所公开的一个或多个实施方案的补充或替代,在一些实施方案中,在第二用户界面中呈现的内容项的外观不同于在第一用户界面中的内容项的外观。作为对上文所公开的一个或多个实施方案的补充或替代,在一些实施方案中,在第二用户界面中的内容项的外观在大小上大于在第一用户界面中的内容项的外观,或者其中在第二用户界面中的内容项的外观比在第一用户界面中的内容项的外观更亮。
作为对上文所公开的一个或多个实施方案的补充或替代,在一些实施方案中,第一输入包括:选择和取消选择。作为对上文所公开的一个或多个实施方案的补充或替代,在一些实施方案中,第一输入包括:选择、移动和取消选择。作为对上文所公开的一个或多个实施方案的补充或替代,在一些实施方案中,第一输入包括:用XR环境中的手指的表示轻击第一用户界面中的多个内容项中的内容项。作为对上文所公开的一个或多个实施方案的补充或替代,在一些实施方案中,第一输入包括注视第一用户界面中的多个内容项中的内容项。
作为对上文所公开的一个或多个实施方案的补充或替代,在一些实施方案中,当呈现XR环境时,电子设备经由一个或多个输入设备检测不同于第一输入的第二输入。作为对上文所公开的一个或多个实施方案的补充或替代,在一些实施方案中,响应于第二输入,电子设备呈现不同于第一用户界面并且不同于第二用户界面的第三用户界面,该第三用户界面包括在XR环境内的不同于第一深度的第三深度处的多个内容项中的内容项。
作为对上文所公开的一个或多个实施方案的补充或替代,在一些实施方案中,当呈现第二用户界面时,电子设备经由一个或多个输入设备检测第二输入。作为对上文所公开的一个或多个实施方案的补充或替代,在一些实施方案中,响应于第二输入,电子设备停止第二用户界面的呈现。作为对上文所公开的一个或多个实施方案的补充或替代,在一些实施方案中,响应于第二输入,电子设备在第一深度处呈现第一用户界面。作为对上文所公开的一个或多个实施方案的补充或替代,在一些实施方案中,第二输入包括选择、沿第一方向的第一移动、沿不同于第一方向的第二方向的第二移动,以及取消选择。作为对上文所公开的一个或多个实施方案的补充或替代,在一些实施方案中,响应于检测到第二输入的一部分,电子设备开始第二用户界面和第一用户界面之间的过渡,其中开始过渡包括改变呈现第一用户界面的深度,改变呈现第二用户界面的深度,改变第一用户界面的外观,改变第二用户界面的外观,或改变XR环境的外观。
应当理解,对图13中的操作进行描述的特定顺序仅仅是示例性的,并非旨在表明所描述的顺序是可执行这些操作的唯一顺序。本领域的普通技术人员会想到多种方式来对本文所述的操作进行重新排序。
上述信息处理方法中的操作任选地通过运行信息处理装置中的一个或多个功能模块来实现,该信息处理装置诸如通用处理器(例如,如关于图2所描述)或特定于应用的芯片。此外,上文参考图13所述的操作任选地由图2中所描绘的部件来实现。
图14示出了根据本公开的一些实施方案的用于XR环境中的内容应用程序的示例性过程1400。例如,当在上面参考图8描述的展开的内容浏览用户界面中操作和交互时,任选地在电子设备诸如设备100或设备200处执行过程1400。过程1400中的一些操作任选地被组合以及/或者任选地被省略。在一些实施方案中,任选地改变过程1400中的一些操作的顺序。
在一些实施方案中,在与显示生成部件和一个或多个输入设备通信的电子设备处执行过程1400。在一些实施方案中,在1402处,电子设备经由显示生成部件呈现包括多个内容项的XR环境,多个内容项包括第一内容项和第二内容项。在一些实施方案中,在呈现XR环境时,电子设备在1404处经由一个或多个输入设备检测瞄准第一内容项的第一输入。在一些实施方案中,响应于第一输入,根据确定满足一个或多个第一标准,电子设备在1406处将第二内容项移动得更靠近第一内容项。在一些实施方案中,响应于第一输入,根据确定不满足一个或多个第一标准,电子设备在1408处放弃将第二内容项移动得更靠近第一内容项。
作为对上文所公开的一个或多个实施方案的补充或替代,在一些实施方案中,响应于第一输入,根据确定满足一个或多个第二标准,电子设备将第二内容项移动离开第一内容项。作为对上文所公开的一个或多个实施方案的补充或替代,在一些实施方案中,响应于第一输入,根据确定不满足一个或多个第二标准,放弃将第二内容项进一步移动离开第一内容项。
作为对上文所公开的一个或多个实施方案的补充或替代,在一些实施方案中,移动第二内容项包括改变在XR环境中呈现第二内容项的深度。作为对上文所公开的一个或多个实施方案的补充或替代,在一些实施方案中,移动第二内容项包括改变XR环境中的第二内容项的大小。作为对上文所公开的一个或多个实施方案的补充或替代,在一些实施方案中,移动第二内容项包括改变XR环境中的第二内容项的取向。
作为对上文所公开的一个或多个实施方案的补充或替代,在一些实施方案中,第二内容项的移动速度是第一内容项和第二内容项之间的距离的函数。作为对上文所公开的一个或多个实施方案的补充或替代,在一些实施方案中,第二内容项的移动速度是第一输入的持续时间的函数。作为对上文所公开的一个或多个实施方案的补充或替代,在一些实施方案中,第一输入包括注视第一内容项达阈值持续时间。
作为对上文所公开的一个或多个实施方案的补充或替代,在一些实施方案中,电子设备确定表示第一内容项的一个或多个特性与第二内容项的一个或多个特性之间的相似度的参数。作为对上文所公开的一个或多个实施方案的补充或替代,在一些实施方案中,一个或多个第一标准包括当参数大于第一阈值时满足的标准。作为对上文所公开的一个或多个实施方案的补充或替代,在一些实施方案中,一个或多个第二标准包括当参数小于第二阈值时满足的标准。作为对上文所公开的一个或多个实施方案的补充或替代,在一些实施方案中,一个或多个特性是从第一内容项或从第一内容项的子集导出的。作为对上文所公开的一个或多个实施方案的补充或替代,在一些实施方案中,第二内容项的移动速度是参数的函数。
作为对上文所公开的一个或多个实施方案的补充或替代,在一些实施方案中,参数由机器学习模型(例如,机器学习电路、神经网络等)输出。作为对上文所公开的一个或多个实施方案的补充或替代,在一些实施方案中,机器学习模型被配置为基于第一输入从第一内容项中提取第一内容项的一个或多个特性。
作为对上文所公开的一个或多个实施方案的补充或替代,在一些实施方案中,多个内容项在XR环境中展开。
作为对上文所公开的一个或多个实施方案的补充或替代,在一些实施方案中,多个内容项的子集在XR环境中围绕用户。
作为对上文所公开的一个或多个实施方案的补充或替代,在一些实施方案中,在XR环境中呈现多个内容项包括使XR环境变暗。
作为对上文所公开的一个或多个实施方案的补充或替代,在一些实施方案中,在XR环境中呈现多个内容项包括在XR环境中超过物理壁深度的深度处呈现多个内容项的子集,并且遮蔽XR环境中的物理壁。
作为对上文所公开的一个或多个实施方案的补充或替代,在一些实施方案中,多个内容项的第一子集以第一大小以第一深度呈现在第一区域中,并且多个内容项的第二子集以不同于第一大小的第二大小以第一深度呈现在不同于第一区域的第二区域中。
作为对上文所公开的一个或多个实施方案的补充或替代,在一些实施方案中,电子设备经由一个或多个输入设备检测包括电子设备的旋转的第二输入。作为对上文所公开的一个或多个实施方案的补充或替代,在一些实施方案中,响应于第二输入,电子设备呈现包括多个内容项的XR环境的不同视图,其中多个内容项中的至少一个内容项在大小上增加,并且多个内容项中的至少另一个内容项在大小上减小。
作为对上文所公开的一个或多个实施方案的补充或替代,在一些实施方案中,电子设备经由一个或多个输入设备检测聚焦于多个内容项中的第三内容项的第二输入。作为对上文所公开的一个或多个实施方案的补充或替代,在一些实施方案中,响应于第二输入,根据确定满足一个或多个第一标准,电子设备将第二内容项移动得更靠近第三内容项。作为对上文所公开的一个或多个实施方案的补充或替代,在一些实施方案中,响应于第二输入,根据确定不满足一个或多个第一标准,电子设备放弃将第二内容项移动得更靠近第三内容项。
作为对上文所公开的一个或多个实施方案的补充或替代,在一些实施方案中,电子设备在1410处经由一个或多个输入设备检测第一输入的终止。作为对上文所公开的一个或多个实施方案的补充或替代,在一些实施方案中,响应于检测到第一输入的终止,电子设备在1412处在第一输入之前将第二内容项移动到其在XR环境中的原始位置。
应当理解,对图14中的操作进行描述的特定顺序仅仅是示例性的,并非旨在表明所描述的顺序是可执行这些操作的唯一顺序。本领域的普通技术人员会想到多种方式来对本文所述的操作进行重新排序。
上述信息处理方法中的操作任选地通过运行信息处理装置中的一个或多个功能模块来实现,该信息处理装置诸如通用处理器(例如,如关于图2所描述)或特定于应用的芯片。此外,上文参考图14所述的操作任选地由图2中所描绘的部件来实现。
图15示出了根据本公开的一些实施方案的用于XR环境中的内容应用程序的示例性过程1500。例如,当滚动上面参考图9A至图9C描述的内容浏览用户界面时,任选地在电子设备诸如设备100或设备200处执行过程1500。过程1500中的一些操作任选地被组合以及/或者任选地被省略。在一些实施方案中,任选地改变过程1500中的一些操作的顺序。
在一些实施方案中,在与显示生成部件和一个或多个输入设备通信的电子设备处执行过程1500。在一些实施方案中,在1502处,电子设备经由显示生成部件呈现XR环境,该XR环境包括第一用户界面元素,该第一用户界面元素包括XR环境的第一区域中的第一多个内容项,并且包括第二用户界面元素,该第二用户界面元素包括XR环境的第二区域中的第二多个内容项。在一些实施方案中,当呈现XR环境时,电子设备在1504处经由一个或多个输入设备检测第一滚动输入。在一些实施方案中,响应于第一滚动输入,电子设备在1506处更新第一用户界面元素的外观以及/或者将第二用户界面元素从XR环境的第二区域移动到XR环境的第一区域。
作为对上文所公开的一个或多个实施方案的补充或替代,在一些实施方案中,更新第一用户界面元素的外观包括在第一区域内使第一用户界面元素移位。作为对上文所公开的一个或多个实施方案的补充或替代,在一些实施方案中,更新第一用户界面元素的外观包括折叠第一用户界面元素,并且在第一用户界面中显示比在第一滚动输入之前在第一用户界面元素中显示的更少的第一多个内容项。作为对上文所公开的一个或多个实施方案的补充或替代,在一些实施方案中,更新第一用户界面元素的外观包括使第一用户界面元素从第一区域移位到第三区域,第二区域和第三区域设置在第一区域的相对侧上。
作为对上文所公开的一个或多个实施方案的补充或替代,在一些实施方案中,当呈现XR环境时,电子设备在1508处经由一个或多个输入设备检测第二滚动输入(例如,在第一滚动输入之后)。在一些实施方案中,响应于第二滚动输入,电子设备在1510处更新第二用户界面元素的外观。作为对上文所公开的一个或多个实施方案的补充或替代,在一些实施方案中,更新第二用户界面元素的外观包括在第一区域内使第二用户界面元素移位。作为对上文所公开的一个或多个实施方案的补充或替代,在一些实施方案中,更新第二用户界面元素的外观包括在第一区域中扩展第二用户界面元素,并且在第二滚动输入之前在第二用户界面中显示比在第二用户界面元素内显示的内容项更多的内容项。
作为对上文所公开的一个或多个实施方案的补充或替代,在一些实施方案中,第一区域在XR环境内的第一深度处,并且第二区域在XR环境内与第一深度不同的第二深度处。作为对上文所公开的一个或多个实施方案的补充或替代,在一些实施方案中,第一区域在XR环境内的第一深度处,并且第二区域和第三区域在XR环境内不同于第一深度的第二深度处。
作为对上文所公开的一个或多个实施方案的补充或替代,在一些实施方案中,在第一区域中显示的内容项和/或用户界面元素的外观(例如,大小、深度、取向、亮度、淡化、焦点等)不同于在第二区域或第三区域中显示的内容项和/或用户界面元素的外观。
应当理解,对图15中的操作进行描述的特定顺序仅仅是示例性的,并非旨在表明所描述的顺序是可执行这些操作的唯一顺序。本领域的普通技术人员会想到多种方式来对本文所述的操作进行重新排序。
上述信息处理方法中的操作任选地通过运行信息处理装置中的一个或多个功能模块来实现,该信息处理装置诸如通用处理器(例如,如关于图2所描述)或特定于应用的芯片。此外,上文参考图15所述的操作任选地由图2中所描绘的部件来实现。
图16示出了根据本公开的一些实施方案的用于XR环境中的内容应用程序的示例性过程1600。例如,当滚动上面参考图10A至图10D描述的内容浏览用户界面时,任选地在电子设备诸如设备100或设备200处执行过程1600。过程1600中的一些操作任选地被组合以及/或者任选地被省略。在一些实施方案中,任选地改变过程1600中的一些操作的顺序。
在一些实施方案中,在与显示生成部件和一个或多个输入设备通信的电子设备处执行过程1600。在一些实施方案中,在1602处,电子设备经由显示生成部件呈现包括第一内容项的XR环境。在一些实施方案中,当呈现XR环境时,电子设备在1604处经由一个或多个输入设备检测第一滚动输入。在一些实施方案中,响应于第一滚动输入,在1606处,电子设备从呈现第一内容过渡到呈现第二大小的第二内容项。在一些实施方案中,根据确定第一大小和第二大小不同,电子设备在1608处调整在从呈现第一内容项到呈现第二内容项的过渡期间在XR环境中显示的遮罩的大小。在一些实施方案中,根据确定第一大小和第二大小相同,电子设备在1610处放弃在过渡期间调整遮罩的大小。
作为对上文所公开的一个或多个实施方案的补充或替代,在一些实施方案中,在从呈现第一内容项过渡到呈现第二内容项之前遮罩和第一内容项的组合大小与在从呈现第一内容项过渡到呈现第二内容项之后遮罩和第二内容项的组合大小相同。作为对上文所公开的一个或多个实施方案的补充或替代,在一些实施方案中,调整遮罩包括在第一内容项和/或第二内容项的显示的相对侧上使遮罩增长或收缩。
作为对上文所公开的一个或多个实施方案的补充或替代,在一些实施方案中,从呈现第一内容项到呈现第二内容项的过渡包括滑动动画。作为对上文所公开的一个或多个实施方案的补充或替代,在一些实施方案中,电子设备在1612处至少部分地与调整遮罩同时呈现滑动动画。
作为对上文所公开的一个或多个实施方案的补充或替代,在一些实施方案中,当呈现XR环境时,电子设备经由一个或多个输入设备检测第二滚动输入。在一些实施方案中,响应于第二滚动输入:电子设备从呈现第二内容项过渡到呈现第三大小的第三内容项。在一些实施方案中,根据确定第二大小和第三大小不同,电子设备在从呈现第二内容项到呈现第三内容项的过渡期间调整在XR环境中显示的遮罩的大小;并且根据确定第二大小和第三大小相同,电子设备放弃调整遮罩的大小。
应当理解,对图16中的操作进行描述的特定顺序仅仅是示例性的,并非旨在表明所描述的顺序是可执行这些操作的唯一顺序。本领域的普通技术人员会想到多种方式来对本文所述的操作进行重新排序。
上述信息处理方法中的操作任选地通过运行信息处理装置中的一个或多个功能模块来实现,该信息处理装置诸如通用处理器(例如,如关于图2所描述)或特定于应用的芯片。此外,上文参考图16所述的操作任选地由图2中所描绘的部件来实现。
图17A至图17D示出了根据本公开的一些实施方案的滚动内容项列表。图17A至图17D示出了包括多个内容项1702(例如,当参考图17A至图17D中所示的内容项A-F时的内容项1702A至1702F)的列表1700。内容项可包括文本、照片、媒体等。在一些实施方案中,由于空间限制,列表中的一些内容项在给定时间呈现给用户,而列表中的一些内容项不呈现给用户。在一些实施方案中,用户输入用于滚动多个内容项。例如,可以经由手势(例如,手指或手部的轻扫手势)、经由用户界面中的示能表示(例如,移动滑块或轻击滚动按钮)和/或目光输入(例如,将目光停留在网格的边缘上持续阈值时间段)来提供滚动输入。滚动输入可以使列表1700中的内容项1702中的一些内容项被移动并且/或者用列表1700中最初未呈现在为该列表指定的显示区域中的其他内容项替换。例如,表示一列内容项1702的列表1700最初可示出包括第一多个内容项(例如,如图17A所示的内容项1702A至1702E)的列表的第一表示。滚动输入可用于在列表1700的底部呈现先前隐藏的内容项1702F以及/或者响应于滚动输入从列表1700的顶部隐藏先前呈现的内容项1702A(例如,停止呈现最顶部的内容项),如图17B至图17C所示。图17D示出了在滚动输入之后呈现给用户的列表(例如,包括内容项1702B至1702F)的第二表示。
在一些实施方案中,为了改善用户体验,列表1700中的内容项1702可以具有离散对象的属性(例如,2D或3D对象)并且/或者可以具有一组对象的属性(例如,对象的2D或3D列表)。例如,当呈现先前隐藏的内容项时(添加内容项)或者从列表的呈现中隐藏先前呈现的内容项(移除内容项)时,所添加和/或移除的内容项可以表现为在动画/过渡期间在3D环境内淡入或淡出并且/或者在深度上向后或向前移动的离散对象。作为另一示例,列表内的在给定时刻未添加或移除的内容项可以作为一个列表元素沿滚动方向一起移动。
在一些实施方案中,为了改善用户体验,在内容项之间没有间隙的情况下呈现列表1700。例如,可以呈现图17A中的内容项1720A至1702E,而不显示在列表1700的内容项1702之间可见的列表1700后面的三维环境的其他内容。呈现列表1700而不在列表1700后面显示内容可以降低用户看到的不同视觉内容的密度,并且减少用户与列表1700交互时的注意力分散。以类似的方式,在一些实施方案中,在图17B至图17D所示的内容项1702之间不显示三维环境中列表1700后面的内容。在一些实施方案中,正在添加或移除的内容项后面的内容可以提供正在添加或移除的内容项后面的三维环境的一些可视性。在一些实施方案中,正在添加或移除的内容项后面的三维环境中的内容可以淡入或淡出,但内容项阻止或以其他方式遮蔽正在添加或移除的内容项后面的三维环境的内容,以降低密度/用户的注意力分散。
在一些实施方案中,响应于滚动输入,列表1700中的内容项1702沿对应于滚动输入的方向移动,并且使用动画将内容项添加到列表的呈现中。例如,如图17B所示,响应于滚动输入,内容项1702A至1702E的列表沿Y轴移动(例如,作为由大括号和移动箭头表示的列表的连续表示)+ΔY的量,并且内容项1702F从在三维环境中相对于用户在列表1700后面的沿Z轴的深度处的位置淡入。在一些实施方案中,在动画期间,内容项1702F还可以沿Y轴与其余内容项一起移动。
当滚动动画继续时,内容项1702F可以继续淡入并且以沿Z轴的深度向用户移动(例如,接近列表1700中剩余内容项的深度)。在一些实施方案中,与列表1700中的内容项1702相比,由于内容项距用户的相对深度,距用户较远的深度处的内容项1702看起来在大小上较小。例如,图17C示出了动画的后续快照,其中内容项1702F继续移动靠近用户(例如,并且由此看起来在大小上较大),并且任选地相对于图17B进一步淡入,使得内容项1702F在三维环境中看起来较大并且/或者更清楚。
当动画结束时,内容项1702F可以没有任何淡化并且以与列表1700中的剩余内容项相同的深度呈现,如图17D所示。在一些实施方案中,新呈现的内容项的淡入和新呈现的内容项的深度的改变可以为新呈现的内容项提供列表1700的转盘状移动的外观。
在一些实施方案中,新呈现的内容项的淡入和新呈现的内容项的深度的改变在动画期间在时间上共延地发生。在一些实施方案中,新呈现的内容项的淡入和新呈现的内容项的深度的改变可以在动画的各部分期间发生,并且任选地至少部分重叠(例如,淡入可以在深度的改变之前开始,并且/或者淡入可以在新呈现的内容项的深度到达列表的其余部分的深度之前完成)。在一些实施方案中,动画可以省略淡入或深度的改变。在一些实施方案中,动画可以附加地或另选地包括内容项1702F的亮度增加和/或焦点增加。在一些实施方案中,动画可以附加地或另选地包括展现内容项1702F的更多部分。例如,在过渡期间,可以显示如图17D所示的内容项1702F的区域的增加的百分比(例如,在图17B中示出内容项1702F的内容的25%,在图17C中示出内容的80%,并且在图17D中示出100%的内容)。在一些实施方案中,在动画期间呈现内容项1702F的所有内容(例如,100%的区域),但当内容项1702F的大小增加时,内容项1720F的所有内容以更大的大小显示,以从用户的角度反映三维环境内的内容项1702F的较大大小。
在一些实施方案中,响应于滚动输入,使用动画将内容项从列表中隐藏(例如,停止呈现为列表的一部分)。例如,如图17C所示,响应于滚动输入,内容项1702B至1702E继续沿Y轴移动(例如,作为如由大括号和移动箭头表示的列表的连续表示)+ΔY的量,并且内容项1702A从列表1700的深度淡出到在三维环境中相对于用户在列表1700后面的沿Z轴的深度处的位置。在一些实施方案中,在动画期间,内容项1702A还可以沿Y轴与其余内容项一起移动。当滚动动画继续时,内容项1702A可以继续淡出并且以沿Z轴的深度移动离开用户。例如,图17C示出了动画的快照,其中内容项1702A从用户进一步移动(例如,从而与图17A至图17B相比在大小上较小)并且相对于其在图17A至图17B中的外观淡出,使得内容项1702F在三维环境中看起来较小且/或更不清晰。当动画结束时,内容项1702A可以停止呈现在列表1700中,如图17D所示。在一些实施方案中,从列表中隐藏的内容项的淡出和深度的改变可以提供转盘状移动的外观。
在一些实施方案中,停止呈现的内容项的淡出和深度变化在动画期间在时间上共延地发生。在一些实施方案中,停止呈现的内容项的淡出和深度变化可针对动画的各部分发生,并且任选地至少部分地重叠(例如,淡出可以在深度变化之后开始和/或结束)。在一些实施方案中,动画可以省略淡出或深度的改变。在一些实施方案中,动画可以附加地或另选地包括内容项1702A的亮度降低和/或焦点降低。在一些实施方案中,动画可以附加地或另选地包括遮挡内容项1702A的更多部分。例如,在过渡期间,可以显示如图17A所示的内容项1702A的区域的减小的百分比(例如,在图17A中示出内容项1702A的内容的100%,在图17C中示出内容的40%)。在一些实施方案中,在动画期间呈现内容项1702A的所有内容(例如,100%的区域),但当内容项1702A的大小减小时,内容项1720A的所有内容以较小的大小显示,以从用户的角度反映三维环境内内容项1702A的较小大小。
尽管图17A至图17D示出了在图17C中停止呈现内容项1702A的动画开始之前在图17B中开始呈现内容项1702F的动画,但应当理解,在一些实施方案中,动画可以具有不同的定时。在一些实施方案中,呈现内容项1702F的动画和停止呈现内容项1702A的动画可以在时间上共延地发生。在一些实施方式中,呈现内容项1702F的动画在停止呈现内容项1702A的动画之后开始。尽管图17A至图17D示出了呈现内容项1702F的动画和停止呈现内容项1702A的动画在图17C中至少部分地重叠,但应当理解,在一些实施方案中,动画可以不在时间上重叠。
应当理解,尽管图17A至图17D示出了其中向用户呈现一个新的内容项并且一个内容项停止向用户呈现的滚动操作,但该滚动操作可包括呈现或停止呈现多个内容项。在一些实施方案中,可以重复上述动画(例如,以在添加和移除第二对内容项之前添加和移除第一对内容项)。另外,应当理解,沿相反方向滚动输入可以使动画的方向反转(例如,停止呈现内容项1702F并呈现内容项1702A)。另外,应当理解,尽管列表1700被呈现为柱状列表,但类似的滚动技术可以应用于使用水平滚动输入的水平列表,或者可以被定向为不同于行或列取向的其他列表类型。
尽管在图17A至图17D中未示出,但应当理解,在一些实施方案中,在列表1700的底部边缘和/或顶部边缘处呈现附加的内容项的指示,以向用户提供关于在列表中是否存在要滚动到的附加的内容项的信息,并且/或者可以提供关于这些内容项可以是什么的一些信息(例如,因为指示包括内容的视觉表示)。在一些实施方案中,在列表1700的底部边缘和/或顶部边缘处不存在这样的指示向用户提供关于到达列表的开头或结尾的信息。
出于解释的目的,前面的描述是通过参考具体实施方案来描述的。然而,上面的例示性论述并非旨在是穷尽的或将本发明限制为所公开的精确形式。根据以上教导内容,很多修改形式和变型形式都是可能的。选择和描述实施方案是为了最佳地阐明本发明的原理及其实际应用,以便由此使得本领域的其他技术人员能够最佳地使用具有适合于所构想的特定用途的各种修改的本发明以及各种所描述的实施方案。
此外,尽管前述描述使用术语“第一”、“第二”等来将一个元素与另一个元素进行区分,但这些元素不应受这些术语的限制。例如,第一标准(或输入或内容项)可被称为第二标准(或输入或内容项),第二标准(或输入或内容项)可被称为第一标准(或输入或内容项)等,而不脱离所描述的各种实施方案的范围。第一标准(或输入或内容项)和第二标准(或输入或内容项)都是标准(或输入或内容项),但它们不是相同的标准(或输入或内容项)。
在对各种所述实施方案的描述中所使用的术语只是为了描述特定实施方案的目的,而并非旨在进行限制。如在对各种所述实施方案中的描述和所附权利要求书中所使用的那样,单数形式“一个”和“该”旨在也包括复数形式,除非上下文另外明确地指示。还将理解的是,本文中所使用的术语“和/或”是指并且涵盖相关联的所列出的项目中的一个或多个项目的任何和全部可能的组合。还将理解的是,术语“包括”(“includes”、“including”、“comprises”和/或“comprising”)在本说明书中使用时是指定存在所陈述的特征、整数、步骤、操作、元件和/或部件,但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、部件和/或其分组。根据上下文,术语“如果”任选地被解释为意指“当......时”、“在......时”或“响应于确定”或“响应于检测到”。类似地,根据上下文,短语“如果确定……”或“如果检测到[所陈述的条件或事件]”任选地被解释为是指“在确定……时”或“响应于确定……”或“在检测到[所陈述的条件或事件]时”或“响应于检测到[所陈述的条件或事件]”。

Claims (94)

1.一种方法,包括:
在与显示器和一个或多个输入设备通信的电子设备处:
经由所述显示器呈现包括物理对象的表示的XR环境和所述XR环境的第一区域中的多个内容项,所述多个内容项包括第一内容项和第二内容项;
当呈现所述XR环境时,经由所述一个或多个输入设备检测第一输入;
响应于所述第一输入:
根据确定所述第一输入满足一个或多个第一标准,将所述第一内容项添加到剪贴板;以及
根据确定所述第一输入未能满足所述一个或多个第一标准,放弃将所述第一内容项添加到所述剪贴板;
根据确定满足一个或多个第二标准,在不同于所述XR环境的所述第一区域的所述XR环境的第二区域中与所述XR环境的所述第一区域中的所述多个内容项同时呈现所述剪贴板的表示,其中所述剪贴板的所述表示被锚定到物理对象的所述表示,或者所述剪贴板的所述表示是所述物理对象的所述表示;以及
根据确定不满足所述一个或多个第二标准,放弃显示所述剪贴板的所述表示。
2.根据权利要求1所述的方法,还包括:
当呈现所述XR环境时,经由所述一个或多个输入设备检测第二输入;以及
响应于所述第二输入:
根据确定所述第二输入满足所述一个或多个第一标准,将所述第二内容项添加到所述剪贴板,其中所述第二内容项的表示至少部分地覆盖所述剪贴板的所述表示中的所述第一内容项的表示;以及
根据确定所述第二输入未能满足所述一个或多个第一标准,放弃将所述第二内容项添加到所述剪贴板。
3.根据权利要求1至2中任一项所述的方法,其中所述第一输入包括手部的移动或在所述XR环境中呈现的所述手部的表示的移动。
4.根据权利要求1至3中任一项所述的方法,其中所述第一输入包括:选择、移动和取消选择。
5.根据权利要求3至4中任一项所述的方法,其中:
当所述移动的量小于阈值量时,根据所述移动的所述量沿与所述移动的方向相反的方向移动所述第一内容项,或者根据所述移动的所述量减小所述第一内容项的大小;以及
当所述移动的量大于所述阈值量时,根据所述移动的所述量沿所述移动的所述方向移动所述第一内容项,或者根据所述移动的所述量增加所述第一内容项的所述大小。
6.根据权利要求4所述的方法,其中所述一个或多个第一标准包括当所述移动沿与所述多个内容项相反的方向超过阈值移动量时满足的第一标准、当所述移动在保持所述选择的同时发生时满足的第二标准,以及当在所述阈值移动量之后发生所述取消选择时满足的第三标准。
7.根据权利要求1至6或9至14中任一项所述的方法,其中所述物理对象的所述表示是手部的表示。
8.根据权利要求7所述的方法,其中所述一个或多个第二标准包括当所述剪贴板中存在至少一个内容项时满足的第一标准、当所述手部的所述表示是张开的手掌时满足的第二标准、当所述张开的手掌沿预先确定的方向或在所述预先确定的方向的阈值内定向时满足的第三标准,以及当所述手部的所述表示对应于预先确定的手部时满足的第四标准。
9.根据权利要求2所述的方法,还包括:
当呈现所述剪贴板的所述表示时,接收第三输入;以及
响应于第三输入:
在所述剪贴板的所述表示中呈现所述第一内容项的所述表示和所述第二内容项的所述表示,而所述第二内容项的所述表示不至少部分地覆盖所述第一内容项的所述表示。
10.根据权利要求9所述的方法,其中呈现所述第一内容项的所述表示和所述第二内容项的所述表示包括改变所述第一内容项的所述表示的位置以及改变所述第二内容项的所述表示的位置。
11.根据权利要求9至10中任一项所述的方法,还包括:
响应于所述第三输入:
呈现共享所述剪贴板中的内容项的一个或多个示能表示。
12.根据权利要求9至11中任一项所述的方法,其中接收所述第三输入包括检测在所述XR环境的所述第二区域处的目光达阈值持续时间,或者检测在所述XR环境中呈现的第一手部的表示与在所述XR环境的所述第二区域中呈现的第二手部的表示的接近度。
13.根据权利要求2或9至12中任一项所述的方法,还包括:
根据确定所述第二输入满足所述一个或多个第一标准,呈现内容共享用户界面,所述内容共享用户界面包括所述剪贴板的所述表示和在显示所述剪贴板的所述表示时共享所述剪贴板的所述内容项的一个或多个示能表示。
14.根据权利要求1至13中任一项所述的方法,其中所述第一区域对应于所述XR环境内的第一深度,并且所述第二区域对应于所述XR环境内的第二深度,其中所述第一深度设置在手部的表示的范围之外,并且其中所述第二深度设置在所述XR环境内的所述手部的所述表示的所述范围之内。
15.一种电子设备,包括:
一个或多个处理器;
存储器;以及
存储在所述存储器中并且被配置为由所述一个或多个处理器执行的一个或多个程序,所述一个或多个程序包括用于执行根据权利要求1至14所述的方法中的任一种方法的指令。
16.一种存储一个或多个程序的非暂态计算机可读存储介质,所述一个或多个程序包括指令,所述指令在由电子设备的一个或多个处理器执行时,使得所述电子设备执行根据权利要求1至14所述的方法中的任一种方法。
17.一种电子设备,包括:
一个或多个处理器;
存储器;以及
用于执行根据权利要求1至14所述的方法中的任一种方法的装置。
18.一种用于在电子设备中使用的信息处理装置,所述信息处理装置包括:
用于执行根据权利要求1至14所述的方法中的任一种方法的装置。
19.一种方法,包括:
在与显示器和一个或多个输入设备通信的电子设备处:
经由所述显示器呈现包括第一用户界面的XR环境,所述第一用户界面包括在所述XR环境内的第一深度处在所述XR环境的第一区域中的多个内容项;
当呈现所述XR环境时,经由所述一个或多个输入设备检测第一输入;
响应于所述第一输入:
呈现与所述第一用户界面不同的第二用户界面,所述第二用户界面包括在所述XR环境内的不同于所述第一深度的第二深度处的所述多个内容项中的内容项。
20.根据权利要求19所述的方法,其中:
根据确定所述第一深度处的所述第一用户界面在距所述用户的第一阈值距离内,呈现所述第二深度处的所述第二用户界面包括呈现距所述用户的距离大于第二阈值距离的所述第二用户界面,所述第二阈值距离大于所述第一阈值距离。
21.根据权利要求19至20中任一项所述的方法,其中:
根据确定所述第一深度处的所述第一用户界面在距所述用户的第一阈值距离内,呈现所述第二深度处的所述第二用户界面包括呈现锚定到所述XR环境中的平坦表面的表示的所述第二用户界面。
22.根据权利要求21所述的方法,其中所述平坦表面的所述表示是物理平坦表面的表示。
23.根据权利要求19至22中任一项所述的方法,其中:
根据确定所述第一深度处的所述第一用户界面在距所述用户的第一阈值距离之外,在所述第二深度处呈现所述第二用户界面包括呈现在距所述用户的第二阈值距离内的所述内容项,所述第二阈值距离小于所述第一阈值距离。
24.根据权利要求19至23中任一项所述的方法,还包括在呈现所述第二用户界面的同时呈现所述第一用户界面。
25.根据权利要求24所述的方法,其中同时呈现所述第一用户界面和所述第二用户界面包括在所述XR环境内的不同于所述第一深度和所述第二深度的第三深度处呈现所述第一用户界面,其中所述第一深度介于所述第二深度和所述第三深度之间。
26.根据权利要求24至25中任一项所述的方法,还包括:
根据确定呈现所述第一用户界面而不呈现所述第二用户界面,以第一外观呈现所述第一用户界面;以及
根据确定所述第一用户界面与所述第二用户界面同时呈现,以不同于所述第一外观的第二外观呈现所述第一用户界面。
27.根据权利要求26所述的方法,其中所述第二外观与所述第一外观相比是淡化的,所述第二外观与所述第一外观相比是失焦的,所述第二外观与所述第一外观相比是暗淡的,或者所述第二外观与所述第一外观相比是部分模糊的。
28.根据权利要求19至27中任一项所述的方法,还包括:响应于所述第一输入,使所述XR环境变暗。
29.根据权利要求19所述的方法,其中所述第二深度处的所述第二用户界面在所述XR环境中至少部分地围绕所述用户。
30.根据权利要求19至29中任一项所述的方法,其中:
根据确定所述内容项具有第一特性,呈现具有第一大小的所述内容项的所述第二用户界面,所述第一大小的所述内容项在所述XR环境中至少部分地围绕所述用户;以及
根据确定所述内容项具有不同于所述第一特性的第二特性,呈现具有第二大小的所述内容项的所述第二用户界面,所述第二大小小于所述第一大小,所述第二大小的所述内容项不在所述XR环境中围绕所述用户。
31.根据权利要求19至30中任一项所述的方法,其中在所述第二用户界面中呈现的所述内容项的外观不同于在所述第一用户界面中的所述内容项的外观。
32.根据权利要求31所述的方法,其中在所述第二用户界面中的所述内容项的所述外观在大小上大于在所述第一用户界面中的所述内容项的所述外观,或者其中在所述第二用户界面中的所述内容项的所述外观比在所述第一用户界面中的所述内容项的所述外观更亮。
33.根据权利要求19至32中任一项所述的方法,其中所述第一输入包括:选择和取消选择。
34.根据权利要求19至33中任一项所述的方法,其中所述第一输入包括:选择、移动和取消选择。
35.根据权利要求19至34中任一项所述的方法,其中所述第一输入包括:用所述XR环境中的手指的表示轻击所述第一用户界面中的所述多个内容项中的所述内容项。
36.根据权利要求19至35中任一项所述的方法,其中所述第一输入包括注视所述第一用户界面中的所述多个内容项中的所述内容项。
37.根据权利要求19至36中任一项所述的方法,还包括:
在呈现所述XR环境时,经由所述一个或多个输入设备检测不同于所述第一输入的第二输入;以及
响应于所述第二输入:
呈现不同于所述第一用户界面并且不同于所述第二用户界面的第三用户界面,所述第三用户界面包括在所述XR环境内的不同于所述第一深度的第三深度处的所述多个内容项中的所述内容项。
38.根据权利要求19至36中任一项所述的方法,还包括:
在呈现所述第二用户界面时,经由所述一个或多个输入设备检测第二输入;以及
响应于所述第二输入:
停止呈现所述第二用户界面;以及
在所述第一深度处呈现所述第一用户界面。
39.根据权利要求38所述的方法,其中所述第二输入包括:选择、沿第一方向的第一移动、沿不同于所述第一方向的第二方向的第二移动,以及取消选择。
40.根据权利要求39所述的方法,还包括:
响应于检测到所述第二输入的一部分:
开始所述第二用户界面和所述第一用户界面之间的过渡,
其中开始所述过渡包括改变呈现所述第一用户界面的深度,改变呈现所述第二用户界面的深度,改变所述第一用户界面的外观,改变所述第二用户界面的外观,或改变所述XR环境的外观。
41.一种电子设备,包括:
一个或多个处理器;
存储器;以及
存储在所述存储器中并且被配置为由所述一个或多个处理器执行的一个或多个程序,所述一个或多个程序包括用于执行根据权利要求19至40所述的方法中的任一种方法的指令。
42.一种存储一个或多个程序的非暂态计算机可读存储介质,所述一个或多个程序包括指令,所述指令在由电子设备的一个或多个处理器执行时,使得所述电子设备执行根据权利要求19至40所述的方法中的任一种方法。
43.一种电子设备,包括:
一个或多个处理器;
存储器;以及
用于执行根据权利要求19至40所述的方法中的任一种方法的装置。
44.一种用于在电子设备中使用的信息处理装置,所述信息处理装置包括:
用于执行根据权利要求19至40所述的方法中的任一种方法的装置。
45.一种方法,包括:
在与显示器和一个或多个输入设备通信的电子设备处:
经由所述显示器呈现包括多个内容项的XR环境,所述多个内容项包括第一内容项和第二内容项;
在呈现所述XR环境时,经由所述一个或多个输入设备检测瞄准所述第一内容项的第一输入;
响应于所述第一输入:
根据确定满足一个或多个第一标准,将所述第二内容项移动得更靠近所述第一内容项;以及
根据确定不满足所述一个或多个第一标准,放弃将所述第二内容项移动得更靠近所述第一内容项。
46.根据权利要求45所述的方法,还包括:
响应于所述第一输入:
根据确定满足所述一个或多个第二标准,将所述第二内容项进一步移动离开所述第一内容项;以及
根据确定不满足所述一个或多个第二标准,放弃将所述第二内容项进一步移动离开所述第一内容项。
47.根据权利要求45至46中任一项所述的方法,其中移动所述第二内容项包括改变在所述XR环境中呈现所述第二内容项的深度。
48.根据权利要求45至47中任一项所述的方法,其中移动所述第二内容项包括改变所述XR环境中的所述第二内容项的大小。
49.根据权利要求45至48中任一项所述的方法,其中移动所述第二内容项包括改变所述XR环境中的所述第二内容项的取向。
50.根据权利要求45至49中任一项所述的方法,其中所述第二内容项的所述移动的速度是所述第一内容项与所述第二内容项之间的距离的函数。
51.根据权利要求45至50中任一项所述的方法,其中所述第二内容项的所述移动的速度是所述第一输入的持续时间的函数。
52.根据权利要求45至51中任一项所述的方法,其中所述第一输入包括注视所述第一内容项达阈值持续时间。
53.根据权利要求45至52中任一项所述的方法,还包括:
确定表示所述第一内容项的一个或多个特性与所述第二内容项的一个或多个特性之间的相似性的参数;
其中所述一个或多个第一标准包括当所述参数大于第一阈值时满足的标准。
54.根据权利要求53所述的方法,其中所述一个或多个第二标准包括当所述参数小于第二阈值时满足的标准。
55.根据权利要求53至54中任一项所述的方法,其中所述一个或多个特性从所述第一内容项或从所述第一内容项的子集导出。
56.根据权利要求53至55中任一项所述的方法,其中所述第二内容项的所述移动的速度是所述参数的函数。
57.根据权利要求53至56中任一项所述的方法,其中所述参数由机器学习模型输出。
58.根据权利要求57所述的方法,其中所述机器学习模型被配置为基于所述第一输入从所述第一内容项中提取所述第一内容项的所述一个或多个特性。
59.根据权利要求45至58中任一项所述的方法,其中所述多个内容项在所述XR环境中展开。
60.根据权利要求45至59中任一项所述的方法,其中所述多个内容项的子集在所述XR环境中围绕所述用户。
61.根据权利要求45至60中任一项所述的方法,其中在所述XR环境中呈现所述多个内容项包括使所述XR环境变暗。
62.根据权利要求45至61中任一项所述的方法,其中在所述XR环境中呈现所述多个内容项包括在所述XR环境中超过物理壁深度的深度处呈现所述多个内容项的子集,并且遮蔽所述XR环境中的所述物理壁。
63.根据权利要求45至62中任一项所述的方法,其中所述多个内容项的第一子集以第一大小以第一深度呈现在第一区域中,并且所述多个内容项的第二子集以不同于所述第一大小的第二大小以所述第一深度呈现在不同于所述第一区域的第二区域中。
64.根据权利要求63所述的方法,还包括:
经由所述一个或多个输入设备检测包括所述电子设备的旋转的第二输入;以及
响应于所述第二输入:
呈现包括所述多个内容项的所述XR环境的不同视图,其中所述多个内容项中的至少一个内容项在大小上增大,并且所述多个内容项中的至少另一个内容项在大小上减小。
65.根据权利要求45至64中任一项所述的方法,还包括:
经由所述一个或多个输入设备检测聚焦于所述多个内容项中的第三内容项的第二输入;以及
响应于所述第二输入:
根据确定满足所述一个或多个第一标准,将所述第二内容项移动得更靠近所述第三内容项;以及
根据确定不满足所述一个或多个第一标准,放弃将所述第二内容项移动得更靠近所述第三内容项。
66.根据权利要求45至64中任一项所述的方法,还包括:
经由所述一个或多个输入设备检测所述第一输入的终止;以及
响应于检测到所述第一输入的所述终止:
在所述第一输入之前将所述第二内容项移动到其在所述XR环境中的原始位置。
67.一种电子设备,包括:
一个或多个处理器;
存储器;以及
存储在所述存储器中并且被配置为由所述一个或多个处理器执行的一个或多个程序,所述一个或多个程序包括用于执行根据权利要求45至66所述的方法中的任一种方法的指令。
68.一种存储一个或多个程序的非暂态计算机可读存储介质,所述一个或多个程序包括指令,所述指令在由电子设备的一个或多个处理器执行时,使得所述电子设备执行根据权利要求45至66所述的方法中的任一种方法。
69.一种电子设备,包括:
一个或多个处理器;
存储器;以及
用于执行根据权利要求45至66所述的方法中的任一种方法的装置。
70.一种用于在电子设备中使用的信息处理装置,所述信息处理装置包括:
用于执行根据权利要求45至66所述的方法中的任一种方法的装置。
71.一种方法,包括:
在与显示器和一个或多个输入设备通信的电子设备处:
经由所述显示器呈现XR环境,所述XR环境包括第一用户界面元素,所述第一用户界面元素包括所述XR环境的第一区域中的第一多个内容项,并且包括第二用户界面元素,所述第二用户界面元素包括所述XR环境的第二区域中的第二多个内容项;
在呈现所述XR环境时,经由所述一个或多个输入设备检测第一滚动输入;
响应于所述第一滚动输入:
更新所述第一用户界面元素的外观;以及
将所述第二用户界面元素从所述XR环境的所述第二区域移动到所述XR环境的所述第一区域。
72.根据权利要求71所述的方法,其中更新所述第一用户界面元素的所述外观包括在所述第一区域内使所述第一用户界面元素移位。
73.根据权利要求71至72中任一项所述的方法,其中更新所述第一用户界面元素的所述外观包括折叠所述第一用户界面元素,并且在所述第一用户界面中显示比在所述第一滚动输入之前在所述第一用户界面元素内显示的更少的所述第一多个内容项。
74.根据权利要求71所述的方法,其中更新所述第一用户界面元素的所述外观包括使所述第一用户界面元素从所述第一区域移位到第三区域,所述第二区域和所述第三区域设置在所述第一区域的相对侧上。
75.根据权利要求71至74中任一项所述的方法,还包括:
在呈现所述XR环境时,经由所述一个或多个输入设备检测第二滚动输入;
响应于所述第二滚动输入:
更新所述第二用户界面元素的外观。
76.根据权利要求75所述的方法,其中更新所述第二用户界面元素的所述外观包括在所述第一区域内使所述第二用户界面元素移位。
77.根据权利要求75至76中任一项所述的方法,其中更新所述第二用户界面元素的所述外观包括在所述第一区域中扩展所述第二用户界面元素,并且在所述第二用户界面中显示比在所述第二滚动输入之前在所述第二用户界面元素内显示的所述第二多个内容项更多的内容项。
78.根据权利要求71至77中任一项所述的方法,其中所述第一区域在所述XR环境内的第一深度处,并且所述第二区域在所述XR环境内不同于所述第一深度的第二深度处。
79.根据权利要求74所述的方法,其中所述第一区域在所述XR环境内的第一深度处,并且所述第二区域和所述第三区域在所述XR环境内不同于所述第一深度的第二深度处。
80.根据权利要求71至79所述的方法,其中在所述第一区域中显示的内容项和/或用户界面元素的外观不同于在所述第二区域或第三区域中显示的内容项和/或用户界面元素的外观。
81.一种电子设备,包括:
一个或多个处理器;
存储器;以及
存储在所述存储器中并且被配置为由所述一个或多个处理器执行的一个或多个程序,所述一个或多个程序包括用于执行根据权利要求71至80所述的方法中的任一种方法的指令。
82.一种存储一个或多个程序的非暂态计算机可读存储介质,所述一个或多个程序包括指令,所述指令在由电子设备的一个或多个处理器执行时,使得所述电子设备执行根据权利要求71至80所述的方法中的任一种方法。
83.一种电子设备,包括:
一个或多个处理器;
存储器;以及
用于执行权利要求71至80所述的方法中的任一种方法的装置。
84.一种用于在电子设备中使用的信息处理装置,所述信息处理装置包括:
用于执行权利要求71至80所述的方法中的任一种方法的装置。
85.一种方法,包括:
在与显示器和一个或多个输入设备通信的电子设备处:
经由所述显示器呈现包括第一大小的第一内容项的XR环境;
在呈现所述XR环境时,经由所述一个或多个输入设备检测第一滚动输入;
响应于所述第一滚动输入:
从呈现所述第一内容项过渡到呈现第二大小的第二内容项;
根据确定所述第一大小和所述第二大小不同,调整在从呈现所述第一内容项过渡到呈现所述第二内容项期间在所述XR环境中显示的遮罩的大小;以及
根据确定所述第一大小和所述第二大小相同,放弃调整所述遮罩的所述大小。
86.根据权利要求85所述的方法,其中在从呈现所述第一内容项过渡到呈现所述第二内容项之前所述遮罩和所述第一内容项的组合大小与在从呈现所述第一内容项过渡到呈现所述第二内容项之后所述遮罩和所述第二内容项的组合大小相同。
87.根据权利要求85至86中任一项所述的方法,其中从呈现所述第一内容项到呈现所述第二内容项的过渡包括滑动动画。
88.根据权利要求87所述的方法,其中所述滑动动画和调整所述遮罩至少部分地同时发生。
89.根据权利要求85至88中任一项所述的方法,其中调整所述遮罩包括在所述第一内容项和/或所述第二内容项的所述显示的相对侧上使所述遮罩增长或收缩。
90.根据权利要求85至89中任一项所述的方法,还包括:
在呈现所述XR环境时,经由所述一个或多个输入设备检测第二滚动输入;
响应于所述第二滚动输入:
从呈现所述第二内容项过渡到呈现第三大小的第三内容项;
根据确定所述第二大小和所述第三大小不同,在从呈现所述第二内容项到呈现所述第三内容项的过渡期间调整在所述XR环境中显示的所述遮罩的所述大小;以及
根据确定所述第二大小和所述第三大小相同,放弃调整所述遮罩的所述大小。
91.一种电子设备,包括:
一个或多个处理器;
存储器;以及
存储在所述存储器中并且被配置为由所述一个或多个处理器执行的一个或多个程序,所述一个或多个程序包括用于执行根据权利要求85至90所述的方法中的任一种方法的指令。
92.一种存储一个或多个程序的非暂态计算机可读存储介质,所述一个或多个程序包括指令,所述指令在由电子设备的一个或多个处理器执行时,使得所述电子设备执行根据权利要求85至90所述的方法中的任一种方法。
93.一种电子设备,包括:
一个或多个处理器;
存储器;以及
用于执行根据权利要求85至90所述的方法中的任一种方法的装置。
94.一种用于在电子设备中使用的信息处理装置,所述信息处理装置包括:
用于执行根据权利要求85至90所述的方法中的任一种方法的装置。
CN202180053256.7A 2020-06-26 2021-06-24 用于内容应用程序的设备、方法和图形用户界面 Pending CN116438510A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US202063045022P 2020-06-26 2020-06-26
US63/045,022 2020-06-26
PCT/US2021/038991 WO2021263050A1 (en) 2020-06-26 2021-06-24 Devices, methods and graphical user interfaces for content applications

Publications (1)

Publication Number Publication Date
CN116438510A true CN116438510A (zh) 2023-07-14

Family

ID=77043032

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180053256.7A Pending CN116438510A (zh) 2020-06-26 2021-06-24 用于内容应用程序的设备、方法和图形用户界面

Country Status (4)

Country Link
US (1) US20230350537A1 (zh)
CN (1) CN116438510A (zh)
DE (1) DE112021003415T5 (zh)
WO (1) WO2021263050A1 (zh)

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9417754B2 (en) * 2011-08-05 2016-08-16 P4tents1, LLC User interface system, method, and computer program product
CN114995644A (zh) * 2017-09-29 2022-09-02 苹果公司 基于注视的用户交互
US11182964B2 (en) * 2018-04-30 2021-11-23 Apple Inc. Tangibility visualization of virtual objects within a computer-generated reality environment
US11348316B2 (en) * 2018-09-11 2022-05-31 Apple Inc. Location-based virtual element modality in three-dimensional content
US10937244B2 (en) * 2018-10-23 2021-03-02 Microsoft Technology Licensing, Llc Efficiency enhancements to construction of virtual reality environments
WO2022055820A1 (en) * 2020-09-11 2022-03-17 Sterling Labs Llc Method of displaying selectable options
US11768546B1 (en) * 2020-09-24 2023-09-26 Apple Inc. Method and device for positional/rotational information of a finger-wearable device
EP4295218A1 (en) * 2021-03-22 2023-12-27 Apple Inc. Methods for manipulating objects in an environment

Also Published As

Publication number Publication date
WO2021263050A1 (en) 2021-12-30
DE112021003415T5 (de) 2023-07-27
US20230350537A1 (en) 2023-11-02

Similar Documents

Publication Publication Date Title
US11768579B2 (en) Devices, methods, and graphical user interfaces for interacting with three-dimensional environments
US11687224B2 (en) User interface camera effects
KR102373116B1 (ko) 증강 및 가상 현실 환경들과 상호작용하기 위한 시스템들, 방법들, 및 그래픽 사용자 인터페이스들
WO2021133572A1 (en) Devices, methods, and graphical user interfaces for displaying applications in three-dimensional environments
CN116324703A (zh) 用于与用于移动虚拟环境中的虚拟对象的虚拟控件和/或示能表示交互的方法
KR102140295B1 (ko) 사용자 인터페이스 카메라 효과들
CN116194868A (zh) 用于与三维环境进行交互的设备、方法和图形用户界面
US11720171B2 (en) Methods for navigating user interfaces
US20230094522A1 (en) Devices, methods, and graphical user interfaces for content applications
US20230093979A1 (en) Devices, methods, and graphical user interfaces for content applications
CN116507997A (zh) 在环境中显示用户界面的方法及对应电子设备和计算机可读存储介质
US20230315247A1 (en) Devices, Methods, and Graphical User Interfaces for Accessing System Functions of Computer Systems While Displaying Three-Dimensional Environments
US20230350537A1 (en) Devices, methods and graphical user interfaces for content applications
CN116438507A (zh) 显示可选择选项的方法
US20240086031A1 (en) Method of grouping user interfaces in an environment
CN118159935A (zh) 用于内容应用程序的设备、方法和图形用户界面
CN118056173A (zh) 用于与三维环境进行交互的设备、方法和图形用户界面
CN115690306A (zh) 用于对象的三维预览的设备、方法和图形用户界面

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination