CN117940880A - 用于与媒体和三维环境交互的设备、方法和图形用户界面 - Google Patents
用于与媒体和三维环境交互的设备、方法和图形用户界面 Download PDFInfo
- Publication number
- CN117940880A CN117940880A CN202280062327.4A CN202280062327A CN117940880A CN 117940880 A CN117940880 A CN 117940880A CN 202280062327 A CN202280062327 A CN 202280062327A CN 117940880 A CN117940880 A CN 117940880A
- Authority
- CN
- China
- Prior art keywords
- media item
- user
- user interface
- displaying
- media
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 256
- 230000000007 visual effect Effects 0.000 claims abstract description 380
- 230000000694 effects Effects 0.000 claims description 262
- 230000004044 response Effects 0.000 claims description 217
- 238000004891 communication Methods 0.000 claims description 92
- 230000008859 change Effects 0.000 claims description 76
- 230000006870 function Effects 0.000 claims description 26
- 239000003086 colorant Substances 0.000 claims description 22
- 230000001965 increasing effect Effects 0.000 claims description 15
- 238000004590 computer program Methods 0.000 claims description 14
- 230000007423 decrease Effects 0.000 claims description 14
- 230000003068 static effect Effects 0.000 claims description 13
- 238000013213 extrapolation Methods 0.000 claims description 12
- 230000002829 reductive effect Effects 0.000 claims description 7
- 230000003190 augmentative effect Effects 0.000 abstract description 26
- 230000003993 interaction Effects 0.000 abstract description 17
- 230000033001 locomotion Effects 0.000 description 115
- 210000003811 finger Anatomy 0.000 description 72
- 239000010410 layer Substances 0.000 description 63
- 210000003128 head Anatomy 0.000 description 40
- 230000008569 process Effects 0.000 description 24
- 238000005286 illumination Methods 0.000 description 22
- 238000012545 processing Methods 0.000 description 16
- 230000007704 transition Effects 0.000 description 13
- 238000010586 diagram Methods 0.000 description 12
- 238000009499 grossing Methods 0.000 description 11
- 210000004247 hand Anatomy 0.000 description 11
- 230000005540 biological transmission Effects 0.000 description 10
- 230000003287 optical effect Effects 0.000 description 10
- 230000005574 cross-species transmission Effects 0.000 description 9
- 230000002093 peripheral effect Effects 0.000 description 9
- 210000001747 pupil Anatomy 0.000 description 9
- 230000001953 sensory effect Effects 0.000 description 9
- 230000036541 health Effects 0.000 description 8
- 238000004422 calculation algorithm Methods 0.000 description 7
- 238000001514 detection method Methods 0.000 description 7
- 230000008447 perception Effects 0.000 description 6
- 210000003813 thumb Anatomy 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 238000003384 imaging method Methods 0.000 description 5
- 230000000670 limiting effect Effects 0.000 description 5
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 5
- 230000000977 initiatory effect Effects 0.000 description 4
- 238000013507 mapping Methods 0.000 description 4
- 230000007246 mechanism Effects 0.000 description 4
- 239000007787 solid Substances 0.000 description 4
- 210000000707 wrist Anatomy 0.000 description 4
- -1 802.3x Chemical compound 0.000 description 3
- 230000009471 action Effects 0.000 description 3
- 230000006399 behavior Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 230000003247 decreasing effect Effects 0.000 description 3
- 230000001815 facial effect Effects 0.000 description 3
- 239000011521 glass Substances 0.000 description 3
- 239000004973 liquid crystal related substance Substances 0.000 description 3
- 238000009877 rendering Methods 0.000 description 3
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 2
- 230000004913 activation Effects 0.000 description 2
- 230000004931 aggregating effect Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 2
- 239000008280 blood Substances 0.000 description 2
- 210000004369 blood Anatomy 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 2
- 238000013503 de-identification Methods 0.000 description 2
- 230000001934 delay Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 210000000887 face Anatomy 0.000 description 2
- 210000002411 hand bone Anatomy 0.000 description 2
- 230000004886 head movement Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000000750 progressive effect Effects 0.000 description 2
- 229910052710 silicon Inorganic materials 0.000 description 2
- 239000010703 silicon Substances 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 239000013589 supplement Substances 0.000 description 2
- 230000001960 triggered effect Effects 0.000 description 2
- WQZGKKKJIJFFOK-GASJEMHNSA-N Glucose Natural products OC[C@H]1OC(O)[C@H](O)[C@@H](O)[C@@H]1O WQZGKKKJIJFFOK-GASJEMHNSA-N 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 206010052143 Ocular discomfort Diseases 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 239000008186 active pharmaceutical agent Substances 0.000 description 1
- 230000001154 acute effect Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000033228 biological regulation Effects 0.000 description 1
- 230000036772 blood pressure Effects 0.000 description 1
- 230000001149 cognitive effect Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 239000002772 conduction electron Substances 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000001747 exhibiting effect Effects 0.000 description 1
- 230000005669 field effect Effects 0.000 description 1
- 239000008103 glucose Substances 0.000 description 1
- 230000001339 gustatory effect Effects 0.000 description 1
- 210000002478 hand joint Anatomy 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000009191 jumping Effects 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 229910052760 oxygen Inorganic materials 0.000 description 1
- 239000001301 oxygen Substances 0.000 description 1
- 238000005293 physical law Methods 0.000 description 1
- 230000001179 pupillary effect Effects 0.000 description 1
- APTZNLHMIGJTEW-UHFFFAOYSA-N pyraflufen-ethyl Chemical compound C1=C(Cl)C(OCC(=O)OCC)=CC(C=2C(=C(OC(F)F)N(C)N=2)Cl)=C1F APTZNLHMIGJTEW-UHFFFAOYSA-N 0.000 description 1
- 239000002096 quantum dot Substances 0.000 description 1
- 210000001525 retina Anatomy 0.000 description 1
- 230000004270 retinal projection Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000002356 single layer Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000009528 vital sign measurement Methods 0.000 description 1
Abstract
本公开整体涉及电子设备的用户界面,包括用于查看媒体项并与之交互的用户界面。根据一些实施方案,本公开还涉及用于向用户提供扩展现实(XR)体验的用户界面。本文所述的系统、方法和图形用户界面(GUI)涉及以多种方式与虚拟/增强现实环境进行的用户界面交互。在一些实施方案中,基于用户的注视所指向的位置来修改所显示内容的一个或多个视觉特征。
Description
相关申请的交叉引用
本申请要求以下专利申请的优先权:2022年9月23日提交的名称为“DEVICES,METHODS,AND GRAPHICAL USER INTERFACES FOR INTERACTING WITH MEDIA AND THREE-DIMENSIONAL ENVIRONMENTS”的美国专利申请17/952,206号,和2022年9月23日提交的名称为“DEVICES,METHODS,AND GRAPHICAL USER INTERFACES FOR INTERACTING WITH MEDIAAND THREE-DIMENSIONAL ENVIRONMENTS”的美国临时专利申请63/409,695号;以及2021年9月24日提交的名称为“DEVICES,METHODS,AND GRAPHICAL USER INTERFACES FORINTERACTING WITH MEDIA AND THREE-DIMENSIONAL ENVIRONMENTS”的美国临时专利申请63/248,222号。这些专利申请中的每个专利申请的内容据此全文以引用方式并入本文。
技术领域
本公开整体涉及与显示生成部件和一个或多个输入设备通信的提供计算机生成的体验的计算机系统,这些计算机系统包括但不限于提供虚拟现实和混合现实体验的电子设备。
背景技术
近年来,用于增强现实的计算机系统的发展显著增加。示例增强现实环境包括至少一些替换或增强物理世界的虚拟元素。用于计算机系统和其他电子计算设备的输入设备(诸如相机、控制器、操纵杆、触敏表面和触摸屏显示器)用于与虚拟/增强现实环境进行交互。示例性虚拟元素包括诸如数字图像、视频、文本、图标和控制元素(诸如按钮和其他图形)的虚拟对象。
发明内容
用于与媒体项和包括至少一些虚拟元素的环境(例如,应用程序、增强现实环境、混合现实环境和虚拟现实环境)进行交互的一些方法和界面是麻烦、低效并且受限的。例如,提供用于执行与虚拟对象相关联的动作的不足反馈的系统、需要一系列输入来在增强现实环境中实现期望结果的系统,以及虚拟对象操纵复杂、繁琐且容易出错的系统,会给用户造成巨大的认知负担,并且减损虚拟/增强现实环境的体验感。此外,这些方法花费的时间比必要的要长,从而浪费了计算机系统的能量。这后一考虑在电池驱动的设备中是特别重要的。
因此,需要具有改进的方法和界面的计算机系统来向用户提供计算机生成的体验,从而使得用户与计算机系统的交互对用户来说更有效且更直观。此类方法和界面任选地补充或替换用于与媒体项交互和向用户提供扩展现实体验的常规方法。此类方法和界面通过帮助用户理解所提供的输入与设备对这些输入的响应之间的联系,减少了来自用户的输入的数量、程度和/或性质,从而形成了更有效的人机界面。
通过所公开的系统减少或消除了与计算机系统的用户界面相关联的上述缺陷和其他问题。在一些实施方案中,计算机系统是具有相关联显示器的台式计算机。在一些实施方案中,计算机系统是便携式设备(例如,笔记本电脑、平板电脑或手持式设备)。在一些实施方案中,计算机系统是个人电子设备(例如,可穿戴电子设备,诸如手表或头戴式设备)。在一些实施方案中,计算机系统具有触摸板。在一些实施方案中,计算机系统具有一个或多个相机。在一些实施方案中,计算机系统具有触敏显示器(也称为“触摸屏”或“触摸屏显示器”)。在一些实施方案中,计算机系统具有一个或多个眼睛跟踪部件。在一些实施方案中,计算机系统具有一个或多个手部跟踪部件。在一些实施方案中,除显示生成部件之外,计算机系统还具有一个或多个输出设备,这些输出设备包括一个或多个触觉输出发生器和/或一个或多个音频输出设备。在一些实施方案中,计算机系统具有图形用户界面(GUI)、一个或多个处理器、存储器和一个或多个模块、存储在存储器中用于执行多个功能的程序或指令集。在一些实施方案中,用户通过触控笔和/或手指在触敏表面上的接触和手势、用户的眼睛和手部在相对于GUI(和/或计算机系统)或用户身体的空间中的移动(如由相机和其他移动传感器捕获的)和/或语音输入(如由一个或多个音频输入设备捕获的)与GUI进行交互。在一些实施方案中,通过交互执行的功能任选地包括图像编辑、绘图、演示、文字处理、电子表格制作、玩游戏、接打电话、视频会议、收发电子邮件、即时通讯、测试支持、数字摄影、数字视频录制、网页浏览、数字音乐播放、记笔记和/或数字视频播放。用于执行这些功能的可执行指令任选地被包括在被配置用于由一个或多个处理器执行的暂态和/或非暂态计算机可读存储介质或其他计算机程序产品中。
需要具有用于在三维环境内与媒体项交互的改进方法和界面的电子设备。此类方法和界面可补充或替换用于在三维环境内与媒体项交互的常规方法。此类方法和界面减少了来自用户的输入的数量、程度和/或性质,并且产生更高效的人机界面。对于电池驱动的计算设备,此类方法和界面节省功率,并且增大电池充电之间的时间间隔。此类方法和界面还通过例如减少不必要的和/或无关的所接收输入的数量并且向用户提供改进的视觉反馈来增强设备的可操作性并且使用户-设备界面更有效。
根据一些实施方案,描述了一种方法。该方法包括:在与显示生成部件和一个或多个输入设备通信的计算机系统处:经由该显示生成部件显示媒体库用户界面,该媒体库用户界面包括多个媒体项的表示,该多个媒体项的这些表示包括第一媒体项的表示;以及在显示该媒体库用户界面时:在第一时间,经由该一个或多个输入设备检测对应于该媒体库用户界面中的第一定位的用户注视;响应于检测到对应于该媒体库用户界面中的该第一定位的该用户注视,将该第一媒体项的该表示的外观从经由该显示生成部件以第一方式显示改变为以不同于该第一方式的第二方式显示;在该第一时间之后的第二时间,经由该一个或多个输入设备检测对应于该媒体库用户界面中不同于该第一定位的第二定位的用户注视;以及响应于检测到对应于该媒体库用户界面中的该第二定位的该用户注视,经由该显示生成部件以不同于该第二方式的第三方式显示该第一媒体项的该表示。
根据一些实施方案,描述了一种非暂态计算机可读存储介质。在一些实施方案中,该非暂态计算机可读存储介质存储被配置为由与显示生成部件和一个或多个输入设备通信的计算机系统的一个或多个处理器执行的一个或多个程序,该一个或多个程序包括用于以下操作的指令:经由该显示生成部件显示媒体库用户界面,该媒体库用户界面包括多个媒体项的表示,该多个媒体项的这些表示包括第一媒体项的表示;以及在显示该媒体库用户界面时:在第一时间,经由该一个或多个输入设备检测对应于该媒体库用户界面中的第一定位的用户注视;响应于检测到对应于该媒体库用户界面中的该第一定位的该用户注视,将该第一媒体项的该表示的外观从经由该显示生成部件以第一方式显示改变为以不同于该第一方式的第二方式显示;在该第一时间之后的第二时间,经由该一个或多个输入设备检测对应于该媒体库用户界面中不同于该第一定位的第二定位的用户注视;以及响应于检测到对应于该媒体库用户界面中的该第二定位的该用户注视,经由该显示生成部件以不同于该第二方式的第三方式显示该第一媒体项的该表示。
根据一些实施方案,描述了一种暂态计算机可读存储介质。在一些实施方案中,该暂态计算机可读存储介质存储被配置为由与显示生成部件和一个或多个输入设备通信的计算机系统的一个或多个处理器执行的一个或多个程序,该一个或多个程序包括用于以下操作的指令:经由该显示生成部件显示媒体库用户界面,该媒体库用户界面包括多个媒体项的表示,该多个媒体项的这些表示包括第一媒体项的表示;以及在显示该媒体库用户界面时:在第一时间,经由该一个或多个输入设备检测对应于该媒体库用户界面中的第一定位的用户注视;响应于检测到对应于该媒体库用户界面中的该第一定位的该用户注视,将该第一媒体项的该表示的外观从经由该显示生成部件以第一方式显示改变为以不同于该第一方式的第二方式显示;在该第一时间之后的第二时间,经由该一个或多个输入设备检测对应于该媒体库用户界面中不同于该第一定位的第二定位的用户注视;以及响应于检测到对应于该媒体库用户界面中的该第二定位的该用户注视,经由该显示生成部件以不同于该第二方式的第三方式显示该第一媒体项的该表示。
根据一些实施方案,描述了一种计算机系统。在一些实施方案中,该计算机系统与显示生成部件和一个或多个输入设备通信,并且包括:一个或多个处理器;以及存储器,该存储器存储被配置为由该一个或多个处理器执行的一个或多个程序,该一个或多个程序包括用于以下操作的指令:经由该显示生成部件显示媒体库用户界面,该媒体库用户界面包括多个媒体项的表示,该多个媒体项的这些表示包括第一媒体项的表示;以及在显示该媒体库用户界面时:在第一时间,经由该一个或多个输入设备检测对应于该媒体库用户界面中的第一定位的用户注视;响应于检测到对应于该媒体库用户界面中的该第一定位的该用户注视,将该第一媒体项的该表示的外观从经由该显示生成部件以第一方式显示改变为以不同于该第一方式的第二方式显示;在该第一时间之后的第二时间,经由该一个或多个输入设备检测对应于该媒体库用户界面中不同于该第一定位的第二定位的用户注视;以及响应于检测到对应于该媒体库用户界面中的该第二定位的该用户注视,经由该显示生成部件以不同于该第二方式的第三方式显示该第一媒体项的该表示。
在一些实施方案中,描述了一种计算机系统。在一些实施方案中,该计算机系统与显示生成部件和一个或多个输入设备通信,并且包括:用于经由该显示生成部件显示媒体库用户界面的构件,该媒体库用户界面包括多个媒体项的表示,该多个媒体项的这些表示包括第一媒体项的表示;以及用于在显示该媒体库用户界面时进行以下操作的构件:在第一时间,经由该一个或多个输入设备检测对应于该媒体库用户界面中的第一定位的用户注视;响应于检测到对应于该媒体库用户界面中的该第一定位的该用户注视,将该第一媒体项的该表示的外观从经由该显示生成部件以第一方式显示改变为以不同于该第一方式的第二方式显示;在该第一时间之后的第二时间,经由该一个或多个输入设备检测对应于该媒体库用户界面中不同于该第一定位的第二定位的用户注视;以及响应于检测到对应于该媒体库用户界面中的该第二定位的该用户注视,经由该显示生成部件以不同于该第二方式的第三方式显示该第一媒体项的该表示。
在一些实施方案中,描述了一种计算机程序产品。在一些实施方案中,该计算机程序产品包括被配置为由与显示生成部件和一个或多个输入设备通信的计算机系统的一个或多个处理器执行的一个或多个程序,该一个或多个程序包括用于以下操作的指令:经由该显示生成部件显示媒体库用户界面,该媒体库用户界面包括多个媒体项的表示,该多个媒体项的这些表示包括第一媒体项的表示;以及在显示该媒体库用户界面时:在第一时间,经由该一个或多个输入设备检测对应于该媒体库用户界面中的第一定位的用户注视;响应于检测到对应于该媒体库用户界面中的该第一定位的该用户注视,将该第一媒体项的该表示的外观从经由该显示生成部件以第一方式显示改变为以不同于该第一方式的第二方式显示;在该第一时间之后的第二时间,经由该一个或多个输入设备检测对应于该媒体库用户界面中不同于该第一定位的第二定位的用户注视;以及响应于检测到对应于该媒体库用户界面中的该第二定位的该用户注视,经由该显示生成部件以不同于该第二方式的第三方式显示该第一媒体项的该表示。
根据一些实施方案,描述了一种方法。该方法包括:在与显示生成部件和一个或多个输入设备通信的计算机系统处:经由该显示生成部件以第一缩放水平显示用户界面;在显示该用户界面时,经由该一个或多个输入设备检测对应于放大用户命令的一个或多个用户输入;以及响应于检测到对应于该放大用户命令的该一个或多个用户输入:根据确定用户注视对应于该用户界面中的第一定位,经由该显示生成部件以大于该第一缩放水平的第二缩放水平显示该用户界面,其中以该第二缩放水平显示该用户界面包括:使用基于该第一定位选择的第一缩放中心来缩放该用户界面;并且根据确定该用户注视对应于该用户界面中不同于该第一定位的第二定位,经由该显示生成部件以大于该第一缩放水平的第三缩放水平显示该用户界面,其中以该第三缩放水平显示该用户界面包括:使用基于该第二定位选择的第二缩放中心来缩放该用户界面,并且该第二缩放中心处于与该第一缩放中心不同的位置。
根据一些实施方案,描述了一种非暂态计算机可读存储介质。在一些实施方案中,该非暂态计算机可读存储介质存储被配置为由与显示生成部件和一个或多个输入设备通信的计算机系统的一个或多个处理器执行的一个或多个程序,该一个或多个程序包括用于以下操作的指令:经由该显示生成部件以第一缩放水平显示用户界面;在显示该用户界面时,经由该一个或多个输入设备检测对应于放大用户命令的一个或多个用户输入;以及响应于检测到对应于该放大用户命令的该一个或多个用户输入:根据确定用户注视对应于该用户界面中的第一定位,经由该显示生成部件以大于该第一缩放水平的第二缩放水平显示该用户界面,其中以该第二缩放水平显示该用户界面包括:使用基于该第一定位选择的第一缩放中心来缩放该用户界面;并且根据确定该用户注视对应于该用户界面中不同于该第一定位的第二定位,经由该显示生成部件以大于该第一缩放水平的第三缩放水平显示该用户界面,其中以该第三缩放水平显示该用户界面包括:使用基于该第二定位选择的第二缩放中心来缩放该用户界面,并且该第二缩放中心处于与该第一缩放中心不同的位置。
根据一些实施方案,描述了一种暂态计算机可读存储介质。在一些实施方案中,该暂态计算机可读存储介质存储被配置为由与显示生成部件和一个或多个输入设备通信的计算机系统的一个或多个处理器执行的一个或多个程序,该一个或多个程序包括用于以下操作的指令:经由该显示生成部件以第一缩放水平显示用户界面;在显示该用户界面时,经由该一个或多个输入设备检测对应于放大用户命令的一个或多个用户输入;以及响应于检测到对应于该放大用户命令的该一个或多个用户输入:根据确定用户注视对应于该用户界面中的第一定位,经由该显示生成部件以大于该第一缩放水平的第二缩放水平显示该用户界面,其中以该第二缩放水平显示该用户界面包括:使用基于该第一定位选择的第一缩放中心来缩放该用户界面;并且根据确定该用户注视对应于该用户界面中不同于该第一定位的第二定位,经由该显示生成部件以大于该第一缩放水平的第三缩放水平显示该用户界面,其中以该第三缩放水平显示该用户界面包括:使用基于该第二定位选择的第二缩放中心来缩放该用户界面,并且该第二缩放中心处于与该第一缩放中心不同的位置。
根据一些实施方案,描述了一种计算机系统。在一些实施方案中,该计算机系统与显示生成部件和一个或多个输入设备通信,并且该计算机系统包括:一个或多个处理器;以及存储器,该存储器存储被配置为由该一个或多个处理器执行的一个或多个程序,该一个或多个程序包括用于执行以下操作的指令:经由该显示生成部件以第一缩放水平显示用户界面;在显示该用户界面时,经由该一个或多个输入设备检测对应于放大用户命令的一个或多个用户输入;以及响应于检测到对应于该放大用户命令的该一个或多个用户输入:根据确定用户注视对应于该用户界面中的第一定位,经由该显示生成部件以大于该第一缩放水平的第二缩放水平显示该用户界面,其中以该第二缩放水平显示该用户界面包括:使用基于该第一定位选择的第一缩放中心来缩放该用户界面;并且根据确定该用户注视对应于该用户界面中不同于该第一定位的第二定位,经由该显示生成部件以大于该第一缩放水平的第三缩放水平显示该用户界面,其中以该第三缩放水平显示该用户界面包括:使用基于该第二定位选择的第二缩放中心来缩放该用户界面,并且该第二缩放中心处于与该第一缩放中心不同的位置。
在一些实施方案中,描述了一种计算机系统。在一些实施方案中,该计算机系统与显示生成部件和一个或多个输入设备通信,并且该计算机系统包括:用于经由该显示生成部件以第一缩放水平显示用户界面的构件;用于在显示该用户界面时经由该一个或多个输入设备检测对应于放大用户命令的一个或多个用户输入的构件;以及用于响应于检测到对应于该放大用户命令的该一个或多个用户输入而进行以下操作的构件:根据确定用户注视对应于该用户界面中的第一定位,经由该显示生成部件以大于该第一缩放水平的第二缩放水平显示该用户界面,其中以该第二缩放水平显示该用户界面包括:使用基于该第一定位选择的第一缩放中心来缩放该用户界面;并且根据确定该用户注视对应于该用户界面中不同于该第一定位的第二定位,经由该显示生成部件以大于该第一缩放水平的第三缩放水平显示该用户界面,其中以该第三缩放水平显示该用户界面包括:使用基于该第二定位选择的第二缩放中心来缩放该用户界面,并且该第二缩放中心处于与该第一缩放中心不同的位置。
在一些实施方案中,描述了一种计算机程序产品。在一些实施方案中,该计算机程序产品包括被配置为由与显示生成部件和一个或多个输入设备通信的计算机系统的一个或多个处理器执行的一个或多个程序,该一个或多个程序包括用于以下操作的指令:经由该显示生成部件以第一缩放水平显示用户界面;在显示该用户界面时,经由该一个或多个输入设备检测对应于放大用户命令的一个或多个用户输入;以及响应于检测到对应于该放大用户命令的该一个或多个用户输入:根据确定用户注视对应于该用户界面中的第一定位,经由该显示生成部件以大于该第一缩放水平的第二缩放水平显示该用户界面,其中以该第二缩放水平显示该用户界面包括:使用基于该第一定位选择的第一缩放中心来缩放该用户界面;并且根据确定该用户注视对应于该用户界面中不同于该第一定位的第二定位,经由该显示生成部件以大于该第一缩放水平的第三缩放水平显示该用户界面,其中以该第三缩放水平显示该用户界面包括:使用基于该第二定位选择的第二缩放中心来缩放该用户界面,并且该第二缩放中心处于与该第一缩放中心不同的位置。
根据一些实施方案,描述了一种方法。该方法包括:在与显示生成部件和一个或多个输入设备通信的计算机系统处:经由该一个或多个输入设备检测与对第一媒体项的选择相对应的一个或多个用户输入;以及响应于检测到与对该第一媒体项的选择相对应的该一个或多个用户输入:根据确定该第一媒体项是包括相应类型的深度信息的媒体项,经由该显示生成部件以第一方式显示该第一媒体项;并且根据确定该第一媒体项是不包括该相应类型的深度信息的媒体项,经由该显示生成部件以不同于该第一方式的第二方式显示该第一媒体项。
根据一些实施方案,描述了一种非暂态计算机可读存储介质。在一些实施方案中,该非暂态计算机可读存储介质存储被配置为由与显示生成部件和一个或多个输入设备通信的计算机系统的一个或多个处理器执行的一个或多个程序,该一个或多个程序包括用于执行以下操作的指令:经由该一个或多个输入设备检测与对第一媒体项的选择相对应的一个或多个用户输入;以及响应于检测到与对该第一媒体项的选择相对应的该一个或多个用户输入:根据确定该第一媒体项是包括相应类型的深度信息的媒体项,经由该显示生成部件以第一方式显示该第一媒体项;并且根据确定该第一媒体项是不包括该相应类型的深度信息的媒体项,经由该显示生成部件以不同于该第一方式的第二方式显示该第一媒体项。
根据一些实施方案,描述了一种暂态计算机可读存储介质。在一些实施方案中,该暂态计算机可读存储介质存储被配置为由与显示生成部件和一个或多个输入设备通信的计算机系统的一个或多个处理器执行的一个或多个程序,该一个或多个程序包括用于执行以下操作的指令:经由该一个或多个输入设备检测与对第一媒体项的选择相对应的一个或多个用户输入;以及响应于检测到与对该第一媒体项的选择相对应的该一个或多个用户输入:根据确定该第一媒体项是包括相应类型的深度信息的媒体项,经由该显示生成部件以第一方式显示该第一媒体项;并且根据确定该第一媒体项是不包括该相应类型的深度信息的媒体项,经由该显示生成部件以不同于该第一方式的第二方式显示该第一媒体项。
根据一些实施方案,描述了一种计算机系统。在一些实施方案中,该计算机系统与显示生成部件和一个或多个输入设备通信,并且该计算机系统包括:一个或多个处理器;以及存储器,该存储器存储被配置为由该一个或多个处理器执行的一个或多个程序,该一个或多个程序包括用于以下操作的指令:经由一个或多个输入设备检测与对第一媒体项的选择相对应的一个或多个用户输入;以及响应于检测到与对该第一媒体项的选择相对应的该一个或多个用户输入:根据确定该第一媒体项是包括相应类型的深度信息的媒体项,经由该显示生成部件以第一方式显示该第一媒体项;并且根据确定该第一媒体项是不包括该相应类型的深度信息的媒体项,经由该显示生成部件以不同于该第一方式的第二方式显示该第一媒体项。
在一些实施方案中,描述了一种计算机系统。在一些实施方案中,该计算机系统与显示生成部件和一个或多个输入设备通信,并且该计算机系统包括:用于经由一个或多个输入设备检测与对第一媒体项的选择相对应的一个或多个用户输入的构件;以及用于响应于检测到与对该第一媒体项的选择相对应的该一个或多个用户输入而进行以下操作的构件:根据确定该第一媒体项是包括相应类型的深度信息的媒体项,经由该显示生成部件以第一方式显示该第一媒体项;并且根据确定该第一媒体项是不包括该相应类型的深度信息的媒体项,经由该显示生成部件以不同于该第一方式的第二方式显示该第一媒体项。
在一些实施方案中,描述了一种计算机程序产品。在一些实施方案中,该计算机程序产品包括被配置为由与显示生成部件和一个或多个输入设备通信的计算机系统的一个或多个处理器执行的一个或多个程序,该一个或多个程序包括用于执行以下操作的指令:经由该一个或多个输入设备检测与对第一媒体项的选择相对应的一个或多个用户输入;以及响应于检测到与对该第一媒体项的选择相对应的该一个或多个用户输入:根据确定该第一媒体项是包括相应类型的深度信息的媒体项,经由该显示生成部件以第一方式显示该第一媒体项;并且根据确定该第一媒体项是不包括该相应类型的深度信息的媒体项,经由该显示生成部件以不同于该第一方式的第二方式显示该第一媒体项。
在一些实施方案中,描述了一种在与显示生成部件通信的计算机系统处执行的方法。该方法包括:经由该显示生成部件显示用户界面,该用户界面包括:立体媒体项的第一表示,其中该立体媒体项的该第一表示包括至少第一边缘;以及视觉效果,其中该视觉效果遮蔽该立体媒体项的至少第一部分,并且从该立体媒体项的该第一表示的至少第一边缘朝向该立体媒体项的该第一表示的内部向内延伸。
在一些实施方案中,描述了一种非暂态计算机可读存储介质。该非暂态计算机可读存储介质存储被配置为由计算机系统的一个或多个处理器执行的一个或多个程序,其中该计算机系统与显示生成部件通信,该一个或多个程序包括用于以下操作的指令:经由该显示生成部件显示用户界面,该用户界面包括:立体媒体项的第一表示,其中该立体媒体项的该第一表示包括至少第一边缘;以及视觉效果,其中该视觉效果遮蔽该立体媒体项的至少第一部分,并且从该立体媒体项的该第一表示的至少第一边缘朝向该立体媒体项的该第一表示的内部向内延伸。
在一些实施方案中,描述了一种暂态计算机可读存储介质。该暂态计算机可读存储介质存储被配置为由计算机系统的一个或多个处理器执行的一个或多个程序,其中该计算机系统与显示生成部件通信,该一个或多个程序包括用于以下操作的指令:经由该显示生成部件显示用户界面,该用户界面包括:立体媒体项的第一表示,其中该立体媒体项的该第一表示包括至少第一边缘;以及视觉效果,其中该视觉效果遮蔽该立体媒体项的至少第一部分,并且从该立体媒体项的该第一表示的至少第一边缘朝向该立体媒体项的该第一表示的内部向内延伸。
在一些实施方案中,描述了一种计算机系统。该计算机系统包括:一个或多个处理器,其中该计算机系统与显示生成部件通信;以及存储器,该存储器存储被配置为由该一个或多个处理器执行的一个或多个程序,该一个或多个程序包括用于以下操作的指令:经由该显示生成部件显示用户界面,该用户界面包括:立体媒体项的第一表示,其中该立体媒体项的该第一表示包括至少第一边缘;以及视觉效果,其中该视觉效果遮蔽该立体媒体项的至少第一部分,并且从该立体媒体项的该第一表示的至少第一边缘朝向该立体媒体项的该第一表示的内部向内延伸。
在一些实施方案中,描述了一种计算机系统。该计算机系统与显示生成部件通信,并且该计算机系统包括:用于经由该显示生成部件显示用户界面的构件,该用户界面包括:立体媒体项的第一表示,其中该立体媒体项的该第一表示包括至少第一边缘;以及视觉效果,其中该视觉效果遮蔽该立体媒体项的至少第一部分,并且从该立体媒体项的该第一表示的至少第一边缘朝向该立体媒体项的该第一表示的内部向内延伸。
在一些实施方案中,描述了一种计算机程序产品。该计算机程序产品包括被配置为由与显示生成部件通信的计算机系统的一个或多个处理器执行的一个或多个程序,该一个或多个程序包括用于以下操作的指令:经由该显示生成部件显示用户界面,该用户界面包括:立体媒体项的第一表示,其中该立体媒体项的该第一表示包括至少第一边缘;以及视觉效果,其中该视觉效果遮蔽该立体媒体项的至少第一部分,并且从该立体媒体项的该第一表示的至少第一边缘朝向该立体媒体项的该第一表示的内部向内延伸。
需注意,上述各种实施方案可与本文所述任何其他实施方案相结合。本说明书中描述的特征和优点并不全面,具体来说,根据附图、说明书和权利要求书,许多另外的特征和优点对本领域的普通技术人员将是显而易见的。此外,应当指出,出于可读性和指导性目的,在原则上选择了本说明书中使用的语言,并且可以不这样选择以描绘或界定本发明的主题。
附图说明
为了更好地理解各种所述实施方案,应结合以下附图参考下面的具体实施方式,其中类似的附图标号在所有附图中指示对应的部分。
图1是示出根据一些实施方案的用于提供扩展现实体验的计算机系统的操作环境的框图。
图2是示出根据一些实施方案的计算机系统的被配置为管理和协调用户的扩展现实体验的控制器的框图。
图3是示出根据一些实施方案的计算机系统的被配置为向用户提供扩展现实体验的视觉组成部分的显示生成部件的框图。
图4是示出根据一些实施方案的计算机系统的被配置为捕获用户的手势输入的手部跟踪单元的框图。
图5是示出根据一些实施方案的计算机系统的被配置为捕获用户的注视输入的眼睛跟踪单元的框图。
图6是示出根据一些实施方案的闪光辅助的注视跟踪流水线的流程图。
图7A至图7N示出了根据一些实施方案的用于与媒体项和用户界面交互的示例性技术。
图8是根据各种实施方案的与媒体项和用户界面交互的方法的流程图。
图9是根据各种实施方案的与媒体项和用户界面交互的方法的流程图。
图10是根据各种实施方案的与媒体项和用户界面交互的方法的流程图。
图11A至图11F示出了根据一些实施方案的用于显示媒体项的示例性技术。
图12是示出了根据一些实施方案的用于显示媒体项的方法的流程图。
具体实施方式
根据一些实施方案,本公开涉及用于向用户提供扩展现实(XR)体验的用户界面。
本文所述的系统、方法和GUI以多种方式改进与虚拟/增强现实环境进行的用户界面交互。
在一些实施方案中,基于用户的注视所指向的位置来修改所显示内容的一个或多个视觉特征。例如,如果用户注视媒体库中的第一媒体项,则修改第一媒体项的视觉特征,并且如果用户注视媒体库中的第二媒体项,则修改第二媒体项的视觉特征。用户注视的位置和/或定位使用传感器和/或相机(例如,与头戴式设备集成或(例如,在XR房间中)远离用户安装的相机)来检测,而不是使用例如触敏表面或其他物理控制器。基于用户的注视来修改所显示内容的视觉特征向用户提供了关于计算机系统的状态(例如,计算机系统已经检测到用户注视用户界面中的特定定位)的视觉反馈。基于用户的注视来修改所显示内容的视觉特征还允许用户在多于一个上下文中与所显示内容有效地交互,而不会因多个控件使显示器在视觉上混乱,并且改进用户界面的交互效率(例如,减少实现期望结果所需的输入数量)。
在一些实施方案中,计算机系统允许用户基于用户的注视所指向的位置来放大用户界面。例如,如果用户在提供放大命令(例如,一个或多个手部手势)时注视用户界面中的第一定位,则计算机系统使用第一定位作为缩放操作的中心点来放大用户界面,并且如果用户在提供放大命令时注视用户界面中的第二定位,则计算机系统使用第二定位作为缩放操作的中心点来放大用户界面。基于用户的注视来放大用户界面向用户提供了关于计算机系统的状态(例如,计算机系统已经检测到用户注视用户界面中的特定定位)的视觉反馈,并且帮助用户提供适当和/或正确的输入。基于用户的注视来放大用户界面还允许用户在多于一个上下文中与所显示内容有效地交互,而不会因多个控件使显示器在视觉上混乱,并且改进用户界面的交互效率(例如,减少实现期望结果所需的输入数量)。
在一些实施方案中,基于媒体项是否包括特定类型的深度信息(例如,基于媒体项是否是立体捕获物)来不同地(例如,以不同的视觉效果)显示媒体项。例如,如果媒体项是立体捕获物,则以第一组视觉特征来显示媒体项(例如,在三维形状内显示、以多层显示、以折射和/或模糊边缘显示);并且如果媒体项不是立体捕获物,则以第二组视觉特征来显示媒体项(例如,在二维形状内显示、作为单层显示、在没有折射和/或模糊边缘的情况下显示)。基于媒体项是否包括特定类型的深度信息来不同地显示媒体项,向用户提供了关于计算机系统的状态的视觉反馈(例如,向用户指示当前显示的媒体项是否包括特定类型的深度信息)。
在一些实施方案中,视觉效果被显示为覆盖在先前捕获的媒体项(例如,先前捕获的立体媒体项)的表示的顶部。例如,视觉效果可显示在先前捕获的媒体项的表示的一个或多个边缘处并且朝着先前捕获的媒体项的表示的中心向内延伸。视觉效果具有随着视觉效果朝向媒体项的表示的中心延伸而在值和/或强度上减小的视觉特征(例如,模糊量)。在媒体项的表示的一个或多个边缘处显示视觉效果,有助于减少用户在查看先前捕获的媒体项的表示时可能体验到的视觉不适(例如,窗口违规)的量。
图1至图6提供了对用于向用户提供XR体验的示例性计算机系统的描述。图7A至图7N示出了根据一些实施方案的用于与媒体项和用户界面交互的示例性技术。图8是根据各种实施方案的与媒体项和用户界面交互的方法的流程图。图9是根据各种实施方案的与媒体项和用户界面交互的方法的流程图。图10是根据各种实施方案的与媒体项和用户界面交互的方法的流程图。图7A至图7N中的用户界面用于示出图8至图10中的过程。图11A至图11F示出了根据一些实施方案的用于显示媒体项的示例性技术。图12是示出了根据各种实施方案的用于显示媒体项的方法的流程图。图11A至图11F中的用户界面用于示出图12中的过程。
下文所述的过程通过各种技术增强了设备的可操作性并且使用户-设备界面更有效(例如,通过帮助用户提供合适输入并减少操作设备/与设备交互时的用户错误),这些技术包括向用户提供改进的视觉反馈、减少执行操作所需的输入数量、提供附加的控制选项而不会因附加的显示控件使用户界面混乱、在已经满足一组条件时执行操作而无需进一步的用户输入、改善隐私性和/或安全性、在节省存储空间的同时提供更多样、详细和/或真实的用户体验、减少用户所体验的窗口违规量和/或附加的技术。这些技术还通过使用户能够更快且更有效地使用设备而减少了电力使用并延长了设备的电池寿命。节省电池电量,并且因此节省重量,改善了设备的人体工程学。这些技术还使得能够进行实时通信,允许使用更少和/或不太精确的传感器,从而产生更紧凑、更轻且更便宜的设备,并且使得该设备能够在各种照明条件下使用。这些技术减少了能量使用,从而减少了由设备发出的热量,这对于可穿戴设备特别重要,其中如果完全在设备部件的操作参数内的设备产生太多热量,则对于用户来说,穿戴该设备会变得不舒服。
此外,在本文所述的其中一个或多个步骤取决于已满足一个或多个条件的方法中,应当理解,所述方法可在多次重复中重复,使得在重复的过程中,在方法的不同重复中已满足决定方法中的步骤的所有条件。例如,如果方法需要执行第一步骤(如果满足条件),以及执行第二步骤(如果不满足条件),则普通技术人员将会知道,重复所声明的步骤,直到满足条件和不满足条件两者(不分先后)。因此,可将被描述为具有取决于已满足一个或多个条件的一个或多个步骤的方法重写为重复直到已满足该方法中所述的每个条件的方法。然而,这不需要系统或计算机可读介质声明该系统或计算机可读介质包含用于基于对应的一个或多个条件的满足来执行视情况而定的操作的指令,并且因此能够确定是否已满足可能的情况,而无需明确地重复方法的步骤直到已满足决定方法中的步骤的所有条件。本领域的普通技术人员还将理解,类似于具有视情况而定的步骤的方法,系统或计算机可读存储介质可根据需要多次重复方法的步骤,以确保已执行所有视情况而定的步骤。
在一些实施方案中,如图1中所示,经由包括计算机系统101的操作环境100向用户提供XR体验。计算机系统101包括控制器110(例如,便携式电子设备的处理器或远程服务器)、显示生成部件120(例如,头戴式设备(HMD)、显示器、投影仪、触摸屏等)、一个或多个输入设备125(例如,眼睛跟踪设备130、手部跟踪设备140、其他输入设备150)、一个或多个输出设备155(例如,扬声器160、触觉输出发生器170和其他输出设备180)、一个或多个传感器190(例如,图像传感器、光传感器、深度传感器、触觉传感器、取向传感器、接近传感器、温度传感器、位置传感器、运动传感器、速度传感器等),以及任选地一个或多个外围设备195(例如,家用电器、可穿戴设备等)。在一些实施方案中,输入设备125、输出设备155、传感器190和外围设备195中的一者或多者与显示生成部件120集成(例如,在头戴式设备或手持式设备中)。
在描述XR体验时,各种术语用于区别地指代用户可以感测并且/或者用户可以与其进行交互(例如,利用由生成XR体验的计算机系统101检测到的输入进行交互,这些输入使得生成XR体验的计算机系统生成与提供给计算机系统101的各种输入对应的音频、视觉和/或触觉反馈)的若干相关但不同的环境。以下是这些术语的子集:
物理环境:物理环境是指人们在没有电子系统帮助的情况下能够感测和/或交互的物理世界。物理环境诸如物理公园包括物理物品,诸如物理树木、物理建筑物和物理人。人们能够诸如通过视觉、触觉、听觉、味觉和嗅觉来直接感测物理环境和/或与物理环境交互。
扩展现实:相反,扩展现实(XR)环境是指人们经由电子系统感测和/或交互的完全或部分模拟的环境。在XR中,跟踪人的物理运动的子集或其表示,并且作为响应,以符合至少一个物理定律的方式调节在XR环境中模拟的一个或多个虚拟对象的一个或多个特征。例如,XR系统可以检测人的头部转动,并且作为响应,以与此类视图和声音在物理环境中变化的方式类似的方式调节呈现给人的图形内容和声场。在一些情况下(例如,出于可达性原因),对XR环境中虚拟对象的特征的调节可以响应于物理运动的表示(例如,声音命令)来进行。人可以利用其感觉中的任一者来感测XR对象和/或与之交互,包括视觉、听觉、触觉、味觉和嗅觉。例如,人可以感测音频对象和/或与音频对象交互,音频对象创建3D或空间音频环境,3D或空间音频环境提供3D空间中点音频源的感知。又如,音频对象可以使能音频透明度,该音频透明度在有或者没有计算机生成的音频的情况下选择性地引入来自物理环境的环境声音。在某些XR环境中,人可以感测和/或只与音频对象交互。
XR的示例包括虚拟现实和混合现实。
虚拟现实:虚拟现实(VR)环境是指被设计成对于一个或多个感官完全基于计算机生成的感官输入的模拟环境。VR环境包括人可以感测和/或交互的多个虚拟对象。例如,树木、建筑物和代表人的化身的计算机生成的图像是虚拟对象的示例。人可以通过在计算机生成的环境内人的存在的模拟和/或通过在计算机生成的环境内人的物理移动的一个子组的模拟来感测和/或与VR环境中的虚拟对象交互。
混合现实:与被设计成完全基于计算机生成的感官输入的VR环境相比,混合现实(MR)环境是指被设计成除了包括计算机生成的感官输入(例如,虚拟对象)之外还引入来自物理环境的感官输入或其表示的模拟环境。在虚拟连续体上,混合现实环境是完全物理环境作为一端和虚拟现实环境作为另一端之间的任何状况,但不包括这两端。在一些MR环境中,计算机生成的感官输入可以对来自物理环境的感官输入的变化进行响应。另外,用于呈现MR环境的一些电子系统可以跟踪相对于物理环境的位置和/或取向,以使虚拟对象能够与真实对象(即,来自物理环境的物理物品或其表示)交互。例如,系统可以导致运动使得虚拟树木相对于物理地面看起来是静止的。
混合现实的示例包括增强现实和增强虚拟。
增强现实:增强现实(AR)环境是指其中一个或多个虚拟对象叠加在物理环境或物理环境的表示上方的模拟环境。例如,用于呈现AR环境的电子系统可具有透明或半透明显示器,人可以透过该显示器直接查看物理环境。该系统可以被配置为在透明或半透明显示器上呈现虚拟对象,使得人利用该系统感知叠加在物理环境之上的虚拟对象。另选地,系统可以具有不透明显示器和一个或多个成像传感器,该成像传感器捕获物理环境的图像或视频,这些图像或视频是物理环境的表示。系统将图像或视频与虚拟对象组合,并在不透明显示器上呈现组合物。人利用系统经由物理环境的图像或视频而间接地查看物理环境,并且感知叠加在物理环境之上的虚拟对象。如本文所用,在不透明显示器上显示的物理环境的视频被称为“透传视频”,意味着系统使用一个或多个图像传感器捕获物理环境的图像,并且在不透明显示器上呈现AR环境时使用那些图像。进一步另选地,系统可以具有投影系统,该投影系统将虚拟对象投射到物理环境中,例如作为全息图或者在物理表面上,使得人利用该系统感知叠加在物理环境之上的虚拟对象。增强现实环境也是指其中物理环境的表示被计算机生成的感官信息进行转换的模拟环境。例如,在提供透传视频中,系统可以对一个或多个传感器图像进行转换以施加与成像传感器所捕获的视角不同的选择视角(例如,视点)。又如,物理环境的表示可以通过图形地修改(例如,放大)其部分而进行转换,使得经修改部分可以是原始捕获图像的代表性的但不是真实的版本。再如,物理环境的表示可以通过以图形方式消除其部分或将其部分进行模糊处理而进行转换。
增强虚拟:增强虚拟(AV)环境是指其中虚拟环境或计算机生成环境结合了来自物理环境的一项或多项感官输入的模拟环境。感官输入可以是物理环境的一个或多个特性的表示。例如,AV公园可以具有虚拟树木和虚拟建筑物,但人的脸部是从对物理人拍摄的图像逼真再现的。又如,虚拟对象可以采用一个或多个成像传感器所成像的物理物品的形状或颜色。再如,虚拟对象可以采用符合太阳在物理环境中的定位的阴影。
视点锁定的虚拟对象:当计算机系统在用户视点中的相同位置和/或定位处显示虚拟对象时,即使用户的视点偏移(例如,发生变化),虚拟对象也是视点锁定的。在其中计算机系统是头戴式设备的实施方案中,用户的视点被锁定到用户的头部的前向方向(例如,当用户直视前方时,用户的视点是用户视场的至少一部分);因此,在不移动用户的头部的情况下,即使在用户的注视偏移时,用户的视点也保持固定。在其中计算机系统具有可相对于用户的头部重新定位的显示生成部件(例如,显示屏幕)的实施方案中,用户的视点是在计算机系统的显示生成部件上呈现给用户的增强现实视图。例如,当用户的视点处于第一取向(例如,用户头部面向北)时显示在用户的视点的左上角中的视点锁定的虚拟对象继续显示在用户的视点的左上角中,即使在用户的视点改变到第二取向(例如,用户头部面向西)时也是如此。换句话讲,在用户的视点中显示视点锁定的虚拟对象的位置和/或定位与用户在物理环境中的定位和/或取向无关。在其中计算机系统是头戴式设备的实施方案中,用户的视点被锁定到用户的头部的取向,使得虚拟对象也被称为“头部锁定虚拟对象”。
环境锁定的视觉对象:当计算机系统在用户的视点中的位置和/或定位处显示虚拟对象时,虚拟对象是环境锁定的(另选地,“世界锁定的”),该位置和/或定位基于三维环境(例如,物理环境或虚拟环境)中的位置和/或对象(例如,参考该位置和/或对象而选择和/或锚定到该位置和/或对象)。随着用户的视点移动,环境中相对于用户的视点的位置和/或对象改变,这导致环境锁定的虚拟对象显示在用户视点中的不同位置和/或定位处。例如,锁定到紧接在用户前面的树木上的环境锁定的虚拟对象显示在用户的视点的中心处。当用户的视点向右偏移(例如,用户头部向右转动)使得树木现在在用户的视点中处于中心左侧(例如,用户的视点中的树木定位偏移)时,锁定到树木上的环境锁定的虚拟对象在用户的视点中显示在中心左侧。换句话讲,在用户的视点中显示环境锁定的虚拟对象的位置和/或定位取决于环境中虚拟对象被锁定到其上的位置和/或对象的位置和/或取向。在一些实施方案中,计算机系统使用静止的参照系(例如,在物理环境中锚定到固定位置和/或对象的坐标系),以便确定在用户的视点中显示环境锁定的虚拟对象的定位。环境锁定的虚拟对象可被锁定到环境的静止部分(例如,地板、墙壁、桌子或其他静止对象),或可被锁定到环境的可移动部分(例如,车辆、动物、人或甚至独立于用户的视点移动的用户身体的一部分诸如用户的手部、手腕、手臂或脚的表示)使得虚拟对象随着视点或环境的该部分移动而移动以保持虚拟对象和环境的该部分之间的固定关系。
在一些实施方案中,环境锁定或视点锁定的虚拟对象表现出惰性跟随行为,其相对于虚拟对象所跟随的参考点的移动而减少或延迟环境锁定或视点锁定的虚拟对象的运动。在一些实施方案中,在表现出惰性跟随行为时,当检测到虚拟对象正在跟随的参考点(例如,环境的一部分、视点或相对于视点固定的点,诸如距离视点5cm至300cm之间的点)的移动时,计算机系统有意地延迟虚拟对象的移动。例如,当参考点(例如,环境的部分或视点)以第一速度移动时,虚拟对象被设备移动以保持锁定到参考点,但以相较于第一速度更慢的第二速度移动(例如,直到参考点停止移动或减慢,此时虚拟对象开始赶上参考点)。在一些实施方案中,当虚拟对象表现出惰性跟随行为时,设备忽略参考点的少量移动(例如,忽略参考点低于阈值移动量的移动,诸如移动0至5度或移动0至50cm)。例如,当参考点(例如,虚拟对象被锁定到的环境的部分或视点)移动第一量时,参考点和虚拟对象之间的距离增大(例如,因为虚拟对象正被显示以便保持相对于与虚拟对象被锁定到的参考点不同的视点或环境的部分固定或基本上固定的位置),并且当参考点(例如,虚拟对象被锁定到的环境的部分或视点)移动大于第一量的第二量时,参考点和虚拟对象之间的距离先增大(例如,因为虚拟对象正被显示以便保持相对于与虚拟对象被锁定到的参考点不同的视点或环境的部分固定或基本上固定的位置),然后在参考点的移动量增大到阈值(例如,“惰性跟随”阈值)以上时减小,因为虚拟对象被计算机系统移动以保持相对于参考点固定或基本上固定的位置。在一些实施方案中,虚拟对象保持相对于参考点基本上固定的位置包括虚拟对象在一个或多个维度(例如,相对于参考点的位置的上/下、左/右和/或向前/向后)中在参考点的阈值距离(例如,1cm、2cm、3cm、5cm、15cm、20cm、50cm)内显示。
硬件:有许多不同类型的电子系统使人能够感测各种XR环境和/或与各种CGR环境进行交互。示例包括头戴式系统、基于投影的系统、平视显示器(HUD)、集成有显示能力的车辆挡风玻璃、集成有显示能力的窗户、被形成为被设计用于放置在人的眼睛上的透镜的显示器(例如,类似于隐形眼镜)、耳机/听筒、扬声器阵列、输入系统(例如,具有或不具有触觉反馈的可穿戴或手持控制器)、智能电话、平板电脑和台式/膝上型计算机。头戴式系统可包括集成到头戴式系统中以用于提供音频输出的扬声器和/或其他音频输出设备。头戴式系统可以具有一个或多个扬声器和集成的不透明显示器。另选地,头戴式系统可以被配置为接受外部不透明显示器(例如,智能电话)。头戴式系统可以结合用于捕获物理环境的图像或视频的一个或多个成像传感器和/或用于捕获物理环境的音频的一个或多个麦克风。头戴式系统可以具有透明或半透明显示器,而不是不透明显示器。透明或半透明显示器可以具有媒介,代表图像的光通过该媒介被引导到人的眼睛。显示器可以利用数字光投影、OLED、LED、uLED、硅基液晶、激光扫描光源或这些技术的任意组合。媒介可以是光学波导、全息图媒介、光学组合器、光学反射器、或它们的任意组合。在一个实施方案中,透明或半透明显示器可被配置为选择性地变得不透明。基于投影的系统可以采用将图形图像投影到人的视网膜上的视网膜投影技术。投影系统也可以被配置为将虚拟对象投影到物理环境中,例如作为全息图或在物理表面上。在一些实施方案中,控制器110被配置为管理和协调用户的XR体验。在一些实施方案中,控制器110包括软件、固件和/或硬件的合适组合。下文参考图2更详细地描述控制器110。在一些实施方案中,控制器110是相对于场景105(例如,物理环境)处于本地或远程位置的计算设备。例如,控制器110是位于场景105内的本地服务器。又如,控制器110是位于场景105之外的远程服务器(例如,云服务器、中央服务器等)。在一些实施方案中,控制器110经由一个或多个有线或无线通信通道144(例如,蓝牙、IEEE802.11x、IEEE 802.16x、IEEE 802.3x等)与显示生成部件120(例如,HMD、显示器、投影仪、触摸屏等)通信地耦接。在另一个示例中,控制器110包括在显示生成部件120(例如,HMD或包括显示器和一个或多个处理器的便携式电子设备等)、输入设备125中的一个或多个输入设备、输出设备155中的一个或多个输出设备、传感器190中的一个或多个传感器和/或外围装设备195中的一个或多个外围装设备的壳体(例如,物理外壳)内,或者与上述设备中的一者或多者共享相同的物理壳体或支撑结构。
在一些实施方案中,显示生成部件120被配置为向用户提供XR体验(例如,至少XR体验的视觉组成部分)。在一些实施方案中,显示生成部件120包括软件、固件和/或硬件的合适组合。下文相对于图3更详细地描述了显示生成部件120。在一些实施方案中,控制器110的功能由显示生成部件120提供和/或与该显示生成部件组合。
根据一些实施方案,当用户虚拟地和/或物理地存在于场景105内时,显示生成部件120向用户提供XR体验。
在一些实施方案中,显示生成部件穿戴在用户身体的一部分上(例如,他/她的头部上、他/她的手部上等)。这样,显示生成部件120包括被提供用于显示XR内容的一个或多个XR显示器。例如,在各种实施方案中,显示生成部件120包围用户的视场。在一些实施方案中,显示生成部件120是被配置为呈现XR内容的手持式设备(诸如智能电话或平板电脑),并且用户握持具有朝向用户的视场的显示器和朝向场景105的相机的设备。在一些实施方案中,手持式设备被任选地放置在穿戴在用户的头部上的壳体内。在一些实施方案中,手持式设备被任选地放置在用户前面的支撑件(例如,三脚架)上。在一些实施方案中,显示生成部件120是被配置为呈现XR内容的XR室、壳体或房间,其中用户不穿戴或握持显示生成部件120。参考用于显示XR内容的一种类型的硬件(例如,手持式设备或三脚架上的设备)描述的许多用户界面可以在用于显示XR内容的另一种类型的硬件(例如,HMD或其他可穿戴计算设备)上实现。例如,示出基于发生在手持式设备或三脚架安装的设备前面的空间中的交互而触发的与XR内容的交互的用户界面可以类似地用HMD来实现,其中交互发生在HMD前面的空间中,并且对XR内容的响应经由HMD来显示。类似地,示出基于手持式设备或三脚架安装的设备相对于物理环境(例如,场景105或用户身体的一部分(例如,用户的眼睛、头部或手部))的移动而触发的与XR内容的交互的用户界面可以类似地用HMD来实现,其中移动是由HMD相对于物理环境(例如,场景105或用户身体的一部分(例如,用户的眼睛、头部或手部))的移动引起的。
尽管在图1中示出了操作环境100的相关特征,但本领域的普通技术人员将从本公开中认识到,为了简洁起见并且为了不模糊本文所公开的示例性实施方案的更多相关方面,未示出各种其他特征。
图2是根据一些实施方案的控制器110的示例的框图。尽管示出了一些具体特征,但本领域的技术人员将从本公开中认识到,为简洁起见并且为了不使本文所公开的实施方案的更多相关方面晦涩难懂,未示出各种其他特征。为此,作为非限制性示例,在一些实施方案中,控制器110包括一个或多个处理单元202(例如,微处理器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、图形处理单元(GPU)、中央处理单元(CPU)、处理内核等)、一个或多个输入/输出(I/O)设备206、一个或多个通信接口208(例如,通用串行总线(USB)、IEEE802.3x、IEEE 802.11x、IEEE 802.16x、全球移动通信系统(GSM)、码分多址(CDMA)、时分多址(TDMA)、全球定位系统(GPS)、红外(IR)、蓝牙、ZIGBEE以及/或者类似类型的接口)、一个或多个编程(例如,I/O)接口210、存储器220以及用于互连这些部件和各种其他部件的一条或多条通信总线204。
在一些实施方案中,一条或多条通信总线204包括互连和控制系统部件之间的通信的电路。在一些实施方案中,一个或多个I/O设备206包括键盘、鼠标、触摸板、操纵杆、一个或多个麦克风、一个或多个扬声器、一个或多个图像传感器、一个或多个显示器等中的至少一种。
存储器220包括高速随机存取存储器,诸如动态随机存取存储器(DRAM)、静态随机存取存储器(SRAM)、双倍数据速率随机存取存储器(DDR RAM)或者其他随机存取固态存储器设备。在一些实施方案中,存储器220包括非易失性存储器,诸如一个或多个磁盘存储设备、光盘存储设备、闪存存储器设备或其他非易失性固态存储设备。存储器220任选地包括远离所述一个或多个处理单元202定位的一个或多个存储设备。存储器220包括非暂态计算机可读存储介质。在一些实施方案中,存储器220或者存储器220的非暂态计算机可读存储介质存储下述程序、模块和数据结构或者它们的子集,其中包括任选的操作系统230和XR体验模块240。
操作系统230包括用于处理各种基础系统服务和用于执行硬件相关任务的指令。在一些实施方案中,XR体验模块240被配置为管理和协调一个或多个用户的单重或多重XR体验(例如,一个或多个用户的单重XR体验,或一个或多个用户的相应群组的多重XR体验)。为此,在各种实施方案中,XR体验模块240包括数据获取单元241、跟踪单元242、协调单元246和数据传输单元248。
在一些实施方案中,数据获取单元241被配置为从图1的至少显示生成部件120,以及任选地从输入设备125、输出设备155、传感器190和/或外围设备195中的一者或多者获取数据(例如,呈现数据、交互数据、传感器数据、位置数据等)。为此,在各种实施方案中,数据获取单元241包括指令和/或用于指令的逻辑以及启发法和用于启发法的元数据。
在一些实施方案中,跟踪单元242被配置为映射场景105,并且跟踪至少显示生成部件120相对于图1的场景105的定位/位置,以及任选地相对于跟踪输入设备125、输出设备155、传感器190和/或外围设备195中的一者或多者的定位/位置。为此,在各种实施方案中,跟踪单元242包括指令和/或用于指令的逻辑以及启发法和用于启发法的元数据。在一些实施方案中,跟踪单元242包括手部跟踪单元244和/或眼睛跟踪单元243。在一些实施方案中,手部跟踪单元244被配置为跟踪用户的手部的一个或多个部分的定位/位置,以及/或者用户的手部的一个或多个部分相对于图1的场景105的、相对于显示生成部件120和/或相对于坐标系(该坐标系是相对于用户的手部定义的)的运动。下文相对于图4更详细地描述了手部跟踪单元244。在一些实施方案中,眼睛跟踪单元243被配置为跟踪用户注视(或更广泛地,用户的眼睛、面部或头部)相对于场景105(例如,相对于物理环境和/或相对于用户(例如,用户的手部))或相对于经由显示生成部件120显示的XR内容的定位或移动。下文相对于图5更详细地描述了眼睛跟踪单元243。
在一些实施方案中,协调单元246被配置为管理和协调由显示生成部件120,以及任选地由输出设备155和/或外围装设备195中的一者或多者呈现给用户的XR体验。出于该目的,在各种实施方案中,协调单元246包括指令和/或用于指令的逻辑以及启发法和用于启发法的元数据。
在一些实施方案中,数据传输单元248被配置为将数据(例如,呈现数据、位置数据等)传输到至少显示生成部件120,并且任选地传输到输入设备125、输出设备155、传感器190和/或外围设备195中的一者或多者。出于该目的,在各种实施方案中,数据传输单元248包括指令和/或用于指令的逻辑以及启发法和用于启发法的元数据。
尽管数据获取单元241、跟踪单元242(例如,包括眼睛跟踪单元243和手部跟踪单元244)、协调单元246和数据传输单元248被示为驻留在单个设备(例如,控制器110)上,但应当理解,在其他实施方案中,数据获取单元241、跟踪单元242(例如,包括眼睛跟踪单元243和手部跟踪单元244)、协调单元246和数据传输单元248的任何组合可以位于单独计算设备中。
此外,图2更多地用作可以存在于特定具体实施中的各种特征的功能描述,与本文所述的实施方案的结构示意图不同。如本领域的普通技术人员将认识到的,单独显示的项目可以组合,并且一些项目可以分开。例如,图2中单独示出的一些功能模块可在单个模块中实现,并且单个功能块的各种功能可在各种实施方案中通过一个或多个功能块来实现。模块的实际数量和特定功能的划分以及如何在其中分配特征将根据具体实施而变化,并且在一些实施方案中,部分地取决于为特定具体实施选择的硬件、软件和/或固件的特定组合。
图3是根据一些实施方案的显示生成部件120的示例的框图。尽管示出了一些具体特征,但本领域的技术人员将从本公开中认识到,为简洁起见并且为了不使本文所公开的实施方案的更多相关方面晦涩难懂,未示出各种其他特征。出于该目的,作为非限制性示例,在一些实施方案中,显示生成部件120(例如,HMD)包括一个或多个处理单元302(例如,微处理器、ASIC、FPGA、GPU、CPU、处理核心等)、一个或多个输入/输出(I/O)设备及传感器306、一个或多个通信接口308(例如,USB、FIREWIRE、THUNDERBOLT、IEEE 802.3x、IEEE802.11x、IEEE 802.16x、GSM、CDMA、TDMA、GPS、IR、BLUETOOTH、ZIGBEE以及/或者类似类型的接口)、一个或多个编程(例如,I/O)接口310、一个或多个XR显示器312、一个或多个任选的面向内部并且/或者面向外部的图像传感器314、存储器320以及用于互连这些部件和各种其他部件的一条或多条通信总线304。
在一些实施方案中,一条或多条通信总线304包括用于互连和控制各系统部件之间的通信的电路。在一些实施方案中,一个或多个I/O设备及传感器306包括惯性测量单元(IMU)、加速度计、陀螺仪、温度计、一个或多个生理传感器(例如,血压监测仪、心率监测仪、血液氧传感器、血糖传感器等)、一个或多个传声器、一个或多个扬声器、触觉引擎以及/或者一个或多个深度传感器(例如,结构光、飞行时间等)等。
在一些实施方案中,一个或多个XR显示器312被配置为向用户提供XR体验。在一些实施方案中,一个或多个XR显示器312对应于全息、数字光处理(DLP)、液晶显示器(LCD)、硅上液晶(LCoS)、有机发光场效应晶体管(OLET)、有机发光二极管(OLED)、表面传导电子发射显示器(SED)、场发射显示器(FED)、量子点发光二极管(QD-LED)、微机电系统(MEMS)和/或类似的显示器类型。在一些实施方案中,一个或多个XR显示器312对应于衍射、反射、偏振、全息等波导显示器。例如,显示生成部件120(例如,HMD)包括单个XR显示器。在另一示例中,显示生成部件120包括针对用户的每只眼睛的XR显示器。在一些实施方案中,一个或多个XR显示器312能够呈现MR和VR内容。在一些实施方案中,一个或多个XR显示器312能够呈现MR或VR内容。
在一些实施方案中,一个或多个图像传感器314被配置为获取与用户面部的包括用户的眼睛的至少一部分对应的图像数据(并且可被称为眼睛跟踪相机)。在一些实施方案中,一个或多个图像传感器314被配置为获取与用户的手部以及任选地用户的手臂的至少一部分对应的图像数据(并且可被称为手部跟踪相机)。在一些实施方案中,一个或多个图像传感器314被配置为面向前方,以便获取与在不存在显示生成部件120(例如,HMD)的情况下用户将会看到的场景对应的图像数据(并且可被称为场景相机)。一个或多个任选的图像传感器314可包括一个或多个RGB相机(例如,具有互补金属氧化物半导体(CMOS)图像传感器或电荷耦合器件(CCD)图像传感器)、一个或多个红外(IR)相机和/或一个或多个基于事件的相机等。
存储器320包括高速随机存取存储器,诸如DRAM、SRAM、DDR RAM或其他随机存取固态存储器设备。在一些实施方案中,存储器320包括非易失性存储器,诸如一个或多个磁盘存储设备、光盘存储设备、闪存存储器设备或其他非易失性固态存储设备。存储器320任选地包括远离一个或多个处理单元302定位的一个或多个存储设备。存储器320包括非暂态计算机可读存储介质。在一些实施方案中,存储器320或者存储器320的非暂态计算机可读存储介质存储下述程序、模块和数据结构或者它们的子集,其中包括任选的操作系统330和XR呈现模块340。
操作系统330包括用于处理各种基础系统服务和用于执行硬件相关任务的过程。在一些实施方案中,XR呈现模块340被配置为经由一个或多个XR显示器312向用户呈现XR内容。为此,在各种实施方案中,XR呈现模块340包括数据获取单元342、XR呈现单元344、XR映射生成单元346和数据传输单元348。
在一些实施方案中,数据获取单元342被配置为至少从图1的控制器110获取数据(例如,呈现数据、交互数据、传感器数据、位置数据等)。出于所述目的,在各种实施方案中,数据获取单元342包括指令以及/或者用于指令的逻辑以及启发法和用于启发法的元数据。
在一些实施方案中,XR呈现单元344被配置为经由一个或多个XR显示器312呈现XR内容。出于所述目的,在各种实施方案中,XR呈现单元344包括指令以及/或者用于指令的逻辑以及启发法和用于启发法的元数据。
在一些实施方案中,XR映射生成单元346被配置为基于媒体内容数据生成XR映射图(例如,混合现实场景的3D映射图或可以在其中放置计算机生成对象以生成扩展现实的物理环境的映射图)。出于所述目的,在各种实施方案中,XR映射生成单元346包括指令以及/或者用于该指令的逻辑以及启发法和用于该启发法的元数据。
在一些实施方案中,数据传输单元348被配置为将数据(例如,呈现数据、位置数据等)传输到至少控制器110,以及任选地输入设备125、输出设备155、传感器190和/或外围设备195中的一者或多者。出于所述目的,在各种实施方案中,数据传输单元348包括指令以及/或者用于指令的逻辑以及启发法和用于启发法的元数据。
尽管数据获取单元342、XR呈现单元344、XR映射生成单元346和数据传输单元348被示出为驻留在单个设备(例如,图1的显示生成部件120)上,但应当理解,在其他实施方案中,数据获取单元342、XR呈现单元344、XR映射生成单元346和数据传输单元348的任何组合可位于单独计算设备中。
此外,图3更多地用作可能存在于特定实施方案中的各种特征的功能描述,与本文所述的实施方案的结构示意图不同。如本领域的普通技术人员将认识到的,单独显示的项目可以组合,并且一些项目可以分开。例如,图3中单独示出的一些功能模块可在单个模块中实现,并且单个功能块的各种功能可在各种实施方案中通过一个或多个功能块来实现。模块的实际数量和特定功能的划分以及如何在其中分配特征将根据具体实施而变化,并且在一些实施方案中,部分地取决于为特定具体实施选择的硬件、软件和/或固件的特定组合。
图4是手部跟踪设备140的示例性实施方案的示意性图解。在一些实施方案中,手部跟踪设备140(图1)由手部跟踪单元244控制(图2)来跟踪用户的手部的一个或多个部分的定位/位置,和/或用户的手部的一个或多个部分相对于图1的场景105(例如,相对于用户周围的物理环境的一部分,相对于显示生成部件120,或者相对于用户的一部分(例如,用户的面部、眼睛或头部),和/或相对于坐标系(该坐标系是相对于用户的手部定义的))的运动。在一些实施方案中,手部跟踪设备140是显示生成部件120的一部分(例如,嵌入头戴式设备中或附接到头戴式设备)。在一些实施方案中,手部跟踪设备140与显示生成部件120分开(例如,位于单独的外壳中或者附接到单独的物理支撑结构)。
在一些实施方案中,手部跟踪设备140包括捕获至少包括人类用户的手部406的三维场景信息的图像传感器404(例如,一个或多个IR相机、3D相机、深度相机和/或彩色相机等)。图像传感器404以足够的分辨率捕获手部图像,以使手指及其相应位置能够被区分。图像传感器404通常捕获用户身体的其他部分、还或可能捕获身体的所有部分的图像,并且可以具有缩放能力或具有增大放大率的专用传感器以用期望分辨率捕获手部的图像。在一些实施方案中,图像传感器404还捕获手部406的2D彩色视频图像和场景的其他元素。在一些实施方案中,图像传感器404与其他图像传感器结合使用以捕获场景105的物理环境,或者用作捕获场景105的物理环境的图像传感器。在一些实施方案中,以将图像传感器404或其一部分的视场用于限定交互空间的方式相对于用户或用户的环境定位图像传感器,在该交互空间中,由图像传感器捕获的手部移动被视为到控制器110的输入。
在一些实施方案中,图像传感器404将包含3D映射数据(以及此外,可能的彩色图像数据)的帧序列输出到控制器110,该控制器从映射数据提取高级信息。该高级信息通常经由应用程序接口(API)提供给在控制器上运行的应用程序,该应用程序相应地驱动显示生成部件120。例如,用户可以通过移动他的手部406并改变他的手部位姿来与在控制器110上运行的软件交互。
在一些实施方案中,图像传感器404将斑点图案投影到包含手部406的场景上并且捕获所投影图案的图像。在一些实施方案中,控制器110基于图案中斑点的横向偏移来通过三角测量计算场景中的点(包括用户的手部的表面上的点)的3D坐标。这种方法是有利的,因为该方法不需要用户握持或穿戴任何种类的信标、传感器或其他标记。该方法给出了场景中的点在距图像传感器404的特定距离处相对于预先确定的参考平面的深度坐标。在本公开中,假设图像传感器404限定x轴、y轴、z轴的正交集合,使得场景中的点的深度坐标对应于由图像传感器测量的z分量。替代地,图像传感器404(例如,手部跟踪设备)可基于单个或多个相机或其他类型的传感器而使用其他3D映射方法,诸如立体成像或飞行时间测量。
在一些实施方案中,手部跟踪设备140在用户移动他的手部(例如,整个手部或一根或多根手指)时捕获并处理包含用户的手部的深度映射图的时间序列。在图像传感器404和/或控制器110中的处理器上运行的软件处理3D映射数据以提取这些深度映射图中手部的图像块描述符。软件可基于先前的学习过程将这些描述符与存储在数据库408中的图像块描述符匹配,以便估计每个帧中手部的位姿。位姿通常包括用户的手部关节和手指尖端的3D位置。
软件还可以分析手部和/或手指在序列中的多个帧上的轨迹以识别手势。本文所述的位姿估计功能可以与运动跟踪功能交替,使得每两个(或更多个)帧仅执行一次基于图像块的位姿估计,而跟踪用于找到在剩余帧上发生的位姿的变化。经由上述API向在控制器110上运行的应用程序提供位姿、运动和手势信息。该程序可以例如响应于位姿和/或手势信息而移动和修改呈现在显示生成部件120上的图像,或者执行其他功能。
在一些实施方案中,手势包括空中手势。空中手势是在用户不触摸作为设备(例如,计算机系统101、一个或多个输入设备125和/或手部跟踪设备140)的一部分的输入元件(或独立于作为设备的一部分的输入元件)的情况下检测到的并且基于检测到的用户身体的一部分(例如,头部、一个或多个手臂、一只或多只手部、一根或多根手指和/或一条或多条腿)穿过空中的运动(包括用户的身体相对于绝对参考的运动(例如,用户的手臂相对于地面的角度或用户的手部相对于地面的距离)、相对于用户身体的另一部分的运动(例如,用户的手部相对于用户的肩部的移动、用户的一只手相对于用户的另一只手的移动、和/或用户的手指相对于用户的另一手指或手部的一部分的移动)、和/或用户身体的一部分的绝对运动(例如,包括手以预定姿势将移动预定量和/或速度的轻击手势、或包括用户身体的一部分的预定速度或旋转量的摇动手势))的手势。
在一些实施方案中,根据一些实施方案,在本文所述的各种示例和实施方案中使用的输入手势包括通过用户的手指相对于其他手指(或用户的手部的部分)的移动执行的用于与XR环境(例如,虚拟或混合现实环境)交互的空中手势。在一些实施方案中,空中手势是在用户不触摸作为设备的一部分的输入元件(或独立于作为设备的一部分的输入元件)的情况下检测到的并且基于所检测到的用户身体的一部分穿过空中的运动(包括用户的身体相对于绝对参考的运动(例如,用户的手臂相对于地面的角度或用户的手部相对于地面的距离)、相对于用户身体的另一部分的运动(例如,用户的手部相对于用户的肩部的移动、用户的一只手相对于用户的另一只手的移动、和/或用户的手指相对于用户的另一手指或手部的一部分的移动)、和/或用户身体的一部分的绝对运动(例如,包括手以预定姿势将移动预定量和/或速度的轻击手势、或包括用户身体的一部分的预定速度或旋转量的摇动手势))的手势。
在输入姿势是空中姿势的一些实施方案中(例如,在不存在与输入设备的物理接触的情况下,该输入设备向计算机系统提供关于哪个用户界面元素是用户输入的目标的信息,诸如与显示在触摸屏上的用户界面元素的接触、或与鼠标或触控板的接触以将光标移动到用户界面元素),手势考虑用户的注意力(例如,注视)以确定用户输入的目标(例如,对于直接输入,如下所述)。因此,在涉及空中手势的实施方案中,例如,输入手势与用户的手指和/或手部的移动组合(例如,同时)检测到朝向用户界面元素的注意力(例如,注视)以执行捏合和/或轻击输入,如下所述。
在一些实施方案中,直接或间接地参考用户界面对象来执行指向用户界面对象的输入手势。例如,根据用用户的手部在与三维环境中的用户界面对象的位置相对应的位置(例如,如基于用户的当前视点所确定的)处执行输入,直接在用户界面对象上执行用户输入。在一些实施方案中,在检测到用户对用户界面对象的注意力(例如,注视)时,根据在用户执行输入手势的同时用户的手部的位置不在对应于用户界面对象在三维环境中的位置的该位置处,在用户界面对象上间接执行输入手势。例如,对于直接输入手势,用户能够通过在与用户界面对象的显示位置相对应的位置处或附近(例如,从选项的外边缘或选项的中心部分测量的0.5cm、1cm、5cm内或0至5cm之间的距离内)发起手势来将用户的输入引导至用户界面对象。对于间接输入手势,用户能够通过关注用户界面对象(例如,通过注视用户界面对象)来将用户的输入引导至用户界面对象,并且在关注选项的同时,用户发起输入手势(例如,在计算机系统可检测到的任何位置处)(例如,在不对应于用户界面对象的显示位置的位置处)。
在一些实施方案中,根据一些实施方案,在本文所述的各种示例和实施方案中使用的输入手势(例如,空中手势)包括捏合输入和轻击输入,以用于与虚拟或混合现实环境交互。例如,下文所述的捏合输入和轻击输入被执行为空中手势。
在一些实施方案中,捏合输入是空中手势的一部分,该空中手势包括以下各项中的一项或多项:捏合手势、长捏合手势、捏合并拖动手势或双捏合手势。例如,作为空中手势的捏合手势包括手部的两个或更多个手指的移动以彼此接触,即,任选地,随后是彼此立即(例如,在0至1秒内)中断接触。作为空中手势的长捏合手势包括在检测到彼此接触的中断之前手部的两个或更多个手指彼此接触至少阈值时间量(例如,至少1秒)的移动。例如,长捏合手势包括用户保持捏合手势(例如,其中两个或更多个手指进行接触),并且长捏合手势继续直到检测到两个或更多个手指之间的接触中断为止。在一些实施方案中,作为空中手势的双捏合手势包括彼此立即(例如,在预定义时间段内)连续检测到的两个(例如,或更多个)捏合输入(例如,由同一手部执行)。例如,用户执行第一捏合输入(例如,捏合输入或长捏合输入),释放第一捏合输入(例如,中断两个或更多个手指之间的接触),并且在释放第一捏合输入之后的预定义时间段内(例如,在1秒内或在2秒内)执行第二捏合输入。
在一些实施方案中,作为空中手势的捏合并拖动手势包括与将用户的手部的位置从第一位置(例如,拖动的开始位置)改变到第二位置(例如,拖动的结束位置)的拖动输入结合(例如,跟随)执行的捏合手势(例如,捏合手势或长捏合手势)。在一些实施方案中,用户在执行拖动输入的同时保持捏合手势,并且释放捏合手势(例如,打开他们的两个或更多个手指)以结束拖动手势(例如,在第二位置处)。在一些实施方案中,捏合输入和拖动输入由同一手部执行(例如,用户捏合两个或更多个手指以彼此接触并且利用拖动手势将同一手部移动到空中的第二位置)。在一些实施方案中,由用户的第一手部执行捏合输入,并且由用户的第二手部执行拖动输入(例如,在用户用用户的第一手部继续捏合输入时,用户的第二手部在空中从第一位置移动到第二位置)。在一些实施方案中,作为空中手势的输入手势包括使用用户的两只手部执行的输入(例如,捏合和/或轻击输入)。例如,输入手势包括彼此结合(例如,同时或在预定义时间段内)执行的两个(例如,或更多个)捏合输入。例如,使用用户的第一手部执行第一捏合手势(例如,捏合输入、长捏合输入或捏合并拖动输入),并且结合使用第一手部执行捏合输入,使用另一手部(例如,用户两只手部中的第二手部)执行第二捏合输入。在一些实施方案中,用户两只手部之间的移动(例如,增加和/或减小用户两只手部之间的距离或相对取向)。
在一些实施方案中,作为空中手势执行的轻击输入(例如,指向用户界面元素)包括用户的手指朝向用户界面元素的移动、用户的手部朝向用户界面元素的移动(任选地,用户的手指朝向用户界面元素延伸)、用户的手指的向下运动(例如,模仿鼠标点击运动或触摸屏上的轻击)、或用户的手部的其他预定义移动。在一些实施方案中,基于执行手指或手部的轻击手势移动的手指或手部的移动特性来检测作为空中手势执行的轻击输入,该轻击手势移动是手指或手部远离用户的视点和/或朝向作为轻击输入的目标的对象,随后是移动的结束。在一些实施方案中,基于执行轻击手势的手指或手部的移动特性的变化来检测移动的结束(例如,远离用户的视点和/或朝向作为轻击输入的目标的对象的移动的结束、手指或手部的移动方向的反转和/或手指或手部的移动的加速方向的反转)。
在一些实施方案中,基于对指向三维环境的一部分的注视的检测来确定用户的注意力指向三维环境的该部分(任选地,不需要其他条件)。在一些实施方案中,基于利用一个或多个附加条件检测到指向三维环境的一部分的注视来确定用户的注意力指向三维环境的该部分,附加条件诸如要求注视指向三维环境的该部分达至少阈值持续时间(例如,停留持续时间)和/或要求注视在用户的视点在距三维环境的该部分的距离阈值内时指向三维环境的该部分,以便设备确定用户的注意力指向三维环境的该部分,其中如果这些附加条件中的一者未满足,则设备确定注意力未指向注视指向的三维环境的该部分(例如,直到满足该一个或多个附加条件)。
在一些实施方案中,用户或用户的一部分的就绪状态配置的检测由计算机系统检测。手部的就绪状态配置的检测由计算机系统用作用户可能正准备使用由手部执行的一个或多个空中手势输入(例如,捏合、轻击、捏合并拖动、双捏合、长捏合或本文所述的其他空中手势)与计算机系统交互的指示。例如,基于手部是否具有预先确定的手部形状(例如,拇指和一个或多个手指延伸并间隔开以准备做出捏合或抓取姿势的预捏合形状,或者一个或多个手指延伸并且手掌背对用户的预轻击)、基于手部是否处于相对于用户的视点的预先确定的位置中(例如,在用户的头部下方并且在用户的腰部上方并从身体延伸出至少15cm、20cm、25cm、30cm或50cm)和/或基于手部是否已以特定方式移动(例如,朝向用户的腰部上方并且在用户的头部下方的用户前方的区域移动或远离用户的身体或腿部移动)来确定手部的就绪状态。在一些实施方案中,就绪状态被用来确定用户界面的交互式元素是否对注意力(例如,注视)输入作出响应。
在一些实施方案中,软件可以例如通过网络以电子形式下载到控制器110,或者可以另选地在有形非暂态介质诸如光学、磁性或电子存储器介质上提供。在一些实施方案中,数据库408同样存储在与控制器110相关联的存储器中。另选地或除此之外,计算机的所描述的功能中的一些或全部可以在专用硬件(诸如,定制或半定制集成电路或可编程数字信号处理器(DSP))中实现。尽管在图4中示出了控制器110,但是举例来说,作为与图像传感器404分开的单元,控制器的处理功能中的一些处理功能或全部处理功能可以由合适的微处理器和软件或由图像传感器404(例如,手部跟踪设备)的外壳内的专用电路或与图像传感器404相关联的其他设备执行。在一些实施方案中,这些处理功能中的至少一些可由与显示生成部件120(例如,在电视接收机、手持式设备或头戴式设备中)集成或与任何其他合适的计算机化设备(诸如,游戏控制台或媒体播放器)集成的合适处理器执行。图像传感器404的感测功能同样可以集成到将由传感器输出控制的计算机或其他计算机化装置中。
图4还包括根据一些实施方案的由图像传感器404捕获的深度映射图410的示意图。如上所述,深度图包括具有相应深度值的像素的矩阵。与手部406对应的像素412已经从该映射图中的背景和手腕分割出来。深度映射图410内的每个像素的亮度与其深度值(即,测量的距图像传感器404的z距离)成反比,其中灰色阴影随着深度的增加而变得更暗。控制器110处理这些深度值以便识别和分割图像的具有人类手部特征的组成部分(即,一组相邻像素)。这些特征可包括例如总体大小、形状和从深度映射图序列中的帧到帧的运动。
图4还示意性地示出了根据一些实施方案的控制器110最终从手部406的深度映射图410提取的手部骨骼414。在图4中,手部骨骼414叠加在已经从原始深度映射图分割出来的手部背景416上。在一些实施方案中,手部的以及任选地在连接到手部的手腕或手臂上的关键特征点(例如,与指关节、手指尖端、手掌中心、手部的连接到手腕的端部等对应的点)被识别并位于手部骨骼414上。在一些实施方案中,控制器110使用这些关键特征点在多个图像帧上的位置和移动来根据一些实施方案确定由手部执行的手势或手部的当前状态。
图5示出了眼睛跟踪设备130(图1)的示例性实施方案。在一些实施方案中,眼睛跟踪设备130由眼睛跟踪单元243(图2)控制来跟踪用户注视相对于场景105或相对于经由显示生成部件120显示的XR内容的定位和移动。在一些实施方案中,眼睛跟踪设备130与显示生成部件120集成。例如,在一些实施方案中,当显示生成部件120是头戴式设备(诸如,头戴式耳机、头盔、护目镜或眼镜)或放置在可穿戴框架中的手持式设备时,该头戴式设备包括生成XR内容以供用户观看的部件以及用于跟踪用户相对于XR内容的注视的部件两者。在一些实施方案中,眼睛跟踪设备130与显示生成部件120分开。例如,当显示生成部件是手持式设备或XR室时,眼睛跟踪设备130任选地是与手持式设备或XR室分开的设备。在一些实施方案中,眼睛跟踪设备130是头戴式设备或头戴式设备的一部分。在一些实施方案中,头戴式眼睛跟踪设备130任选地与也是头戴式的显示生成部件或不是头戴式的显示生成部件结合使用。在一些实施方案中,眼睛跟踪设备130不是头戴式设备,并且任选地与头戴式显示生成部件结合使用。在一些实施方案中,眼睛跟踪设备130不是头戴式设备,并且任选地是非头戴式显示生成部件的一部分。
在一些实施方案中,显示生成部件120使用显示机构(例如,左近眼显示面板和右近眼显示面板)来在用户眼睛前面显示包括左图像和右图像的帧,从而向用户提供3D虚拟视图。例如,头戴式显示生成部件可包括位于显示器和用户眼睛之间的左光学透镜和右光学透镜(在本文中被称为眼睛透镜)。在一些实施方案中,显示生成部件可包括或耦接到一个或多个外部摄像机,该一个或多个外部摄像机捕获用户的环境的视频以用于显示。在一些实施方案中,头戴式显示生成部件可具有透明或半透明显示器,并且在该透明或半透明显示器上显示虚拟对象,用户可以透过该透明或半透明显示器直接观看物理环境。在一些实施方案中,显示生成部件将虚拟对象投影到物理环境中。虚拟对象可例如被投影在物理表面上或作为全息图被投影,使得个体使用系统观察叠加在物理环境上方的虚拟对象。在这种情况下,可能不需要用于左眼和右眼的单独的显示面板和图像帧。
如图5中所示,在一些实施方案中,眼睛跟踪设备130(例如,注视跟踪设备)包括至少一个眼睛跟踪相机(例如,红外(IR)或近红外(NIR)相机),以及朝向用户眼睛发射光(例如,IR或NIR光)的照明源(例如,IR或NIR光源,诸如LED的阵列或环)。眼睛跟踪相机可指向用户眼睛以接收光源直接从眼睛反射的IR或NIR光,或者另选地可指向位于用户眼睛和显示面板之间的“热”镜,这些热镜将来自眼睛的IR或NIR光反射到眼睛跟踪相机,同时允许可见光通过。眼睛跟踪设备130任选地捕获用户眼睛的图像(例如,作为以每秒60帧-120帧(fps)捕获的视频流),分析这些图像以生成注视跟踪信息,并将注视跟踪信息传送到控制器110。在一些实施方案中,用户的两只眼睛通过相应的眼睛跟踪相机和照明源来单独地跟踪。在一些实施方案中,通过相应的眼睛跟踪相机和照明源来跟踪用户的仅一只眼睛。
在一些实施方案中,使用设备特定的校准过程来校准眼睛跟踪设备130以确定用于特定操作环境100的眼睛跟踪设备的参数,例如LED、相机、热镜(如果存在的话)、眼睛透镜和显示屏的3D几何关系和参数。在将AR/VR装备递送给终端用户之前,可以在工厂或另一个设施处执行设备特定的校准过程。设备特定的校准过程可以是自动校准过程或手动校准过程。根据一些实施方案,用户特定的校准过程可以包括对特定用户的眼睛参数的估计,例如瞳孔位置、中央凹位置、光轴、视轴、眼睛间距等。根据一些实施方案,一旦针对眼睛跟踪设备130确定了设备特定参数和用户特定参数,就可以使用闪光辅助方法来处理由眼睛跟踪相机捕获的图像,以确定当前视轴和用户相对于显示器的注视点。
如图5中所示,眼睛跟踪设备130(例如,130A或130B)包括眼睛透镜520和注视跟踪系统,该注视跟踪系统包括定位在用户面部的被执行眼睛跟踪的一侧上的至少一个眼睛跟踪相机540(例如,红外(IR)或近红外(NIR)相机),以及朝向用户眼睛592发射光(例如,IR或NIR光)的照明源530(例如,IR或NIR光源,诸如NIR发光二极管(LED)的阵列或环)。眼睛跟踪相机540可指向位于用户眼睛592和显示器510(例如,头戴式显示器的左显示器面板或右显示器面板,或者手持式设备的显示器、投影仪等)之间的镜子550(这些镜子反射来自眼睛592的IR或NIR光,同时允许可见光通过)(例如,如图5的顶部部分所示),或者另选地可指向用户眼睛592以接收来自眼睛592的反射IR或NIR光(例如,如图5的底部部分所示)。
在一些实施方案中,控制器110渲染AR或VR帧562(例如,用于左显示面板和右显示面板的左帧和右帧)并且将帧562提供给显示器510。控制器110将来自眼睛跟踪相机540的注视跟踪输入542用于各种目的,例如用于处理帧562以用于显示。控制器110任选地基于使用闪光辅助方法或其他合适的方法从眼睛跟踪相机540获取的注视跟踪输入542来估计用户在显示器510上的注视点。根据注视跟踪输入542估计的注视点任选地用于确定用户当前正在看向的方向。
以下描述了用户当前注视方向的几种可能的使用案例,并且不旨在进行限制。作为示例性使用案例,控制器110可以基于所确定的用户注视的方向不同地渲染虚拟内容。例如,控制器110可以在根据用户当前注视方向确定的中央凹区域中以比在外围区域中的分辨率更高的分辨率生成虚拟内容。作为另一个示例,控制器可至少部分地基于用户当前注视方向来在视图中定位或移动虚拟内容。作为另一个示例,控制器可至少部分地基于用户当前注视方向来在视图中显示特定虚拟内容。作为AR应用程序中的另一个示例性使用案例,控制器110可引导用于捕获XR体验的物理环境的外部相机在所确定方向上聚焦。然后,外部相机的自动聚焦机构可以聚焦于显示器510上用户当前正看向的环境中的对象或表面上。作为另一个示例性使用案例,眼睛透镜520可以是可聚焦透镜,并且控制器使用注视跟踪信息来调整眼睛透镜520的焦点,使得用户当前正看向的虚拟对象具有适当的聚散度以匹配用户眼睛592的会聚。控制器110可以利用注视跟踪信息来引导眼睛透镜520调整焦点,使得用户正看向的靠近的对象出现在正确距离处。
在一些实施方案中,眼睛跟踪设备是头戴式设备的一部分,该头戴式设备包括安装在可穿戴外壳中的显示器(例如,显示器510)、两个眼睛透镜(例如,眼睛透镜520)、眼睛跟踪相机(例如,眼睛跟踪相机540)、以及光源(例如,光源530(例如,IR或NIR LED))。光源朝向用户眼睛592发射光(例如,IR或NIR光)。在一些实施方案中,光源可围绕透镜中的每个透镜布置成环或圆圈,如图5中所示。在一些实施方案中,例如,八个光源530(例如,LED)围绕每个透镜520布置。然而,可使用更多或更少的光源530,并且可使用光源530的其他布置和位置。
在一些实施方案中,显示器510发射可见光范围内的光,并且不发射IR或NIR范围内的光,并且因此不会在注视跟踪系统中引入噪声。需注意,眼睛跟踪相机540的位置和角度以举例的方式给出,并且不旨在进行限制。在一些实施方案中,单个眼睛跟踪相机540位于用户面部的每一侧上。在一些实施方案中,可在用户面部的每一侧上使用两个或更多个NIR相机540。在一些实施方案中,可在用户面部的每一侧上使用具有较宽视场(FOV)的相机540和具有较窄FOV的相机540。在一些实施方案中,可在用户面部的每一侧上使用以一个波长(例如,850nm)操作的相机540和以不同波长(例如,940nm)操作的相机540。
如图5中所示的注视跟踪系统的实施方案可例如用于计算机生成的现实、虚拟现实和/或混合现实应用程序,以向用户提供计算机生成的现实、虚拟现实、增强现实和/或增强虚拟体验。
图6示出了根据一些实施方案的闪光辅助的注视跟踪流水线。在一些实施方案中,注视跟踪管道通过闪光辅助的注视跟踪系统(例如,如图1和图5中所示的眼睛跟踪设备130)来实现。闪光辅助的注视跟踪系统可维持跟踪状态。最初,跟踪状态为关闭或“否”。当处于跟踪状态时,当分析当前帧以跟踪当前帧中的瞳孔轮廓和闪光时,闪光辅助的注视跟踪系统使用来自先前帧的先前信息。当未处于跟踪状态时,闪光辅助的注视跟踪系统尝试检测当前帧中的瞳孔和闪光,并且如果成功,则将跟踪状态初始化为“是”并且在跟踪状态下继续下一个帧。
如图6中所示,注视跟踪相机可捕获用户左眼和右眼的左图像和右图像。然后将所捕获的图像输入到注视跟踪流水线以用于在610处开始处理。如返回到元素600的箭头所指示的,注视跟踪系统可例如以每秒60至120帧的速率继续捕获用户眼睛的图像。在一些实施方案中,可以将每组所捕获的图像输入到流水线以用于处理。然而,在一些实施方案中或在一些条件下,不是所有所捕获的帧都由流水线处理。
在610处,对于当前所捕获的图像,如果跟踪状态为是,则方法前进到元素640。在610处,如果跟踪状态为否,则如620处所指示的,分析图像以检测图像中的用户瞳孔和闪光。在630处,如果成功检测到瞳孔和闪光,则方法前进到元素640。否则,方法返回到元素610以处理用户眼睛的下一个图像。
在640处,如果从元素610前进,则分析当前帧以部分地基于来自先前帧的先前信息来跟踪瞳孔和闪光。在640处,如果从元素630前进,则基于当前帧中检测到的瞳孔和闪光来初始化跟踪状态。检查元素640处的处理结果以验证跟踪或检测的结果可以是可信的。例如,可检查结果以确定是否在当前帧中成功跟踪或检测到用于执行注视估计的瞳孔和足够数量的闪光。在650处,如果结果不可能是可信的,则在元素660处,跟踪状态被设置为“否”,并且方法返回到元素610以处理用户眼睛的下一个图像。在650处,如果结果是可信的,则方法前进到元素670。在670处,跟踪状态被设置为“是”(如果尚未为是),并且瞳孔和闪光信息被传递到元素680以估计用户的注视点。
图6旨在用作可用于特定具体实施的眼睛跟踪技术的一个示例。如本领域普通技术人员所认识到的,根据各种实施方案,在用于向用户提供XR体验的计算机系统101中,当前存在或未来开发的其他眼睛跟踪技术可用于取代本文所述的闪光辅助的眼睛跟踪技术或与该闪光辅助的眼睛跟踪技术组合使用。
在本公开中,相对于与计算机系统的交互来描述各种输入方法。当使用一个输入设备或输入方法来提供示例,并且使用另一个输入设备或输入方法来提供另一个示例时,应当理解,每个示例可与相对于另一个示例描述的输入设备或输入方法兼容并且任选地利用该输入设备或输入方法。类似地,相对于与计算机系统的交互来描述各种输出方法。当使用一个输出设备或输出方法来提供示例,并且使用另一个输出设备或输出方法来提供另一个示例时,应当理解,每个示例可与相对于另一个示例描述的输出设备或输出方法兼容并且任选地利用该输出设备或输出方法。类似地,相对于通过计算机系统与虚拟环境或混合现实环境进行的交互来描述各种方法。当使用与虚拟环境的交互来提供示例时,并且使用混合现实环境来提供另一个示例时,应当理解,每个示例可与相对于另一个示例描述的方法兼容并且任选地利用这些方法。因此,本公开公开了作为多个示例的特征的组合的实施方案,而无需在每个示例性实施方案的描述中详尽地列出实施方案的所有特征。
用户界面和相关联的过程
现在将注意力转到可在与显示生成部件和一个或多个输入设备通信的计算机系统、诸如便携式多功能设备或头戴式设备上实现的用户界面(“UI”)和相关联过程的实施方案。
图7A至图7N示出了根据一些实施方案的用于与媒体项和用户界面交互的示例性技术。图8至图10分别是用于与媒体项和用户界面交互的示例性方法800、900和1000的流程图。图7A至图7N中的用户界面用于示出下文描述的过程,包括图8至图10中的过程。
图7A描绘了计算机系统700,该计算机系统是包括显示设备(例如,触敏显示器)702和一个或多个输入传感器715(例如,一个或多个相机、眼睛注视跟踪器、手部移动跟踪器和/或头部移动跟踪器)的平板电脑。在下文描述的一些实施方案中,计算机系统700是平板电脑。在一些实施方案中,计算机系统700是智能电话、可穿戴设备、可穿戴智能手表设备、头戴式系统(例如,头戴式耳机)或包括显示设备(例如,显示屏、投影设备等)和/或与该显示设备通信的其他计算机系统。计算机系统700是计算机系统(例如,图1中的计算机系统101)。
在图7A处,计算机系统700经由显示设备(例如,触敏显示器或HMD的显示器)702显示媒体窗口704和三维环境706。在一些实施方案中,三维环境706由显示器显示(如图7A所描绘)。在一些实施方案中,三维环境706是虚拟环境或由一个或多个相机捕获的物理环境的图像(或视频)。在一些实施方案中,三维环境706是在媒体窗口704后面对用户可见的,但不是由显示器显示的。例如,在一些实施方案中,三维环境706是在媒体窗口704后面(例如,透过透明显示器)对用户可见而不是由显示器显示的物理环境。
在图7A处,电子器件700在媒体窗口704内显示媒体库用户界面708。媒体库用户界面708包括多个媒体项710A-710E的表示。在一些实施方案中,该多个媒体项包括照片和/或视频(例如,立体照片和/或视频,和/或非立体照片和/或视频)。在一些实施方案中,该多个媒体项包括来自媒体库(例如,与设备700和/或设备700的用户相关联的媒体库)的多个媒体项和/或媒体项的子集。在一些实施方案中,该多个媒体项710A-710E包括一个或多个立体媒体项(例如,立体照片和/或立体视频)以及一个或多个非立体媒体项(例如,非立体照片和/或非立体视频)。在一些实施方案中,立体媒体项包括特定类型的深度信息,而非立体媒体项不包括该特定类型的深度信息。在一些实施方案中,立体媒体项是包括使用两个不同相机(或两组不同相机)同时捕获的至少两个图像的媒体项。在一些实施方案中,通过以下方式来显示立体媒体项:针对用户的第一只眼睛显示由第一相机(或第一组相机)捕获的第一图像(例如,不针对用户的第二只眼睛显示第一图像),并且同时地,针对用户的第二只眼睛显示不同于第一图像但由第二相机(或第二组相机)与第一图像同时捕获的第二图像(例如,不针对用户的第一只眼睛显示第二图像)。非立体图像包括例如由单个相机捕获的静止图像和/或由单个相机捕获的视频。在一些实施方案中,非立体媒体项包括例如由多个相机捕获的(例如,由多个相机同时捕获的)多个图像,但不同图像不是同时地呈现给用户的不同眼睛(例如,多个图像被组合成单个图像以呈现给用户的两只眼睛)。在一些实施方案中,立体媒体项和/或非立体媒体项由设备700(例如,使用为设备700的一部分和/或与该设备通信的一个或多个相机)捕获。
媒体库用户界面708包括选项712A-712E。选项712A可被选择以显示一组立体媒体项(例如,不显示任何非立体媒体项)。在一些实施方案中,选项712A可被选择以显示用户界面,该用户界面包括一个或多个立体媒体项的表示而不包括非立体媒体项的表示。选项712B可被选择以显示通过聚合来自媒体库(例如,与特定时间、事件和/或位置相关联的媒体项的集合)的多个媒体项(例如,自动地)生成的聚合内容项集合。选项712C可被选择以显示媒体库用户界面708。选项712D可被选择以显示媒体项的专辑(例如,媒体项的集合)(例如,手动地组织的媒体项的集合和/或自动地生成的媒体项的集合)。选项712E可被选择以发起用于对媒体项进行文本搜索的过程(例如,可被选择以显示文本搜索用户界面)。
在图7A处,计算机系统700以第一组视觉特征显示媒体项710A。在图7A处,计算机系统700(例如,经由传感器715)检测到用户正注视媒体项710A,如注视指示714所指示。在一些实施方案中,计算机系统700并不显示注视指示714。
在图7B处,响应于确定用户已经注视媒体项710A达阈值持续时间(例如,连续地注视,而不注视另一媒体项),计算机系统700修改媒体项710A的一个或多个视觉特征并且以不同于第一组视觉特征的第二组视觉特征显示媒体项710A。
在一些实施方案中,修改媒体项710A的一个或多个视觉特征和/或以第二组视觉特征显示媒体项710A包括:沿着预定义轴分离和/或扩大媒体项710A的元素(例如,将媒体项710A的显示从二维对象改变为三维对象)。例如,在一些实施方案中,作为修改媒体项710A的一个或多个视觉特征的一部分,计算机系统700沿着媒体项710A的相应轴(例如,媒体项710A的z轴)扩大媒体项710A的显示,使得用户将媒体项710a感知为具有深度(例如,厚度)的三维对象。在一些实施方案中,基于确定(例如,响应于确定)媒体项710A包括深度信息(例如,特定类型的深度信息)(例如,媒体项710A是立体媒体项),沿着媒体项710A的相应轴扩大媒体项710A。例如,当沿着媒体项710A的相应轴扩大媒体项710A时,在第一深度(例如,沿着扩大媒体项710A的z轴的第一z定位)处显示媒体项710A中的第一组元素,并且在不同于第一深度的第二深度(例如,扩大媒体项710A的z轴上的第二z定位)处显示媒体项710A中的第二组元素。
在一些实施方案中,在注视媒体项710A时,如果用户(例如,通过在穿戴HMD时移动和/或转动他或她的头部,和/或相对于显示设备702移动他或她的身体)偏移他或她的视点,则媒体项710A内的内容响应于用户偏移他或她的视点而偏移。在一些实施方案中,实现视差效果,使得例如离用户更远的媒体项710A的层与离用户更近的媒体项710A的层相比移动得更慢(或移动更小的量)。
在一些实施方案中,修改媒体项710A的一个或多个视觉特征和/或以第二组视觉特征显示媒体项710A包括:向后推动媒体项710A(例如,远离用户)。例如,在一些实施方案中,在图7B中,响应于确定用户已注视媒体项710A达阈值持续时间,计算机系统700在向后推动媒体项710A时保持媒体项710B-710E的所显示深度。在一些实施方案中,基于确定媒体项710A包括特定类型的深度信息(例如,是立体媒体项),向后推动媒体项710A。
在一些实施方案中,修改媒体项710A的一个或多个视觉特征和/或以第二组视觉特征显示媒体项710A包括:自动播放(例如,自动地播放(例如,无需除用户注视之外的进一步的用户输入))媒体项710A。例如,在一些实施方案中,如果媒体项710A是视频(例如,立体视频或非立体视频),则响应于确定用户已经注视媒体项710A达阈值持续时间,计算机系统700开始在媒体库用户界面708内播放媒体项710A的视频内容。在一些实施方案中,(例如,响应于用户的注视)自动播放媒体项710A包括:当在媒体库用户界面708内播放媒体项710A时,应用低通滤波器(例如,模糊和/或平滑滤波器)。在一些实施方案中,当在所选择状态下(例如,在所选择媒体用户界面719内,如例如参考以下图7M至图7N所讨论)播放媒体项710A时,移除低通滤波器。在一些实施方案中,在媒体库用户界面708内自动播放媒体项710A包括:以与在所选择状态下(例如,在所选择媒体用户界面719内,如例如参考以下图7M至图7N所讨论)播放媒体项710A时相比更低的音量来输出媒体项710A的音频内容。
在一些实施方案中,当用户的注视移动远离媒体项710A(例如,移动到另一媒体项710B-710E)时,计算机系统700停止以第二组视觉特征显示媒体项710A(例如,停止自动播放媒体项710A)(例如,从以第二组视觉特征显示媒体项710A转变回以第一组视觉特征显示媒体项710A和/或以第三组视觉特征显示媒体项710A)。
在图7C处,在以第二组视觉特征显示媒体项710A时,计算机系统700检测到用户的注视已经移动到媒体库用户界面708内对应于媒体项710C的不同定位,如注视指示714所指示。在图7C处,响应于确定用户的注视已经移动到媒体项710C,计算机系统700停止以第二组视觉特征显示媒体项710A,并且以第一组视觉特征显示媒体项710A(像它在图7A中所显示那样)。此外,响应于确定用户的注视已经移动到媒体项710C(并且任选地,已经保持达阈值持续时间),计算机系统700将媒体项710C从以第三组视觉特征显示(例如,图7A至图7B)转变为以第四组视觉特征显示(例如,图7C)。在一些实施方案中,第三组视觉特征与第一组视觉特征相同。在一些实施方案中,第四组视觉特征与第二组视觉特征相同。在一些实施方案中,上文关于从第一组视觉特征转变到第二组视觉特征描述的示例可应用于从第三组视觉特征转变到第四组视觉特征。
在图7C处,在媒体库用户界面708内以第四组视觉特征显示媒体项710C时,计算机系统700(例如,经由传感器715)检测用户手势716。在一些实施方案中,用户手势716和本文所述的各种用户手势包括一个或多个触摸输入(例如,显示设备702诸如触敏显示器)。在一些实施方案中,用户手势716和本文所述的各种用户手势包括一个或多个空中手势(例如,用户身体的一个或多个部分以预定义方式进行的移动)(例如,如由相机和/或身体移动传感器(例如,手部移动传感器和/或头部移动传感器)所捕获)。在一些实施方案中,空中手势是在用户不触摸作为设备的一部分的输入元件(或独立于作为设备的一部分的输入元件)的情况下检测到的并且基于所检测到的用户身体的一部分穿过空中的运动(包括用户的身体相对于绝对参考的运动(例如,用户的手臂相对于地面的角度或用户的手部相对于地面的距离)、相对于用户身体的另一部分的运动(例如,用户的手部相对于用户的肩部的移动、用户的一只手相对于用户的另一只手的移动、和/或用户的手指相对于用户的另一手指或手部的一部分的移动)、和/或用户身体的一部分的绝对运动(例如,包括手以预定姿势将移动预定量和/或速度的轻击手势、或包括用户身体的一部分的预定速度或旋转量的摇动手势))的手势。在一些实施方案中,用户手势716包括捏合和拖动手势(例如,捏合和拖动空中手势),其中用户用其手部形成预定义捏合形状,并且在特定方向上拖动(例如,移动)做出预定义捏合形状的手部(例如,在手部保持预定义捏合形状时)(例如,在向上方向上的捏合和拖动手势)。在一些实施方案中,预定义捏合形状是其中用户用一只手部的一个或多个其他手指的末端接触同一只手部的拇指的末端附近的区域的形状。在一些实施方案中,在图7C中,在显示媒体库用户界面708时,计算机系统700(例如,经由传感器715)检测到用户的手部正在做出预定义形状(例如,预定义捏合形状),并且检测到用户的手部正在在预定义(例如,向上)方向上移动(例如,在保持预定义形状时)。
在图7D处,响应于检测到用户手势716,计算机系统700使媒体库用户界面708向上滚动。在一些实施方案中,基于用户手势716的方向和量值(例如,基于捏合和拖动手势的移动的方向和量值(例如,基于用户的所捏合手部的方向以及用户的所捏合手部移动多远))来使媒体库用户界面708向上滚动。因此,媒体库用户界面708不再包括媒体项710A-710B,将媒体项710C-710E向上移动,并且现在显示媒体项710F。此外,在图7D处,计算机系统700检测到用户的注视指向媒体项710F,如注视指示714所指示。在图7D处,响应于确定用户的注视已经在媒体项710F上保持达阈值持续时间,计算机系统700从以第五组视觉特征(例如,二维和/或未扩大)显示媒体项710F转变为以不同于第五组视觉特征的第六组视觉特征(例如,三维和/或扩大)显示媒体项710F。在一些实施方案中,第五组视觉特征与第一组视觉特征和/或第三组视觉特征相同。在一些实施方案中,第六组视觉特征与第二组视觉特征和/或第四组视觉特征相同。在一些实施方案中,上文关于从第一组视觉特征转变到第二组视觉特征描述的示例也可应用于从第五组视觉特征转变到第六组视觉特征。
在图7D处,在用户的注视保持在媒体项710F上时,计算机系统700检测到用户手势718。在一些实施方案中,用户手势718对应于放大命令。在一些实施方案中,用户手势718包括双手去捏合手势(例如,双手去捏合空中手势)(例如,其中两个所捏合手部移动远离彼此的手势)。在一些实施方案中,检测到双手去捏合手势包括:计算机系统700检测到用户的第一手部已经形成预定义形状(例如,预定义捏合形状);计算机系统700检测到用户的第二手部已经形成预定义形状(例如,预定义捏合形状);计算机系统700在第一时间检测到形成预定义形状的第一手部和形成预定义形状的第二手部彼此相距第一距离;并且,在第二时间之后,计算机系统700检测到形成预定义形状的第一手部和形成预定义形状的第二手部移动到彼此相距第二距离,其中第二距离大于第一距离。在一些实施方案中,用户手势718包括单手捏合手势或单手双捏合手势(例如,用户的单只手部快速连续地做出两个捏合手势(例如,在彼此的阈值持续时间内的两个捏合手势))。在一些实施方案中,计算机系统700检测单手捏合手势包括:计算机系统700检测捏合,该捏合包括用户的手指中的两根或更多根手指移动成更靠近在一起,直到这两根手指在彼此的阈值距离内(例如,直到这两根手指与阈值距离相比更靠近彼此(例如,直到这两根手指彼此接触))。在一些实施方案中,计算机系统700检测单手双捏合手势包括:计算机系统700检测第一捏合,该第一捏合包括用户的手指中的两根或更多根手指移动成更靠近在一起,直到这两根手指在彼此的阈值距离内(例如,直到这两根手指与阈值距离相比更靠近彼此(例如,直到这两根手指彼此接触));并且在检测到这两根手指分开之后,计算机系统700检测第二捏合,该第二捏合包括用户的手指中的两根或更多根手指移动成更靠近在一起,直到这两根手指在彼此的阈值距离内(例如,直到这两根手指与阈值距离相比更靠近彼此(例如,直到这两根手指彼此接触))。在一些实施方案中,单手双捏合手势包括在第一捏合的阈值时间段内检测到第二捏合(例如,在第一捏合发起和/或完成之后的阈值时间段内发起和/或完成第二捏合)。
在图7E处,响应于在用户的注视指向媒体项710F时检测到对应于放大命令的用户手势718,计算机系统700以媒体项710F作为放大操作的中心和/或焦点对媒体库用户界面708进行放大。因此,在图7E中,与在图7D中相比,媒体项710F以更大的大小显示。在一些实施方案中,如果用户的注视指向不同的媒体项,则放大用户命令将导致放大该不同的媒体项而不是放大媒体项710F。在一些实施方案中,缩放操作的量值(例如,计算机系统700将媒体库用户界面708放大到什么程度)基于双手去捏合手势(例如,空中手势)的方向和/或量值(例如,基于用户的第一所捏合手部从用户的第二所捏合手部移动多远)来确定。在一些实施方案中,当用户手势718是单手捏合和/或单手双捏合手势(例如,空中手势)时,计算机系统700将媒体库用户界面708放大预先确定量(例如,默认量)。在一些实施方案中,当计算机系统700是头戴式设备时,计算机系统700单独地增大计算机系统700的两个单独显示设备上的媒体710F的显示的缩放水平,其中计算机系统700的每个显示设备对应于用户的相应眼睛(例如,每个显示设备对用户的相应眼睛是可见的)。
返回图7D,在用户的注视保持在媒体项710F上时,计算机系统700检测到用户手势718。在一些实施方案中,用户手势718对应于媒体项选择命令,而不是如上文参考图7E所讨论,用户手势718对应于放大用户命令。在一些实施方案中,媒体项选择命令包括(例如,是)单手捏合手势(例如,空中手势)(例如,如上所述)。在一些实施方案中,媒体项选择命令包括(例如,是)双手去捏合手势(例如,空中手势)(例如,如上所述)。在一些实施方案中,多个手势对应于单个命令(例如,不同手势导致相同结果)。
在图7F处,响应于在用户的注视指向媒体项710F时检测到对应于媒体项选择命令的用户手势718,计算机系统700停止在媒体窗口704内显示媒体库用户界面708,并且在媒体窗口704内在所选择媒体用户界面719内显示媒体项710F。在一些实施方案中,当计算机系统700是头戴式设备时,计算机系统700向用户的第一眼睛显示媒体项710F的第一表示(例如,媒体项710F中所包括的环境的第一视角),并且计算机系统700向用户的第二眼睛显示媒体项710F的第二表示(例如,媒体项710F中所包括的环境的第二视角),使得用户查看具有立体深度效果的媒体项710F。
在一些实施方案中,图7D的用户手势718包括一个或多个中间状态,该用户手势在图7F中描绘的场景中对应于媒体项选择命令。例如,如果媒体项选择命令是单手捏合手势,则用户可缓慢地和/或逐渐地将其食指移动成更靠近其拇指以执行捏合手势。在一些实施方案中,随着用户继续媒体项选择命令,图7D中的媒体项710F的一个或多个分开的元素逐渐地移动成更靠近彼此(例如,沿着预定义轴(例如,沿着z轴))。在一些实施方案中,当用户手势超过完成阈值时,在所选择媒体用户界面719中显示媒体项710F,其中一个或多个元素重新扩大(例如,如图7F所见)。在一些实施方案中,如果用户在达到完成阈值之前停止执行媒体项选择手势(例如,用户在达到完成阈值之前停止捏合手势和/或在达到完成阈值之前将他或她的食指和拇指向后展开),则图7D中的媒体项710F的元素在媒体库用户界面708内重新扩大和/或分开。在一些实施方案中,随着用户继续媒体项选择命令,图7D中的其他媒体项(例如,媒体项710C-710E)逐渐模糊(例如,随着媒体项选择命令朝向完成阈值继续而变得更模糊)。在一些实施方案中,某些类型的用户手势导致图7D和图7F之间的中间阶段的显示(例如,媒体项的逐渐模糊,和/或媒体项层和/或元素的更靠近在一起的逐渐移动),而其他类型的用户手势致使立即从图7D中的媒体库用户界面708转变到图7F中的所选择媒体用户界面719,而不显示中间阶段。例如,在一些实施方案中,快速单手捏合手势(例如,在阈值时间段内完成的单手捏合手势)导致立即从媒体库用户界面708转变到所选择媒体用户界面719而不显示中间状态,而缓慢单手捏合手势或双手去捏合手势将在基于用户手势从媒体库用户界面708转变到所选择媒体用户界面719时显示中间状态。
在图7F中可看出,当显示所选择媒体用户界面719时,三维环境706变暗。此外,在具有从媒体窗口704延伸(例如,延伸到三维环境706中)的一个或多个照明效果726-1的情况下显示媒体窗口704。在一些实施方案中,当打开媒体项时(例如,当从媒体库用户界面708转变到所选择媒体用户界面719时),从媒体窗口704延伸的照明效果(例如,726-1)和应用于三维环境706的照明效果逐渐实现和/或显示。例如,在一些实施方案中,从图7D至图7F,响应于用户手势718(媒体项选择命令),媒体项710F的大小逐渐增大以填充媒体窗口704,三维环境706逐渐变暗,并且照明效果726-1从媒体窗口704逐渐延伸并且在强度上逐渐增大。类似地,在一些实施方案中,当关闭媒体项时(例如,从所选择媒体用户界面719转变到媒体库用户界面708),从媒体窗口704延伸和应用于三维环境706的照明效果逐渐移除(例如,照明效果726-1在强度和大小上逐渐减小,并且三维环境706逐渐变亮)。在一些实施方案中,当计算机系统700是头戴式设备时,计算机系统700响应于用户(例如,在穿戴计算机系统700时)旋转其头部和/或在物理环境内四处走动而改变照明效果726-1的外观。在一些实施方案中,照明效果726-1包括从媒体窗口704延伸的多条光线。在一些实施方案中,该多条光线的视觉特征(例如,一条或多条光线的长度、一条或多条光线的颜色、和/或一条或多条光线的亮度和/或强度)基于所显示媒体项(例如,在所选择媒体用户界面719中显示的媒体项)的视觉内容来确定。在一些实施方案中,在确定该多条光线的视觉特征时,媒体窗口704的边缘处的视觉内容(例如,在媒体窗口704的边缘和/或边框的阈值距离内的视觉内容)的权重大于在媒体窗口704的边缘内侧的内容。在一些实施方案中,一条或多条光线具有可变长度、可变颜色、可变亮度和/或可变强度(例如,基于所显示媒体项的视觉内容)。因此,在一些实施方案中,当所显示媒体项的视觉内容改变(例如,所显示媒体项从一个媒体项改变到另一个媒体项;所显示媒体项是视频,该视频具有随着视频的播放而改变的视觉内容;和/或用户在媒体项内进行放大或缩小)时,包括多条光线的光照效果726-1相应地改变。在一些实施方案中,当所显示媒体项是视频时,照明效果726-1(例如,多条光线)的变化随时间推移被平滑化。在一些实施方案中,照明效果726-1包括从媒体窗口704的前表面(例如,前层720)延伸(例如,向前延伸)的光线和从媒体窗口704的后表面(例如,后层722)延伸(例如,向后延伸)的光线。
在一些实施方案中,照明效果726-1从媒体窗口704延伸,而不管所显示媒体项(例如,在所选择媒体用户界面719内显示的媒体项)是立体媒体项还是非立体媒体项。在一些实施方案中,从媒体窗口704延伸的光线基于所描绘媒体项是否是立体媒体项(例如,如图7F、图7G、图7H和图7N所描绘)或者所描绘媒体项是否是非立体媒体项(例如,如图7J至图7M所描绘)而有所不同。例如,用于确定光线的视觉特征的一个或多个算法基于所显示媒体项是立体媒体项还是非立体媒体项而有所不同。在一些实施方案中,光线(或用于确定光线的视觉特征的算法)并不基于所显示媒体项是立体媒体项还是非立体媒体项而有所不同。
在一些实施方案中,媒体项、媒体窗口704和/或三维环境706的视觉特征取决于所显示媒体项是立体媒体项还是非立体媒体项。在图7F中,所显示媒体项是立体媒体项。基于确定所显示媒体项是立体媒体项,计算机系统700以对应于立体媒体项的一组视觉特征显示媒体项。例如,在所描绘的实施方案中,媒体窗口704以三维方式显示所显示媒体项,其中媒体项的元素沿着轴扩大。在所描绘的实施方案中,媒体窗口704被示出为具有前层720、后层722以及在前层720和后层722之间的一个或多个中间层724。在一些实施方案中,当计算机系统700是头戴式设备时,计算机系统700响应于用户(例如,将计算机系统700穿戴在其头部上的同时)在物理环境内重新定位自己和/或旋转其头部而在媒体窗口704内显示所显示媒体项的不同视角。
在一些实施方案中,根据确定所显示媒体项是立体媒体项,在具有连续边缘的连续三维形状内显示所显示媒体项(例如,媒体窗口704是具有连续边缘的连续三维形状)。图7I示出了具有连续边缘的连续三维形状的示例性实施方案的侧面轮廓图,其中前层720被示出为图7I中的形状的左表面,并且后层722被示出为图7I中的形状的右表面。在一些实施方案中,如图7I所示,媒体窗口704的三维形状具有弯曲前表面和/或弯曲后表面。在一些实施方案中,媒体窗口704的三维形状具有折射边缘(例如,模糊和/或玻璃态边缘)。相比之下,在一些实施方案中,根据确定所显示媒体项是非立体媒体项,所显示媒体项在二维对象内显示和/或显示为二维对象(如图7J所描绘)(例如,媒体窗口704是二维对象和/或形状)。在一些实施方案中,当计算机系统700是头戴式设备时,计算机系统700响应于用户(例如,在用户将计算机系统700穿戴在其头部上的同时)在物理环境内重新定位自己和/或旋转其头部而显示立体媒体项的三维形状的不同视角。
在图7F中,计算机系统700还显示共享选项728A、时间和位置信息728B以及关闭选项728C。共享选项728A可被选择以显示用于共享所显示媒体项的一个或多个选项。时间和位置信息728B显示对应于所显示媒体项的时间和位置信息728B(例如,所显示媒体项的捕获时间和位置)。关闭选项728C可被选择以关闭所显示媒体项(例如,可被选择以停止显示所选择媒体用户界面719并且重新显示媒体库用户界面708)。在一些实施方案中,根据确定所显示媒体项是立体媒体项,显示一个或多个控件,诸如共享选项728A、日期和时间信息728B以及关闭选项728C(例如,在媒体窗口704之外,和/或以使得一个或多个控件不与所显示立体媒体项710F重叠和/或覆盖所显示立体媒体项的方式)。
在一些实施方案中,当在所选择媒体用户界面719中显示媒体项时,该媒体项在对该媒体项应用渐晕的情况下显示(例如,变暗的角和/或边缘)(例如,不管所显示媒体项是立体媒体项还是非立体媒体项)。在一些实施方案中,当在所选择媒体用户界面719中显示媒体项时,任选地以沉浸式状态显示媒体项。在一些实施方案中,如果满足第一组条件,则以沉浸式状态显示媒体项,并且如果不满足第一组条件,则不以沉浸式状态显示媒体项。在各种实施方案中,第一组条件包括例如以下中的一者或多者:确定启用了和/或禁用了第一用户设置(例如,沉浸式查看设置);确定第一媒体项是特定类型的(例如,相较于非立体的是立体的)(例如,根据确定第一媒体项是立体媒体项);和/或确定检测到特定类型的一个或多个用户输入(例如,一个或多个手势(例如,一个或多个空中手势))。在一些实施方案中,非沉浸式状态对应于第一角度大小,并且沉浸式状态对应于大于第一角度大小的第二角度大小。换句话讲,在沉浸式状态中,以更大的角度显示大小来显示所显示媒体项,并且在非沉浸式状态中,以更小的角度显示大小来显示所显示媒体项。在一些实施方案中,当以沉浸式状态显示媒体项时并且当计算机系统700是头戴式设备时,计算机系统700基于用户(例如,在用户将计算机系统700穿戴在其头部上的同时)在物理环境内重新定位自己和/或旋转其头部而显示媒体项的不同视角。
在图7F处,在所选择媒体用户界面719中显示媒体项710F时,计算机系统700检测到用户手势732。下文将依次描述与用户手势732的不同类型的用户手势相对应的各种不同场景。
在第一场景中,用户手势732对应于例如停止显示所选择媒体用户界面719和/或重新显示媒体库用户界面708的关闭媒体项命令。在一些实施方案中,关闭媒体项命令包括捏合和拖动手势(例如,空中手势)(例如,在预定义方向上的捏合和拖动手势(例如,在向下方向上的捏合和拖动手势))。在一些实施方案中,在第一方向上(例如,向左)的捏合和拖动手势对应于在所选择媒体用户界面719内显示后续媒体(例如,有序媒体项序列内的紧接的下一媒体项)的下一媒体项命令,在第二方向(例如,与第一方向相反的第二方向)上(例如,向右)的捏合和拖动手势对应于在所选择媒体用户界面719内显示先前媒体项(例如,有序媒体项序列内的紧接的前一媒体项)的前一媒体项命令,并且在第三方向上(例如,向下)的捏合和拖动手势对应于关闭媒体项命令。如上所述,在一些实施方案中,计算机系统700检测捏合和拖动手势(例如,捏合和拖动空中手势)包括:计算机系统700检测到用户的手部形成预定义形状(例如,预定义捏合形状);以及计算机系统700检测到形成预定义形状的手部在特定方向上的移动(例如,在用户的手部形成和/或保持预定义形状时)。在一些实施方案中,计算机系统700检测捏合和拖动手势还包括:计算机系统700检测到形成预定义形状的手部在特定方向上并且达至少阈值距离的移动。
在第二场景中,用户手势732对应于在如注视指示714-1所指示在媒体窗口704的右下角处检测到用户的注视时接收到的放大命令(例如,单手双捏合手势或双手去捏合手势,其各种实施方案在上文参考图7D进行了描述)。在第三场景中,用户手势732对应于在如注视指示714-2所指示在媒体窗口704的左上角处检测到用户的注视时接收到的放大命令。在第二场景中,响应于对应于在用户的注视指向媒体窗口704的右下角时的放大命令的用户手势732,计算机系统700放大媒体窗口704的右下角,如图7G所描绘。在第三场景中,响应于对应于在用户的注视指向媒体窗口704的左上角时的放大命令的用户手势732,计算机系统700放大媒体窗口704的左上角,如图7H所描绘。
图7J描绘了显示非立体媒体项731的所选择媒体用户界面719。在图7J中,媒体项731是全景非立体图像。在图7J中,三维环境706变暗,像它在图7F中那样,并且照明效果730-1从媒体窗口704延伸。类似于上文参考图7F讨论的照明效果726-1,在一些实施方案中,照明效果730-1基于媒体窗口704中描绘的视觉内容(例如,所显示媒体项731的视觉内容)来确定。在一些实施方案中,照明效果730-1基于媒体窗口704中的所显示视觉内容的差异而与照明效果726-1有所不同,但是用于生成和/或确定照明效果730-1的算法与用于生成和/或确定照明效果726-1的算法相同。在一些实施方案中,基于媒体项731是非立体媒体项并且媒体项710F是立体媒体项的事实,用于生成和/或确定照明效果730-1的算法不同于用于生成和/或确定照明效果726-1的算法。在一些实施方案中,如上文参考图7F所述的照明效果726-1的各种特征适用于照明效果730-1以及本文所述的其他照明效果(例如,730-2、730-3、730-4、726-2、726-3和/或726-4)。在一些实施方案中,当计算机系统700是头戴式设备时,因为媒体项731是非立体媒体项,计算机系统700并不响应于用户(例如,在用户将计算机系统700穿戴在其头部上的同时)在物理环境中四处走动和/或转动其头部而显示媒体项731中所包括的内容的各种视角。
在一些实施方案中,基于确定所显示媒体项731是非立体媒体项,图7J中的媒体窗口704和所选择媒体用户界面719的某些视觉特征与图7F中的那些视觉特征有所不同。例如,在一些实施方案中,基于确定图7J中的所显示媒体项731是非立体媒体项,一个或多个控件诸如共享选项728A、时间和位置信息728B以及关闭选项728C被显示为覆盖在所显示媒体项731上。在另一示例中,在一些实施方案中,基于确定图7J中的所显示媒体项731是非立体媒体项,媒体项731显示在二维对象内和/或显示为二维对象(而图7F中的媒体项710F显示在三维对象内)。上文参考图7F更详细地描述了立体媒体项和非立体媒体项之间的其他差异。
在图7J处,在所选择媒体用户界面719内显示非立体全景媒体项731时,计算机系统700(例如,经由传感器715)检测到用户手势733。在所描绘的场景中,用户手势733对应于放大命令。在一些实施方案中,放大命令包括单手双捏合手势和/或双手去捏合手势,如上所述(例如,参考图7D)。此外,在图7J处,在检测到用户手势733时,计算机系统700检测到指向所显示媒体项731内的第一定位的用户注视,如注视指示714所指示。
在图7K处,响应于在用户的注视指向所显示媒体项731中的第一定位时检测到用户手势733(例如,放大命令),计算机系统700以第一定位作为放大操作的中心点来放大媒体项731。此外,在图7K处,响应于检测到用户手势733(例如,放大命令)并且根据确定所显示媒体项731是全景媒体项,计算机系统700放大媒体窗口704的大小,并且还使媒体窗口704弯曲。在图7K处,照明效果730-2从媒体窗口704延伸。在一些实施方案中,基于正在媒体窗口704中显示的改变的视觉内容,照明效果730-2与照明效果730-1有所不同。在一些实施方案中,当计算机系统700是头戴式设备时,(例如,与在不以弯曲外观显示媒体窗口704时相比),在以弯曲外观显示媒体窗口704时,媒体窗口704的显示占据用户的更大视场。
在图7K处,计算机系统700(例如,经由传感器715)检测到用户手势734。在一些实施方案中,用户手势734是用户手势733的放大命令的继续(例如,双手去捏合手势(例如,其各种实施方案在上文(例如,参考图7D)进行了描述)的继续)。此外,在图7K处,在检测到用户手势734时,计算机系统700检测到指向所显示媒体项内的第二定位的用户注视,如注视指示714所指示。
在图7L处,响应于在用户的注视指向所显示媒体项中的第二定位时检测到用户手势734(例如,放大命令(例如,其各种实施方案在上文(例如,参考图7D)进行了描述)),计算机系统700进一步以第二定位作为放大操作的中心点放大全景媒体项731。此外,在图7L中,响应于检测到用户手势734(例如,放大命令)并且根据确定所显示媒体项731是全景媒体项,计算机系统700进一步放大媒体窗口704的大小,并且进一步使媒体窗口704弯曲。在图7L处,照明效果730-3从媒体窗口704延伸。在一些实施方案中,基于正在媒体窗口704中显示的改变的视觉内容,照明效果730-3与照明效果730-2和730-1有所不同。
此外,在图7L中,随着媒体项731进一步放大,媒体项731充分放大,使得媒体项731的左侧和右侧的某些内容在媒体窗口704内不再可见。在图7L中,根据确定媒体项731的左侧有在媒体窗口704中不可见的附加内容,计算机系统700在媒体窗口704的左侧显示视觉效果736A。类似地,根据确定媒体项731的右侧有在媒体窗口704中不可见的附加内容,计算机系统700在媒体窗口704的右侧显示视觉效果736B。在一些实施方案中,视觉效果736A包括模糊和/或在视觉上遮蔽媒体窗口704的左边缘,并且视觉效果736B包括模糊和/或在视觉上遮蔽媒体窗口704的右边缘。
在图7L处,在所选择媒体用户界面719中显示媒体项731时,计算机系统700检测到用户手势738。在一些实施方案中,用户手势738对应于先前内容项命令(例如,第一(例如,向右)方向上的捏合和拖动手势(例如,其各种实施方案在上文(例如,参考图7D和图7F)进行了描述))和/或下一内容项命令(例如,在第二(例如,向左)方向上的捏合和拖动手势(例如,其各种实施方案在上文(例如,参考图7D和图7F)进行了描述))。
在图7M处,响应于检测到用户手势738,计算机系统700停止在所选择媒体用户界面719内显示图7L的媒体项731,并且在所选择媒体用户界面719内显示非立体视频媒体项741。在图7M中,根据确定所描绘媒体项741是非立体媒体项,一个或多个控件被显示为覆盖在媒体项上。该一个或多个控件包括例如共享选项728A、时间和位置信息728B、和关闭选项728C,以及搓擦条740。搓擦条740可由用户操纵(例如,用户可与搓擦条740交互)以在视频媒体项741内导航,并且还包括一个或多个回放控件,诸如暂停按钮、播放按钮、快进按钮和/或倒退按钮。在图7M中,照明效果730-4从媒体窗口704延伸。如上文参考图7F所讨论,在一些实施方案中,视频的照明效果随时间推移被平滑化,使得视频中相应时间的照明效果是基于多个视频帧(例如,紧接在相应时间之前和/或紧接在相应时间之后的多个视频帧)确定的。
在图7M处,在所选择媒体用户界面719中显示非立体视频媒体项741时,计算机系统700检测到用户手势742。在一些实施方案中,用户手势742对应于先前内容项命令(例如,第一(例如,向右)方向上的捏合和拖动手势(例如,其各种实施方案在上文(例如,参考图7D和图7F)进行了描述))和/或下一内容项命令(例如,在第二(例如,向左)方向上的捏合和拖动手势(例如,其各种实施方案在上文(例如,参考图7D和图7F)进行了描述))。
在图7N处,响应于检测到用户手势742,计算机系统700停止在所选择媒体用户界面719内显示图7M的非立体视频媒体项741,并且在所选择媒体用户界面719内显示立体视频媒体项743。在图7N中,根据确定所描绘媒体项743是立体媒体项,显示一个或多个控件(例如,共享选项728A、时间和位置信息728B、关闭选项728C、搓擦条740)(例如,在媒体窗口704之外,和/或不与该媒体窗口重叠)。在一些实施方案中,该一个或多个控件(例如,728A、728B、728C和/或740)在用户的手部处于第一定位(例如,抬起定位)时显示,并且在用户的手部不处于第一定位时(例如,当用户的手部处于放下定位时)隐藏/不显示。在一些实施方案中,该一个或多个控件在用户的手部处于第一定位时显示,并且在用户的手部不处于第一定位时隐藏,而不管所显示媒体项是立体媒体项还是非立体媒体项。在一些实施方案中,该一个或多个控件在用户的手部处于第一定位时显示,并且在用户的手部不处于第一定位时隐藏,而不管所显示媒体项是静止图像还是视频。
此外,根据确定所描绘媒体项743是立体媒体项,媒体项743在三维形状内显示,具有多个层(例如,720、722和724)。在图7N中,照明效果726-4从媒体窗口704延伸。如上文参考图7F和图7M所讨论,在一些实施方案中,视频的照明效果随时间推移被平滑化,使得视频中相应时间的照明效果是基于多个视频帧(例如,紧接在相应时间之前和/或紧接在相应时间之后的多个视频帧)确定的。
下文参考相对于图8至图10描述的方法800、900和1000提供了关于图7A至图7N的附加描述。
图8是根据一些实施方案的用于与媒体项和用户界面交互的示例性方法800的流程图。在一些实施方案中,方法800在计算机系统(例如,700)(例如,图1的计算机系统101)(例如,智能电话、平板电脑和/或可穿戴设备)处执行,该计算机系统与显示生成部件(例如,702)(例如,显示控制器;触敏显示器系统;显示器(例如,集成的和/或连接的)、3D显示器、透明显示器、投影仪和/或平视显示器)和一个或多个输入设备(例如,715)(例如,触敏表面(例如,触敏显示器);鼠标;键盘;遥控器;视觉输入设备(例如,相机);音频输入设备(例如,麦克风);和/或生物测定传感器(例如,指纹传感器、面部标识传感器和/或虹膜标识传感器))通信。在一些实施方案中,方法800通过存储在非暂态(或暂态)计算机可读存储介质中并由计算机系统的一个或多个处理器诸如计算机系统101的一个或多个处理器202(例如,图1A中的控件110)执行的指令来管理。方法800中的一些操作任选地被组合,并且/或者一些操作的次序任选地被改变。
在一些实施方案中,计算机系统(例如,700)经由显示生成部件(例如,702)显示(802)包括多个媒体项(例如,710A-710F)(例如,图像、照片和/或视频)的表示(例如,缩略图和/或预览)的媒体库用户界面(例如,708),该多个媒体项的表示包括第一媒体项(例如,710A-710F)的表示。
在显示媒体库用户界面时(804),计算机系统在第一时间经由一个或多个输入设备检测(806)到对应于媒体库用户界面中的第一定位的用户注视(例如,714)(例如,检测到和/或确定用户正注视媒体库用户界面中的第一定位)。在一些实施方案中,媒体库用户界面中的第一定位是对应于第一媒体项的表示的定位,或者是媒体库用户界面中不对应于第一媒体项的表示的定位(例如,对应于不同于第一媒体项的第二媒体项的表示)。
响应于检测到对应于媒体库用户界面中的第一定位的用户注视(808),计算机系统将第一媒体项的表示的外观从经由显示生成部件以第一方式(例如,以第一组视觉特征)显示改变(810)为以不同于第一方式的第二方式(例如,以第二组视觉特征)显示(例如,图7A至图7B中的媒体项710A和/或图7B至图7C中的媒体项710C)。
计算机系统在第一时间之后的第二时间(例如,在以第二方式显示第一媒体项的表示之后或同时)经由一个或多个输入设备检测(812)到对应于媒体库用户界面中的第二定位的用户注视(例如,图7C中的714)(例如,检测到和/或确定用户正注视媒体库用户界面中的第二定位)。在一些实施方案中,媒体库用户界面中的第二定位是对应于第一媒体项的表示的定位,或者是媒体库用户界面中不对应于第一媒体项的表示(例如,对应于不同于第一媒体项的第二媒体项的表示)的、不同于第一定位的定位。
响应于检测到对应于媒体库用户界面中的第二定位的用户注视(814),计算机系统经由显示生成部件以不同于第二方式的第三方式(例如,以不同于第二组视觉特征的第三组视觉特征)显示(816)第一媒体项的表示(例如,从图7B至图7C的媒体项710A)。在一些实施方案中,第三方式与第一方式相同。
响应于检测到对应于媒体库用户界面中的第一定位的用户注视而将第一媒体项的表示的外观从以第一方式显示改变为以第二方式显示,向用户提供了关于系统的状态(例如,已经检测到对应于第一定位的用户注视)的视觉反馈,这提供了改进的视觉反馈。
在一些实施方案中,计算机系统(例如,在第二时间之后的第三时间)经由显示生成部件显示包括多个媒体项(例如,710A-710F)(例如,图像、照片和/或视频)的表示(例如,缩略图和/或预览)的媒体库用户界面(例如,708),该多个媒体项的表示包括不同于第一媒体项的第二媒体项的表示。在显示包括第二媒体项的表示的媒体库用户界面时,计算机系统(例如,在第三时间之后的第四时间)经由一个或多个输入设备检测到对应于媒体库用户界面中的第三定位(例如,第二定位,或不同于第一定位和/或第二定位的第三定位)(例如,媒体库用户界面中对应于第二媒体项的表示的第三定位,或媒体库用户界面中不对应于第二媒体项的表示(例如,对应于不同于第二媒体项的第三媒体项的表示)的第三定位)的用户注视(例如,图7C中的714)(例如,检测到和/或确定用户正注视媒体库用户界面中的第三定位)。响应于检测到对应于媒体库用户界面中的第三定位的用户注视,计算机系统将第二媒体项(例如,710C)的表示的外观从以第四方式(例如,以第四组视觉特征)(在一些实施方案中,第四方式与第一方式、第二方式和/或第三方式相同)显示改变为以不同于第四方式的第五方式(例如,以不同于第四组视觉特征的第五组视觉特征)显示(例如,图7B至图7C中的媒体项710C)。在一些实施方案中,第五方式与第一方式、第二方式和/或第三方式相同。
在一些实施方案中,计算机系统(例如,在第四时间之后的第五时间)(例如,在以第五方式显示第二媒体项的表示之后或同时)经由一个或多个输入设备检测到对应于媒体库用户界面中不同于第三定位的第四定位(例如,媒体库用户界面中对应于第二媒体项的表示的第四定位,或媒体库用户界面中不对应于第二媒体项的表示(例如,对应于不同于第二媒体项的第三媒体项的表示)的第四定位)的用户注视(例如,检测到和/或确定用户正注视媒体库用户界面中的第四定位)。响应于检测到对应于媒体库用户界面中的第四定位的用户注视,计算机系统经由显示生成部件以不同于第五方式的第六方式(例如,以不同于第五组视觉特征的第六组视觉特征)显示第二媒体项的表示。在一些实施方案中,第六方式与第四方式相同。
响应于检测到对应于媒体库用户界面中的第三定位的用户注视而将第二媒体项的表示的外观从以第四方式显示改变为以第五方式显示,向用户提供了关于系统的状态(例如,已经检测到对应于第三定位的用户注视)的视觉反馈,这提供了改进的视觉反馈。
在一些实施方案中,第一媒体项(例如,710A)包括多个元素,该多个元素包括第一元素和第二元素。在一些实施方案中,以第一方式显示第一媒体项的表示包括:在第一二维平面(例如,包括:第一维度和不同于第一维度(例如,垂直于第一维度)的第二维度的二维平面)内显示第一元素和第二元素(例如,图7A中的媒体项710A)(例如,在二维对象内和/或作为单个二维对象的部分显示第一元素和第二元素)。在一些实施方案中,以第二方式显示第一媒体项的表示包括:沿着在第一二维平面之外延伸的第三维度(例如,垂直于第一二维平面的第三维度)将第一元素和第二元素分开(例如,图7B中的媒体项710A)。
在一些实施方案中:媒体库用户界面定义具有x轴和垂直于x轴的y轴的第一平面(例如,媒体库用户界面包括至少一个平面表面,其中该平面表面定义x轴和y轴)(在一些实施方案中,该多个媒体项的表示显示在第一平面上(例如,在第一平面内);第一媒体项包括多个元素,该多个元素包括第一元素和第二元素;以第一方式显示第一媒体项的表示包括:在z轴上的第一定位处显示多个元素,其中z轴垂直于x轴和y轴两者(例如,第一媒体项的表示被显示为二维对象)(例如,第一媒体项中的该多个元素显示在单个二维平面(例如,第一平面)上)(在一些实施方案中,当以第一方式显示时,第一媒体项的表示被显示为在第一平面内呈现的二维平面对象)(在一些实施方案中,由媒体库用户界面定义的第一平面定位在z轴上的第一定位处);并且以第二方式显示第一媒体项的表示包括同时地:在z轴上的第二定位(在一些实施方案中,z轴上的第二定位与z轴上的第一定位相同或与z轴上的第一定位不同)处显示第一元素;以及在z轴上的不同于第二定位的第三定位处显示第二元素。
在一些实施方案中,第一媒体项包括第三元素,并且以第二方式显示第一媒体项的表示包括同时地:在z轴上的第二定位处显示第一元素;在z轴上的不同于第二定位的第三定位处显示第二元素;以及在z轴上的不同于第二定位和第三定位的第四定位处显示第三元素。
响应于检测到对应于媒体库用户界面中的第一定位的用户注视而通过在第三维度上扩大元素来将第一媒体项的表示的外观从以第一方式显示改变为以第二方式显示,向用户提供了关于系统的状态(例如,已经检测到对应于第一定位的用户注视)的视觉反馈,这提供了改进的视觉反馈。
在一些实施方案中,以第一方式显示第一媒体项的表示包括:在相对于用户的第一定位处显示第一媒体项的表示。在一些实施方案中,以第二方式显示第一媒体项的表示包括:在与第一定位相比离用户更远的相对于用户的第二定位处显示第一媒体项的表示(例如,向后和/或远离用户推动第一媒体项的表示)(例如,如参考图7A至图7D中的媒体项710A-710F所述)。
在一些实施方案中,显示媒体库用户界面包括:与第一媒体项的表示同时地显示与第一媒体项的表示不同的第三媒体项的表示;并且以第二方式显示第一媒体项的表示包括:在保持第三媒体项相对于用户的定位的同时在相对于用户的第二定位处显示第一媒体项的表示(例如,在保持第三媒体项相对于用户的定位时向后和/或远离用户移动第一媒体项的表示)。
在一些实施方案中:媒体库用户界面定义具有x轴和垂直于x轴的y轴的第一平面(例如,媒体库用户界面包括至少一个平面表面,其中该平面表面定义x轴和y轴)(在一些实施方案中,该多个媒体项的表示显示在第一平面上(例如,在第一平面内);以第一方式显示第一媒体项的表示包括:在z轴上的第一定位处显示第一媒体项的表示,其中z轴垂直于x轴和y轴两者,并且此外,其中媒体库用户界面的前表面定义z轴的正方向并且媒体库用户界面的后表面定义z轴的负方向(在一些实施方案中,z轴的正方向朝向用户延伸,并且z轴的负方向远离用户延伸);并且以第二方式显示第一媒体项的表示包括:在z轴上不同于第一定位的第二定位处显示第一媒体项的表示,其中第二定位是与第一定位相比更负的z轴定位(例如,在第二方式中,相较于第一方式向后(例如,更远离用户)推动第一媒体项)(在一些实施方案中,在z轴上的第二定位处且平行于第一平面显示第一媒体项的表示)。
在一些实施方案中,在以第一方式显示第一媒体项的表示时,在z轴上的第一定位处显示一个或多个(例如,两个或更多个)其他媒体项的表示;并且在以第二方式显示第一媒体项的表示时,一个或多个(例如,两个或更多个)其他媒体项的表示显示在(例如,保持在)z轴上的第一定位处。
响应于检测到对应于媒体库用户界面中的第一定位的用户注视而通过将第一媒体项的表示移动远离用户来将第一媒体项的表示的外观从以第一方式显示改变为以第二方式显示,向用户提供了关于系统的状态(例如,已经检测到对应于第一定位的用户注视)的视觉反馈,这提供了改进的视觉反馈。
在一些实施方案中,第一媒体项包括视频内容(例如,电影内容和/或移动视觉内容);以第一方式显示第一媒体项的表示包括:显示第一媒体项的视频内容的静态表示(例如,显示第一媒体项的静态缩略图图像表示);并且以第二方式显示第一媒体项的表示包括:显示第一媒体项的视频内容的回放(例如,第一媒体项的视频内容的至少子集的回放)(例如,显示第一媒体项的移动视觉内容和/或电影内容)(例如,在媒体库用户界面内显示第一媒体项的视频内容的回放)(例如,在媒体库用户界面内显示第一媒体项的视频内容的回放,而不在媒体库用户界面内显示任何其他媒体项的视频内容的回放)(例如,如参考图7A至图7D中的媒体项710A-710F所述)。响应于检测到对应于媒体库用户界面中的第一定位的用户注视而通过显示第一媒体项的视频内容的回放来将第一媒体项的表示的外观从以第一方式显示改变为以第二方式显示,向用户提供了关于系统的状态(例如,已经检测到对应于第一定位的用户注视)的视觉反馈,这提供了改进的视觉反馈。
在一些实施方案中,以不同于第二方式的第三方式显示第一媒体项的表示包括:显示第一媒体项的视频内容的第二静态表示(例如,显示第一媒体项的静态缩略图图像表示)(例如,如参考图7A至图7D中的媒体项710A-710F所述)。在一些实施方案中,第二静态表示与静态表示相同或不同。在一些实施方案中,响应于检测到对应于媒体库用户界面中的第二定位的用户注视,计算机系统停止第一项的视频内容的回放。在一些实施方案中,响应于检测到对应于媒体库用户界面中的第二定位的用户注视,计算机系统将不同于第一媒体项的第二媒体项的表示的外观从显示第二媒体项的视频内容的静态表示(例如,显示第一项的视频内容的静态缩略图图像表示)改变为显示第二媒体项的视频内容的回放(例如,显示第二媒体项的移动视觉内容和/或电影内容)。响应于检测到对应于媒体库用户界面中的第二定位的用户注视而(例如,通过显示第一媒体项的视频内容的静态表示)将第一媒体项的表示的外观从以第二方式显示改变为以第三方式显示,向用户提供了关于系统的状态(例如,已经检测到对应于第二定位的用户注视)的视觉反馈,这提供了改进的视觉反馈。
在一些实施方案中,以第二方式显示第一媒体项的表示包括(在一些实施方案中,显示第一媒体项的视频内容的回放包括):将低通滤波器(例如,模糊和/或平滑滤波器)应用于第一媒体项的视频内容(例如,如参考图7A至图7D中的媒体项710A-710F所述)。在一些实施方案中,在显示媒体库用户界面时,计算机系统检测与对第一媒体项的选择相对应的一个或多个用户输入(例如,一个或多个触摸输入、一个或多个非触摸输入、一个或多个手势(例如,一个或多个空中手势))(例如,在用户的注视保持在第一媒体项上和/或指向第一媒体项时的单手捏合手势和/或双手去捏合手势);并且响应于检测到与对第一媒体项的选择相对应的一个或多个用户输入,计算机系统在不应用低通滤波器的情况下显示第一媒体项的视频内容的回放。在一些实施方案中,响应于检测到与对第一媒体项的选择相对应的一个或多个用户输入,计算机系统显示不同于媒体库用户界面的媒体播放器用户界面(在一些实施方案中,计算机系统停止显示媒体库用户界面和/或停止显示媒体库用户界面的至少一部分),并且在不应用低通滤波器的情况下在媒体播放器用户界面内显示第一媒体项的视频内容的回放。响应于检测到对应于媒体库用户界面中的第一定位的用户注视而(例如,通过在应用低通滤波器的情况下显示第一媒体项的视频内容的回放)将第一媒体项的表示的外观从以第一方式显示改变为以第二方式显示,向用户提供了关于系统的状态(例如,已经检测到对应于第一定位的用户注视)的视觉反馈,这提供了改进的视觉反馈。
在一些实施方案中,在以第二方式显示第一媒体项的表示、包括显示第一媒体项的视频内容的回放时,计算机系统以第一音量水平输出第一媒体项的音频内容(例如,与第一媒体项的视频内容相对应的音频内容)。在显示媒体库用户界面时(在一些实施方案中,在(例如,在媒体库用户界面内)显示第一媒体项的视频内容的回放时和/或在以第一音量水平输出第一媒体项的音频内容时),计算机系统经由一个或多个输入设备检测与对第一媒体项的选择相对应的一个或多个用户输入(例如,一个或多个触摸输入、一个或多个非触摸输入、和/或一个或多个手势(例如,一个或多个空中手势))(例如,在用户的注视保持在第一媒体项上和/或指向第一媒体项时的单手捏合手势和/或双手去捏合手势)。响应于检测到与对第一媒体项的选择相对应的一个或多个用户输入,计算机系统以与第一音量水平相比更响亮的第二音量水平输出第一媒体项的音频内容(例如,如参考图7A至图7D中的媒体项710A-710F所述)。在一些实施方案中,与对第一媒体项的选择相对应的一个或多个用户输入包括一个或多个空中手势。在一些实施方案中,检测与对第一媒体项的选择相对应的一个或多个用户输入包括:在用户的注视保持在第一媒体项上和/或指向第一媒体项时检测单手捏合手势(例如,单手捏合空中手势)和/或双手去捏合手势(例如,双手去捏合空中手势)(例如,在检测到用户的注视保持在第一媒体项上和/或指向第一媒体项时检测单手捏合手势和/或双手去捏合手势))。在一些实施方案中,计算机系统在继续显示第一媒体项的视频内容的回放时以第二音量水平输出第一媒体项的音频内容。在一些实施方案中,响应于检测到与对第一媒体项的选择相对应的一个或多个用户输入,计算机系统显示不同于媒体库用户界面的媒体播放器用户界面(在一些实施方案中,计算机系统停止显示媒体库用户界面和/或停止显示媒体库用户界面的至少一部分),并且在媒体播放器用户界面内显示第一媒体项的视频内容的回放,同时以第二音量水平输出第一媒体项的音频内容。响应于第一媒体项的打开和/或选择而自动地增大输出第一媒体项的音频内容的音量允许用户在不提供进一步的用户输入的情况下增大回放音量,这减少了执行操作所需的输入数量。
在一些实施方案中,响应于检测到对应于媒体库用户界面中的第一定位的用户注视(例如,在没有任何附加用户输入的情况下),执行显示第一媒体项的视频内容的回放(例如,如参考图7A至图7D中的媒体项710A-710F所述)。在一些实施方案中,根据确定对应于媒体库用户界面中的第一定位的用户注视已经保持达阈值持续时间,显示第一媒体项的视频内容的回放。响应于检测到对应于媒体库用户界面中的第一定位的用户注视而显示第一媒体项的视频内容的回放允许用户在没有附加用户输入的情况下播放第一媒体项的视频内容,这减少了执行操作所需的输入数量。
在一些实施方案中,第一媒体项包括多个元素,该多个元素包括第一元素和第二元素(例如,布置在多个层中的多个元素,包括第一层中的第一元素和第二层中的第二元素(在一些实施方案中,每一层沿着z轴定位在不同定位处))。在一些实施方案中,在继续检测对应于媒体库用户界面中的第一定位的用户注视时,计算机系统经由显示生成部件显示:第一元素随着用户的视点相对于第一媒体项偏移而相对于第二元素移动(例如,响应于用户的视点的移动或响应于在用户的视点保持在同一地方时第一媒体项的移动而使第一元素相对于第二元素偏移)(例如,如参考图7A至图7D中的媒体项710A-710F所述)。在一些实施方案中,第一元素相对于第二元素偏移一定量,该量基于用户的视点相对于第一媒体项的变化量。在一些实施方案中,第一元素相对于第二元素在一定方向上偏移,该方向基于用户的视点相对于第一媒体项的变化方向。在一些实施方案中,响应于检测到一个或多个用户输入(例如,一个或多个手势(例如,用户的手部和/或头部的移动)(例如,一个或多个空中手势)和/或一个或多个非手势输入),执行显示第一元素相对于第二元素移动。在检测到对应于媒体库用户界面中的第一定位的用户注视时显示第一元素相对于第二元素移动,向用户提供了关于系统的状态(例如,已经检测到对应于第一定位的用户注视)的视觉反馈,这提供了改进的视觉反馈。
在一些实施方案中,计算机系统(例如,在以第三方式显示第一媒体项的表示之后和/或同时)经由一个或多个输入设备检测对应于媒体库用户界面(例如,708)中的第一定位的用户注视(例如,714)(例如,检测和/或确定用户正注视媒体库用户界面中的第一定位)(例如,媒体库用户界面中与第一媒体项的表示相对应的第一定位)。在继续检测对应于媒体库用户界面中的第一定位的用户注视时(例如,在第三时间之后的第四时间),计算机系统经由一个或多个输入设备检测一个或多个用户手势(例如,716或718)(例如,用户的手部、头部和/或身体的移动)(例如,一个或多个空中手势(例如,单手捏合空中手势、单手双手捏合空中手势、捏合和拖动空中手势、双手捏合空中手势和/或双手去捏合空中手势))(在一些实施方案中,一个或多个非手势输入)(在一些实施方案中,与对第一媒体项的选择相对应的一个或多个用户手势)。响应于在继续检测对应于媒体库用户界面中的第一定位的用户注视时检测到一个或多个用户手势,计算机系统将第一媒体项的表示的外观从经由显示生成部件以第七方式(例如,以第七组视觉特征)显示改变为以不同于第七方式的第八方式(例如,以第八组视觉特征)显示(例如,响应于用户手势718而改变媒体项710F的外观,如参考图7D至图7F所述)。在一些实施方案中,第七方式与第二方式相同。在一些实施方案中,响应于在继续检测对应于媒体库用户界面中的第一定位的用户注视时检测到一个或多个用户手势,计算机系统将第一媒体项的表示的外观从以第二方式显示改变为以不同于第二方式的第八方式显示。响应于在继续检测对应于媒体库中的第一定位的用户注视时检测到一个或多个用户手势而改变第一媒体项的表示的外观,向用户提供了关于系统的状态(例如,系统已经在继续检测对应于第一定位的用户注视时检测到一个或多个用户手势)的视觉反馈,这提供了改进的视觉反馈。
在一些实施方案中,该一个或多个用户手势包括捏合手势(例如,捏合空中手势)(例如,单手捏合手势或双手捏合手势)(例如,两根手指(例如,一只手部或两只手部的两根手指)从相对于彼此的第一距离移动到相对于彼此的第二距离,其中第二距离小于第一距离)(例如,如参考图7D至图7F所述)。在一些实施方案中,第二距离小于阈值距离(例如,两根手指移动到足够接近以满足距离阈值的定位)。在一些实施方案中,捏合手势对应于指示用户对第一媒体项的选择(例如,用户对第一媒体项的选择而没有对任何其他媒体项的选择(例如,用户对仅第一媒体项的选择))的选择手势;以第八方式显示第一媒体项的表示指示用户对第一媒体项的选择(例如,指示用户在不选择任何其他媒体项的情况下对来自多个媒体项的第一媒体项的选择(例如,用户对仅第一媒体项的选择));并且以第七方式显示第一媒体项的表示不指示用户对第一媒体项的选择。
在一些实施方案中,将第一媒体项的表示的外观从以第七方式显示改变为以第八方式显示包括:扩大第一媒体项的表示的大小。在一些实施方案中,将第一媒体项的表示的外观从以第七方式显示改变为以第八方式显示包括:发起第一媒体项的回放(例如,发起第一媒体项的视频回放)。在一些实施方案中,将第一媒体项的表示的外观从以第七方式显示改变为以第八方式显示包括:在不同于媒体库用户界面的所选择媒体用户界面中显示第一媒体项的表示。在一些实施方案中,响应于检测到包括捏合手势的一个或多个用户手势,计算机系统停止显示与第一媒体项的表示不同的一个或多个媒体项的表示(例如,在媒体库用户界面中显示的一个或多个媒体项的表示)。
响应于在继续检测对应于媒体库中的第一定位的用户注视时检测到一个或多个用户手势而改变第一媒体项的表示的外观,向用户提供了关于系统的状态(例如,系统已经在继续检测对应于第一定位的用户注视时检测到一个或多个用户手势)的视觉反馈,这提供了改进的视觉反馈。
在一些实施方案中,第一媒体项(例如,710A-710F)包括多个元素,该多个元素包括第一元素和第二元素。在一些实施方案中,以第七方式显示第一媒体项的表示包括:在第一定位处显示第一元素;并且在与第一定位相比更靠近计算机系统的用户的第二定位处显示第二元素。在一些实施方案中,一个或多个用户手势(例如,一个或多个空中手势)包括第一手势(例如,第一空中手势)。在一些实施方案中,响应于在继续检测对应于媒体库用户界面中的第一定位的用户注视时检测到第一手势,计算机系统相对于第一元素移动第二元素以减小第一元素和第二元素之间的距离(例如,如参考图7D至图7F所述)。在一些实施方案中,第一手势是捏合手势(例如,捏合空中手势)(例如,其中第一手指移动成更靠近第二手指的手势),并且第二元素基于捏合手势的量值(例如,基于一根手指相对于另一根手指的移动量)相对于第一元素沿着轴移动以减小第一元素和第二元素之间沿着轴的距离。
在一些实施方案中:媒体库用户界面定义具有x轴和垂直于x轴的y轴的第一平面(例如,媒体库用户界面包括至少一个平面表面,其中该平面表面定义x轴和y轴)(在一些实施方案中,该多个媒体项的表示显示在第一平面上(例如,在第一平面内);第一媒体项包括多个元素,该多个元素包括第一元素和第二元素;以第七方式显示第一媒体项的表示包括同时地:在z轴上的第一定位处显示第一元素;以及在z轴上的不同于第二定位的第二定位处显示第二元素;该一个或多个用户手势包括第一手势;响应于在继续检测对应于媒体库用户界面中的第一定位的用户注视时检测到第一手势,计算机系统基于第一手势的量值相对于第一元素沿着z轴移动第二元素以减小第一元素和第二元素之间沿着z轴的距离。在一些实施方案中,第一手势是捏合手势(例如,捏合空中手势)(例如,其中第一手指移动成更靠近第二手指的手势),并且第二元素基于捏合手势的量值(例如,基于一根手指相对于另一根手指的移动量)沿着z轴相对于第一元素移动以减小第一元素和第二元素之间沿着z轴的距离。
响应于在继续检测对应于第一定位的用户注视时检测到第一手势而相对于第一元素移动第二元素,向用户提供了关于系统的状态(例如,系统已经在继续检测对应于第一定位的用户注视时检测到第一手势)的视觉反馈,这提供了改进的视觉反馈。
在一些实施方案中,该一个或多个用户手势包括在第一手势之后执行的第二手势(例如,第二空中手势)。在一些实施方案中,响应于在继续检测对应于媒体库用户界面中的第一定位的用户注视时检测到第二手势,计算机系统(例如,基于第二手势的量值)相对于第一元素移动第二元素(例如,沿着预定义轴移动第二元素)以增大第一元素和第二元素之间的距离(例如,如参考图7D至图7F所述)。在一些实施方案中,相对于第一元素移动第二元素以增大第一元素和第二元素之间的距离包括:将第一元素移动到轴上的第一定位(例如,预定义轴(例如,朝向计算机系统的用户延伸的轴))和/或将第二元素移动到轴上的第二定位。在一些实施方案中,第二手势是去捏合手势(例如,去捏合空中手势)(例如,其中第一手指移动远离第二手指的手势)。在一些实施方案中,基于去捏合手势的量值(例如,基于一根手指相对于另一根手指的移动量)相对于第一元素移动(例如,沿着轴移动)第二元素以增大第一元素和第二元素之间的距离。在一些实施方案中,根据确定第一手势未能满足完成阈值而执行相对于第一元素移动第二元素以增大第一元素和第二元素之间的距离。响应于在继续检测对应于媒体库中的第一定位的用户注视时检测到第二手势而相对于第一元素移动第二元素,向用户提供了关于系统的状态(例如,系统已经在继续检测对应于第一定位的用户注视时检测到第二手势)的视觉反馈,这提供了改进的视觉反馈。
在一些实施方案中,该一个或多个用户手势(例如,718)包括在第一手势之后执行的第三手势(例如,第三空中手势);并且第三手势指示用户对第一媒体项的选择(例如,用户在不选择任何其他媒体项的情况下对第一媒体项的选择(例如,对仅第一媒体项的选择))。在一些实施方案中,第三手势是第一手势的继续(例如,第一手势的超过完成阈值的继续)。在一些实施方案中,响应于检测到第三手势,计算机系统增大第一元素和第二元素之间的距离(例如,沿着预定义轴)(例如,如参考图7D至图7F所述)。在一些实施方案中,响应于检测到第一手势,将第一元素和第二元素之间的距离减小到第一距离,并且响应于检测到第三手势,将第一元素和第二元素之间的距离从第一距离增大到第二距离。在一些实施方案中,响应于在继续检测对应于媒体库用户界面中的第一定位的用户注视时检测到第一手势,计算机系统基于第一手势的量值相对于第一元素移动第二元素以将第一元素和第二元素之间的距离减小到第一距离;并且在相对于第一元素移动第二元素以将第一元素和第二元素之间的距离减小到第一距离之后:根据确定第一手势满足完成阈值,计算机系统将第一元素和第二元素之间的距离增大到第二距离。响应于检测到第三手势而增大第一元素和第二元素之间的距离,向用户提供了关于系统的状态(例如,系统已经检测到第三手势)的视觉反馈,这提供了改进的视觉反馈。
在一些实施方案中,显示媒体库用户界面(例如,708)包括:与第一媒体项(例如,710A-710F)的表示同时地显示与第一媒体项(例如,710A-710F)的表示不同的第二媒体项的表示;并且该一个或多个用户手势包括第一选择手势(例如,空中手势)(例如,718)(例如,空中轻击手势(例如,不接触任何表面或对象的轻击手势);双指捏合手势;双指去捏合手势;单手捏合手势;和/或单手去捏合手势),该第一选择手势对应于对第一媒体项的选择(例如,对图7D中的媒体项710F的选择)(例如,对第一媒体项的选择,而没有对任何其他媒体项的选择(例如,对仅第一媒体项的选择))。在一些实施方案中,检测第一选择手势包括:检测预定义手势(例如,空中手势),同时还检测到用户的注视指向第一媒体项和/或保持在第一媒体项上(例如,在用户的注视指向第一媒体项和/或保持在第一媒体项上时的单手捏合手势和/或双手去捏合手势)。在一些实施方案中,响应于检测到与对第一媒体项的选择相对应的第一选择手势,计算机系统在视觉上遮蔽第二媒体项的表示(例如,使第二媒体项的表示模糊)(例如,如参考图7D至图7F所述)。响应于检测到第一选择手势而在视觉上遮蔽第二媒体项的表示,向用户提供了关于系统的状态(例如,系统已经检测到与对第一媒体项的选择相对应的第一选择手势)的视觉反馈,这提供了改进的视觉反馈。
在一些实施方案中,在检测到对应于媒体库用户界面中的第一定位的用户注视(例如,714)时(并且任选地,在以第二方式显示第一媒体项的表示时),计算机系统经由一个或多个输入设备检测第二组一个或多个用户手势(例如,718)(例如,用户的手部、头部的移动(例如,左右移动)和/或身体部位的移动)(例如,一个或多个空中手势)。响应于检测到第二组一个或多个用户手势,计算机系统基于第二组一个或多个用户手势(例如,基于第二组一个或多个用户手势的移动方向)来偏移第一媒体项的表示的视觉内容(例如,图7C至图7D)。在一些实施方案中,响应于检测到第二组一个或多个用户手势,计算机系统显示附加内容(例如,第一媒体项的附加内容和/或媒体库用户界面的附加内容)。响应于检测到第二组一个或多个用户手势而偏移第一媒体项的表示的视觉内容,向用户提供了关于系统的状态(例如,系统已经检测到第二组一个或多个用户手势)的视觉反馈,这提供了改进的视觉反馈。在一些实施方案中,当计算机系统是头戴式设备时,第二组一个或多个用户手势对应于用户头部的旋转。
在一些实施方案中,在显示媒体库用户界面(例如,708)时,计算机系统经由一个或多个输入设备检测第三组一个或多个用户手势(例如,716)(例如,一个或多个空中手势),该第三组一个或多个用户手势包括捏合手势(例如,捏合空中手势)(例如,两根手指彼此靠近的放置和/或两根手指彼此更靠近的移动)和拖动手势(例如,拖动空中手势)(例如,手部在一个方向上的移动(例如,所捏合手部在一个方向上的移动))(例如,捏合和拖动手势)。响应于检测到第三组一个或多个用户手势,计算机系统显示媒体库用户界面的滚动(例如,图7C至图7D)。在一些实施方案中,在检测到第三组一个或多个用户手势之前,计算机系统显示第一媒体项集合的表示,并且显示媒体库用户界面的滚动包括:在检测到第三组一个或多个用户手势之后,显示不同于第一媒体项集合的第二媒体项集合的表示。在一些实施方案中,显示媒体库用户界面的滚动包括:显示第一媒体项集合在一个方向上的滚动,直到不再显示第一媒体项集合的至少一个子集。响应于检测到第三组一个或多个用户手势而显示媒体库用户界面的滚动,向用户提供了关于系统的状态(例如,系统已经检测到第三组一个或多个用户手势)的视觉反馈,这提供了改进的视觉反馈。
在一些实施方案中,在显示媒体库用户界面(例如,708)时,计算机系统经由一个或多个输入设备检测一个或多个用户输入(例如,718)(例如,一个或多个手势输入(例如,一个或多个空中手势)和/或一个或多个非手势输入)(例如,在用户的注视指向第一媒体项和/或保持在第一媒体项上时的单手捏合手势和/或双手去捏合手势),该一个或多个用户输入与对第一媒体项(例如,710F)的选择(例如,在不选择任何其他媒体项的情况下对第一媒体项的选择(例如,对仅第一媒体项的选择))相对应。响应于检测到与对第一媒体项的选择相对应的一个或多个用户输入,计算机系统经由显示生成部件在不同于媒体库用户界面的所选择媒体用户界面(例如,719)中显示第一媒体项。在一些实施方案中,所选择媒体用户界面覆盖媒体库用户界面。在一些实施方案中,响应于检测到与对第一媒体项的选择相对应的一个或多个用户输入,计算机系统停止显示媒体库用户界面或停止显示媒体库用户界面的至少一部分。在所选择媒体用户界面中显示第一媒体项时,计算机系统经由一个或多个输入设备检测第四组一个或多个用户手势(例如,732)(例如,一个或多个空中手势),该第四组一个或多个用户手势包括捏合手势(例如,捏合空中手势)(例如,两根手指靠近彼此的放置和/或两根手指更靠近彼此的移动)和拖动手势(例如,拖动空中手势)(例如,手部在一个方向上的移动(例如,所捏合手部在一个方向上的移动))(例如,在第一方向上的捏合和拖动手势)。响应于检测到第四组一个或多个用户手势:计算机系统停止第一媒体项在所选择媒体用户界面内的显示;并且经由显示生成部件在所选择媒体用户界面内显示不同于第一媒体项的第二媒体项(例如,如参考图7F所述)。在一些实施方案中,计算机系统将第一媒体项在所选择媒体用户界面内的显示替换成第二媒体项在所选择媒体用户界面内的显示。在一些实施方案中,在所选择媒体用户界面内显示第二媒体项根据确定拖动手势(例如,捏合和拖动手势)对应于特定方向(例如,向左方向、向右方向、向上方向和/或向下方向)来执行。在一些实施方案中,在不同于该特定方向的方向上的捏合和拖动手势导致不同的动作(例如,停止显示所选择媒体用户界面,和/或显示媒体库用户界面)。响应于检测到第四组一个或多个用户手势而停止第一媒体项在所选择媒体用户界面内的显示并且在所选择媒体用户界面内显示不同于第一媒体项的第二媒体项,向用户提供了关于系统的状态(例如,系统已经检测到第四组一个或多个用户手势)的视觉反馈,这提供了改进的视觉反馈。
在一些实施方案中,在显示媒体库用户界面(例如,708)时,计算机系统经由一个或多个输入设备检测一个或多个用户输入(例如,718)(例如,一个或多个手势输入(例如,一个或多个空中手势)和/或一个或多个非手势输入)(例如,在用户的注视指向第一媒体项和/或保持在第一媒体项上时的单手捏合手势和/或双手去捏合手势),该一个或多个用户输入与对第一媒体项(例如,710F)的选择(例如,在不选择任何其他媒体项的情况下对第一媒体项的选择(例如,对仅第一媒体项的选择))相对应。响应于检测到与对第一媒体项的选择相对应的一个或多个用户输入,计算机系统经由显示生成部件在不同于媒体库用户界面的所选择媒体用户界面(例如,719)中显示第一媒体项(例如,710F)。在一些实施方案中,所选择媒体用户界面覆盖媒体库用户界面。在一些实施方案中,响应于检测到与对第一媒体项的选择相对应的一个或多个用户输入,计算机系统停止显示媒体库用户界面或停止显示媒体库用户界面的至少一部分。在所选择媒体用户界面中显示第一媒体项时,计算机系统经由一个或多个输入设备检测第五组一个或多个用户手势(例如,732)(例如,一个或多个空中手势),该第五组一个或多个用户手势包括捏合手势(例如,两根手指彼此靠近的放置和/或两根手指彼此更靠近的移动)和拖动手势(例如,手部在一个方向上的移动(例如,所捏合手部在一个方向上的移动))(例如,在第一方向上的捏合和拖动手势)。响应于检测到第五组一个或多个用户手势:计算机系统停止所选择媒体用户界面的显示;并且经由显示生成部件(例如,在先前被所选择媒体用户界面占据的位置处)显示媒体库用户界面(例如,708)(例如,如参考图7F所述)。在一些实施方案中,停止所选择媒体用户界面的显示并且显示媒体库用户界面根据确定拖动手势(例如,捏合和拖动手势)对应于特定方向(例如,向左方向、向右方向、向上方向和/或向下方向)来执行。在一些实施方案中,在不同于该特定方向的方向上的捏合和拖动手势导致不同的动作(例如,将所选择媒体用户界面内的第一媒体项的显示替换成所选择媒体用户界面内的不同媒体项)。响应于检测到第五组一个或多个用户手势而停止所选择媒体用户界面的显示并且显示媒体库用户界面,向用户提供了关于系统的状态(例如,系统已经检测到第五组一个或多个用户手势)的视觉反馈,这提供了改进的视觉反馈。
在一些实施方案中,在显示媒体库用户界面(例如,708)时,计算机系统经由一个或多个输入设备检测一个或多个用户输入(例如,718)(例如,一个或多个手势输入(例如,一个或多个空中手势)和/或一个或多个非手势输入)(例如,在用户的注视指向第一媒体项和/或保持在第一媒体项上时的单手捏合手势和/或双手去捏合手势),该一个或多个用户输入与对第一媒体项(例如,710F)的选择(例如,在不选择任何其他媒体项的情况下对第一媒体项的选择(例如,对仅第一媒体项的选择))相对应。响应于检测到与对第一媒体项的选择相对应的一个或多个用户输入,计算机系统经由显示生成部件在不同于媒体库用户界面的所选择媒体用户界面(例如,719)中显示第一媒体项(例如,710F)。在一些实施方案中,所选择媒体用户界面覆盖媒体库用户界面。在一些实施方案中,响应于检测到与对第一媒体项的选择相对应的一个或多个用户输入,计算机系统停止显示媒体库用户界面或停止显示媒体库用户界面的至少一部分。在所选择媒体用户界面中显示第一媒体项时,计算机系统经由一个或多个输入设备检测第六组一个或多个用户手势(例如,一个或多个空中手势)(例如,732),该第六组一个或多个用户手势包括捏合手势(例如,两根手指彼此靠近的放置和/或两根手指彼此更靠近的移动)和拖动手势(例如,手部在一个方向上的移动(例如,所捏合手部在一个方向上的移动))(例如,在第一方向上的捏合和拖动手势)。响应于检测到第六组一个或多个用户手势并且根据确定拖动手势(例如,捏合和拖动手势)对应于第一方向(例如,向左方向、向右方向、向上方向和/或向下方向):计算机系统停止第一媒体项在所选择媒体用户界面内的显示;并且经由显示生成部件在所选择媒体用户界面内显示不同于第一媒体项的第二媒体项。在一些实施方案中,显示第二媒体项包括:将第一媒体项在所选择媒体用户界面内的显示替换成第二媒体项在所选择媒体用户界面内的显示。在一些实施方案中,响应于检测到第六组一个或多个用户手势并且根据确定拖动手势(例如,捏合和拖动手势)对应于不同于第一方向的第二方向(例如,向左方向、向右方向、向上方向和/或向下方向):计算机系统停止所选择媒体用户界面的显示;并且经由显示生成部件显示媒体库用户界面(例如,如参考图7F所述)。
在一些实施方案中,响应于检测到第六组一个或多个用户手势:根据确定拖动手势在不同于第一方向和第二方向(并且任选地,与第一方向相反)的第三方向上:计算机系统停止第一媒体项在所选择媒体用户界面内的显示;并且经由显示生成部件在所选择媒体用户界面内显示不同于第一媒体项和第二媒体项的第三媒体项。在一些实施方案中,计算机系统将第一媒体项在所选择媒体用户界面内的显示替换成第三媒体项在所选择媒体用户界面内的显示。
响应于检测到第六组一个或多个用户手势并且根据确定拖动手势对应于第一方向而停止第一媒体项在所选择媒体用户界面内的显示并且在所选择媒体用户界面内显示不同于第一媒体项的第二媒体项,向用户提供了关于系统的状态(例如,系统已经检测到第六组一个或多个用户手势并且已经确定第六组手势对应于第一方向)的视觉反馈,这提供了改进的视觉反馈。
响应于检测到第六组一个或多个用户手势并且根据确定拖动手势对应于第二方向而停止所选择媒体用户界面的显示并且显示媒体库用户界面,向用户提供了关于系统的状态(例如,系统已经检测到第六组一个或多个用户手势并且已经确定第六组一个或多个用户手势对应于第二方向)的视觉反馈,这提供了改进的视觉反馈。
在一些实施方案中,在显示媒体库用户界面(例如,708)时,计算机系统经由一个或多个输入设备检测一个或多个用户输入(例如,718)(例如,一个或多个手势输入(例如,一个或多个空中手势)和/或一个或多个非手势输入)(例如,在用户的注视指向第一媒体项和/或保持在第一媒体项上时的单手捏合手势和/或双手去捏合手势),该一个或多个用户输入与对第一媒体项(例如,710F)的选择(例如,在不选择任何其他媒体项的情况下对第一媒体项的选择(例如,对仅第一媒体项的选择))相对应。响应于检测到与对第一媒体项的选择相对应的一个或多个用户输入,计算机系统经由显示生成部件在不同于媒体库用户界面的所选择媒体用户界面(例如,719)中显示第一媒体项(例如,710F)。在一些实施方案中,所选择媒体用户界面覆盖媒体库用户界面。在一些实施方案中,响应于检测到与对第一媒体项的选择相对应的一个或多个用户输入,计算机系统停止显示媒体库用户界面或停止显示媒体库用户界面的至少一部分。在所选择媒体用户界面中显示第一媒体项时:根据确定用户的手部(例如,用户的一只或多只手部)处于第一状态(例如,抬起状态和/或处于第一位姿),计算机系统经由显示生成部件显示第一组用户界面控件(例如,728A、728B、728C和/或740)(例如,可选择控件:关闭选项、共享选项、时间信息、日期信息、位置信息和/或回放控件(例如,播放选项、暂停选项、快进选项和/或倒退选项))。在一些实施方案中,在显示第一组用户界面控件时,计算机系统检测与对第一组用户界面控件中的第一用户界面控件的选择相对应的一个或多个选择输入;并且响应于检测到该一个或多个选择输入,修改第一媒体项的显示(例如,关闭(例如,停止显示)第一媒体项;发起和/或暂停第一媒体项的回放;在第一媒体项的回放中前跳和/或后跳;减慢和/或加速第一媒体项的回放)。在一些实施方案中,第一组用户界面控件包括可被选择以关闭(例如,停止显示)第一媒体项的第一用户界面控件(例如,关闭选项)。在一些实施方案中,第一组一个或多个用户界面控件包括可被选择以发起用于向一个或多个外部电子设备共享第一媒体项的过程的第二用户界面控件(例如,共享选项)。在一些实施方案中,第一组一个或多个用户界面控件包括可被选择以恢复和/或发起第一媒体项的回放的第三用户界面控件(例如,播放选项)。在一些实施方案中,第一组一个或多个用户界面控件包括可被选择以暂停第一媒体项的回放的第四用户界面控件(例如,暂停选项)。在一些实施方案中,第一组一个或多个用户界面控件包括可被选择以在第一媒体的回放中前跳和/或加速第一媒体项的回放的第五用户界面控件(例如,快进选项)。在一些实施方案中,第一组一个或多个用户界面控件包括可被选择以使第一媒体项的回放后跳、减慢和/或回倒的第六用户界面控件(例如,倒退选项);并且根据确定用户的手部(例如,用户的一只或多只手部)处于不同于第一状态的第二状态(例如,放下状态和/或处于第二位姿),计算机系统放弃显示第一组用户界面控件(例如,如参考图7N所述)。
在一些实施方案中,显示第一组用户界面控件而不覆盖在第一媒体项上(例如,在第一媒体项之上和/或之下)。在一些实施方案中,在显示第一组用户界面控件时,计算机系统经由一个或多个输入设备检测到用户的手部已经从第一状态移动到第二状态;并且响应于检测到用户的手部已经从第一状态移动到第二状态,停止第一组用户界面控件的显示。
根据确定用户的手部处于第一状态而显示第一组用户界面控件向用户提供了关于系统的状态(例如,系统已经检测到用户的手部处于第一状态)的视觉反馈,这提供了改进的视觉反馈。
在用户的手部处于第二状态时放弃显示第一组用户界面控件以及在用户的手部处于第一状态时显示第一组用户界面控件,提供了附加控制选项而不使用户界面混乱。
在一些实施方案中,在显示媒体库用户界面(例如,708)时,计算机系统经由一个或多个输入设备检测第七组一个或多个用户输入(例如,718)(例如,一个或多个空中手势)(例如,在用户的注视指向第一媒体项和/或保持在第一媒体项上时的单手捏合手势和/或双手去捏合手势),该第七组一个或多个用户输入与对第一媒体项(例如,710F)的选择(例如,在不选择任何其他媒体项的情况下对第一媒体项的选择(例如,对仅第一媒体项的选择))相对应。响应于检测到第七组一个或多个用户手势,计算机系统从显示第一组照明效果(例如,第一组视觉照明特征)转变为显示不同于第一组照明效果的第二组照明效果(例如,第二组视觉照明特征),该转变包括:在显示第一组照明效果之后,经由显示生成部件显示中间组照明效果(例如,不同于第一组视觉照明特征和第二组视觉照明特征的中间组视觉照明特征),其中中间组照明效果不同于第一组照明效果和第二组照明效果(在一些实施方案中,第一组照明效果具有针对第一照明特征(例如,亮度、对比度、饱和度)的第一值(例如,第一数值),第二组照明效果具有针对第一照明特征的不同于第一值的第二值,并且中间组照明效果具有针对第一照明特征的不同于第一值和第二值的第三值,其中第三值在第一值和第二值之间);以及在显示中间组照明效果之后,经由显示生成部件显示第二组照明效果(例如,如参考图7D至图7F所述)。在一些实施方案中,当计算机系统是头戴式设备时,第一组和/或第二组照明效果的外观响应于计算机系统检测到用户已经(例如,在用户穿戴计算机系统的同时)在物理环境内重新定位自己和/或用户已经旋转其头部而改变。
在一些实施方案中,从显示第一组照明效果转变为显示第二组照明效果包括:从第一组照明效果逐渐转变为第二组照明效果(例如,在第一组照明效果到第二组照明效果之间应用多个中间照明效果)。在一些实施方案中,从显示第一组照明效果转变为显示第二组照明效果包括:逐渐应用其中多条光线(例如,具有变化的颜色、长度和/或强度的多条光线)从媒体窗口延伸的光溢出效果(例如,逐渐增大光溢出效果的亮度和/或强度)。在一些实施方案中,光溢出效果基于所选择媒体项来确定(例如,基于选择哪个媒体项而有所不同)。在一些实施方案中,从显示第一组照明效果转变为显示第二组照明效果包括:使与媒体库用户界面同时地显示的背景内容逐渐变暗。在一些实施方案中,响应于检测到第七组一个或多个用户手势,在所选择媒体项用户界面中显示所选择第一媒体项。在一些实施方案中,背景内容在第一时间与媒体库用户界面同时地显示,并且在第二时间与所选择媒体项用户界面同时地显示。在一些实施方案中,背景内容在与媒体库用户界面同时地显示时以变亮状态显示,并且在与所选择媒体项用户界面同时地显示时以变暗状态显示。在一些实施方案中,当计算机系统是头戴式设备时,第一组和/或第二组照明效果的外观响应于计算机系统检测到用户已经(例如,在用户穿戴计算机系统的同时)在物理环境内重新定位自己和/或用户已经旋转其头部而改变。
响应于检测到第七组一个或多个用户手势而从显示第一组照明效果转变为显示第二组照明效果,向用户提供了关于系统的状态(例如,系统已经检测到第七组一个或多个用户手势)的视觉反馈,这提供了改进的视觉反馈。
在一些实施方案中,计算机系统经由显示生成部件在不同于媒体库用户界面(例如,708)的所选择媒体用户界面(例如,719)(例如,指示对第一媒体项的选择(例如,指示对仅第一媒体项的选择)的所选择媒体用户界面(例如,其中第一媒体项在视觉上被强调(例如,以与其他媒体项相比更大的大小显示,和/或是正在显示的媒体库的唯一媒体项)的所选择媒体用户界面)中显示第一媒体项(例如,710F)。在所选择媒体用户界面中显示第一媒体项时,计算机系统经由一个或多个输入设备检测第八组一个或多个用户手势(例如,732)(例如,一个或多个空中手势)(例如,捏合和拖动手势(例如,在预先确定方向上的捏合和拖动手势)),第八组一个或多个用户手势与关闭所选择媒体用户界面的用户请求相对应。响应于检测到第八组一个或多个用户手势,计算机系统从显示第三组照明效果(例如,第三组视觉照明特征)(例如,在所选择媒体用户界面中与第一媒体项同时地显示的第三组照明效果)转变为显示不同于第三组照明效果的第四组照明效果(例如,第四组视觉照明特征),该转变包括:在显示第三组照明效果之后,经由显示生成部件显示第二中间组照明效果(例如,不同于第三组视觉照明特征和第四组视觉照明特征的第二中间组视觉照明特征),其中第二中间组照明效果不同于第三组照明效果和第四组照明效果(在一些实施方案中,第三组照明效果具有针对第一照明特征(例如,亮度、对比度、饱和度)的第一值(例如,第一数值),第四组照明效果具有针对第一照明特征的不同于第一值的第二值,并且第二中间组照明效果具有针对第一照明特征的不同于第一值和第二值的第三值,其中第三值在第一值和第二值之间);以及在显示第二中间组照明效果之后,经由显示生成部件显示第四组照明效果(例如,如参考图7F所述)。
在一些实施方案中,从显示第三组照明效果转变为显示第四组照明效果包括:从第三组照明效果逐渐转变为第四组照明效果(例如,在第三组照明效果到第四组照明效果之间应用多个中间照明效果)。在一些实施方案中,从显示第三组照明效果转变为显示第四组照明效果包括:逐渐减小其中多条光线(例如,具有变化的颜色、长度和/或强度的多条光线)从媒体窗口延伸(例如,从所选择媒体用户界面延伸)的光溢出效果(例如,逐渐减小光溢出效果的亮度和/或强度)。在一些实施方案中,光溢出效果基于所选择媒体项来确定(例如,基于选择哪个媒体项而有所不同)。在一些实施方案中,从显示第三组照明效果转变为显示第四组照明效果包括:使与所选择媒体用户界面同时地显示的背景内容逐渐变亮。在一些实施方案中,响应于检测到第八组一个或多个用户手势,计算机系统停止显示所选择媒体用户界面并且显示媒体库用户界面。在一些实施方案中,背景内容在第一时间与所选择媒体用户界面同时地显示,并且在第二时间与媒体库用户界面同时地显示。在一些实施方案中,背景内容在与所选择媒体用户界面同时地显示时以变暗状态显示,并且在与媒体库媒体项用户界面同时地显示时以变亮状态显示。
响应于检测到第八组一个或多个用户手势而从显示第三组照明效果转变为显示第四组照明效果,向用户提供了关于系统的状态(例如,系统已经检测到第八组一个或多个用户手势)的视觉反馈,这提供了改进的视觉反馈。
在一些实施方案中,计算机系统经由显示生成部件同时地:在不同于媒体库用户界面(例如,708)的所选择媒体用户界面(例如,719)(例如,指示对第一媒体项的选择(例如,指示对仅第一媒体项的选择)的所选择媒体用户界面(例如,其中第一媒体项在视觉上被强调(例如,以与其他媒体项相比更大的大小显示,和/或是正在显示的媒体库的唯一媒体项)的所选择媒体用户界面)中显示第一媒体项(例如,741或743);并且显示导航用户界面元素(例如,740)(例如,搓擦条),该导航用户界面元素用于导航通过视觉内容(例如,导航通过多个帧(例如,视频的图像),和/或导航通过多个媒体项)。与第一媒体项同时地在所选择媒体用户界面中显示导航用户界面元素允许用户以更少的输入导航通过内容,这减少了执行操作所需的输入数量。
在一些实施方案中,导航用户界面元素(例如,740)包括一个或多个可选择控件,当被选择时,该一个或多个可选择控件执行与一个或多个相应媒体项相关联的相应功能(例如,图7M至图7N中的搓擦条740中示出的暂停选项)(例如,播放选项、暂停选项、快进选项、倒退选项和/或跳跃选项)。在一些实施方案中,在显示导航用户界面元素时,计算机系统检测与对该一个或多个可选择控件中的第一可选择控件的选择相对应的一个或多个选择输入(例如,一个或多个空中手势);并且响应于检测到该一个或多个选择输入,计算机系统修改第一媒体项的显示(例如,发起和/或暂停第一媒体项的回放;在第一媒体项的回放中前跳和/或后跳;减慢和/或加速第一媒体项的回放)。在一些实施方案中,该一个或多个可选择控件包括可被选择以恢复和/或发起第一媒体项的回放的第一控件(例如,播放选项)。在一些实施方案中,该一个或多个可选择控件包括可被选择以暂停第一媒体项的回放的第二控件(例如,暂停选项)。在一些实施方案中,该一个或多个可选择控件包括可被选择以在第一媒体的回放中前跳和/或加速第一媒体项的回放的第三控件(例如,快进选项)。在一些实施方案中,该一个或多个可选择控件包括可被选择以在第一媒体项的回放中后跳、使第一媒体项的回放减慢和/或回倒的第四控件(例如,倒退选项)。显示一个或多个可选择控件允许用户以更少的输入来执行各种相应功能,这减少了执行操作所需的输入数量。
在一些实施方案中,在显示媒体库用户界面(例如,708)时,计算机系统经由一个或多个输入设备检测与对第一媒体项(例如,710F)的选择相对应的一个或多个用户输入(例如,718)(例如,一个或多个触摸输入、一个或多个非触摸输入和/或一个或多个手势(例如,一个或多个空中手势))(例如,在用户的注视指向第一媒体项和/或保持在第一媒体项上时的单手捏合手势和/或双手去捏合手势)。响应于检测到与对第一媒体项的选择相对应的一个或多个用户输入:根据确定已经满足第一组标准(例如,根据确定第一用户设置(例如,沉浸式查看设置)被启用和/或禁用;根据确定第一媒体项是特定类型的;和/或根据确定检测到特定类型的一个或多个用户输入),计算机系统经由显示生成部件以第一角度大小显示第一媒体项;并且根据确定未满足第一组标准,计算机系统经由显示生成部件以不同于第一角度大小的第二角度大小显示第一媒体项(例如,如参考图7F所述)。在一些实施方案中,第一角度大小对应于沉浸式查看体验(例如,对于正在查看的媒体项具有更大的角度大小),并且第二角度大小对应于非沉浸式查看体验(例如,第二角度大小小于第一角度大小)。在一些实施方案中,当计算机系统是头戴式设备时并且在以第一角度大小显示第一媒体项时,计算机系统响应于计算机系统检测到用户已经(例如,在用户穿戴计算机系统的同时)在物理环境中重新定位自己和/或旋转其头部而改变显示第一媒体项的视角。根据确定已经满足第一组标准而以第一角度大小显示第一媒体项,向用户提供了关于系统的状态(例如,已经满足第一组标准)的视觉反馈,这提供了改进的视觉反馈。
在一些实施方案中,计算机系统经由显示生成部件(例如,在不同于媒体库用户界面的所选择媒体用户界面内)(例如,指示对第一媒体项的选择(例如,指示对仅第一媒体项的选择)的所选择媒体用户界面)(例如,其中第一媒体项相对于其他媒体项在视觉上被强调(例如,以与其他媒体项相比更大的大小显示,和/或是正在显示的媒体库的唯一媒体项)的所选择媒体用户界面)显示第一媒体项(例如,710F),其中第一媒体项(例如,在所选择媒体用户界面内)在对第一媒体项应用渐晕的情况下显示(例如,使第一媒体项的边缘和/或角变暗、淡出、被遮蔽和/或模糊)(例如,如参考图7F所述)。在对第一媒体项应用渐晕的情况下显示该第一媒体项的表示,向用户指示第一媒体项的表示正例如以所选择状态显示,这提供了改进的视觉反馈。
在一些实施方案中,计算机系统(例如,在第二时间之后的第六时间)(例如,在以第三方式显示第一媒体项的表示之后或同时)经由一个或多个输入设备检测对应于媒体库用户界面(例如,708)中的第一定位的用户注视(例如,714)(例如,检测和/或确定用户正注视媒体库用户界面中的第一定位)(例如,媒体库用户界面中与第一媒体项的表示相对应的第一定位)。在继续检测对应于媒体库用户界面中的第一定位的用户注视时(例如,在第六时间之后的第七时间),计算机系统经由一个或多个输入设备检测与对第一媒体项(例如,710F)的选择相对应的选择手势(例如,718)(例如,空中手势)(例如,用户的手部、头部和/或身体的移动)(在一些实施方案中,一个或多个非手势输入)(例如,在用户的注视指向第一媒体项和/或保持在第一媒体项上时的单手捏合手势和/或双手去捏合手势)。响应于在继续检测对应于媒体库用户界面中的第一定位的用户注视时检测到与对第一媒体项的选择相对应的选择手势:根据确定选择手势对应于第一类型的选择手势(例如,空中手势)(例如,单手捏合手势、单手双捏合手势、双手捏合手势、双手去捏合手势、部分地完成的单手捏合手势和/或完成的单手捏合手势),计算机系统经由显示生成部件以第九方式(例如,以第九组视觉特征)显示第一媒体项(例如,以中间所选择状态(例如,以从媒体库用户界面转变到所选择媒体用户界面的转变状态)显示第一媒体项)(例如,以小于在所选择媒体用户界面中显示的第一媒体项的大小并且大于在媒体库用户界面内的第一媒体项的表示的大小的大小显示第一媒体项);并且根据确定选择手势对应于不同于第一类型的选择手势的第二类型的选择手势(例如,单手捏合手势、单手双捏合手势、双手捏合手势、双手去捏合手势、部分地完成的单手捏合手势和/或完成的单手捏合手势),计算机系统经由显示生成部件以不同于第九方式的第十方式(例如,以不同于第九组视觉特征的第十组视觉特征)(例如,在不同于媒体库用户界面的指示用户对第一媒体项的选择的所选择媒体用户界面中)显示第一媒体项。在一些实施方案中,以第九方式显示第一媒体项包括:以转变状态显示第一媒体项,并且以第十方式显示第一媒体项包括:以所选择状态显示第一媒体项。在一些实施方案中,以第九方式显示第一媒体项包括:以大于媒体库用户界面中第一媒体项的表示的大小的第一大小显示第一媒体项,并且以第十方式显示第一媒体项包括:以大于第一大小的第二大小显示第一媒体项(例如,如参考图7F所述)。响应于检测到与对第一媒体项的选择相对应的选择手势而以第九方式和/或以第十方式显示第一媒体项向用户提供了关于系统的状态(例如,系统已经检测到与对第一媒体项的选择相对应的选择手势)的视觉反馈,这提供了改进的视觉反馈。
在一些实施方案中,方法800、900、1000和1100的各方面/操作可在这些方法之间互换、替换和/或添加。例如,在方法800中显示的媒体库用户界面任选地是在方法900中显示的用户界面,和/或在方法800中显示的第一媒体项任选地是在方法900和/或1000中显示的第一媒体项。为了简明起见,此处不再重复这些细节。
图9是根据一些实施方案的用于与媒体项和用户界面交互的示例性方法900的流程图。在一些实施方案中,方法1000在计算机系统(例如,700)(例如,图1的计算机系统101)(例如,智能电话、平板电脑和/或可穿戴设备)处执行,该计算机系统与显示生成部件(例如,702)(例如,显示控制器;触敏显示器系统;显示器(例如,集成的和/或连接的)、3D显示器、透明显示器、投影仪和/或平视显示器)和一个或多个输入设备(例如,715)(例如,触敏表面(例如,触敏显示器);鼠标;键盘;遥控器;视觉输入设备(例如,相机);音频输入设备(例如,麦克风);和/或生物测定传感器(例如,指纹传感器、面部标识传感器和/或虹膜标识传感器))通信。在一些实施方案中,方法1000通过存储在非暂态(或暂态)计算机可读存储介质中并由计算机系统的一个或多个处理器诸如计算机系统101的一个或多个处理器202(例如,图1A中的控件110)执行的指令来管理。方法900中的一些操作任选地被组合,并且/或者一些操作的次序任选地被改变。
在一些实施方案中,计算机系统(例如,700)经由显示生成部件(例如,702)以第一缩放水平显示(902)用户界面(例如,708、719)(例如,图7D中的用户界面708;图7F或图7J中的用户界面719)(例如,包括一个或多个内容项(例如,一个或多个可选择内容项和/或媒体项(例如,照片和/或视频))和/或一个或多个内容项的表示(例如,一个或多个媒体项的可选择表示)的用户界面)。在显示用户界面时(904),计算机系统经由一个或多个输入设备检测(906)对应于放大用户命令的一个或多个用户输入(例如,718、732、733、734)(例如,一个或多个轻击输入、一个或多个手势(例如,一个或多个空中手势)和/或一个或多个其他输入)(例如,单手捏合手势、单手双捏合手势、双手捏合手势和/或双手去捏合手势)。响应于检测到对应于放大用户命令的一个或多个用户输入(908):根据确定用户注视(例如,714)(例如,在检测到一个或多个用户输入时和/或在检测到一个或多个用户输入之后检测到的用户注视)对应于用户界面中的第一定位(910)(例如,根据确定用户正注视用户界面中的第一定位),计算机系统经由显示生成部件以大于第一缩放水平的第二缩放水平显示(912)用户界面(例如,图7E中的用户界面708;图7G中的用户界面719;图7H中的用户界面719;图7K中的用户界面719),其中以第二缩放水平显示用户界面包括:使用基于第一定位选择的第一缩放中心来缩放用户界面(例如,在扩大和/或缩放用户界面时,将用户界面的第一定位保持在其在显示生成部件上的当前显示定位(例如,对于缩放操作的至少一部分,将用户界面的第一定位保持在其在显示生成部件上的当前显示定位));并且根据确定用户注视(例如,在检测到一个或多个用户输入时和/或在检测到一个或多个用户输入之后检测到的用户注视)对应于用户界面中不同于第一定位的第二定位(914)(例如,根据确定用户正注视用户界面中的第二定位),计算机系统经由显示生成部件以大于第一缩放水平的第三缩放水平(例如,等于或不同于第二缩放水平的第三缩放水平)显示(916)用户界面(例如,图7E中的用户界面708;图7G中的用户界面719;图7H中的用户界面719;图7K中的用户界面719),其中以第三缩放水平显示用户界面包括:使用基于第二定位选择的第二缩放中心来缩放用户界面,并且第二缩放中心处于与第一缩放中心不同的位置(例如,在扩大和/或缩放用户界面时,将用户界面的第二定位保持在其在显示生成部件上的当前显示定位(例如,对于缩放操作的至少一部分,将用户界面的第二定位保持在其在显示生成部件上的当前显示定位))。响应于检测到对应于放大用户命令的一个或多个用户输入而使用基于用户注视的定位选择的第一缩放中心来以第二缩放水平显示用户界面,向用户提供了关于系统的状态(例如,系统已经检测到一个或多个用户输入,并且已经检测到用户注视的定位)的视觉反馈,这提供了改进的视觉反馈。
在一些实施方案中,对应于放大用户命令的一个或多个用户输入(例如,718、732、733或734)包括:第一捏合手势(例如,空中手势)(例如,其中两根手指移动成更靠近彼此的手势(例如,其中手部的食指和拇指移动成更靠近彼此的手势))(例如,单手捏合手势(例如,来自一只手部的两根手指移动成更靠近彼此));以及在第一捏合手势之后发生的第二捏合手势(例如,空中手势)(例如,第二单手捏合手势(例如,用与第一捏合手势相同的手部))(例如,在彼此的阈值持续时间内发生和/或检测到的第一捏合手势和第二捏合手势)。响应于第一捏合手势和第二捏合手势而使用基于用户注视的定位选择的第一缩放中心来以第二缩放水平显示用户界面,向用户提供了关于系统的状态(例如,系统已经检测到第一捏合手势和第二捏合手势,并且已经检测到用户注视的定位)的视觉反馈,这提供了改进的视觉反馈。
在一些实施方案中,对应于放大用户命令的一个或多个用户输入(例如,718、732、733或734)包括双手去捏合手势(例如,空中手势)(例如,其中第一只手部移动远离另一只手部的手势)(例如,其中做出捏合形状(例如,预定义捏合形状(例如,其中手部的食指和拇指接触的形状)的第一只手部移动远离做出捏合形状的第二只手部的手势)。响应于双手去捏合手势而使用基于用户注视的定位选择的第一缩放中心来以第二缩放水平显示用户界面,向用户提供了关于系统的状态(例如,系统已经检测到双手去捏合手势,并且已经检测到用户注视的定位)的视觉反馈,这提供了改进的视觉反馈。
在一些实施方案中,响应于检测到对应于放大用户命令的一个或多个用户输入(例如,718、732、733或734):根据确定用户界面正在显示第一类型的第一媒体项(例如,非全景图像),计算机系统以第一大小(例如,第一覆盖区域和/或第一组尺寸)(例如,第一类型的媒体项的预定义最大大小)显示第一媒体项;并且根据确定用户界面正在显示不同于第一类型的第二类型的第二媒体项(例如,全景图像(例如,通过在特定方向上将多个图像捕获物拼接在一起而生成的图像)(例如,具有被标识为全景尺寸的一组尺寸(例如,宽度和/或高度)的图像))(例如,纵横比大于阈值纵横比的图像(例如,纵横比大于和/或大于或等于16:9的图像)),计算机系统以大于第一大小的第二大小(例如,第二覆盖区域和/或第二组尺寸)(例如,大于第一类型的媒体项的预定义最大大小的大小)显示第二媒体项(例如,图7K至图7L中的媒体窗口704)(例如,如参考图7J至图7L所述)。在一些实施方案中,全景图像可被扩大到与非全景图像相比更大的大小。根据确定用户界面正在显示第二类型的媒体项而以大于第一大小的第二大小自动地显示第二媒体项,允许用户以更大的大小显示第二类型的媒体项(例如,全景图像)而不需要附加用户输入,这在已经满足一组条件时执行操作而不需要进一步的用户输入。
在一些实施方案中,响应于检测到对应于放大用户命令的一个或多个用户输入(例如,718、732、733或734):根据确定用户界面正在显示第一类型的第一媒体项(例如,非全景图像),计算机系统将第一媒体项显示为扁平对象(例如,二维对象、非弯曲对象、扁平平面对象、和/或具有扁平、非弯曲表面的对象);并且根据确定用户界面正在显示第二类型的第二媒体项(例如,全景图像(例如,通过在特定方向上将多个图像捕获物拼接在一起而生成的图像)(例如,具有被标识为全景尺寸的一组尺寸(例如,宽度和/或高度)的图像)),计算机系统将第二媒体项显示为弯曲对象(例如,三维对象、弯曲平面对象、和/或具有一个或多个弯曲表面的对象)(例如,图7K至图7L中的媒体窗口704)(例如,如参考图7J至图7L所述)。在一些实施方案中,全景图像随着它们的缩放而弯曲,并且非全景图像并不随着它们的缩放而弯曲。在一些实施方案中,当计算机系统是头戴式设备时,相较于当第一媒体项被显示为扁平对象时,当第二媒体项被显示为弯曲对象时,第二媒体项占据用户视场的更大部分。根据确定用户界面正在显示第二类型的媒体项而将第二媒体项自动地显示为弯曲对象允许用户将第二类型的媒体项(例如,全景图像)显示为弯曲对象而不需要附加用户输入,这在已经满足一组条件时执行操作而不需要进一步的用户输入。
在一些实施方案中,以第一缩放水平显示用户界面包括:以第一大小显示第一媒体项的表示(例如,第一媒体项的缩略图表示)(例如,图7D中的710F);并且三维环境(例如,706)至少部分地围绕用户界面(例如,708)并且包括在用户界面后面的背景内容(例如,物理或虚拟环境的表示)。在一些实施方案中,背景内容至少部分地围绕用户界面。在一些实施方案中,三维环境和/或背景内容由显示生成部件显示(例如,在用户界面后面)。在一些实施方案中,三维环境和/或背景内容对用户可见(例如,在用户界面后面),但并非由显示生成部件显示(例如,三维环境和/或背景内容是在用户界面后面对用户可见但并非由显示生成部件显示的有形物理对象)。在一些实施方案中,响应于检测到对应于放大用户命令的一个或多个用户输入(例如,718):计算机系统将第一媒体项的表示从以第一大小显示(例如,图7D中的710F)转变为以大于第一大小的第二大小显示(例如,图7F中的710F)(例如,放大第一媒体项的显示);并且相对于第一媒体项减少对背景内容的视觉强调(例如,图7F中的三维环境706)(例如,使背景内容变暗)。在一些实施方案中,与第一媒体项的表示从以第一大小显示转变为以第二大小显示同时地,背景内容从以第一亮度水平显示转变为以第二亮度水平显示。在用户已经放大第一媒体项时以变暗状态显示背景内容,向用户提供了关于系统的状态(例如,系统正在以放大状态显示第一媒体项)的反馈,这提供了改进的视觉反馈。
在一些实施方案中,以第一缩放水平显示用户界面包括:以第一大小显示第一媒体项的表示(例如,第一媒体项的缩略图表示)(例如,图7D中的710F)。在一些实施方案中,响应于检测到对应于放大用户命令的一个或多个用户输入(例如,718):计算机系统将第一媒体项的表示从以第一大小显示(例如,图7D中的710F)转变为以大于第一大小的第二大小显示(例如,图7F中的710F)(例如,放大第一媒体项的显示);并且显示从用户界面(例如,704)延伸(例如,从第一媒体项延伸)的光溢出效果(例如,726-1)。在一些实施方案中,光溢出效果包括基于第一媒体项的视觉内容(例如,视觉特征)确定的一个或多个视觉特征(例如,亮度、强度、大小和/或长度、颜色、饱和度、对比度)(例如,不同的媒体项导致不同的光溢出效果)。在一些实施方案中,光溢出效果包括以下中的一者或多者:围绕该项的边缘的辉光;围绕该项的光的外观;围绕该项的光线的外观;和/或在该项的中部或中心后面的光源的外观。在一些实施方案中,第一媒体项的表示的大小响应于对应于放大用户命令的一个或多个用户输入而逐渐增大。在一些实施方案中,从用户界面延伸到背景内容的光溢出效果与第一媒体项的表示的大小的逐渐增大同时地逐渐修改(例如,逐渐增强)。在用户已经放大第一媒体项时显示光溢出效果,向用户提供了关于系统的状态(例如,系统正在以放大状态显示第一媒体项)的反馈,这提供了改进的视觉反馈。
在一些实施方案中,以第一缩放水平显示用户界面包括:以第一大小显示第一媒体项(例如,图7J、图7K中的731)(例如,在指示用户对第一媒体项的选择的所选择媒体用户界面内显示第一媒体项的表示)。在一些实施方案中,以第二缩放水平显示用户界面包括:以大于第一大小的第二大小显示第一媒体项(例如,图7L中的731);根据确定第二大小大于预先确定阈值大小,在对第一媒体项的至少第一边缘应用模糊效果(例如,736A或736B)的情况下显示第一媒体项;并且根据确定第二大小不大于预先确定阈值大小,在不对第一媒体项的任何边缘应用模糊效果的情况下显示第一媒体项(例如,图7J)。在一些实施方案中,对第一媒体项的第一边缘应用模糊效果,作为未显示延伸超出第一边缘的第一媒体项的附加内容的指示和/或用户可在第一边缘的方向上滚动以查看第一媒体项的附加内容的指示。在一些实施方案中,模糊效果包括使第一媒体项的第一边缘处的视觉内容模糊和/或以其他方式在视觉上遮蔽第一媒体项的第一边缘处的视觉内容。在一些实施方案中,在对第一媒体项的任何边缘应用模糊效果的情况下显示第一媒体项指示正在显示第一媒体项的整体。在对第一媒体项的第一边缘应用模糊效果的情况下显示第一媒体项,向用户提供了关于系统状态(例如,存在未显示的延伸超出第一边缘的第一媒体项的附加内容)的反馈,这提供了改进的视觉反馈。
在一些实施方案中,用户界面是媒体库用户界面(例如,708),该媒体库用户界面包括媒体库(例如,与设备相关联(例如,存储在设备上)和/或与用户相关联的媒体项的集合)中的多个媒体项(例如,710A-710F)的表示,包括第一媒体项的表示和第二媒体项的表示。在一些实施方案中,以第一缩放水平显示用户界面包括同时地:以第一大小显示第一媒体项的表示(例如,具有第一组尺寸(例如,高度和/或宽度)),以及以第二大小(在一些实施方案中,第二大小与第一大小不同或相同)显示第二媒体项的表示(例如,图7D中的708)。在一些实施方案中,以第二缩放水平显示用户界面包括同时地:以大于第一大小的第三大小显示第一媒体项的表示;以及以大于第二大小的第四大小显示第二媒体项的表示(例如,图7E)。在一些实施方案中,第四大小与第三大小不同或相同。在一些实施方案中,以第一缩放水平显示用户界面包括:显示具有多个媒体项的表示的媒体库网格,并且以第二缩放水平显示用户界面包括:放大该媒体库网格(例如,显示较少媒体项的表示,但是以更大大小显示)。响应于检测到对应于放大用户命令的一个或多个用户输入而以第三大小显示第一媒体项的表示并且以第四大小显示第二媒体项的表示,向用户提供了关于系统的状态(例如,系统已经检测到对应于放大用户命令的一个或多个用户输入)的视觉反馈,这提供了改进的视觉反馈。
在一些实施方案中,以第一缩放水平显示用户界面包括:以第一大小显示用户界面(例如,具有第一组尺寸(例如,高度和/或宽度))。在一些实施方案中,响应于检测到对应于放大用户命令的一个或多个用户输入:根据确定用户界面是第一用户界面(例如,719)(例如,所选择媒体用户界面(例如,显示由用户选择的媒体项的用户界面,和/或指示和/或响应于用户对媒体项的选择的用户界面)),计算机系统以大于第一大小的第二大小显示用户界面(例如,图7J至图7L中的所选择媒体用户界面719);并且根据确定用户界面是不同于第一用户界面的第二用户界面(例如,708)(例如,媒体库用户界面(例如,显示媒体库的多个媒体项的表示的用户界面)),计算机系统保持用户界面处于第一大小(例如,图7D至图7E中的媒体库用户界面708)(在一些实施方案中,所选择媒体用户界面(例如,719)可响应于放大命令而扩大到更大大小,而媒体库用户界面(例如,708)并不响应于放大命令而扩大到更大大小)。响应于检测到对应于放大用户命令的一个或多个用户输入而以大于第一大小的第二大小显示用户界面,向用户提供了关于系统的状态(例如,系统已经检测到对应于放大用户命令的一个或多个用户输入)的视觉反馈,这提供了改进的视觉反馈。
在一些实施方案中,方法800、900、1000和1100的各方面/操作可在这些方法之间互换、替换和/或添加。例如,在方法800中显示的媒体库用户界面任选地是在方法900中显示的用户界面,和/或在方法800中显示的第一媒体项任选地是在方法900和/或1000中显示的第一媒体项。为了简明起见,此处不再重复这些细节。
图10是根据一些实施方案的用于与媒体项和用户界面交互的示例性方法1000的流程图。在一些实施方案中,方法1000在计算机系统(例如,700)(例如,图1的计算机系统101)处执行,该计算机系统与显示生成部件(例如,702)(例如,显示控制器;触敏显示器系统;显示器(例如,集成的和/或连接的)、3D显示器、透明显示器、投影仪和/或平视显示器)和一个或多个输入设备(例如,715)(例如,触敏表面(例如,触敏显示器);鼠标;键盘;遥控器;视觉输入设备(例如,相机);音频输入设备(例如,麦克风);和/或生物测定传感器(例如,指纹传感器、面部标识传感器和/或虹膜标识传感器))通信。在一些实施方案中,方法1000通过存储在非暂态(或暂态)计算机可读存储介质中并由计算机系统的一个或多个处理器诸如计算机系统101的一个或多个处理器202(例如,图1A中的控件110)执行的指令来管理。方法1000中的一些操作任选地被组合,并且/或者一些操作的次序任选地被改变。
在一些实施方案中,计算机系统(例如,700)经由一个或多个输入设备检测(1002)一个或多个用户输入(例如,718)(例如,一个或多个轻击输入、一个或多个手势(例如,一个或多个空中手势)、和/或一个或多个其他输入)(例如,在用户的注视指向第一媒体项和/或保持在第一媒体项上时的单手捏合手势和/或双手去捏合手势),该一个或多个用户输入对应于对第一媒体项(例如,710F)的选择(例如,对媒体库的第一媒体项的选择;对媒体库中的多个媒体项中的第一媒体项的选择;对多个媒体项中的第一媒体项的选择;和/或对多个所显示媒体项中的第一媒体项的选择(例如,对多个所显示媒体项的表示中的第一媒体项的表示的选择))。响应于检测到与对第一媒体项的选择相对应的一个或多个用户输入(1004):根据确定第一媒体项是包括相应类型的深度信息的媒体项(1006)(例如,具有从两个不同相机(或多组相机)同时捕获的媒体的立体媒体项,该立体媒体项通过显示用于用户的第一只眼睛的来自第一组一个或多个相机的用于用户的第一只眼睛的图像和用于用户的第二只眼睛的来自第二组一个或多个相机的图像来显示),计算机系统经由显示生成部件以第一方式显示(1008)第一媒体项(例如,图7F)(例如,具有第一组视觉特征);并且根据确定第一媒体项是不包括相应类型的深度信息的媒体项(1010),计算机系统经由显示生成部件以不同于第一方式的第二方式显示(1012)第一媒体项(例如,具有第二组视觉特征)(例如,图7J)(例如,如参考图7F和图7J所述)。根据确定第一媒体项是包括相应类型的深度信息的媒体项而以第一方式显示第一媒体项,向用户提供了关于系统的状态(例如,系统已经确定第一媒体项包括相应类型的深度信息)的视觉反馈,这提供了改进的视觉反馈。
在一些实施方案中,以第一方式显示第一媒体项包括:将第一媒体项显示为具有围绕第一媒体项的第一类型的边框(例如,围绕边缘和/或边界)(例如,具有第一形状的第一边框、具有第一组视觉特征的第一边框)(例如,具有折射边缘的第一边框和/或具有圆角的第一边框)(例如,图7F)。在一些实施方案中,以第二方式显示第一媒体项包括:将第一媒体项显示为具有围绕第一媒体项的不同于第一边框的第二类型的边框(例如,围绕边缘和/或边界)(例如,具有第二形状的第二边框、具有第二组视觉特征的第二边框)(例如,具有非折射边缘的第二边框和/或具有非圆角(例如,矩形角和/或尖角)的第二边框)(例如,图7J)(例如,如参考图7F所述)。在一些实施方案中,(例如,在媒体库用户界面中呈现的)媒体库包括第一类型的媒体项集合(例如,多个媒体项)和第二类型的媒体项集合(例如,多个媒体项)。响应于检测到与对第一类型的相应媒体项的选择相对应的一个或多个用户输入,计算机系统以第一方式显示第一类型的相应媒体项,包括将第一类型的相应媒体项显示为具有围绕第一类型的相应媒体项的第一类型的边框。响应于检测到与对第二类型的相应媒体项的选择相对应的一个或多个用户输入,计算机系统以第二方式显示第二类型的相应媒体项,包括将第二类型的相应媒体项显示为具有围绕第二类型的相应媒体项的第二类型的边框。在一些实施方案中,第一类型的媒体项以第一方式显示,包括被显示为具有第一类型的边框,并且第二类型的媒体项以第二方式显示,包括被显示为具有第二类型的边框。基于第一媒体项是否包括相应类型的深度信息而不同地显示第一媒体项的边框,向用户提供了关于系统状态(例如,第一媒体项是否包括相应类型的深度信息)的视觉反馈,这提供了改进的视觉反馈。
在一些实施方案中,当以第一方式显示第一媒体项时,至少部分地围绕(例如,完全地围绕)第一媒体项的内容(例如,背景内容)(例如,706)(例如,显示在第一媒体项后面并且部分地围绕第一媒体项的背景内容)具有(例如,被显示生成部件修改为具有)第一外观(例如,图7F)(例如,具有第三组视觉特征)(例如,具有显示在第一媒体项的边界之外的可选择控件和/或具有应用于背景内容的第三组照明效果);并且当以第二方式显示第一媒体项时,至少部分地围绕(例如,完全地围绕)第一媒体项的内容(例如,背景内容)具有(例如,被显示生成部件修改为具有)不同于第一外观的第二外观(例如,图7J)(例如,具有第四组视觉特征)(例如,不在第一媒体项的边界之外显示可选择控件和/或具有应用于背景内容的第四组照明效果)(例如,如参考图7F所述)。在一些实施方案中,至少部分地围绕第一媒体项的内容由显示生成部件显示。在一些实施方案中,至少部分地围绕第一媒体项的内容并非由显示生成部件显示(例如,至少部分地围绕第一媒体项的内容包括在用户界面后面的对于用户可见的一个或多个有形物理对象,且该内容并非由显示生成部件显示)。基于第一媒体项是否包括相应类型的深度信息而不同地显示围绕第一媒体项的内容,向用户提供了关于系统状态(例如,第一媒体项是否包括相应类型的深度信息)的视觉反馈,这提供了改进的视觉反馈。
在一些实施方案中,计算机系统显示从第一媒体项延伸的一组光线(例如,726-1、726-2、726-3、726-4、730-1、730-2、730-3或730-4)(例如,光溢出照明效果)(例如,从第一媒体项的外边界延伸到至少部分地围绕第一媒体项的背景内容中的光线)。在一些实施方案中,光线是针对其基于第一媒体项的视觉内容(例如,视觉特征)来确定光线的一个或多个视觉特征(例如,亮度、强度、大小、长度、颜色、饱和度和/或对比度)的视觉效果(例如,不同的媒体项导致不同的光溢出光线)。在一些实施方案中,以第二方式显示第一媒体项包括:放弃显示从第一媒体项延伸的该组光线。在一些实施方案中,从第一媒体项延伸的该组光线随时间推移改变(例如,随着第一媒体项的视觉内容随时间推移的改变(例如,随着第一媒体项的视觉内容(例如,视频内容)的播放),从第一媒体项延伸的该组光线随时间推移改变)。响应于检测到与对第一媒体项的选择相对应的一个或多个用户输入而显示从第一媒体项延伸的一组光线,向用户提供了关于系统的状态(例如,系统已经检测到与对第一媒体项的选择相对应的一个或多个用户输入)的视觉反馈,这提供了改进的视觉反馈。
在一些实施方案中,该组光线(例如,726-1、726-2、726-3、726-4、730-1、730-2、730-3或730-4)的一个或多个视觉特征(例如,亮度、强度、大小、长度、颜色、饱和度和/或对比度)基于第一媒体项的边缘处(例如,外边界处或距边缘的预先确定距离内)的一个或多个颜色来确定(例如,如参考图7F所述)(例如,在一些实施方案中,从第一媒体项的第一边缘延伸的光线的视觉特征基于在第一媒体项的第一边缘上显示的颜色来确定,和/或从第一媒体项的第二边缘延伸的光线的视觉特征基于在第一媒体项的第二边缘上显示的颜色来确定)。响应于检测到与对第一媒体项的选择相对应的一个或多个用户输入而显示从第一媒体项延伸的一组光线,向用户提供了关于系统的状态(例如,系统已经检测到与对第一媒体项的选择相对应的一个或多个用户输入)的视觉反馈,这提供了改进的视觉反馈。
在一些实施方案中,该组光线(例如,726-1、726-2、726-3、726-4、730-1、730-2、730-3或730-4)包括具有第一长度的第一光线和具有不同于第一长度的第二长度的第二光线(例如,该组光线包括具有不同或可变长度的光线)。在一些实施方案中,该组光线包括具有不同于第一长度和第二长度的第三长度的第三光线。在一些实施方案中,第一光线从第一媒体项的第一侧(例如,顶部、底部、左侧和/或右侧)延伸,第二光线从第一媒体项的不同于第一大小的第二侧延伸,第三光线从第一媒体项的不同于第一侧和第二侧的第三侧延伸,并且第四光线从第一媒体项的不同于第一侧、第二侧和第三侧的第四侧延伸。响应于检测到与对第一媒体项的选择相对应的一个或多个用户输入而显示从第一媒体项延伸的一组光线,向用户提供了关于系统的状态(例如,系统已经检测到与对第一媒体项的选择相对应的一个或多个用户输入)的视觉反馈,这提供了改进的视觉反馈。
在一些实施方案中,第一媒体项包括相应类型的深度信息(例如,具有从两个不同相机(或多组相机)同时捕获的媒体的立体媒体项,该立体媒体项通过显示用于用户的第一只眼睛的来自第一组一个或多个相机的图像和用于用户的第二只眼睛的来自第二组一个或多个相机的图像来显示),并且第一媒体项是由计算机系统(例如,700)(例如,使用连接到计算机系统和/或集成在计算机系统中的多个相机)捕获的。在一些实施方案中,在检测一个或多个用户输入之前,计算机系统经由一个或多个输入设备(例如,使用连接到计算机系统和/或集成在计算机系统中的多个相机)捕获第一媒体项。在一些实施方案中,如果第一媒体项是立体捕获物(例如,立体媒体项),则媒体项包括相应类型的深度信息。在一些实施方案中,立体捕获物包括从间隔开(例如,以与人眼近似相同的距离间隔开)的两个不同相机同时捕获的两个图像,并且这两个图像被同时地显示给用户(第一图像对应用户的第一只眼睛,并且第二图像对应用户的第二只眼睛)以重新创建所捕获场景的深度。在一些实施方案中,当计算机系统是头戴式设备时并且当第一媒体项包括深度信息时,计算机系统在计算机系统的第一显示器上显示媒体项中所包括的物理环境的第一视角,并且计算机系统在电子设备的第二显示器上显示媒体项中所包括的物理环境的第二视角,使得用户感知媒体项中所包括的内容之间的立体深度。根据确定第一媒体项是包括相应类型的深度信息的媒体项而以第一方式显示第一媒体项,向用户提供了关于系统的状态(例如,系统已经确定第一媒体项包括相应类型的深度信息)的视觉反馈,这提供了改进的视觉反馈。
在一些实施方案中,以第一方式显示第一媒体项包括:以第一组照明效果(例如,726-1、726-2、726-3或726-4)(例如,从第一媒体项延伸的第一组光溢出照明效果(例如,具有基于第一媒体项的视觉内容确定的一个或多个视觉特征(例如,亮度、强度、大小、长度、颜色、饱和度和/或对比度)的第一组光溢出照明效果))显示第一媒体项。在一些实施方案中,以第二方式显示第一媒体项包括:在具有第二组照明效果(例如,730-1、730-2、730-3或730-4)(例如,不同于第一组照明效果的第二组照明效果或与第一组照明效果相同的第二组照明效果)(例如,从第一媒体项延伸的第二组光溢出照明效果(例如,具有基于第一媒体项的视觉内容确定的一个或多个视觉特征(例如,亮度、强度、大小、长度、颜色、饱和度和/或对比度)的第二组光溢出照明效果)的情况下显示第一媒体项。例如,在一些实施方案中,不管第一媒体项是包括相应类型的深度信息的媒体项(例如,是立体媒体项)还是不包括相应类型的深度信息的媒体项(例如,不是立体媒体项),都在对第一媒体项应用照明效果的情况下显示第一媒体项。在一些实施方案中,不管第一媒体项是包括相应类型的深度信息的媒体项(例如,是立体媒体项)还是不包括相应类型的深度信息的媒体项(例如,不是立体媒体项),都在具有从第一媒体项延伸的光溢出光线的情况下显示第一媒体项。在一些实施方案中,从第一媒体项延伸的光溢出光线基于第一媒体项包括相应类型的深度信息还是不包括相应类型的深度信息而有所不同(例如,用于确定从第一媒体项延伸的光溢出光线的一个或多个算法基于第一媒体项包括相应类型的深度信息还是不包括相应类型的深度信息而有所不同)。响应于检测到与对第一媒体项的选择相对应的一个或多个用户输入而在具有第一组照明效果或第二组照明效果的情况下显示第一媒体项,向用户提供了关于系统的状态(例如,系统已经检测到与对第一媒体项的选择相对应的一个或多个用户输入)的视觉反馈,这提供了改进的视觉反馈。
在一些实施方案中,第一组照明效果(例如,726-1、726-2、726-3或726-4)基于第一媒体项的边缘处(例如,在距边缘的预先确定距离内)的第一组颜色(例如,在第一媒体项的最外边缘、边框和/或边界处显示的颜色)并且基于在第一媒体项的边缘内侧的第二组颜色(例如,在第一媒体项的内部部分中(例如,不在第一媒体项的边缘上)(例如,大于距边缘的预先确定距离)(例如,与第一组颜色相比更靠近中心和/或更远离第一媒体项的边缘)显示的颜色来确定,并且在确定第一组照明效果时,第一组颜色被给予与第二组颜色相比更大的权重。在一些实施方案中,第二组照明效果(例如,730-1、730-2、730-3或730-4)基于第一媒体项的边缘处(例如,在距边缘的预先确定距离内)的第三组颜色(例如,在第一媒体项的最外边缘、边框和/或边界处显示的颜色)并且基于在第一媒体项的边缘内侧的第四组颜色(例如,在第一媒体项的内部部分中(例如,不在第一媒体项的边缘上)(例如,大于距边缘的预先确定距离)(例如,与第三组颜色相比更靠近中心和/或更远离第一媒体项的边缘)显示的颜色来确定,并且在确定第二组照明效果时,第三组颜色被给予与第四组颜色相比更大的权重(例如,如参考图7F所述)。响应于检测到与对第一媒体项的选择相对应的一个或多个用户输入而在具有第一组照明效果或第二组照明效果的情况下显示第一媒体项,向用户提供了关于系统的状态(例如,系统已经检测到与对第一媒体项的选择相对应的一个或多个用户输入)的视觉反馈,这提供了改进的视觉反馈。
在一些实施方案中,第一组照明效果和第二组照明效果包括:在第一媒体项前面发射的光(例如,从第一媒体项的前表面向外延伸的光);在第一媒体项后面发射的光(例如,从第一媒体项的后表面向外延伸的光)(例如,在媒体窗口704前面发射的光和在媒体窗口704后面发射的光)(例如,如参考图7F所述)。例如,在一些实施方案中,不管第一媒体项是包括相应类型的深度信息的媒体项(例如,是立体媒体项)还是不包括相应类型的深度信息的媒体项(例如,不是立体媒体项),都在具有包括在第一媒体项前面发射的光和在第一媒体项后面发射的光的照明效果的情况下显示第一媒体项。在一些实施方案中,在第一媒体项前面发射的光和/或在第一媒体项后面发射的光从对用户可见的其他内容(例如,至少部分地围绕第一媒体项的内容(例如,背景内容))反射。在一些实施方案中,对用户可见的其他内容由显示生成部件显示。在一些实施方案中,对用户可见的其他内容并非由显示生成部件显示(例如,其他内容包括在第一媒体项后面可见但并非由显示生成部件显示的物理(例如,真实)背景内容)。响应于检测到与对第一媒体项的选择相对应的一个或多个用户输入而在具有包括在第一媒体项前面发射的光和在第一媒体项后面发射的光的第一组照明效果或第二组照明效果的情况下显示第一媒体项,向用户提供了关于系统的状态(例如,系统已经检测到与对第一媒体项的选择相对应的一个或多个用户输入)的视觉反馈,这提供了改进的视觉反馈。
在一些实施方案中,以第一方式显示第一媒体项包括:根据确定第一媒体项是视频,在具有第三组照明效果(例如,726-4)的情况下显示第一媒体项;并且根据确定第一媒体项是静止图像,在具有第四组照明效果(例如,726-1、726-2或726-3)的情况下显示第一媒体项(例如,与第三组照明效果相同或不同的第四组照明效果)。在一些实施方案中,以第二方式显示第一媒体项包括:根据确定第一媒体项是视频,在具有第五组照明效果(例如,730-4)的情况下显示第一媒体项;并且根据确定第一媒体项是静止图像,在具有第六组照明效果(例如,730-1、730-2或730-3)的情况下显示第一媒体项(例如,如参考图7F、图7N和图7M所述)(例如,与第五组照明效果相同或不同的第六组照明效果)。在一些实施方案中,不管第一媒体项是静止图像还是视频,都在对第一媒体项应用照明效果的情况下显示第一媒体项。在一些实施方案中,照明效果基于第一媒体项是视频还是静止图像而有所不同。在一些实施方案中,不管第一媒体项是视频还是静止图像,照明效果都是相同的。在一些实施方案中,第三组照明效果和第五组照明效果(例如,用于视频的照明效果)随时间推移改变(例如,随着第一媒体项的视觉内容随时间推移的改变(例如,随着第一媒体项的视频内容的播放),从第一媒体项延伸的一组光线随时间推移改变)。响应于检测到与对第一媒体项的选择相对应的一个或多个用户输入而在具有第一组照明效果或第二组照明效果的情况下显示第一媒体项,向用户提供了关于系统的状态(例如,系统已经检测到与对第一媒体项的选择相对应的一个或多个用户输入)的视觉反馈,这提供了改进的视觉反馈。
在一些实施方案中,第一媒体项是视频;并且视频中的相应回放时间处的第一组照明效果(例如,730-4或726-4)包括基于来自视频中的多个回放时间(包括视频中的相应回放时间)的来自视频的内容生成的照明效果(例如,如参考图7F、图7N和图7M所述)(例如,照明效果基于来自视频的时间平均内容从视频发出光,使得来自多个帧的内容被组合以生成用于生成照明效果的平均颜色)。在一些实施方案中,在应用了第一组照明效果的情况下显示第一媒体项包括:根据确定第一媒体项是视频,将第一平滑功能应用于第一初始组照明效果(例如,通过将第一平滑功能应用于第一初始组照明效果来确定该组照明效果)(在一些实施方案中,第一平滑功能在一段时间(例如,预先确定的持续时间)内使第一初始组照明效果平滑)。在一些实施方案中,在应用了第二组照明效果的情况下显示第一媒体项包括:根据确定第一媒体项是视频,将第二平滑功能(在一些实施方案中,第二平滑功能与第一平滑功能相同或不同)应用于第二初始组照明效果(例如,通过将第二平滑功能应用于第二初始组照明效果来确定该组照明效果)(在一些实施方案中,第二平滑功能在一段时间(例如,预先确定持续时间)内使第二初始组照明效果平滑)。响应于检测到与对第一媒体项的选择相对应的一个或多个用户输入而在具有第一组照明效果或第二组照明效果的情况下显示第一媒体项,向用户提供了关于系统的状态(例如,系统已经检测到与对第一媒体项的选择相对应的一个或多个用户输入)的视觉反馈,这提供了改进的视觉反馈。
在一些实施方案中,以第一方式显示第一媒体项包括:使第一媒体项的一个或多个边缘在视觉上失真(例如,如参考图7F所述)(例如,在视觉上遮蔽和/或模糊)(例如,使第一媒体项的所有边缘和/或整个外边框和/或边界在视觉上失真)。在一些实施方案中,以第一方式显示第一媒体项包括:显示示出一些失真的玻璃态边缘。在一些实施方案中,以第二方式显示第一媒体项包括:放弃在视觉上使第一媒体项的一个或多个边缘畸变(例如,放弃在使第一媒体项的任何边缘和/或外边界在视觉上失真)。基于第一媒体项包括相应类型的深度信息而显示具有在视觉上失真的一个或多个边缘的第一媒体项,向用户提供了关于系统的状态(例如,第一媒体项包括相应类型的深度信息)的视觉反馈,这提供了改进的视觉反馈。
在一些实施方案中,在以第一方式显示第一媒体项时:计算机系统经由一个或多个输入设备检测对应于第一媒体项中的第一定位的用户注视(例如,714)(例如,检测到和/或确定用户正注视第一媒体项中的第一定位);并且响应于检测到对应于第一媒体项中的第一定位的用户注视,计算机系统显示第一媒体项的至少一部分向后移动(例如,远离用户的视点移动)(例如,如参考图7A至图7D所述)。基于第一媒体项包括相应类型的深度信息并且响应于检测到对应于第一定位的用户注视而显示向后移动的第一媒体项,向用户提供了关于系统的状态(例如,系统已经确定第一媒体项包括相应类型的深度信息并且已经检测到对应于第一定位的用户注视)的视觉反馈,这提供了改进的视觉反馈。
在一些实施方案中,以第一方式显示第一媒体项包括:使第一媒体项的一个或多个边缘模糊(例如,使第一媒体项的所有边缘和/或整个外边框和/或边界模糊)。在一些实施方案中,以第二方式显示第一媒体项包括:放弃使第一媒体项的一个或多个边缘模糊(例如,放弃使第一媒体项的任何边缘或边界模糊)(例如,如参考图7F所述)。基于第一媒体项包括相应类型的深度信息在使第一媒体项的一个或多个边缘模糊的情况下显示第一媒体项,向用户提供了关于系统的状态(例如,系统已经确定第一媒体项包括相应类型的深度信息)的视觉反馈,这提供了改进的视觉反馈。
在一些实施方案中,以第一方式显示第一媒体项包括:在具有从第一媒体项(例如,704)延伸的第一组光溢出照明效果(例如,726-1)(例如,具有基于第一媒体项的视觉内容确定的一个或多个视觉特征(例如,亮度、强度、大小、长度、颜色、饱和度和/或对比度)的第一组光溢出照明效果)的情况下显示第一媒体项;并且与第一组光溢出照明效果同时地显示一个或多个附加照明效果(例如,如参考图7F所述)(例如,从第一媒体项延伸的附加光线、围绕第一媒体项的附加光、应用于第一媒体项的边框(例如,折射和/或玻璃态边框)的照明效果、和/或应用于从第一媒体项延伸的照明效果的一个或多个平滑功能)。在一些实施方案中,以第二方式显示第一媒体项包括:在具有从第一媒体项(例如,704)延伸的第二组光溢出照明效果(例如,730-1)(例如,具有基于第一媒体项的视觉内容确定的一个或多个视觉特征(例如,亮度、强度、大小、长度、颜色、饱和度和/或对比度)的第二组光溢出照明效果(例如,在一些实施方案中,与第一组光溢出照明效果相同或与第一组光溢出照明效果不同)而不应用一个或多个附加照明效果的情况下显示第一媒体项(例如,如参考图7F所述)。基于第一媒体项包括相应类型的深度信息而在具有一个或多个附加照明效果的情况下显示第一媒体项,向用户提供了关于系统的状态(例如,系统已经确定第一媒体项包括相应类型的深度信息)的视觉反馈,这提供了改进的视觉反馈。
在一些实施方案中,以第一方式显示第一媒体项包括:在具有连续边缘的三维形状(例如,图7I中的704)(例如,如参考图7F和图7I所述)(例如,没有锐角和/或尖角的三维形状,例如连续且平滑的形状,诸如可用相应数量的(例如,2个、3个、4个、10个、100个或无限个)连续导数进行微分的表面的凸面形状)内显示第一媒体项。在一些实施方案中,以第二方式显示第一媒体项包括:放弃在具有连续边缘的三维形状内显示第一媒体项(例如,在二维形状中和/或在没有连续边缘的三维形状(例如,具有锐角和/或尖角)中和/或在不同的三维形状中显示第一媒体项)。基于第一媒体项包括相应类型的深度信息而在具有连续边缘的三维形状内显示第一媒体项,向用户提供了关于系统的状态(例如,系统已经确定第一媒体项包括相应类型的深度信息)的视觉反馈,这提供了改进的视觉反馈。在一些实施方案中,当计算机系统是头戴式设备时,计算机系统700响应于计算机系统检测到用户已经(例如,在用户将计算机系统700穿戴在其头部上的同时)在物理环境内重新定位自己和/或旋转其头部而显示第一媒体项的三维形状的不同视角。
在一些实施方案中,具有连续边缘的三维形状包括弯曲前表面和弯曲后表面(例如,图7I中的704)(例如,如参考图7F和图7I所述)(例如,定位成与弯曲前表面正对和/或相背对的弯曲后表面)。基于第一媒体项包括相应类型的深度信息而在具有连续边缘的三维形状内显示第一媒体项,向用户提供了关于系统的状态(例如,系统已经确定第一媒体项包括相应类型的深度信息)的视觉反馈,这提供了改进的视觉反馈。
在一些实施方案中,具有连续边缘的三维形状具有一个或多个折射边缘,该一个或多个折射边缘将折射属性应用于从该一个或多个折射边缘发射的光(例如,偏转、弯曲或改变其方向)(例如,图7I中的704)(例如,如参考图7F和图7I所述)。基于第一媒体项包括相应类型的深度信息而在具有连续边缘的三维形状内显示第一媒体项,向用户提供了关于系统的状态(例如,系统已经确定第一媒体项包括相应类型的深度信息)的视觉反馈,这提供了改进的视觉反馈。
在一些实施方案中,确定第一媒体项是包括相应类型的深度信息的媒体项是确定第一媒体项是包括从两个不同相机(或两组不同相机)同时捕获的媒体的立体媒体项(例如,如参考图7A至图7D所述)。在一些实施方案中,立体媒体项通过以下方式来显示:针对用户的第一只眼睛显示由第一组一个或多个相机捕获的第一图像,并且(例如,与第一图像同时地和/或同时)针对用户的第二只眼睛显示由第二组一个或多个相机捕获的第二图像。在一些实施方案中,立体媒体项包括从间隔开(例如,以与人眼近似相同的距离间隔开)的两个不同相机同时捕获的两个不同图像,并且这两个不同图像被同时地显示给用户(第一图像被显示给用户的第一只眼睛,并且不同于第一图像的第二图像被显示给用户的第二眼睛)以重新创建所捕获场景的深度。根据确定第一媒体项是包括从两个不同相机同时捕获的媒体的立体媒体项而以第一方式显示第一媒体项,向用户提供了关于系统的状态(例如,系统已经确定第一媒体项是包括从两个不同相机同时捕获的媒体的立体媒体项)的视觉反馈,这提供了改进的视觉反馈。
在一些实施方案中,以第一方式显示第一媒体项包括:在第一媒体项的外边界之外(例如,媒体窗口704之外)(例如,图7F至图7H和图7N)(例如,不覆盖在第一媒体项上)显示一个或多个控件(例如,728A、728B、728C或740)(例如,回放控件(例如,播放、暂停、倒退、快进)、共享选项和/或关闭选项)。在一些实施方案中,以第二方式显示第一媒体项包括:将一个或多个控件显示为覆盖在第一媒体项上。在一些实施方案中,该一个或多个控件包括可被选择以关闭(例如,停止显示)第一媒体项的第一控件(例如,关闭选项)。在一些实施方案中,该一个或多个控件包括可被选择以发起用于向一个或多个外部电子设备共享第一媒体项的过程的第二控件(例如,共享选项)。在一些实施方案中,该一个或多个控件包括可被选择以恢复和/或发起第一媒体项的回放的第三控件(例如,播放选项)。在一些实施方案中,该一个或多个控件包括可被选择以暂停第一媒体项的回放的第四控件(例如,暂停选项)。在一些实施方案中,该一个或多个控件包括可被选择以在第一媒体的回放中前跳和/或加速第一媒体项的回放的第五控件(例如,快进选项)。在一些实施方案中,该一个或多个控件包括可被选择以使第一媒体项的回放后跳、减慢、和/或回倒的第六控件(例如,倒退选项)。基于第一媒体项包括相应类型的深度信息而显示具有显示在第一媒体项的外边界之外的一个或多个控件的第一媒体项,向用户提供了关于系统的状态(例如,系统已经确定第一媒体项包括相应类型的深度信息)的视觉反馈,这提供了改进的视觉反馈。
在一些实施方案中,方法800、900、1000和1100的各方面/操作可在这些方法之间互换、替换和/或添加。例如,在方法800中显示的媒体库用户界面任选地是在方法900中显示的用户界面,和/或在方法800中显示的第一媒体项任选地是在方法900和/或1000中显示的第一媒体项。为了简明起见,此处不再重复这些细节。
图11A至图11F示出了显示媒体的示例。图1200是用于显示媒体的示例性方法1200的流程图。图11A至图11F中的用户界面用于示出下文描述的过程,包括图12中的过程。
图11A描绘了计算机系统700,该计算机系统是包括显示设备702和一个或多个相机的平板电脑(例如,计算机系统700与一个或多个相机进行有线通信和/或无线通信)。尽管图11A将计算机系统700描绘为平板电脑,但下文所述的技术也适用于头戴式设备。在其中计算机系统700是头戴式设备的一些实施方案中,计算机系统700任选地包括两个显示器(计算机系统700的用户的每只眼睛一个),其中每个显示器显示各种内容。当计算机系统700是头戴式设备时,计算机系统700立体地显示各种元素(例如,诸如下文讨论的视觉效果1112)以产生深度感知。此外,当计算机系统700是头戴式设备时,用户可在物理环境内四处走动和/或转动其头部以获得对象诸如虚拟门户1102的不同视角。
如图11A所示,计算机系统700显示显示设备702、媒体用户界面1104。如图11A所示,媒体用户界面包括物理环境的表示1106。在图11A处,椅子1106a、沙发1106b和饮水机1106c在与计算机系统700通信的一个或多个相机的视场内。在图11A处,因为椅子1106a、沙发1106b和饮水机1106c在与计算机系统700通信的一个或多个相机的视场内,所以物理环境的表示1106包括椅子1106a、沙发1106b和饮水机1106c。当用户看显示设备(例如,触敏显示器)702时,用户可看到物理环境的表示1106以及计算机系统700显示的一个或多个虚拟对象(例如,如图11A至图11F所示)。因此,计算机系统700通过显示设备702呈现增强现实环境。在一些实施方案中,物理环境的表示1106中所包括的内容对应于从计算机系统700的视点可见(例如,对用户可见)的内容。在一些实施方案中,物理环境的表示1106中所包括的内容对应于从计算机系统700的用户的视点可见的内容。在一些实施方案中,物理环境的表示1106是(例如,透过透明显示器)对用户可见而不是由显示器显示的物理环境。
在图11A至图11F的实施方案中,计算机系统700的视点对应于与计算机系统700通信的一个或多个相机的视场。因此,随着计算机系统700在整个物理环境中移动,计算机系统700的视点改变,这致使一个或多个相机的视场对应地改变。
如图11A所示,计算机系统700在物理环境的表示1106内显示虚拟门户1102。计算机系统700在物理环境的表示1106内将虚拟门户1102显示为三维对象。因此,计算机系统700显示具有一定深度量的虚拟门户1102。计算机系统700将虚拟门户1102显示为具有的深度量与计算机系统700相对于虚拟门户1102的显示的定位角度直接相关(例如,类似于当个体从一定角度查看玻璃薄片时,可看到玻璃薄片的厚度如何)。虚拟门户1102的显示是世界锁定的。因此,随着计算机系统700的视点改变(例如,随着计算机系统700在整个物理环境中移动),计算机系统700保持虚拟门户1102在物理环境的表示1106内的相对定位。
如图11A所示,计算机系统700在虚拟门户1102内显示媒体项的表示1108。用户可通过透过虚拟窗口1118看来查看媒体项的表示1108。虚拟窗口1118是用户可看穿的虚拟门户1102的半透明部分。虚拟窗口1118定位在虚拟门户1102的前侧。媒体项的表示1108对应于先前捕获的立体媒体项(例如,照片或视频)(例如,从位于物理环境中的共同位置处的一组相机(例如,两个或更多个相机)(例如,该组相机以与人眼间隔开的距离近似相同的距离间隔开)捕获的媒体项,其中该组相机中的每个相机捕获该物理环境的唯一视角)。此外,如图11A所示,计算机系统700将视觉效果1112显示为覆盖在媒体项的表示1108的顶部。在图11A处,视觉效果1112是覆盖显示在媒体项的表示1108的边缘处的内容的模糊效果。在一些实施方案中,当计算机系统700是头戴式设备时,计算机系统700向用户的第一只眼睛显示第一图像(例如,媒体项的表示1108中所描绘的环境的第一视角),并且计算机系统700向用户的第二只眼睛显示第二图像(例如,媒体项的表示1108中所描绘的环境的第二视角),使得用户在具有立体深度效果的情况下观看媒体项1108(例如,向用户的不同眼睛显示单独图像产生立体深度效果)。
在图11A处,计算机系统700在虚拟门户1102内显示媒体项的表示1108、后模糊层1112a和照射模糊层1112b。后模糊层1112a和照射模糊层1112b组合以产生视觉效果1112,计算机系统700将视觉效果显示为遮蔽媒体项的表示1108的边缘。此外,如图11A所示,作为显示媒体项的表示1108的一部分,计算机系统700显示渐晕效果。因此,如图11A所示,计算机系统700将媒体项的表示1108的外围显示为与媒体项的表示1108的中心相比更暗。
图11A包括示意图1114作为帮助描绘虚拟门户1102内的后模糊层、照射模糊层和媒体项的表示1108之间的定位关系的视觉辅助。示意图1114包括后模糊层的表示1114b(例如,与显示在虚拟门户1102中的后模糊层相对应)、照射模糊层的表示1114c(例如,与显示在虚拟门户1102内的照射模糊层相对应)、内容的表示1114d(例如,与显示在虚拟门户1102内的媒体项的表示1108相对应)、以及窗口的表示1114e(例如,与虚拟门户1102的虚拟窗口1118相对应)。
在图11A处,示意图1114描绘了:内容的表示1114d定位在后模糊层的表示1114b和照射模糊层的表示1114c之间。因此,计算机系统700在虚拟门户1102内在后模糊层1112a和照射模糊层1112b之间显示(例如,渲染)媒体项的表示1108。此外,如示意图1114所示,后模糊层1112a与内容的表示1114d相比更宽,并且照射模糊层1112b照射在媒体项的表示1108的边缘上。
后模糊层1112a是对与媒体项的表示1108相对应的立体媒体项的边缘处的内容的外推的模糊。随着立体媒体项的边缘处的内容改变(例如,当立体媒体项对应于视频媒体项时),后模糊层1112a中所包括的内容基于立体媒体项的边缘处的内容的变化而改变。
照射模糊层1112b是对与媒体项的表示1108相对应的立体媒体项的边缘处的内容的模糊。计算机系统700将照射模糊层1112b显示为从媒体项的表示1108的边缘朝向媒体项的表示1108的中间向内延伸。此外,照射模糊层1112b是随着照射模糊层1112b朝向媒体项的表示1108的中心延伸而在量值(例如,强度)上减小的模糊效果。即,随着照射模糊层1112b朝向媒体项的表示1108的中心延伸,照射模糊层1112b变得更加半透明(例如,照射模糊层1112b变朦胧)。类似于后模糊层1112a,由照射模糊层1112b模糊的内容随着立体媒体项的边缘处的内容的改变而改变(例如,当立体媒体项对应于视频媒体项时)。
如图11A所示,示意图1114包括电子设备的表示1114a。电子设备的表示1114a指示计算机系统700相对于虚拟门户1102的显示的位置的定位。在图11A处,如示意图1114中电子设备的表示1114a相对于窗口的表示1114e的定位所指示,计算机系统700定位在物理环境中的在虚拟门户1102的显示的正前方的位置处。此外,如示意图1114中内容的表示1114d和窗口的表示1114e的定位所指示,计算机系统700在虚拟门户1102的虚拟窗口1118后面显示媒体项的表示1108(例如,媒体项的表示1108与虚拟门户1102的虚拟窗口1118相比离计算机系统700更远)。在图11A至图11F的实施方案中,计算机系统700由用户拿着和/或穿戴着。因此,计算机系统700的视点对应于用户的视点。
在图11A处,计算机系统700确定计算机系统700的定位以虚拟门户1102的显示为中心。在图11A处,因为计算机系统700确定计算机系统700的定位以虚拟门户1102的显示为中心,所以计算机系统700围绕媒体项的表示1108的外围均匀地显示视觉效果1112。在图11A处,计算机系统700在物理环境内重新定位。在一些实施方案中,当计算机系统700是头戴式设备时,计算机系统700在各自对应于用户的不同眼睛的两个显示设备上单独地显示均匀地围绕媒体项的表示1108的外围的视觉效果1112(例如,计算机系统700向用户的两只眼睛单独地显示均匀地围绕媒体项的表示1112的外围的视觉效果1112)。在一些实施方案中,计算机系统700在具有视觉效果1112的情况下同时地显示立体媒体项的两个或更多个表示。在一些实施方案中,计算机系统700在没有视觉效果1112的情况下显示非立体媒体项的表示。在一些实施方案中,计算机系统700同时地在具有视觉效果1112的情况下显示媒体项的表示1108并且在没有视觉效果1112的情况下显示非立体媒体项的表示。在一些实施方案中,媒体项的表示1108是对经由与计算机系统700通信的一个或多个相机捕获的媒体项的描绘。在一些实施方案中,媒体项的表示1108是对经由与计算机系统700通信(例如,有线通信和/或无线通信)的外部设备捕获的媒体项的描绘。在一些实施方案中,媒体项的表示1108是从两个或更多个唯一视角捕获的物理环境的表示,并且计算机系统700向用户的每只眼睛显示该物理环境的不同视角。
在图11B处,计算机系统700确定计算机系统700定位到虚拟门户1102的显示的右侧。因为计算机系统700确定计算机系统700定位到虚拟门户1102的显示的右侧,所以计算机系统700在计算机系统700的显示设备702的中心的左侧显示虚拟门户1102。计算机系统700基于计算机系统700相对于虚拟门户1102的显示的定位而改变虚拟门户1102的显示在显示设备702上的位置(例如,如果计算机系统700定位在虚拟门户1102的显示的左侧,则计算机系统700在显示设备702的中心的右侧显示虚拟门户1102)。如上所述,虚拟门户1102的显示是世界锁定的。因此,虚拟门户1102的显示相对于物理环境的表示1106中所包括的内容的定位并不响应于计算机系统700的定位的改变而改变。在一些实施方案中,当计算机系统700是头戴式设备时,计算机系统700在各自对应于用户的不同眼睛的两个单独显示设备的中心的左侧单独地显示虚拟门户1102(例如,计算机系统700在用于用户的每只眼睛的两个单独显示设备的中心的左侧单独地显示视觉效果1112)。
此外,在图11B处,因为计算机系统700确定计算机系统700定位到虚拟门户1102的显示的右侧,所以计算机系统700增大在虚拟门户1102的左边界上显示的视觉效果1112的大小。更具体地,计算机系统700增大在虚拟门户1102的左边界上显示的(例如,构成视觉效果1112的一部分的)后模糊层1112a的量。
后模糊层1112a的显示是动态的。即,当确定计算机系统700的定位相对于虚拟门户1102的显示的角度增大时,计算机系统700增大在虚拟门户1102的相应边界上显示的后模糊层1112a的量。更具体地,计算机系统700增大在虚拟门户1102的与计算机系统700的定位相反的边界上显示的后模糊层1112a的量(例如,如果计算机系统700定位在虚拟门户1102的显示的左侧,则计算机系统700增大在虚拟门户1102的右边界上显示的后模糊层1112a的量,反之亦然)。因此,随着计算机系统700的视点在整个物理环境中改变,媒体项的表示1108的外观基于计算机系统700的视点的变化而改变。更具体地,随着计算机系统700的视点在整个物理环境中改变,媒体项的表示1108的被视觉效果1112遮蔽的部分发生改变。
计算机系统700显示的后模糊区域的量取决于计算机系统700的定位和虚拟门户1102的显示之间的相对角度。计算机系统700的定位和虚拟门户1102的显示之间的相对角度越大,计算机系统700在虚拟门户1102的与计算机系统700的定位相反的边界上显示的后模糊区域的量越大。
在图11B处,计算机系统700确定计算机系统700被定位成与计算机系统700的先前定位相比(例如,相较于图11A处的计算机系统700的定位)离虚拟门户1102的显示更近。在图11B处,因为计算机系统700确定计算机系统700被定位成与计算机系统700的先前定位相比离虚拟门户1102的显示更近,所以计算机系统700增大虚拟门户1102的显示的大小(例如,相较于图11A处的虚拟门户1102的显示的大小)(例如,以指示计算机系统700和物理环境的表示1106内的虚拟门户1102的显示之间的距离已经减小)。
如上所述,计算机系统700的移动致使与计算机系统700通信的一个或多个相机的视场改变。此外,如上所述,物理环境的表示1106的外观对应于物理环境的在一个或多个相机的视场内的部分。因此,当计算机系统700在物理环境内重新定位时,物理环境的表示1106的外观对应地改变。因此,在图11B处,因为计算机系统700的定位已经在物理环境内向右偏移,所以物理环境的表示1106中所包括的内容(例如,沙发1106b和饮水机1106c)的定位在媒体用户界面1104内向左偏移(例如,相较于图11A处的物理环境的表示1106中所包括的内容的定位)。
如图11B所示,计算机系统700在虚拟门户1102的一角显示镜面效果1120。镜面效果1120的显示有助于产生虚拟门户1102是物理环境的表示1106内的三维对象的感知。在图11B处,计算机系统700在物理环境内重新定位。在一些实施方案中,围绕虚拟门户1102的外围显示镜面效果1120。在一些实施方案中,当计算机系统700在物理环境内重新定位时,计算机系统700在具有视差效果的情况下显示媒体项的表示1108(例如,计算机系统700示出媒体项的表示1108的前景部分相对于媒体项的表示1109的背景部分偏移/移动)。在一些实施方案中,响应于检测到计算机系统700的视点变化,计算机系统700改变媒体项的表示1108的哪个部分被视觉效果1112的照射层遮蔽。在一些实施方案中,响应于检测到计算机系统700的视点变化,计算机系统700针对用户的每只眼睛不同地改变媒体项的表示1108的外观。
在图11C处,计算机系统700确定计算机系统700定位在虚拟门户1102的显示的左侧(例如,计算机系统700相对于虚拟门户1102的显示以一定角度定位)。在图11C处,因为计算机系统700确定计算机系统700定位在虚拟门户1102的显示的左侧,所以计算机系统700在计算机系统700的显示设备702的中心的右侧显示虚拟门户1102。此外,在图11C处,因为计算机系统700确定计算机系统700定位在虚拟门户1102的显示的左侧,所以计算机系统700增大显示在虚拟门户1102的右边界上的后模糊层1112a(例如,其形成视觉效果1112的一部分)的量(例如,相较于图11A和图11B处的显示在虚拟门户1102的右边界上的后模糊层1112a的量)。在一些实施方案中,当计算机系统700是头戴式设备时,计算机系统700在计算机系统700的各自对应于用户的不同眼睛的两个单独显示设备的中心的右侧单独地显示虚拟门户1102(例如,计算机系统700在用于用户的每只眼睛的显示器的中心的右侧单独地显示视觉门户1102)。在一些实施方案中,当计算机系统700是头戴式设备时,计算机系统700针对计算机系统700的各自对应于用户的不同眼睛的两个单独显示设备单独地增大虚拟门户1102的右边界上的后模糊层1112a的显示量(例如,计算机系统700针对用户的每只眼睛单独地增大虚拟门户1102的显示的量)。
此外,在图11C处,计算机系统700确定计算机系统700被定位成与计算机系统700在物理环境内的先前定位(例如,图11B处的计算机系统700的定位)相比离虚拟门户1102的显示更远。因为计算机系统700确定计算机系统700被定位成与计算机系统700的先前定位相比离虚拟门户1102的显示更远,所以计算机系统700减小虚拟门户1102的显示的大小(例如,相较于图11B处的虚拟门户1102的大小)(例如,以指示计算机系统700和虚拟门户1102的显示之间的距离已经增大)。在一些实施方案中,当计算机系统700是头戴式设备时,计算机系统700在计算机系统700的各自对应于用户的不同眼睛的两个单独显示设备上单独地减小虚拟门户1102的显示的大小。
在图处,因为计算机系统700定位在虚拟门户1102的显示的左侧并且与计算机系统700的先前定位(例如,图11B中的计算机系统700的定位)相比离虚拟门户的显示更远,所以物理环境的表示1106中所包括的内容(例如,椅子1106a、沙发1106b和饮水机1106c)的定位在媒体用户界面1104内向右偏移(例如,相较于图11B处的物理环境的表示1106中所包括的内容的定位)。如图11C所示,计算机系统700在虚拟门户1102的左角保持镜面效果1120的显示。在图11C处,计算机系统700在物理环境内重新定位。在一些实施方案中,镜面效果1120的显示的位置基于计算机系统700相对于虚拟门户1102的显示的视点。
在图11D处,计算机系统700确定计算机系统700的定位以虚拟门户1102的显示为中心。在图11D处,因为计算机系统700确定计算机系统700的定位以虚拟门户1102的显示为中心,所以计算机系统700围绕虚拟门户1102的外围均匀地显示后模糊层1112a(例如,计算机系统700在虚拟门户1102的每个边界上显示相同量的后模糊层1112a)。在一些实施方案中,当计算机系统700是头戴式设备时,计算机系统700在计算机系统700的各自对应于用户的不同眼睛的两个单独显示设备上围绕虚拟门户1102的外围均匀地显示后模糊层1112a。
此外,在图11D处,计算机系统700确定物理环境内的计算机系统700的定位与计算机系统700的先前定位(例如,图11C处的计算机系统700的定位)相比离虚拟门户1102的显示更近。因为计算机系统700确定计算机系统700的定位与计算机系统700的先前定位相比离虚拟门户的显示器更近,所以计算机系统700增大显示虚拟门户1102的大小(例如,以指示计算机系统700和虚拟门户1102的显示之间的距离的减小)。在一些实施方案中,当计算机系统700是头戴式设备时,计算机系统700在计算机系统700的各自对应于用户的不同眼睛的两个单独显示设备上单独地增大虚拟门户1102的显示的大小。
在图11D处,计算机系统700检测以沉浸式外观显示媒体项的表示1108的请求。在一些实施方案中,以沉浸式外观显示媒体项的表示1108的请求对应于计算机系统700检测到与跟计算机系统700通信的一个或多个硬件输入机构的激活(例如,一个或多个硬件输入机构被按压和/或旋转)相对应的输入。在一些实施方案中,以沉浸式外观显示媒体项的表示1108的请求对应于与计算机系统700检测到它被重新定位到物理环境内对应于虚拟门户1102的显示的位置。
在图11E处,响应于检测到以沉浸式外观显示媒体项的表示1108的请求,计算机系统700以沉浸式外观显示媒体项的表示1108。在图11E处,媒体项的表示1108的显示占据整个显示设备702。即,在计算机系统700显示以沉浸式外观显示的媒体项的表示1108时,物理环境的表示1106是不可见的。在计算机系统700以沉浸式外观显示媒体项的表示1108时,计算机系统700以全比例(例如,真实世界比例)显示媒体项1108中所包括的内容(例如,树和女人)。相较于当媒体项的表示1108以非沉浸式外观(例如,图11A至图11D中的媒体项的表示1108的外观)显示时,在媒体项的表示1108以沉浸式外观显示时,媒体项的表示1108占据用户的视点的更大量。在一些实施方案中,当计算机系统700是头戴式设备时,当计算机系统700以沉浸式外观显示媒体项的表示1108时,计算机系统700在计算机系统700的各自对应于用户的不同眼睛的两个单独显示设备的大部分(例如,整体)上显示媒体项的表示1108。
在图11E处,计算机系统700检测到计算机系统700的视点在物理环境中向左旋转。在一些实施方案中,在计算机系统700以沉浸式外观显示媒体项的表示1108时,计算机系统700将媒体项的表示1108显示为围绕用户的视点。在一些实施方案中,响应于检测到以沉浸式外观显示媒体项的表示1108的请求,计算机系统700和虚拟门户1102之间的距离减小(例如,计算机系统700将虚拟门户1102的显示移动成更靠近计算机系统700的定位和/或计算机系统700移动成更靠近物理环境的表示1106内的虚拟门户1102的显示)。在一些实施方案中,响应于检测到以沉浸式外观显示媒体项的表示1108的请求,计算机系统700沿着媒体项的表示1108的z轴增大媒体项的表示1108的大小(例如,计算机系统700增大虚拟门户1102的厚度)。在一些实施方案中,作为以沉浸式外观显示媒体项的表示1108的一部分,计算机系统700显示基于立体媒体项的边缘处所包括的内容的外推的后模糊层1112a。
在图11F处,响应于计算机系统700检测到计算机系统700的视点向左旋转,计算机系统700更新媒体项的表示1108的显示以示出媒体项的表示1108的左半部。更具体地,计算机系统700更新媒体项的表示1108的显示,使得媒体项的表示1108的左半部(例如,媒体项的表示1108的包括树的部分)可见,而媒体项的表示1108的右半部(例如,媒体项的表示的包括个体的部分)不可见。即,在计算机系统700以沉浸式外观显示媒体项的表示1108时,媒体项的表示1108的显示基于计算机系统700的视点的变化而改变。在一些实施方案中,响应于计算机系统700检测到以非沉浸式外观(例如,图11A至图11D处的媒体项的表示1108的外观)显示媒体项的表示1108的请求,计算机系统700停止以沉浸式外观显示媒体项的表示1108。在一些实施方案中,响应于计算机系统700检测到计算机系统700被重新定位成远离物理环境内对应于虚拟门户1102的显示的位置,计算机系统700停止以沉浸式外观显示媒体项的表示1108。
下文参考相对于图12描述的方法1200提供关于图11A至图11F的附加描述。
图12是示出了根据一些实施方案的用于显示媒体项的示例性方法1200的流程图。在一些实施方案中,方法1200在计算机系统(例如,700)(例如,智能电话、平板电脑和/或头戴式设备)处执行,该计算机系统与显示生成部件(例如,702)(例如,显示控制器;触敏显示器系统;显示器(例如,集成的和/或连接的)、3D显示器、透明显示器、平视显示器和/或头戴式显示器)通信(例如,有线通信和/或无线通信)。在一些实施方案中,方法1200通过存储在非暂态(或暂态)计算机可读存储介质中并由计算机系统的一个或多个处理器诸如计算机系统101的一个或多个处理器202(例如,图1中的控件110)执行的指令来管理。方法1200中的一些操作任选地被组合,并且/或者一些操作的次序任选地被改变。
计算机系统经由显示生成部件显示(1202)用户界面(例如,1104)(例如,与安装在计算机系统上的媒体查看应用程序(例如,第三方媒体查看应用程序或由计算机系统的制造商安装在计算机系统上的媒体查看应用程序)相对应的用户界面),该用户界面包括(1204):立体媒体项(例如,该立体媒体项是先前捕获的(例如,使用与计算机系统通信的一个或多个相机先前捕获的))(例如,可以传达深度的方式向用户呈现的媒体项(例如,视频或静止照片);使用具有不同视角的两个或更多个相机(或相机组)捕获的媒体项;和/或使用与计算机系统通信(例如,有线通信或无线通信)的相机捕获的媒体项)的第一表示(例如,1108),其中立体媒体项的第一表示包括至少第一边缘(例如,1108的边界)和视觉效果(例如,照射模糊层1112b)(1206)(例如,图形元素和/或效果;模糊区域),其中视觉效果遮蔽立体媒体项的至少第一部分,并且从立体媒体项的第一表示的至少第一边缘朝向立体媒体项的第一表示的内部(例如,立体媒体项的第一表示的中心)(例如,在垂直于第一边缘的方向的、朝向所捕获立体媒体项的第一表示的中心向内延伸的方向上)向内延伸(例如,如上文参考图11A所述)(例如,显示所捕获立体媒体项的第一表示和视觉效果,同时物理环境(例如,计算机系统的位置的物理环境)的表示(例如,虚拟表示或光学表示)(例如,物理环境的实时表示)对计算机系统的用户可见)(例如,视觉效果与所捕获立体媒体项的第一表示同时地显示)(例如,计算机系统在单独的层中渲染视觉效果和所捕获立体媒体项的第一表示(例如,在所捕获立体媒体项的表示后面渲染视觉效果))。在一些实施方案中,所捕获立体媒体项的第一表示中所包括的、被视觉效果覆盖的内容是可见的(例如,对计算机系统的用户可见)(例如,视觉效果具有一定的半透明度)。在一些实施方案中,所捕获立体媒体项的第一表示中所包括的内容遮蔽视觉效果的一部分(例如,所捕获立体媒体项中所包括的内容阻挡用户查看视觉效果的一部分)。在一些实施方案中,计算机系统在所捕获立体媒体项的第一表示周围显示边界(例如,带颜色(例如,黑色)的实线)。在一些实施方案中,所捕获立体媒体项的第一表示是头部锁定的(例如,所捕获立体媒体项的第一表示相对于物理环境的表示的定位随着计算机系统的取向在物理环境内的改变而改变)。在一些实施方案中,所捕获立体媒体项的第一表示是世界锁定的(例如,当计算机系统的取向在物理环境内改变时,所捕获立体媒体项相对于物理环境的表示的定位得以保持)。显示遮蔽立体媒体项的第一部分并且从立体媒体项的第一边缘朝向立体媒体项的内部向内延伸的视觉效果,有助于减少在用户从某些角度(例如,极端角度)查看立体媒体项时用户检测到的窗口违规量(例如,在立体媒体项的内容将被感知为在窗口前面时的时间点立体媒体项内的对象被立体媒体项显示在其后面的窗口的边缘遮蔽时发生的视觉效果),这给用户带来增强的查看体验,减少窗口违规增强设备的可操作性并且使用户-设备界面更有效;这样做还通过使用户能够更快速且更有效地使用设备而减少电力使用并延长计算机系统的电池寿命。
在一些实施方案中,立体媒体项(例如,由1108表示)是从一组相机(例如,定位在物理环境中的不同位置(例如,略微不同(例如,分开1英寸、2英寸、3英寸和/或人的平均瞳孔距离)的两个或更多个相机)(例如,与计算机系统通信(例如,有线通信和/或无线通信)的两个或更多个相机)捕获的,其中来自该组相机的第一相机捕获物理环境的第一视角,其中来自该组相机的第二相机(例如,不同于第一相机)捕获物理环境的第二视角,其中第二视角不同于第一视角(例如,如上文参考图11A所讨论)。在一些实施方案中,计算机系统经由显示生成部件(例如,702)向用户的第一只眼睛(例如,用户的左眼)而不向用户的第二只眼睛(例如,用户的右眼)显示物理环境的第一视角(例如,经由第一相机捕获的物理环境的视角对用户的第一只眼睛可见,而对用户的第二只眼睛不可见(例如,经由第二相机捕获的物理环境的视角对用户的第二眼睛不可见))(例如,如上文参考图11A所讨论),并且计算机系统经由显示生成部件向用户的第二只眼睛而不向用户的第一只眼睛显示物理环境的第二视角(例如,如上文参考图11A所讨论)(例如,经由第二相机捕获的物理环境的视角对用户的第二只眼睛可见,而对用户的第一只眼睛不可见)(例如,第二视角包括第一视角中未包括的内容,并且反之亦然)(例如,立体媒体项是由两个或更多个间隔开的相机捕获的,这些相机指向相同的大致方向并且间隔开大约人眼间隔的距离,以在图像被同时地显示给用户的不同眼睛时产生立体效果)。在一些实施方案中,当计算机系统是头戴式设备时,计算机系统在计算机系统的第一显示设备上显示物理环境的第一视角,并且计算机系统在电子设备的第二显示设备上显示物理环境的第二视角,其中第一显示设备对应于用户的第一只眼睛(例如,对用户的第一只眼睛可见)并且第二显示设备对应于用户的第二只眼睛(例如,对用户的第二只眼睛可见)。向用户的第一眼睛显示物理环境的第一视角并且向用户的第二眼睛显示物理环境的第二视角,增强了用户对立体媒体项的第一表示中所包括的内容之间的深度感知,这给用户带来增强的且更准确的查看体验。
在一些实施方案中,在显示立体媒体项的第一表示(例如,1108)时,计算机系统检测用户的视点的第一变化(例如,700的视点的变化)(例如,用户整个身体的定位的变化、用户身体的第一部分(例如,用户的头部)的定位的变化)(例如,用户的横向移动、用户的左右移动和/或用户沿着水平平面的移动)。在一些实施方案中,响应于检测到用户的视点的第一变化,计算机系统基于用户的视点的第一变化来改变立体媒体项的第一表示的外观(例如,如上文参考图11B所讨论)(例如,立体媒体的第一表示的外观的变化与用户的视点的变化相关)。在一些实施方案中,作为改变立体媒体项的第一表示的外观的一部分,改变立体媒体项的第一表示的两个或更多个视觉属性。在一些实施方案中,立体媒体项的第一表示在用户的视点的变化之前不可见的部分在用户的视点的变化之后可见。响应于检测到用户的视点的变化而改变立体媒体项的外观,允许用户在不显示附加控件的情况下控制立体媒体项的表示的外观,这提供附加控件选项而不使用户界面混乱。响应于检测到用户的视点的变化而改变立体媒体项的外观,向用户提供了关于计算机系统的状态(例如,计算机系统已经检测到用户的视点的变化)的视觉反馈,这提供了改进的视觉反馈。
在一些实施方案中,在改变立体媒体项的第一表示(例如,1108)的外观之前,视觉效果(例如,照射模糊层1112b)遮蔽立体媒体项的第一表示的第一部分(例如,并且视觉效果不遮蔽立体媒体项的第一表示的第三部分)。在一些实施方案中,改变立体媒体项的第一表示的外观包括:修改视觉效果,使得视觉效果遮蔽立体媒体项的第一表示的不同于第一部分的第二部分(例如,如上文参考图11B所讨论)(例如,并且视觉效果不遮蔽立体媒体项的表示的第一部分)。在一些实施方案中,立体媒体项的第一表示的第一部分包括立体媒体项的表示的第二部分中所包括的内容(例如,立体媒体项的表示的第一部分中的内容与立体媒体项的表示的第三部分中所包括的内容重叠)。响应于检测到用户的视点的变化而改变觉视效果遮蔽立体媒体项的第一表示的哪个部分,允许用户在不显示附加控件的情况下控制视觉效果的显示,这提供了附加控件选项而不使用户界面混乱。
在一些实施方案中,改变立体媒体项的第一表示(例如,1108)的外观包括:以第一方式改变向用户的左眼而不向用户的右眼显示的立体媒体项的第一表示的外观(例如,如上文参考图11B所讨论),并且以第二方式改变向用户的右眼而不向用户的左眼(例如,不同于用户的左眼)显示的第一立体媒体项的第一表示的外观,其中第二方式不同于第一方式(例如,如上文参考图11B所讨论)(例如,向用户的左眼和用户的右眼两者显示的立体媒体项的第一表示的内容存在重叠)(例如,立体媒体项的第一表示中所包括的内容对用户的左眼可见而对用户的右眼不可见,并且反之亦然)(例如,计算机系统增加对用户的左眼可见的视觉效果的量,并且计算机系统减少对用户的右眼可见的视觉效果的量)。在一些实施方案中,计算机系统向用户的左眼和用户的右眼两者显示立体媒体项的第一表示的相同视觉特征(例如,亮度、半透明度和/或大小)的变化。在一些实施方案中,计算机系统向用户的左眼显示立体媒体项的第一表示的第一视觉特征(例如,亮度、半透明度和/或大小)的变化,并且计算机系统向用户的右眼显示立体媒体项的第一表示的第二视觉特征的变化,其中第一视觉特征不同于第二视觉特征。在一些实施方案中,当计算机系统是头戴式设备时,与计算机系统如何改变在计算机系统的第二显示设备(例如,第二显示设备对应于用户的第二只眼睛(例如,第二显示设备对用户的第二只眼睛可见))上显示的立体媒体项的表示的外观不同地,计算机系统改变在计算机系统的第一显示设备(例如,第一显示设备对应于用户的第一只眼睛(例如,第一显示设备对用户的第一只眼睛可见))上显示的立体媒体项的第一表示的外观。与如何改变向用户的右眼(例如,用户的第二只眼睛)显示的立体媒体项的第一表示不同地改变向用户的左眼显示的立体媒体项的第一表示的外观,允许用户在不显示附加控件的情况下控制向用户的两只眼睛独立地显示的内容,这提供了附加控件选项而不使用户界面混乱。与如何改变向用户的右眼(例如,用户的第二只眼睛)显示的立体媒体项的第一表示不同地改变向用户的左眼显示的立体媒体项的第一表示的外观,帮助减轻用户从极端角度查看立体媒体项时用户检测到的窗口违规量(例如,在立体媒体项的内容将被感知为在窗口前面时的时间点立体媒体项内的对象被立体媒体项显示在其后面的窗口的边缘遮蔽时发生的视觉效果),这给用户带来增强的查看体验。
在一些实施方案中,视觉效果(例如,照射模糊层1112b)具有随着视觉效果从立体媒体项的第一表示的至少第一边缘(例如,1108的边界)朝向立体媒体项的第一表示的内部向内延伸而经过多个值(例如,逐渐地或通过多个离散步骤)减小的视觉特征(例如,密度和/或颜色(例如,单色或多色的颜色梯度))(例如,半透明度的量(例如,在视觉属性后面可见的物理环境的表示的量))(例如,视觉属性覆盖物理环境的第一部分而不覆盖物理环境的表示的第二部分)(例如,如上文参考图11A所讨论)。在一些实施方案中,随着朝向立体媒体项的第一表示的中心的距离的减小,视觉效果的第二视觉特征(例如,半透明度)经过多个值增大。减小模糊效果的视觉特征有助于用户查看在两个或更多个相机的捕获区域的重叠内的内容,同时不查看不在两个或更多个相机的捕获区域的重叠内的内容,这帮助减轻用户在查看立体媒体项时检测到的窗口违规量(例如,在立体媒体项的内容将被感知为在窗口前面时的时间点立体媒体项内的对象被立体媒体项显示在其后面的窗口的边缘遮蔽时发生的视觉效果),这给用户带来增强的查看体验。
在一些实施方案中,立体媒体的第一表示(例如,1108)包括立体媒体项的第一表示的第一边缘(例如,1108的边界)处(以及任选地立体媒体项的第一表示的一个或多个其他边缘处)的内容。在一些实施方案中,视觉效果(例如,照射模糊层1112b)是对立体媒体项的第一表示的第一边缘处(以及任选地立体媒体项的第一表示的一个或多个其他边缘处)的内容的模糊(例如,如上文参考图11A所述)。使立体媒体的第一表示的第一边缘处的内容模糊,有助于减轻用户从极端角度查看立体媒体项时用户检测到的窗口违规量(例如,在立体媒体项的内容将被感知为在窗口前面时的时间点立体媒体项内的对象被立体媒体项显示在其后面的窗口的边缘遮蔽时发生的视觉效果),这给用户带来增强的查看体验。
在一些实施方案中,在立体媒体项的第一表示(例如,1108)的第一边缘和第二边缘上显示(例如,同时地显示)视觉效果。在一些实施方案中,在显示立体媒体项的第一表示时,计算机系统检测用户的视点的第二变化(例如,700的视点的变化)(例如,用户整个身体的定位的变化、用户身体的第一部分(例如,用户的头部)的定位的变化)(例如,用户的横向移动、用户的左右移动和/或用户沿着水平平面的移动)。在一些实施方案中,用户的视点的第二变化包括用户的视点相对于立体媒体项的第一表示的显示的角度的变化(例如,用户的视点相对于立体媒体项的第一表示的显示的角度改变5度、10度、15度、25度、30度、35度、40度、55度或60度)。在一些实施方案中,响应于检测到用户的视点的第二变化并且根据确定用户的视点的第二变化在第一方向上(例如,向左、向右、向上和/或向下),计算机系统增大立体媒体项的第一表示的至少第二边缘上的视觉效果(例如,后模糊层1112a)的大小(例如,如上文参考图11B和图11C所讨论)(例如,在立体媒体项的表示后面显示的模糊区域的大小增大)(例如,并且减小立体媒体项的第一表示的第二边缘上的视觉效果的大小)(例如,第二边缘在立体媒体项的第一表示的与第一方向相反的一侧(例如,如果第一方向是向右,则第二边缘在立体媒体项的左侧)),并且根据确定用户视点的第二变化在不同于第一方向的第二方向上(例如,向左、向右、向上和/或向下),计算机系统增大立体媒体项的第一表示的至少第一边缘上的视觉效果(例如,如上文参考图11B和图11C所讨论)(例如,在立体媒体项的表示后面显示的模糊区域的大小增大)(例如,并且减小在立体媒体项的第一表示的第二边缘上显示的视觉效果的大小)(例如,第一边缘在立体媒体项的第一表示的与第二方向相反的一侧(例如,如果第二方向是向下,则第一侧在立体媒体项的第一表示的顶部))。在一些实施方案中,第一边缘和第二边缘在立体媒体项的第一表示的相反侧上,并且第一方向与第二方向相反。在一些实施方案中,当改变立体媒体项的第一表示的第二边缘上的视觉效果的大小时,立体媒体的第一表示的第一边缘上的视觉效果的大小不变,反之亦然。在一些实施方案中,第一边缘和第二边缘在第一表示的相反侧(例如,左边缘和右边缘)上。响应于检测到用户的视点的变化而改变立体媒体项的第一表示的相应边缘上的视觉效果的大小,减轻了用户从某些角度查看立体媒体项时用户检测到的窗口违规量(例如,在立体媒体项的内容将被感知为在窗口前面时的时间点立体媒体项内的对象被立体媒体项显示在其后面的窗口的边缘遮蔽时发生的视觉效果),这给用户带来增强的查看体验。响应于检测到用户的视点的变化而改变立体媒体项的第一表示的相应边缘上的视觉效果的大小,允许用户在不显示附加控件的情况下控制视觉效果的显示,这提供附加控件选项而不使用户界面混乱。
在一些实施方案中,显示用户界面(例如,1104)包括:显示模糊区域(例如,视觉效果1112的后模糊区域),并且其中立体媒体项包括第一多个边缘(例如,3个边缘、4个边缘、5个边缘、6个边缘或7个边缘)。在一些实施方案中,根据确定立体媒体项(例如,对应于1108)的第一多个边缘包括第一内容,模糊区域包括第一内容的模糊表示,其中第一内容的模糊表示基于第一内容的外推(例如,第一内容的模糊表示包括立体媒体项的该多个边缘处的内容的外推)(例如,模糊表示包括在立体媒体项中不可见的内容)(例如,如上文参考图11A所述),并且根据确定立体媒体项(例如,对应于1108)的第一多个边缘包括第二内容(例如,不同于第一内容),模糊区域包括第二内容的模糊表示,其中第二内容的模糊表示基于第二内容的外推(例如,并且模糊区域不包括第一内容的外推)(例如,如上文参考图11A所述)。在一些实施方案中,模糊区域中所包括的内容响应于计算机系统检测到用户的视点的变化而改变(例如,模糊区域中所包括的内容基于计算机系统的视点动态地改变)。在一些实施方案中,模糊区域从立体媒体项的第一表示的至少第一边缘向外延伸。
在一些实施方案中,在具有渐晕效果的情况下显示立体媒体项的第一表示(例如,如上文参考图11A所讨论)(例如,立体媒体项的第一表示的外围处的立体媒体项的第一表示的亮度和/或饱和度降低(例如,随着距立体媒体项的第一表示的外围的距离的减小(例如,朝向立体媒体项的第一表示的中心),立体媒体项的第一表示的亮度增大))(例如,立体媒体项的第一表示在立体媒体项的第一表示的中心处最亮,并且在边缘处最暗)。在一些实施方案中,计算机系统在初始显示立体媒体项的第一表示之后应用渐晕效果。在一些实施方案中,作为初始显示立体媒体项的第一表示的一部分,计算机系统应用渐晕效果。
在一些实施方案中,显示用户界面(例如,1104)包括:显示虚拟门户(例如,1102),并且其中立体媒体项的第一表示(例如,1108)显示在虚拟门户内(例如,如上文参考图11A所述)(例如,虚拟门户显示在立体媒体项的第一表示周围)。在一些实施方案中,虚拟门户覆盖在物理环境的表示(例如,光学或虚拟表示)的顶部。在一些实施方案中,虚拟门户被显示为三维对象(例如,虚拟门户被显示为具有深度)。在一些实施方案中,计算机系统在虚拟门户内显示内容,使得随着用户在虚拟门户的显示周围移动,内容对用户连续可见。在一些实施方案中,当计算机系统是头戴式设备时,计算机系统响应于检测到用户(例如,在用户正穿戴计算机系统时)正在物理环境中四处走动和/或转动其头部而显示虚拟门户的不同视角。在虚拟门户内显示立体媒体项的表示,增强了对立体媒体项的第一表示中所包括的内容之间的(例如,如用户所体验的)相对深度的感知,这给用户带来增强的查看体验。
在一些实施方案中,立体媒体项的第一表示(例如,1108)包括前景部分和背景部分。在一些实施方案中,在显示立体媒体项的第一表示时,计算机系统检测用户的视点的第三变化(例如,如上文参考图11A、图11B和图11C所述)(例如,700的视点的变化)(例如,用户整个身体的定位的变化、用户身体的第一部分(例如,用户的身体)的定位的变化)(例如,用户的横向移动、用户的左右移动和/或用户沿着水平平面的移动)。在一些实施方案中,响应于检测到用户的视点的第三变化,计算机系统经由显示生成部件(例如,702)显示:立体媒体项的第一表示的前景部分基于用户的视点的第三变化相对于立体媒体项的第一表示的背景部分移动(例如,如上文参考图11B所述)(例如,计算机系统显示相对于立体媒体项的第一表示的前景部分和背景部分的视差效果)(例如,立体媒体项的第一表示的前景部分与立体媒体项的第一表示的背景部分不同地偏移(例如,移动得更快))(例如,立体媒体项的第一表示的前景部分中的对象基于用户的视点的变化以第一可变速度移动,并且立体媒体项的第一表示的背景部分中的对象以基于用户的视点的变化的第二可变速度移动)。显示立体媒体项的第一表示的前景部分相对于立体媒体项的第一表示的背景部分移动,向用户提供了关于与立体媒体项的第一表示相关联的深度数据的视觉反馈,这提供了改进的视觉反馈。
在一些实施方案中,显示虚拟门户(例如,1102)包括:在物理环境的第一表示(例如,1106)中与用户的第一视点(例如,700的定位)相距第一距离的第一位置处显示虚拟门户(例如,1102)的第一部分(例如,1118)(例如,虚拟门户的窗口(例如,立体媒体项的第一表示坐落于窗口内))(例如,小于虚拟门户的整体),其中显示(例如,渲染)立体媒体项的第一表示包括:在物理环境的第一表示中与用户的第一视点相距第二距离的第二位置处显示立体媒体项的第一表示(例如,1108),并且其中第二距离大于第一距离(例如,虚拟门户的第一部分和立体媒体项的第一表示之间存在一定立体深度量(例如,计算机系统向用户的两只眼睛显示单独图像,这致使用户感知到立体媒体项的第一表示定位在虚拟门户的第一部分后面))(例如,该表示与虚拟门户的第一部分相比离用户更远)。在一些实施方案中,计算机系统在窗口和模糊层之间渲染立体媒体项的第一表示。在一些实施方案中,计算机系统在第一模糊和第二模糊之间渲染立体媒体项的第一表示。与门户的第一部分相比离用户更远地显示立体媒体项的表示,减轻了当计算机系统在立体媒体项的第一表示的顶部显示各种虚拟对象(例如,可选择虚拟对象)时用户可能体验到的窗口违规量(例如,在立体媒体项的内容将被感知为在窗口前面时的时间点立体媒体项内的对象被立体媒体项显示在其后面的窗口的边缘遮蔽时发生的视觉效果),这给用户提供了增强的查看体验。
在一些实施方案中,虚拟门户(例如,1102)是具有一定厚度量的三维虚拟对象,其中向用户显示(例如,对用户可见)的厚度量与用户的视点相对于虚拟门户的显示的角度直接相关(例如,如上文关于图11A所述)(例如,对用户可见的厚度量随着用户的视点相对于虚拟门户的显示的角度的增大而增大)。
在一些实施方案中,显示立体媒体项的第一表示(例如,1108)包括:在立体媒体项的第一表示的第一边缘处(以及任选地在立体媒体项的第一表示的一个或多个其他边缘处)显示镜面效果(例如,1120)(例如,虚拟镜面效果)(例如,似镜的光反射)。在一些实施方案中,在立体媒体项的第一表示的边缘中的两个、三个或更多个(例如,全部)边缘上显示镜面效果。在一些实施方案中,围绕立体媒体项的第一表示的外围显示镜面效果。在一些实施方案中,镜面效果的外观基于所检测到的用户视点的变化而改变。在一些实施方案中,计算机系统根据确定物理环境中的环境照明低于照明阈值而停止显示镜面效果。在一些实施方案中,镜面效果是静态的(例如,镜面效果的外观并不随着用户的视点的改变而改变)。在立体媒体项的表示的第一边缘处显示镜面效果,有助于产生虚拟门户是物理环境中的三维对象的感知,这有助于用户可视化与立体媒体项相关联的深度数据,这给用户提供了增强的查看体验。
在一些实施方案中,在物理环境的第二表示(例如,1106)(例如,光学表示或虚拟表示)内的第一位置(例如,虚拟位置)处(例如,第一位置对应于物理环境中位于计算机系统在物理环境中的定位前方的位置)显示立体媒体项的第一表示(例如,1108),其中第一位置与用户的第一视点(例如,700的视点)相距第一距离(例如,虚拟距离)(例如,6英寸、1英尺、1.5英尺、5英尺或10英尺)。在一些实施方案中,在物理环境的第二表示内的第一位置处显示立体媒体项的第一表示时,计算机系统检测以沉浸式外观显示立体媒体项的请求(例如,与计算机系统通信(例如,有线通信和/或无线通信)的硬件按钮的激活;空中手势(例如,空中捏合、空中轻扫和/或空中轻击)的检测(例如,经由与计算机系统通信的一个或多个相机);和/或语音命令)(例如,计算机系统检测到用户移动到物理环境内与立体媒体项的第一表示的显示的位置相对应的位置)(例如,如上文在图11D中所讨论)(例如,第一人视图)。在一些实施方案中,响应于检测到以沉浸式外观显示立体媒体项的第一表示的请求,计算机系统从物理环境的第二表示内的第二位置显示立体媒体项的第一表示,其中第二位置与用户的第一视点(例如,视点700)相距第二距离,并且其中第二距离小于第一距离(例如,如上文参考图11E所讨论)(例如,计算机系统将立体媒体项的第一表示的显示朝向用户的视点移动,和/或计算机系统检测到用户移动成更靠近立体媒体项的第一表示的显示)(例如,在计算机系统将媒体项的第一表示从第一位置移动到第二位置时,计算机系统保持立体媒体项的第一表示的显示),并且计算机系统沿着立体媒体项的第一表示的平面增大立体媒体项的第一表示的大小,该平面与立体媒体项的第二表示内的第一位置和物理环境的第二表示内的第二位置之间的路径平行(例如,如上文参考图11E所讨论)(例如,在立体媒体项的第一表示的大小增大之后(例如,在以沉浸式外观显示立体媒体项的第一表示时),立体媒体项的第一表示的显示占据用户的视场的更大部分)(例如,立体媒体项的第一表示沿着z轴的厚度增大)。在一些实施方案中,以沉浸式外观显示立体媒体项包括:显示立体媒体项的第一表示中所包括的内容的表示的不同视角,其中不同视角在环境中的公共点处。在一些实施方案中,在立体媒体项的第一表示以沉浸式外观显示时,物理环境的表示对用户可见。在一些实施方案中,在计算机系统显示立体媒体项的第一表示的大小增大时,计算机系统将立体媒体项的第一表示显示为从物理环境的表示中的第一位置移动到物理的表示中的第二位置。在一些实施方案中,在计算机系统显示立体媒体项的第一表示的大小增大之前或之后,计算机系统将立体媒体项的第一表示显示为从物理环境的表示中的第一位置移动到物理环境的表示中的第二位置。在一些实施方案中,计算机系统响应于检测到以非沉浸式外观显示立体媒体项的第一表示的请求而停止以沉浸式外观显示立体媒体项的第一表示。在一些实施方案中,当计算机系统是头戴式设备时,在以沉浸式外观显示立体媒体项时,立体媒体项的外观对应于用户头部的定位取向。在一些实施方案中,当计算机系统是头戴式设备时,计算机系统在计算机系统的第一显示设备的大部分(例如,整体)上显示立体媒体项,并且计算机系统在计算机系统的第二显示设备的大部分(例如,整体)上显示立体媒体项,其中计算机系统的第一显示设备对应于用户的第一只眼睛(例如,第一显示设备对用户的第一只眼睛可见),并且计算机系统的第二显示设备对应于用户的第二只眼睛(例如,第二显示设备对用户的第二只眼睛可见)。更靠近用户显示立体媒体项的第一表示并且增大立体媒体项的第一表示的大小,向用户提供了关于计算机系统的状态(例如,计算机系统已经检测到以沉浸式外观显示立体媒体项的第一表示的请求)的视觉反馈,这提供了改进的视觉反馈。
在一些实施方案中,以与捕获空间媒体时捕获的对象的比例具有预先确定关系的相应比例来显示立体媒体项的第一表示(例如,1108)中所包括的内容(例如,1108中的树和个体)(例如,相较于捕获立体媒体项时媒体项中的对象相对于对象所处的物理环境的比例,以相对于物理环境的表示的1:1比例显示立体媒体项的第一表示中所包括的内容)(例如,以真实世界比例显示立体媒体项的第一表示中所包括的内容),立体媒体项的第一表示以沉浸式外观显示(例如,如上文在图11E中所讨论)。在一些实施方案中,在计算机系统检测到以沉浸式外观显示立体媒体项的第一表示的请求之前,计算机系统以小于全比例显示立体媒体项的第一表示中所包括的内容(例如,以非沉浸式外观显示立体媒体项的第一表示)。在立体媒体项的第一表示具有沉浸式外观时,以与捕获空间媒体时捕获的对象的比例具有预先确定关系的相应比例显示立体媒体项的第一表示中所包括的内容,向用户提供了立体媒体项的第一表示中所包括的内容的相对真实世界大小和定位的准确表示,这增强了用户的查看体验。
在一些实施方案中,在检测到以沉浸式外观显示立体媒体项的第一表示(例如,图11E至图11F处的1108)的请求之前,显示立体媒体项的第一表示包括:以非沉浸式外观显示立体媒体项的第一表示(例如,图11A至图11D处的1108)(例如,立体媒体项的第一表示中所包括的内容的外观并不基于计算机系统的视点的变化而改变)。在一些实施方案中,当以沉浸式外观显示时,立体媒体项的第一表示占据用户的第二视点的第一角度范围(例如,围绕用户的视点的180度、270度或360度)(例如,在以非沉浸式外观显示立体媒体项的第一表示时(例如,在计算机系统检测到以沉浸式外观显示第一表示的请求之前),立体媒体项的第一表示不占据用户的第二视点的第一角度范围)(例如,如上文参考图11E所讨论)。在一些实施方案中,当以非沉浸式外观显示时,立体媒体项的第一表示占据用户的第二视点的第二角度范围(例如,30度、45度、60度、120度或180度),其中第二角度范围小于第一角度范围(例如,如上文参考图11E所讨论)。在以沉浸式外观显示立体媒体项的第一表示时在用户的视点的更大角度范围周围显示立体媒体项的第一表示,向用户提供了在维持对立体媒体项的第一表示中所包括的内容的查看的同时在更大运动范围内移动的能力,这给用户提供了增强的查看体验。
在一些实施方案中,立体媒体项包括第二多个边缘(例如,3个边缘、4个边缘、5个边缘或6个边缘)。在一些实施方案中,在以沉浸式外观显示立体媒体项的第一表示(例如,图11E和11F处的1108)时,并且根据确定立体媒体项(例如,由1108表示的媒体项)的第二多个边缘包括第三内容,计算机系统在立体媒体项的第一表示的第一边缘处显示第三内容的表示(例如,从至少第三边缘向外延伸),其中第三内容的表示基于第三内容的外推(例如,第三内容的表示包括在立体媒体项的多个边缘中的每个边缘处可见的内容的外推)(例如,第三表示包括在立体媒体项中不可见的内容)(例如,如上文参考图11E所讨论),并且根据确定立体媒体项的第二多个边缘包括第四内容,计算机系统在立体媒体项的第一表示的第一边缘处显示第四内容的表示(例如,从至少第三边缘向外延伸),其中第四内容的表示基于第四内容的外推(例如,如上文参考图11E所讨论)。在一些实施方案中,基于第三内容的外推的第三内容的表示是模糊的。在一些实施方案中,基于第四内容的外推的第四内容的表示是模糊的。在一些实施方案中,第三内容的表示/第四内容的表示响应于检测到用户的视点的变化而改变。
在一些实施方案中,计算机系统显示非立体媒体项(例如,不包括从多个视角捕获的内容的媒体项)的表示,其中非立体媒体项在不具有视觉效果(例如,照射模糊1112b)的情况下显示(例如,如上文参考图11A所讨论)(例如,非立体媒体项在不具有立体媒体项被显示为具有的上述视觉效果的情况下显示(例如,非立体媒体项不在具有模糊效果的情况下显示,随着模糊效果朝向非立体媒体项的中间延伸,模糊效果在强度上降低;非立体媒体项不在具有遮蔽非立体媒体项中所包括的内容的一部分的模糊效果的情况下显示;与非立体媒体项一起显示的模糊效果的量不随着计算机系统的视点的改变而改变;模糊效果遮蔽的内容的部分不响应于计算机系统的视点的改变而改变;非立体媒体项不在具有基于非立体媒体项中所包括的内容的外推的模糊区域的情况下显示;非立体媒体项不以沉浸式外观显示;用户的两只眼睛响应于计算机系统的视点的改变看到非立体媒体项的外观的相同变化)。在一些实施方案中,非立体媒体项的表示与立体媒体项的第一表示同时地显示。在一些实施方案中,计算机系统响应于显示非立体媒体项而停止显示立体媒体项的第一表示。在一些实施方案中,上述视觉效果的某个组合应用于立体媒体项而不应用于非立体媒体项。在一些实施方案中,上述视觉效果的某个组合应用于立体媒体项和非立体媒体项两者。
在一些实施方案中,计算机系统显示与立体媒体项的第一表示不同的第二立体媒体项的第二表示(例如,第二立体媒体项的第二表示包括与立体媒体项的第一表示中所包括的内容不同的内容),其中第二立体媒体项的第二表示在具有第二视觉效果(例如,照射模糊1112b)的情况下显示(例如,第二立体媒体项的第二表示在具有立体媒体项所具有的上述视觉效果的情况下显示(例如,第二立体媒体项的第二表示在具有模糊效果的情况下显示,随着模糊效果朝向第二立体媒体项的第二表示的中间延伸,模糊效果在强度上减小;第二立体媒体项的第二表示在具有遮蔽第二立体媒体项的第二表示中所包括的内容的一部分的模糊效果的情况下显示;在第二立体媒体项的第二表示内显示的模糊效果的量随着计算机系统的视点的改变而改变;模糊效果遮蔽的第二立体媒体项的第二表示中的内容的部分响应于计算机系统的视点的改变而改变;第二立体媒体项的第二表示在具有基于第二立体媒体项的第二表示中所包括的内容的外推的模糊区域的情况下显示;第二立体媒体项的第二表示可以沉浸式外观显示;用户的眼睛响应于计算机系统的视点的改变而看到第二立体媒体项的第二表示的外观的不同变化),其中第二视觉效果遮蔽第二立体媒体项的第二表示的至少第一部分,并且从第二立体媒体项的第二表示的至少第一边缘朝向第二立体媒体项的第二表示的内部(例如,如上文参考图11A所讨论)(例如,第二立体媒体项的第二表示的中心)(例如,在垂直于第一边缘的方向的、朝向第二立体媒体项的第二表示的中心向内延伸的方向上)向内延伸。在一些实施方案中,作为显示第二立体媒体项的第二表示的一部分,计算机系统停止显示立体媒体项的第一表示。在一些实施方案中,计算机系统同时显示立体媒体项的第一表示和第二立体媒体项的第二表示。
在一些实施方案中,方法800、900、1000和1100的各方面/操作可在这些方法之间互换、替换和/或添加。例如,在方法900中描述的缩放操作任选地用于以增大和/或降低的缩放水平显示媒体项的表示。为了简明起见,此处不再重复这些细节。
出于解释的目的,前面的描述是通过参考具体实施方案来描述的。然而,上面的例示性论述并非旨在是穷尽的或将本发明限制为所公开的精确形式。根据以上教导内容,很多修改形式和变型形式都是可能的。选择和描述实施方案是为了最佳地阐明本发明的原理及其实际应用,以便由此使得本领域的其他技术人员能够最佳地使用具有适合于所构想的特定用途的各种修改的本发明以及各种所描述的实施方案。
如上文所述,本技术的一个方面在于采集并使用得自各种来源的数据,以改善用户的XR体验。本公开预期,在一些实例中,这些所采集的数据可包括唯一地识别或可用于联系或定位特定人员的个人信息数据。此类个人信息数据可以包括人口统计数据、基于位置的数据、电话号码、电子邮件地址、推特ID、家庭地址、与用户的健康或健身水平有关的数据或记录(例如,生命体征测量、药物信息、锻炼信息)、出生日期或任何其他识别或个人信息。
本公开认识到在本发明技术中使用此类个人信息数据可用于使用户受益。例如,个人信息数据可用于改善用户的XR体验。此外,本公开还预期个人信息数据有益于用户的其他用途。例如,健康和健身数据可用于向用户的总体健康状况提供见解,或者可用作使用技术来追求健康目标的个人的积极反馈。
本公开设想负责采集、分析、公开、传输、存储或其他使用此类个人信息数据的实体将遵守既定的隐私政策和/或隐私实践。具体地,此类实体应当实行并坚持使用被公认为满足或超出对维护个人信息数据的隐私性和安全性的行业或政府要求的隐私政策和实践。此类政策应该能被用户方便地访问,并应随着数据的采集和/或使用变化而被更新。来自用户的个人信息应当被收集用于实体的合法且合理的用途,并且不在这些合法使用之外共享或出售。此外,应在收到用户知情同意后进行此类采集/共享。另外,此类实体应考虑采取任何必要步骤,保卫和保障对此类个人信息数据的访问,并确保有权访问个人信息数据的其他人遵守其隐私政策和流程。另外,这种实体可使其本身经受第三方评估以证明其遵守广泛接受的隐私政策和实践。另外,应当调整政策和实践,以便采集和/或访问的特定类型的个人信息数据,并适用于包括管辖范围的具体考虑的适用法律和标准。例如,在美国,对某些健康数据的收集或获取可能受联邦和/或州法律的管辖,诸如健康保险流通和责任法案(HIPAA);而其他国家的健康数据可能受到其他法规和政策的约束并应相应处理。因此,在每个国家应为不同的个人数据类型保持不同的隐私实践。
不管前述情况如何,本公开还预期用户选择性地阻止使用或访问个人信息数据的实施方案。即本公开预期可提供硬件元件和/或软件元件,以防止或阻止对此类个人信息数据的访问。例如,就XR体验而言,本发明技术可被配置为在注册服务期间或之后任何时候允许用户选择“选择加入”或“选择退出”参与对个人信息数据的收集。又如,用户可选择不提供用于服务定制的数据。再如,用户可选择限制保持数据的时间长度或者完全禁止定制服务的开发。除了提供“选择加入”和“选择退出”选项外,本公开还设想提供与访问或使用个人信息相关的通知。例如,可在下载应用时向用户通知其个人信息数据将被访问,然后就在个人信息数据被应用访问之前再次提醒用户。
此外,本公开的目的是应管理和处理个人信息数据以最小化无意或未经授权访问或使用的风险。一旦不再需要数据,通过限制数据收集和删除数据可最小化风险。此外,并且当适用时,包括在某些健康相关应用程序中,数据去标识可用于保护用户的隐私。可在适当时通过移除特定标识符(例如,出生日期等)、控制所存储数据的量或特异性(例如,在城市级别而不是在地址级别收集位置数据)、控制数据如何被存储(例如,在用户之间聚合数据)、和/或其他方法来促进去标识。
因此,虽然本公开广泛地覆盖了使用个人信息数据来实现一个或多个各种所公开的实施方案,但本公开还预期各种实施方案也可在无需访问此类个人信息数据的情况下被实现。即,本发明技术的各种实施方案不会由于缺少此类个人信息数据的全部或一部分而无法正常进行。例如,可通过基于非个人信息数据或绝对最低限度量的个人信息(诸如,与用户相关联的设备所请求的内容、对服务可用的其他非个人信息、或可公开获得的信息)推断偏好来生成XR体验。
Claims (110)
1.一种方法,包括
在与显示生成部件和一个或多个输入设备通信的计算机系统处:
经由所述显示生成部件显示媒体库用户界面,所述媒体库用户界面包括多个媒体项的表示,所述多个媒体项的表示包括第一媒体项的表示;以及
在显示所述媒体库用户界面时:
在第一时间经由所述一个或多个输入设备检测对应于所述媒体库用户界面中的第一定位的用户注视;
响应于检测到对应于所述媒体库用户界面中的所述第一定位的用户注视,将所述第一媒体项的表示的外观从经由所述显示生成部件以第一方式显示改变为以不同于所述第一方式的第二方式显示;
在所述第一时间之后的第二时间,经由所述一个或多个输入设备检测对应于所述媒体库用户界面中不同于所述第一定位的第二定位的用户注视;以及
响应于检测到对应于所述媒体库用户界面中的所述第二定位的用户注视,经由所述显示生成部件以不同于所述第二方式的第三方式显示所述第一媒体项的表示。
2.根据权利要求1所述的方法,还包括:
经由所述显示生成部件显示所述媒体库用户界面,所述媒体库用户界面包括所述多个媒体项的表示,所述多个媒体项的表示包括不同于所述第一媒体项的第二媒体项的表示;以及
在显示包括所述第二媒体项的表示的所述媒体库用户界面时:
经由所述一个或多个输入设备检测对应于所述媒体库用户界面中的第三定位的用户注视;
响应于检测到对应于所述媒体库用户界面中的所述第三定位的用户注视,将所述第二媒体项的表示的外观从以第四方式显示改变为以不同于所述第四方式的第五方式显示。
3.根据权利要求1至2中任一项所述的方法,其中:
所述第一媒体项包括多个元素,所述多个元素包括第一元素和第二元素;
以所述第一方式显示所述第一媒体项的表示包括:在第一二维平面内显示所述第一元素和所述第二元素;以及
以所述第二方式显示所述第一媒体项的表示包括:沿着在所述第一二维平面之外延伸的第三维度将所述第一元素和所述第二元素分开。
4.根据权利要求1至3中任一项所述的方法,其中:
以所述第一方式显示所述第一媒体项的表示包括:在相对于用户的第一定位处显示所述第一媒体项的表示;以及
以所述第二方式显示所述第一媒体项的表示包括:在相对于所述用户的第二定位处显示所述第一媒体项的表示,所述第二定位与所述第一定位相比离所述用户更远。
5.根据权利要求1至4中任一项所述的方法,其中:
所述第一媒体项包括视频内容;
以所述第一方式显示所述第一媒体项的表示包括:显示所述第一媒体项的所述视频内容的静态表示;以及
以所述第二方式显示所述第一媒体项的表示包括:显示所述第一媒体项的所述视频内容的回放。
6.根据权利要求5所述的方法,其中:
以不同于所述第二方式的所述第三方式显示所述第一媒体项的表示包括:显示所述第一媒体项的所述视频内容的第二静态表示。
7.根据权利要求5至6中任一项所述的方法,其中,以所述第二方式显示所述第一媒体项的表示包括:将低通滤波器应用于所述第一媒体项的所述视频内容。
8.根据权利要求5至7中任一项所述的方法,还包括:
在以所述第二方式显示所述第一媒体项的表示、包括显示所述第一媒体项的所述视频内容的回放时,以第一音量水平输出所述第一媒体项的音频内容;
在显示所述媒体库用户界面时,经由所述一个或多个输入设备检测与对所述第一媒体项的选择相对应的一个或多个用户输入;以及
响应于检测到与对所述第一媒体项的选择相对应的所述一个或多个用户输入:
以与所述第一音量水平相比更响亮的第二音量水平输出所述第一媒体项的音频内容。
9.根据权利要求5至8中任一项所述的方法,其中,显示所述第一媒体项的所述视频内容的回放是响应于检测到对应于所述媒体库用户界面中的所述第一定位的用户注视而执行的。
10.根据权利要求1至9中任一项所述的方法,其中,所述第一媒体项包括多个元素,所述多个元素包括第一元素和第二元素,并且所述方法还包括:
在继续检测对应于所述媒体库用户界面中的所述第一定位的用户注视时:
经由所述显示生成部件显示:所述第一元素随着所述用户的视点相对于所述第一媒体项偏移而相对于所述第二元素移动。
11.根据权利要求1至10中任一项所述的方法,还包括:
经由所述一个或多个输入设备检测对应于所述媒体库用户界面中的所述第一定位的用户注视;
在继续检测对应于所述媒体库用户界面中的所述第一定位的用户注视时,经由所述一个或多个输入设备检测一个或多个用户手势;以及
响应于在继续检测对应于所述媒体库用户界面中的所述第一定位的用户注视时检测到所述一个或多个用户手势,将所述第一媒体项的表示的外观从经由所述显示生成部件以第七方式显示改变为以不同于所述第七方式的第八方式显示。
12.根据权利要求11所述的方法,其中:
所述一个或多个用户手势包括捏合手势。
13.根据权利要求11至12中任一项所述的方法,其中:
所述第一媒体项包括多个元素,所述多个元素包括第一元素和第二元素;
以所述第七方式显示所述第一媒体项的表示包括:
在第一定位处显示所述第一元素;以及
在与所述第一定位相比离所述计算机系统的用户更近的第二定位处显示所述第二元素;
所述一个或多个用户手势包括第一手势;以及
所述方法还包括:
响应于在继续检测对应于所述媒体库用户界面中的所述第一定位的用户注视时检测到所述第一手势,相对于所述第一元素移动所述第二元素以减小所述第一元素和所述第二元素之间的距离。
14.根据权利要求13所述的方法,其中:
所述一个或多个用户手势包括在所述第一手势之后执行的第二手势;以及
所述方法还包括:
响应于在继续检测对应于所述媒体库用户界面中的所述第一定位的用户注视时检测到所述第二手势,相对于所述第一元素移动所述第二元素以增大所述第一元素和所述第二元素之间的距离。
15.根据权利要求13至14中任一项所述的方法,其中:
所述一个或多个用户手势包括在所述第一手势之后执行的第三手势;
所述第三手势指示对所述第一媒体项的用户选择;以及
所述方法还包括:
响应于检测到所述第三手势,增大所述第一元素和所述第二元素之间的距离。
16.根据权利要求11至15中任一项所述的方法,其中:
显示所述媒体库用户界面包括:与所述第一媒体项的表示同时地显示与所述第一媒体项的表示不同的第二媒体项的表示;
所述一个或多个用户手势包括与对所述第一媒体项的选择相对应的第一选择手势;以及
所述方法还包括:
响应于检测到与对所述第一媒体项的选择相对应的所述第一选择手势,在视觉上遮蔽所述第二媒体项的表示。
17.根据权利要求1至16中任一项所述的方法,还包括:
在检测对应于所述媒体库用户界面中的所述第一定位的用户注视时:
经由所述一个或多个输入设备检测第二组一个或多个用户手势;以及
响应于检测到所述第二组一个或多个用户手势,基于所述第二组一个或多个用户手势来偏移所述第一媒体项的表示的视觉内容。
18.根据权利要求1至17中任一项所述的方法,还包括:
在显示所述媒体库用户界面时:
经由所述一个或多个输入设备检测包括捏合手势和拖动手势的第三组一个或多个用户手势;以及
响应于检测到所述第三组一个或多个用户手势,显示所述媒体库用户界面的滚动。
19.根据权利要求1至18中任一项所述的方法,还包括:
在显示所述媒体库用户界面时,经由所述一个或多个输入设备检测与对所述第一媒体项的选择相对应的一个或多个用户输入;
响应于检测到与对所述第一媒体项的选择相对应的所述一个或多个用户输入,经由所述显示生成部件在不同于所述媒体库用户界面的选择媒体用户界面中显示所述第一媒体项;
在所述选择媒体用户界面中显示所述第一媒体项时,经由所述一个或多个输入设备检测包括捏合手势和拖动手势的第四组一个或多个用户手势;以及
响应于检测到所述第四组一个或多个用户手势:
停止在所述选择媒体用户界面内显示所述第一媒体项;以及
经由所述显示生成部件在所述选择媒体用户界面内显示不同于所述第一媒体项的第二媒体项。
20.根据权利要求1至19中任一项所述的方法,还包括:
在显示所述媒体库用户界面时,经由所述一个或多个输入设备检测与对所述第一媒体项的选择相对应的一个或多个用户输入;
响应于检测到与对所述第一媒体项的选择相对应的所述一个或多个用户输入,经由所述显示生成部件在不同于所述媒体库用户界面的选择媒体用户界面中显示所述第一媒体项;
在所述选择媒体用户界面中显示所述第一媒体项时,经由所述一个或多个输入设备检测包括捏合手势和拖动手势的第五组一个或多个用户手势;以及
响应于检测到所述第五组一个或多个用户手势:
停止显示所述选择媒体用户界面;以及
经由所述显示生成部件显示所述媒体库用户界面。
21.根据权利要求1至20中任一项所述的方法,还包括:
在显示所述媒体库用户界面时,经由所述一个或多个输入设备检测与对所述第一媒体项的选择相对应的一个或多个用户输入;
响应于检测到与对所述第一媒体项的选择相对应的所述一个或多个用户输入,经由所述显示生成部件在不同于所述媒体库用户界面的选择媒体用户界面中显示所述第一媒体项;
在所述选择媒体用户界面中显示所述第一媒体项时,经由所述一个或多个输入设备检测包括捏合手势和拖动手势的第六组一个或多个用户手势;以及
响应于检测到所述第六组一个或多个用户手势:
根据确定所述拖动手势对应于第一方向:
停止在所述选择媒体用户界面内显示所述第一媒体项;以及
经由所述显示生成部件在所述选择媒体用户界面内显示不同于所述第一媒体项的第二媒体项;以及
根据确定所述拖动手势对应于不同于所述第一方向的第二方向:
停止显示所述选择媒体用户界面;以及
经由所述显示生成部件显示所述媒体库用户界面。
22.根据权利要求1至21中任一项所述的方法,还包括:
在显示所述媒体库用户界面时,经由所述一个或多个输入设备检测与对所述第一媒体项的选择相对应的一个或多个用户输入;
响应于检测到与对所述第一媒体项的选择相对应的所述一个或多个用户输入,经由所述显示生成部件在不同于所述媒体库用户界面的选择媒体用户界面中显示所述第一媒体项;
在所述选择媒体用户界面中显示所述第一媒体项时:
根据确定用户的手部处于第一状态,经由所述显示生成部件显示第一组用户界面控件;以及
根据确定所述用户的所述手部处于不同于所述第一状态的第二状态,放弃显示所述第一组用户界面控件。
23.根据权利要求1至22中任一项所述的方法,还包括:
在显示所述媒体库用户界面时,经由所述一个或多个输入设备检测与对所述第一媒体项的选择相对应的第七组一个或多个用户手势;以及
响应于检测到所述第七组一个或多个用户手势:
从显示第一组照明效果转变为显示不同于所述第一组照明效果的第二组照明效果,所述转变包括:
在显示所述第一组照明效果之后,经由所述显示生成部件显示中间组照明效果,其中所述中间组照明效果不同于所述第一组照明效果和所述第二组照明效果;以及
在显示所述中间组照明效果之后,经由所述显示生成部件显示所述第二组照明效果。
24.根据权利要求1至23中任一项所述的方法,还包括:
经由所述显示生成部件在不同于所述媒体库用户界面的选择媒体用户界面中显示所述第一媒体项;
在所述选择媒体用户界面中显示所述第一媒体项时,经由所述一个或多个输入设备检测与关闭所述选择媒体用户界面的用户请求相对应的第八组一个或多个用户手势;以及
响应于检测到所述第八组一个或多个用户手势:
从显示第三组照明效果转变为显示不同于所述第三组照明效果的第四组照明效果,所述转变包括:
在显示所述第三组照明效果之后,经由所述显示生成部件显示第二中间组照明效果,其中所述第二中间组照明效果不同于所述第三组照明效果和所述第四组照明效果;以及
在显示所述第二中间组照明效果之后,经由所述显示生成部件显示所述第四组照明效果。
25.根据权利要求1至24中任一项所述的方法,还包括:
经由所述显示生成部件同时地:
在不同于所述媒体库用户界面的选择媒体用户界面中显示所述第一媒体项;以及
显示用于导航通过视觉内容的导航用户界面元素。
26.根据权利要求25所述的方法,其中,所述导航用户界面元素包括一个或多个可选择控件,当被选择时,所述一个或多个可选择控件执行与一个或多个相应媒体项相关联的相应功能。
27.根据权利要求1至26中任一项所述的方法,还包括:
在显示所述媒体库用户界面时,经由所述一个或多个输入设备检测与对所述第一媒体项的选择相对应的一个或多个用户输入;以及
响应于检测到与对所述第一媒体项的选择相对应的所述一个或多个用户输入:
根据确定已经满足第一组标准,经由所述显示生成部件以第一角度大小显示所述第一媒体项;以及
根据确定尚未满足所述第一组标准,经由所述显示生成部件以不同于所述第一角度大小的第二角度大小显示所述第一媒体项。
28.根据权利要求1至27中任一项所述的方法,还包括:
经由所述显示生成部件显示所述第一媒体项,其中所述第一媒体项在对所述第一媒体项应用渐晕的情况下显示。
29.根据权利要求1至28中任一项所述的方法,还包括:
经由所述一个或多个输入设备检测对应于所述媒体库用户界面中的所述第一定位的用户注视;
在继续检测对应于所述媒体库用户界面中的所述第一定位的用户注视时,经由所述一个或多个输入设备检测与对所述第一媒体项的选择相对应的选择手势;以及
响应于在继续检测对应于所述媒体库用户界面中的所述第一定位的用户注视时检测到与对所述第一媒体项的选择相对应的选择手势:
根据确定所述选择手势对应于第一类型的选择手势,经由所述显示生成部件以第九方式显示所述第一媒体项;以及
根据确定所述选择手势对应于不同于所述第一类型的选择手势的第二类型的选择手势,经由所述显示生成部件以不同于所述第九方式的第十方式显示所述第一媒体项。
30.一种非暂态计算机可读存储介质,所述非暂态计算机可读存储介质存储被配置为由与显示生成部件和一个或多个输入设备通信的计算机系统的一个或多个处理器执行的一个或多个程序,所述一个或多个程序包括用于执行根据权利要求1至29中任一项所述的方法的指令。
31.一种计算机系统,所述计算机系统与显示生成部件和一个或多个输入设备通信,所述计算机系统包括:
一个或多个处理器;以及
存储器,所述存储器存储被配置为由所述一个或多个处理器执行的一个或多个程序,所述一个或多个程序包括用于执行根据权利要求1至29中任一项所述的方法的指令。
32.一种计算机系统,所述计算机系统与显示生成部件和一个或多个输入设备通信,所述计算机系统包括:
用于执行根据权利要求1至29中任一项所述的方法的构件。
33.一种非暂态计算机可读存储介质,所述非暂态计算机可读存储介质存储被配置为由与显示生成部件和一个或多个输入设备通信的计算机系统的一个或多个处理器执行的一个或多个程序,所述一个或多个程序包括用于以下操作的指令:
经由所述显示生成部件显示媒体库用户界面,所述媒体库用户界面包括多个媒体项的表示,所述多个媒体项的表示包括第一媒体项的表示;以及
在显示所述媒体库用户界面时:
在第一时间经由所述一个或多个输入设备检测对应于所述媒体库用户界面中的第一定位的用户注视;
响应于检测到对应于所述媒体库用户界面中的所述第一定位的用户注视,将所述第一媒体项的表示的外观从经由所述显示生成部件以第一方式显示改变为以不同于所述第一方式的第二方式显示;
在所述第一时间之后的第二时间,经由所述一个或多个输入设备检测对应于所述媒体库用户界面中不同于所述第一定位的第二定位的用户注视;以及
响应于检测到对应于所述媒体库用户界面中的所述第二定位的用户注视,经由所述显示生成部件以不同于所述第二方式的第三方式显示所述第一媒体项的表示。
34.一种计算机系统,所述计算机系统与显示生成部件和一个或多个输入设备通信,所述计算机系统包括:
一个或多个处理器;以及
存储器,所述存储器存储被配置为由所述一个或多个处理器执行的一个或多个程序,所述一个或多个程序包括用于以下操作的指令:
经由所述显示生成部件显示媒体库用户界面,所述媒体库用户界面包括多个媒体项的表示,所述多个媒体项的表示包括第一媒体项的表示;以及
在显示所述媒体库用户界面时:
在第一时间经由所述一个或多个输入设备检测对应于所述媒体库用户界面中的第一定位的用户注视;
响应于检测到对应于所述媒体库用户界面中的所述第一定位的用户注视,将所述第一媒体项的表示的外观从经由所述显示生成部件以第一方式显示改变为以不同于所述第一方式的第二方式显示;
在所述第一时间之后的第二时间,经由所述一个或多个输入设备检测对应于所述媒体库用户界面中不同于所述第一定位的第二定位的用户注视;以及
响应于检测到对应于所述媒体库用户界面中的所述第二定位的用户注视,经由所述显示生成部件以不同于所述第二方式的第三方式显示所述第一媒体项的表示。
35.一种计算机系统,所述计算机系统与显示生成部件和一个或多个输入设备通信,所述计算机系统包括:
用于经由所述显示生成部件显示媒体库用户界面的构件,所述媒体库用户界面包括多个媒体项的表示,所述多个媒体项的表示包括第一媒体项的表示;以及
用于在显示所述媒体库用户界面时进行以下操作的构件:
在第一时间经由所述一个或多个输入设备检测对应于所述媒体库用户界面中的第一定位的用户注视;
响应于检测到对应于所述媒体库用户界面中的所述第一定位的用户注视,将所述第一媒体项的表示的外观从经由所述显示生成部件以第一方式显示改变为以不同于所述第一方式的第二方式显示;
在所述第一时间之后的第二时间,经由所述一个或多个输入设备检测对应于所述媒体库用户界面中不同于所述第一定位的第二定位的用户注视;以及
响应于检测到对应于所述媒体库用户界面中的所述第二定位的用户注视,经由所述显示生成部件以不同于所述第二方式的第三方式显示所述第一媒体项的表示。
36.一种计算机程序产品,所述计算机程序产品包括被配置为由与显示生成部件和一个或多个输入设备通信的计算机系统的一个或多个处理器执行的一个或多个程序,所述一个或多个程序包括用于以下操作的指令:
经由所述显示生成部件显示媒体库用户界面,所述媒体库用户界面包括多个媒体项的表示,所述多个媒体项的表示包括第一媒体项的表示;以及
在显示所述媒体库用户界面时:
在第一时间经由所述一个或多个输入设备检测对应于所述媒体库用户界面中的第一定位的用户注视;
响应于检测到对应于所述媒体库用户界面中的所述第一定位的用户注视,将所述第一媒体项的表示的外观从经由所述显示生成部件以第一方式显示改变为以不同于所述第一方式的第二方式显示;
在所述第一时间之后的第二时间,经由所述一个或多个输入设备检测对应于所述媒体库用户界面中不同于所述第一定位的第二定位的用户注视;以及
响应于检测到对应于所述媒体库用户界面中的所述第二定位的用户注视,经由所述显示生成部件以不同于所述第二方式的第三方式显示所述第一媒体项的表示。
37.一种方法,包括
在与显示生成部件和一个或多个输入设备通信的计算机系统处:
经由所述显示生成部件以第一缩放水平显示用户界面;
在显示所述用户界面时,经由所述一个或多个输入设备检测对应于放大用户命令的一个或多个用户输入;以及
响应于检测到对应于所述放大用户命令的所述一个或多个用户输入:
根据确定用户注视对应于所述用户界面中的第一定位,经由所述显示生成部件以大于所述第一缩放水平的第二缩放水平显示所述用户界面,其中以所述第二缩放水平显示所述用户界面包括:使用基于所述第一定位选择的第一缩放中心来缩放所述用户界面;以及
根据确定所述用户注视对应于所述用户界面中不同于所述第一定位的第二定位,经由所述显示生成部件以大于所述第一缩放水平的第三缩放水平显示所述用户界面,其中以所述第三缩放水平显示所述用户界面包括:使用基于所述第二定位选择的第二缩放中心来缩放所述用户界面,并且所述第二缩放中心处于与所述第一缩放中心不同的位置。
38.根据权利要求37所述的方法,其中:
对应于所述放大用户命令的所述一个或多个用户输入包括:
第一捏合手势;以及
在所述第一捏合手势之后发生的第二捏合手势。
39.根据权利要求37至38中任一项所述的方法,其中:
对应于所述放大用户命令的所述一个或多个用户输入包括双手去捏合手势。
40.根据权利要求37至39中任一项所述的方法,还包括:
响应于检测到对应于所述放大用户命令的所述一个或多个用户输入:
根据确定所述用户界面正在显示第一类型的第一媒体项,以第一大小显示所述第一媒体项;以及
根据确定所述用户界面正在显示不同于所述第一类型的第二类型的第二媒体项,以大于所述第一大小的第二大小显示所述第二媒体项。
41.根据权利要求37至40中任一项所述的方法,还包括:
响应于检测到对应于所述放大用户命令的所述一个或多个用户输入:
根据确定所述用户界面正在显示第一类型的第一媒体项,将所述第一媒体项显示为扁平对象;以及
根据确定所述用户界面正在显示第二类型的第二媒体项,将所述第二媒体项显示为弯曲对象。
42.根据权利要求37至41中任一项所述的方法,其中:
以所述第一缩放水平显示所述用户界面包括:以第一大小显示第一媒体项的表示;以及
三维环境至少部分地围绕所述用户界面并且包括所述用户界面后面的背景内容;以及
所述方法还包括,响应于检测到对应于所述放大用户命令的所述一个或多个用户输入:
将所述第一媒体项的表示从以所述第一大小显示转变为以大于所述第一大小的第二大小显示;以及
相对于所述第一媒体项减少对所述背景内容的视觉强调。
43.根据权利要求37至42中任一项所述的方法,其中:
以所述第一缩放水平显示所述用户界面包括:以第一大小显示第一媒体项的表示;以及
所述方法还包括:
响应于检测到对应于所述放大用户命令的所述一个或多个用户输入:
将所述第一媒体项的表示从以所述第一大小显示转变为以大于所述第一大小的第二大小显示;以及
显示从所述用户界面延伸的光溢出效果。
44.根据权利要求37至43中任一项所述的方法,其中:
以所述第一缩放水平显示所述用户界面包括:以第一大小显示第一媒体项;以及
以所述第二缩放水平显示所述用户界面包括:
以大于所述第一大小的第二大小显示所述第一媒体项;
根据确定所述第二大小大于预先确定阈值大小,在对所述第一媒体项的至少第一边缘应用模糊效果的情况下显示所述第一媒体项;以及
根据确定所述第二大小不大于所述预先确定阈值大小,在不对所述第一媒体项的任何边缘应用所述模糊效果的情况下显示所述第一媒体项。
45.根据权利要求37至44中任一项所述的方法,其中:
所述用户界面是包括媒体库中的多个媒体项的表示的媒体库用户界面,所述多个媒体项的表示包括第一媒体项的表示和第二媒体项的表示;
以所述第一缩放水平显示所述用户界面包括同时地:
以第一大小显示所述第一媒体项的表示,以及
以第二大小显示所述第二媒体项的表示;以及以所述第二缩放水平显示所述用户界面包括同时地:
以大于所述第一大小的第三大小显示所述第一媒体项的表示;以及
以大于所述第二大小的第四大小显示所述第二媒体项的表示。
46.根据权利要求37至45中任一项所述的方法,其中:
以所述第一缩放水平显示所述用户界面包括:以第一大小显示所述用户界面;以及
所述方法还包括:
响应于检测到对应于所述放大用户命令的所述一个或多个用户输入:
根据确定所述用户界面是第一用户界面,以大于所述第一大小的第二大小显示所述用户界面;以及
根据确定所述用户界面是不同于所述第一用户界面的第二用户界面,保持所述用户界面处于所述第一大小。
47.一种非暂态计算机可读存储介质,所述非暂态计算机可读存储介质存储被配置为由与显示生成部件和一个或多个输入设备通信的计算机系统的一个或多个处理器执行的一个或多个程序,所述一个或多个程序包括用于执行根据权利要求37至46中任一项所述的方法的指令。
48.一种计算机系统,所述计算机系统与显示生成部件和一个或多个输入设备通信,所述计算机系统包括:
一个或多个处理器;以及
存储器,所述存储器存储被配置为由所述一个或多个处理器执行的一个或多个程序,所述一个或多个程序包括用于执行根据权利要求37至46中任一项所述的方法的指令。
49.一种计算机系统,所述计算机系统与显示生成部件和一个或多个输入设备通信,所述计算机系统包括:
用于执行根据权利要求37至46中任一项所述的方法的构件。
50.一种非暂态计算机可读存储介质,所述非暂态计算机可读存储介质存储被配置为由与显示生成部件和一个或多个输入设备通信的计算机系统的一个或多个处理器执行的一个或多个程序,所述一个或多个程序包括用于以下操作的指令:
经由所述显示生成部件以第一缩放水平显示用户界面;
在显示所述用户界面时,经由所述一个或多个输入设备检测对应于放大用户命令的一个或多个用户输入;以及
响应于检测到对应于所述放大用户命令的所述一个或多个用户输入:
根据确定用户注视对应于所述用户界面中的第一定位,经由所述显示生成部件以大于所述第一缩放水平的第二缩放水平显示所述用户界面,其中以所述第二缩放水平显示所述用户界面包括:
使用基于所述第一定位选择的第一缩放中心来缩放所述用户界面;以及
根据确定所述用户注视对应于所述用户界面中不同于所述第一定位的第二定位,经由所述显示生成部件以大于所述第一缩放水平的第三缩放水平显示所述用户界面,其中以所述第三缩放水平显示所述用户界面包括:使用基于所述第二定位选择的第二缩放中心来缩放所述用户界面,并且所述第二缩放中心处于与所述第一缩放中心不同的位置。
51.一种计算机系统,所述计算机系统与显示生成部件和一个或多个输入设备通信,所述计算机系统包括:
一个或多个处理器;以及
存储器,所述存储器存储被配置为由所述一个或多个处理器执行的一个或多个程序,所述一个或多个程序包括用于以下操作的指令:
经由所述显示生成部件以第一缩放水平显示用户界面;
在显示所述用户界面时,经由所述一个或多个输入设备检测对应于放大用户命令的一个或多个用户输入;以及
响应于检测到对应于所述放大用户命令的所述一个或多个用户输入:
根据确定用户注视对应于所述用户界面中的第一定位,
经由所述显示生成部件以大于所述第一缩放水平的第二缩放水平显示所述用户界面,其中以所述第二缩放水平显示所述用户界面包括:使用基于所述第一定位选择的第一缩放中心来缩放所述用户界面;以及
根据确定所述用户注视对应于所述用户界面中不同于所述第一定位的第二定位,经由所述显示生成部件以大于所述第一缩放水平的第三缩放水平显示所述用户界面,其中以所述第三缩放水平显示所述用户界面包括:使用基于所述第二定位选择的第二缩放中心来缩放所述用户界面,并且所述第二缩放中心处于与所述第一缩放中心不同的位置。
52.一种计算机系统,所述计算机系统与显示生成部件和一个或多个输入设备通信,所述计算机系统包括:
用于经由所述显示生成部件以第一缩放水平显示用户界面的构件;
用于在显示所述用户界面时经由所述一个或多个输入设备检测对应于放大用户命令的一个或多个用户输入的构件;以及
用于响应于检测到对应于所述放大用户命令的所述一个或多个用户输入而进行以下操作的构件:
根据确定用户注视对应于所述用户界面中的第一定位,经由所述显示生成部件以大于所述第一缩放水平的第二缩放水平显示所述用户界面,其中以所述第二缩放水平显示所述用户界面包括:
使用基于所述第一定位选择的第一缩放中心来缩放所述用户界面;以及
根据确定所述用户注视对应于所述用户界面中不同于所述第一定位的第二定位,经由所述显示生成部件以大于所述第一缩放水平的第三缩放水平显示所述用户界面,其中以所述第三缩放水平显示所述用户界面包括:使用基于所述第二定位选择的第二缩放中心来缩放所述用户界面,并且所述第二缩放中心处于与所述第一缩放中心不同的位置。
53.一种计算机程序产品,所述计算机程序产品包括被配置为由与显示生成部件和一个或多个输入设备通信的计算机系统的一个或多个处理器执行的一个或多个程序,所述一个或多个程序包括用于以下操作的指令:
经由所述显示生成部件以第一缩放水平显示用户界面;
在显示所述用户界面时,经由所述一个或多个输入设备检测对应于放大用户命令的一个或多个用户输入;以及
响应于检测到对应于所述放大用户命令的所述一个或多个用户输入:
根据确定用户注视对应于所述用户界面中的第一定位,经由所述显示生成部件以大于所述第一缩放水平的第二缩放水平显示所述用户界面,其中以所述第二缩放水平显示所述用户界面包括:
使用基于所述第一定位选择的第一缩放中心来缩放所述用户界面;以及
根据确定所述用户注视对应于所述用户界面中不同于所述第一定位的第二定位,经由所述显示生成部件以大于所述第一缩放水平的第三缩放水平显示所述用户界面,其中以所述第三缩放水平显示所述用户界面包括:使用基于所述第二定位选择的第二缩放中心来缩放所述用户界面,并且所述第二缩放中心处于与所述第一缩放中心不同的位置。
54.一种方法,包括:
在与显示生成部件和一个或多个输入设备通信的计算机系统处:
经由所述一个或多个输入设备检测与对第一媒体项的选择相对应的一个或多个用户输入;以及
响应于检测到与对所述第一媒体项的选择相对应的所述一个或多个用户输入:
根据确定所述第一媒体项是包括相应类型的深度信息的媒体项,经由所述显示生成部件以第一方式显示所述第一媒体项;以及
根据确定所述第一媒体项是不包括所述相应类型的深度信息的媒体项,经由所述显示生成部件以不同于所述第一方式的第二方式显示所述第一媒体项。
55.根据权利要求54所述的方法,其中:
以所述第一方式显示所述第一媒体项包括:将所述第一媒体项显示为具有围绕所述第一媒体项的第一类型的边框;以及
以所述第二方式显示所述第一媒体项包括:将所述第一媒体项显示为具有围绕所述第一媒体项的不同于所述第一边框的第二类型的边框。
56.根据权利要求54至55中任一项所述的方法,其中:
当以所述第一方式显示所述第一媒体项时,至少部分地围绕所述第一媒体项的内容具有第一外观;以及
当以所述第二方式显示所述第一媒体项时,至少部分地围绕所述第一媒体项的内容具有不同于所述第一外观的第二外观。
57.根据权利要求54至56中任一项所述的方法,其中,以所述第一方式显示所述第一媒体项包括:
显示从所述第一媒体项延伸的一组光线。
58.根据权利要求57所述的方法,其中,所述一组光线的一个或多个视觉特征是基于所述第一媒体项的边缘处的一种或多种颜色来确定的。
59.根据权利要求57至58中任一项所述的方法,其中,所述一组光线包括具有第一长度的第一光线和具有不同于所述第一长度的第二长度的第二光线。
60.根据权利要求54至59中任一项所述的方法,其中,所述第一媒体项包括所述相应类型的深度信息,并且所述第一媒体项由所述计算机系统捕获。
61.根据权利要求54至60中任一项所述的方法,其中:
以所述第一方式显示所述第一媒体项包括:在具有第一组照明效果的情况下显示所述第一媒体项;以及
以所述第二方式显示所述第一媒体项包括:在具有第二组照明效果的情况下显示所述第一媒体项。
62.根据权利要求61所述的方法,其中:
所述第一组照明效果是基于所述第一媒体项的所述边缘处的第一组颜色并且基于所述第一媒体项的所述边缘内侧的第二组颜色来确定的,并且在确定所述第一组照明效果时,所述第一组颜色被给予与所述第二组颜色相比更大的权重;以及
所述第二组照明效果是基于所述第一媒体项的所述边缘处的第三组颜色并且基于所述第一媒体项的所述边缘内侧的第四组颜色来确定的,并且在确定所述第二组照明效果时,所述第三组颜色被给予与所述第四组颜色相比更大的权重。
63.根据权利要求61至62中任一项所述的方法,其中:
所述第一组照明效果和所述第二组照明效果包括:
在所述第一媒体项前面发射的光;以及
在所述第一媒体项后面发射的光。
64.根据权利要求61至63中任一项所述的方法,其中:
以所述第一方式显示所述第一媒体项包括:
根据确定所述第一媒体项是视频,在具有第三组照明效果的情况下显示所述第一媒体项;以及
根据确定所述第一媒体项是静止图像,在具有第四组照明效果的情况下显示所述第一媒体项;以及
以所述第二方式显示所述第一媒体项包括:
根据确定所述第一媒体项是视频,在具有第五组照明效果的情况下显示所述第一媒体项;以及
根据确定所述第一媒体项是静止图像,在具有第六组照明效果的情况下显示所述第一媒体项。
65.根据权利要求61至64中任一项所述的方法,其中:
所述第一媒体项是视频;以及
所述视频中的相应回放时间处的所述第一组照明效果包括基于来自所述视频中的多个回放时间的来自所述视频的内容生成的照明效果,所述视频中的所述多个回放时间包括所述视频中的所述相应回放时间。
66.根据权利要求54至65中任一项所述的方法,其中,以所述第一方式显示所述第一媒体项包括:使所述第一媒体项的一个或多个边缘在视觉上失真。
67.根据权利要求54至66中任一项所述的方法,还包括:
在以所述第一方式显示所述第一媒体项时:
经由所述一个或多个输入设备检测对应于所述第一媒体项中的第一定位的用户注视;以及
响应于检测到对应于所述第一媒体项中的所述第一定位的用户注视,显示:所述第一媒体项的至少一部分向后移动。
68.根据权利要求54至67中任一项所述的方法,其中,以所述第一方式显示所述第一媒体项包括:使所述第一媒体项的一个或多个边缘模糊。
69.根据权利要求54至68中任一项所述的方法,其中:
以所述第一方式显示所述第一媒体项包括:
在具有从所述第一媒体项延伸的第一组光溢出照明效果的情况下显示所述第一媒体项;以及
与所述第一组光溢出照明效果同时地显示一个或多个附加照明效果;以及
以所述第二方式显示所述第一媒体项包括:
在具有从所述第一媒体项延伸的第二组光溢出照明效果而不应用所述一个或多个附加照明效果的情况下显示所述第一媒体项。
70.根据权利要求54至69中任一项所述的方法,其中,以所述第一方式显示所述第一媒体项包括:在具有连续边缘的三维形状内显示所述第一媒体项。
71.根据权利要求54至70中任一项所述的方法,其中,具有连续边缘的所述三维形状包括弯曲前表面和弯曲后表面。
72.根据权利要求54至71中任一项所述的方法,其中,具有连续边缘的所述三维形状具有一个或多个折射边缘,所述一个或多个折射边缘将折射属性应用于从所述一个或多个折射边缘发射的光。
73.根据权利要求54至72中任一项所述的方法,其中,所述确定所述第一媒体项是包括相应类型的深度信息的媒体项是确定所述第一媒体项是包括从两个不同相机同时捕获的媒体的立体媒体项。
74.根据权利要求54至73中任一项所述的方法,其中:
以所述第一方式显示所述第一媒体项包括:在所述第一媒体项的外边界之外显示一个或多个控件。
75.一种非暂态计算机可读存储介质,所述非暂态计算机可读存储介质存储被配置为由与显示生成部件和一个或多个输入设备通信的计算机系统的一个或多个处理器执行的一个或多个程序,所述一个或多个程序包括用于执行根据权利要求54至74中任一项所述的方法的指令。
76.一种计算机系统,所述计算机系统与显示生成部件和一个或多个输入设备通信,所述计算机系统包括:
一个或多个处理器;以及
存储器,所述存储器存储被配置为由所述一个或多个处理器执行的一个或多个程序,所述一个或多个程序包括用于执行根据权利要求54至74中任一项所述的方法的指令。
77.一种计算机系统,所述计算机系统与显示生成部件和一个或多个输入设备通信,所述计算机系统包括:
用于执行根据权利要求54至74中任一项所述的方法的构件。
78.一种非暂态计算机可读存储介质,所述非暂态计算机可读存储介质存储被配置为由与显示生成部件和一个或多个输入设备通信的计算机系统的一个或多个处理器执行的一个或多个程序,所述一个或多个程序包括用于以下操作的指令:
经由所述一个或多个输入设备检测与对第一媒体项的选择相对应的一个或多个用户输入;以及
响应于检测到与对所述第一媒体项的选择相对应的所述一个或多个用户输入:
根据确定所述第一媒体项是包括相应类型的深度信息的媒体项,经由所述显示生成部件以第一方式显示所述第一媒体项;以及
根据确定所述第一媒体项是不包括所述相应类型的深度信息的媒体项,经由所述显示生成部件以不同于所述第一方式的第二方式显示所述第一媒体项。
79.一种计算机系统,所述计算机系统与显示生成部件和一个或多个输入设备通信,所述计算机系统包括:
一个或多个处理器;以及
存储器,所述存储器存储被配置为由所述一个或多个处理器执行的一个或多个程序,所述一个或多个程序包括用于以下操作的指令:
经由所述一个或多个输入设备检测与对第一媒体项的选择相对应的一个或多个用户输入;以及
响应于检测到与对所述第一媒体项的选择相对应的所述一个或多个用户输入:
根据确定所述第一媒体项是包括相应类型的深度信息的媒体项,经由所述显示生成部件以第一方式显示所述第一媒体项;以及
根据确定所述第一媒体项是不包括所述相应类型的深度信息的媒体项,经由所述显示生成部件以不同于所述第一方式的第二方式显示所述第一媒体项。
80.一种计算机系统,所述计算机系统与显示生成部件和一个或多个输入设备通信,所述计算机系统包括:
用于经由所述一个或多个输入设备检测与对第一媒体项的选择相对应的一个或多个用户输入的构件;和
用于响应于检测到与对所述第一媒体项的选择相对应的所述一个或多个用户输入而进行以下操作的构件:
根据确定所述第一媒体项是包括相应类型的深度信息的媒体项,经由所述显示生成部件以第一方式显示所述第一媒体项;以及
根据确定所述第一媒体项是不包括所述相应类型的深度信息的媒体项,经由所述显示生成部件以不同于所述第一方式的第二方式显示所述第一媒体项。
81.一种计算机程序产品,所述计算机程序产品包括被配置为由与显示生成部件和一个或多个输入设备通信的计算机系统的一个或多个处理器执行的一个或多个程序,所述一个或多个程序包括用于以下操作的指令:
经由所述一个或多个输入设备检测与对第一媒体项的选择相对应的一个或多个用户输入;以及
响应于检测到与对所述第一媒体项的选择相对应的所述一个或多个用户输入:
根据确定所述第一媒体项是包括相应类型的深度信息的媒体项,经由所述显示生成部件以第一方式显示所述第一媒体项;以及
根据确定所述第一媒体项是不包括所述相应类型的深度信息的媒体项,经由所述显示生成部件以不同于所述第一方式的第二方式显示所述第一媒体项。
82.一种方法,包括:
在与显示生成部件通信的计算机系统处:
经由所述显示生成部件显示用户界面,所述用户界面包括:
立体媒体项的第一表示,其中所述立体媒体项的所述第一表示包括至少第一边缘;以及
视觉效果,其中所述视觉效果遮蔽所述立体媒体项的至少第一部分,并且从所述立体媒体项的所述第一表示的至少所述第一边缘朝向所述立体媒体项的所述第一表示的内部向内延伸。
83.根据权利要求82所述的方法,其中,所述立体媒体项是从一组相机捕获的,其中来自所述一组相机的第一相机捕获物理环境的第一视角,其中来自所述一组相机的第二相机捕获所述物理环境的第二视角,其中所述第二视角不同于所述第一视角,并且其中显示所述立体媒体项的所述第一表示包括:
经由所述显示生成部件向用户的第一只眼睛而不向所述用户的第二只眼睛显示所述物理环境的所述第一视角;以及
经由所述显示生成部件向所述用户的所述第二只眼睛而不向所述用户的所述第一只眼睛显示所述第二视角。
84.根据权利要求82至83中任一项所述的方法,还包括:
在显示所述立体媒体项的所述第一表示时,检测用户的视点的第一变化;以及
响应于检测到所述用户的所述视点的所述第一变化,基于所述用户的所述视点的所述第一变化来改变所述立体媒体项的所述第一表示的外观。
85.根据权利要求84所述的方法,其中:
在改变所述立体媒体项的所述第一表示的所述外观之前,所述视觉效果遮蔽所述立体媒体项的所述第一表示的第一部分;以及
改变所述立体媒体项的所述第一表示的所述外观包括:修改所述视觉效果,使得所述视觉效果遮蔽所述立体媒体项的所述第一表示的不同于所述第一部分的第二部分。
86.根据权利要求84至85中任一项所述的方法,其中,改变所述立体媒体项的所述第一表示的所述外观包括:
以第一方式改变向用户的左眼而不向所述用户的右眼显示的所述立体媒体项的所述第一表示的所述外观;以及
以第二方式改变向所述用户的所述右眼而不向所述用户的所述左眼显示的所述第一立体媒体项的所述第一表示的所述外观,其中所述第二方式不同于所述第一方式。
87.根据权利要求82至86中任一项所述的方法,其中,所述视觉效果具有随着所述视觉效果从所述立体媒体项的所述第一表示的至少所述第一边缘朝向所述立体媒体项的所述第一表示的所述内部向内延伸而经过多个值减小的视觉特征。
88.根据权利要求87所述的方法,其中,所述立体媒体的所述第一表示包括所述立体媒体项的所述第一表示的所述第一边缘处的内容,并且其中所述视觉效果是对所述立体媒体项的所述第一表示的所述第一边缘处的所述内容的模糊。
89.根据权利要求82至88中任一项所述的方法,其中,所述视觉效果显示在所述立体媒体项的所述第一表示的所述第一边缘和第二边缘上,所述方法还包括:
在显示所述立体媒体项的所述第一表示时,检测用户的所述视点的第二变化,其中所述用户的所述视点的所述第二变化包括所述用户的所述视点相对于所述立体媒体项的所述第一表示的所述显示的角度的变化;以及
响应于检测到所述用户的所述视点的所述第二变化:
根据确定所述用户的所述视点的所述第二变化是在第一方向上,增大所述立体媒体项的所述第一表示的至少所述第二边缘上的所述视觉效果的大小;以及
根据确定所述用户的所述视点的所述第二变化是在不同于所述第一方向的第二方向上,增大所述立体媒体项的所述第一表示的至少所述第一边缘上的所述视觉效果的大小。
90.根据权利要求82至89中任一项所述的方法,其中,显示所述用户界面包括:显示模糊区域,并且其中所述立体媒体项包括第一多个边缘,并且其中:
根据确定所述立体媒体项的所述第一多个边缘包括第一内容,所述模糊区域包括所述第一内容的模糊表示,其中所述第一内容的所述模糊表示基于所述第一内容的外推;以及
根据确定所述立体媒体项的所述第一多个边缘包括第二内容,所述模糊区域包括所述第二内容的模糊表示,其中所述第二内容的所述模糊表示基于所述第二内容的外推。
91.根据权利要求82至90中任一项所述的方法,其中,所述立体媒体项的所述第一表示在具有渐晕效果的情况下显示。
92.根据权利要求82至91中任一项所述的方法,其中,显示所述用户界面包括:显示虚拟门户,并且其中所述立体媒体项的所述第一表示显示在所述虚拟门户内。
93.根据权利要求92所述的方法,其中,所述立体媒体项的所述第一表示包括前景部分和背景部分;所述方法还包括:
在显示所述立体媒体项的所述第一表示时,检测用户的所述视点的第三变化;以及
响应于检测到所述用户的所述视点的所述第三变化,经由所述显示生成部件显示:所述立体媒体项的所述第一表示的所述前景部分基于所述用户的所述视点的所述第三变化相对于所述立体媒体项的所述第一表示的所述背景部分移动。
94.根据权利要求91至93中任一项所述的方法,其中,显示所述虚拟门户包括:在物理环境的第一表示中与用户的第一视点相距第一距离的第一位置处显示所述虚拟门户的第一部分,其中显示所述立体媒体项的所述第一表示包括:在所述物理环境的所述第一表示中与所述用户的所述第一视点相距第二距离的第二位置处显示所述立体媒体项的所述第一表示,并且其中所述第二距离大于所述第一距离。
95.根据权利要求91至94中任一项所述的方法,其中,所述虚拟门户是具有一定厚度量的三维虚拟对象,其中向用户显示的所述厚度量与所述用户的所述视点相对于所述虚拟门户的所述显示的角度直接相关。
96.根据权利要求82至95中任一项所述的方法,其中,显示所述立体媒体项的所述第一表示包括:在所述立体媒体项的所述第一表示的所述第一边缘处显示镜面效果。
97.根据权利要求82至96中任一项所述的方法,其中,所述立体媒体项的所述第一表示显示在所述物理环境的第二表示内的第一位置处,其中所述第一位置与用户的第一视点相距第一距离,所述方法还包括:
在所述物理环境的所述第二表示内的所述第一位置处显示所述立体媒体项的所述第一表示时,检测以沉浸式外观显示所述立体媒体项的请求;以及
响应于检测到以所述沉浸式外观显示所述立体媒体项的所述第一表示的所述请求:
从所述物理环境的所述第二表示内的第二位置显示所述立体媒体项的所述第一表示,其中所述第二位置与所述用户的所述第一视点相距第二距离,并且其中所述第二距离小于所述第一距离;以及
沿着所述立体媒体项的所述第一表示的平面增大所述立体媒体项的所述第一表示的大小,所述平面与所述物理环境的所述第二表示内的所述第一位置和所述物理环境的所述第二表示内的所述第二位置之间的路径平行。
98.根据权利要求97所述的方法,其中,所述立体媒体项的所述第一表示中所包括的内容以与捕获空间媒体时捕获的对象的比例具有预先确定关系的相应比例来显示,所述立体媒体项的所述第一表示以所述沉浸式外观显示。
99.根据权利要求97至98中任一项所述的方法,其中,在检测到以所述沉浸式外观显示所述立体媒体项的所述第一表示的所述请求之前,显示所述立体媒体项的所述第一表示包括:以非沉浸式外观显示所述立体媒体项的所述第一表示,并且其中:
当以所述沉浸式外观显示时,所述立体媒体项的所述第一表示占据用户的第二视点的第一角度范围;以及
当以所述非沉浸式外观显示时,所述立体媒体项的所述第一表示占据所述用户的所述第二视点的第二角度范围,其中所述第二角度范围小于所述第一角度范围。
100.根据权利要求97至99中任一项所述的方法,其中,所述立体媒体项包括第二多个边缘,所述方法还包括:
在以所述沉浸式外观显示所述立体媒体项的所述第一表示时:
根据确定所述立体媒体项的所述第二多个边缘包括第三内容,在所述立体媒体项的所述第一表示的所述第一边缘处显示所述第三内容的表示,其中所述第三内容的所述表示基于所述第三内容的外推;以及
根据确定所述立体媒体项的所述第二多个边缘包括第四内容,在所述立体媒体项的所述第一表示的所述第一边缘处显示所述第四内容的表示,其中所述第四内容的所述表示基于所述第四内容的外推。
101.根据权利要求82至100中任一项所述的方法,还包括:
显示非立体媒体项的表示,其中所述非立体媒体项是在没有所述视觉效果的情况下显示的。
102.根据权利要求82至101中任一项所述的方法,还包括:
显示与所述立体媒体项的第一表示不同的第二立体媒体项的第二表示,其中所述第二立体媒体项的所述第二表示在具有第二视觉效果的情况下显示,其中所述第二视觉效果遮蔽所述第二立体媒体项的所述第二表示的至少第一部分,并且从所述第二立体媒体项的所述第二表示的至少第一边缘朝向所述第二立体媒体项的所述第二表示的内部向内延伸。
103.一种非暂态计算机可读存储介质,所述非暂态计算机可读存储介质存储被配置为由与显示生成部件通信的计算机系统的一个或多个处理器执行的一个或多个程序,所述一个或多个程序包括用于执行根据权利要求82至102中任一项所述的方法的指令。
104.一种被配置为与显示生成部件通信的计算机系统,所述计算机系统包括:
一个或多个处理器;以及
存储器,所述存储器存储被配置为由所述一个或多个处理器执行的一个或多个程序,所述一个或多个程序包括用于执行根据权利要求82至102中任一项所述的方法的指令。
105.一种被配置为与显示生成部件通信的计算机系统,包括:
用于执行根据权利要求82至102中任一项所述的方法的构件。
106.一种计算机程序产品,所述计算机程序产品包括被配置为由与显示生成部件通信的计算机系统的一个或多个处理器执行的一个或多个程序,所述一个或多个程序包括用于执行根据权利要求82至102中任一项所述的方法的指令。
107.一种非暂态计算机可读存储介质,所述非暂态计算机可读存储介质存储被配置为由与显示生成部件通信的计算机系统的一个或多个处理器执行的一个或多个程序,所述一个或多个程序包括用于以下操作的指令:
经由所述显示生成部件显示用户界面,所述用户界面包括:
立体媒体项的第一表示,其中所述立体媒体项的所述第一表示包括至少第一边缘;以及
视觉效果,其中所述视觉效果遮蔽所述立体媒体项的至少第一部分,并且从所述立体媒体项的所述第一表示的至少所述第一边缘朝向所述立体媒体项的所述第一表示的内部向内延伸。
108.一种被配置为与显示生成部件通信的计算机系统,包括:
一个或多个处理器;以及
存储器,所述存储器存储被配置为由所述一个或多个处理器执行的一个或多个程序,所述一个或多个程序包括用于以下操作的指令:
经由所述显示生成部件显示用户界面,所述用户界面包括:
立体媒体项的第一表示,其中所述立体媒体项的所述第一表示包括至少第一边缘;以及
视觉效果,其中所述视觉效果遮蔽所述立体媒体项的至少第一部分,并且从所述立体媒体项的所述第一表示的至少所述第一边缘朝向所述立体媒体项的所述第一表示的内部向内延伸。
109.一种计算机系统,所述计算机系统被配置为与显示生成部件和一个或多个输入设备通信,所述计算机系统包括:
用于经由所述显示生成部件显示用户界面的构件,所述用户界面包括:
立体媒体项的第一表示,其中所述立体媒体项的所述第一表示包括至少第一边缘;以及
视觉效果,其中所述视觉效果遮蔽所述立体媒体项的至少第一部分,并且从所述立体媒体项的所述第一表示的至少所述第一边缘朝向所述立体媒体项的所述第一表示的内部向内延伸。
110.一种计算机程序产品,所述计算机程序产品包括被配置为由与显示生成部件通信的计算机系统的一个或多个处理器执行的一个或多个程序,所述一个或多个程序包括用于以下操作的指令:
经由所述显示生成部件显示用户界面,所述用户界面包括:
立体媒体项的第一表示,其中所述立体媒体项的所述第一表示包括至少第一边缘;以及
视觉效果,其中所述视觉效果遮蔽所述立体媒体项的至少第一部分,并且从所述立体媒体项的所述第一表示的至少所述第一边缘朝向所述立体媒体项的所述第一表示的内部向内延伸。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US63/248,222 | 2021-09-24 | ||
US202263409695P | 2022-09-23 | 2022-09-23 | |
US17/952,206 | 2022-09-23 | ||
US63/409,695 | 2022-09-23 | ||
PCT/US2022/044637 WO2023049418A2 (en) | 2021-09-24 | 2022-09-24 | Devices, methods, and graphical user interfaces for interacting with media and three-dimensional environments |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117940880A true CN117940880A (zh) | 2024-04-26 |
Family
ID=90751145
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202280062327.4A Pending CN117940880A (zh) | 2021-09-24 | 2022-09-24 | 用于与媒体和三维环境交互的设备、方法和图形用户界面 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117940880A (zh) |
-
2022
- 2022-09-24 CN CN202280062327.4A patent/CN117940880A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11768579B2 (en) | Devices, methods, and graphical user interfaces for interacting with three-dimensional environments | |
CN116719452A (zh) | 用于与用于移动虚拟环境中的虚拟对象的虚拟控件和/或示能表示交互的方法 | |
EP4081883A1 (en) | Devices, methods, and graphical user interfaces for displaying applications in three-dimensional environments | |
CN116438505A (zh) | 用于操纵环境中的对象的方法 | |
CN114402290A (zh) | 用于与三维环境进行交互的设备、方法和图形用户界面 | |
US11853527B2 (en) | Devices, methods, and graphical user interfaces for providing computer-generated experiences | |
US20220253136A1 (en) | Methods for presenting and sharing content in an environment | |
US11720171B2 (en) | Methods for navigating user interfaces | |
US20230336865A1 (en) | Device, methods, and graphical user interfaces for capturing and displaying media | |
US20230384907A1 (en) | Methods for relative manipulation of a three-dimensional environment | |
US20240094882A1 (en) | Gestures for selection refinement in a three-dimensional environment | |
US20230343049A1 (en) | Obstructed objects in a three-dimensional environment | |
US20230334808A1 (en) | Methods for displaying, selecting and moving objects and containers in an environment | |
US20230106627A1 (en) | Devices, Methods, And Graphical User Interfaces for Interacting with Three-Dimensional Environments | |
US20230092874A1 (en) | Devices, Methods, and Graphical User Interfaces for Interacting with Three-Dimensional Environments | |
WO2023133600A1 (en) | Methods for displaying user interface elements relative to media content | |
US20240028177A1 (en) | Devices, methods, and graphical user interfaces for interacting with media and three-dimensional environments | |
CN117940880A (zh) | 用于与媒体和三维环境交互的设备、方法和图形用户界面 | |
US20240103614A1 (en) | Devices, methods, for interacting with graphical user interfaces | |
AU2022352756A1 (en) | Devices, methods, and graphical user interfaces for interacting with media and three-dimensional environments | |
US20230152935A1 (en) | Devices, methods, and graphical user interfaces for presenting virtual objects in virtual environments | |
US20240103678A1 (en) | Devices, methods, and graphical user interfaces for interacting with extended reality experiences | |
WO2024064388A1 (en) | Devices, methods, for interacting with graphical user interfaces | |
CN118043766A (zh) | 用于与三维环境进行交互的设备、方法和图形用户界面 | |
CN117406892A (zh) | 用于与环境中的对象进行交互的方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication |