CN117590935A - 二维界面与人工现实界面之间的人工现实环境中视角共享 - Google Patents
二维界面与人工现实界面之间的人工现实环境中视角共享 Download PDFInfo
- Publication number
- CN117590935A CN117590935A CN202311051129.0A CN202311051129A CN117590935A CN 117590935 A CN117590935 A CN 117590935A CN 202311051129 A CN202311051129 A CN 202311051129A CN 117590935 A CN117590935 A CN 117590935A
- Authority
- CN
- China
- Prior art keywords
- user
- artificial reality
- reality environment
- representation
- interface
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 claims abstract description 105
- 230000008569 process Effects 0.000 claims description 91
- 238000009877 rendering Methods 0.000 claims description 69
- 230000015654 memory Effects 0.000 claims description 20
- 238000012545 processing Methods 0.000 description 25
- 238000010586 diagram Methods 0.000 description 22
- 238000005516 engineering process Methods 0.000 description 12
- 238000004891 communication Methods 0.000 description 11
- 230000033001 locomotion Effects 0.000 description 9
- 230000004044 response Effects 0.000 description 6
- 230000005236 sound signal Effects 0.000 description 6
- 238000007667 floating Methods 0.000 description 5
- 230000009471 action Effects 0.000 description 4
- 230000003190 augmentative effect Effects 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 239000004973 liquid crystal related substance Substances 0.000 description 3
- 230000005043 peripheral vision Effects 0.000 description 3
- 230000003068 static effect Effects 0.000 description 3
- 229920001621 AMOLED Polymers 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 210000003128 head Anatomy 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 201000003152 motion sickness Diseases 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000000712 assembly Effects 0.000 description 1
- 238000000429 assembly Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 210000004087 cornea Anatomy 0.000 description 1
- 230000004424 eye movement Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 235000012054 meals Nutrition 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000001404 mediated effect Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 239000002096 quantum dot Substances 0.000 description 1
- 238000013515 script Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 230000003936 working memory Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
- G06F3/1454—Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
- G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/10—Geometric effects
- G06T15/20—Perspective computation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
- G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
- G09G3/003—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to produce spatial visual effects
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/14—Display of multiple viewports
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/15—Conference systems
- H04N7/157—Conference systems defining a virtual conference space and using avatars or agents
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2354/00—Aspects of interface with display user
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2370/00—Aspects of data communication
- G09G2370/04—Exchange of auxiliary data, i.e. other than image data, between monitor and graphics controller
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/131—Protocols for games, networked simulations or virtual reality
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Computer Hardware Design (AREA)
- Computer Graphics (AREA)
- Computing Systems (AREA)
- Geometry (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Software Systems (AREA)
- Processing Or Creating Images (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
该技术可以允许二维界面上的第二用户跟随在人工现实环境中使用人工现实界面的第一用户,并从人工现实环境中的第一用户的表示的位置观看虚拟世界。实施方式可以给予第二用户与第一用户相同的视点,或者给予能够绕人工现实环境中的第一用户的表示的位置枢转的不同视点。各实施方式可以在绑定到第一用户的表示的气泡中显示第二用户的化身。在任何时候,第二用户都可以“戳破气泡”,以重新启用使第二用户的表示独立地四处移动并与虚拟世界交互的能力,而不被锁定到第一用户的表示。
Description
相关申请的交叉引用
本申请要求于2022年8月18日提交的、第17/820,641号美国非临时申请的权益,该申请通过引用全部并入本文。
技术领域
本公开涉及将人工现实(artificial reality,XR)界面上的人工现实环境中的第一用户的视角(perspective)共享给从二维(two-dimensional,2D)界面访问人工现实环境的第二用户。
背景技术
与人工现实设备交互的用户可以观看包括真实世界对象和/或二维虚拟对象和/或三维(three-dimensional,3D)虚拟对象的人工现实环境中的内容。例如,人工现实环境可以是由示出一组虚拟对象的虚拟现实(virtual reality,VR)设备描绘的虚拟环境。作为另一示例,人工现实环境可以是混合现实环境,该混合现实环境具有真实世界对象和补充在真实世界对象之上的虚拟对象。用户可以观看人工现实环境中的对象并修改人工现实环境中的内容。
可以存在既能在人工现实界面上操作又能在二维界面上操作的应用。2D界面可以是能够显示2D内容(例如对象、图形、文本等)的平坦表面。例如,2D界面可以是计算机、移动设备、电视或其他显示设备上的网络浏览器或其他应用。与完全沉浸式人工现实体验相比,由于2D界面的限制,在2D界面上渲染的内容可能与在人工现实界面上渲染的内容不同。
发明内容
本公开的各方面涉及将人工现实界面上的人工现实环境中的第一用户(“人工现实用户”)的视角分享给从二维(2D)界面访问人工现实环境的第二用户。该技术可以允许第二用户在2D界面上跟随人工现实界面上的人工现实用户的表示,并从人工现实用户的表示的位置观看人工现实环境。实施方式可以在2D界面上给予第二用户与人工现实界面上的用户相同的视点(viewpoint)或者是不同的视点,所述不同的视点在人工现实环境内能够绕人工现实界面上的人工现实用户的表示的位置枢转。实施方式可以在绑定到人工现实界面的人工现实用户的表示的气泡中显示2D界面的用户的化身。在任何时候,用户都可以在2D界面上“戳破(pop)气泡”,以重新启用虚拟独立地四处移动以及与虚拟世界交互的能力,而不被锁定到人工现实界面上的人工现实用户的表示。当气泡戳破时,实施方式可以在跟随人工现实界面上的人工现实用户的表示之前,将2D界面上的用户的表示放置在该用户在虚拟世界中的最后位置处,或者放置在人工现实界面上的人工现实用户的表示附近的位置。
附图说明
图1是示出了本技术的一些实施方式可在其上运行的设备的概况的框图。
图2A是示出了可在本技术的一些实施方式中使用的虚拟现实头戴式设备的装配图。
图2B为示出了可在本技术的一些实施方式中使用的混合现实头戴式设备的装配图。
图2C是示出了控制器的装配图,在一些实施方式中,用户可用单手或双手握持控制器以与人工现实环境交互。
图3是示出了本技术的一些实施方式可在其中运行的环境的概况的框图。
图4是示出了部件的框图,在一些实施方式中,这些部件可以在采用所公开技术的系统中使用。
图5是示出了在本技术的一些实施方式中由2D设备使用的将人工现实界面上的人工现实环境中的用户的视角共享给从2D界面访问人工现实环境的用户的过程的流程图。
图6是示出了在本技术的一些实施方式中由服务器使用的有利于将人工现实界面上的人工现实环境中的用户的视角共享给从2D界面访问人工现实环境的用户的过程的流程图。
图7是示出了在2D界面上访问人工现实环境的第三用户的视图的示例的概念图,该视图包括从人工现实界面访问人工现实环境的第一用户的表示和从2D界面访问人工现实环境的第二用户的表示。
图8是示出了在2D界面上访问人工现实环境的第三用户的视图的示例的概念图,该视图包括第一用户的表示,该第一用户在从人工现实界面访问人工现实环境的同时将其视角在2D界面上共享给第二用户。
图9是示出了在2D界面上观看人工现实环境的第二用户的视图的示例的概念图,该视图能够绕从人工现实界面访问人工现实环境的第一用户的表示的位置枢转,并且该视图包括在2D界面上访问人工现实环境的第三用户的表示。
图10是示出了在2D界面上访问人工现实环境的第三用户的视图的示例的概念图,该视图包括当第二用户停止跟随第一用户时从人工现实界面访问人工现实环境的第一用户的表示以及从2D界面访问人工现实环境的第二用户的表示。
图11是示出了在2D界面上访问人工现实环境的第二用户的视图的示例的概念图,该视图包括第一用户的表示,该第一用户在从人工现实界面访问人工现实环境的同时将其视角在相应2D界面上共享给第三用户和第四用户。
通过结合附图参考以下具体实施方式可以更好地理解这里所介绍的技术,在附图中,相似的附图标记表示相同或功能相似的元素。
具体实施方式
本公开的各方面涉及将人工现实界面上的人工现实环境中的第一用户(“人工现实用户”)的视角分享给从二维(2D)界面访问人工现实环境的第二用户。该技术可以允许第二用户在2D界面上跟随人工现实界面上的人工现实用户的表示,并从人工现实用户的表示的位置观看人工现实环境。实施方式可以在2D界面上给予第二用户与人工现实界面上的用户相同的视点(viewpoint)或者是不同的视点,所述不同的视点在人工现实环境内能够绕人工现实界面上的人工现实用户的表示的位置枢转。实施方式可以在绑定到人工现实界面的人工现实用户的表示的气泡中显示2D界面的用户的化身。在任何时候,用户都可以在2D界面上“戳破(pop)气泡”,以重新启用虚拟独立地四处移动以及与虚拟世界交互的能力,而不被锁定到人工现实界面上的人工现实用户的表示。当气泡戳破时,实施方式可以在跟随人工现实界面上的人工现实用户的表示之前,将2D界面上的用户的表示放置在该用户在虚拟世界中的最后位置处,或者放置在人工现实界面上的人工现实用户的表示附近的位置。
如本文所使用的,“人工现实界面”可以是能够显示完全沉浸式人工现实体验的设备,例如人工现实系统内的头戴式显示器。在一些实施方式中,人工现实系统可以包括除人工现实界面之外的设备和部件(诸如处理部件、输入/输出设备(例如,控制器)等),以支持人工现实体验。本文参照图2A至图2C进一步描述这样的部件。
“2D界面”可以是能够在2D表面上渲染人工现实环境的应用或设备。例如,2D界面可以是计算机屏幕、电视显示器、移动设备(例如,蜂窝电话)、移动应用、网络浏览器等。2D界面可以是2D系统的一部分,该2D系统包括其他设备和部件(例如处理部件、输入/输出设备等)。尽管在本文中描述了人工现实界面的用户将其视图在2D界面上共享给用户,但可以设想的是,2D界面的用户可以相反地将其视图共享给人工现实界面的用户,该视图可以被表现为电视屏幕、2D界面的用户正在观看的视锥(尽管人工现实界面的用户以3D方式查看)等。
化身气泡可以是大小足以包围用户化身的至少一部分的任何形状,即代表用户的虚拟图标或图形。在一些实施方式中,与跟随用户相关联的化身气泡可以显示在被跟随用户的表示的附近(例如,漂浮在被跟随用户的旁边),使得人工现实环境中的其他用户可以直观地了解跟随用户是被固定或绑定到被跟随用户的。尽管在本文中描述为化身气泡,但可以设想的是,跟随用户可以替换地或附加地以文本形式表示(例如,表示为“用户1”),和/或被跟随用户可以替换地或附加地以文本形式表示(例如,表示为“用户1正在跟随用户2”)。
在某些情况下,从2D界面访问人工现实环境的新用户可能难以在虚拟世界中建立平台(platforming)并找到正确的路径。为了用所公开的技术解决这一问题,新用户可以请求跟随从人工现实界面访问人工现实环境的朋友,该朋友可以对虚拟世界具有更好的外围视觉,或者通常更熟悉虚拟世界或人工现实环境。
在另一示例中,用户可以通过移动电话和朋友一起访问人工现实音乐会,该朋友正在人工现实设备上访问音乐会。该用户可以在看音乐会时收到送餐并想吃东西。因此,该用户可以在其移动电话上跟随其朋友,这样该用户就可以在她的手离开移动电话时和其朋友在一起。
在又一示例中,用户可以在网络浏览器上的人工现实逃生室中。该用户的朋友的表示可以在该虚拟逃生室的另一边(从人工现实设备访问),并希望用户对其正在处理的谜题提出看法。该朋友可以在网络浏览器上将其视角共享给用户。
在又一示例中,用户可以在2D设备上访问团队游戏。在人工现实设备上访问团队游戏的朋友可以分享其视角,以在充满谜题的障碍赛道中导航,而每个团队成员轮流解决一个谜题,就像传递接力棒一样。
所公开技术的实施例可以包括人工现实系统(artificial reality system),或结合人工现实系统来实现。人工现实或超现实(extra reality,XR)是在呈现给用户之前已经以某种方式进行了调整的现实形式,其例如可以包括虚拟现实(virtual reality,VR)、增强现实(augmented reality,AR)、混合现实(mixed reality,MR)、混合现实(hybridreality)、或它们的某种组合和/或衍生物。人工现实内容可以包括完全生成的内容、或与所捕获的内容(例如,真实世界的照片)相结合生成的内容。人工现实内容可以包括视频、音频、触觉反馈或它们的某种组合,以上中的任何一种都可以在单个通道或多个通道(例如,给观看者带来三维效果的立体视频)中呈现。此外,在一些示例中,人工现实还可以与应用、产品、附件、服务或它们的某种组合相关联,这些应用、产品、附件、服务或它们的某种组合例如用于在人工现实中创建内容,和/或用于人工现实中(例如,在人工现实中执行活动)。提供人工现实内容的人工现实系统可以在各种平台上实现,这些平台包括连接到主计算机系统的头戴式显示器(head-mounted display,HMD)、独立HMD、移动设备或计算系统、“洞穴式(cave)”环境或其他投影系统、或能够向一位或多位观看者提供人工现实内容的任何其他硬件平台。
如本文所使用的“虚拟现实”或“VR”是指这种沉浸式体验:在该沉浸式体验中,用户的视觉输入由计算系统控制。“增强现实”或“AR”是指这样的系统:在所述系统中,用户在真实世界的图像通过计算机系统之后,观看这些真实世界的图像。例如,背面带有摄像头的平板计算机可以捕获真实世界的图像,然后该平板计算机可以在该平板计算机的与摄像头相反的一侧的屏幕上显示这些图像。该平板计算机可以在这些图像通过系统时,处理并且调整或“增强”(例如通过添加虚拟对象)所述图像。“混合现实”或“MR”是指这样的系统:在该系统中,进入用户眼睛的光部分由计算系统生成,且部分构成真实世界中的对象反射出的光。例如,MR头戴式设备(headset)可以被成形为一副具有透传显示器的眼镜,该具有透传显示器的眼镜允许来自真实世界的光穿过波导,该波导同时从该MR头戴式设备中的投影仪发射光,从而允许该MR头戴式设备呈现与用户可查看的真实对象混合在一起的虚拟对象。如本文所使用的,“人工现实”、“超现实”或“XR”是指以下中的任何一者:VR、AR、MR、或它们的任意组合或混合。
当从2D界面(例如,移动设备上的应用)访问人工现实环境时,可能很难像人在人工现实界面(例如,头戴式显示器)上一样容易地导航,例如因为用户在人工现实界面上可以具有更好的环境外围视觉、更沉浸式的控制等。因此,在2D界面上,用户可能更难找到入口、特定虚拟对象、在虚拟世界之间移动等。此外,虽然人工现实界面上的用户可以将其视角共享给人工现实界面上的另一用户,但这可能会导致跟随用户出现晕动症。
本文所公开的实施方式允许2D界面上的用户跟随人工现实界面上的用户穿过可以对人工现实更友好的环境,以提高效率并改善用户体验,从而不太可能出现晕动症。尽管常规系统可以提供内容的单向静态共享或直播,但是实施方式允许2D界面上的用户在任何点停止跟随人工现实界面上的用户,并恢复与人工现实环境的独立交互。
以下参考附图更详细地论述了若干实施方式。图1是示出了所公开技术的一些实施方式可在其上运行的设备的概况的框图。所述设备可以包括计算系统100的硬件部件,该计算系统将人工现实界面上的人工现实环境中的第一用户的视角共享给从二维(2D)界面访问人工现实环境的第二用户。在各种实施方式中,计算系统100可以包括单个计算设备103或多个计算设备(例如,计算设备101、计算设备102和计算设备103),所述多个计算设备通过有线通道或无线通道通信,以分发处理并共享输入数据。在一些实施方式中,计算系统100可以包括独立头戴式设备,该独立头戴式设备能够在无需外部处理或传感器的情况下,为用户提供计算机创建或增强的体验。在其它实施方式中,计算系统100可以包括多个计算设备,该多个计算设备例如为头戴式设备和核心处理部件(例如,控制台、移动设备或服务器系统),其中,一些处理操作在头戴式设备上执行而其它处理操作被转移到核心处理部件。以下关于图2A和图2B描述了示例头戴式设备。在一些实施方式中,位置数据和环境数据可仅由结合在头戴式设备中的传感器收集,而在其他实施方式中,多个非头戴式计算设备中的一个或多个可以包括可跟踪环境数据或位置数据的传感器部件。
计算系统100可以包括一个或多个处理器110(例如,中央处理单元(centralprocessing unit,CPU)、图形处理单元(graphical processing unit,GPU)、全息处理单元(holographic processing unit,HPU)等)。处理器110可以是单个处理单元或多个处理单元,该多个处理单元处于一个设备中或者分布在多个设备上(例如,分布在计算设备101至103中的两个或更多个计算设备上)。
计算系统100可以包括一个或多个输入设备120,该输入设备向处理器110提供输入,从而向处理器通知动作。所述动作可以由硬件控制器中介,该硬件控制器对从输入设备接收到的信号进行解释,并使用通信协议将信息传送给处理器110。每个输入设备120例如可以包括鼠标、键盘、触摸屏、触摸板、可穿戴输入设备(例如,触觉手套、手镯、戒指、耳环、项链、手表等)、摄像头(或其它基于光的输入设备,例如红外传感器)、传声器、或其它用户输入设备。
处理器110可以例如通过使用内部总线或外部总线而耦接到其它硬件设备,上述总线例如为,外设组件互连标准(PCI)总线、小型计算机系统接口(SCSI)总线、或无线连接。处理器110可以与用于设备(例如,用于显示器130)的硬件控制器进行通信。显示器130可以用于显示文本和图形。在一些实施方式中,显示器130包括输入设备作为显示器的一部分,例如当该输入设备是触摸屏或配备有眼动方向监测系统(eye direction monitoringsystem)时。在一些实施方式中,显示器与输入设备分开。显示设备的示例为:液晶显示器(LCD)显示屏、发光二极管(LED)显示屏、投影显示器、全息显示器、或增强现实显示器(例如,平视显示设备或头戴式设备)等。其他输入/输出(I/O)设备140也可以耦接到处理器,该I/O设备例如为网络芯片或网卡、视频芯片或视频卡、音频芯片或音频卡、通用串行总线(USB)、火线或其他外部设备、摄像头、打印机、扬声器、光盘只读存储器(CD-ROM)驱动器、数字视频光盘(DVD)驱动器、磁盘驱动器等。
在一些实施方式中,来自I/O设备140(例如摄像头、深度传感器、IMU传感器、GPS单元、激光雷达或其他飞行时间传感器等)的输入可以被计算系统100使用,从而识别和绘制用户的物理环境,同时跟踪用户在该环境中的位置。同步定位和测绘(simultaneouslocalization and mapping,SLAM)系统可以生成区域(其可以是房间、建筑物、室外空间等)的地图(例如,拓扑、网格等)和/或获得先前由计算系统100或已经绘制该区域的另一计算系统所生成的地图。该SLAM系统可以基于GPS数据等因素跟踪区域内的用户,将识别的对象和结构与映射的对象和结构相匹配,监测加速度和其他位置变化等。
计算系统100可以包括通信设备,该通信设备能够与其它本地计算设备或网络节点无线地或基于有线地通信。该通信设备可以例如使用传输控制协议/网际协议(TCP/IP)通过网络与另一设备或服务器通信。计算系统100可以利用该通信设备在多个网络设备上分发操作。
处理器110可以访问存储器150,该存储器可以被包含在计算系统100的多个计算设备中的一个计算设备上,或者可以分布在计算系统100的多个计算设备或其它外部设备上。存储器包括用于易失性或非易失性存储的一个或多个硬件设备,并且可以包括只读存储器和可写存储器这两者。例如,存储器可以包括以下中的一种或多种:随机存取存储器(random access memory,RAM)、各种高速缓冲存储器、CPU寄存器、只读存储器(read-onlymemory,ROM)和可写非易失性存储器,该可写非易失性存储器例如为,闪存、硬盘驱动器、软盘、光盘(CD)、DVD、磁存储设备、磁带驱动器等。存储器不是脱离底层硬件的传播信号;因此存储器是非暂态的。存储器150可以包括存储程序和软件的程序存储器160,上述程序和软件例如为操作系统162、跨屏幕视角共享系统164和其它应用程序166。存储器150还可包括数据存储器170,该数据存储器170可包括例如渲染数据、环境数据、位置数据、视角数据、视点数据、配置数据、设置、用户选项或偏好等,这些数据、设置、用户选项或偏好等可被提供给程序存储器160或计算系统100的任何元件。
一些实施方式可以与许多其它计算系统环境或配置一起运行。适合与该技术一起使用的计算系统、环境和/或配置的示例包括但不限于,XR头戴式设备、个人计算机、服务器计算机、手持式或膝上型设备、蜂窝电话、可穿戴电子设备、游戏控制台、平板设备、多处理器系统、基于微处理器的系统、机顶盒、可编程消费类电子设备、网络个人计算机(PC)、小型计算机、大型计算机、或包括以上系统或设备中的任何系统或设备的分布式计算环境等。
图2A是根据一些实施例的虚拟现实头戴式显示器(head-mounted display,HMD)200的装配图。HMD 200包括前部刚性体205和带210。前部刚性体205包括电子显示器245的一个或多个电子显示元件、惯性运动单元(inertial motion unit,IMU)215、一个或多个位置传感器220、定位器225、以及一个或多个计算单元230。位置传感器220、IMU 215和计算单元230可以位于HMD 200内部,并且可以对用户不可见。在各种实施方式中,IMU 215、位置传感器220和定位器225可以以三个自由度(three degrees of freedom,3DoF)或六个自由度(six degrees of freedom,6DoF)来跟踪HMD 200在真实世界中和人工现实环境中的移动和位置。例如,定位器225可以发射红外光束,这些红外光束在HMD 200周围的真实对象上产生光点。作为另一示例,IMU 215例如可以包括一个或多个加速度计、一个或多个陀螺仪、一个或多个磁力计,一个或多个其它非基于摄像头的位置、力或方位的传感器,或它们的多种组合。与HMD 200集成在一起的一个或多个摄像头(未示出)可以检测光点。HMD 200中的计算单元230可以使用检测到的光点,来推测HMD 200的位置和移动,以及识别HMD 200周围的真实对象的形状和位置。
电子显示器245可以与前部刚性体205集成在一起,并且可以如计算单元230所指示的向用户提供图像光。在各种实施例中,电子显示器245可以是单个电子显示器或多个电子显示器(例如,用户的每只眼睛一个显示器)。电子显示器245的示例包括:液晶显示器(liquid crystal display,LCD)、有机发光二极管(organic light-emitting diode,OLED)显示器、有源矩阵有机发光二极管(active-matrix organic light-emittingdiode,AMOLED)显示器、包括一个或多个量子点发光二极管(quantum dot light-emittingdiode,QOLED)子像素的显示器、投影仪单元(例如,微型LED、激光器(LASER)等)、某种其他显示器、或它们的某种组合。
在一些实施方式中,HMD 200可以耦接到诸如个人计算机(personal computer,PC)(未示出)等核心处理部件和/或一个或多个外部传感器(未示出)。外部传感器可以对HMD 200进行监测(例如,经由从HMD 200发射的光来监测),PC可以使用该HMD结合来自IMU215和位置传感器220的输出,来确定HMD 200的位置和移动。
图2B是混合现实HMD系统250的装配图,该混合现实HMD系统包括混合现实HMD 252(也称为HMD 252)和核心处理部件254。混合现实HMD 252和核心处理部件254可以经由如链路256所指示的无线连接(例如,60GHz链路)进行通信。在其他实施方式中,混合现实HMD系统250仅包括头戴式设备而没有外部计算设备,或者包括混合现实HMD 252与核心处理部件254之间的其他有线或无线连接。混合现实HMD 252包括透传显示器258和框架260。框架260可以容纳各种电子部件(未示出),这些电子部件例如为光投影仪(例如,激光器、LED等)、摄像头、眼动跟踪传感器、微机电系统(MEMS)部件、联网部件等。
投影仪可以例如经由光学元件耦接到透传显示器258(也称为显示器258),以向用户显示媒体。这些光学元件可以包括用于将来自投影仪的光引导到用户的眼睛的一个或多个波导组件、一个或多个反射器、一个或多个透镜、一个或多个反射镜、一个或多个准直器、一个或多个光栅等。可以将图像数据从核心处理部件254经由链路256发送到HMD 252。HMD252中的控制器可以将图像数据转换成来自投影仪的多个光脉冲,这些光脉冲可以经由光学元件作为输出光而发送到用户的眼睛。该输出光可以与穿过显示器258的光混合,从而允许该输出光能够呈现如下的虚拟对象:这些虚拟对象看起来如同存在于真实世界中一样。
与HMD 200类似,HMD系统250也可以包括运动和位置跟踪单元、摄像头、光源等,上述运动和位置跟踪单元、摄像头、光源等允许HMD系统250例如以3DoF或6DoF跟踪其自身,跟踪用户的多个部位(例如,手部、脚部、头部、或其他身体部位),将虚拟对象绘制为在HMD252移动时看起来如同静止一样,以及使虚拟对象对手势和其他真实世界对象作出反应。
图2C示出了控制器270(包括控制器276A和276B),在一些实施方式中,用户可以用单手或双手握持控制器,以与由HMD 200和/或HMD 250呈现的人工现实环境交互。控制器270可以直接与HMD通信,也可以经由外部设备(例如,核心处理部件254)与HMD通信。控制器可以具有其自身的IMU单元、位置传感器,和/或可以发射另外的光点。HMD 200或250、外部传感器、或控制器中的传感器可以跟踪这些控制器光点,以确定控制器位置和/或方位(例如,以3DoF或6DoF来跟踪控制器)。HMD 200中的计算单元230或核心处理部件254可以结合IMU输出和位置输出,使用该跟踪来监测用户的手部位置和运动。这些控制器还可以包括各种按钮(例如,按钮272A至272F)和/或控制杆(例如,控制杆274A和274B),用户可以对这些按钮和/或控制杆进行致动,以提供输入并与对象交互。
在各种实施方式中,HMD 200或250还可以包括附加子系统(例如眼动跟踪单元、音频系统、各种网络部件等),以监测用户交互和意图的指示。例如,在一些实施方式中,代替控制器或除了控制器之外,包括在HMD 200或250中的一个或多个摄像头或来自多个外部摄像头的一个或多个摄像头可以监测用户手部的位置和姿势,以确定手势和其它手部运动和身体运动。作为另一示例,一个或多个光源可以照亮用户的眼睛中的一个或两个,并且HMD200或250可以使用面向眼睛的摄像头来捕获该光的反射以确定眼睛位置(例如,基于围绕用户角膜的一组反射),对用户的眼睛建模并确定注视方向。
图3是示出了本技术的一些实施方式可在其中运行的环境300的概况的框图。环境300可以包括一个或多个客户端计算设备305A至305D,该一个或多个客户端计算设备的示例可以包括计算系统100。在一些实施方式中,该多个客户端计算设备中的一些客户端计算设备(例如,客户端计算设备305B)可以是HMD 200或HMD系统250。客户端计算设备305可以在网络环境中使用通过网络330逻辑连接到一个或多个远程计算机(例如,服务器计算设备)来运行。
在一些实施方式中,服务器(也称为服务器计算设备)310可以是边缘服务器,该边缘服务器接收多个客户端请求,并通过其它服务器(例如,服务器320A至320C)协调实现这些请求。服务器计算设备310和320可以包括计算系统,例如计算系统100。尽管每个服务器计算设备310和320在逻辑上被显示为单个服务器,但多个服务器计算设备各自可以是分布式计算环境,该分布式计算环境包含位于同一物理位置处或在地理上不同的物理位置处的多个计算设备。
客户端计算设备305和服务器计算设备310和320各自可以充当到一个或多个其它服务器/客户端设备的服务器或客户端。服务器310可以连接到数据库315。服务器320A至320C可以各自连接到对应的数据库325A至325C。如以上所论述的,每个服务器310或320可以与一组服务器相对应,并且这些服务器中的各个服务器可以共享数据库,或者可以具有其自己的数据库。尽管数据库315和325在逻辑上被显示为单个单元,但数据库315和325各自可以是包含多个计算设备的分布式计算环境,可以位于其对应的服务器内,或者可以位于同一物理位置处或位于地理上不同的物理位置处。
网络330可以是局域网(local area network,LAN)、广域网(wide area network,WAN)、网状网络、混合网络、或其它有线或无线网络。网络330可以是互联网或某种其它公共或专用网络。客户端计算设备305可以通过网络接口(例如通过有线或无线通信)连接到网络330。尽管服务器310与服务器320之间的连接被示出为单独的连接,但这些连接可以是包括网络330或单独的公共或专用网络的任何类型的局域网、广域网、有线网络、或无线网络。
图4是示出了部件400的框图,在一些实施方式中,可以在采用所公开技术的系统中使用这些部件。部件400可以被包括在计算系统100的一个设备中,或者可以分布在计算系统100的多个设备上。部件400包括硬件410、中间件420和专用部件430。如以上所论述的,实现所公开技术的系统可以使用各种硬件,这些硬件包括处理单元412、工作存储器414、输入和输出设备416(例如,摄像头、显示器、IMU单元、网络连接等)、以及存储内存418。在各种实施方式中,存储内存(storage memory)418可以是以下一种或多种:本地设备、到远程存储设备的接口、或它们的多种组合。例如,存储内存418可以是可通过系统总线访问的一个或多个硬盘驱动器或闪存驱动器、或者可以是可经由一个或多个通信网络访问的云存储提供商(例如,在数据库315或325中)或其它网络存储器。在各种实施方式中,部件400可以在客户端计算设备(例如,客户端计算设备305)中或在服务器计算设备(例如,服务器计算设备310或320)上实现。
中间件420可以包括对硬件410和专用部件430之间的资源进行中介的部件。例如,中间件420可以包括操作系统、服务、驱动器、基本输入输出系统(basic input outputsystem,BIOS)、控制器电路、或其它硬件或软件系统。
专用部件430可以包括被配置为执行如下操作的软件或硬件:将人工现实界面上的人工现实环境中的第一用户的视角共享给从二维(2D)界面访问人工现实环境的第二用户。专用部件430可包括人工现实环境渲染模块434、共享请求生成模块436、共享视角渲染模块438、枢转视点渲染模块440、表示放置模块442以及可用于提供用户界面、传输数据和控制该专用部件(例如接口432)的部件和应用程序接口(API)。在一些实施方式中,部件400可以位于如下计算系统中:该计算系统分布在计算设备上;或者,部件400可以是到执行专用部件430中的一个或多个的基于服务器的应用的接口。尽管专用部件430被描绘为单独的部件,但这些专用部件可以是逻辑功能或其它非物理区分的功能,和/或可以是一个或应用的子模块或代码块。
人工现实环境渲染模块434可以基于第二用户的表示在人工现实环境内的位置为在2D界面上的第一个用户(“第二用户”)渲染人工现实环境。例如,第二用户可以经由I/O设备416(例如,控制器、鼠标、键盘、麦克风、摄像头等)和接口432来控制和改变其表示的位置。基于该输入,人工现实环境渲染模块434可以针对人工现实环境内的虚拟对象和背景基于以下方面来渲染针对2D界面的人工现实环境:第二用户将其表示指引到人工现实环境中的何处、其表示在人工现实环境中正在做什么、其表示在人工现实环境中面向何处等。本文根据图5的框502描述关于在2D界面上渲染人工现实环境的进一步细节。
共享请求生成模块436可以接收来自第二用户的输入,该第二用户请求将从人工现实界面访问人工现实环境的用户(“第一用户”)的视角共享给2D界面上的第二用户。例如,共享请求生成模块436可以经由I/O设备416(例如,控制器、鼠标、键盘、麦克风、摄像头等)和接口432接收输入。共享请求生成模块436可以将输入请求翻译成服务器可读的格式,该服务器托管处理和渲染人工现实环境所需的数据包和脚本;并且,共享请求生成模块436可以将该请求发送到该服务器。
在一些实施方式中,共享请求生成模块436可以基于来自第二用户的语音命令来生成将第一用户的视角共享给第二用户的请求。例如,与2D界面并置或2D界面附近的麦克风可以检测包括命令(例如,“跟随玩家123”)的音频信号。一个或多个处理器可以对音频信号执行语音识别和/或自然语言分析,以便理解和处理该命令,并将其翻译成第二用户在2D界面上跟随玩家123的请求。
在一些实施方式中,当第二用户的表示和第一用户的表示在人工现实环境中处于同一世界中时,共享请求生成模块436可以基于对与第一用户的表示相关联显示的选项的选择,来生成将第一用户的视角共享给第二用户的请求。在一些实施方式中,当人工现实环境内的第一用户的表示处于第二用户的视场内和/或处于第一用户的表示的预定距离内时,共享请求生成模块436可以渲染按钮、图形、开关、弹出窗口等,该按钮、图形、开关、弹出窗口等可以使得共享请求生成模块436生成共享第一用户的视角的请求。例如,共享请求生成模块436可以将按钮渲染在说出“跟随玩家123”的第一用户的表示的附近。共享请求生成模块436可以基于第二用户对按钮的选择来生成共享第一用户的视角的请求。
在一些实施方式中,当第二用户的表示和第一用户的表示在人工现实环境中未处于同一世界中时,共享请求生成模块436可以基于对与来自可用用户列表的用于跟随的第一用户相关联的选项的选择,来生成将第一用户的视角共享给第二用户的请求。例如,共享请求生成模块436可以显示不同虚拟世界中的所有用户的列表(或其子集,诸如仅可用于跟随的那些用户(例如人工现实界面上的用户))。然后,共享请求生成模块436可以从与第二用户相关联的2D界面接收对跟随第一用户的选项的选择。共享请求生成模块436可以基于第二用户对选项的选择来生成共享第一用户的视角的请求。本文参考图5的框504描述关于生成将第一用户的视角共享给第二用户的请求的进一步细节。
共享视角渲染模块438可以接收与人工现实环境中的第一用户的视角相关联的数据(“第一数据”)。基于该第一数据,共享视角渲染模块438可以从第一用户的视角为第二用户在2D界面上渲染人工现实环境。在一些实施方式中,当共享视角渲染模块438从第一用户的视角为第二用户渲染人工现实环境时,共享视角渲染模块438可以从人工现实环境中移除第二用户的表示、使该表示在人工现实环境中更暗或淡出、使该表示在人工现实环境中静止等。在一些实施方式中,当共享视角渲染模块438从第一用户的视角为第二用户渲染人工现实环境时,共享视角渲染模块438可以在漂浮在第一用户的表示上或附近的气泡或其他虚拟对象中渲染第二用户的化身。在一些实施方式中,共享视角渲染模块438可以跨人工现实环境中的不同虚拟世界或跨人工现实环境中的同一虚拟世界的不同实例,将第一用户的视角共享给第二用户。本文参考图5的框506和508描述关于基于第一用户的视角为第二用户渲染人工现实环境的进一步细节。
枢转视点渲染模块440可以接收与视点相关联的数据(“第二数据”),该视点能够围绕人工现实环境中的第一用户的表示的位置枢转。第二数据可以是基于视点在2D界面上为第二用户渲染人工现实环境所需的数据,该视点不同于第一用户但锚定到第一用户的位置。例如,第二用户可以在第一用户的任一侧和/或在第一用户的后方具有视点。枢转视点渲染模块440可以接收该第二数据,来代替基于第二用户的表示在人工现实环境内的最后位置为第二用户渲染人工现实环境所需的数据,和/或代替第一数据。枢转视点渲染模块440可以基于第二数据从视点在2D界面上为第二用户渲染人工现实环境。
在一些实施方式中,当枢转视点渲染模块440正在从可枢转视点为第二用户渲染人工现实环境时,枢转视点渲染模块440可以从人工现实环境中移除第二用户的表示、使人工现实环境中的第二用户的表示变暗或淡出、使第二用户的表示在人工现实环境中静止等。在一些实施方式中,当枢转视点渲染模块440正在从可枢转视点为第二用户渲染人工现实环境时,枢转视点渲染模块440可以在漂浮在第一用户的表示上或附近的气泡或其他虚拟对象中渲染第二用户的化身。本文参考图5的框510和512描述关于渲染枢转视点的进一步细节。
表示放置模块442可以接收停止根据第一数据来渲染人工现实环境的输入(即,停止将第一用户的视角共享给2D界面上的第二用户),和/或停止根据第二数据来渲染人工现实环境的输入(即,停止在2D界面上共享视点,该视点能够围绕第一用户的表示的位置枢转)。表示放置模块442可以经由I/O设备416(例如,控制器、鼠标、键盘、麦克风、摄像头等)以及接口432接收输入。在一些实施方式中,表示放置模块442可以基于在发送共享第一用户的视角的请求时第二用户的表示在人工现实环境内的位置(即,在第二用户跟随第一用户之前,第二用户的表示位于何处),来为第二用户渲染人工现实环境。在一些实施方式中,表示放置模块442可以基于在接收到停止根据第一数据和/或第二数据渲染人工现实环境的输入时第一用户的表示的位置(即,在第二用户停止跟随第一用户时,第一用户的表示位于何处),来为第二用户渲染人工现实环境。本文参照图5的框514和516描述关于第二用户的表示在人工现实环境中的放置的进一步细节。
本领域技术人员将理解,以上所描述的图1至图4中所示出的、以及以下所论述的多个流程图中的每个流程图中所示出的部件可以以各种方式进行更改。例如,可以对逻辑的顺序进行重新排列,可以并行执行子步骤,可以省略所示出的逻辑,可以包括其它逻辑等。在一些实施方式中,以上所描述的多个部件中的一个或多个部件可以执行以下所描述的多个过程中的一个或多个过程。
图5是示出了在一些实施方式中使用的用于将人工现实界面上的人工现实环境中的第一用户的视角共享给从2D界面访问人工现实环境的第二用户的过程500的流程图。在一些实施方式中,过程500的框502可以作为对第二用户从2D界面访问人工现实环境的响应来执行,而框504至框514可以响应于来自第二用户的请求来执行,以将第一用户在人工现实界面上访问人工现实环境的视角分享给在2D界面上访问人工现实环境的第二用户。
在一些实施方式中,过程500可以由2D界面和/或2D系统内与2D界面通信的其他设备来执行。在一些实施方式中,过程500可以由图4的跨屏幕视角共享系统164执行。在一些实施方式中,过程500的一些步骤可以在服务器上执行,而过程500的其他步骤可以在2D设备上本地执行。尽管被示为仅具有一次迭代,但可以设想的是,当接收到将第一用户的视角共享给第二用户的请求时,可以多次、重复、连续、并发、并行地执行过程500(或其任何部分)。
在框502,过程500可以基于第二用户的表示在人工现实环境内的位置为第二用户在2D界面上渲染人工现实环境。例如,第二用户可以经由诸如控制器、鼠标、键盘、麦克风、摄像头等各种输入/输出设备和接口来控制和改变其表示的位置。基于该输入,过程500可以针对人工现实环境内的虚拟对象和背景基于以下方面来渲染人工现实环境:第二用户将其表示指引到人工现实环境中的何处、其表示在人工现实环境中正在做什么、其表示在人工现实环境中面向何处等。
在框504,过程500可以发送将第一用户的视角共享给在2D界面上的第二用户的请求。在一些实施方式中,当过程500发送请求时,第一用户的表示可以基于第一用户对人工现实设备的输入来与人工现实环境进行交互。例如,第一用户的表示可以在人工现实环境中移动、与人工现实环境中的虚拟对象交互、在人工现实环境中执行任务等。在一些实施方式中,过程500可以基于来自第二用户的语音命令来生成将第一用户的视角共享给第二用户的请求。例如,与2D界面并置或2D界面附近的麦克风可以检测包括命令(例如,“跟随玩家123”)的音频信号。一个或多个处理器可以对音频信号执行语音识别和/或自然语言分析,以便理解和处理该命令,并将其翻译成第二用户在2D界面上跟随玩家123的请求。
在一些实施方式中,当第二用户的表示和第一用户的表示在人工现实环境中处于同一世界中时,过程500可以基于对与第一用户的表示相关联显示的选项的选择,来生成将第一用户的视角共享给第二用户的请求。在一些实施方式中,当人工现实环境内的第一用户的表示处于第二用户的视场内和/或处于第一用户的表示的预定距离内时,过程500可以渲染按钮、图形、开关、弹出窗口等,对该按钮、图形、开关、弹出窗口等的选择可以使得过程500生成共享第一用户的视角的请求。例如,过程500可以将按钮渲染在说出“跟随玩家123”的第一用户的表示的附近。过程500可以基于第二用户对按钮的选择来生成共享第一用户的视角的请求。
在一些实施方式中,当第二用户的表示和第一用户的表示在人工现实环境中未处于同一世界中时,过程500可以基于对与来自可用用户列表的用于跟随的第一用户相关联的选项的选择,来生成将第一用户的视角共享给第二用户的请求。例如,当第一用户的表示处于虚拟世界中时,第二用户的表示可以处于虚拟大厅中。过程500可以显示虚拟世界中的所有用户的列表(或其子集,诸如仅可用于跟随的那些用户(例如人工现实界面上的用户))。然后,过程500可以从与第二用户相关联的2D界面接收对跟随第一用户的选项的选择。过程500可以基于第二用户对选项的选择来生成共享第一用户的视角的请求。
过程500可以连续性地继续执行到框506至框508和/或框510至框512,其中任一组的框首先被执行,和/或可以在第二用户改变其视点时在框506至框508和框510至框512之间重复切换。在一些实施方式中,可以只执行框506至框508,而不执行框510至框512,反之亦然,当第二用户继续跟随第一用户并且随着第一用户的表示在人工现实环境中移动时,上述框执行一次或者重复执行。
在框506,响应于将第一用户的视角共享给第二用户的请求,过程500可以接收与人工现实环境中的第一用户的视角相关联的数据(“第一数据”)。第一数据可以是基于人工现实环境中的第一用户的视点在2D界面上为第二用户渲染人工现实环境所需的数据。过程500可以接收该第一数据,来代替基于第二用户的表示在人工现实环境内的最后位置为第二用户渲染人工现实环境所需的数据。
在框508,过程500可以基于第一数据从第一用户的视角为第二用户在2D界面上渲染人工现实环境。在一些实施方式中,当过程500基于第一数据为第二用户渲染人工现实环境时,第二用户的表示不能与人工现实环境交互,使得第二用户只能观看第一用户的视角。在一些实施方式中,当过程500正在从第一用户的视角为第二用户渲染人工现实环境时,第二用户的表示可以从人工现实环境中消失、在人工现实环境中变暗或淡出、在人工现实环境中变为静止等。在一些实施方式中,当过程500正在从第一用户的视角为第二用户渲染人工现实环境时,过程500可以在漂浮在第一用户的表示上或附近的气泡或其他虚拟对象中渲染第二用户的化身。
在框510,过程500可以接收与视点相关联的数据(“第二数据”),该视点能够围绕人工现实环境中的第一用户的表示的位置枢转。第二数据可以是基于视点在2D界面上为第二用户渲染人工现实环境所需的数据,该视点不同于第一用户但锚定到第一用户的位置。例如,第二用户可以在第一用户的任一侧和/或在第一用户的后方具有视点。过程500可以接收该第二数据,来代替基于第二用户的表示在人工现实环境内的最后位置为第二用户渲染人工现实环境所需的数据,和/或代替第一数据。
在框512,过程500可以基于第二数据从视点在2D界面上为第二用户渲染人工现实环境。在一些实施方式中,当过程500基于第二数据为第二用户渲染人工现实环境时,第二用户的表示不能与人工现实环境进行交互,使得第二用户可以仅具有能够围绕第一用户的表示的位置枢转的视点,而不采取除改变视点之外的任何动作。在一些实施方式中,当过程500正在从该可枢转的视点为第二用户渲染人工现实环境时,第二用户的表示可以从人工现实环境中消失、在人工现实环境中变暗或淡出、在人工现实环境中变为静止等。在一些实施方式中,当过程500正在从可枢转视点为第二用户渲染人工现实环境时,过程500可以在漂浮在第一用户的表示上或附近的气泡或其他虚拟对象中渲染第二用户的化身。
在框514,过程500可以接收停止根据第一数据来渲染人工现实环境的输入(即,停止将第一用户的视角共享给2D界面上的第二用户),和/或停止根据第二数据来渲染人工现实环境的输入(即,停止在2D界面上共享视点,该视点能够围绕第一用户的表示的位置枢转)。在第二用户的化身被渲染为漂浮在第一用户的表示附近的气泡的实施方式中,过程500可以接收第二用户经由输入设备(例如,点击)对气泡的选择,从而戳破气泡,该气泡可以被解释为停止基于第一数据和/或第二数据渲染人工现实环境的输入。在一些实施方式中,停止基于第一数据和/或第二数据渲染人工现实环境的输入可以是来自第二用户的语音命令。例如,与2D界面并置或2D界面附近的麦克风可以检测包括命令(例如,“跟随玩家123”)的音频信号。一个或多个处理器可以对音频信号执行语音识别和/或自然语言分析,以便理解和处理该命令,并将其翻译成请求第二用户在2D界面上停止跟随人工现实环境中的玩家123的输入。
在一些实施方式中,可以设想的是,过程500可以禁用第二用户戳破气泡从而停止基于第一数据和/或第二数据渲染人工现实环境的能力。换言之,在一些实施方式中,过程500可以禁用第二用户恢复独立地与人工现实环境交互的能力。在有多个用户跟随第一用户的情况下,这样的实施方式可以影响主动跟随者(即,能够与人工现实环境交互的那些跟随者)和被动跟随者(即,不能与人工现实环境交互的那些跟随者)或其组合的数量。
在框516,过程500可以为第二用户渲染人工现实环境。在一些实施方式中,过程500可以基于在发送共享第一用户的视角的请求时第二用户的表示在人工现实环境内的位置(即,在第二用户跟随第一用户之前,第二用户的表示位于何处),来为第二用户渲染人工现实环境。在一些实施方式中,过程500可以基于在接收到停止根据第一数据和/或第二数据渲染人工现实环境的输入时第一用户的表示的位置(即,在第二用户停止跟随第一用户时,第一用户的表示位于何处),来为第二用户渲染人工现实环境。
图6是示出了在本技术的一些实施方式中由服务器使用的有利于将人工现实界面上的人工现实环境中的第一用户的视角共享给从二维(2D)界面访问人工现实环境的第二用户的过程的流程图。在一些实施方式中,过程600的框602可以作为对第一用户从人工现实界面访问人工现实环境的响应来执行,而框606至框612可以响应于来自相应的一个或多个第二用户的将第一用户的视角共享给第二用户的一个或多个请求来执行。在一些实施方式中,过程600可由服务器执行,该服务器与人工现实和2D界面、设备可操作地通信和/或访问人工现实环境。尽管被示为仅具有一次迭代,但可以设想的是,在接收到将第一用户的视角共享给一个或多个第二用户的请求时,或者在接收到将不同的第一用户的视角共享给一个或多个第二用户的请求时,可以多次、重复、连续、并发、并行地执行过程600(或其任何部分)。
在框602,过程600可以在人工现实界面上跟踪人工现实环境中的第一用户的表示的位置。第一用户可以经由诸如控制器、麦克风、摄像头、惯性测量单元(IMU)的各种传感器等各种输入/输出设备和接口来控制和改变其表示的位置。基于该输入,过程600可以针对人工现实环境内的虚拟对象和背景来跟踪人工现实环境中的第一用户已将其表示指引到何处、其表示面向何处等。
在框604,过程600可以接收将第一用户的视角共享给与相应2D界面用户相关联的一个或多个2D界面的一个或多个请求。在一些实施方式中,过程600可以从与希望跟随第一用户的表示的第二用户相关联的2D系统内的一个或多个2D设备或2D界面接收一个或多个请求中的至少一些请求。在一些实施方式中,过程600可以从与第一用户相关联的人工现实系统内的一个或多个人工现实设备或人工现实界面接收一个或多个请求中的至少一些请求,使得第一用户希望第二用户跟随第一用户的表示。尽管在框604处被示为单个步骤,但可以设想的是,过程600可以接收在一段时间内并发地或连续地共享第一用户的视角的请求。
在一些实施方式中,当第二用户的表示和第一用户的表示在人工现实环境中处于同一世界中时,过程600可以经由与第一用户的表示相关联显示的选项,来接收将第一用户的视角共享给第二用户的请求。在一些实施方式中,当人工现实环境内的第一用户的表示处于第二用户的视场内和/或处于第一用户的表示的预定距离内时,过程600可以使得2D界面渲染按钮、图形、开关、弹出窗口等,该按钮、图形、开关、弹出窗口等在被选择时可以生成并发送共享第一用户的视角的请求。
在一些实施方式中,当第二用户的表示和第一用户的表示在人工现实环境中未处于同一世界中时,过程600可以接收基于对与来自可用用户列表的用于跟随的第一用户相关联的选项的选择而将第一用户的视角共享给第二用户的请求。例如,当第一用户的表示处于虚拟世界中,并且第二用户的表示处于虚拟大厅中时,过程600可使2D界面显示虚拟世界中的所有用户的列表(或其子集,诸如仅可用于跟随的那些用户(例如人工现实界面上的用户))。当从列表中选择第一用户时,2D界面或设备可以基于第二用户对选项的选择来生成共享第一用户的视角的请求,并发送该请求。
在框606,过程600可以确定接收到的请求的数量是否小于请求数量的阈值。在一些实施方式中,阈值可以是静态整数,例如5。在一些实施方式中,阈值可以是动态的,并且能够基于任何数量的因素而改变。例如,阈值可以基于人工现实环境中的虚拟对象的显示大小、量(amount)和/或放置、人工现实环境中的其他用户的表示的量和/或放置、可用背景空间量等。例如,如果人工现实环境挤满了其他玩家的表示和/或虚拟对象,则过程600可以选择更低的阈值。相反,如果在人工现实环境中存在大量未使用的背景空间,则过程600可以选择更高的阈值。
如果接收到的请求的数量小于阈值,则过程600可以继续进行到框608。在框608,过程600可以生成针对个体(individual)化身气泡的渲染数据。每个个体化身气泡可以与相应的发出请求的第二用户相关联。在一些实施方式中,化身气泡的大小可以是静态的,即,无论发出请求的第二用户的数量如何,化身气泡的大小总是相同的。在一些实施方式中,化身气泡的大小可以是动态的,即,化身气泡的大小能够基于任何数量的因素而改变,该因素例如是发出请求的第二用户的数量、接收到的请求的顺序、发出请求的第二用户在人工现实环境中的资历、人工现实环境中的虚拟对象的显示大小、量和/或放置、人工现实环境中的其他用户的表示的量和/或放置、可用背景空间量等。例如,如果请求的数量较大,则过程600可以生成针对更小个体化身气泡的渲染数据,或者如果请求的数量较小,则过程600可以生成针对更大个体化身气泡的渲染数据。在另一示例中,过程600可以生成针对更大化身气泡(与更有经验的第二用户相关联)的渲染数据以及针对更小化身气泡(与新手第二用户相关联)的渲染数据。
如果接收到的请求的数量大于或等于阈值,则过程600可以继续进行到框610。在框610,过程600可以生成针对组合化身气泡的渲染数据。组合化身气泡可以包括与相应的发出请求的、被包括在单个气泡中的第二用户相关联的化身中的至少一些化身。在一些实施方式中,过程600可以按照使得在组合气泡中仅显示设定数量(例如6个)的化身的方式来生成渲染数据。在这样的实施方式中,可以设想的是,过程600可以按照使得组合化身气泡可以被扩展到示出其余化身(例如,经由选择表达“+15”的文本)或者与附加的发出请求的第二用户相关联的用户名列表的方式来生成渲染数据。在一些实施方式中,过程600可以按照使得基于任何数量的因素(诸如接收到的请求的顺序、发出请求的第二用户在人工现实环境中的资历等)来选择在组合化身气泡中显示的化身而隐藏其余化身(或与其余化身相关联的用户名列表)的方式来生成渲染数据。
在框612,过程600可以将渲染数据输出到与相应的发出请求的第二用户相关联的2D设备,使得2D设备可以根据渲染数据在相应2D界面上渲染化身气泡。在一些实施方式中,当相应的第三用户的表示处于第一用户的表示的位置附近时,过程600可以将渲染数据输出到与第三用户相关联的一个或多个其他人工现实或2D设备。因此,当第一用户的表示处于或进入到第三用户的视场内时,与第三用户相关联的人工现实或2D界面可以渲染并显示与第一用户的表示相关联的化身气泡,并且第三用户可以理解第一用户正被一个或多个第二用户跟随。
图7是示出了在2D界面上访问人工现实环境的第三用户的视图700的示例的概念图。视图700可以包括从人工现实界面访问人工现实环境的第一用户的表示702和从2D界面访问人工现实环境的第二用户的表示704。如图7所示,由第三用户访问的2D界面以及由第二用户(未示出)访问的2D界面可以显示跟随第一用户的表示702的选项706。尽管选项706被示为按钮,但可以设想的是,选项706可以另选地或附加地包括任何图形、开关、弹出窗口等,其在被选择时可以使得与2D界面可操作地通信的2D设备(或2D界面本身)生成共享第一用户的视角的请求。另选地,第二用户和/或第三用户可以使用语音命令、手势或其他UI元素来选择跟随第一用户。第二用户和/或第三用户可以使用任何合适的方法来选择选项706,例如通过点击选项706、按下触摸屏上的选项706、可听地提出请求以选择选项706等。在一些实施方式中,第二用户和/或第三用户可能期望跟随第一用户的表示702,因为第一用户对人工现实环境具有更好的外围视觉,例如当第一用户的表示702进入森林708时。
图8是示出了在2D界面上访问人工现实环境的第三用户的视图800的示例的概念图。视图800可以包括第一用户的表示802,该第一用户从人工现实界面访问人工现实环境,同时将其视角共享给2D界面上的第二用户。在一些实施方式中,响应于第二用户选择跟随人工现实环境中的、第一用户的表示802(例如通过选择图7中的选项706),服务器、第三用户的2D界面和/或与2D界面可操作地通信的2D设备可以渲染和显示视图800。
在跟随第一用户的表示802的同时,可以在2D界面上的第一用户的表示802附近显示与第二用户相关联的化身气泡804。化身气泡804可以向第三用户以及在其视场内具有第一用户的表示802的任何其他用户表示:第二用户正在跟随第一用户的表示802。尽管从2D界面上的第三用户的视角示出,但可以设想的是,类似的视图800可以显示在人工现实界面上,该人工现实界面被用于由在其视场内具有第一用户的表示802的其他用户访问人工现实环境。在一些实施方式中,第二用户可以在跟随第一用户的表示802的同时共享第一用户的视角。在一些实施方式中,第二用户可以具有不同于第一用户但能够绕第一用户的表示802的位置枢转的视点。
图9是示出了在2D界面上观看人工现实环境的第二用户的视图900的示例的概念图。第二用户的视图900是与被跟随的第一用户的表示的视图不同,但能够绕从人工现实界面访问人工现实环境的第一用户的表示的位置枢转的视图。例如,由第二用户使用的2D设备和/或2D界面可以接收将视图旋转以看到第一用户的表示的后面的输入。在第一用户的表示后面,视图900包括在2D界面上访问人工现实环境的第三用户的表示910,例如分别具有图7的视图700和/或图8的视图800的同一第三用户。视图900还包括位于第一用户的表示后面的、人工现实环境中的虚拟对象,诸如熊912、树914和山916。在一些实施方式中,尽管第二用户能够绕第一用户的表示的位置枢转视图900,但是第二用户的表示可能不能与人工现实环境进行交互。
图10是示出了在2D界面上访问人工现实环境的第三用户的视图1000的示例的概念图。视图1000可以包括当第二用户停止跟随第一用户时、从人工现实界面访问人工现实环境的第一用户的表示1002和从2D界面访问人工现实环境的第二用户的表示1004。例如,第二用户可以戳破其化身气泡,例如图8中的化身气泡804(通过点击、触摸屏上的触摸、停止跟随第一用户的表示1002的音频指令等来选择其化身气泡)。在一些实施方式中,视图1000可以示出图标1018,该图标1018示出第二用户已经戳破了其化身气泡。
在化身气泡戳破时,第二用户的表示1004可以重新启用虚拟独立地四处移动并与人工现实环境交互的能力,而不被锁定到第一用户的表示1002。在诸如图10所示的一些实施方式中,当第二用户戳破气泡时,第二用户的表示1004可以被显示在第一用户的表示1002附近的位置。然而,在其他实施方式中,在选择跟随第一用户的表示1002之前,第二用户的表示1004可以显示在其最后位置,例如在图7中第二用户的表示704的位置。
图11是示出了在2D界面上访问人工现实环境的第二用户的视图1100的示例的概念图。视图1100可以包括第一用户的表示1102,该第一用户从人工现实界面访问人工现实环境,同时在相应2D界面上将其视角共享给其他用户。视图1100可以示出第一用户的表示1102,该第一用户访问虚拟游戏1104,同时被其他用户(如化身气泡1106所示)跟随。其他用户可以共享第一用户的表示1102的视角,以便观看虚拟游戏1104并观看第一用户的表示1102在虚拟游戏1104中的动作,而无需他们自己与虚拟游戏1104交互。当轮到另一用户时,该用户可以戳破其相应的化身气泡以与虚拟游戏1104进行交互。
在本说明书中对“实施方式”(例如,“一些实施方式”,“各种实施方式”、“一种实施方式”、“一实施方式”等)的引用意味着,所描述的与该实施方式有关的特定的特征、结构或特性被包括在本公开的至少一个实施方式中。这些短语在说明书中不同地方的出现不一定都指同一实施方式,也不一定是与其它实施方式相互排斥的单独实施方式或替代实施方式。此外,描述了可由一些实施方式而不是由其它实施方式呈现的各种特征。类似地,描述了各种要求,所述各种要求可以是针对一些实施方式而不是针对其它实施方式的要求。
如本文所使用的,高于阈值意味着比较项的值高于指定的其它值,比较项位于具有最大值的某个指定数量的项中,或者比较项具有在指定的最高百分比值内的值。如本文所使用的,低于阈值意味着比较项的值低于指定的其它值,比较项位于具有最小值的某个指定数量的项中,或者比较项具有在指定的最低百分比值内的值。如本文所使用的,处于阈值内意味着比较项的值在两个指定的其它值之间,比较项位于中间的指定数量的项中,或者比较项具有在中间指定百分比范围内的值。当没有另外定义时,诸如高或不重要等相对术语可以被理解为分配一个值并确定该值如何与所建立的阈值进行比较。例如,短语“选择快速连接”可以理解为选择具有分配的与其高于阈值的连接速度相对应的值的连接。
如本文所使用的,词语“或”是指一组项目的任何可能的排列。例如,表达“A、B或C”指的是A、B、C或其任意组合中的至少一种,例如以下任何一种:A;B;C;A和B;A和C;B和C;A、B和C;或任何项目的倍数(例如,A和A;B、B和C;A、A、B、C和C等)。
尽管已经用专用于结构特征和/或方法动作的语言描述了该主题,但应理解,在所附权利要求书中所限定的主题不必限于上述特定特征或动作。本文已出于说明的目的描述了特定的实施例和实施方式,但可以在不脱离这些实施例和实施方式的范围的情况下进行各种修改。上述具体特征和动作是作为实现所附权利要求书的示例形式而公开的。因此,除了所附权利要求书之外,实施例和实施方式不受限制。
以上所提到的任何专利、专利申请和其它参考文献都通过引用结合到本文中。如果需要,可以对各方面进行修改,以采用上述各种参考文献的系统、功能和概念来提供另外的实施方式。如果通过引用结合的文档中的陈述或主题与本申请的陈述或主题相冲突,则以本申请为准。
Claims (20)
1.一种用于将人工现实界面上的人工现实环境中的第一用户的视角共享给从二维界面访问所述人工现实环境的第二用户的方法,所述方法包括:
基于所述第二用户的表示在所述人工现实环境内的位置,为所述第二用户在所述二维界面上渲染所述人工现实环境;
发送将所述第一用户的视角在所述二维界面上共享给所述第二用户的请求,同时所述第一用户的表示基于所述第一用户对人工现实设备的输入与所述人工现实环境交互;
接收与所述人工现实环境中的所述第一用户的视角相关联的第一数据;
基于所述第一数据,从所述第一用户的视角为所述第二用户在所述二维界面上渲染所述人工现实环境;
接收与视点相关的第二数据,所述视点能够绕所述人工现实环境中的所述第一用户的表示的位置枢转;
基于所述第二数据,从所述视点在所述二维界面上为所述第二用户渲染所述人工现实环境;
接收用于停止基于所述第一数据和/或所述第二数据渲染所述人工现实环境的输入;以及
基于以下项为所述第二用户渲染所述人工现实环境:当发送所述请求时所述第二用户的表示在所述人工现实环境内的位置,或者当接收到所述输入时所述第一用户的表示的位置。
2.根据权利要求1所述的方法,
其中,当基于所述第一数据或所述第二数据为所述第二用户渲染所述人工现实环境时,所述第二用户的表示不能与所述人工现实环境交互。
3.根据权利要求1所述的方法,还包括:
基于来自所述第二用户的语音命令,生成将所述第一用户的视角共享给所述第二用户的所述请求。
4.根据权利要求1所述的方法,还包括:
当所述第二用户的表示和所述第一用户的表示在所述人工现实环境中处于同一世界中时,基于对与所述第一用户的表示相关联地显示的选项的选择,生成将所述第一用户的视角共享给所述第二用户的所述请求。
5.根据权利要求1所述的方法,还包括:
当所述第二用户的表示和所述第一用户的表示在所述人工现实环境中未处于同一世界中时,基于对来自要跟随的可用用户列表的、与所述第一用户相关联的选项的选择,生成将所述第一用户的视角共享给所述第二用户的所述请求。
6.一种计算机可读存储介质,所述计算机可读存储介质存储指令,所述指令在由计算系统执行时使得所述计算系统执行用于将人工现实界面上的人工现实环境中的第一用户的视角共享给从二维界面访问所述人工现实环境的第二用户的过程,所述过程包括:
基于所述第二用户的表示在所述人工现实环境内的位置,为所述第二用户在所述二维界面上渲染所述人工现实环境;
发送将所述第一用户的视角在所述二维界面上共享给所述第二用户的请求;
接收与所述人工现实环境中的所述第一用户的视角相关联的数据;
基于所述数据,从所述第一用户的视角为所述第二用户在所述二维界面上渲染所述人工现实环境;
接收用于停止基于所述数据渲染所述人工现实环境的输入;以及
基于以下项为所述第二用户渲染所述人工现实环境:当发送所述请求时所述第二用户的表示在所述人工现实环境内的位置,或者当接收到所述输入时所述第一用户的表示的位置。
7.根据权利要求6所述的计算机可读存储介质,
其中,所述数据是第一数据,
其中,所述输入是第一输入,并且
其中,所述过程还包括:
接收与视点相关的第二数据,所述视点能够绕所述人工现实环境中的所述第一用户的表示的位置枢转;
基于所述第二数据,从所述视点在所述二维界面上为所述第二用户渲染所述人工现实环境;以及
接收用于停止基于所述第二数据渲染所述人工现实环境的第二输入。
8.根据权利要求6所述的计算机可读存储介质,
其中,将所述第一用户的视角在所述二维界面上共享给所述第二用户的请求被发送,同时所述第一用户的表示基于所述第一用户对人工现实设备的输入与所述人工现实环境交互。
9.根据权利要求6所述的计算机可读存储介质,
其中,当基于所述数据为所述第二用户渲染所述人工现实环境时,所述第二用户的表示不能与所述人工现实环境交互。
10.根据权利要求6所述的计算机可读存储介质,其中,所述过程还包括:
基于来自所述第二用户的语音命令,生成将所述第一用户的视角共享给所述第二用户的所述请求。
11.根据权利要求6所述的计算机可读存储介质,其中,所述过程还包括:
当所述第二用户的表示和所述第一用户的表示在所述人工现实环境中处于同一世界中时,基于对与所述第一用户的表示相关联地显示的选项的选择,生成将所述第一用户的视角共享给所述第二用户的所述请求。
12.根据权利要求6所述的计算机可读存储介质,其中,所述过程还包括:
当所述第二用户的表示和所述第一用户的表示在所述人工现实环境中未处于同一世界中时,基于对来自要跟随的可用用户列表的、与所述第一用户相关联的选项的选择,生成将所述第一用户的视角共享给所述第二用户的所述请求。
13.一种用于将人工现实界面上的人工现实环境中的第一用户的视角共享给从二维界面访问所述人工现实环境的第二用户的计算系统,所述计算系统包括:
一个或多个处理器;以及
一个或多个存储器,所述一个或多个存储器存储指令,所述指令在由所述一个或多个处理器执行时使得所述计算系统执行过程,所述过程包括:
基于所述第二用户的表示在所述人工现实环境内的位置为所述第二用户在所述二维界面上渲染所述人工现实环境;
发送将所述第一用户的视角在所述二维界面上共享给所述第二用户的请求;
接收与所述人工现实环境中的所述第一用户的视角相关联的数据;
基于所述数据,从所述第一用户的视角为所述第二用户在所述二维界面上渲染所述人工现实环境;
接收用于停止基于所述数据渲染所述人工现实环境的输入;以及
基于以下项为所述第二用户渲染所述人工现实环境:当发送所述请求时所述第二用户的表示在所述人工现实环境内的位置,或者当接收到所述输入时所述第一用户的表示的位置。
14.根据权利要求13所述的计算系统,
其中,所述数据是第一数据,
其中,所述输入是第一输入,并且
其中,所述过程还包括:
接收与视点相关的第二数据,所述视点能够绕在所述人工现实环境中的所述第一用户的表示的位置枢转;
基于所述第二数据,从所述视点在所述二维界面上为所述第二用户渲染所述人工现实环境;以及
接收用于停止基于所述第二数据渲染所述人工现实环境的第二输入。
15.根据权利要求13所述的计算系统,
其中,将所述第一用户的视角在所述二维界面上共享给所述第二用户的请求被发送,同时所述第一用户的表示基于所述第一用户对人工现实设备的输入与所述人工现实环境交互。
16.根据权利要求13所述的计算系统,
其中,当基于所述数据为所述第二用户渲染所述人工现实环境时,所述第二用户的表示不能与所述人工现实环境交互。
17.根据权利要求13所述的计算系统,其中,所述过程还包括:
基于来自所述第二用户的语音命令,生成将所述第一用户的视角共享给所述第二用户的所述请求。
18.根据权利要求13所述的计算系统,其中,所述过程还包括:
当所述第二用户的表示和所述第一用户的表示在所述人工现实环境中处于同一世界中时,基于对与所述第一用户的表示相关联地显示的选项的选择,生成将所述第一用户的视角共享给所述第二用户的所述请求。
19.根据权利要求13所述的计算系统,其中,所述过程还包括:
当所述第二用户的表示和所述第一用户的表示在所述人工现实环境中未处于同一世界中时,基于对来自要跟随的可用用户列表的、与所述第一用户相关联的选项的选择,生成将所述第一用户的视角共享给所述第二用户的所述请求。
20.根据权利要求13所述的计算系统,还包括:
提供所述二维界面的平板显示器。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US17/820,641 | 2022-08-18 | ||
US17/820,641 US20240061636A1 (en) | 2022-08-18 | 2022-08-18 | Perspective Sharing in an Artificial Reality Environment between Two-Dimensional and Artificial Reality Interfaces |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117590935A true CN117590935A (zh) | 2024-02-23 |
Family
ID=87553854
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311051129.0A Pending CN117590935A (zh) | 2022-08-18 | 2023-08-18 | 二维界面与人工现实界面之间的人工现实环境中视角共享 |
Country Status (3)
Country | Link |
---|---|
US (1) | US20240061636A1 (zh) |
EP (1) | EP4325333A1 (zh) |
CN (1) | CN117590935A (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20240096033A1 (en) * | 2021-10-11 | 2024-03-21 | Meta Platforms Technologies, Llc | Technology for creating, replicating and/or controlling avatars in extended reality |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10657701B2 (en) * | 2016-06-30 | 2020-05-19 | Sony Interactive Entertainment Inc. | Dynamic entering and leaving of virtual-reality environments navigated by different HMD users |
EP4217083A1 (en) * | 2020-09-25 | 2023-08-02 | Apple Inc. | Asymmetric presentation of an environment |
US11924393B2 (en) * | 2021-01-22 | 2024-03-05 | Valeo Comfort And Driving Assistance | Shared viewing of video among multiple users |
-
2022
- 2022-08-18 US US17/820,641 patent/US20240061636A1/en active Pending
-
2023
- 2023-08-01 EP EP23189060.9A patent/EP4325333A1/en active Pending
- 2023-08-18 CN CN202311051129.0A patent/CN117590935A/zh active Pending
Also Published As
Publication number | Publication date |
---|---|
US20240061636A1 (en) | 2024-02-22 |
EP4325333A1 (en) | 2024-02-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110456626B (zh) | 全息键盘显示 | |
EP4325333A1 (en) | Perspective sharing in an artificial reality environment between two-dimensional and artificial reality interfaces | |
US20230419618A1 (en) | Virtual Personal Interface for Control and Travel Between Virtual Worlds | |
US11556172B1 (en) | Viewpoint coordination on artificial reality models | |
US20230045759A1 (en) | 3D Calling Affordances | |
US11947862B1 (en) | Streaming native application content to artificial reality devices | |
US12039141B2 (en) | Translating interactions on a two-dimensional interface to an artificial reality experience | |
US11991222B1 (en) | Persistent call control user interface element in an artificial reality environment | |
US20230351710A1 (en) | Avatar State Versioning for Multiple Subscriber Systems | |
US20240070957A1 (en) | VR Venue Separate Spaces | |
US11836205B2 (en) | Artificial reality browser configured to trigger an immersive experience | |
US11755180B1 (en) | Browser enabled switching between virtual worlds in artificial reality | |
EP4436161A1 (en) | Lightweight calling with avatar user representation | |
US20240320893A1 (en) | Lightweight Calling with Avatar User Representation | |
EP4414810A1 (en) | Facilitating user interface interactions in an artificial reality environment | |
US20230011453A1 (en) | Artificial Reality Teleportation Via Hand Gestures | |
US20240265656A1 (en) | Facilitating System User Interface (UI) Interactions in an Artificial Reality (XR) Environment | |
US20240281070A1 (en) | Simultaneous Controller and Touch Interactions | |
EP4432244A1 (en) | Augment graph for selective sharing of augments across applications or users | |
EP4414835A1 (en) | Integration framework for two-dimensional and three-dimensional elements in an artificial reality environment | |
EP4432243A1 (en) | Augment graph for selective sharing of augments across applications or users | |
US20230260239A1 (en) | Turning a Two-Dimensional Image into a Skybox | |
WO2023212349A1 (en) | Avatar state versioning for multiple devices | |
WO2024086325A1 (en) | Application multitasking in a three-dimensional environment | |
WO2023249918A1 (en) | Virtual personal interface for control and travel between virtual worlds |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |