CN107850947A - 远程通信的社会交互 - Google Patents

远程通信的社会交互 Download PDF

Info

Publication number
CN107850947A
CN107850947A CN201680046617.4A CN201680046617A CN107850947A CN 107850947 A CN107850947 A CN 107850947A CN 201680046617 A CN201680046617 A CN 201680046617A CN 107850947 A CN107850947 A CN 107850947A
Authority
CN
China
Prior art keywords
user
equipment
virtual
data
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201680046617.4A
Other languages
English (en)
Inventor
J·拉尼尔
A·万
J·A·P·卢拉斯奇
W·常
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Technology Licensing LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US14/821,505 external-priority patent/US20170039986A1/en
Application filed by Microsoft Technology Licensing LLC filed Critical Microsoft Technology Licensing LLC
Publication of CN107850947A publication Critical patent/CN107850947A/zh
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1454—Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/40—Support for services or applications
    • H04L65/403—Arrangements for multi-party communication, e.g. for conferences
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/131—Protocols for games, networked simulations or virtual reality

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

描述了用于使得两个或更多个远程定位的用户能够彼此交互、并且用于使得与两个或更多个用户的个别用户相对应的虚拟内容加强远程通信环境中的个别用户的虚拟表示的技术。服务提供方可以接收与第一用户相关联的图像数据和跟踪数据，该第一用户与第一设备相对应。进一步地，服务提供方可以使得第一用户的虚拟表示被呈现在与第二用户相对应的第二设备的显示器上，确定与第二用户相关联的对象与第一用户的虚拟表示之间的交互，并且至少部分地基于确定该交互，使得虚拟内容被呈现在至少显示器上的第一用户的虚拟表示上。

Description

远程通信的社会交互
背景技术
虚拟现实是一种利用计算设备来生成环境的技术，该环境经由计算设备的显示器来模拟物理现实世界场景或想象世界(例如，虚拟场景)中的物理存在。在虚拟现实环境中，在计算机生成的环境中，在用户的计算机生成的图形表示或者用户的角色(例如，化身)之间实现社会交互。混合现实是一种融合真实世界和虚拟世界的技术。混合现实是一种产生混合现实环境的技术，其中物理现实世界场景中的物理现实世界人物和/或对象与虚拟的计算机生成的人物和/或对象实时共存。例如，混合现实环境可以在物理现实世界场景中用计算机生成的图形(例如，狗、城堡等)加强物理现实世界场景和/或物理现实世界人物。
位于同一地点和/或位于远处的用户可以经由虚拟现实技术或混合现实技术进行通信。各种附加技术和/或备选技术可用于使得位于远处的用户彼此通信。比如，位于远处的用户可以经由利用在线视频聊天、在线话音通话、在线视频会议、远程桌面共享等的可视通信服务提供方进行通信。
发明内容
描述了用于使得两个或更多个远程定位的用户能够彼此交互、并且用于使得与两个或更多个用户的个别用户相对应的虚拟内容加强远程通信环境中的个别用户的虚拟表示的技术。服务提供方可以接收与第一用户相关联的图像数据和跟踪数据，该第一用户与第一设备相对应。进一步地，服务提供方可以使得第一用户的虚拟表示被呈现在与第二用户相对应的第二设备的显示器上，确定与第二用户相关联的对象与第一用户的虚拟表示之间的交互，并且至少部分地基于确定该交互，使得虚拟内容被呈现在至少显示器上的第一用户的虚拟表示上。
提供本发明内容是为了以简化形式介绍将在以下具体实施方式中进一步描述的概念的选择。本发明内容部分不旨在标识所要求保护的主题的关键特征或基本特征，也不旨在用于限制所要求保护的主题的范围。
附图说明
参考附图对具体实施方式进行阐述，其中附图标记的最左边的数字标识附图标记首次出现的图。在相同或不同的图中使用相同的附图标记指示相似或相同的项目或特征。
图1是示出了用于使得混合现实环境和/或远程通信环境中的两个或更多个用户能够彼此交互、并且使得与两个或更多个用户的个别用户相对应的虚拟内容加强混合现实环境和/或远程通信环境中的个别用户的示例环境的示意图。
图2是示出了头戴式混合现实显示设备的示例的示意图。
图3是示出了在混合现实环境中交互的两个用户的第三人视图的示例的示意图。
图4是示出了在混合现实环境中与另一用户交互的用户的第一人视图的示例的示意图。
图5是示出了用于使得虚拟内容经由混合现实显示设备在混合现实环境中呈现的示例过程的流程图。
图6是示出了用于使得虚拟内容经由混合现实显示设备在混合现实环境中呈现的示例过程的流程图。
图7A是示出了在远程通信环境中交互的两个用户的第三人视图的示例的示意图。
图7B是示出了在远程通信环境中交互的两个用户的第三人视图的另一示例的示意图。
图8A是示出了在远程通信环境中交互的两个用户的第三人视图的又一示例的示意图。
图8B是示出了在远程通信环境中交互的两个用户的第三人视图的再一示例的示意图。
图9是示出了用于使得虚拟内容经由显示设备在远程通信环境中呈现的示例过程的流程图。
图10是示出了使得虚拟内容经由显示设备在远程通信环境中呈现的另一示例过程的流程图。
具体实施方式
本公开描述了用于使得两个或更多个用户能够在远程通信环境中彼此交互、并且使得与两个或更多个用户的个别用户相对应的虚拟内容加强远程通信环境中的个别用户的虚拟表示的技术。本文中所描述的技术可以增强远程通信环境中位于远处的用户之间的通信。本文中所描述的技术可以具有各种应用，包括但不限于使得对话伙伴能够在混合现实环境和/或远程通信环境中彼此可视化，在相同和/或远程混合现实和/或远程通信环境中共享联合感官体验，将标记添加、移除、修改等至与混合现实和/或远程通信环境中的用户相关联的身体表示，查看与混合现实和/或远程通信环境中的其他用户相关联的生物信号等。附加地和/或可替代地，本文中所描述的技术可以应用于医疗保健，诸如有疗效地治疗慢性疼痛和/或运动障碍、远程物理治疗预约等。本文中所描述的技术生成增强的用户界面，由此在用户界面中再现虚拟内容，从而覆盖用户的虚拟表示(例如，图像)。呈现在设备的显示器上的增强的用户界面改善了用户与混合现实和/或远程通信体验之间的社会交互。
出于讨论的目的，物理现实世界对象(“真实对象”)或物理现实世界的人(“真实的人”和/或“真实的人物”)分别描述对象或人，其物理地存在于与混合现实显示器和/或其他显示设备相关联的物理现实世界场景(“真实场景”)中。基于真实对象的移动模式和/或用户和/或用户设备的移动，真实对象和/或真实的人可以移入和移出视野。虚拟的计算机生成的内容(“虚拟内容”)可以描述由一个或多个计算设备生成的内容，以补充用户的视野中的真实场景。在至少一个示例中，虚拟内容可以包括一个或多个像素，每个像素具有共同呈现在显示器上的相应颜色或亮度，从而表示没有物理存在于实际场景中的人、对象等。也就是说，在至少一个示例中，虚拟内容可以包括二维或三维图形，其表示对象(“虚拟对象”)、人(“虚拟的人”和/或“虚拟的人物”)、生物测定数据、效果等。虚拟内容可以经由本文中所描述的技术被再现到混合现实环境和/或远程通信环境中。在附加示例和/或备选示例中，虚拟内容可以包括计算机生成的内容，诸如声音、数字照片、视频、全球定位系统(GPS)数据等。
在至少一个示例中，本文中所描述的技术包括：从传感器接收数据。如下文更详细描述的，数据可以包括与用户的位置和定向相关联的跟踪数据、以及与用户中的至少一个用户物理存在于其中的真实场景相关联的数据。至少部分地基于接收数据，本文中所描述的技术可以包括：确定物理存在于真实场景中的第一用户和/或与第一用户相关联的对象使得在第一用户和/或对象与存在于真实场景中的第二用户之间进行交互。至少部分地基于确定第一用户和/或对象使得与第二用户进行交互，本文中所描述的技术可以包括：使得与该交互相对应的虚拟内容、以及第一用户或第二用户中的至少一个用户被呈现在对应于与第一用户相关联的混合现实设备和/或其他显示设备的用户界面上。可以基于相应用户的查看视角(例如，真实场景内的混合现实设备和/或其他显示设备的位置)来呈现虚拟内容。
虚拟现实可以完全变换用户的身体出现的方式。相反，混合现实更改了用户身体的视觉外观。如上文所描述的，混合现实体验提供了不同的机会来影响自我认知和发生通信的新途径。类似的技术可以适用于远程通信环境。在至少一个示例中，本文中所描述的技术使得用户能够使用混合现实设备在混合现实环境中彼此交互。在其他示例中，本文中所描述的技术使得用户能够使用诸如平板电脑、电话等之类的设备在远程通信环境中彼此交互。作为非限制性示例，本文中所描述的技术可以使得对话伙伴能够在混合现实环境中和/或远程通信环境中相互可视化，在相同和/或远程通信环境中共享联合感官体验，将标记添加、移除、修改等至与混合现实环境和/或远程通信环境中的用户相关联的身体表示，查看与混合现实环境和/或远程通信环境中的其他用户相关联的生物信号等。附加地和/或可替代地，如上文所描述的，本文中所描述的技术可以应用于医疗保健，诸如有疗效地治疗慢性疼痛和/或运动障碍、远程物理治疗预约等。
比如，本文中所描述的技术可以使得对话伙伴(例如，两个或更多个用户)能够彼此可视化。在至少一个示例中，至少部分地基于对话伙伴物理上位于相同的真实场景中，对话伙伴可以在与真实场景相关联的混合现实环境中彼此查看。在备选示例中，位于远处的对话伙伴可以在伙伴中的每个伙伴物理存在于远程通信环境中的个别真实场景中查看彼此的虚拟表示(例如，化身)。也就是说，第一用户可以在第一用户物理存在于其中的真实场景中从第三人视角查看第二用户的虚拟表示(例如，化身)。在一些示例中，对话伙伴可以交换视点。也就是说，第一用户可以访问第二用户的视点，使得第一用户能够从第三人视角(即，第二用户的视点)看到他们的图形表示。在附加示例或备选示例中，对话伙伴可以从第一人视角把彼此看作为他们自己第一人视角的重叠。也就是说，第一用户可以查看第二用户的第一人视角，并且可以从第二用户的视点把第一人视角看作为第一用户可以看见的重叠。
附加地或可替代地，本文中所描述的技术可以使得对话伙伴能够在相同和/或远程环境中共享联合感官体验。在至少一个示例中，物理上存在于相同真实场景中的第一用户和第二用户可以彼此交互，并且影响可以经由混合现实设备感知的第一用户和/或第二用户的外观的改变。在备选示例中，没有物理存在于相同真实场景(例如，位于远处)的第一用户和第二用户可以比如分别经由混合现实设备或远程通信设备在混合现实环境和/或远程通信环境中彼此交互。
出于该讨论的目的，远程通信环境是位于至少两个不同的地理位置的两个或更多个用户可以通信的环境。在一些示例中，远程通信环境可以是混合现实环境。在其他示例中，远程通信环境可以是经由二维可视通信服务提供方创建的环境。二维视频通信服务提供方的示例包括用于在线视频聊天和/或在线视频通话、在线视频会议、桌面共享等的服务提供方。在线视频聊天和/或在线视频通话服务提供方的示例包括 等。在线视频会议服务提供方的示例包括UBER 等。桌面共享服务提供方的示例包括 JOIN.等。
在没有物理存在于相同的实际场景中(例如，位于远处)的第一用户和第二用户在混合现实环境和/或远程通信环境中彼此交互的示例中，流数据(例如，一个或多个图像数据帧)可以被发送到与第一用户相关联的混合现实设备和/或其他显示设备，以使得第二用户经由混合现实设备和/或与第一用户相关联的其他显示设备(例如，经由第二用户的虚拟表示)被虚拟地呈现。第一用户和第二用户可以经由真实对象和/或虚拟对象彼此交互，并且影响可以经由混合现实设备和/或其他显示设备感知的第一用户或第二用户的外观的改变。在附加示例和/或备选示例中，第一用户可以物理存在于远离第二用户的实际场景中，并且可以与设备和/或虚拟对象交互以影响经由混合现实设备和/或其他显示设备的第二用户的外观的改变。在这样的示例中，第一用户可以在第二用户的混合现实环境和/或远程通信环境中可视地表示，或者第一用户可以不在第二用户的混合现实环境和/或远程通信环境中可视地表示。
作为非限制性示例，如果第一用户使得第一用户与第二用户的手(例如，物理地或虚拟地)之间接触，则第一用户和/或第二用户可以经由混合现实设备和/或其他显示设备看到该接触在第二用户的手上出现了颜色改变。如下文所描述的，出于讨论的目的，接触可以参考物理接触或虚拟接触。在一些示例中，颜色改变可以与第一用户和/或第二用户发生接触的位置相对应。在附加示例或备选示例中，第一用户可以经由虚拟对象(例如，彩弹枪、球等)与第二用户进行接触。比如，第一用户可以在第二用户处拍摄虚拟彩弹枪并且使得虚拟彩弹球接触第二用户。或者，第一用户可以向第二用户投掷虚拟球，并且使得与第二用户接触。在这样的示例中，如果第一用户与第二用户接触，则第一用户和/或第二用户可以经由混合现实设备和/或其他显示设备看到该接触在第二用户上的颜色改变。作为附加的非限制性示例，因为第一用户出现在混合现实设备和/或其他显示设备上，所以他或她可以通过对第二用户应用虚拟贴纸、虚拟纹身、虚拟附件(例如，衣服、帽冠、帽子、手提包、喇叭、尾巴等)等来与第二用户(例如，物理地或虚拟地)交互。在一些示例中，虚拟贴纸、虚拟纹身、虚拟附件等可以在第一用户和第二用户之间私人共享预先确定的时间段或无限链接到第一用户和第二用户(例如，类似于真实纹身)。
在附加示例或备选示例中，可以在各种健康应用中利用虚拟接触，诸如用于镇静或唤醒信号、经典镜像疗法的推导(例如，针对具有严重异常性疼痛的患者)等。在另一健康应用示例中，可以利用虚拟接触来为位于远处的物理治疗患者的物理疗法治疗提供指导，比如，通过使得治疗师能够纠正患者的移动和/或标识患者应该伸展、按摩、冰敷等的患者身体上的位置。此外，在附加和/或备选健康应用中，可以利用虚拟接触来舒缓所感知的疼痛或焦虑。比如，第一用户可以通过对第二用户上的位置或与伤害(例如，膝盖擦伤、纸划伤等)相对应的第二用户的虚拟表示应用虚拟Band-来与第二用户(例如，物理地或虚拟地)交互。或者，第一用户可以通过爱抚第二用户上的身体部分或第二用户的虚拟表示来与第二用户(例如，物理地或虚拟地)交互。结果，第一用户所爱抚的第二用户的身体部分或身体区域或第二用户的虚拟表示可以变成不同的颜色，或者用虚拟内容来加强，该虚拟内容示出第一用户爱抚第二用户的位置。
在一些示例中，如上文所描述的，第一用户和第二用户可以位于不同的真实场景中(即，第一用户和第二用户位于远处)。可以使得虚拟对象经由它们相应的混合现实设备和/或其他显示设备被呈现给第一用户和第二用户。虚拟对象可以由两个用户操纵。附加地，在一些示例中，虚拟对象可以被同步以触发触觉反馈。比如，作为非限制性示例，当第一用户轻击或敲击虚拟对象时，第二用户可以经由混合现实设备和/或与混合现实设备相关联的外围设备和/或其他显示设备来体验与虚拟对象相关联的触觉感觉。在备选示例中，链接的真实对象可以与第一用户和第二用户相关联。在一些示例中，真实对象可以被同步以提供触觉反馈。比如，作为非限制性示例，当第一用户轻击或敲击与第一用户相关联的真实对象时，第二用户可以体验与真实对象相关联的触觉感觉。
在附加示例或备选示例中，本文中所描述的技术可以使得对话伙伴能够查看与混合现实环境和/或远程通信环境中的其他用户相关联的生物信号。比如，利用生理传感器来确定与第一用户相关联的生理数据，第二用户能够观察与第一用户相关联的生理信息。也就是说，可以使得虚拟内容(例如，图形表示等)与第一用户相关联地呈现，使得第二用户可以观察关于第一用户的生理信息。作为非限制性示例，第二用户能够看到第一用户的心率、温度等的图形表示。在至少一个示例中，用户的心率可以由与第一用户相关联的脉冲光环图形化地表示、和/或用户的皮肤温度可以由与第一用户相关联的变色光环图形化地表示。
说明性环境
图1是示出了示例环境100的示意图，用于使得两个或更多个用户能够在混合现实环境和/或远程通信环境中彼此交互、并且用于使得两个或更多个用户中的个别用户被呈现在其中虚拟内容与个别用户相对应的混合现实环境和/或远程通信环境中。更具体地，示例环境100可以包括服务提供方102、一个或多个网络104、一个或多个用户106(例如，用户106A、用户106B、用户106C)、以及与一个或多个用户106相关联的一个或多个设备108(例如，设备108A、设备108B、设备108C)。
服务提供方102可以是任何实体、(多个)服务器、服务提供方、控制台、计算机等，其便于两个或更多个用户106在混合现实环境和/或远程通信环境中交互以使得两个或更多个用户106中的个别用户(例如，用户106A、用户106B、用户106C)被呈现在其中虚拟内容与个别用户(例如，用户106A、用户106B、用户106C)相对应的混合现实环境和/或远程通信环境中。可能通过在设备108或其他位于远程的设备上运行一些模块，服务提供方102可以在非分布式计算环境中实现，或者可以在分布式计算环境中实现。如所示出的，服务提供方102可以包括一个或多个服务器110，其可以包括一个或多个处理单元(例如，(多个)处理器112)和计算机可读介质114(诸如存储器)。在各种示例中，服务提供方102可以从传感器接收数据。至少部分地基于接收数据，服务提供方102可以确定物理存在于真实场景中的第一用户(例如，用户106A)和/或与第一用户(例如，用户106A)相关联的对象与存在于真实场景中的第二用户(例如，用户106B)交互。第二用户(例如，用户106B)可以物理地或虚拟地存在。附加地，至少部分地基于确定第一用户(例如，用户106A)和/或与第一用户(例如，用户106A)相关联的对象与第二用户(例如，用户106B)交互，服务提供方102可以使得与交互和第一用户(例如，用户106A)或第二用户(例如，用户106B)中的至少一个用户相对应的虚拟内容被呈现在第一混合现实设备(例如，设备108A)上、和/或与第一用户(例如，用户106A)相关联的其他显示设备(例如，设备108A)上、和/或第二混合现实设备(例如，设备108B)上、和/或与第二用户(例如，用户106B)相关联的其他显示设备(例如，设备108B)上。
在一些示例中，网络104可以是本领域中已知的任何类型的网络，诸如互连网。此外，设备108可以以任何方式(诸如通过全球或本地有线或无线连接(例如，局域网(LAN)、内联网、蓝牙等)通信地耦合到网络104。网络104可以便于(多个)服务器110和与一个或多个用户106相关联的设备108之间的通信。
示例支持以下场景：可被包括在一个或多个服务器110中的(多个)设备可以包括以集群或其他集群配置操作以共享资源、平衡负载、提高性能、提供故障恢复支持或冗余、或用于其他目的的一个或多个计算设备。包括在一个或多个服务器110中的(多个)设备可以表示但不限于台式计算机、服务器计算机、网络服务器计算机、个人计算机、移动计算机、膝上型计算机、平板计算机、可穿戴式计算机、植入式计算设备、电信设备、汽车计算机、具有网络功能的电视机、瘦客户端、终端、游戏控制台、游戏设备、工作站、媒体播放器、数字录像机(DVR)、机顶盒、相机、包括在计算设备中的集成部件、器具、或者任何其他类型的计算设备。
可包括在一个或多个服务器110中的(多个)设备可以包括：具有诸如经由总线与计算机可读介质114可操作地连接的一个或多个处理单元(例如，处理器112)的任何类型的计算设备，在一些实例中，该总线可以包括以下各项中的一项或多项：系统总线、数据总线、地址总线、PCI总线、微型PCI总线、以及任何各种本地总线、外围设备总线、和/或独立总线。存储在计算机可读介质114上的可执行指令可以包括例如输入模块116、标识模块117、交互模块118、呈现模块120、许可模块122、一个或多个应用124、数据库125、以及可由(多个)处理器112加载和执行的其他模块、程序或应用。
可替代地或另外，本文中所描述的功能性可以至少部分地由一个或多个硬件逻辑部件(诸如加速器)来执行。例如但不限于，可以使用的说明性类型的硬件逻辑部件包括：现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、片上系统(SOC)、复杂可编程逻辑器件(CPLD)等。可包括在一个或多个服务器110中的(多个)设备还可以包括一个或多个输入/输出(I/O)接口，其耦合至总线以允许(多个)设备与其他设备(诸如输入外围设备(例如，键盘、鼠标、笔、游戏控制器、话音输入设备、触摸输入设备、手势输入设备、跟踪设备、映射设备、图像相机、深度传感器、生理传感器等)和/或输出外围设备(例如，显示器、打印机、音频扬声器、触觉输出等))进行通信。这样的(多个)网络接口可以包括一个或多个网络接口控制器(NIC)或其他类型的收发器设备，以通过网络发送和接收通信。为了简单起见，在所图示的环境中省略了一些部件。
(多个)处理单元(例如，(多个)处理器112)可以表示例如CPU型处理单元、GPU型处理单元、HPU型处理单元、现场可编程门阵列(FPGA)、另一类数字信号处理器(DSP)或其他硬件逻辑部件，其在一些实例中可以由CPU驱动。例如但不限于，可以使用的示例型硬件逻辑部件的类型包括专用集成电路(ASIC)、专用标准产品(ASSP)、片上系统(SOC)、复杂可编程逻辑器件(CPLD)等。在各种示例中，如上文所阐述的并且在以下公开中进一步详细解释的，(多个)处理单元(例如，(多个)处理器112)可以执行一个或多个模块和/或过程，以使得(多个)服务器110执行各种功能。附加地，(多个)处理单元(例如，(多个)处理器112)中的每个处理单元可以具有其自己的本地存储器，其也可以存储程序模块、程序数据和/或一个或多个操作系统。
在至少一个配置中，(多个)服务器110的计算机可读介质114可以包括便于服务提供方102和一个或多个设备108之间的交互的部件。这些部件可以表示在计算设备上执行的代码片段。例如，计算机可读介质114可以包括输入模块116、标识模块117、交互模块118、呈现模块120、许可模块122、一个或多个应用124和数据库125等。在至少一些示例中，模块可以经由至少一个处理单元(例如，(多个)处理器112)被实现为计算机可读指令、各种数据结构等，以使得混合现实环境和/或远程通信环境中的两个或更多个用户彼此交互、并且使得为两个或更多个用户中的个别用户呈现与个别用户相对应的混合现实环境和/或远程通信环境中的虚拟内容。执行这些操作的功能性可以被包括在多个设备或单个设备中。
取决于(多个)服务器110的确切配置和类型，计算机可读介质114可以包括计算机存储介质和/或通信介质。计算机存储介质可以包括易失性存储器、非易失性存储器和/或其他持久和/或辅助计算机存储介质、可移除和不可移除计算机存储介质，其以任何方法或技术实现用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)。计算机存储器是计算机存储介质的示例。因此，计算机存储介质包括作为设备的一部分或在设备的外部的设备和/或硬件部件中包括的有形和/或物理形式的介质，包括但不限于随机存取存储器(RAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、相变存储器(PRAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM)、闪存、光盘只读存储器(CD-ROM)、数字多功能盘(DVD)、光卡或其他光学存储介质、微型硬盘驱动器、存储器卡、盒式磁带、磁带、磁盘存储器、磁卡或其他磁存储设备或介质、固态存储器设备、存储阵列、网络附连存储装置、存储区域网络、托管计算机存储装置或任何其他存储器、存储设备、和/或可以用于存储和维护信息以供计算设备访问的存储介质。
相比之下，通信介质可以在经调制的数据信号(诸如载波)或其他传输机制中体现计算机可读指令、数据结构、程序模块或其他数据。术语“经调制的数据信号”意指具有以对信号中的信息进行编码的方式设置或改变的特点中的一个或多个特点的信号。这样的信号或载波等可以在有线介质(诸如有线网络或直接有线连接)上和/或无线介质(诸如声学、RF、红外和其他无线介质)上传播。如本文中所定义的，计算机存储介质不包括通信介质。也就是说，计算机存储介质不包括仅由经调制的数据信号、载波或传播信号本身组成的通信介质。
输入模块116被配置为从一个或多个输入外围设备(例如，键盘、鼠标、笔、游戏控制器、话音输入设备、触摸输入设备、手势输入设备、跟踪设备、映射设备、图像相机、视频相机、深度传感器、生理传感器等)接收数据。在一些示例中，一个或多个输入外围设备可以被集成到一个或多个服务器110和/或其他机器和/或设备108中。在其他示例中，一个或多个输入外围设备可以通信地耦合到一个或多个服务器110和/或其他机器和/或设备108。一个或多个输入外围设备可以与单个设备(例如， 感知计算SDK 2013、LEAP等)或单独的设备相关联。
在至少一个示例中，输入模块116可以被配置为从图像捕获设备接收流数据。图像捕获设备可以是输入外围设备(诸如上文所描述的图像相机、视频相机等)，其可以捕获图像数据的帧并且将图像数据流式传输到输入模块116。输入模块116可以将图像数据发送到设备108用于再现。
附加地和/或可替代地，输入模块116被配置为接收与用户106及其身体在空间中的位置和定向(例如，跟踪数据)相关联的数据。跟踪设备可以包括光学跟踪设备(例如，等)、磁性跟踪设备、声学跟踪设备、陀螺跟踪设备、机械跟踪系统、深度相机(例如，RealSense等)、惯性传感器(例如，XSENS等)、前述的组合等。跟踪数据可以包括二维跟踪数据或三维跟踪数据。比如，跟踪设备可以基本实时地输出包括跟踪对象、用户(例如，用户106A、用户106B和/或用户106C)等的运动的运动捕获数据(例如，二维跟踪数据)的二维跟踪数据。附加地和/或可替代地，跟踪设备可以基本实时地输出三维跟踪数据，其包括体积数据流、骨架数据流、视角数据流等。体积数据流、骨架数据流、视角数据流等可以由输入模块116基本上实时地接收。
体积数据可以与用户(例如，用户106A、用户106B或用户106C)的身体所占据的空间的体积相对应。在一些示例中，骨架数据可以与用于近似骨架的数据相对应，该骨架与用户(例如，用户106A、用户106B或用户106C)的身体相对应，并且该骨架数据随着时间的推移跟踪骨架的移动。与用户(例如，用户106A、用户106B或用户106C)的身体相对应的骨架可以包括与连接起来表示人体的多个人体关节(例如，肘、膝、髋等)相对应的节点阵列。视角数据可以与从两个或更多个视角收集的数据相对应，这些数据可以用于从特定视角确定用户(例如，用户106A、用户106B或用户106C)的身体的轮廓。体积数据、骨架数据和视角数据的组合可以用于确定与用户106相对应的身体表示。身体表示可以近似用户(例如，用户106A、用户106B或用户106C)的身体形状。也就是说，与特定用户(例如，用户106A)相关联的体积数据、与特定用户(例如，用户106A)相关联的骨架数据、以及与特定用户(例如，用户106A)相关联的视角数据可以用来确定表示特定用户(例如，用户106A)的身体表示。交互模块118可以使用身体表示来确定用户106之间的交互和/或作为用于向用户106添加加强(即，虚拟内容)的基础。
在至少一些示例中，输入模块116可以接收与真实对象相关联的跟踪数据。在一些示例中，输入模块116可以利用跟踪数据来确定与对象相对应的对象表示。也就是说，与对象相关联的体积数据、与对象相关联的骨架数据、以及与对象相关联的视角数据可以用来确定表示对象的对象表示。对象表示可以表示对象在空间中的位置和/或定向。如上文所描述的，在附加示例和/或备选示例中，跟踪设备可以基本实时地跟踪对象的运动，并且可以将跟踪数据流式传输到输入模块116。
附加地，输入模块116被配置为接收与至少一个用户(例如，用户106A、用户106B和/或用户106C)在物理上定位的真实场景相关联的数据。如上文所描述的，输入模块116可以被配置为从与一个或多个服务器和/或其他机器110和/或用户设备108相关联的映射设备接收数据。如上文所描述的，映射设备可以包括相机和/或传感器。相机可以包括图像相机、立体相机、trulight相机等。传感器可以包括深度传感器、颜色传感器、声学传感器、图案传感器、重力传感器等。相机和/或传感器可以基本上实时输出数据流。该数据流可以基本实时地由输入模块116接收。数据可以包括表示相机和/或传感器可观察到的真实场景的运动图像数据和/或静止图像数据。附加地，数据可以包括深度数据。
深度数据可以表示可由传感器和/或相机观察的真实场景中的真实对象与传感器和/或相机之间的距离。深度数据可以至少部分地基于红外(IR)数据、trulight数据、立体积数据、光和/或图案投影数据、重力数据、声学数据等。在至少一个示例中，深度数据流可以从IR传感器(例如，飞行时间等)导出，并且可以表示为反映真实场景的点云。点云可以表示与三维坐标系统中配置的真实对象的表面和/或真实场景相关联的数据点或深度像素的集合。深度像素可以映射到网格中。深度像素的网格可以指示真实场景中的真实对象距离相机和/或传感器多远。与可从相机和/或传感器观察到的空间体积相对应的深度像素的网格可以被称为深度空间。(设备108中的)再现模块130可以利用深度空间来确定如何再现混合现实显示器中的虚拟内容。在一些示例中，(设备中的)再现模块130可以在没有(例如，二维远程通信服务提供方中的)深度数据的情况下再现混合现实显示器和/或其他显示设备中的虚拟内容。
附加地，在一些示例中，输入模块116可以从一个或多个生理传感器接收生理数据。一个或多个生理传感器可以包括可穿戴式设备或其他设备，其可以被用于测量与用户106相关联的生理数据。生理数据可以包括血压、体温、皮肤温度、血氧饱和度、心率、呼吸、空气流率、肺容积、皮肤电流响应等。附加地或可替代地，生理数据可以包括在跳跃或步进时生成的力的量度、握力等。
标识模块117被配置为确定与个别用户(例如，用户106A、用户106B、用户106C等)相关联的唯一标识符。唯一标识符可以是与个别用户(例如，用户106A、用户106B、用户106C等)相关联的电话号码、用户名等。第一用户(例如，用户106A)和/或第二用户(例如，用户106B)可以经由他或她的设备(例如，分别为设备108A或设备108B)上的应用(例如，(多个)应用132)、经由网站等来发起通信。至少部分地基于访问、接收和/或确定指示通信被发起的数据，标识模块117可以访问与参与者中的每个参与者相关联的唯一标识符(例如，第一用户(例如，用户106A)和/或第二用户(例如，用户106B))。
交互模块118被配置为确定第一用户(例如，用户106A)和/或与第一用户(例如，用户106A)相关联的对象是否与第二用户(例如，用户106B)和/或第二用户(例如，用户106B)的虚拟表示交互、和/或使得与其进行交互。至少部分地基于与用户106相对应的身体表示，交互模块118可以确定第一用户(例如，用户106A)和/或与第一用户(例如，用户106A)相关联的对象与第二用户(例如，用户106B)和/或第二用户(例如，用户106B)的虚拟表示交互、和/或使得与其进行交互。在至少一个示例中，第一用户(例如，用户106A)可以经由身体部分(例如，手指、手、腿等)与第二用户(例如，用户106B)和/或第二用户(例如，用户106B)的虚拟表示交互。在至少一个示例中，交互模块118可以至少部分地基于确定与第一用户(例如，用户106A)相对应的身体表示处于与第二用户(例如，用户106B)相对应的身体表示的阈值距离内，来确定第一用户(例如，用户106A)与第二用户(例如，用户106B)和/或第二用户(例如，用户106B)的虚拟表示交互。在另一示例中，交互模块118可以至少部分地基于确定身体部位(例如，手指、手、腿等)处于与第二用户(例如，用户106B)相对应的身体表示的阈值距离内，与对应于第二用户(例如，用户106B)的身体表示接触一阈值时间量等，来确定第一用户(例如，用户106A)与第二用户(例如，用户106B)交互。附加地和/或可替代地，交互模块118可以至少部分地基于确定身体部分(例如，手指、手、腿等)触摸与第二用户(例如，用户106B)的虚拟表示相对应的触摸屏显示器的一部分，来确定第一用户(例如，用户106A)与第二用户(例如，用户106B)交互。
在其他示例中，交互模块118可以确定第一用户(例如，用户106A)经由第一用户(例如，用户106A)或第二用户(例如，用户106B)中的至少一个用户的扩展来与第二用户(例如，用户106B)交互。该扩展可以包括与第一用户(例如，用户106A)或第二用户(例如，用户106B)中的至少一个用户相关联的真实对象或虚拟对象。作为非限制性示例，扩展可以是输入外围设备(例如，鼠标、笔、游戏控制器、话音输入设备、触摸输入设备、手势输入设备等)。在第一用户(例如，用户106A)经由真实对象与第二用户(例如，用户106B)交互的示例中，交互模块118可以利用跟踪数据(例如，对象表示)和/或与真实对象相关联的映射数据来确定真实对象(即，与真实对象相对应的对象表示)处于与第二用户(例如，用户106B)相对应的身体表示的阈值距离内，以及与对应于第二用户(例如，用户106B)的虚拟表示相关联的显示器的一部分接触等。在第一用户(例如，用户106A)经由虚拟对象与第二用户(例如，用户106B)交互的示例中，交互模块118可以利用与虚拟对象相关联的数据(例如，体积数据、骨架数据、视角数据等)来确定与虚拟对象相对应的对象表示处于与第二用户(例如，用户106B)相对应的身体表示的阈值距离内，以及与对应于第二用户(例如，用户106B)的虚拟表示相关联的显示器的一部分接触等。
呈现模块120被配置为向设备108发送再现数据以用于经由设备108来呈现虚拟内容。至少部分地基于确定第一用户(例如，用户106A)与第二用户(例如，用户106B)交互，呈现模块120可以访问与用于再现与第一用户(例如，用户106A)或第二用户(例如，用户106B)中的至少一个用户相关联的虚拟内容的指令相关联的数据。这些指令可以由一个或多个应用126和/或132来确定。
许可模块122被配置为确定是否准许第一用户(例如，用户106A)和第二用户(例如，用户106B)之间的交互，以及与个别用户(例如，用户106A、用户106B、用户106C等)相关联的授权等。在至少一个示例中，许可模块122可以存储许可数据，其对应于与个别用户106相关联的指令。指令可以指示特定用户(例如，用户106A、用户106B或用户106C)准许另一用户(例如，用户106A、用户106B或用户106C)与特定用户(例如，用户106A、用户106B或用户106C)和/或特定用户(例如，用户106A、用户106B或用户106C)的视图具有哪些交互。附加地和/或可替代地，许可数据可以指示特定用户(例如，用户106A、用户106B或用户106C)被准许与另一用户(例如，用户106A、用户106B或用户106C)交互的某些身体区域，和/或用户(例如，用户106A、用户106B或用户106C)允许他人在MR显示器中加强他或她的身体的某些身体区域。此外，许可模块122可以确定与哪个用户(例如，用户106A、用户106B或用户106C)可以移除与用户(例如，用户106A、用户106B或用户106C)相关联的虚拟内容相关联的许可。如下文所描述的，许可数据可以被映射到存储在数据库125中的唯一标识符。
例如，在非限制性示例中，用户(例如，用户106A、用户106B或用户106C)会被特定标志、颜色等烦扰。因而，用户(例如，用户106A、用户106B或用户106C)可以指示其他用户106不能用特定标志、颜色等来加强用户(例如，用户106A、用户106B或用户106C)。可替代地或附加地，用户(例如，用户106A、用户106B或用户106C)可能由于特定应用或虚拟内容项目而感到尴尬。因而，用户(例如，用户106A、用户106B或用户106C)可以指示其他用户106不能使用特定应用和/或虚拟内容的特定片段来加强用户(例如，用户106A、用户106B或用户106C)。或者，用户(例如，用户106A、用户106B或用户106C)可以准许其他用户(例如，用户106A、用户106B或用户106C)加强他们的手和/或手臂而非他们的面部和/或躯干。
应用(例如，(多个)应用124)由程序员创建以完成特定任务。例如，应用(例如，(多个)应用124)可以向设备108的用户106提供实用性功能性、娱乐功能性和/或生产力功能性。应用(例如，(多个)应用124)可以被内置到设备(例如，电信、短信、时钟、相机等)中或可以定制(例如，游戏、新闻、交通时间表、网上购物等)。如上文所描述的，(多个)应用124可以向对话伙伴(例如，两个或更多个用户106)提供各种功能性，其包括但不限于在混合现实环境和/或远程通信环境中彼此可视化，在相同和/或远程环境中共享联合感官体验，将标记添加、去除、修改等至与用户106相关联的身体表示，查看与混合现实环境和/或远程通信环境中的其他用户106相关联的生物信号等。
数据库125可以存储与个别用户(例如，用户106A、用户106B、用户106C等)相关联的数据。每个用户(例如，用户106A、用户106B、用户106C等)可以与唯一标识符相关联，并且每个唯一标识符可以被映射到不同数据，其包括但不限于与虚拟内容相关联的数据，该虚拟内容与对应于唯一标识符的用户(例如，用户106A、用户106B或用户106C)相关联。比如，如果第一用户(例如，用户106A)与第二用户(例如，用户106B)的虚拟表示交互，从而将虚拟BAND-放置在第二用户(例如，用户106B)的虚拟表示上，则和与BAND-相关联的虚拟内容相关联的数据以及指示再现BAND-的第二用户(例如，用户106B)的虚拟表示上的位置的数据(例如，全局坐标数据、骨架跟踪数据等)可以被映射到与第二用户(例如，用户106B)相对应的唯一标识符。也就是说，唯一标识符可以与指示与唯一标识符相关联的虚拟内容的数据、指示虚拟内容的位置和/或定向的数据、指示虚拟内容的到期(即，虚拟内容持续存在的预先确定的时间量)的数据等一起被存储在数据库125中。附加地和/或可替代地，许可数据可以被映射到如上文所描述的用于确定许可的个别唯一标识符。
在一些示例中，一个或多个用户106可以操作对应的设备108(例如，用户设备108)以执行与设备108相关联的各种功能。(多个)设备108可以表示多种多样的设备类型，并且不限于任何特定类型的设备。(多个)设备108的示例可以包括但不限于固定计算机、移动计算机、嵌入式计算机、或它们的组合。示例固定计算机可以包括台式计算机、工作站、个人计算机、瘦客户端、终端、游戏控制台、个人录像机(PVR)、机顶盒等。示例移动计算机可以包括膝上型计算机、平板计算机、可穿戴式计算机、植入式计算设备、电信设备、汽车计算机、便携式游戏设备、媒体播放器、相机等。示例嵌入式计算机可以包括具有网络功能的电视机、用于包括在计算设备中的集成部件、器具、微控制器、数字信号处理器或任何其他种类的处理设备等。在至少一个示例中，设备108可以包括混合现实设备(例如，系统、 等)。如下文在图2的情景中所描述的，混合现实设备可以包括一个或多个传感器和混合现实显示器。在图1中，设备108A和设备108B是可穿戴式计算机(例如，头戴式设备)；然而，设备108A和/或设备108B可以是如上文所描述的任何其他设备。类似地，在图1中，设备108C是移动计算机(例如，平板电脑)；然而，设备108C可以是如上文所描述的任何其他设备。
(多个)设备108可以包括一个或多个输入/输出(I/O)接口，其耦合到总线以允许(多个)设备与其他设备(诸如输入外围设备(例如，键盘、鼠标、笔、游戏控制器、话音输入设备、触摸输入设备、手势输入设备、跟踪设备、映射设备、图像相机、视频相机、深度传感器、生理传感器等)和/或输出外围设备(例如，显示器、打印机、音频扬声器、触觉输出等))通信。如上文所描述的，在一些示例中，I/O设备可以集成到一个或多个服务器110和/或其他机器和/或设备108中。在其他示例中，一个或多个输入外围设备可以是通信地耦合到一个或多个服务器110和/或其他机器和/或设备108。一个或多个输入外围设备可以与单个设备(例如，感知计算SDK 2013、LEAP等)或单独设备相关联。
图2是示出了头戴式混合现实显示设备200的示例的示意图。如图2所图示的，头戴式混合现实显示设备200可以包括一个或多个传感器202和显示器204。一个或多个传感器可以包括图像捕获设备。如上文所描述的，一个或多个传感器202可以包括跟踪技术，其包括但不限于深度相机和/或传感器、惯性传感器、光学传感器等。附加地或可替代地，一个或多个传感器202可以包括一个或多个生理传感器，其用于测量用户的心率、呼吸、皮肤电导、温度等。在一些示例中，如图2所图示的，一个或多个传感器202可以被安装在头戴式混合现实显示设备200上。一个或多个传感器202与内外感测传感器(也就是说，从第一人视角捕获信息的传感器)相对应。在附加示例或备选示例中，一个或多个传感器可以在头戴式混合现实显示设备200和/或设备108的外部。在这样的示例中，一个或多个传感器可以布置在房间中(例如，放置在整个房间中的各个位置中)，并且与设备相关联等。这样的传感器可以与外内感测传感器(也就是说，从第三人视角捕获信息的传感器)相对应。在又一示例中，传感器可以在头戴式混合现实显示设备200的外部，但是可以与被配置为收集与用户(例如，用户106A、用户106B或用户106C)相关联的数据的一个或多个可穿戴式设备相关联。
在图2中，显示器204可以将视觉内容呈现给混合现实环境中的一个或多个用户106。在一些示例中，显示器204可以将混合现实环境呈现给空间区域中的用户(例如，用户106A、用户106B或用户106C)，该空间区域占用与用户(例如，用户106A、用户106B或用户106C)的实际视野基本上共同延伸的区域。在其他示例中，显示器204可以在空间区域中向用户(例如，用户106A、用户106B或用户106C)呈现混合现实环境，该空间区域占用用户(例如，用户106A、用户106B或用户106C)的实际视野的较小部分。显示器204可以包括透明显示器，其使得用户(例如，用户106A、用户106B或用户106C)能够查看他或她在物理上所处的真实场景。透明显示器可以包括用户(例如，用户106A、用户106B或用户106C)直接看到他或她物理存在的真实场景的光学透视显示器、用户(例如，用户106A，用户106B或用户106C)观察从安装的相机等获取的视频图像中的真实场景的视频透视显示器等。显示器204可以向用户(例如，用户106A、用户106B或用户106C)呈现虚拟内容，使得虚拟内容加强用户(例如，用户106A、用户106B或用户106C)在物理上位于空间区域内的真实场景。
基于用户的视角和/或设备(例如，设备108A、设备108B和/或设备108C)的位置，虚拟内容可以以不同方式显现给不同用户(例如，用户106A、用户106B和/或用户106C)。比如，基于用户(例如，用户106A、用户106B和/或用户106C)和/或设备(例如，设备108A、设备108B和/或设备108C)与虚拟内容项目的接近度，虚拟内容项目的大小可以不同。附加地或可替代地，基于用户(例如，用户106A、用户106B和/或用户106C)和/或设备(例如，设备108A、设备108B和/或设备108C)的有利位置，虚拟内容项目的形状可以不同。比如，当用户(例如，用户106A、用户106B和/或用户106C)和/或设备(例如，设备108A、设备108B和/或设备108C)正在直视虚拟内容项目时，该虚拟内容项目可以具有第一形状，并且当用户(例如，用户106A、用户106B和/或用户106C)和/或设备(例如，设备108A、设备108B和/或设备108C)侧视该虚拟项目时，该虚拟内容项目可以具有第二形状。
回到图1，设备108C被图示为具有传感器202和显示器204，该传感器202和显示器204被配置为执行上文在图2的情景中描述的功能。如上文所描述的，在图1中，传感器202可以包括图像捕获设备、跟踪技术等。显示器204可以呈现位于远处的用户(例如，用户106A、用户106B或用户106C)的虚拟表示。在至少一个示例中，与位于远处的用户(例如，用户106A、用户106B或用户106C)相关联的设备(例如，108A、108B或108C)可以将图像数据发送到与用户(例如，用户106A、用户106B或用户106C)相关联的设备(例如，108A、108B或108C)，并且与关联于该用户(例如，用户106A、用户106B或用户106C)的设备(例如，108A、108B或108C)相关联的再现模块130可以在与用户(例如，用户106A、用户106B或用户106C)相关联的设备的显示器204上生成位于远处的用户(例如，用户106A、用户106B或用户106C)的虚拟表示。在一些示例中，位于远处的用户(例如，用户106A、用户106B或用户106C)的虚拟表示可以是二维表示或三维表示，其取决于与设备(例如，设备108A、设备108B或设备108C)相关联的传感器202。在至少一个示例中，显示器204可以是视频显示器，其中用户(例如，用户106A、用户106B或用户106C)观察从图像捕获设备获取的视频图像，其与位于远处的用户(例如，用户106A、用户106B或用户106C)相关联。显示器204可以向用户(例如，用户106A、用户106B或用户106C)呈现虚拟内容，使得虚拟内容加强位于远处的用户(例如，用户106A、用户106B或用户106C)的虚拟表示和/或位于远处的用户(例如，用户106A、用户106B或用户106C)在物理上所处的真实场景。
设备108可以包括一个或多个处理单元(例如，(多个)处理器126)、计算机可读介质128、至少包括再现模块130和一个或多个应用132。如上文所描述的，一个或多个处理单元(例如，(多个)处理器126)可以表示相同的单元和/或执行与(多个)处理器112相同的功能。计算机可读介质128可以表示如上文所描述的计算机可读介质114。计算机可读介质128可以包括便于服务提供方102和一个或多个设备108之间的交互的部件。如上文所描述的，这些部件可以表示在计算设备上执行的代码片段。计算机可读介质128可以包括至少一个再现模块130。该再现模块130可以从服务提供方102接收再现数据。在一些示例中，再现模块130可以利用再现数据来经由设备(例如，设备108A、设备108B或设备108C)上的处理器126(GPU)再现虚拟内容。在其他示例中，服务提供方102可以再现虚拟内容，并且可以将再现的结果作为再现数据发送到设备(例如，设备108A、设备108B或设备108C)。设备(例如，设备108A、设备108B或设备108C)可以在显示器204上呈现所再现的虚拟内容。(多个)应用132可以对应于与(多个)应用128或不同应用相同的应用。
示例混合现实和/或远程通信用户界面
图3、图4、图7A、图7B、图8A和图8B是可以被生成以增强混合现实和/或远程通信环境中的社会交互的用户界面的非限制性示例。可以使用本文中所描述的用户界面和/或虚拟内容的附加配置和/或备选配置。
图3是示出了两个用户(例如，用户106A和用户106B)在混合现实环境中进行交互的第三人视图的示例的示意图300。虚线所描绘的区域与其中第一用户(例如，用户106A)或第二用户(例如，用户106B)中的至少一个用户在物理上存在的真实场景302相对应。在一些示例中，第一用户(例如，用户106A)和第二用户(例如，用户106B)两者实际上存在于真实场景302中。在其他示例中，用户之中的一个用户(例如，用户106A或用户106B)可以物理地存在于另一真实场景中，并且可以虚拟地存在于真实场景302中。在这样的示例中，与物理上存在的用户(例如，用户106A)相关联的设备(例如，设备108A)可以接收流数据，其用于再现其他用户(例如，用户106B)在用户(例如，用户106A)物理存在于混合现实环境中的真实场景中的虚拟表示。在其他示例中，用户中的一个用户(例如，用户106A或用户106B)可以物理地存在于另一真实场景中，并且可以不存在于真实场景302中。比如，在这样的示例中，第一用户(例如，用户106A)和/或与第一用户(例如，用户106A)相关联的对象可以经由设备(例如，设备108A)与位于远处的第二用户(例如，用户106B)交互。
图3呈现了不参与交互的用户(例如，用户106C)的第三人视角。黑色实线所描绘的区域与混合现实环境中经由对应设备(例如，设备108C)的显示器204对用户(例如，用户106C)可见的空间区域304相对应。如上文所描述的，在一些示例中，空间区域可以占用与用户(例如，用户106C)的实际视野基本上共同延伸的区域，并且在其他示例中，空间区域可以占用用户(例如，用户106C)的实际视野的较小部分。
在图3中，第一用户(例如，用户106A)接触第二用户(例如，用户106B)。如上文所描述的，交互模块118可以利用与第一用户(例如，用户106A)和第二用户(例如，用户106B)相关联的身体表示来确定第一用户(例如，用户106A)与第二用户(例如，用户106B)交互。至少部分地基于确定第一用户(例如，用户106A)与第二用户(例如，用户106B)交互，呈现模块120可以将再现数据发送到设备(例如，设备108A、设备108B和设备108C)以呈现混合现实环境中的虚拟内容。该虚拟内容可以与一个或多个应用124和/或132相关联。
在图3的示例中，应用可以与使得火焰306的虚拟表示在与第一用户(例如，用户106A)接触第二用户(例如，用户106B)的位置一致的位置中出现相关联。在附加示例或备选示例中，应用124和/或132可以与使得呈现与贴纸、纹身、附件等相对应的虚拟表示相关联。与贴纸、纹身、附件等相关联的虚拟表示可以符合第一身体表示、和/或第一身体表示上的位置中的第二身体表示、和/或与其中第一用户(例如，用户106A)接触第二用户(例如，用户106B)相对应的第二身体表示。出于这个讨论的目的，虚拟内容通过被再现使得依照包括身体表示的体积数据、骨架数据和/或视角数据来加强对应的用户(例如，第一用户(例如，用户106A)或第二用户(例如，用户106B))来符合身体表示。虚拟内容可以跟踪身体表示，使得虚拟内容可以与对应用户(例如，第一用户(例如，用户106A)或第二用户(例如，用户106B))的移动一致地移动。
在一些示例中，应用可以与使得呈现与颜色改变相对应的虚拟表示相关联。在其他示例中，应用可以与使得通过加强混合现实环境中的第一用户(例如，用户106A)和/或第二用户(例如，用户106B)来呈现与第一用户(例如，用户106A)和/或第二用户(例如，用户106B)相关联的生理数据的图形表示相关联。
图4是示出了与混合现实环境中的另一用户(例如，用户106B)交互的用户(例如，用户106A)的第一人视图的示例的示意图400。虚线所描绘的区域与其中第一用户(例如，用户106A)或第二用户(例如，用户106B)中的至少一个用户在物理上存在的真实场景402相对应。在一些示例中，第一用户(例如，用户106A)和第二用户(例如，用户106B)两者实际上存在于真实场景402中。如上文所描述的，在其他示例中，用户中的一个用户(例如，用户106A或用户106B)可以物理地存在于另一真实场景中，并且可以虚拟地存在于真实场景402中。图4呈现了参与交互的用户(例如，用户106B)的第一人视角。黑色实线所描绘的区域与其中混合现实环境经由对应设备(例如，设备108C)的显示器204对用户(例如，用户106C)可见的空间区域404相对应。如上文所描述的，在一些示例中，空间区域404可以占用与用户(例如，用户106A、用户106B或用户106C)的实际视野基本上共同延伸的区域，并且在其他示例中，空间区域可以占用用户(例如，用户106A、用户106B或用户106C)的实际视野的较小部分。在至少一个示例中，空间区域404可以与设备(例如，设备108C)的显示器204相对应。
在图4中，第一用户(例如，用户106A)接触第二用户(例如，用户106B)。如上文所描述的，交互模块118可以利用与第一用户(例如，用户106A)和第二用户(例如，用户106B)相关联的身体表示来确定第一用户(例如，用户106A)与第二用户(例如，用户106B)交互。至少部分地基于确定第一用户(例如，用户106A)与第二用户(例如，用户106B)交互，呈现模块120可以将再现数据发送到设备(例如，设备108A和设备108B)以呈现混合现实环境中的虚拟内容。该虚拟内容可以与一个或多个应用124和/或132相关联。在图4的示例中，应用124和/或132可以与使得火焰306的虚拟表示在与第一用户(例如，用户106A)接触第二用户(例如，用户106B)的位置一致的位置中出现相关联。附加应用和/或备选应用可以使得经由对应的设备108向第一用户(例如，用户106A)和/或第二用户(例如，用户106B)呈现附加的虚拟内容和/或备选的虚拟内容。如上文所描述的，虚拟内容可以跟踪身体表示，使得虚拟内容可以与对应用户(例如，第一用户(例如，用户106A)或第二用户(例如，用户106B))的移动一致地移动。
图7A是示出了在远程通信环境中交互的两个用户(例如，用户106A和用户106B)的第三人视图的示例的示意图700。如图7A所图示的，第一用户(例如，用户106A)物理存在于真实场景中。第一用户(例如，用户106A)正在经由对应设备(例如，设备108A)与远程通信环境中的第二用户(例如，用户106B)通信。第二用户(例如，用户106B)不是物理存在于真实场景中，而是虚拟地经由与第二用户(例如，用户106B)相对应的虚拟表示存在于设备(例如，设备108A)的显示器204上。在图7A中，第一用户(例如，用户106A)正在经由她的手704的移动与虚拟心脏702交互。
图7B是示出了在远程通信环境中交互的两个用户(例如，用户106A和用户106B)的第三人视图的示例的示意图706。在图7B中，第一用户(例如，用户106A)可以用他或她的手指(或其他身体部位)触摸显示器204、和/或利用输入外围设备来将虚拟心脏702放置在第二用户(例如，用户106B)的虚拟表示上，这些输入外围设备包括但不限于鼠标、笔、游戏控制器、话音输入设备、触摸输入设备、手势输入设备等。比如，第一用户(例如，用户106A)可以触摸与第二用户(例如，用户106B)的虚拟表示相对应的触摸屏显示器的一部分，并且至少部分地基于确定该交互，再现模块130可以在虚拟表示上与第一用户(例如，用户106A)触摸与第二用户(例如，用户106B)的虚拟表示相对应的触摸屏显示器的部分的位置相对应的位置中，将虚拟心脏702再现在第二用户(例如，用户106B)的虚拟表示上。在其他示例中，如上文所描述的，第一用户(例如，用户106A)可以将虚拟心脏702悬停在第一用户(例如，用户106A)期望将虚拟心脏702放置阈值时间量以触发交互的第二用户(例如，用户106B)的虚拟表示上的位置上方，并且使得再现模块130在虚拟表示上与第一用户(例如，用户106A)悬停虚拟心脏702的位置相对应的位置中，将虚拟心脏702再现在第二用户(例如，用户106B)的虚拟表示上。
与虚拟内容(例如，虚拟心脏702)相关联的数据、虚拟内容(例如，虚拟心脏702)的位置和/或定向、和/或附加数据可以与数据库125中的唯一标识符相关联，该唯一标识符与第一用户(例如，用户106A)和/或第二用户(例如，用户106B)相关联。虚拟心脏702可以持续到第一用户(例如，用户106A)和/或第二用户(例如，用户106B)移除虚拟心脏702和/或虚拟心脏702到期。在至少一个示例中，每当第一用户(例如，用户106A)和第二用户(例如，用户106B)发起通信时，至少部分地基于与唯一标识符相关联的许可数据，虚拟心脏702可以以与先前通信中再现的位置和/或定向相同的位置和/或定向再现在(多个)显示器204上，直到心脏702被移除和/或到期为止。
虚拟心脏702可以跟踪第二用户(例如，用户106B)的移动。比如，如果第二用户(例如，用户106B)在第二用户(例如，用户106B)所在的真实场景中四处移动，则虚拟心脏702可以与第二用户(例如，用户106B)一起移动并且维持其相对于第二用户(例如，用户106B)的虚拟表示的位置。
图8A是示出了在远程通信环境中交互的两个用户(例如，用户106A和用户106B)的第三人视图的示例的示意图800。如图8A所图示的，第一用户(例如，用户106A)物理存在于真实场景中。第一用户(例如，用户106A)正在经由对应设备(例如，设备108A)与远程通信环境中的第二用户(例如，用户102B)通信。第二用户(例如，用户106B)不是物理存在于真实场景中，而是虚拟地经由与第二用户(例如，用户106B)相对应的虚拟表示呈现在设备(例如，设备108A)的显示器204上。在图8A中，第一用户(例如，用户106A)正在触摸802与设备(例如，设备108A)的显示器204上呈现的第二用户(例如，用户106B)的虚拟表示相对应的显示器204的一部分。
在图8A中，第一用户(例如，用户106A)可以触摸显示器204、和/或利用输入外围设备来将虚拟BAND-放置在第二用户(例如，用户106B)的虚拟表示上，这些输入外围设备包括但不限于鼠标、笔、游戏控制器、话音输入设备、触摸输入设备、手势输入设备等。比如，第一用户(例如，用户106A)可以触摸与第二用户(例如，用户106B)的虚拟表示相对应的触摸屏的部分，并且至少部分地基于确定交互，再现模块130可以在虚拟表示上与第一用户(例如，用户106A)接触第二用户(例如，用户106B)的虚拟表示的位置相对应的位置中，将虚拟BAND-再现在第二用户(例如，用户106B)的虚拟表示上。在一些示例中，第二用户(例如，用户106B)的虚拟表示上的位置可以与第二用户(例如，用户106B)具有切口、刮擦等的第二用户(例如，用户106B)上的位置相对应。图8B是示出了在远程通信环境中交互的两个用户(例如，用户106A和用户106B)的第三人视图的示例的示意图804。图8B图示了虚拟BAND-806在显示器204上在第二用户(例如，用户106B)的虚拟表示上再现的第二用户(例如，用户106B)的虚拟表示。
与虚拟内容(例如，虚拟BAND-806)相关联的数据、虚拟内容(例如，虚拟BAND-806)的位置和定向、和/或附加数据可以被映射到数据库125中的与第一用户(例如，用户106A)和/或第二用户(例如，用户106B)相关联的唯一标识符。虚拟BAND-806可以持续到第一用户(例如，用户106A)和/或第二用户(例如，用户106B)移除虚拟BAND-806和/或虚拟BAND-到期。比如，每当第一用户(例如，用户106A)和第二用户(例如，用户106B)激活远程通信环境时，除非并且直到虚拟BAND-806被移除或到期，否则虚拟BAND-可以在第二用户(例如，用户106B)的虚拟表示上被再现。虚拟BAND-806可以跟踪第二用户(例如，用户106B)的移动。比如，如果第二用户(例如，用户106B)在第二用户(例如，用户106B)所在的真实场景中四处移动，则虚拟BAND-806可以与第二用户(例如，用户106)一起移动并且维持其相对于第二用户(例如，用户106B)的虚拟表示的位置。
示例过程
下文在图5、图6、图9和图10中描述的过程被图示为逻辑流程图中的框的集合，其表示可以以硬件、软件或其组合来实现的操作序列。在软件的情景中，框表示存储在一个或多个计算机可读存储介质上的计算机可执行指令，该计算机可执行指令当由一个或多个处理器执行时，执行所述操作。通常，计算机可执行指令包括例程、程序、对象、部件、数据结构等，其执行特定功能或实现特定抽象数据类型。描述操作的次序并不旨在被解释为限制，并且可以以任何次序和/或并行地组合任何数目的所描述的框来实现这些过程。
图5是图示了用于使得虚拟内容经由混合现实显示设备(例如，设备108A、设备108B和/或设备108C)在混合现实环境中呈现的示例过程500的流程图。
框502图示了从传感器(例如，传感器202)接收数据。如上文所描述的，在至少一个示例中，输入模块116被配置为接收与用户106及其身体在空间中的位置和定向相关联的数据(例如，跟踪数据)。跟踪设备可以基本上实时地输出体积数据流、骨架数据流、视角数据流等。体积数据、骨架数据和视角数据的组合可以用来确定与用户106相对应的身体表示(例如，经由使用算法和/或模型来计算表示)。也就是说，与特定用户(例如，用户106A)相关联的体积数据、与特定用户(例如，用户106A)相关联的骨骼数据以及与特定用户(例如，用户106A)相关联的视角数据可以用来确定表示特定用户(例如，用户106A)的身体表示。在至少一个示例中，体积数据、骨架数据和视角数据可以用来基于输入模块116根据体积数据、骨架数据和/或视角数据对位置进行平均的简单平均算法来确定与每个用户(例如，用户106A、用户106B、用户106C等)相关联的身体部位的位置。输入模块116可以利用身体部位的各种位置来确定身体表示。在其他示例中，输入模块116可以利用诸如卡尔曼滤波器之类的机构，其中输入模块116利用过去的数据来帮助预测身体部位和/或身体表示的位置。在附加示例或备选示例中，输入模块116可以利用对体积数据、骨架数据和/或视角数据的机器学习(例如，监督学习、无监督学习、神经网络等)来预测身体部位和/或身体表示的位置。身体表示可以被交互模块118用来确定用户106之间的交互和/或作为用于向混合现实环境中的用户106添加加强的基础。
框504图示了确定与第一用户(例如，用户106A)相关联的对象与第二用户(例如，用户106B)交互。交互模块118被配置为确定与第一用户(例如，用户106A)相关联的对象与第二用户(例如，用户106B)交互。交互模块118可以至少部分地基于与用户106相对应的身体表示来确定与第一用户(例如，用户106A)相关联的对象与第二用户(例如，用户106B)交互。在至少一些示例中，对象可以与第一用户(例如，用户106A)的身体部位相对应。在这样的示例中，交互模块118可以至少部分地基于确定与第一用户(例如，用户106A)相对应的第一身体表示处于与第二用户(例如，用户106B)相对应的第二身体表示的阈值距离内，来确定第一用户(例如，用户106A)与第二用户(例如，用户106B)交互。如上文所描述的，在其他示例中，交互模块118可以确定第一用户(例如，用户106A)经由第一用户(例如，用户106A)和第二用户(例如，用户106B)中的至少一个用户的扩展来与第二用户(例如，用户106B)交互。如上文所描述的，扩展可以包括与第一用户(例如，用户106A)或第二用户(例如，用户106B)中的至少一个用户相关联的真实对象或虚拟对象。
在一些示例中，第一用户(例如，用户106A)可以使得第一用户(例如，用户106A)和/或与第一用户(例如，用户106A)相关联的对象与第二用户(例如，用户106B)之间进行交互。在这样的示例中，第一用户(例如，用户106A)可以与真实对象或虚拟对象交互，从而使得真实对象或虚拟对象、和/或与真实对象或虚拟对象相关联的对象接触第二用户(例如，用户106B)。作为非限制性示例，第一用户(例如，用户106A)可以使用具有虚拟彩弹球的虚拟彩弹枪射击第二用户(例如，用户106B)。如下文所描述的，如果第一用户(例如，用户106A)使用虚拟彩弹球接触第二用户(例如，106B)的身体表示，则交互模块118可以确定第一用户(例如，用户106A)使得第一用户(例如，用户106A)和第二用户(例如，用户106B)之间进行交互，并且可以在混合现实环境中的第二用户(例如，用户106B)的身体表示上再现虚拟内容。
框506图示了使得虚拟内容被呈现在混合现实环境中。呈现模块120被配置为向设备108发送再现数据以经由设备108呈现虚拟内容。至少部分地基于确定第一用户(例如，用户106A)与第二用户(例如，用户106B)交互，呈现模块120可以访问与用于再现与混合现实环境中的第一用户(例如，用户106A)或第二用户(例如，用户106B)中的至少一个用户相关联的虚拟内容的指令相关联的数据。指令可以由一个或多个应用124和/或132来确定。在至少一个示例中，呈现模块120可以访问存储在许可模块122中的数据以确定是否准许交互。与第一设备(例如，设备108A)和/或第二设备(例如设备108B)相关联的(多个)再现模块130可以从服务提供方102接收再现数据，并且可以利用一个或多个再现算法来在第一设备(例如，设备108A)和/或第二设备(例如，设备108B)的显示器204上再现虚拟内容。该虚拟内容可以符合与第一用户(例如，用户106A)和/或第二用户(例如，用户106B)相关联的身体表示，以便加强第一用户(例如，用户106A)和/或第二用户(例如，用户106B)。附加地，虚拟内容可以跟踪第一用户(例如，用户106A)和第二用户(例如，用户106B)的移动。
上文的图3和图4图示了可以在混合现实设备(例如，设备108A、设备108B和/或设备108C)的显示器(例如，显示器204)上呈现的用户界面的非限制性示例，其中应用可以与使得火焰的虚拟表示在与第一用户(例如，用户106A)接触第二用户(例如，用户106B)的位置一致的位置中出现相关联。
如上文所描述的，在附加示例或备选示例中，应用可以与使得与贴纸、纹身、附件等相对应的图形表示在显示器204上呈现相关联。贴纸、纹身、附件等可以符合接收与(例如，来自第一用户106A的)贴纸、纹身、附件等相对应的图形表示的第二用户(例如，用户106B)的身体表示。因而，图形表示可以加强混合现实环境中的第二用户(例如，用户106B)。与贴纸、纹身、附件等相对应的图形表示可以看起来被定位在与第一用户(例如，用户106A)接触第二用户(例如，用户106B)的位置相对应的位置中的第二用户(例如，用户106B)上。
在一些示例中，与贴纸、纹身、附件等相对应的图形表示可以在第一用户(例如，用户106A)和第二用户(例如，用户106B)之间私下共享预先确定的时间段。也就是说，每当第一用户(例如，用户106A)和第二用户(例如，用户106B)可以同时出现在混合现实环境中时，与贴纸、纹身或附件相对应的图形表示可以被呈现给第一用户(例如，用户106A)和第二用户(例如，用户106B)。第一用户(例如，用户106A)和/或第二用户(例如，用户106B)可以指示用于呈现图形表示的预先确定的时间段，在该预先确定的时间段之后，第一用户(例如，用户106A)和第二用户(例如，用户106B)都不能看到图形表示。
在一些示例中，应用可以与使得呈现与颜色改变相对应的虚拟表示以指示第一用户(例如，用户106A)与第二用户(例如，用户106B)交互的位置相关联。在其他示例中，应用可以与使得呈现与第一用户(例如，用户106A)和/或第二用户(例如，用户106B)相关联的生理数据的图形表示相关联。作为非限制性示例，第二用户(例如，用户106B)能够看到第一用户(例如，用户106A)的心率、温度等的图形表示。在至少一个示例中，用户的心率可以由与第一用户(例如，用户106A)相关联的脉冲光环以图形方式表示，和/或用户的皮肤温度可以由与第一用户(例如，用户106A)相关联的变色光环以图形方式表示。在一些示例中，脉冲光环和/或变色光环可以对应于与第一用户(例如，106A)和第二用户(例如，用户106B)之间的交互相关联的位置。
在至少一个示例中，用户(例如，用户106A、用户106B和/或用户106C)可以利用应用来定义对交互的响应和/或可以基于该交互来呈现的虚拟内容。在非限制性示例中，第一用户(例如，用户106A)可以指示他或她期望与第二用户(例如，用户106B)交互，使得第一用户(例如，用户106A)可以使用虚拟画笔以使得与颜料相对应的虚拟内容在混合现实环境中的第二用户(例如，用户106B)上出现。
在附加示例和/或备选示例中，第一用户(例如，106A)与第二用户(例如，用户106B)之间的交互可以与触觉反馈同步。比如，作为非限制性示例，当第一用户(例如，106A)轻抚第二用户(例如，用户106B)的虚拟表示时，第二用户(例如，用户106B)可以经由混合现实设备和/或与混合现实设备相关联的外围设备体验与交互(即，轻抚)相关联的触觉感觉。
图6是图示了用于使得虚拟内容经由混合现实显示设备在混合现实环境中呈现的示例过程600的流程图。
框602图示了接收与第一用户(例如，用户106A)相关联的第一数据。第一用户(例如，用户106A)可以物理地存在于混合现实环境的真实场景中。如上文所描述的，在至少一个示例中，输入模块116被配置为基本实时地接收与第一用户(例如，用户106A)相关联的体积数据流、与第一用户(例如，用户106A)相关联的骨骼数据流、与第一用户(例如，用户106A)相关联的视角数据流等。
框604图示了确定第一身体表示。与第一用户(例如，用户106A)相关联的体积数据、与第一用户(例如，用户106A)相关联的骨架数据和/或与第一用户(例如，用户106A)相关联的视角数据的组合可以用于确定与第一用户(例如，用户106A)相对应的第一身体表示。在至少一个示例中，输入模块116可以对第一身体表示进行分段以生成分段的第一身体表示。这些分段可以与用户(例如，用户106A)身体(例如，手、手臂、脚、腿、头等)的各个部分相对应。不同的虚拟内容片段可以与分段的第一身体表示的特定分段相对应。
框606图示了接收与第二用户(例如，用户106B)相关联的第二数据。第二用户(例如，用户106B)可以物理地或虚拟地存在于与混合现实环境相关联的真实场景中。如果第二用户(例如，用户106B)不在与第一用户(例如，用户106A)相同的真实场景中，则与第一用户(例如，用户106A)相对应的设备(例如，设备108A)可以接收流数据以再现混合现实环境中的第二用户(例如，用户106B)。如上文所描述的，在至少一个示例中，输入模块116被配置为基本上实时地接收与第二用户(例如，用户106B)相关联的体积数据流、与第二用户(例如，用户106B)相关联的骨架数据流、与第二用户(例如，用户106B)相关联的视角数据流等。
框608图示了确定第二身体表示。与第二用户(例如，用户106B)相关联的体积数据、与第二用户(例如，用户106B)相关联的骨架数据和/或与第二用户(例如，用户106B)相关联的视角数据的组合可以用于确定表示第二用户(例如，用户106A)的身体表示。在至少一个示例中，输入模块116可以对第二身体表示进行分段以生成分段的第二身体表示。不同的虚拟内容可以与分段的第二身体表示的特定分段相对应。
框610图示了确定与第一用户(例如，用户106A)和第二用户(例如，用户106B)相关联的对象之间的交互。交互模块118被配置为确定第一用户(例如，用户106A)和/或与第一用户(例如，用户106A)相关联的对象是否与第二用户(例如，用户106B)交互。在一些示例中，对象可以是与第一用户(例如，用户106A)相关联的身体部位。在这样的示例中，交互模块118可以至少部分地基于确定与第一用户(例如，用户106A)相对应的身体表示处于与第二用户(例如，用户106B)相对应的身体表示的阈值距离内，来确定第一用户(例如，用户106A)与第二用户(例如，用户106B)相交互。如上文所描述的，在其他示例中，对象可以是第一用户(例如，用户106A)的扩展。该扩展可以包括与第一用户(例如，用户106A)或第二用户(例如，用户106B)中的至少一个用户相关联的真实对象或虚拟对象。如上文所描述的，在其他示例中，第一用户(例如，用户106A)可以使得与第二用户(例如，用户106B)进行交互。
框612图示了使得虚拟内容在混合现实环境中呈现。呈现模块120被配置为将再现数据发送到设备108以经由设备呈现虚拟内容。至少部分地基于确定第一用户(例如，用户106A)与第二用户(例如，用户106B)交互，呈现模块120可以访问与用于再现虚拟内容的指令相关联的数据，该虚拟内容与混合现实环境中的第一用户(例如，用户106A)或第二用户(例如，用户106B)中的至少一个用户相关联。如上文所描述的，指令可以由一个或多个应用128和/或132确定。在至少一个示例中，呈现模块120可以访问存储在许可模块122中的数据以确定是否准许交互。与第一设备(例如，设备108A)和/或第二设备(例如设备108B)相关联的(多个)再现模块130可以从服务提供方102接收再现数据，并且可以利用一个或多个再现算法来在第一设备(例如设备108A)和/或第二设备(例如设备108B)的显示器204上再现虚拟内容。虚拟内容可以符合与第一用户(例如，用户106A)和/或第二用户(例如，用户106B)相关联的身体表示，以便加强第一用户(例如，用户106A)和/或第二用户(例如，用户106B)。附加地，虚拟内容可以跟踪第一用户(例如，用户106A)和第二用户(例如，用户106B)的移动。
图9是图示了使得虚拟内容经由显示设备(例如，设备108A、设备108B和/或设备108C)在远程通信环境中呈现的示例过程900的流程图。
框902图示了从图像捕获设备(例如，传感器202)接收图像数据。在至少一个示例中，图像捕获设备可以至少部分地基于确定在第一设备(例如，设备108A)和一个或多个其他设备(例如，设备108B、设备108C等)之间发起通信(例如，在线视频通信、在线会议通信、在线屏幕共享通信等)来开始捕获图像数据。图像捕获设备可以在一段时间(诸如通信的持续时间)内继续捕获图像数据。在一些示例中，图像捕获设备可以与设备108相关联，并且可以直接从第一设备(例如，设备108A)捕获图像数据并且将其从第一设备(例如，设备108A)流式传输到一个或多个其他设备(例如，设备108B、设备108C等)。在其他示例中，图像数据可以由输入模块116从第一设备(例如，设备108A)接收并且被发送到与一个或多个其他设备(例如，设备108B、设备108C等)相关联的再现模块130用于在显示器204上再现图像内容。在这样的示例中，图像内容可以描绘相应用户(例如，用户106A、用户106B、用户106C等)在物理上所在的真实场景，其包括相应用户(例如，用户106A、用户106B、用户106C等)的虚拟表示。
框904图示了从跟踪设备(例如，传感器202)接收跟踪数据。如上文所描述的，在至少一个示例中，输入模块116被配置为接收与用户106及其身体在空间中的位置和定向相关联的数据(例如，跟踪数据)。在至少一个示例中，跟踪设备可以至少部分地基于确定在第一设备(例如，设备108A)和一个或多个其他设备(例如设备108B，设备108C等)之间发起通信(例如，在线视频通信、在线会议通信、在线屏幕共享通信等)来开始跟踪用户(例如，用户106A、用户106B、用户106C等)。图像捕获设备可以在一段时间(诸如通信的持续时间)内继续捕获图像数据。在上文所描述的一些示例中，跟踪设备可以基本实时地输出体积数据流、骨架数据流、视角数据(例如，三维跟踪数据)流等。在附加示例和/或备选示例中，输入模块116可以基本上实时地接收跟踪对象、用户(例如，用户106A、用户106B和/或用户106C)的运动的运动捕获数据(例如，二维跟踪数据)等。在一些示例中，跟踪设备可以与设备108相关联并且直接从第一设备(例如，设备108A)向一个或多个其他设备(例如，设备108B、设备108C等)流式传输跟踪数据。在其他示例中，跟踪数据可以由输入模块116从第一设备(例如，设备108A)接收并且被发送到与一个或多个其他设备(例如，设备108B、设备108C等)相关联的再现模块130。
框906图示了使得第一用户(例如，用户106A)的虚拟表示在与第二用户(例如，用户106B)相关联的设备(例如，设备108B)的显示器204上呈现。与第一用户(例如，用户106A)相关联的第一设备(例如，设备108A)可以捕获图像数据并且将其流式传输到再现模块130。在一些情况下，图像数据可以从第一设备(例如，设备108A)被发送到输入模块116，并且输入模块116可以将图像数据发送到再现模块130。与第二用户(例如，用户106B)相关联的再现模块130可以接收图像数据并且可以在第二设备(例如，设备108B)的显示器204上再现第一用户(例如，用户106A)的虚拟表示。附加地和/或可替代地，在一些示例中，与第一设备(例如，设备108A)相关联的再现模块130可以利用从与第一设备(例如，设备108A)相关联的图像捕获设备捕获的图像数据来在第一设备(例如，设备108A)的显示器204上再现第一用户(例如，用户106A)的虚拟表示。比如，与第一用户(例如，用户106A)相对应的第一设备(例如，设备108A)可以在画中画显示器、分屏显示器等中再现第一用户(例如，用户106A)的虚拟表示。在一些示例中，比如在涉及多于两个用户106的通信中，可以在设备108的个别显示器204上再现多于两个用户106的虚拟表示。
框908图示了确定与第二用户(例如，用户106B)相关联的对象与第一用户(例如，用户106A)的虚拟表示之间的交互。交互模块118被配置为确定与第二用户(例如，用户106B)相关联的对象与第一用户(例如，用户106A)的虚拟表示交互。在一些示例中，对象可以是第二用户(例如，用户106B)的身体部位。在这样的示例中，与第二设备(例如，设备108B)相关联的显示器204可以是触摸屏显示器，并且交互模块118可以确定第二用户(例如，用户106B)的身体部位与触摸屏显示器的一部分交互，该触摸屏显示器的一部分与第一用户(例如，用户106A)的虚拟表示相对应。在其他示例中，对象可以是由第二用户(例如，用户106B)控制的输入外围设备。如本文中所描述的，输入外围设备可以包括鼠标、笔、游戏控制器、话音输入设备、触摸输入设备、手势输入设备等。在这样的示例中，第二设备(例如，设备108B)的显示器可以是触摸屏显示器204或常规显示器204。
在至少一个示例中，交互模块118可以确定第一用户(例如，用户106A)的虚拟表示上的位置，在该位置中与第二用户(例如，用户106B)相关联的对象与第一用户(例如，用户106A)的虚拟表示交互。附加地和/或可替代地，交互模块118可以确定第一用户(例如，用户106A)的虚拟表示上的触摸路径，在该触摸路径中与第二用户(例如，用户106B)相关联的对象与第一用户(例如，用户106A)的虚拟表示交互，而不在交互期间中断。比如，在与第二设备(例如，设备108B)相关联的显示器204是触摸屏显示器的示例中，第二用户(例如，用户106B)可以使用他或她的手指来轻抚第一用户(例如，用户106A)的虚拟表示的虚拟前臂，从而在第一用户(例如，用户106A)的虚拟表示的虚拟肘部附近发起触摸并且继续触摸第一用户(例如，用户106A)的虚拟表示的虚拟手腕，而不抬起他或她的手指。
框910图示了使得虚拟内容与第一用户(例如，用户106A)的虚拟表示相关联地被呈现。呈现模块120被配置为将再现数据发送到设备108用于经由设备108呈现虚拟内容。至少部分地基于确定与第二用户(例如，用户106B)相关联的对象与第一用户(例如，用户106A)的虚拟表示之间的交互，呈现模块120可以访问与用于再现与第一用户(例如，用户106A)的虚拟表示或者远程通信环境中的第二用户(例如，用户106B)的虚拟表示中的至少一个相关联的虚拟内容的指令相关联的数据。指令可以由一个或多个应用124和/或132来确定。在至少一个示例中，如上文在混合现实环境中所描述的，与交互相对应的虚拟内容可以由第二用户(例如，用户108B)定义。也就是说，如上文图7A、图7B、图8A和图8B所图示的，在非限制性示例中，第二用户(例如，用户108B)可以将与交互相对应的虚拟内容定义为虚拟BAND-806或虚拟心脏702。
与第一设备(例如，设备108A)和/或第二设备(例如，设备108B)相关联的(多个)再现模块130可以从呈现模块120接收再现数据，并且可以利用一个或多个再现算法以在第一设备(例如，设备108A)和/或第二设备(例如，设备108B)的相应显示器204上再现虚拟内容。也就是说，如下文所描述的，在一些示例中，至少部分地基于确定交互，呈现模块120可以将数据发送到与被授权查看虚拟内容的用户(例如，用户106A、用户106B、用户106C等)相对应的每个设备(例如，设备108A、设备108B等)的再现模块130。每个再现模块130可以在与设备(例如，设备108A、设备108B等)相对应的显示器204中再现虚拟内容，使得第一用户(例如，用户106A)可以在他或她自己的虚拟表示上查看虚拟内容、和/或第二用户(例如，用户106B)和/或其他用户(例如，用户106C等)可以在对应设备(例如，设备108A、设备108C等)的显示器204上查看第一用户(例如，用户106A)的虚拟表示上的虚拟内容。
虚拟内容可以符合与第一用户(例如，用户106A)相关联的虚拟表示，以便当在设备108的个别显示器204上呈现时加强第一用户(例如，用户106A)。虚拟内容可以被定位在第一用户(例如，用户106A)的虚拟表示上以便可视地指示发生交互的第一用户(例如，用户106A)的虚拟表示上的位置。附加地，虚拟内容可以至少部分地基于跟踪数据来跟踪第一用户(例如，用户106A)的移动。比如，虚拟内容可以持续存在于第一用户(例如，用户106A)的虚拟表示上的位置中，使得当第一用户(例如，用户106A)移动时，虚拟内容相对于第一用户(例如，用户106A)的虚拟表示持续存在于相同位置中、并且看起来与第一用户(例如，用户106A)一起移动。框912图示了使得虚拟对象跟踪第一用户(例如，用户106A)的虚拟表示的移动。也就是说，再现模块130可以访问跟踪数据并且相对于第一用户(例如，用户106A)的虚拟表示将虚拟内容在相同位置上再现。
上文的图7A、图7B、图8A和图8B图示了可以在设备(例如，设备108A、设备108B和/或设备108C)的显示器204上呈现的用户界面的非限制性示例，其中应用(例如，(多个)应用124和/或132)可以与使得虚拟内容(例如，虚拟心脏702、虚拟BAND-806)出现在与以下位置一致的位置中相关联：在与第二用户(例如，用户106B)相关联的对象和第一用户(例如，用户106A)的虚拟表示之间发生交互的位置。本文中描述了附加示例和/或备选示例。
在至少一个示例中，与第二用户(例如，用户106B)相关联的对象和第一用户(例如，用户106A)的虚拟表示之间的交互可以使得虚拟内容在第一用户(例如，用户106A)的虚拟表示和第二用户(例如，用户106B)的虚拟表示两者之上显示。虚拟内容可以符合与第一用户(例如，用户106A)和第二用户(例如，用户106B)相关联的虚拟表示，以便加强对应设备(例如，设备108A、设备108B等)的个别显示器204上的第一用户(例如，用户106A)和第二用户(例如，用户106B)。虚拟内容可以位于与第一用户(例如，用户106A)和第二用户(例如，用户106B)相关联的虚拟表示上，以便在视觉上指示发生交互的每个虚拟表示上的位置。附加地，虚拟内容可以跟踪第一用户(例如，用户106A)和第二用户(例如，用户106B)的移动。
比如，如上文在混合现实的情景中所描述的，与第二用户(例如，用户106B)相关联的对象和第一用户(例如，用户106A)的虚拟表示之间的交互可以使得呈现虚拟火焰，以便加强第一用户(例如，用户106A)的虚拟表示和第二用户(例如，用户106B)的虚拟表示这两者。虚拟火焰可以位于与第一用户(例如，用户106A)和第二用户(例如，用户106B)相关联的虚拟表示上，以便在视觉上指示发生交互的每个虚拟表示上的位置。例如，如果第二用户(例如，用户106B)使用他或她的手指的尖端来触摸第一用户(例如，用户106A)的虚拟表示的虚拟肘部，则第一虚拟火焰可以位于第二用户(例如，用户106B)的手指的尖端，并且第二虚拟火焰可以位于第一用户(例如，用户106A)的虚拟表示的虚拟肘部上。第一火焰可以跟踪第二用户(例如，用户106B)的移动，而第二火焰可以跟踪第一用户(例如，用户106A)的移动。
如上文所描述的，与虚拟内容相关联的数据、与虚拟内容的位置和/或定向相关联的数据、与虚拟内容持续存在的预先确定的时间量相关联的数据(例如，到期数据)等可以被映射到与第一用户(例如，用户106A)和/或第二用户(例如，用户106B)相关联的唯一标识符，并且可以被存储在数据库125中。结果，每当标识模块117标识第一用户(例如，用户106A)和/或第二用户(例如，用户106B)发起涉及至少第一用户(例如，用户106A)和/或第二用户(例如，用户106B)的通信时，呈现模块120可以访问数据库125，以确定任何虚拟内容是否被映射到与第一用户(例如，用户106A)和/或第二用户(例如，用户106B)相对应的唯一标识符，并且可以向每个对应设备(例如，设备108A和/或设备108B)上的模块130发送与被映射到唯一标识符的虚拟内容相关联的数据。在一些示例中，虚拟内容可以在单个通信后持续存在。比如，如下文所描述的，虚拟内容可以持续存在，直到虚拟内容到期或被第一用户(例如，用户106A)或第二用户(例如，用户106B)移除为止。
在非限制性示例中，服务提供方102可以确定终止第一通信，其中虚拟内容被呈现在与第一设备(例如，设备108A)和/或第二设备(例如，设备108B)相对应的(多个)显示器204上。随后，服务提供方102经由标识模块117可以确定第一设备(例如，设备108A)和第二设备(例如，设备108B)之间的第二通信被发起。呈现模块120可以确定虚拟内容被映射到与第一用户(例如，用户106A)和/或第二用户(例如，用户106B)相对应的唯一标识符中的至少一个唯一标识符。呈现模块120可以至少部分地基于与虚拟内容相关联的数据来确定虚拟内容是否未到期。至少部分地基于确定虚拟内容未到期，呈现模块120可以将与虚拟内容相对应的数据发送到相应再现模块130，以在第一设备(例如，设备108A)和/或第二设备(例如，设备108B)上再现虚拟内容。当紧接通信被终止时，再现模块130可以相对于虚拟内容所在的第一用户(例如，用户106A)的虚拟表示将虚拟内容在相同位置和/或定向中再现。
在至少一个示例中，呈现模块120可以访问存储在许可模块122和/或数据库125中的数据(例如，许可数据)，以确定交互是否被准许，和/或标识远程通信环境中的哪些用户106被授权查看虚拟内容。如上文所描述的，个别用户(例如，用户106A、用户106B、用户106C等)可以与唯一标识符相关联。被映射到唯一标识符的许可数据可以指示在特定用户106之间被准许的交互，哪些用户106被授权查看被映射到唯一标识符的虚拟内容，哪些用户106被授权移除虚拟内容(例如，终止虚拟内容在显示器204上呈现)等。
在一些示例中，用户(例如，用户106A)可以确定哪些其他用户(例如，用户106B和/或用户106C)被授权参加与用户(例如，用户106A)的特定交互。比如，第一用户(例如，用户106A)可以授权第二用户(例如，用户106B)参与亲密交互，但是可以禁止第三用户(例如，用户106C)参与相同交互。如果用户(例如，用户106C)未被授权与另一用户(例如，用户106A)交互，则与该交互相对应的虚拟内容不被呈现在与用户(例如，用户106A和用户106C)相对应的设备(例如，设备108A或设备108C)的显示器204上。附加地和/或可替代地，许可数据可以确定哪些用户106被授权查看由用户106之间的交互产生的虚拟内容。比如，多个用户(例如，用户106A、用户106B、用户106C等)可以参与通信，并且第一用户(例如，用户106A)可能希望以第三用户(例如，用户106C)不能在他或她的显示器204上看见的方式与第二用户(例如，用户106B)交互。在一些示例中，这是可以在第一用户(例如，用户106A)和第二用户(例如，用户106B)之间私下共享的虚拟内容。如上文所提及的，该虚拟内容可以私下共享，使得每当第一用户(例如，用户106A)和第二用户(例如，用户106B)正在经由远程通信环境进行通信时，可以将虚拟内容呈现给第一用户(例如，用户106A)和第二用户(例如，用户106B)，直到虚拟内容被移除或到期为止。
如上文所描述的，虚拟内容可以与到期数据相关联。到期数据可以指示用于呈现虚拟内容的预先确定的时间段，在此之后，第一用户(例如，用户106A)和/或第二用户(例如，用户106B)都不能看到虚拟内容。到期的虚拟内容可以终止虚拟内容和唯一标识符之间的映射。附加地和/或可替代地，许可数据可以指示被授权移除虚拟内容的用户106，从而终止虚拟内容被呈现在显示器204上。移除虚拟内容可以终止虚拟内容和唯一标识符之间的映射。在非限制性示例中，如图8B所图示的，第一用户(例如，用户106A)可以使得虚拟BAND-806呈现在第二用户(例如，用户106B)的虚拟表示上。虚拟BAND-806可以持续存在，直至授权用户(例如，用户106A和/或用户106B)移除虚拟BAND-106、或虚拟BAND-106基于预先确定的时间段的流逝而到期。
如上文所描述的，在附加示例或备选示例中，应用(例如，(多个)应用124和/或132)可以与使得呈现与颜色改变相对应的虚拟内容以指示第二用户(例如，用户106B)与第一用户(例如，用户106A)的虚拟表示交互的位置相关联。比如，如果与第二用户(例如，用户106B)相关联的对象与第一用户(例如，用户106A)的虚拟表示交互，以触摸第一用户(例如，用户106A)从虚拟肩膀到虚拟手腕的虚拟表示，则虚拟内容可以被再现，以使得第一用户(例如，用户106a)从第一用户(例如，用户106A)的虚拟表示的虚拟肩膀到虚拟手腕(例如，沿着触摸路径)的虚拟表示的颜色改变。导致颜色改变的虚拟内容可以跟踪第一用户(例如，用户106A)的移动。
在其他示例中，通过使得对与用户(例如，用户106A、用户106B、用户106C)相对应的虚拟表示所表现的方式进行改变，应用(例如，(多个)应用124和/或132)可以与用于治疗慢性疼痛和运动障碍的治疗性应用相关联。比如，第一用户(例如，用户106A)可能不能移动他或她的受伤肢体。第二用户(例如，用户106B)可以是位于远处的物理治疗师，其可以经由与远程通信环境中的第一用户(例如，用户106A)的虚拟表示的交互来指导第一用户(例如，用户106A)的移动。比如，如果第一用户(例如，用户106A)没有充分弯曲他或她的手，则第二用户(例如，用户106B)可以和与第一用户(例如，用户106A)的手相对应的虚拟表示进行交互，以在弯曲中指导第一用户(例如，用户106A)。作为示例，第二用户(例如，用户106B)可以使用与第一用户(例如，用户106A)的手相对应的虚拟表示上的虚拟内容进行绘制，以向第一用户(例如，用户106A)展示如何弯曲。
图10是图示了使得虚拟内容经由显示设备(例如，设备108A、设备108B和/或设备108C)在远程通信环境中呈现的示例过程1000的流程图。
框1002图示了确定在与第一用户(例如，用户106A)相对应的第一设备(例如，设备108A)和与第二用户(例如，用户106B)相对应的第二设备(例如，设备108B)之间发起通信。第一设备(例如，设备108A)和第二设备(例如，设备108B)可以远程定位(即，物理上位于不同物理位置中)。第一用户(例如，用户106A)和/或第二用户(例如，用户106B)可以使用他或她的设备(例如，分别为设备108A或设备108B)、网站等上的应用(例如，(多个)应用132)经由远程通信服务提供方来发起通信。
框1004图示了确定与第一用户(例如，用户106A)相关联的第一唯一标识符、以及与第二用户(例如，用户106B)相关联的第二唯一标识符。至少部分地基于确定在第一用户(例如，用户106A)和第二用户(例如，用户106B)之间发起通信，标识模块117可以确定与第一用户(例如，用户106A)相关联的第一唯一标识符、以及与第二用户(例如，用户106B)相关联的第二唯一标识符。如上文所描述的，唯一标识符可以是电话号码、用户名等。
框1006图示了访问与第一唯一标识符和第二唯一标识符相关联的数据。唯一标识符中的每个唯一标识符可以被映射到不同数据，其包括但不限于和与对应于唯一标识符的用户(例如，用户106A、用户106B或用户106C)相关联的虚拟内容相关联的数据、与虚拟内容的位置和/或定向相关联的数据、与虚拟内容持续存在的预先确定的时间量相关联的数据(例如，到期数据)等。附加地和/或可替代地，与可以被存储在许可模块122中的许可(例如，许可数据)相关联的数据可以被映射到唯一标识符。
框1008图示了使得与数据相对应的虚拟内容与第一用户(例如，用户106A)的虚拟表示和/或第二用户(例如，用户106B)的虚拟表示相关联地被呈现。呈现模块120被配置为将再现数据发送到设备108上的再现模块130，以经由设备108上的显示器204呈现虚拟内容。至少部分地基于访问与第一唯一标识符和/或第二唯一标识符相关联的数据，呈现模块120可以访问与用于再现与远程通信环境中的第一用户(例如，用户106A)或第二用户(例如，用户106B)中的至少一个用户相关联的虚拟内容的指令相关联的数据。指令可以由一个或多个应用124和/或132来确定。在至少一个示例中，呈现模块120可以访问存储在许可模块122和/或数据库125中的数据以确定是否准许交互。如上文所描述的，与第一设备(例如，设备108A)和/或第二设备(例如，设备108B)相关联的再现模块130可以从呈现模块120接收再现数据，并且可以利用一个或多个再现算法来在第一设备(例如，设备108A)和/或第二设备(例如，设备108B)的显示器204上再现虚拟内容。
示例条款
A.一种系统，其包括：传感器；一个或多个处理器；存储器；以及一个或多个模块，其被存储在存储器中并且可由一个或多个处理器执行以执行以下操作，所述操作包括：至少部分地基于接收数据来确定与物理存在于真实场景中的第一用户相关联的对象经由交互与存在于真实场景中的第二用户交互；以及至少部分地基于确定对象与第二用户交互，使得与和第一用户或第二用户中的至少一个用户交互相对应的虚拟内容在与第一用户相关联的混合现实设备相对应的用户界面上呈现，其中用户界面呈现如由第一用户查看的使用虚拟内容增强的真实场景的视图。
B.根据段落A所述的系统，其中第二用户物理存在于真实场景中。
C.根据段落A所述的系统，其中第二用户物理存在于与真实场景不同的真实场景中；并且所述操作进一步包括：通过使得第二用户的图形表示经由用户界面呈现而使得第二用户虚拟地存在于真实场景中。
D.根据段落A至C中的任一段所述的系统，其中对象包括与第一用户相关联的虚拟对象。
E.根据段落A至C中的任一段所述的系统，其中对象包括第一用户的身体部位。
F.根据段落E所述的系统，其中接收数据包括：从传感器接收与第一用户相关联的第一体积数据或第一骨架数据中的至少一个；以及从传感器接收与第二用户相关联的第二体积数据或第二骨骼数据中的至少一个；并且所述操作还包括：至少部分地基于第一体积数据或第一骨骼数据中的至少一个来确定与第一用户相关联的第一身体表示；至少部分地基于第二体积数据或第二骨骼数据中的至少一个来确定与第二用户相关联的第二身体表示；以及至少部分地基于确定第一身体表示处于第二身体表示的阈值距离内来确定第一用户的身体部位与第二用户交互。
G.根据段落A至F中的任一段所述的系统，其中与交互相对应的虚拟内容由第一用户定义。
H.根据段落A至G中的任一段所述的系统，其中传感器包括内外感测传感器。
I.根据段落A至G中的任一段所述的系统，其中传感器包括外内感测传感器。
J.一种用于使得虚拟内容在混合现实环境中呈现的方法，该方法包括：从传感器接收与第一用户相关联的第一数据，该第一用户物理存在于混合现实环境的真实场景中；至少部分地基于第一数据来确定与第一用户相对应的第一身体表示；从传感器接收与存在于混合现实环境的真实场景中的第二用户相关联的第二数据；至少部分地基于第二数据来确定与第二用户相对应的第二身体表示；至少部分地基于第一数据和第二数据来确定第一用户与第二用户之间的交互；以及至少部分地基于确定交互，使得虚拟内容与第一身体表示或第二身体表示中的至少一个相关联地在与第一用户相关联的第一显示器或与第二用户相关联的第二显示器中的至少一个显示器上呈现。
K.根据段落J所述的方法，还包括：接收流数据以使得第二用户虚拟地存在于混合现实环境的真实场景中。
L.根据段落J或K所述的方法，其中：第一数据包括以下各项中的至少一项：与第一用户相关联的体积数据、与第一用户相关联的骨架数据、或与第一用户相关联的视角数据；并且第二数据包括以下各项中的至少一项：与第二用户相关联的体积数据、与第二用户相关联的骨架数据、或与第二用户相关联的视角数据。
M.根据段落J至L中的任一段的方法，其中虚拟内容包括与至少第一用户或第二用户相关联的生理数据的图形表示。
N.根据段落J至M中的任一段所述的方法，其中虚拟内容包括与贴纸、纹身或附件相对应的图形表示，该贴纸、纹身或附件至少符合第一身体表示、或至少第一身体表示上的位置处的第二身体表示、或与交互相对应的第二身体表示。
O.根据段落N所述的方法，还包括：每当第一用户和第二用户同时存在于混合现实环境中，使得与贴纸、纹身或附件相对应的图形表示被呈现给第一用户和第二用户。
P.根据段落J至O中的任一段所述的方法，还包括：确定与第一用户或第二用户中的至少一个用户相关联的许可；以及至少部分地基于该许可，使得虚拟内容与第一身体表示或第二身体表示中的至少一个相关联地呈现。
Q.一种使用指令编码的一个或多个计算机可读介质，该指令当由处理器执行时，将计算机配置为执行根据段落J至P中的任一段所述的方法。
R.一种设备，其包括一个或多个处理器和使用指令编码的一个或多个计算机可读介质，该指令当由一个或多个处理器执行时，将计算机配置为执行根据段落J至P中的任一段所述的计算机实现的方法。
S.一种用于使得虚拟内容在混合现实环境中呈现的方法，该方法包括：用于从传感器接收与第一用户相关联的第一数据的装置，该第一用户物理存在于混合现实环境的真实场景中；用于至少部分地基于第一数据来确定与第一用户相对应的第一身体表示的装置；用于从传感器接收与存在于混合现实环境的真实场景中的第二用户相关联的第二数据的装置；用于至少部分地基于第二数据来确定与第二用户相对应的第二身体表示的装置；用于至少部分地基于第一数据和第二数据来确定第一用户与第二用户之间的交互的装置；以及至少部分地基于确定交互，用于使得虚拟内容与第一身体表示或第二身体表示中的至少一个相关联地在与第一用户相关联的第一显示器或者与第二用户相关联的第二显示器中的至少一个显示器上呈现。
T.根据段落S所述的方法，还包括：用于接收流数据以使得第二用户虚拟地存在于混合现实环境的真实场景中的装置。
U.根据段落S或T所述的方法，其中第一数据包括以下各项中的至少一项：与第一用户相关联的体积数据、与第一用户相关联的骨架数据、或与第一用户相关联的视角数据；并且第二数据包括以下各项中的至少一项：与第二用户相关联的体积数据、与第二用户相关联的骨架数据、或与第二用户相关联的视角数据。
V.根据段落S至U中的任一段所述的方法，其中虚拟内容包括与第一用户或第二用户中的至少一个用户相关联的生理数据的图形表示。
W.根据段落S至V中的任一段所述的方法，其中虚拟内容包括与贴纸、纹身或附件相对应的图形表示，该贴纸、纹身或附件至少符合第一身体表示、或至少第一身体表示上的位置处的第二身体表示、或与交互相对应的第二身体表示。
X.根据段落W所述的方法，还包括：用于每当第一用户和第二用户同时存在于混合现实环境中时，使得与贴纸、纹身或附件相对应的图形表示呈现给第一用户和第二用户的装置。
Y.根据段落S至X中的任一段所述的方法，还包括：用于确定与第一用户或第二用户中的至少一个用户相关联的许可的装置；以及用于至少部分地基于许可来使得虚拟内容与第一身体表示或第二身体表示中的至少一个相关联地呈现的装置。
Z.一种设备，其被配置为与混合现实环境中的至少第一混合现实设备和第二混合现实设备进行通信，该设备包括：一个或多个处理器；存储器；以及一个或多个模块，其被存储在存储器中并且可由一个或多个处理器执行以执行以下操作，所述操作包括：从通信地耦合到设备的传感器接收与物理存在于混合现实环境的真实场景中的第一用户相关联的第一数据；至少部分地基于第一数据来确定与第一用户相对应的第一身体表示；从传感器接收与物理存在于混合现实环境的真实场景中的第二用户相关联的第二数据；至少部分地基于第二数据来确定与第二用户相对应的第二身体表示；至少部分地基于第一数据和第二数据来确定第二用户接触第一用户；以及至少部分地基于确定第二用户与第一用户接触，使得虚拟内容与第一混合现实设备相关联的第一显示器和与第二混合现实设备相关联的第二显示器上的第一身体指示相关联地呈现，其中第一混合现实设备与第一用户相对应，而第二混合现实设备与第二用户相对应。
AA.根据段落Z所述的设备，所述操作还包括：至少部分地基于第一数据来确定与第一身体表示相对应的体积轮廓或骨架中的至少一个；以及使得虚拟内容被呈现，使得其符合体积轮廓或骨架中的至少一个。
AB.根据段落Z或AA所述的设备，所述操作还包括：对第一身体表示进行分段以生成分段的第一身体表示；以及使得虚拟内容在与第二用户与第一用户接触的第一用户上的位置相对应的分段的第一身体表示的分段上呈现。
AC.根据段落Z至AB中的任一段所述的设备，所述操作还包括：使得虚拟内容被呈现以可视地指示第二用户与第一用户接触的第一用户上的位置。
AD.一种系统，其包括：一个或多个处理器；存储器；以及一个或多个模块，其被存储在存储器中并且可由一个或多个处理器执行以执行以下操作，所述操作包括：确定在与第一用户相关联的第一设备和与第二用户相关联的第二设备之间发起通信，所述第二设备远离第一设备定位；从与第一设备相关联的图像捕获设备接收与第一用户相关联的图像数据；从与第一设备相关联的跟踪装置接收与第一用户相关联的跟踪数据；至少部分地基于图像数据，使得第一用户的虚拟表示在与第二设备相对应的第一显示器上呈现；确定与第二用户相关联的对象和第一用户的虚拟表示之间的交互；使得在与交互相对应的第一用户的虚拟表示上的位置中，虚拟内容被至少呈现在与第二设备相对应的第一显示器上；以及至少部分地基于跟踪数据，使得虚拟内容跟踪第一用户的移动。
AE.根据AD段所述的系统，其中：第一显示器包括触摸屏显示器；并且该交互是在该对象和与该虚拟表示相对应的触摸屏显示器的一部分之间。
AF.根据段落AE所述的系统，其中对象包括第二用户的身体部位。
AG.根据段落AD至AF中的任一段所述的系统，其中对象包括由第二用户控制的输入外围设备。
AH.根据段落AD至AG中的任一段所述的系统，所述操作还包括：至少部分地基于交互，使得虚拟内容被呈现在第二显示器上，所述第二显示器与第一用户的虚拟表示上的位置中的第一设备相关联。
AI.根据段落AD至AH中的任一段所述的系统，所述操作还包括：确定与第一用户相关联的第一唯一标识符、以及与第二用户相关联的第二唯一标识符。
AJ.根据段落AI所述的系统，所述操作还包括：将虚拟内容映射到第一唯一标识符或第二唯一标识符中的至少一个。
AK.根据段落AI所述的系统，其中与第一唯一标识符或第二唯一标识符中的至少一个相关联的许可数据指示：用于终止虚拟内容在至少第一显示器上呈现的与第一用户或第二用户中的至少一个用户相关联的授权。
AL.根据段落AD至AK中的任一段所述的系统，所述操作还包括：至少部分地基于与虚拟内容相关联的到期数据，来终止虚拟内容在至少第一显示器上呈现。
AM.一种用于使得虚拟内容在远程通信环境中呈现的方法，该方法包括：从与第一设备相关联的图像捕获设备接收和与第一设备相对应的第一用户相关联的图像数据；至少部分地基于图像数据，使得第一用户的虚拟表示在与第二用户相对应的第二设备上呈现；确定与第二用户相关联的对象和第一用户的虚拟表示之间的交互；以及至少部分地基于交互，使得虚拟内容在第一设备的第一显示器和第二设备的第二显示器上呈现第一用户的虚拟表示。
AN.根据AM段落所述的方法，其中使得虚拟内容在第一用户的虚拟表示上呈现包括：使得虚拟内容在与交互相对应的第一用户的虚拟表示上的位置中再现。
AO.根据段落AN所述的方法，还包括：从与第一设备相关联的跟踪设备接收与第一用户相关联的跟踪数据；以及至少部分地基于跟踪数据，使得虚拟内容持续存在于第一用户的虚拟表示上的位置中，从而跟踪第一用户的移动。
AP.根据段落AO所述的方法，其中图像数据和跟踪数据在一段时间内被接收。
AQ.根据段落AM至AP中的任一段所述的方法，还包括：在使得虚拟内容在第一显示器和第二显示器上呈现第一用户的虚拟表示之前，访问与第一用户相关联的第一许可数据和与第二用户相关联的第二许可数据。
AR.根据段落AQ所述的方法，还包括：至少部分地基于访问第一许可数据和第二许可数据，确定交互在第一用户与第二用户之间被授权。
AS.根据段落AQ所述的方法，还包括：确定远程通信环境包括第一用户、第二用户和第三用户；访问与第三用户相关联的第三许可数据；以及至少部分地基于第一许可数据、第二许可数据或第三许可数据中的至少一个，确定第三用户未被授权查看虚拟内容。
AT.根据段落AQ所述的方法，还包括：终止与使得虚拟内容被呈现在第一显示器和第二显示器上的第一用户的虚拟表示上相关联的第一通信；确定在第一用户设备和第二用户设备之间发起新通信；确定虚拟内容被映射到第一唯一标识符和第二唯一标识符；确定虚拟内容尚未到期；以及使得虚拟内容在第一用户在第一显示器和第二显示器上的虚拟表示上呈现用于新通信的至少一部分。
AU.一个或多个使用指令来编码的计算机可读介质，该指令当由处理器执行时，将计算机配置为执行根据段落AM至AT中的任一段所述的方法。
AV.一种设备，其包括一个或多个处理器和使用指令来编码的一个或多个计算机可读介质，该指令当由一个或多个处理器执行时，将计算机配置为执行根据段落AM至AT所述的计算机实现的方法。
AW.一种用于使得虚拟内容在远程通信环境中呈现的方法，该方法包括：用于从与第一设备相关联的图像捕获设备接收和与第一设备相对应的第一用户相关联的图像数据的装置；用于至少部分地基于图像数据来使得第一用户的虚拟表示被呈现在与第二用户相对应的第二设备上的装置；用于确定与第二用户相关联的对象和第一用户的虚拟表示之间的交互的装置；以及用于至少部分地基于交互来使得虚拟内容被呈现在第一设备的第一显示器和第二设备的第二显示器上的第一用户的虚拟表示上的装置。
AX.根据段落AW所述的方法，其中使得虚拟内容在第一用户的虚拟表示上呈现包括：使得虚拟内容在与交互相对应的第一用户的虚拟表示上的位置中再现。
AY.根据段落AX所述的方法，进一步包括：用于从与第一设备相关联的跟踪设备接收与第一用户相关联的跟踪数据的装置；以及用于至少部分地基于跟踪数据来使得虚拟内容持续存在于第一用户的虚拟表示上的位置中从而跟踪第一用户的移动的装置。
AZ.根据段落AY所述的方法，其中图像数据和跟踪数据在一段时间内被接收。
BA.根据段落AW至AZ中的任一段所述的方法，还包括：用于在使得虚拟内容在第一显示器和第二显示器上的第一用户的虚拟表示上呈现之前，访问与第一用户相关联的第一许可数据、以及与第二用户相关联的第二许可数据。
BB.根据段落BA所述的方法，还包括：用于至少部分地基于访问第一许可数据和第二许可数据来确定交互在第一用户与第二用户之间被授权的装置。
BC.根据段落BA所述的方法，还包括：用于确定远程通信环境包括第一用户、第二用户和第三用户的装置；用于访问与第三用户相关联的第三许可数据的装置；以及用于至少部分地基于第一许可数据、第二许可数据或第三许可数据中的至少一个来确定第三用户未被授权查看虚拟内容的装置。
BD.根据BA段落所述的方法，还包括：用于终止与使得虚拟内容在第一显示器和第二显示器上的第一用户的虚拟表示上呈现相关联的第一通信的装置；用于确定在第一用户设备与第二用户设备之间发起新通信的装置；用于确定虚拟内容被映射到第一唯一标识符和第二唯一标识符的装置；确定虚拟内容尚未到期的装置；以及用于使得虚拟内容在第一显示器和第二显示器上的第一用户的虚拟表示上呈现用于新通信的至少一部分的装置。
BE.一个或多个计算机存储介质，其具有计算机可执行指令，该计算机可执行指令当由一个或多个处理器执行时，将一个或多个处理器配置为执行以下操作，所述操作包括：从与第一设备相关联的图像捕获设备接收和与第一设备相对应的第一用户相关联的图像数据；从与第一设备相关联的跟踪设备接收与第一用户相关联的跟踪数据；至少部分地基于图像数据来使得第一用户的虚拟表示被呈现在与第二用户相对应的第二设备的显示器上；确定与第二用户相关联的对象和第一用户的虚拟表示之间的交互；以及至少部分地基于交互，使得虚拟内容在至少显示器上的第一用户的虚拟表示上呈现，其中虚拟内容基于跟踪数据而被定位在第一用户的虚拟表示上，并且可视地指示对象与第一用户交互的第一用户的虚拟表示上的位置。
BF.根据段落BE所述的一个或多个计算机存储介质，其中使得虚拟内容在第一用户的虚拟表示上呈现包括：至少部分地基于跟踪数据，使得虚拟内容持续存在于第一用户的虚拟表示上的位置中，从而跟踪第一用户的移动。
BG.根据BE或BF所述的一个或多个计算机存储介质，其中与交互相对应的虚拟内容由第二用户定义。
尽管已经用对结构特征和/或方法动作特定的语言描述了主题，但是应当理解，在所附权利要求中限定的主题不一定限于所描述的具体特征或动作。相反，具体特征和行为被描述为实现权利要求的说明性形式。
除非另有特别说明，否则诸如“can(能)”、“could(能)”、“might(可能)”或“can(可能)”之类的条件语言在上下文中被理解为表示某些示例包括某些特征、元素和/或步骤，而其他示例不一定包括某些特征、元素和/或步骤。因此，这样的条件语言通常并不旨在暗示某些特征、要素和/或步骤无论如何都是一个或多个示例所必需的，或者一个或多个示例无论有或没有输入或提示都必然包括用于决定任何特定示例中是否包括或将执行这些特征、要素和/或步骤的逻辑。除非另有指明，否则诸如短语“X，Y或Z中的至少一个”之类的连接语言应当被理解为表示项目、术语等可以是X、Y或Z、或者其组合。

Claims (15)

1.一种系统，包括：
一个或多个处理器；
存储器；以及
一个或多个模块，其被存储在所述存储器中、并且能够由所述一个或多个处理器执行以执行以下操作，所述操作包括：
确定与第一用户相关联的第一设备和与第二用户相关联的第二设备之间的通信的发起，所述第二设备位于所述第一设备的远处；
从与所述第一设备相关联的图像捕获设备接收与所述第一用户相关联的图像数据；
从与第一设备相关联的跟踪设备接收与所述第一用户相关联的跟踪数据；
至少部分地基于所述图像数据，使得所述第一用户的虚拟表示被呈现在与所述第二设备相对应的第一显示器上；
确定与所述第二用户相关联的对象和所述第一用户的所述虚拟表示之间的交互；
使得虚拟内容至少被呈现在所述第一显示器上，所述第一显示器与所述第一用户的所述虚拟表示上的位置中的所述第二设备相对应，所述虚拟表示与所述交互相对应；以及
至少部分地基于所述跟踪数据，使得所述虚拟内容跟踪所述第一用户的移动。
2.根据权利要求1所述的系统，其中：
所述第一显示器包括触摸屏显示器；以及
所述交互在所述对象与对应于所述虚拟表示的所述触摸屏显示器的一部分之间。
3.根据权利要求2所述的系统，其中所述对象包括所述第二用户的身体部分。
4.根据权利要求1至3中的任一项所述的系统，其中所述对象包括由所述第二用户控制的输入外围设备。
5.根据权利要求1至3中的任一项所述的系统，所述操作还包括：至少部分地基于所述交互，使得所述虚拟内容被呈现在第二显示器上，所述第二显示器与所述第一用户的所述虚拟表示上的所述位置中的所述第一设备相关联。
6.根据权利要求1至3中的任一项所述的系统，所述操作还包括：确定与所述第一用户相关联的第一唯一标识符、以及与所述第二用户相关联的第二唯一标识符。
7.根据权利要求6所述的系统，所述操作还包括：将所述虚拟内容映射到所述第一唯一标识符或所述第二唯一标识符中的至少一个。
8.根据权利要求6所述的系统，其中与所述第一唯一标识符或所述第二唯一标识符中的至少一个相关联的许可数据指示：与所述第一用户或所述第二用户中的至少一个相关联的、用于终止所述虚拟内容被呈现在至少所述第一显示器上的授权。
9.根据权利要求1至8中的任一项所述的系统，其中所述操作还包括：至少部分地基于与所述虚拟内容相关联的过期数据，来终止所述虚拟内容被呈现在至少所述第一显示器上。
10.一种用于使得虚拟内容被呈现在远程通信环境中的方法，所述方法包括：
从与第一设备相关联的图像捕获设备接收与第一用户相关联的图像数据，所述第一用户与所述第一设备相对应；
至少部分地基于所述图像数据，使得所述第一用户的虚拟表示被呈现在与第二用户相对应的第二设备上；
确定与所述第二用户相关联的对象和所述第一用户的所述虚拟表示之间的交互；以及
至少部分地基于所述交互，使得虚拟内容被呈现在所述第一设备的第一显示器和所述第二设备的第二显示器上的所述第一用户的所述虚拟表示上。
11.根据权利要求10所述的方法，其中使得所述虚拟内容被呈现在所述第一用户的所述虚拟表示上包括：使得所述虚拟内容被再现在与所述交互相对应的所述第一用户的所述虚拟表示上的位置中。
12.根据权利要求11所述的方法，还包括：
从与所述第一设备相关联的跟踪设备接收与所述第一用户相关联的跟踪数据；以及
至少部分地基于所述跟踪数据，使得所述虚拟内容持续存在于所述第一用户的所述虚拟表示上的所述位置中，以跟踪所述第一用户的移动。
13.根据权利要求12所述的方法，其中所述图像数据和所述跟踪数据在一段时间内被接收到。
14.根据权利要求10至13中的任一项所述的方法，还包括：在使得所述虚拟内容被呈现在所述第一显示器和所述第二显示器上的所述第一用户的所述虚拟表示上之前，访问与所述第一用户相关联的第一许可数据以及与所述第二用户相关联的第二许可数据。
15.根据权利要求14所述的方法，还包括：
确定所述远程通信环境包括所述第一用户、所述第二用户和第三用户；
访问与所述第三用户相关联的第三许可数据；以及
至少部分地基于所述第一许可数据、所述第二许可数据或所述第三许可数据中的至少一个，来确定所述第三用户未被授权查看所述虚拟内容。
CN201680046617.4A 2015-08-07 2016-07-21 远程通信的社会交互 Withdrawn CN107850947A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US14/821,505 US20170039986A1 (en) 2015-08-07 2015-08-07 Mixed Reality Social Interactions
US14/821,505 2015-08-07
US14/953,662 US20170038829A1 (en) 2015-08-07 2015-11-30 Social interaction for remote communication
US14/953,662 2015-11-30
PCT/US2016/043226 WO2017027184A1 (en) 2015-08-07 2016-07-21 Social interaction for remote communication

Publications (1)

Publication Number Publication Date
CN107850947A true CN107850947A (zh) 2018-03-27

Family

ID=56799526

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680046617.4A Withdrawn CN107850947A (zh) 2015-08-07 2016-07-21 远程通信的社会交互

Country Status (4)

Country Link
US (1) US20170038829A1 (zh)
EP (1) EP3332316A1 (zh)
CN (1) CN107850947A (zh)
WO (1) WO2017027184A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108509043A (zh) * 2018-03-29 2018-09-07 联想(北京)有限公司 一种交互控制方法及系统
CN110851095A (zh) * 2018-08-21 2020-02-28 迪士尼企业公司 虚拟和增强现实中的多屏幕交互
CN115191788A (zh) * 2022-07-14 2022-10-18 慕思健康睡眠股份有限公司 一种基于智能床垫的体感互动方法及相关产品

Families Citing this family (68)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10495726B2 (en) 2014-11-13 2019-12-03 WorldViz, Inc. Methods and systems for an immersive virtual reality system using multiple active markers
US9818228B2 (en) 2015-08-07 2017-11-14 Microsoft Technology Licensing, Llc Mixed reality social interaction
US9922463B2 (en) 2015-08-07 2018-03-20 Microsoft Technology Licensing, Llc Virtually visualizing energy
US9990689B2 (en) 2015-12-16 2018-06-05 WorldViz, Inc. Multi-user virtual reality processing
US10095928B2 (en) 2015-12-22 2018-10-09 WorldViz, Inc. Methods and systems for marker identification
US11778034B2 (en) * 2016-01-15 2023-10-03 Avaya Management L.P. Embedded collaboration with an application executing on a user system
US10242501B1 (en) 2016-05-03 2019-03-26 WorldViz, Inc. Multi-user virtual and augmented reality tracking systems
US20180063205A1 (en) * 2016-08-30 2018-03-01 Augre Mixed Reality Technologies, Llc Mixed reality collaboration
US10593116B2 (en) 2016-10-24 2020-03-17 Snap Inc. Augmented reality object manipulation
US10242503B2 (en) * 2017-01-09 2019-03-26 Snap Inc. Surface aware lens
EP3577632A4 (en) * 2017-03-09 2020-07-22 Samsung Electronics Co., Ltd. SYSTEM AND METHOD FOR IMPROVING THE EXTENDED REALITY EXPERIENCE ON USER DEVICES BASED ON INTERNAL CONTENT
US10403050B1 (en) 2017-04-10 2019-09-03 WorldViz, Inc. Multi-user virtual and augmented reality tracking systems
US10176808B1 (en) 2017-06-20 2019-01-08 Microsoft Technology Licensing, Llc Utilizing spoken cues to influence response rendering for virtual assistants
CN107370831B (zh) * 2017-09-01 2019-10-18 广州励丰文化科技股份有限公司 基于mr头显设备的多用户交互实现方法及系统
US10102659B1 (en) 2017-09-18 2018-10-16 Nicholas T. Hariton Systems and methods for utilizing a device as a marker for augmented reality content
EP4235263A3 (en) 2017-09-29 2023-11-29 Apple Inc. Gaze-based user interactions
US10105601B1 (en) 2017-10-27 2018-10-23 Nicholas T. Hariton Systems and methods for rendering a virtual content object in an augmented reality environment
US10373390B2 (en) * 2017-11-17 2019-08-06 Metatellus Oü Augmented reality based social platform
US10901430B2 (en) 2017-11-30 2021-01-26 International Business Machines Corporation Autonomous robotic avatars
US10937240B2 (en) * 2018-01-04 2021-03-02 Intel Corporation Augmented reality bindings of physical objects and virtual objects
US10761343B2 (en) 2018-02-05 2020-09-01 Disney Enterprises, Inc. Floating image display system
US10636188B2 (en) 2018-02-09 2020-04-28 Nicholas T. Hariton Systems and methods for utilizing a living entity as a marker for augmented reality content
US10657854B2 (en) 2018-02-13 2020-05-19 Disney Enterprises, Inc. Electrical charger for a spinning device
US10198871B1 (en) * 2018-04-27 2019-02-05 Nicholas T. Hariton Systems and methods for generating and facilitating access to a personalized augmented rendering of a user
US11074838B2 (en) 2018-06-07 2021-07-27 Disney Enterprises, Inc. Image generation system including a spinning display
CN112822979A (zh) * 2018-07-23 2021-05-18 Mvi医疗保健公司 用于物理治疗的系统和方法
WO2020037312A1 (en) * 2018-08-17 2020-02-20 Matrix Analytics Corporation System and method for fabricating decorative surfaces
US11030813B2 (en) 2018-08-30 2021-06-08 Snap Inc. Video clip object tracking
JP7148624B2 (ja) * 2018-09-21 2022-10-05 富士フイルム株式会社 画像提案装置、画像提案方法及び画像提案プログラム
US10375009B1 (en) * 2018-10-11 2019-08-06 Richard Fishman Augmented reality based social network with time limited posting
US11048099B2 (en) * 2018-11-20 2021-06-29 Disney Enterprises, Inc. Communication system generating a floating image of a remote venue
US11176737B2 (en) 2018-11-27 2021-11-16 Snap Inc. Textured mesh building
US10764564B2 (en) 2018-12-18 2020-09-01 Disney Enterprises Inc. User tracking stereoscopic image display system
US11501499B2 (en) 2018-12-20 2022-11-15 Snap Inc. Virtual surface modification
US10839607B2 (en) * 2019-01-07 2020-11-17 Disney Enterprises, Inc. Systems and methods to provide views of a virtual space
US10984575B2 (en) 2019-02-06 2021-04-20 Snap Inc. Body pose estimation
US11151381B2 (en) * 2019-03-25 2021-10-19 Verizon Patent And Licensing Inc. Proximity-based content sharing as an augmentation for imagery captured by a camera of a device
US10586396B1 (en) 2019-04-30 2020-03-10 Nicholas T. Hariton Systems, methods, and storage media for conveying virtual content in an augmented reality environment
US11189098B2 (en) * 2019-06-28 2021-11-30 Snap Inc. 3D object camera customization system
CN110413109A (zh) * 2019-06-28 2019-11-05 广东虚拟现实科技有限公司 虚拟内容的生成方法、装置、系统、电子设备及存储介质
US11164489B2 (en) 2019-07-19 2021-11-02 Disney Enterprises, Inc. Rotational blur-free image generation
US11106053B2 (en) 2019-08-05 2021-08-31 Disney Enterprises, Inc. Image generation using a spinning display and blur screen
US10969666B1 (en) 2019-08-21 2021-04-06 Disney Enterprises, Inc. Methods and systems of displaying an image free of motion-blur using spinning projectors
US11232646B2 (en) 2019-09-06 2022-01-25 Snap Inc. Context-based virtual object rendering
US11048108B2 (en) 2019-09-17 2021-06-29 Disney Enterprises, Inc. Multi-perspective display of an image using illumination switching
US11620445B2 (en) * 2019-09-25 2023-04-04 Jpmorgan Chase Bank, N.A. System and method for implementing an automatic data collection and presentation generator module
US11861674B1 (en) 2019-10-18 2024-01-02 Meta Platforms Technologies, Llc Method, one or more computer-readable non-transitory storage media, and a system for generating comprehensive information for products of interest by assistant systems
US11567788B1 (en) 2019-10-18 2023-01-31 Meta Platforms, Inc. Generating proactive reminders for assistant systems
US11157079B2 (en) * 2019-10-31 2021-10-26 Sony Interactive Entertainment Inc. Multi-player calibration of various stand-alone capture systems
US11227442B1 (en) 2019-12-19 2022-01-18 Snap Inc. 3D captions with semantic graphical elements
US11263817B1 (en) 2019-12-19 2022-03-01 Snap Inc. 3D captions with face tracking
US20210354023A1 (en) * 2020-05-13 2021-11-18 Sin Emerging Technologies, Llc Systems and methods for augmented reality-based interactive physical therapy or training
US11360733B2 (en) 2020-09-10 2022-06-14 Snap Inc. Colocated shared augmented reality without shared backend
CN116420130A (zh) 2020-09-25 2023-07-11 苹果公司 用于调节和/或控制与用户界面相关联的沉浸度的方法
US11615592B2 (en) 2020-10-27 2023-03-28 Snap Inc. Side-by-side character animation from realtime 3D body motion capture
US11660022B2 (en) 2020-10-27 2023-05-30 Snap Inc. Adaptive skeletal joint smoothing
CN112492231B (zh) * 2020-11-02 2023-03-21 重庆创通联智物联网有限公司 远程交互方法、装置、电子设备和计算机可读存储介质
US11450051B2 (en) 2020-11-18 2022-09-20 Snap Inc. Personalized avatar real-time motion capture
US11734894B2 (en) 2020-11-18 2023-08-22 Snap Inc. Real-time motion transfer for prosthetic limbs
US11748931B2 (en) 2020-11-18 2023-09-05 Snap Inc. Body animation sharing and remixing
US11995776B2 (en) * 2021-01-19 2024-05-28 Samsung Electronics Co., Ltd. Extended reality interaction in synchronous virtual spaces using heterogeneous devices
US11995230B2 (en) 2021-02-11 2024-05-28 Apple Inc. Methods for presenting and sharing content in an environment
US20220326837A1 (en) * 2021-04-13 2022-10-13 Apple Inc. Methods for providing an immersive experience in an environment
WO2022259253A1 (en) * 2021-06-09 2022-12-15 Alon Melchner System and method for providing interactive multi-user parallel real and virtual 3d environments
US20240096033A1 (en) * 2021-10-11 2024-03-21 Meta Platforms Technologies, Llc Technology for creating, replicating and/or controlling avatars in extended reality
US11880947B2 (en) 2021-12-21 2024-01-23 Snap Inc. Real-time upper-body garment exchange
US20230221566A1 (en) * 2022-01-08 2023-07-13 Sony Interactive Entertainment Inc. Vr headset with integrated thermal/motion sensors
US20240071000A1 (en) * 2022-08-25 2024-02-29 Snap Inc. External computer vision for an eyewear device

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8730156B2 (en) * 2010-03-05 2014-05-20 Sony Computer Entertainment America Llc Maintaining multiple views on a shared stable virtual space
US8904430B2 (en) * 2008-04-24 2014-12-02 Sony Computer Entertainment America, LLC Method and apparatus for real-time viewer interaction with a media presentation
US9898675B2 (en) * 2009-05-01 2018-02-20 Microsoft Technology Licensing, Llc User movement tracking feedback to improve tracking
US8294557B1 (en) * 2009-06-09 2012-10-23 University Of Ottawa Synchronous interpersonal haptic communication system
WO2011106797A1 (en) * 2010-02-28 2011-09-01 Osterhout Group, Inc. Projection triggering through an external marker in an augmented reality eyepiece
US9901828B2 (en) * 2010-03-30 2018-02-27 Sony Interactive Entertainment America Llc Method for an augmented reality character to maintain and exhibit awareness of an observer
US8963956B2 (en) * 2011-08-19 2015-02-24 Microsoft Technology Licensing, Llc Location based skins for mixed reality displays
GB2500416B8 (en) * 2012-03-21 2017-06-14 Sony Computer Entertainment Europe Ltd Apparatus and method of augmented reality interaction
US9183676B2 (en) * 2012-04-27 2015-11-10 Microsoft Technology Licensing, Llc Displaying a collision between real and virtual objects
JP5891125B2 (ja) * 2012-06-29 2016-03-22 株式会社ソニー・コンピュータエンタテインメント 映像処理装置、映像処理方法、および映像処理システム
US20140125698A1 (en) * 2012-11-05 2014-05-08 Stephen Latta Mixed-reality arena
US9588730B2 (en) * 2013-01-11 2017-03-07 Disney Enterprises, Inc. Mobile tele-immersive gameplay
EP2988275A4 (en) * 2013-04-16 2016-11-30 Sony Corp INFORMATION PROCESSING DEVICE AND INFORMATION PROCESSING METHOD, DISPLAY DEVICE AND DISPLAY METHOD AND INFORMATION PROCESSING SYSTEM
US9274340B2 (en) * 2014-02-18 2016-03-01 Merge Labs, Inc. Soft head mounted display goggles for use with mobile computing devices
EP2943860B1 (en) * 2014-03-21 2022-03-02 Samsung Electronics Co., Ltd. Method and apparatus for preventing a collision between subjects
US20150356780A1 (en) * 2014-06-05 2015-12-10 Wipro Limited Method for providing real time guidance to a user and a system thereof
US9746984B2 (en) * 2014-08-19 2017-08-29 Sony Interactive Entertainment Inc. Systems and methods for providing feedback to a user while interacting with content

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108509043A (zh) * 2018-03-29 2018-09-07 联想(北京)有限公司 一种交互控制方法及系统
CN108509043B (zh) * 2018-03-29 2021-01-15 联想(北京)有限公司 一种交互控制方法及系统
CN110851095A (zh) * 2018-08-21 2020-02-28 迪士尼企业公司 虚拟和增强现实中的多屏幕交互
CN110851095B (zh) * 2018-08-21 2023-10-24 迪士尼企业公司 虚拟和增强现实中的多屏幕交互
CN115191788A (zh) * 2022-07-14 2022-10-18 慕思健康睡眠股份有限公司 一种基于智能床垫的体感互动方法及相关产品

Also Published As

Publication number Publication date
WO2017027184A1 (en) 2017-02-16
EP3332316A1 (en) 2018-06-13
US20170038829A1 (en) 2017-02-09

Similar Documents

Publication Publication Date Title
CN107850947A (zh) 远程通信的社会交互
CN107850948A (zh) 混合现实社交
Balakrishnan et al. Interaction of spatial computing in augmented reality
US10482673B2 (en) System and method for role negotiation in multi-reality environments
CA2896240C (en) System and method for role-switching in multi-reality environments
CN108027653A (zh) 虚拟环境中的触觉交互
US10192363B2 (en) Math operations in mixed or virtual reality
Wu et al. Using a fully expressive avatar to collaborate in virtual reality: Evaluation of task performance, presence, and attraction
US20170127023A1 (en) Virtual conference room
Venugopal et al. The realm of metaverse: A survey
CN108983974B (zh) Ar场景处理方法、装置、设备和计算机可读存储介质
US20180003969A1 (en) Master device, slave device, and control method therefor
Putze Methods and tools for using BCI with augmented and virtual reality
Koskela et al. Avatarex: telexistence system based on virtual avatars
Sereno et al. Point specification in collaborative visualization for 3D scalar fields using augmented reality
You et al. Coexistent space: toward seamless integration of real, virtual, and remote worlds for 4d+ interpersonal interaction and collaboration
Roth et al. Avatar Embodiment, Behavior Replication, and Kinematics in Virtual Reality.
CN110741327A (zh) 基于增强现实及数字图像处理的泥胶玩具系统及其方法
Sai et al. Consumer electronics technologies for enabling an immersive metaverse experience
TWI839830B (zh) 混合現實交互方法、裝置、電子設備及介質
WO2023201937A1 (zh) 基于故事场景的人机互动方法、装置、设备及介质
US20230298250A1 (en) Stereoscopic features in virtual reality
JP2016218830A (ja) 触覚提示システム、触覚提示方法、およびプログラム
Doroudian et al. Collaboration in Immersive Environments: Challenges and Solutions
CN117075771A (zh) 基于虚拟现实空间的画面显示方法、装置、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20180327

WW01 Invention patent application withdrawn after publication