CN107850948A - 混合现实社交 - Google Patents

混合现实社交 Download PDF

Info

Publication number
CN107850948A
CN107850948A CN201680046626.3A CN201680046626A CN107850948A CN 107850948 A CN107850948 A CN 107850948A CN 201680046626 A CN201680046626 A CN 201680046626A CN 107850948 A CN107850948 A CN 107850948A
Authority
CN
China
Prior art keywords
user
data
equipment
mixed reality
presented
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201680046626.3A
Other languages
English (en)
Inventor
J·拉尼尔
A·万
J·A·波拉斯卢拉斯奇
W·常
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Technology Licensing LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Technology Licensing LLC filed Critical Microsoft Technology Licensing LLC
Publication of CN107850948A publication Critical patent/CN107850948A/zh
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/003—Details of a display terminal, the details relating to the control arrangement of the display terminal and to the interfaces thereto
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Abstract

描述了混合现实环境中两个或更多个用户之间的社交。技术描述了从传感器接收数据。至少部分地基于接收数据，所述技术描述确定与物理地存在于现实场景中的第一用户相关联的对象与存在于现实场景中的第二用户进行交互。至少部分地基于确定所述对象与所述第二用户交互，使得与所述交互相对应的虚拟内容以及所述第一用户或所述第二用户中的至少一个呈现在对应于与所述第一用户相关联的混合现实设备的用户界面上。用户界面可以呈现第一用户所观看的、利用虚拟内容增强的现实场景的视图。

Description

混合现实社交
背景技术
虚拟现实是一种利用计算设备来生成环境的技术，该环境经由计算设备的显示器来模拟物理现实世界场景或想象世界(例如，虚拟场景)中的物理存在。在虚拟现实环境中，在计算机生成的环境中用户或用户的角色(例如，化身(avatar))的计算机生成的图形表示之间实现社交。混合现实是融合现实和虚拟世界的技术。混合现实是产生混合现实环境的技术，其中物理的现实世界的人物和/或物理的现实世界场景中的对象，与虚拟的计算机生成的人物和/或对象实时共存。例如，混合现实环境可以在物理现实世界场景中利用计算机生成的图形(例如，狗、城堡等)加强物理的现实世界场景和/或物理的现实世界人物。
发明内容
本公开描述了用于使得混合现实环境中的两个或更多个用户能够彼此交互并且用于使得对应于两个或更多个用户的单独用户的虚拟内容增强混合现实环境中的该单独用户的技术。在至少一个示例中，本文描述的技术包括从传感器接收数据。至少部分基于接收数据，本文描述的技术包括确定与物理存在于现实场景中的第一用户相关联的对象与存在于现实场景中的第二用户交互。至少部分地基于确定对象与第二用户交互，本文描述的技术包括使得与交互对应的虚拟内容以及第一用户或第二用户中的至少一个被呈现在对应于与第一用户相关联的混合现实设备的用户界面上。在至少一个示例中，用户界面呈现第一用户所观看的、利用虚拟内容增强的现实场景的视图。
提供本发明内容是为了以简化的形式介绍将在以下具体实施方式中进一步描述的概念的选择。本发明内容不旨在标识所要求保护的本发明的关键或必要特征，也不旨在用于限制所要求保护的本发明的范围。
附图说明
参考附图阐述了具体实施方式，其中附图标记的最左边的数字标识该附图标记首先出现的附图。在相同或不同的附图中使用相同的附图标记表示相似或相同的项目或特征。
图1是示出了用于使混合现实环境中的两个或更多个用户能够彼此交互并且用于使与两个或更多个用户中的单独用户相对应的虚拟内容在混合现实环境中加强该单独用户的示例环境的示意图。
图2是示出了头戴式混合现实显示设备的示例的示意图。
图3是示出了在混合现实环境中交互的两个用户的第三人物视图的示例的示意图。
图4是示出了用户在混合现实环境中与另一用户交互的第一人物视图的示例的示意图。
图5是图示了使得虚拟内容经由混合现实显示设备而在混合现实环境中呈现的示例过程的流程图。
图6是图示了使得虚拟内容经由混合现实显示设备而在混合现实环境中呈现的示例过程的流程图。
具体实施方式
本公开描述了用于使得混合现实环境中的两个或更多个用户能够彼此交互并且用于使得与两个或更多个用户中的单独用户相对应的虚拟内容以在混合现实环境中加强单独用户的技术。本文描述的技术可以增强混合现实环境中的用户之间的混合现实社交。本文描述的技术可以具有各种应用，包括但不限于使会话伙伴能够在混合现实环境中彼此可视化，在相同和/或远程环境中共享关节感官体验，向与用户相关联的身体表示添加、移除、修改标记，查看与混合现实环境中的其他用户相关联的生物信号等。本文描述的技术生成增强的用户界面，由此在用户界面中渲染虚拟内容以覆盖用户的现实世界视图。在混合现实设备的显示器上呈现的增强型用户界面改善了用户之间的混合现实社交和混合现实体验。
为了本讨论的目的，物理的、现实世界的对象(“现实对象”)或物理的、现实世界的人(“现实的人”和/或“现实的人物”)分别描述物理地存在于与混合现实显示相关联的物理的、现实世界的场景(“现实场景”)中的对象或人。基于现实对象的移动模式和/或用户和/或用户设备的移动，现实对象和/或现实的人可以移入和移出视野。虚拟的、计算机生成的内容(“虚拟内容”)可以描述由一个或多个计算设备生成的内容，以补充用户的视野中的现实场景。在至少一个示例中，虚拟内容可以包括一个或多个像素，每个像素具有共同呈现在显示器上以表示在现实场景中并不物理存在的人物、对象等的相应颜色或亮度。也就是说，在至少一个示例中，虚拟内容可以包括代表对象(“虚拟对象”)、人(“虚拟人”和/或“虚拟人物”)、生物统计数据、效果等的二维或三维图形。虚拟内容可以经由本文描述的技术被渲染到混合现实环境中。在附加和/或替代示例中，虚拟内容可以包括计算机生成的内容，诸如声音、视频、全球定位系统(GPS)等。
在至少一个示例中，本文描述的技术包括从传感器接收数据。如下面更详细描述的，数据可以包括跟踪与用户的位置和取向相关联的数据以及与物理地存在至少一个用户的现实场景相关联的数据。至少部分地基于接收该数据，本文描述的技术可以包括确定物理地存在于现实场景中的第一用户和/或与第一用户相关联的对象，引起第一用户和/或对象与存在于现实场景中的第二用户之间的交互。至少部分地基于确定第一用户和/或对象引起与第二用户的交互，本文描述的技术可以包括使得与该交互对应的虚拟内容以及第一用户或第二用户中的至少一个，呈现在对应于与第一用户相关联的混合现实设备的用户界面上。可以基于相应用户(例如，现实场景内的混合现实设备的位置)的观看视角来呈现虚拟内容。
虚拟现实可以完全变换用户的身体出现的方式。相反，混合现实改变了用户身体的视觉外观。如上所述，混合现实体验提供了不同的机会来影响自我认知和用于沟通发生的新方式。本文描述的技术使得用户能够使用混合现实设备在混合现实环境中彼此交互。作为非限制性示例，本文描述的技术可使会话会话伙伴能够在混合现实环境中彼此可视化，在相同和/或远程环境中共享联合感测体验，向与用户相关联的身体表示添加、去除、修改标记，查看混合现实环境中与其他用户相关的生物信号等。
例如，本文描述的技术可以使得会话伙伴(例如，两个或更多个用户)能够彼此可视化。在至少一个示例中，至少部分地基于会话伙伴物理地位于相同的现实场景中，会话伙伴可以在与现实场景相关联的混合现实环境中观看彼此。在替代示例中，远程位置的会话伙伴可以在每个伙伴物理地存在的单独现实场景中查看彼此的虚拟表示(例如，化身)。也就是说，第一用户可以在第一用户物理存在的现实场景中从第三人物视角观看第二用户的虚拟表示(例如，化身)。在一些示例中，会话伙伴可以交换视点。也就是说，第一用户可以访问第二用户的视点，使得第一用户能够从第三人物视角(即，第二用户的视点)看到他们自己的图形表示。在附加的或替代的示例中，会话伙伴可以从作为他们自己的第一人物视角的重叠的第一人物视角来观看彼此。也就是说，第一用户可以观看第二用户的第一人物视角，并且可以从作为第一用户可以看见的重叠的第二用户的视点来观看第一人物视角。
附加地或替代地，本文描述的技术可以使得会话伙伴能够在相同和/或远程环境中共享联合感官体验。在至少一个示例中，物理地存在于相同现实场景中的第一用户和第二用户可以彼此交互并且影响可以经由混合现实设备感知的第一用户和/或第二用户的外观的改变。在替代示例中，物理地不存在于相同实际场景中的第一用户和第二用户可以在混合现实环境中彼此交互。在这样的示例中，可以将流传输数据发送到与第一用户相关联的混合现实设备以使得第二用户经由混合现实设备虚拟地呈现，和/或可以将流传输数据发送到与第二用户相关联的混合现实设备以使得第一用户经由混合现实设备虚拟地呈现。第一用户和第二用户可以经由现实和/或虚拟对象彼此交互，并影响可以经由混合现实设备感知的第一用户或第二用户的外观的改变。在附加的和/或替代的示例中，第一用户可以在物理地存在于远离第二用户远程位置的现实场景中，并且可以与设备和/或虚拟对象交互以经由混合现实设备影响对第二用户的外观的改变。在这样的示例中，第一用户可以在第二用户的混合现实环境中可视地表示，或者第一用户可以不在第二用户的混合现实环境中可视地表示。
作为非限制性示例，如果第一用户引起第一用户与第二用户的手之间的(例如物理地或虚拟地)接触，则第一用户和/或第二用户可以经由混合现实设备看到显示为第二用户手上的颜色改变的该接触。为了讨论的目的，接触可以指代物理接触或虚拟接触，这将如下所述。在一些示例中，颜色改变可以对应于第一用户和/或第二用户发生接触的位置。在附加的或替代的示例中，第一用户可以经由虚拟对象(例如，彩弹枪、球等)引起与第二用户的接触。例如，第一用户可以向第二用户打虚拟彩弹枪并且使虚拟彩弹接触第二用户。或者，第一用户可以向第二用户投掷虚拟球并且使得其与第二用户进行接触。在这样的示例中，如果第一用户引起了与第二用户的接触，则第一用户和/或第二用户可以经由混合现实设备看到接触显示为第二用户上的颜色改变的该接触。作为附加的非限制性示例，第一用户可以通过当第二用户出现在混合现实设备上时向该第二用户应用虚拟贴纸、虚拟纹身、虚拟配件(例如，衣服、王冠、帽子、手提包、喇叭、尾巴等用品)等来与第二用户(例如物理地或虚拟地)交互。在一些示例中，虚拟贴纸、虚拟纹身、虚拟配件等可以在预定时间段内在第一用户与第二用户之间私下共享。
在附加的或替代的示例中，可以在各种健康应用中利用虚拟接触，例如以用于镇定或激发信号、经典镜像疗法的推导(例如，针对具有严重异常性疼痛的患者)等。在另一个健康应用示例中，可以利用虚拟接触，例如通过使治疗师能够纠正患者的运动和/或识别患者应当伸展、按摩、冰敷等的位置，来为远程位置的物理治疗患者的物理治疗处理提供指导。
在一些示例中，如上所述，第一用户和第二用户可以位于不同的现实场景中(即，第一用户和第二用户远离)。可以使虚拟对象经由它们相应的混合现实设备被呈现给第一用户和第二用户两者。虚拟对象可以由两个用户操纵。另外，在一些示例中，虚拟对象可以被同步以触发触觉反馈。例如，作为非限制性示例，当第一用户点击或敲击虚拟对象时，第二用户可以经由混合现实设备和/或与混合现实相关联的外围设备来体验与虚拟对象相关联的触觉感觉。在替代示例中，链接的现实对象可以与第一用户和第二用户两者相关联。在一些示例中，现实对象可以被同步以提供触觉反馈。例如，作为非限制性示例，当第一用户点击或敲击与第一用户相关联的现实对象时，第二用户可以体验与现实对象相关联的触觉感觉。
在附加的或替代的示例中，本文描述的技术可以使会话伙伴能够混合现实环境中查看与其他用户相关联的生物信号。例如，利用生理传感器来确定与第一用户相关联的生理数据，第二用户能够观察与第一用户相关联的生理信息。也就是说，可以使虚拟内容(例如，图形表示等)与第一用户相关联地呈现，使得第二用户可以观察关于第一用户的生理信息。作为非限制性示例，第二用户能够看到第一用户的心率、温度等的图形表示。在至少一个示例中，用户的心率可以由与第一用户相关联的脉动光环图形地表示和/或用户的皮肤温度可以由与第一用户相关联的变色光环图形地表示。
示意性的环境
图1是示出了用于使得混合现实环境中的两个或更多个用户能够彼此交互并且用于使得两个或更多个用户中的单独用户在具有对应于该单独用户的虚拟内容的混合现实环境中呈现的示例环境100的示意图。更具体地，示例环境100可以包括服务提供商102、一个或多个网络104、一个或多个用户106(例如用户106A、用户106B、用户106C)和与该一个或多个用户106相关联的一个或多个设备108(例如设备108A、设备108B、设备108C)。
服务提供商102可以是促进两个或更多个用户106在混合现实环境中交互的任何实体、服务器、平台、控制台、计算机等，以使得两个或更多个用户106中的单独用户(例如，用户106A、用户106B、用户106C)能够在具有对应于该单独用户(例如，用户106A、用户106B、用户106C)的虚拟内容的混合现实环境中呈现。服务提供商102可以在非分布式计算环境中实现，或者可以通过运行设备108或其他在远程位置的设备上的一些模块来在分布式计算环境中实现。如图所示，服务提供商102可以包括一个或多个服务器110，其可以包括一个或多个处理单元(例如，处理器112)和诸如存储器的计算机可读介质114。在各种示例中，服务提供商102可以从传感器接收数据。至少部分地基于接收到数据，服务提供商102可以确定物理存在于现实场景中的第一用户(例如，用户106A)和/或与该第一用户(例如，用户106A)相关联的对象，与存在于现实场景中的第二用户(例如，用户106B)进行交互。第二用户(例如，用户106B)可以物理地或虚拟地存在。另外，至少部分基于确定了第一用户(例如，用户106A)和/或与该第一用户(例如，用户106A)相关联的对象与第二用户(例如，用户106B)进行交互，服务提供商102可以使得与该交互相对应的虚拟内容以及第一用户(例如，用户106A)或第二用户(例如，用户106B)中的至少一个，呈现在与第一用户(例如，用户106A)相关联的第一混合现实设备(例如，用户106A)和/或与第二用户(例如，用户106B)相关联的第二混合现实设备(例如，用户106B)上。
在一些示例中，网络104可以是本领域中已知的任何任何类型的网络，诸如因特网。而且，设备108可以以诸如通过全球或本地有线或无线连接(例如局域网(LAN)、内联网、蓝牙等)的任何任何方式可通信地耦合到网络104。网络104可以促进服务器110和与一个或多个用户106相关联的设备108之间的通信。
示例支持这样的场景，其中可以包括在一个或多个服务器110中的设备可以包括以集群或其他集群配置来操作的一个或多个计算设备，以共享资源、平衡负载、提高性能、提供故障转移支持或冗余、或者用于其他目的。在一个或多个服务器110中包括的设备可以表示但不限于桌面计算机、服务器计算机、web服务器计算机、个人计算机、移动计算机、膝上型计算机、平板计算机、可穿戴计算机、内置计算设备、电信设备、汽车计算机、支持网络的电视机、瘦客户机、终端、游戏控制台、游戏设备、工作站、媒体播放器、数字录像机(DVR)、机顶盒、相机、以及用于在计算设备、电器或任何其他类型的计算设备中包括的集成组件。
可以包括在一个或多个服务器110中的设备可以包括具有一个或多个处理单元(例如，处理器112)的任何类型的计算设备，其诸如经由总线与计算机可读介质114可操作地连接，其在一些情况下可以包括系统总线、数据总线、地址总线、PCI总线、小型PCI总线以及任何类型的本地、外围设备和/或独立总线。在计算机可读介质114上存储的可执行指令可以包括例如输入模块116、交互模块118、呈现模块120、许可模块122和一个或多个应用124以及可由处理器112加载和执行的其他模块、程序或应用。
替代地或附加地，本文描述的功能可以至少部分地由诸如加速器的一个或多个硬件逻辑组件来执行。例如但不限于，可以使用的示意性类型的硬件逻辑组件包括现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、片上系统(SOC)、复杂可编程逻辑器件(CPLD)等。可以包括在一个或多个服务器110中的设备还可以包括耦合到总线的一个或多个输入/输出(I/O)接口以允许该设备与其他设备进行通信，诸如与输入外围设备(例如，键盘、鼠标、笔、游戏控制器、语音输入设备、触摸输入设备、手势输入设备、跟踪设备、映射设备、图像相机、深度传感器、生理传感器等)和/或输出外围设备(例如，显示器、打印机、音频扬声器、触觉输出等)进行通信。所述网络接口可以包括一个或多个网络接口控制器(NIC)或其他类型的收发机设备以通过网络发送和接收通信。为了简单起见，在图示的环境中省略了一些组件。
处理单元(例如，处理器112)可以表示例如CPU型处理单元、GPU型处理单元、HPU型处理单元、现场可编程门阵列(FPGA)、另一类数字信号处理器(DSP)或其他硬件逻辑组件，其在某些情况下可由CPU驱动。例如但不限于，可以使用的示意性类型的硬件逻辑组件包括专用集成电路(ASIC)、专用标准产品(ASSP)、片上系统(SOC)、复杂可编程逻辑器件(CPLD)等。在各种示例中，处理单元(例如，处理器112)可以执行一个或多个模块和/或过程，以使得服务器110执行如上所述并在以下公开中进一步详细解释的各种功能，如上面所阐述并将在下面的公开中更详细解释的。另外，每个处理单元(例如，处理器112)可以拥有其自己的本地存储器，其也可以存储程序模块、程序数据和/或一个或多个操作系统。
在至少一个配置中，服务器110的计算机可读介质114可以包括促进服务提供商102与一个或多个设备108之间的交互的组件。这些组件可以表示在计算设备上执行的代码段。例如，计算机可读介质114可以包括输入模块116、交互模块118、呈现模块120、许可模块122以及一个或多个应用124等。在至少一些示例中，模块可以经由至少一个处理单元(例如，处理器112)被实现为计算机可读指令、各种数据结构等，以使混合现实环境中的两个或更多个用户能够相互交互并使得两个或更多个用户中的单独用户能够在与该单独用户相对应的混合现实环境中被呈现虚拟内容。用来执行这些操作的功能可以被包括在多个设备或单个设备中。
取决于服务器110的确切配置和类型，计算机可读介质114可以包括计算机存储介质和/或通信介质。计算机存储介质可以包括以用于存储诸如计算机可读指令、数据结构、程序模块或其他数据的信息的任何方法或技术实现的易失性存储器、非易失性存储器和/或其它持久和/或辅助计算机存储介质、可移除和不可移除计算机存储介质。计算机存储器是计算机存储介质的一个示例。因此，计算机存储介质包括设备中包括的有形和/或物理形式的介质和/或作为设备的一部分或设备外部的硬件组件，包括但不限于随机存取存储器(RAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、相位改变存储器(PRAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM)、闪存、光盘只读存储器(CD-ROM)、数字多功能盘(DVD)、光卡或其他光存储介质、微型硬盘驱动器、存储卡、盒式磁带、磁带、磁盘存储、磁卡或其他磁存储设备或介质、固态存储器设备、存储阵列、网络附加存储器、存储区域网络、托管计算机存储器或者可用于存储和维护由计算设备访问的信息的任何其他存储器、存储设备和/或存储介质。
相反，通信介质可以在诸如载波的已调制数据信号或其他传输机制中体现计算机可读指令、数据结构、程序模块或其它数据。术语“已调制数据信号”是指使其特征中的一个或多个以对信号中的信息进行编码的方式被设置或改变的信号。这样的信号或载波等可以在诸如有线网络或直接有线连接的有线介质上和/或诸如声学、RF、红外和其它无线介质的无线介质上传播。如本文所定义的计算机存储介质不包括通信介质。也就是说，计算机存储介质本身不包括仅由已调制数据信号、载波或传播信号组成的通信介质。
输入模块116被配置为从一个或多个输入外围设备(例如，键盘、鼠标、笔、游戏控制器、语音输入设备、触摸输入设备、手势输入设备、跟踪设备、映射设备、图像相机、深度传感器、生理传感器等)接收数据。在一些示例中，一个或多个输入外围设备可以被集成到一个或多个服务器110和/或其他机器和/或设备108中。在其他示例中，一个或多个输入外围设备可以可通信地耦合到一个或多个服务器110和/或其他机器和/或设备108。该一个或多个输入外围设备可以与单个设备(例如 Perceptual Computing SDK 2013、LEAP等)或分开的设备相关联。
在至少一个示例中，输入模块116被配置为接收与用户106及其身体在空间中的位置和取向相关联的数据(例如，跟踪数据)。跟踪设备可以包括光学跟踪设备(例如)、磁性跟踪设备、声学跟踪设备、陀螺跟踪设备、机械跟踪系统、深度相机(例如RealSense等)、惯性传感器(例如，XSENS等)、前述的组合等。跟踪设备可基本上实时地输出体积数据、骨骼数据、视角数据等的流。体积数据、骨骼数据、视角数据等的流可以由输入模块116基本上实时地接收。体积数据可以对应于用户(例如，用户106A、用户106B或用户106C)的身体所占据的空间的体积。骨骼数据可以对应于用于近似骨骼并随着时间的推移跟踪骨骼的移动的数据，在一些示例中，该骨骼对应于用户(例如，用户106A、用户106B或用户106C)的身体。对应于用户(例如，用户106A、用户106B或用户106C)的身体的骨骼可以包括对应于多个人体关节(例如肘、膝、髋等)的节点的阵列，该多个人体关节连接起来表示人体。视角数据可以对应于从两个或更多个视角收集的数据，这些数据可以用于从特定视角确定用户(例如，用户106A、用户106B或用户106C)的身体的轮廓。体积数据、骨骼数据和视角数据的组合可以用于确定对应于用户106的身体表示。身体表示可以近似用户(例如，用户106A、用户106B或用户106C)的身体形状。也就是说，可以使用与特定用户(例如，用户106A)相关联的体积数据、与特定用户(例如，用户106A)相关联的骨骼数据以及与特定用户(例如，用户106A)相关联的视角数据来确定表示特定用户(例如，用户106A)的身体表示。交互模块118可以使用该身体表示来确定用户106之间的交互和/或作为用于向用户106添加加强(即，虚拟内容)的基础。
在至少一些示例中，输入模块116可以接收与现实对象相关联的跟踪数据。输入模块116可以利用跟踪数据来确定对应于对象的对象表示。也就是说，可以使用与对象相关联的体积数据、与对象相关联的骨骼数据以及与对象相关联的视角数据来确定表示对象的对象表示。对象表示可以表示对象在空间中的位置和/或取向。
另外，输入模块116被配置为接收与至少一个用户(例如，用户106A、用户106B和/或用户106C)被物理地定位的现实场景相关联的数据。如上所述，输入模块116可以被配置为从与一个或多个服务器和/或其他机器110和/或用户设备108相关联的映射设备接收数据。如上所述，映射设备可以包括相机和/或传感器。相机可以包括图像相机、立体相机、trulight相机等。传感器可以包括深度传感器、颜色传感器、声学传感器、图案传感器、重力传感器等。相机和/或传感器可以基本上实时地输出数据流。数据流可以基本实时地由输入模块116接收。数据可以包括表示相机和/或传感器可观察到的现实场景的运动图像数据和/或静止图像数据。另外，数据可以包括深度数据。
深度数据可以表示在现实场景中由传感器和/或相机可观察到的现实对象与该传感器和/或相机之间的距离。深度数据可以至少部分地基于红外(IR)数据、trulight数据、立体数据、光和/或图案投影数据、重力数据、声学数据等。在至少一个示例中，深度数据流可以从IR传感器(例如，飞行时间等)导出，并且可以被表示为反映现实场景的点云。点云可以表示与三维坐标系中配置的现实对象的表面和/或现实场景相关联的数据点或深度像素集合。深度像素可以被映射到网格中。深度像素的网格可以指示现实场景中的现实对象离相机和/或传感器有多远。与从相机和/或传感器可观察到的空间体积相对应的深度像素的网格可以被称为深度空间。渲染模块130(在设备108中)可利用该深度空间来确定如何渲染混合现实显示中的虚拟内容。
另外，在一些示例中，输入模块116可以从一个或多个生理传感器接收生理数据。一个或多个生理传感器可以包括可穿戴设备或可用于测量与用户106相关联的生理数据的其他设备。生理数据可以包括血压、体温、皮肤温度、血氧饱和度、心率、呼吸、空气流量、肺容积、皮肤电流反应等。附加地或替代地，生理数据可以包括在跳跃或步进时产生的力的量度、握力等。
交互模块118被配置为确定第一用户(例如，用户106A)和/或与第一用户(例如，用户106A)相关联的对象是否与第二用户(例如，用户106B)交互和/或是否引起与第二用户(例如，用户106B)交互。至少部分地基于对应于用户106的身体表示，交互模块118可以确定第一用户(例如，用户106A)和/或与第一用户(例如，用户106A)相关联的对象与第二用户(例如，用户106B)交互和/或引起与第二用户(例如，用户106B)交互。在至少一个示例中，第一用户(例如，用户106A)可以经由身体部分(例如，手指、手、腿等)与第二用户(例如，用户106B)交互。交互模块118可以至少部分地基于确定与第一用户(例如，用户106A)相对应的身体表示在与第二用户(例如，用户106A)相对应的身体表示的阈值距离内，来确定第一用户(例如，用户106A)与第二用户(例如，用户106B)交互。
在其他示例中，交互模块118可以经由第一用户(例如，用户106A)或第二用户(例如，用户106B)中的至少一个的延伸来确定第一用户(例如，用户106A)与第二用户(例如，用户106B)交互。该延伸可以包括与第一用户(例如用户106A)或第二用户(例如，用户106B)中的至少一个相关联的现实对象或虚拟对象。在第一用户(例如，用户106A)经由现实对象与第二用户(例如，用户106B)交互的示例中，交互模块118可以利用跟踪数据(例如，对象表示)和/或与现实对象关联的映射数据来确定现实对象(即，与现实对象相对应的对象表示)在与第二用户(例如，用户106B)相对应的身体表示的阈值距离内。在第一用户(例如，用户106A)经由虚拟对象与第二用户(例如，用户106B)交互的示例中，交互模块118可以利用数据(例如体积数据、骨骼数据、视角数据等)以确定与虚拟对象相对应的对象表示在与第二用户(例如，用户106B)相对应的身体表示的阈值距离内。
呈现模块120被配置为向设备108发送渲染数据以用于经由设备108呈现虚拟内容。至少部分地基于确定第一用户(例如，用户106A)与第二用户(例如，用户106B)交互，呈现模块120可以访问与用于渲染与第一用户(例如，用户106A)或第二用户(例如，用户106B)中的至少一个相关联的虚拟内容的指令相关联的数据。这些指令可以由一个或多个应用126和/或132来确定。
许可模块122被配置为确定是否允许第一用户(例如，用户106A)与第二用户(例如，用户106B)之间的交互。在至少一个示例中，许可模块122可以存储与单独用户106相关联的指令。指令可以指示特定用户(例如，用户106A、用户106B或用户106C)允许另一个用户(例如，用户106A、用户106B或用户106C)与该特定用户(例如，用户106A、用户106B或用户106C)有什么样的交互和/或特定用户(例如，用户106A、用户106B或用户106C)的视图。例如，在非限制性示例中，用户(例如，用户106A、用户106B或用户106C)可能被特定的标志、颜色等所冒犯。因此，用户(例如，用户106A、用户106B、或用户106C)可以指示其他用户106不能用该特定标志、颜色等加强用户(例如，用户106A、用户106B或用户106C)。替代地或附加地，用户(例如，用户106A、用户106B或用户106C)可能被特定应用或虚拟内容项目所困窘。因此，用户(例如，用户106A、用户106B或用户106C)可以指示其他用户106不能使用特定应用和/或用特定片段的虚拟内容来加强用户(例如，用户106A、用户106B或用户106C)。
应用(例如应用124)由程序员创建以满足特定的任务。例如，应用(例如，应用124)可以向设备108的用户106提供实用性、娱乐性和/或生产力功能性。应用(例如应用124)可以被内置到设备(例如，电信、短信、时钟、相机等)或可以被定制(例如游戏、新闻、交通时刻表、网上购物等)。应用124可以向会话伙伴(例如，两个或更多个用户106)提供各种功能，包括但不限于如上所述的，在混合现实环境中彼此可视化，在相同和/或远程环境中共享感官体验，向与用户106相关联的身体表示添加、移除、修改标记，观看与混合现实环境中的其他用户106相关联的生物信号等。
在一些示例中，一个或多个用户106可以操作对应的设备108(例如，用户设备108)以执行与设备108相关联的各种功能。设备108可以表示多种多样的设备类型并且不限于任何特定类型的设备。设备108的示例可以包括但不限于固定计算机、移动计算机、嵌入式计算机或它们的组合。示例固定计算机可以包括台式计算机、工作站、个人计算机、瘦客户端、终端、游戏控制台、个人录像机(PVR)、机顶盒等。示例移动计算机可以包括膝上型计算机、平板计算机、可穿戴计算机、植入式计算设备、电信设备、汽车计算机、便携式游戏设备、媒体播放器、相机等。示例嵌入式计算机可以包括具有网络功能的电视机、用于包括在计算设备中的集成组件、电器、微控制器、数字信号处理器或任何其他种类的处理设备等。在至少一个示例中，设备108可以包括混合现实设备(例如，系统、等)。混合现实设备可以包括一个或多个传感器和混合现实显示器，如下面在图2的上下文中所描述的。在图1中，设备108A和设备108B是可穿戴计算机(例如，头戴式设备)。然而，设备108A和/或设备108B可以是如上所述的任何其他设备。类似地，在图1中，设备108C是移动计算机(例如平板计算机)；然而，设备108C可以是如上所述的任何其他设备。
设备108可以包括耦合到总线的一个或多个输入/输出(I/O)接口，以允许该设备与其他设备通信，诸如与输入外围设备(例如，键盘、鼠标、笔、游戏控制器、语音输入设备、触摸输入设备、手势输入设备、跟踪设备、映射设备、图像相机、深度传感器、生理传感器等)和/或输出外围设备(例如，显示器、打印机、音频扬声器、触觉输出等)通信。如上所述，在一些示例中，I/O设备可以被集成到一个或多个服务器110和/或其他机器和/或设备108中。在其他示例中，一个或多个输入外围设备可以被可通信地耦合到一个或多个服务器110和/或其它机器和/或设备108。该一个或多个输入外围设备可以与单个设备(例如， Perceptual Computing SDK 2013、LEAP等)或分开的设备相关联。
图2是示出了头戴式混合现实显示设备200的示例的示意图。如图2所示，头戴式混合现实显示设备200可以包括一个或多个传感器202和显示器204。该一个或多个传感器202可以包括跟踪技术，该跟踪技术如上所述，包括但不限于深度相机和/或传感器、惯性传感器、光学传感器等。附加地或替代地，一个或多个传感器202可以包括用于测量用户的心率、呼吸、皮肤电导、温度等的一个或多个生理传感器。在一些示例中，如图2所示，一个或多个传感器202可以被安装在头戴式混合现实显示设备200上。一个或多个传感器202对应于由内向外的感测传感器；也就是说，从第一人物视角捕捉信息的传感器。在附加的或替代的示例中，一个或多个传感器可以在头戴式混合现实显示设备200和/或设备108的外部。在这样的示例中，一个或多个传感器可以被布置在房间中(例如，被放置在整个房间中的各个位置)并与设备相关联等。这样的传感器可以对应于由外向内的感测传感器；也就是说，从第三人物视角捕捉信息的传感器。在又一示例中，传感器可以在头戴式混合现实显示设备200的外部，但是可以与被配置为收集与用户(例如，用户106A、用户106B或用户106C)相关联的数据的一个或多个可穿戴设备相关联。
显示器204可以在混合现实环境中将可视内容呈现给一个或多个用户106。在一些示例中，显示器204可以在空间区域中向用户(例如，用户106A、用户106B或用户106C)呈现混合现实环境，所述空间区域占据与用户(例如，用户106A、用户106B或用户106C)的实际视场基本上共同延伸的区域。在其他示例中，显示器204可以在空间区域中向用户(例如，用户106A、用户106B或用户106C)呈现混合现实环境，所述空间区域占据用户(例如，用户106A、用户106B，或用户106C)的实际视场的较小部分。显示器204可以包括使得用户(例如，用户106A、用户106B或用户106C)能够观看其物理地位于的现实场景的透明显示器。透明显示器可以包括用户(例如，用户106A、用户106B或用户106C)直接看到其物理地存在的现实场景的光学透视显示器、用户(例如，用户106A、用户106B或用户106C)在从安装的相机获取的视频图像中观察现实场景的视频透视显示器等。显示器204可以向用户(例如，用户106A、用户106B或用户106C)呈现虚拟内容，以使得该虚拟内容加强用户(例如，用户106A、用户106B或用户106C)在物理地位于空间区域内的现实场景。
基于用户的视角和/或设备(例如，设备108A、设备108B和/或用户108C)的位置，虚拟内容可以向不同的用户(例如，用户106A、用户106B和/或用户106C)不同地出现。例如，基于用户(例如，用户106A、用户106B和/或用户106C)和/或设备(例如设备108A、设备108B和/或设备108C)与虚拟内容项目的接近度，虚拟内容项目的大小可以是不同的。附加地或替代地，基于用户(例如，用户106A、用户106B和/或用户106C)和/或设备(例如，设备108A、设备108B和/或设备108C)的有利位置，虚拟内容项目的形状可以是不同的。例如，当用户(例如，用户106A、用户106B和/或用户106C)和/或设备(例如设备108A、设备108B和/或设备108C)正在直视虚拟内容项目时，该虚拟内容项目可以具有第一形状，当用户(例如，用户106A、用户106B和/或用户106C)和/或设备(例如，设备108A、设备108B和/或设备108C)正在侧视虚拟内容项目时，该虚拟内容项目可以具有第二形状。
设备108可以包括一个或多个处理单元(例如，处理器126)、计算机可读介质128(至少包括渲染模块130)以及一个或多个应用132。一个或多个处理单元(例如，处理器126)可以表示与如上所述的处理器112相同的单元和/或执行与如上所述的处理器112相同的功能。计算机可读介质128可以表示如上所述的计算机可读介质114。计算机可读介质128可以包括促进服务提供商102与一个或多个设备108之间的交互的组件。如上所述，这些组件可以表示在计算设备上执行的代码段。计算机可读介质128可以至少包括渲染模块130。渲染模块130可以从服务提供商102接收渲染数据。在一些示例中，渲染模块130可以利用该渲染数据以经由设备(例如，设备108A、设备108B或设备108C)上的处理器126(例如GPU)来渲染虚拟内容。在其他示例中，服务提供商102可以渲染虚拟内容，并且可以向设备(例如设备108A、设备108B或设备108C)发送渲染结果作为渲染数据。设备(例如设备108A、设备108B或设备108C)可以在显示器204上呈现所渲染的虚拟内容。应用132可以对应于与应用128相同的应用或不同的应用。
示例混合现实用户界面
图3是示出了在混合现实环境中进行交互的两个用户(例如，用户106A和用户106B)的第三人物视图的示例的示意图300。虚线所描绘的区域对应于现实场景302，其中第一用户(例如，用户106A)或第二用户(例如，用户106B)中的至少一个物理地存在。在一些示例中，第一用户(例如，用户106A)和第二用户(例如，用户106B)两者均物理地存在于现实场景302中。在其他示例中，用户之一(例如，用户106A或用户106B)可以物理地存在于另一个现实场景中并且可以虚拟地存在于现实场景302中。在这样的示例中，与物理地存在的用户(例如，用户106A)相关联的设备(例如，设备108A)可以接收流数据，以用于在混合现实环境中用户(例如，用户106A)物理地存在的现实场景中来渲染另一个用户(例如，用户106B)的虚拟表示。在其他示例中，用户之一(例如用户106A或用户106B)可以物理地存在于另一个现实场景中并且可以不存在于现实场景302中。例如，在这样的示例中，第一用户(例如，用户106A)和/或与第一用户(例如，用户106A)相关联的对象可以经由设备(例如，设备108A)与位于远程的第二用户(例如，用户106B)交互。
图3呈现不涉及交互的用户(例如，用户106C)的第三人物视点。黑色实线所描绘的区域对应于混合现实环境经由对应设备(例如设备108C)的显示器204对用户(例如，用户106C)可见的空间区域304。如上所述，在一些示例中，空间区域可以占据与用户(例如，用户106C)的实际视场基本上共同延伸的区域，并且在其他示例中，空间区域可以占据用户(例如，用户106C)的实际视场的较小部分。
在图3中，第一用户(例如，用户106A)接触第二用户(例如，用户106B)。如上所述，交互模块118可以利用与第一用户(例如，用户106A)和第二用户(例如，用户106B)相关联的身体表示来确定第一用户(例如，用户106A)与第二用户(例如，用户106B)交互。至少部分地基于确定第一用户(例如，用户106A)与第二用户(例如，用户106B)交互，呈现模块120可以向设备(例如设备108A、设备108B和设备108C)发送渲染数据，以在混合现实环境中呈现虚拟内容。虚拟内容可以与一个或多个应用124和/或132相关联。
在图3的示例中，应用可以被关联，使得火焰306的虚拟表示出现在符合第一用户(例如，用户106A)与第二用户(例如用户106B)接触的位置。在附加的或替代的示例中，应用124和/或132可以被关联，使得与贴纸、纹身、配件等相对应的虚拟表示被呈现。与贴纸、纹身、配件等相对应的虚拟表示，可以在与第一用户(例如，用户106A)接触第二用户(例如用户106B)相对应的第一身体表示和/或第二身体表示上的位置处符合该第一身体表示和/或该第二身体表示。为了该讨论的目的，通过被渲染以使得依照包括身体表示的体积数据、骨骼数据和/或视角数据来加强对应的用户(例如，第一用户(例如，用户106A)或第二用户(例如，用户106B))，虚拟内容符合身体表示。
在一些示例中，应用可以被关联，使得与颜色改变相对应的虚拟表示被呈现。在其他示例中，应用可以被关联，使得通过加强第一用户(用户106A)和/或第二用户(例如，用户106B)而在混合现实环境中呈现与第一用户(例如，用户106A)和/或第二用户(例如，用户106B)相关联的生理数据的图形表示。
图4是示出了在混合现实环境中用户(例如，用户106A)与另一用户(例如，用户106B)交互的第一人物视图的示例的示意图400。虚线所描绘的区域对应于现实场景402，其中第一用户(例如，用户106A)或第二用户(例如，用户106B)中的至少一个物理地存在。在一些示例中，第一用户(例如用户106A)和第二用户(例如，用户106B)两者物理地存在于现实场景402中。在其他示例中，用户之一(例如，用户106A或用户106B)可以如上所述地物理地存在于另一个现实场景中并且可以虚拟地存在于现实场景402中。图4呈现了涉及交互的用户(例如，用户106B)的第一人物视点。黑色实线中描绘的区域对应于混合现实环境经由对应设备(例如，设备108C)的显示器204对用户(例如，用户106C)可见的空间区域404。如上所述，在一些示例中，空间区域可以占据与用户(例如，用户106A、用户106B或用户106C)的实际视场基本上共同延伸的区域，并且在其他示例中，空间区域可以占据用户(例如，用户106A、用户106B或用户106C)的实际视场的较小部分。
在图4中，第一用户(例如，用户106A)接触第二用户(例如，用户106B)。如上所述，交互模块118可以利用与第一用户(例如，用户106A)和第二用户(例如，用户106B)相关联的身体表示来确定第一用户(例如，用户106A)与第二用户(例如，用户106B)接触。至少部分基于确定第一用户(例如，用户106A)与第二用户(例如，用户106B)交互，呈现模块120可以向设备(例如，设备108A和设备108B)发送渲染数据，以在混合现实环境中呈现虚拟内容。虚拟内容可以与一个或多个应用124和/或132相关联。在图4的示例中，应用124和/或132可以被关联，使得火焰306的虚拟表示出现在符合第一用户(例如，用户106A)接触第二用户(例如，用户106B)的位置中。附加的和/或替代的应用可以使得附加的和/或替代的虚拟内容经由对应的设备108被呈现给第一用户(例如，用户106A)和/或第二用户(例如，用户106B)。
示例过程
以下图5和图6中描述的过程被图示为逻辑流程图中的框的集合，其表示可以用硬件、软件或其组合来实现的操作序列。在软件的上下文中，框表示存储在一个或多个计算机可读存储介质上的计算机可执行指令，所述计算机可执行指令在由一个或多个处理器执行时进行所记载的操作。通常，计算机可执行指令包括执行特定功能或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等。描述操作的顺序并不旨在被解释为限制，并且可以以任何顺序和/或并行地组合任何数目的所描述的框来实现这些过程。
图5是图示使得虚拟内容经由混合现实显示设备(例如设备108A、设备108B和/或设备108C)在混合现实环境中呈现的示例过程500的流程图。
框502示出了从传感器(例如，传感器202)接收数据。如上所述，在至少一个示例中，输入模块116被配置为接收与用户106及其身体在空间中的位置和取向相关联的数据(例如，跟踪数据)。跟踪设备可以基本上实时地输出体积数据、骨骼数据、视角数据等的流。体积数据、骨骼数据和视角数据的组合可用于确定对应于用户106的身体表示(例如，经由算法和/或模型的使用来计算表示)。也就是说，可以使用与特定用户(例如，用户106A)相关联的体积数据、与特定用户(例如，用户106A)相关联的骨骼数据、以及与特定用户(例如，用户106A)相关联的视角数据来确定表示特定用户(例如，用户106A)的身体表示。在至少一个示例中，可以基于输入模块116根据体积数据、骨骼数据和/或视角数据对位置进行平均的简单平均算法，使用体积数据、骨骼数据和视角数据来确定与每个用户(例如，用户106A、用户106B、用户106C等)相关联的身体部分的地点。输入模块116可以利用身体部分的各种地点来确定身体表示。在其他示例中，输入模块116可以利用诸如卡尔曼滤波器的机制，其中输入模块116利用过去的数据来帮助预测身体部分和/或身体表示的位置。在附加的或替代的示例中，输入模块116可以利用对体积数据、骨骼数据和/或视角数据的机器学习(例如监督学习、无监督学习、神经网络等)来预测身体部分的位置和/或身体表示。交互模块118可以使用身体表示来确定用户106之间的交互和/或作为用于在混合现实环境中向用户106添加加强的基础。
框504图示了确定与第一用户(例如，用户106A)相关联的对象与第二用户(例如，用户106B)交互。交互模块118被配置为确定与第一用户(例如，用户106A)相关联的对象与第二用户(例如，用户106B)交互。交互模块118可以至少部分地基于对应于用户106的身体表示来确定与第一用户(例如，用户106A)相关联的对象与第二用户(例如，用户106B)交互。在至少一些示例中，对象可以对应于第一用户(例如，用户106A)的身体部分。在这样的示例中，交互模块118可以至少部分地基于确定与第一用户(例如，用户106A)相对应的第一身体表示在与第二用户(例如，用户106B)相对应的第二身体表示的阈值距离内，确定第一用户(106A)与第二用户(例如，用户106B)交互。在其他示例中，如上所述，交互模块118可以经由第一用户(例如，用户106A)或第二用户(例如，用户106B)中的至少一个的延伸来确定第一用户(例如，用户106A)与第二用户(例如，用户106B)交互。该延伸可以包括与第一用户(例如，用户106A)或第二用户(例如，用户106B)中的至少一个相关联的现实对象或虚拟对象。
在一些示例中，第一用户(例如，用户106A)可以引起第一用户(例如，用户106A)和/或与第一用户(例如，用户106A)相关联的对象与第二用户(例如，用户106B)之间的交互。在这样的示例中，第一用户(例如，用户106A)可以与现实对象或虚拟对象交互，以使得现实对象或虚拟对象和/或与现实对象或虚拟对象相关联的对象接触第二用户(例如，用户106B)。作为非限制性示例，第一用户(例如用户106A)可以向第二用户(例如，用户106B)射击带有虚拟彩弹的虚拟彩弹枪。如果第一用户(例如，用户106A)用虚拟彩弹接触第二用户(例如，106B)的身体表示，则交互模块118可以确定第一用户(例如，用户106A)引起第一用户(例如，用户106A)与第二用户(例如，用户106B)之间的交互，并且可以在混合现实环境中第二用户(例如，用户106B)的身体表示上渲染虚拟内容，如下所述。
框506图示了使得虚拟内容在混合现实环境中呈现。呈现模块120被配置为向设备108发送渲染数据以用于经由设备108呈现虚拟内容。至少部分地基于确定第一用户(例如，用户106A)与第二用户(例如，用户106B)交互，呈现模块120可以访问与指令相关联的数据，以用于在混合现实环境中渲染与第一用户(例如，用户106A)或第二用户(例如，用户106B)中的至少一个相关联的虚拟内容。指令可以由一个或多个应用124和/或132来确定。在至少一个示例中，呈现模块120可以访问在许可模块122中存储的数据以确定是否允许交互。与第一设备(例如，设备108A)和/或第二设备(例如，设备108B)相关联的渲染模块130可以从服务提供商102接收渲染数据，并且可以利用一个或多个渲染算法在第一设备(例如，设备108A)和/或第二设备(例如，设备108B)的显示器204上渲染虚拟内容。虚拟内容可以符合与第一用户(例如，用户106A)和/或第二用户(例如，用户106B)相关联的身体表示，以便加强第一用户(例如，用户106A)和/或第二用户(例如，用户106B)。另外，虚拟内容可以跟踪第一用户(例如，用户106A)和第二用户(例如，用户106B)的移动。
上面的图3和图4图示了可以在混合现实设备(例如，设备108A、设备108B和/或设备108C)的显示器(例如显示器204)上呈现的用户界面的非限制性示例，其中应用可以被关联，使得火焰的虚拟表示出现在符合第一用户(例如，用户106A)接触第二用户(例如，用户106B)的位置。
如上所述，在附加的或替代的示例中，应用可以被关联，使得与贴纸、纹身、配件等相对应的图形表示呈现在显示器204上。该贴纸、纹身、配件等可以符合(例如，从第一用户106A)接收对应于该贴纸、纹身、配件等的图形表示的第二用户(例如，用户106B)的身体表示。因此，图形表示可以加强混合现实环境中的第二用户(例如，用户106B)。对应于贴纸、纹身、配件等的图形表示可以看起来被定位在对应于第一用户(例如，用户106A)接触第二用户(例如，用户106B)的位置中的第二用户(例如，用户106B)上。
在一些示例中，与贴纸、纹身、配件等相对应的图形表示可以在预定时间段内在第一用户(例如，用户106A)与第二用户(例如，用户106B)之间私下共享。也就是说，每当第一用户(例如，用户106A)和第二用户(例如用户106A)同时存在于混合现实环境中时，可以向第一用户(例如用户106A)和第二用户(例如，用户106B)呈现与贴纸、纹身或配件相对应的图形表示。第一用户(例如，用户106A)和/或第二用户(例如，用户106B)可以指示呈现该图形表示的预定时间段，在此之后，第一用户(例如，用户106A)和/或第二用户(例如，用户106B)均不能看到图形表示。
在一些示例中，应用可以被关联，使得与颜色改变相对应的虚拟表示被呈现以指示第一用户(例如，用户106A)与第二用户(例如，用户106B)交互的位置。在其他示例中，应用可以被关联，使得与第一用户(例如，用户106A)和/或第二用户(例如，用户106B)相关联的生理数据的图形表示被呈现。作为非限制性示例，第二用户(例如，用户106B)可以能够看到第一用户(例如，用户106A)的心率、温度等的图形表示。在至少一个示例中，用户的心率可以由与第一用户(例如，用户106A)相关联的脉动光环而被图形地表示，和/或用户的皮肤温度可以由与第一用户(例如，用户106A)相关联的颜色改变光环而被图形地表示。在一些示例中，脉冲光环和/或变色光环可以对应于与第一用户(例如，106A)与第二用户(例如，用户106B)之间的交互相关联的位置。
在至少一个示例中，用户(例如，用户106A、用户106B和/或用户106C)可以利用应用来定义对交互的响应和/或可以基于交互来呈现的虚拟内容。在非限制性示例中，第一用户(例如，用户106A)可以指示其期望与第二用户(例如，用户106B)交互，以使得第一用户(例如，用户106A)可以使用虚拟画笔以使得对应于绘画的虚拟内容出现在混合现实环境中的第二用户(例如，用户106B)上。
在附加的和/或替代的示例中，第一用户(例如，106A)与第二用户(例如，用户106B)之间的交互可以与触觉反馈同步。例如，作为非限制性示例，当第一用户(例如，106A)敲击第二用户(例如，用户106B)的虚拟表示时，第二用户(例如，用户106B)可以体验与经由混合现实设备和/或与混合现实设备相关联的外围设备的交互(即，敲击)相关联的触觉感应。
图6是图示使得虚拟内容经由混合现实显示设备在混合现实环境中呈现的示例过程600的流程图。
框602图示了接收与第一用户(例如，用户106A)相关联的第一数据。第一用户(例如，用户106A)可以物理地存在于混合现实环境的现实场景中。如上所述，在至少一个示例中，输入模块116被配置为基本上实时地接收与第一用户(例如，用户106A)相关联的体积数据流、与第一用户(例如，用户106A)相关联的骨骼数据流、与第一用户(例如，用户106A)相关联的视角数据流等。
框604图示了确定第一身体表示。与第一用户(例如，用户106A)相关联的体积数据、与第一用户(例如，用户106A)相关联的骨骼数据、和/或与第一用户(例如，用户106A)相关联的视角数据的组合可以被用于确定对应于第一用户(例如，用户106A)的第一身体表示。在至少一个示例中，输入模块116可以将第一身体表示分段以生成分段的第一身体表示。这些分段可以对应于用户(例如，用户106A)身体(例如，手、臂、脚、腿、头等)的各个部分。不同的虚拟内容片段可以对应于分段的第一身体表示的特定分段。
框606图示了接收与第二用户(例如，用户106B)相关联的第二数据。第二用户(例如，用户106B)可以物理地或虚拟地存在于与混合现实环境相关联的现实场景中。如果第二用户(例如，用户106B)不与第一用户(例如，用户106A)处于相同的现实场景中，则对应于第一用户(例如，用户106A)的设备(例如，设备108A)可以接收流数据以在混合现实环境中渲染第二用户(例如，用户106B)。如上所述，在至少一个示例中，输入模块116被配置为基本上实时地接收与第二用户(例如，用户106B)相关联的体积数据流、与第二用户(例如，用户106B)相关联的骨骼数据流、与第二用户(例如，用户106B)相关联的视角数据流等。
框608图示了确定第二身体表示。可以使用与第二用户(例如，用户106B)相关联的体积数据、与第二用户(例如，用户106B)相关联的骨骼数据、和/或与第二用户(例如，用户106B)相关联的视角数据的组合来确定表示第二用户(例如，用户106A)的身体表示。在至少一个示例中，输入模块116可以将第二身体表示分段以生成分段的第二身体表示。不同的虚拟内容可以对应于分段的第二主体表示的特定分段。
框610图示了确定与第一用户(例如，用户106A)相关联的对象与第二用户(例如，用户106B)之间的交互。交互模块118被配置为确定第一用户(例如，用户106A)和/或与第一用户(例如，用户106A)相关联的对象是否与第二用户(例如，用户106B)交互。在一些示例中，对象可以是与第一用户(例如，用户106A)相关联的身体部分。在这样的示例中，交互模块118可以至少部分地基于确定对应于第一用户(例如，用户106A)的身体表示在对应于第二用户(例如，用户106B)的身体表示的阈值距离内，确定第一用户(例如，用户106A)与第二用户(例如，用户106B)交互。在其他示例中，对象可以如上所述是第一用户(例如，用户106A)的延伸。该延伸可以包括与第一用户(例如用户106A)或第二用户(例如，用户106B)中的至少一个相关联的现实对象或虚拟对象。在其他示例中，第一用户(例如，用户106A)可以如上所述引起与第二用户(例如，用户106B)的交互。
框612图示了使得虚拟内容在混合现实环境中被呈现。呈现模块120被配置为向设备108发送渲染数据以用于经由设备呈现虚拟内容。至少部分地基于确定第一用户(例如，用户106A)与第二用户(例如，用户106B)交互，呈现模块120可以访问与用于在混合现实环境中渲染虚拟内容的指令相关联的数据，该虚拟内容与第一用户(例如，用户106A)或第二用户(例如，用户106B)中的至少一个相关联。如上所述，指令可以由一个或多个应用128和/或132来确定。在至少一个示例中，呈现模块120可以访问存储在许可模块122中的数据以确定是否允许交互。与第一设备(例如，设备108A)和/或第二设备(例如，设备108B)相关联的渲染模块130可以从服务提供商102接收渲染数据，并且可以利用一个或多个渲染算法来在第一设备(例如，设备108A)和/或第二设备(例如，设备108B)的显示器204上渲染虚拟内容。虚拟内容可以符合与第一用户(例如，用户106A)和/或第二用户(例如，用户106B)相关联的身体表示，以便加强第一用户(例如，用户106A)和/或第二用户(例如，用户106B)。另外，虚拟内容可以跟踪第一用户(例如用户106A)和第二用户(例如用户106B)的移动。
示例项
A.一种系统，包括：传感器；一个或多个处理器；存储器；以及存储在所述存储器中并且可由所述一个或多个处理器执行以进行包括以下操作的一个或多个模块：从所述传感器接收数据；至少部分地基于接收所述数据来确定与物理存在于现实场景中的第一用户相关联的对象经由交互作用与存在于所述现实场景中的第二用户交互；并且至少部分地基于确定所述对象与所述第二用户交互，使得对应于所述交互作用的虚拟内容以及所述第一用户或所述第二用户中的至少一个被呈现在与所述第一用户相关联的混合现实设备相对应的用户界面上，其中所述用户界面呈现由所述第一用户看到的用所述虚拟内容增强的所述现实场景的视图。
B.根据段落A所述的系统，其中所述第二用户物理地存在于所述现实场景中。
C.根据段落A所述的系统，其中所述第二用户物理地存在于与所述现实场景不同的现实场景中；并且所述操作还包括通过使所述第二用户的图形表示经由所述用户界面被呈现来使所述第二用户被虚拟地呈现在所述现实场景中。
D.根据段落A-C中任一段落所述的系统，其中所述对象包括与所述第一用户相关联的虚拟对象。
E.根据段落A-C中任一段落所述的系统，其中所述对象包括所述第一用户的身体部分。
F.根据段落E所述的系统，其中接收所述数据包括从所述传感器接收与所述第一用户相关联的第一体积数据或第一骨骼数据中的至少一个；以及从所述传感器接收与所述第二用户相关联的第二体积数据或第二骨骼数据中的至少一个；并且所述操作还包括：至少部分地基于所述第一体积数据或所述第一骨骼数据中的所述至少一个来确定与所述第一用户相关联的第一身体表示；至少部分基于所述第二体积数据或所述第二骨骼数据中的所述至少一个来确定与所述第二用户相关联的第二身体表示；以及至少部分地基于确定所述第一身体表示在所述第二身体表示的阈值距离内来确定所述第一用户的所述身体部分与所述第二用户交互。
G.根据段落A-F中任一段落所述的系统，其中对应于所述交互作用的所述虚拟内容由所述第一用户定义。
H.根据段落A-G中任一段落所述的系统，其中所述传感器包括由内向外感测传感器。
I.根据段落A-G中任一段落所述的系统，其中传感器包括由外向内感测传感器。
J.一种用于使得虚拟内容呈现在混合现实环境中的方法，所述方法包括：从传感器接收与第一用户相关联的第一数据，所述第一用户物理地存在于所述混合现实环境的现实场景中；至少部分地基于所述第一数据来确定对应于所述第一用户的第一身体表示；从所述传感器接收与第二用户相关联的第二数据，所述第二用户存在于所述混合现实环境的所述现实场景中；至少部分地基于所述第二数据来确定对应于所述第二用户的第二身体表示；至少部分地基于所述第一数据和所述第二数据来确定所述第一用户与所述第二用户之间的交互作用；并且至少部分地基于确定所述交互作用，使得虚拟内容与所述第一身体表示或所述第二身体表示中的至少一个相关联地呈现在与所述第一用户相关联的第一显示器或与所述第二用户相关联的第二显示器中的至少一个上。
K.根据段落J所述的方法，还包括：接收流数据以用于使的所述第二用户虚拟地呈现在所述混合现实环境的所述现实场景中。
L.根据段落J或K所述的方法，其中：所述第一数据包括与所述第一用户相关联的体积数据、与所述第一用户相关联的骨骼数据或与所述第一用户相关联的视角数据中的至少一个；并且所述第二数据包括与所述第二用户相关联的体积数据、与所述第二用户相关联的骨骼数据或与第所述二用户相关联的视角数据中的至少一个。
M.根据段落J-L中任一段落所述的方法，其中所述虚拟内容包括至少与所述第一用户或所述第二用户相关联的生理数据的图形表示。
N.根据段落J-M中任一段落所述的方法，其中所述虚拟内容包括对应于贴纸、纹身或配件的图形表示，所述贴纸、所述纹身或所述配件至少在与所述交互作用相对应的至少所述第一主体表示或所述第二主体表示上的位置处符合所述第一身体表示或所述第二身体表示。
O.根据段落N所述的方法，还包括：每当所述第一用户和所述第二用户同时存在于所述混合现实环境中时，都将与所述贴纸、所述纹身或所述配件相对应的所述图形表示呈现给所述第一用户和所述第二用户。
P.根据段落J-O中任一段落所述的方法，还包括：确定与所述第一用户或所述第二用户中的至少一个相关联的许可；以及至少部分地基于所述许可，使得所述虚拟内容与所述第一主体表示或所述第二主体表示中的至少一个相关联地呈现。
Q.用指令编码的一个或多个计算机可读介质，所述指令在由处理器执行时将计算机配置为执行根据段落J-P中任一段落所述的方法。
R.一种包括一个或多个处理器以及一个或多个计算机可读介质的设备，所述一个或多个计算机可读介质编码有指令，所述指令在由所述一个或多个处理器执行时将计算机配置为执行根据段落J-P中任一段落所述的计算机实现方法。
S.一种用于使得虚拟内容呈现在混合现实环境中的方法，所述方法包括：用于从传感器接收与第一用户相关联的第一数据的装置，所述第一用户物理地存在于所述混合现实环境的现实场景中；用于至少部分地基于所述第一数据来确定对应于所述第一用户的第一身体表示的装置；用于从所述传感器接收与第二用户相关联的第二数据的装置，所述第二用户存在于所述混合现实环境的所述现实场景中；用于至少部分地基于所述第二数据来确定对应于所述第二用户的第二身体表示的装置；用于至少部分地基于所述第一数据和所述第二数据来确定所述第一用户与所述第二用户之间的交互作用的装置；以及至少部分地基于确定所述交互作用，用于使得虚拟内容与所述第一身体表示或所述第二身体表示中的至少一个相关联地呈现在与所述第一用户相关联的第一显示器或与所述第二用户相关联的第二显示器中的至少一个上的装置。
T.根据段落S所述的方法，还包括：用于接收流数据以使所述第二用户虚拟地呈现在所述混合现实环境的所述现实场景中的装置。
U.根据段落S或T所述的方法，其中：所述第一数据包括与所述第一用户相关联的体积数据、与所述第一用户相关联的骨骼数据或与所述第一用户相关联的视角数据中的至少一个；并且所述第二数据包括与所述第二用户相关联的体积数据、与所述第二用户相关联的骨骼数据或与所述第二用户相关联的视角数据中的至少一个。
V.根据段落S-U中任一段落所述的方法，其中所述虚拟内容包括至少与所述第一用户或所述第二用户相关联的生理数据的图形表示。
W.根据段落S-V中任一段落所述的方法，其中所述虚拟内容包括对应于贴纸、纹身或配件的图形表示，所述贴纸、所述纹身或所述附件至少在与所述交互作用相对应的至少所述第一主体表示或所述第二主体表示上的位置处符合所述第一身体表示或所述第二身体表示。
X.根据段落W所述的方法，还包括用于每当所述第一用户所述和第二用户同时存在于所述混合现实环境中时，都将与所述贴纸、所述纹身或所述配件相对应的所述图形表示呈现给所述第一用户和所述第二用户的装置。
Y.根据段落S-X中任一段落所述的方法，还包括：用于确定与所述第一用户或所述第二用户中的至少一个相关联的许可的装置；以及用于至少部分地基于所述许可来使得所述虚拟内容与所述第一主体表示或所述第二主体表示中的至少一个相关联地呈现的装置。
Z.一种被配置为与混合现实环境中的至少第一混合现实设备和第二混合现实设备进行通信的设备，所述设备包括：一个或多个处理器；存储器；以及存储在所述存储器中并可由所述一个或多个处理器执行以进行包括以下操作的一个或多个模块：从可通信地耦合到所述设备的传感器接收与第一用户相关联的第一数据，所述第一用户物理地存在于所述混合现实环境的现实场景中；至少部分地基于所述第一数据确定对应于所述第一用户的第一身体表示；从所述传感器接收与第二用户相关联的第二数据，所述第二用户物理地存在于所述混合现实环境的所述现实场景中；至少部分地基于所述第二数据来确定对应于所述第二用户的第二身体表示；至少部分地基于所述第一数据和所述第二数据来确定所述第二用户引起与所述第一用户的接触；并且至少部分地基于确定所述第二用户引起与所述第一用户的接触，使得虚拟内容与所述第一身体表示相关联地呈现在与所述第一混合现实设备相关联的第一显示器上以及与所述第二混合现实设备相关联的第二显示器上，其中所述第一混合现实设备对应于所述第一用户，而所述第二混合现实设备对应于所述第二用户。
AA.根据段落Z所述的设备，所述操作还包括：至少部分地基于所述第一数据来确定与所述第一身体表示相对应的体积轮廓或骨骼中的至少一个；并且使得所述虚拟内容被呈现以使其符合所述体积轮廓或所述骨骼中的所述至少一个。
AB.根据段落Z或AA所述的设备，所述操作还包括：对所述第一身体表示进行分段以生成分段的第一身体表示；以及使得所述虚拟内容被呈现在所述分段的第一身体表示的分段上，所述分段对应于所述第二用户引起与所述第一用户接触的所述第一用户上的位置。
AC.根据段落Z-AB中的任一段落所述的设备，所述操作还包括：使得所述虚拟内容被呈现以视觉地指示所述第二用户引起与所述第一用户接触的所述第一用户上的位置。
结论
尽管已经用特定于结构特征和/或方法动作的语言描述了本主题，但是应当理解，所附权利要求中限定的主题不一定限于所描述的具体特征或动作。相反，具体特征和动作作为实现权利要求的示意性形式被描述。
除非另有明确说明，尤其诸如“可以”、“可能”、“或许”或“可以”的条件语言在上下文中被理解为表示包括某些特征、元素和/或步骤的某些示例，而其他示例不一定包括这些特征、元素和/或步骤。因此，这样的条件语言通常并不旨在意味着某些特征、元素和/或步骤以任何方式被要求用于一个或多个示例，或者一个或多个示例必然包括用于在具有或不具有输入或提示的情况下决定某些特征、元件和/或步骤是否包括在任何特定的示例中或将在任何特定的示例中执行的逻辑。除非另有明确说明，诸如短语“X、Y或Z中的至少一个”的连接语言应被理解为表示项目、术语等可以是X、Y或Z，或者它们的组合。

Claims (15)

1.一种系统，包括：
传感器；
一个或多个处理器；
存储器；以及
一个或多个模块，存储在所述存储器中并且由所述一个或多个处理器可执行以进行操作，所述操作包括：
从所述传感器接收数据；
至少部分地基于接收所述数据，确定与物理地存在于现实场景中的第一用户相关联的对象经由交互而与存在于所述现实场景中的第二用户进行交互；以及
至少部分地基于确定所述对象与所述第二用户交互，使得与所述交互相对应的虚拟内容以及所述第一用户或所述第二用户中的至少一个被呈现在用户界面上，所述用户界面对应于与所述第一用户相关联的混合现实设备，其中所述用户界面呈现所述第一用户所观看的、利用所述虚拟内容增强的所述现实场景的视图。
2.根据权利要求1所述的系统，其中所述第二用户物理地存在于所述现实场景中。
3.根据权利要求1所述的系统，其中：
所述第二用户物理地存在于与所述现实场景不同的现实场景中；以及
所述操作还包括：通过使得所述第二用户的图形表示经由所述用户界面被呈现，来使所述第二用户被虚拟地呈现在所述现实场景中。
4.根据权利要求1-3中任一项所述的系统，其中所述对象包括与所述第一用户相关联的虚拟对象。
5.根据权利要求1-4中任一项所述的系统，其中所述对象包括所述第一用户的身体部分。
6.根据权利要求5所述的系统，其中：
接收所述数据包括：
从所述传感器接收与所述第一用户相关联的第一体积数据或第一骨骼数据中的至少一个；以及
从所述传感器接收与所述第二用户相关联的第二体积数据或第二骨骼数据中的至少一个；以及
所述操作还包括：
至少部分地基于所述第一体积数据或所述第一骨骼数据中的所述至少一个，确定与所述第一用户相关联的第一身体表示；
至少部分地基于所述第二体积数据或所述第二骨骼数据中的所述至少一个，确定与所述第二用户相关联的第二身体表示；
以及
至少部分地基于确定所述第一身体表示在所述第二身体表示的阈值距离内，确定所述第一用户的所述身体部分与所述第二用户交互。
7.根据权利要求1至6中任一项所述的系统，其中与所述交互相对应的所述虚拟内容由所述第一用户定义。
8.根据权利要求1至7中任一项所述的系统，其中所述传感器包括由内向外感测传感器。
9.根据权利要求1至7中任一项所述的系统，其中所述传感器包括由外向内感测传感器。
10.一种用于使得虚拟内容在混合现实环境中呈现的方法，所述方法包括：
从传感器接收与第一用户相关联的第一数据，所述第一用户物理地存在于所述混合现实环境的现实场景中；
至少部分地基于所述第一数据，确定与所述第一用户相对应的第一身体表示；
从所述传感器接收与第二用户相关联的第二数据，所述第二用户存在于所述混合现实环境的所述现实场景中；
至少部分地基于所述第二数据，确定与所述第二用户相对应的第二身体表示；
至少部分地基于所述第一数据和所述第二数据，确定所述第一用户与所述第二用户之间的交互；以及
至少部分地基于确定所述交互，使得虚拟内容与所述第一身体表示或所述第二身体表示中的至少一个相关联地呈现在与所述第一用户相关联的第一显示器或与所述第二用户相关联的第二显示器中的至少一个上。
11.根据权利要求10所述的方法，其中：
所述第一数据包括与所述第一用户相关联的体积数据、与所述第一用户相关联的骨骼数据或与所述第一用户相关联的视角数据中的至少一个；以及
所述第二数据包括与所述第二用户相关联的体积数据、与所述第二用户相关联的骨骼数据或与所述第二用户相关联的视角数据中的至少一个。
12.根据权利要求10或11中任一项所述的方法，其中所述虚拟内容包括至少与所述第一用户或所述第二用户相关联的生理数据的图形表示。
13.根据权利要求10至12中任一项所述的方法，其中所述虚拟内容包括与贴纸、纹身或配件相对应的图形表示，所述贴纸、所述纹身或所述配件至少在与所述交互作用相对应的至少所述第一主体表示或所述第二主体表示上的位置处符合所述第一身体表示或所述第二身体表示。
14.根据权利要求13所述的方法，还包括：每当所述第一用户和所述第二用户同时存在于所述混合现实环境中时，使得与所述贴纸、所述纹身或所述配件相对应的所述图形表示呈现给所述第一用户和所述第二用户。
15.根据权利要求10-14中任一项所述的方法，还包括：
确定与所述第一用户或所述第二用户中的至少一个相关联的许可；以及
至少部分地基于所述许可，使得所述虚拟内容与所述第一主体表示或所述第二主体表示中的至少一个相关联地呈现。
CN201680046626.3A 2015-08-07 2016-07-21 混合现实社交 Withdrawn CN107850948A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/821,505 US20170039986A1 (en) 2015-08-07 2015-08-07 Mixed Reality Social Interactions
US14/821,505 2015-08-07
PCT/US2016/043219 WO2017027181A1 (en) 2015-08-07 2016-07-21 Mixed reality social interactions

Publications (1)

Publication Number Publication Date
CN107850948A true CN107850948A (zh) 2018-03-27

Family

ID=56684730

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680046626.3A Withdrawn CN107850948A (zh) 2015-08-07 2016-07-21 混合现实社交

Country Status (4)

Country Link
US (1) US20170039986A1 (zh)
EP (1) EP3332312A1 (zh)
CN (1) CN107850948A (zh)
WO (1) WO2017027181A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109903604A (zh) * 2019-01-30 2019-06-18 上海市精神卫生中心（上海市心理咨询培训中心） 一种基于虚拟现实的神经发育障碍绘画训练系统及训练方法

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9818228B2 (en) 2015-08-07 2017-11-14 Microsoft Technology Licensing, Llc Mixed reality social interaction
US11062383B2 (en) 2016-05-10 2021-07-13 Lowe's Companies, Inc. Systems and methods for displaying a simulated room and portions thereof
US10593116B2 (en) 2016-10-24 2020-03-17 Snap Inc. Augmented reality object manipulation
US10242503B2 (en) 2017-01-09 2019-03-26 Snap Inc. Surface aware lens
US20180255285A1 (en) * 2017-03-06 2018-09-06 Universal City Studios Llc Systems and methods for layered virtual features in an amusement park environment
US10282909B2 (en) 2017-03-23 2019-05-07 Htc Corporation Virtual reality system, operating method for mobile device, and non-transitory computer readable storage medium
US10192115B1 (en) * 2017-12-13 2019-01-29 Lowe's Companies, Inc. Virtualizing objects using object models and object position data
US11030813B2 (en) 2018-08-30 2021-06-08 Snap Inc. Video clip object tracking
US11176737B2 (en) 2018-11-27 2021-11-16 Snap Inc. Textured mesh building
CN113330484A (zh) 2018-12-20 2021-08-31 斯纳普公司 虚拟表面修改
CN109828666B (zh) * 2019-01-23 2022-01-25 山东大学 基于有形用户界面的混合现实交互系统及方法
US10984575B2 (en) 2019-02-06 2021-04-20 Snap Inc. Body pose estimation
US11189098B2 (en) 2019-06-28 2021-11-30 Snap Inc. 3D object camera customization system
US11232646B2 (en) 2019-09-06 2022-01-25 Snap Inc. Context-based virtual object rendering
US11263817B1 (en) 2019-12-19 2022-03-01 Snap Inc. 3D captions with face tracking
US11227442B1 (en) 2019-12-19 2022-01-18 Snap Inc. 3D captions with semantic graphical elements
US11095855B2 (en) * 2020-01-16 2021-08-17 Microsoft Technology Licensing, Llc Remote collaborations with volumetric space indications
US11733959B2 (en) 2020-04-17 2023-08-22 Apple Inc. Physical companion devices for use with extended reality systems
US11660022B2 (en) 2020-10-27 2023-05-30 Snap Inc. Adaptive skeletal joint smoothing
US11615592B2 (en) 2020-10-27 2023-03-28 Snap Inc. Side-by-side character animation from realtime 3D body motion capture
US11450051B2 (en) 2020-11-18 2022-09-20 Snap Inc. Personalized avatar real-time motion capture
US11748931B2 (en) 2020-11-18 2023-09-05 Snap Inc. Body animation sharing and remixing
US11734894B2 (en) 2020-11-18 2023-08-22 Snap Inc. Real-time motion transfer for prosthetic limbs
US11880947B2 (en) 2021-12-21 2024-01-23 Snap Inc. Real-time upper-body garment exchange

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7463142B2 (en) * 2003-12-30 2008-12-09 Kimberly-Clark Worldwide, Inc. RFID system and method for tracking environmental data
JP2010029398A (ja) * 2008-07-28 2010-02-12 Namco Bandai Games Inc プログラム、情報記憶媒体及び画像生成システム
US20100060662A1 (en) * 2008-09-09 2010-03-11 Sony Computer Entertainment America Inc. Visual identifiers for virtual world avatars
JP5208842B2 (ja) * 2009-04-20 2013-06-12 株式会社カプコン ゲームシステム、ゲーム制御方法、プログラム、および、このプログラムを記録したコンピュータ読み取り可能な記録媒体
US9898675B2 (en) * 2009-05-01 2018-02-20 Microsoft Technology Licensing, Llc User movement tracking feedback to improve tracking
US20120139906A1 (en) * 2010-12-03 2012-06-07 Qualcomm Incorporated Hybrid reality for 3d human-machine interface
EP2497547B1 (en) * 2011-03-08 2018-06-27 Nintendo Co., Ltd. Information processing program, information processing apparatus, information processing system, and information processing method
AU2011205223C1 (en) * 2011-08-09 2013-03-28 Microsoft Technology Licensing, Llc Physical interaction with virtual objects for DRM
US8963956B2 (en) * 2011-08-19 2015-02-24 Microsoft Technology Licensing, Llc Location based skins for mixed reality displays
WO2013028908A1 (en) * 2011-08-24 2013-02-28 Microsoft Corporation Touch and social cues as inputs into a computer
JP5891125B2 (ja) * 2012-06-29 2016-03-22 株式会社ソニー・コンピュータエンタテインメント 映像処理装置、映像処理方法、および映像処理システム
US20140125698A1 (en) * 2012-11-05 2014-05-08 Stephen Latta Mixed-reality arena
US9526980B2 (en) * 2012-12-21 2016-12-27 Microsoft Technology Licensing, Llc Client side processing of game controller input
US9588730B2 (en) * 2013-01-11 2017-03-07 Disney Enterprises, Inc. Mobile tele-immersive gameplay
KR20160015972A (ko) * 2014-08-01 2016-02-15 엘지전자 주식회사 웨어러블 디바이스 및 그 제어 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109903604A (zh) * 2019-01-30 2019-06-18 上海市精神卫生中心（上海市心理咨询培训中心） 一种基于虚拟现实的神经发育障碍绘画训练系统及训练方法

Also Published As

Publication number Publication date
EP3332312A1 (en) 2018-06-13
WO2017027181A1 (en) 2017-02-16
US20170039986A1 (en) 2017-02-09

Similar Documents

Publication Publication Date Title
CN107850948A (zh) 混合现实社交
CN107850947A (zh) 远程通信的社会交互
JP7109408B2 (ja) 広範囲同時遠隔ディジタル提示世界
CN108027653A (zh) 虚拟环境中的触觉交互
CN107636605B (zh) 传达在头戴式显示器渲染的环境中的虚拟对象的触感和移动的动态手套
US8223147B1 (en) Method and system for vision-based interaction in a virtual environment
US9710968B2 (en) System and method for role-switching in multi-reality environments
CN107852573A (zh) 混合现实社交交互
CN110168475A (zh) 将用户接口装置导入虚拟现实/增强现实的系统
Wu et al. Using a fully expressive avatar to collaborate in virtual reality: Evaluation of task performance, presence, and attraction
CN106687914A (zh) 体积空间的物理交互式显像
CN108064364A (zh) 用于实现多用户虚拟环境的方法和系统
CN103970268A (zh) 信息处理设备、客户端设备、信息处理方法以及程序
CN105051650A (zh) 三维解锁设备、三维解锁方法和程序
US20150018722A1 (en) Determination, communication, and presentation of user body position information
Koskela et al. Avatarex: telexistence system based on virtual avatars
Siddiqui et al. Virtual tourism and digital heritage: an analysis of VR/AR technologies and applications
Lala et al. VISIE: A spatially immersive interaction environment using real-time human measurement
Weber et al. Frameworks enabling ubiquitous mixed reality applications across dynamically adaptable device configurations
Sereno et al. Point specification in collaborative visualization for 3D scalar fields using augmented reality
CN106020468A (zh) 一种手套控制的增强现实系统
Roth et al. Avatar Embodiment, Behavior Replication, and Kinematics in Virtual Reality.
Sakamoto et al. Human interaction issues in a digital-physical hybrid world
Lin et al. Space connection: a new 3D tele-immersion platform for web-based gesture-collaborative games and services
Hachaj et al. Evaluation of Gesture Description Language in the role of touchless interface for virtual reality environment

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20180327

WW01 Invention patent application withdrawn after publication