CN113767358A - 基于环境呈现通信数据 - Google Patents

基于环境呈现通信数据 Download PDF

Info

Publication number
CN113767358A
CN113767358A CN202080029986.9A CN202080029986A CN113767358A CN 113767358 A CN113767358 A CN 113767358A CN 202080029986 A CN202080029986 A CN 202080029986A CN 113767358 A CN113767358 A CN 113767358A
Authority
CN
China
Prior art keywords
person
communication data
implementations
audio
environment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080029986.9A
Other languages
English (en)
Inventor
B·M·萨默尔
L·沃克
L·R·D·森特诺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apple Inc
Original Assignee
Apple Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Apple Inc filed Critical Apple Inc
Publication of CN113767358A publication Critical patent/CN113767358A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H04R5/02—Spatial or constructional arrangements of loudspeakers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/305—Electronic adaptation of stereophonic audio signals to reverberation of the listening space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/11—Positioning of individual sound objects, e.g. moving airplane, within a sound field

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Signal Processing (AREA)
  • Acoustics & Sound (AREA)
  • Computer Hardware Design (AREA)
  • Multimedia (AREA)
  • Remote Sensing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Optics & Photonics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本文所公开的各种具体实施包括用于呈现通信数据的设备、系统和方法。在各种具体实施中，一种与第一人相关联的第一设备包括显示器、非暂态存储器以及与该显示器和该非暂态存储器耦接的一个或多个处理器。在一些具体实施中，一种方法包括获取与对应于第二人的第二设备相关联的通信数据。在一些具体实施中，该方法包括确定第一设备和第二设备是否处于共享环境中。在一些具体实施中，该方法包括响应于确定该第一设备和该第二设备不在共享环境中，基于与该第二设备相关联的通信数据显示该第二人的表示。

Description

基于环境呈现通信数据
相关申请的交叉引用
本申请要求于2019年5月31日提交的美国临时专利申请第62/855155号的权益，该申请全文以引用方式并入。
技术领域
本公开整体涉及基于环境呈现通信数据。
背景技术
一些设备能够生成并呈现增强型现实(ER)布景。一些ER布景包括虚拟布景，该虚拟布景是物理布景的模拟替换。一些ER布景包括增强布景，该增强布景是物理布景的修改版本。呈现ER布景的一些设备包括移动通信设备，诸如智能电话、头戴式显示器(HMD)、眼镜、抬头显示器(HUD)和光学投影系统。呈现ER布景的大多数先前可用的设备在呈现通信数据时是无效的。
附图说明
因此，本公开可被本领域的普通技术人员理解，更详细的描述可参考一些例示性具体实施的方面，其中一些具体实施在附图中示出。
图1A至图1G是根据一些具体实施的示例性操作环境的图示。
图2A至图2D是根据一些具体实施的呈现通信数据的方法的流程图表示。
图3A至图3C是根据一些具体实施的掩蔽通信数据的方法的流程图表示。
图4是根据一些具体实施的呈现通信数据的设备的框图。
根据通常的做法，附图中示出的各种特征部可能未按比例绘制。因此，为了清楚起见，可以任意地扩展或减小各种特征部的尺寸。另外，一些附图可能未描绘给定的系统、方法或设备的所有部件。最后，在整个说明书和附图中，类似的附图标号可用于表示类似的特征部。
发明内容
本文所公开的各种具体实施包括用于呈现通信数据的设备、系统和方法。在各种具体实施中，一种与第一人相关联的第一设备包括显示器、非暂态存储器以及与该显示器和该非暂态存储器耦接的一个或多个处理器。在一些具体实施中，一种方法包括获取与对应于第二人的第二设备相关联的通信数据。在一些具体实施中，该方法包括确定第一设备和第二设备是否处于共享环境中。在一些具体实施中，该方法包括响应于确定该第一设备和该第二设备不在共享环境中，基于与该第二设备相关联的通信数据显示该第二人的增强型现实(ER)表示。
本文所公开的各种具体实施包括用于掩蔽通信数据的设备、系统和方法。在各种具体实施中，一种第一设备包括输出设备、非暂态存储器以及与该输出设备和该非暂态存储器耦接的一个或多个处理器。在一些具体实施中，一种方法包括，当该第一设备处于与第二设备的通信会话中时，获取与该第二设备相关联的通信数据。在一些具体实施中，该方法包括确定该第一设备和该第二设备处于共享物理布景中。在一些具体实施中，该方法包括掩蔽通信数据的一部分，以便防止输出设备输出通信数据的该一部分。
根据一些具体实施，设备包括一个或多个处理器、非暂态存储器以及一个或多个程序。在一些具体实施中，一个或多个程序存储在非暂态存储器中并由一个或多个处理器执行。在一些具体实施中，一个或多个程序包括用于执行或促使执行本文描述的任何方法的指令。根据一些具体实施，一种非暂态计算机可读存储介质中存储有指令，该指令当由设备的一个或多个处理器执行时使该设备执行或导致执行本文所述方法中的任一种。根据一些具体实施，一种设备包括一个或多个处理器、非暂态存储器，以及用于执行或导致执行本文所述方法中的任一种的装置。
具体实施方式
描述了许多细节以便提供对附图中所示的示例具体实施的透彻理解。然而，附图仅示出了本公开的一些示例方面，因此不应被视为限制。本领域的普通技术人员将理解，其他有效方面和/或变体不包括本文所述的所有具体细节。此外，没有详尽地描述众所周知的系统、方法、部件、设备和电路，以免模糊本文所述的示例性具体实施的更多相关方面。
描述了用于与各种增强型现实技术相关地使用此类系统的电子系统和技术的各种示例。
物理布景是指各个人可在不使用电子系统的情况下感测和/或交互的世界。物理布景诸如物理公园包括物理元素，诸如物理野生动物、物理树木和物理植物。人们可例如使用一种或多种感觉(包括视觉、嗅觉、触觉、味觉和听觉)直接感测物理布景和/或以其他方式与物理布景进行交互。
与物理布景相比，增强型现实(ER)布景是指各种人通过使用电子系统可感测和/或以其他方式与之交互的完全地(或部分地)计算机生成的布景。在ER中，部分地监视人的移动，并且响应于此，以与一个或多个物理定律一致的方式来改变与ER布景中的至少一个虚拟对象对应的至少一个属性。例如，响应于ER系统检测到人向上看，ER系统可以以与此类声音和外观会在物理布景中改变的方式一致的方式来调整呈现给人的各种音频和图形。也可例如响应于移动的表示(例如，语音命令)而进行对ER布景中的虚拟对象的属性的调整。
人可以利用一种或多种感觉，诸如视觉、嗅觉、味觉、触觉和听觉来感测ER对象和/或与ER对象交互。例如，人可感测创建多维或空间声学布景的对象和/或与其交互。多维或空间声学布景为个人提供了在多维空间中对离散声源的感知。此类对象还可实现声学透明性，该声学透明性可在具有或没有计算机生成的音频的情况下选择性地结合来自物理布景的音频。在某些ER布景中，人可仅感测音频对象和/或仅与其交互。
虚拟现实(VR)是ER的一个示例。VR布景是指被配置为仅包括针对一种或多种感觉的计算机生成的感官输入的增强布景。VR布景包括人可以感测和/或交互的多个虚拟对象。人可通过在计算机生成的布景内模拟人动作中的至少一些动作和/或通过模拟人或其在计算机生成的布景内的存在来感测VR布景中的虚拟对象和/或与其交互。
混合现实(MR)是ER的另一个示例。MR布景是指被配置为将计算机生成的感官输入(例如，虚拟对象)与来自物理布景的感官输入或来自物理布景的感官输入的表示进行集成的增强布景。在现实频谱上，MR布景介于一端处的完全物理布景和另一端处的VR布景之间并且不包括这些布景。
在一些MR布景中，计算机生成的感官输入可基于来自物理布景的感官输入的变化而被调整。另外，用于呈现MR布景的一些电子系统可以检测相对于物理布景的位置和/或取向，以实现真实对象(即来自物理布景的物理元素或其表示)与虚拟对象之间的交互。例如，系统可检测移动并相应地调整计算机生成的感官输入，使得例如虚拟树相对于物理结构看起来是固定的。
增强现实(AR)是MR的示例。AR布景是指一个或多个虚拟对象叠加在物理布景(或其表示)之上的增强布景。例如，电子系统可包括不透明显示器和用于捕获物理布景的视频和/或图像的一个或多个成像传感器。例如，此类视频和/或图像可以是物理布景的表示。视频和/或图像与虚拟对象组合，其中该组合随后被显示在不透明显示器上。物理布景可由人经由物理布景的图像和/或视频间接地查看。因此，人可观察叠加在物理布景上的虚拟对象。当系统捕获物理布景的图像并且使用所捕获的图像在不透明显示器上显示AR布景时，所显示的图像被称为视频透传。另选地，透明或半透明显示器可被包括在用于显示AR布景的电子系统中，使得个体可通过透明或半透明显示器直接查看物理布景。虚拟对象可被显示在半透明或透明显示器上，使得个体观察叠加在物理布景上的虚拟对象。在另一个示例中，可利用投影系统以便将虚拟对象投影到物理布景上。例如，虚拟对象可在物理表面上被投影，或作为全息图，使得个体观察叠加在物理布景之上的虚拟对象。
AR布景也可指其中物理布景的表示被计算机生成的感官数据修改的增强布景。例如，物理布景的表示的至少一部分能够以图形方式修改(例如，放大)，使得所修改的部分仍可表示初始捕获的图像(但不是完全复制的版本)。另选地，在提供视频透传时，可修改一个或多个传感器图像，以便施加与由图像传感器捕获的视点不同的特定视点。再如，物理布景的表示的部分可通过以图形方式将该部分进行模糊处理或消除该部分而被改变。
增强虚拟(AV)是MR的另一个示例。AV布景是指虚拟的或计算机生成的布景结合来自物理布景的一个或多个感官输入的增强布景。此类感官输入可包括物理布景的一个或多个特征的表示。虚拟对象可例如结合与由成像传感器捕获的物理元素相关联的颜色。另选地，虚拟对象可采用与例如对应于物理布景的当前天气状况一致的特征，诸如经由成像识别的天气状况、在线天气信息和/或与天气相关的传感器。又如，AR公园可包括虚拟结构、植物和树木，尽管AR公园布景内的动物可包括从物理动物的图像准确复制的特征。
各种系统允许人们感测ER布景和/或与其交互。例如，头戴式系统可包括一个或多个扬声器和不透明显示器。又如，外部显示器(例如，智能电话)可结合到头戴式系统内。头戴式系统可包括用于捕获物理布景的音频的麦克风和/或用于捕获物理布景的图像/视频的图像传感器。头戴式系统中还可包括透明或半透明显示器。半透明或透明显示器可例如包括基板，(表示图像的)光通过该基板被引导到人的眼睛。显示器还可包含LED、OLED、硅基液晶、激光扫描光源、数字光投影仪或它们的任何组合。光透射穿过的基板可以是光学反射器、全息基板、光波导、光合路器或它们的任何组合。透明或半透明显示器可例如选择性地在透明/半透明状态和不透明状态之间转变。又如，电子系统可以是基于投影的系统。在基于投影的系统中，视网膜投影可用于将图像投影到人的视网膜上。另选地，基于投影的系统还可将虚拟对象投影到物理布景中，例如，诸如将虚拟对象投影为全息图或投影到物理表面上。ER系统的其他示例包括被配置为显示图形的窗口、头戴式耳机、耳机、扬声器布置、被配置为显示图形的透镜、平视显示器、被配置为显示图形的汽车挡风玻璃、输入机构(例如，具有或不具有触觉功能的控制器)、台式或膝上型计算机、平板电脑或智能电话。
当与第一人相关联的第一设备跟与第二人相关联的第二设备通信时，在第一设备上呈现第二人的视频或ER表示有时可能是不明智的。例如，如果第一设备和第二设备处于相同的环境中，则在第一设备上呈现第二人的视频或ER表示可能是不明智的，因为第一人可以看到第二人。在一些场景中，指示第二设备的类型可能是有帮助的，使得第一人知道如何与第二人进行交互。例如，如果第二设备向第二人提供了第一设备的周围环境的有限视图，则第一人不需要指向第二人不可见的周围环境的区域。
本公开提供了允许第一设备基于第二设备的存在状态来呈现与第二设备相关联的通信数据的方法、设备和/或系统。当第一设备获取与第二设备相关联的通信数据时，如果第二设备不与第一设备处于相同的环境中，则第一设备呈现第二人的视频或ER表示。如果第二设备与第一设备处于相同的环境中，则第一设备呈现环境的透传并且放弃呈现在通信数据中被编码的视频或ER表示。在一些场景中，当第二设备包括HMD时，第一设备呈现第二人的ER表示，并且当第二设备包括非HMD设备(例如，手持设备，诸如平板电脑或智能电话、膝上型电脑和/或台式电脑)时，第一设备呈现视频。
当与第一人相关联的第一设备跟与第二人相关联的第二设备进行通信时，呈现网络音频和视频可能由于听不到的语音和感觉不到的视频而导致减损的体验。例如，如果第一设备和第二设备处于相同的物理布景中，则第一人将可能听到通过第一设备的网络音频和来自第二人的直接音频。网络音频和直接音频之间的干扰可能导致听不到的语音。类似地，如果第一设备在第二设备处于与第一设备相同的物理布景中时显示第二人的ER表示，则第一人可观看第二人的ER表示而不是该第二人，从而导致减损的通信体验。
本公开提供了用于在第一设备和第二设备处于相同的物理布景中时掩蔽通信数据的方法、设备和/或系统。如果第二设备处于与第一设备相同的物理布景中，则第一设备掩蔽网络音频以便减少网络音频和直接音频之间的干扰。在第二设备处于与第一设备相同的物理布景中时掩蔽网络音频允许第一人听取直接音频。如果第二设备处于与第一设备相同的物理布景中，则第一设备掩蔽由通信数据指示的第二人的视频或ER表示。放弃对第二人的视频或ER表示的显示通过允许第一人观看第二人来改善第一人的用户体验。在一些场景中，第一设备呈现物理布景的透传，并且第一人经由该透传看到第二人。
图1A是根据一些具体实施的示例性操作环境1的框图。尽管示出了相关特征，但本领域的普通技术人员将从本公开中认识到，为简洁起见并且为了不模糊本文所公开的示例性具体实施的更多相关方面，未示出各种其他特征。为此，作为非限制性示例，操作环境1包括第一环境10(例如，第一布景)和第二环境40(例如，第二布景)。在一些具体实施中，第一环境10包括第一物理布景(例如，第一物理环境)，并且第二环境40包括第二物理布景(例如，第二物理环境)。在一些具体实施中，第一环境10包括第一ER布景，并且第二环境40包括第二ER布景。
如图1A所示，第一环境10包括与第一电子设备14相关联(例如，操作该第一电子设备)的第一人12，并且第二环境40包括与第二电子设备44相关联(例如，操作该第二电子设备)的第二人42。在图1A的示例中，第一人12正握持第一电子设备14，并且第二人42正握持第二电子设备44。在各种具体实施中，第一电子设备14和第二电子设备44包括手持设备(例如，平板电脑、智能电话或膝上型电脑)。在一些具体实施中，第一电子设备14和第二电子设备44不是头戴式设备(例如，非HMD设备，诸如手持设备、台式计算机或手表)。
在各种具体实施中，第一电子设备14和第二电子设备44经由网络70(例如，互联网的一部分、广域网(WAN)、局域网(LAN)等)彼此通信。在第一电子设备14和第二电子设备44彼此通信时，第一电子设备14传输第一通信数据16，并且第二电子设备44传输第二通信数据46。第一通信数据16包括由第一电子设备14的麦克风捕获的第一音频数据18，以及由第一电子设备14的图像传感器(例如，相机，例如前向相机)捕获的第一视频数据20。类似地，第二通信数据46包括由第二电子设备44的麦克风捕获的第二音频数据48和由第二电子设备44的图像传感器捕获的第二视频数据50。
第一电子设备14接收第二通信数据46，并且第二电子设备44接收第一通信数据16。如图1A所示，第一电子设备14呈现第二通信数据46，并且第二电子设备44呈现第一通信数据16。例如，第一电子设备14经由第一电子设备14的扬声器输出(例如，播放)第二音频数据48，并且在第一电子设备14的显示器上显示第二视频数据50。类似地，第二电子设备44经由第二电子设备14的扬声器输出第一音频数据18，并且在第二电子设备14的显示器上显示第一视频数据20。在各种具体实施中，第一音频数据18对由第一人12提供的语音输入进行编码，并且第一视频数据20对第一人12的视频流进行编码。类似地，第二音频数据48对由第二人42提供的语音输入进行编码，并且第二视频数据50对第二人42的视频流进行编码。
在各种具体实施中，第一电子设备14确定第二电子设备42是否处于第一环境10中。当第一电子设备14确定第二电子设备44处于第一环境10中时，第一电子设备14认为第二电子设备44是本地的。在各种具体实施中，当第一电子设备14确定第二电子设备44是本地的时，第一电子设备14更改第二通信数据46的呈现。在各种具体实施中，响应于确定第二电子设备44是本地的，第一电子设备14掩蔽第二通信数据46的一部分。例如，在一些具体实施中，响应于确定第二电子设备44是本地的，第一电子设备14放弃输出第二音频数据48并且/或者放弃显示第二视频数据50。
在图1A的示例中，第一电子设备14确定第二电子设备44不在第一环境10中。当第一电子设备14确定第二电子设备44不在第一环境10中时，第一电子设备14认为第二电子设备44是远程的。如图1A所示，响应于确定第二电子设备44是远程的，第一电子设备14呈现第二通信数据46。例如，响应于第二电子设备44是远程的，第一电子设备14输出第二音频数据48并且/或者显示第二视频数据50。在一些具体实施中，响应于确定第二电子设备44是远程的，第一电子设备14放弃掩蔽第二通信数据46。
参见图1B，由第一人12佩戴的第一头戴式设备(HMD)24根据各种具体实施呈现(例如，显示)第一ER布景26。虽然图1B示出了第一人12握持第一HMD 24，但在各种具体实施中，第一人12将第一HMD 24佩戴在第一人12的头部上。在一些具体实施中，第一HMD 24包括显示第一ER布景26的集成显示器(例如，内置显示器)。在一些具体实施中，第一HMD24包括头戴式壳体。在各种具体实施中，头戴式壳体包括附接区，具有显示器的另一设备可附接到该附接区。例如，在一些具体实施中，第一电子设备14可附接到头戴式壳体。在各种具体实施中，头戴式壳体被成形为形成用于接收包括显示器的另一设备(例如，第一电子设备14)的容器。例如，在一些具体实施中，第一电子设备14滑动/卡扣到头戴式壳体中或以其他方式附接到该头戴式壳体。在一些具体实施中，附接到头戴式壳体的设备的显示器呈现(例如，显示)第一ER布景26。在各种具体实施中，第一电子设备14的示例包括智能电话、平板电脑、媒体播放器、膝上型电脑等。
在图1B的示例中，第一ER布景26在卡图形用户界面(GUI)元素28内呈现(例如，显示)第二视频数据50。在一些具体实施中，卡GUI元素28在卡的相似度阈值内(例如，卡GUI元素28的视觉外观类似于卡的视觉外观)。在一些具体实施中，卡GUI元素28被称为视频卡。在一些具体实施中，第一HMD 24基于第二电子设备44的类型在卡GUI元素28中呈现第二视频数据50。例如，响应于确定第二电子设备44是非HMD(例如，手持设备诸如平板电脑、智能电话或膝上型电脑、台式计算机或手表)，第一HMD 24在卡GUI元素28中呈现第二视频数据50。在一些具体实施中，第一HMD 24经由第一HMD 24的扬声器输出(例如，播放)第二音频数据48。在一些具体实施中，第一HMD 24使第二音频数据48空间化以便提供第二音频数据48源自卡GUI元素28的外观。在一些具体实施中，第一HMD 24基于第二人42和/或第二电子设备44在第二环境40内的移动来改变卡GUI元素28在第一ER布景26内的位置。例如，第一HMD 24在与第二人42和/或第二电子设备44相同的方向上移动卡GUI元素28。
参见图1C，由第二人42佩戴的第二HMD 54根据各种具体实施呈现(例如，显示)第二ER布景56。虽然图1C示出了第二人42握持第二HMD 54，但在各种具体实施中，第二人42将第二HMD 54佩戴在第二人42的头部上。在一些具体实施中，第二HMD 54包括显示第二ER布景56的集成显示器(例如，内置显示器)。在一些具体实施中，第二HMD 54包括头戴式壳体。在各种具体实施中，头戴式壳体包括附接区，具有显示器的另一设备可附接到该附接区。例如，在一些具体实施中，第二电子设备44可附接到头戴式壳体。在各种具体实施中，头戴式壳体被成形为形成用于接收包括显示器的另一设备(例如，第二电子设备44)的容器。例如，在一些具体实施中，第二电子设备44滑动/卡扣到头戴式壳体中或以其他方式附接到该头戴式壳体。在一些具体实施中，附接到头戴式壳体的设备的显示器呈现(例如，显示)第二ER布景56。在各种具体实施中，第二电子设备44的示例包括智能电话、平板电脑、媒体播放器、膝上型电脑等。
如图1C所示，在一些具体实施中，第一通信数据16包括第一环境数据22，并且第二通信数据46包括第二环境数据52。在一些具体实施中，第一环境数据22指示第一环境10的各种特性和/或特征，并且第二环境数据52指示第二环境40的各种特性和/或特征。在一些具体实施中，第一环境数据22指示位于第一环境10中的物理元素，并且第二环境数据52指示在第二环境40中分配的物理元素。在一些具体实施中，第一环境数据22包括第一环境10的网格映射，并且第二环境数据52包括第二环境40的网格映射。在一些具体实施中，第一环境数据22指示第一人12的身体姿势，并且第二环境数据52指示第二人42的身体姿势。在一些具体实施中，第一环境数据22指示第一人12的面部表情，并且第二环境数据52指示第二人42的面部表情。在一些具体实施中，第一环境数据22包括第一人12的面部的网格映射，并且第二环境数据52包括第二人42的面部的网格映射。
在各种具体实施中，第一HMD 24呈现表示第二人42的ER对象30。在一些具体实施中，第一HMD 24基于第二环境数据52生成ER对象30。例如，在一些具体实施中，第二环境数据52对表示第二人42的ER对象30进行编码。在各种具体实施中，ER对象30包括第二人42的ER表示。例如，在一些具体实施中，ER对象30包括第二人42的头像。在一些具体实施中，第二环境数据52指示第二人42的身体姿势，并且ER对象30具有的姿势在与第二人42的身体姿势的相似度内。在一些具体实施中，第二环境数据52指示第二人42的物理面部表情，并且ER对象30的ER面部具有的ER表情在与第二人42的物理面部表情的相似度内。在各种具体实施中，第二环境数据52指示第二人42的移动，并且ER对象30模仿第二人42的移动。
在各种具体实施中，第二HMD 54呈现表示第一人12的ER对象60。在一些具体实施中，第二HMD 54基于第一环境数据22生成ER对象60。例如，在一些具体实施中，第一环境数据22对表示第一人12的ER对象60进行编码。在各种具体实施中，ER对象60包括第一人12的ER表示。例如，在一些具体实施中，ER对象60包括第一人12的头像。在一些具体实施中，第一环境数据22指示第一人12的身体姿势，并且ER对象60具有的姿势在与第一人12的身体姿势的相似度内(例如，在第一人12的身体姿势的相似度阈值内)。在一些具体实施中，第一环境数据22指示第一人12的物理面部表情，并且ER对象60的ER面部具有的ER表情在与第一人12的物理面部表情的相似度内(例如，在第一人12的物理面部表情的相似度阈值内)。在各种具体实施中，第一环境数据22指示第一人12的移动，并且ER对象60模仿第一人12的移动。
在各种具体实施中，第一HMD 24基于与第二人42相关联的设备的类型呈现ER对象30。在一些具体实施中，第一HMD 24响应于确定第二人42正在使用HMD而不是非HMD而生成并呈现ER对象30。在一些具体实施中，响应于获取包括第二环境数据52的第二通信数据46，第一HMD 24确定第二人42正在使用第二HMD 54。在一些具体实施中，第一HMD 24使第二音频数据48空间化以便提供第二音频数据48源自ER对象30的外观。呈现ER对象30增强了第一HMD 24的用户体验。例如，呈现ER对象30提供了第二人42处于第一环境10中的外观，即使第二人42实际上是远程的。
在图1D的示例中，第一人12和第二人42处于第一环境10中。因此，第一电子设备14和第二电子设备44处于第一环境10中。在图1D的示例中，第一电子设备14确定第二电子设备44处于第一环境10中。当第一电子设备14和第二电子设备44处于相同的环境中时，该环境可被称为共享环境(例如，共享物理布景)。当第一电子设备14检测到第二电子设备44处于与第一电子设备14相同的环境中时，第一电子设备14认为第二电子设备44是本地的(例如，而不是远程的)。
在各种具体实施中，响应于确定第二电子设备44是本地的，第一电子设备14掩蔽第二通信数据46的一部分。例如，在一些具体实施中，第一电子设备14放弃在第一电子设备14的显示器上显示第二视频数据50。由于第一电子设备14不显示第二视频数据50，因此第一电子设备14允许第一人12观看第二人42，而不被第二视频数据50的呈现分散注意力。在一些具体实施中，第一电子设备14放弃通过第一电子设备14的扬声器播放第二音频数据48。在一些具体实施中，不播放第二音频数据48允许第一人12听取第二人42的语音80。由于第一电子设备14没有播放第二音频数据48，因此第二音频数据48不干扰第二人42的语音80，从而允许第一人12听取语音80。类似地，在一些具体实施中，响应于确定第一电子设备14是本地的，第二电子设备44掩蔽第一通信数据16的一部分(例如，第二电子设备44放弃显示第一视频数据20并且/或者放弃播放第一音频数据18)。如本文所述，在一些具体实施中，第一通信数据16包括第一环境数据22(如图1C所示)，并且第二通信数据46包括第二环境数据52(如图1C所示)。在此类具体实施中，当第一电子设备14和第二电子设备44是本地的时，第一电子设备14掩蔽第二环境数据52的一部分，并且第二电子设备44掩蔽第一环境数据22的一部分。
在一些具体实施中，第一电子设备14显示第一环境10的第一视频透传74。在一些具体实施中，第一电子设备14包括具有第一视场72的图像传感器(例如，后向相机)。第一视频透传74表示由第一电子设备14的图像传感器所捕获的视频馈送。由于第二人42处于第一视场72中，因此第一视频透传74包括第二人42的表示(例如，第二人42的视频馈送)。类似地，在一些具体实施中，第二电子设备44显示第一环境10的第二视频透传78。在一些具体实施中，第二电子设备44包括具有第二视场76的图像传感器。第二视频透传78表示由第二电子设备44的图像传感器所捕获的视频馈送。由于第一人12处于第一视场76中，因此第二视频透传78包括第一人12的表示(例如，第一人12的视频馈送)。
参见图1E，响应于确定第二电子设备44是本地的，第一HMD 24掩蔽第二通信数据46的一部分。例如，在一些具体实施中，第一HMD 24放弃在第一ER布景26内显示第二视频数据50和/或表示第二人42的ER对象30(如图1C所示)。在一些具体实施中，第一HMD 24放弃通过第一HMD 24的扬声器播放第二音频数据48。在一些具体实施中，不播放第二音频数据48允许第一人12听取第二人42的语音80。由于第一HMD 24没有播放第二音频数据48，因此第二音频数据48不干扰第二人42的语音80，从而允许第一人12听取语音80。
在一些具体实施中，第一HMD 24呈现第一环境10的第一透传84。在一些具体实施中，第一HMD 24包括具有第一检测场82的环境传感器(例如，深度传感器诸如深度相机，和/或图像传感器诸如后向相机)。在一些具体实施中，第一透传84包括类似于图1D所示的第一视频透传74的视频透传。在一些具体实施中，第一透传84包括光学透传，其中允许来自第一环境10的光(例如，自然光或人造光)进入第一人12的眼睛。由于第二人42处于第一检测场82中，因此第一透传84包括第二人42的表示(例如，第二人42的视频馈送，或从第二人42反射出来的光)。呈现第一透传84增强了第一HMD 24提供的用户体验，因为第一透传84往往比显示第二视频数据50或基于第二环境数据52生成ER对象30具有更低的延迟。
参考图1F，响应于确定第一HMD 24是本地的，第二HMD 54掩蔽第一通信数据16的一部分。例如，在一些具体实施中，第二HMD 54放弃在第二ER布景56内显示第一视频数据20或表示第一人12的ER对象60(如图1C所示)。在一些具体实施中，第二HMD 54放弃通过第二HMD54的扬声器播放第一音频数据18。在一些具体实施中，不播放第一音频数据18允许第二人42听取第一人12的语音(例如，来自第一人12的直接音频)。由于第二HMD 54没有播放第一音频数据18，因此第一音频数据18不干扰第一人12的语音，从而允许第二人42听取该语音。
在一些具体实施中，第二HMD 54呈现第一环境10的第二透传88。在一些具体实施中，第二HMD 54包括具有第二检测场86的环境传感器(例如，深度传感器诸如深度相机，和/或图像传感器诸如后向相机)。在一些具体实施中，第二透传88包括类似于图1D所示的第二视频透传78的视频透传。在一些具体实施中，第二透传88包括光学透传，其中允许来自第一环境10的光(例如，自然光或人造光)进入第二人42的眼睛。由于第一人12处于第二检测场86中，因此第二透传88包括第一人12的表示(例如，第一人12的视频馈送，或从第一人12反射出来的光)。呈现第二透传88增强了第二HMD 54提供的用户体验，因为第二透传88往往比显示第一视频数据20或基于第一环境数据22生成ER对象60具有更低的延迟。
如图1G所示，在一些具体实施中，第一HMD 24与多个设备通信。图1G示出了包括与第三电子设备94相关联的第三人92的第三环境90。图1G还示出了包括与第三HMD 104相关联的第四人102(例如，第四人102正将第三HMD 104佩戴在第四人102的头部上)的第四环境100。在图1G的示例中，第一HMD 24与第二HMD 54、第三电子设备94和第三HMD 104通信。在一些具体实施中，第一HMD 24、第二HMD 54、第三电子设备94和第三HMD 104处于电话会议中(例如，处于电话会议会话中)。
在一些具体实施中，第一HMD 24确定第二HMD 54是本地的，因为第二HMD 54处于与第一HMD 24相同的环境中。因此，如本文所述，在一些具体实施中，第一HMD 24掩蔽与第二HMD 24相关联的通信数据的一部分。此外，如本文所述，在一些具体实施中，第一HMD 24呈现第一环境10的第一透传84。如图1G所示，第一HMD 24在第一ER布景26内呈现第一透传84。
在一些具体实施中，第一HMD 24确定第三电子设备94是远程的，因为第三电子设备94不与第一HMD 24处于相同的环境中。在一些具体实施中，第一HMD 24确定第三电子设备94是非HMD(例如，平板电脑、智能电话、媒体播放器、膝上型电脑或台式计算机)。在图1G的示例中，第一HMD 24显示卡GUI元素96，该卡GUI元素包括与第三电子设备94相关联(例如，源自第三电子设备94)的视频数据98。
在一些具体实施中，第一HMD 24确定第三HMD 104是远程的，因为第三HMD 104不与第一HMD 24处于相同的环境中。在一些具体实施中，第一HMD 24确定第四人102正在使用HMD型设备。因此，如图1G所示，第一HMD 24显示表示第四人102的ER对象106。在一些具体实施中，ER对象106包括第四人102的ER表示。在一些具体实施中，ER对象106包括第四人102的头像。
图2A是呈现通信数据的方法200的流程图表示。在各种具体实施中，方法200由与第一人相关联的第一设备执行。在一些具体实施中，该第一设备包括显示器、非暂态存储器以及与该显示器和该非暂态存储器耦接的一个或多个处理器。在一些具体实施中，方法200由第一电子设备14、第二电子设备44、第一HMD 24和/或第二HMD 54执行。在一些具体实施中，方法200由处理逻辑部件(包括硬件、固件、软件或其组合)执行。在一些具体实施中，方法200由执行存储在非暂态计算机可读介质(例如，存储器)中的代码的处理器执行。
如框210所示，在各种具体实施中，方法200包括获取与对应于第二人的第二设备相关联(例如，源自该第二设备或由该第二设备生成)的通信数据。例如，如图1A所示，第一电子设备14获取与第二电子设备44相关联的第二通信数据46。在一些具体实施中，方法200包括通过网络接收通信数据。在一些具体实施中，通信数据包括音频数据(例如，网络音频，例如图1A至图1F所示的第二音频数据48)。在一些具体实施中，通信数据包括视频数据(例如，图1A至图1F所示的第二视频数据50)。在一些具体实施中，通信数据包括环境数据(例如，图1C所示的第二环境数据52)。在一些具体实施中，通信数据(例如，视频数据和/或环境数据)对表示第二人的ER对象(例如，头像)进行编码。
如框220所示，在各种具体实施中，方法200包括确定第一设备和第二设备是否处于共享环境中。在一些具体实施中，方法200包括由第一设备确定第二设备是否处于与第一设备相同的环境中。例如，第一电子设备14确定第二电子设备44是否处于第一环境10中。在一些具体实施中，方法200包括由第一设备确定第二设备是本地的还是远程的。
如框230所示，在各种具体实施中，方法200包括响应于确定第一设备和第二设备不在共享环境中，基于与第二设备相关联的通信数据显示第二人的ER表示。在一些具体实施中，显示ER表示包括显示通信数据中所包括的视频数据。例如，如图1A所示，第一电子设备14响应于确定第二电子设备44不在第一环境10中而显示第二视频数据50。在一些具体实施中，显示ER表示包括显示ER布景，在ER布景内显示卡GUI元素，以及在卡GUI元素内显示与第二设备相关联的视频数据。例如，如图1B所示，第一HMD 24显示第一ER布景26、第一ER布景26内的卡GUI元素28以及卡GUI元素28内的第二视频数据50。在一些具体实施中，显示ER表示包括基于与第二设备相关的视频数据和/或环境数据生成ER对象，以及在ER布景中显示ER对象。例如，如图1C所示，第一HMD 24生成并显示表示第二人42的ER对象30。
参考图2B，如框240所示，在一些具体实施中，方法200包括确定第二设备的设备类型，以及基于该设备类型生成第二人的ER表示。例如，如图1B至图1C所示，第一HMD 24确定与第二人42相关联的设备的设备类型，并且基于该设备类型生成第二人的ER表示。在图1B的示例中，第一HMD 24确定第二人42正在使用非HMD，并且第一HMD 24对第二视频数据50进行解码并将其显示在卡GUI元素28内。在图1C的示例中，第一HMD 24确定第二人42正在使用HMD，并且第一HMD 24生成并显示表示第二人42的ER对象30。
如框242所示，在一些具体实施中，方法200包括响应于设备类型为第一设备类型，基于与第二设备相关联的通信数据生成第二人的第一类型的ER表示。如框242a所示，在一些具体实施中，生成第二人的第一类型的ER表示包括生成表示第二人的三维(3D)ER对象(例如，头像)。如框242b所示，在一些具体实施中，第一设备类型包括HMD。例如，如图1C所示，第一HMD 24响应于确定第二人42正在使用HMD而生成表示第二人42的ER对象30。
如框244所示，在一些具体实施中，方法200包括响应于设备类型为第二设备类型，基于与第二设备相关联的通信数据生成第二人的第二类型的ER表示。如框244a所示，在一些具体实施中，生成第二人的第二类型的ER表示包括生成表示第二人的二维(2D)ER对象。如框244b所示，在一些具体实施中，第二类型的ER表示包括第二人的视频。在一些具体实施中，该视频在与第二设备相关联的通信数据中被编码。如框244c所示，在一些具体实施中，第二设备类型包括手持设备(例如，智能电话、平板电脑、膝上型电脑、媒体播放器和/或手表)。如框244d所示，在一些具体实施中，第二设备类型包括不是HMD的设备(例如，非HMD，诸如手持设备、台式计算机、电视和/或投影仪)。如框244e所示，在一些具体实施中，方法200包括在与卡(例如，卡GUI元素，例如图1B所示的卡GUI元素28)的相似度内的GUI元素内显示第二人的第二类型的ER表示。例如，如图1B所示，第一HMD 24响应于确定第二人42与非HMD相关联而显示第二视频数据50。在一些具体实施中，方法200包括基于第二人和/或第二电子设备在第二环境内的移动来改变GUI元素(例如，卡GUI元素28)在第一ER布景内的位置。例如，方法200包括在与第二人和/或第二电子设备相同的方向上移动GUI元素。
参考图2C，如框250所示，在一些具体实施中，第一设备包括一个或多个扬声器，并且方法200包括经由该一个或多个扬声器输出对应于第二人的音频。在一些具体实施中，音频被空间化以便提供音频源自第二人的ER表示的外观。例如，如相对于图1B所述，第一HMD24使第二音频数据48空间化以便提供第二音频数据48源自卡GUI元素28的外观。类似地，如相对于图1C所述，第一HMD 24使第二音频数据48空间化以便提供第二音频数据48源自表示第二人42的ER对象30的外观。
如框252所示，在一些具体实施中，方法200包括基于与第二设备相关联的通信数据来生成音频。例如，如图1A所示，第一电子设备14从第二通信数据46中提取第二音频数据48。在一些具体实施中，方法200包括对通信数据进行解码以便识别音频(例如，第一电子设备14对第二通信数据46进行解码以便识别第二音频数据48)。
如框254所示，在一些具体实施中，方法200包括生成前期反射以便提供音频正从表面反射出来的外观。例如，第一HMD 24为第二音频数据48生成前期反射，以便提供与第二音频数据48对应的声音正从第一环境10的表面反射出来的外观。在一些具体实施中，方法200包括在输出音频之前输出前期反射(例如，第一HMD 24在播放第二音频数据48之前输出前期反射)。在一些具体实施中，方法200包括同时输出前期反射和音频(例如，第一HMD 24同时播放第二音频数据48的前期反射和第二音频数据48)。在一些具体实施中，方法200包括基于第一环境的类型生成前期反射。在一些具体实施中，第一环境是物理布景，并且前期反射提供音频正从物理布景的物理表面反射出来的外观。在一些具体实施中，第一环境是ER布景(例如，虚拟环境)，并且前期反射提供音频正从ER布景的ER表面(例如，虚拟表面)反射出来的外观。
如框256所示，在一些具体实施中，方法200包括生成后期回响以便提供音频有回声的外观。例如，第一HMD 24为第二音频数据48生成后期回响，以便提供与第二音频数据48对应的声音正在第一环境10中发出回声的外观。在一些具体实施中，方法200包括在输出音频之后输出后期回响(例如，第一HMD 24在播放第二音频数据48之后输出后期回响)。在一些具体实施中，方法200包括基于第一环境的类型生成后期回响。在一些具体实施中，第一环境是物理布景，并且后期回响提供音频正在物理布景中发出回声的外观。在一些具体实施中，第一环境是ER布景(例如，虚拟环境)，并且前期反射提供音频正从ER布景的ER表面(例如，虚拟表面)反射出来的外观。
如框260所示，在一些具体实施中，方法200包括响应于确定第一设备和第二设备处于共享环境中，放弃显示第二人的ER表示。在一些具体实施中，方法200包括放弃显示与第二设备相关联的通信数据中所包括的视频数据。例如，如图1D所示，响应于确定第二电子设备44处于与第一电子设备14相同的环境中，第一电子设备14放弃显示第二视频数据50。类似地，如图1E所示，响应于确定第二电子设备44处于与第一电子设备14相同的环境中，第一HMD 24放弃显示第二视频数据50。在一些具体实施中，方法200包括放弃显示基于与第二人相关联的通信数据生成的第二人的ER表示(例如，当第二人是本地的时，放弃显示第二人的头像)。例如，如图1F所示，响应于确定第二HMD 54处于与第一HMD 24相同的环境中，第一HMD 24放弃显示表示第二人的ER对象30。
如框262所示，在一些具体实施中，方法200包括呈现共享环境的透传。例如，如图1E至图1F所示，第一HMD 24呈现第一环境10的第一透传84。如框262a所示，在一些具体实施中，方法200包括呈现共享环境的光学透传。例如，如相对于图1E至图1F所述，在一些具体实施中，第一透传84包括光学透传。如框262b所示，在一些具体实施中，方法200包括显示共享环境的视频透传。例如，显示图1D中所示的第一视频透传74。例如，如相对于图1E至图1F所述，在一些具体实施中，第一透传84包括视频透传。如框262c所示，在一些具体实施中，方法200包括显示窗口并在窗口内呈现透传。例如，如图1E至图1F所示，在与图1B所示的卡GUI元素28类似的卡GUI元素内示出了第一透传84。
参考图2D，如框220a所示，在一些具体实施中，共享环境包括共享物理布景。例如，如相对于图1A所述，在一些具体实施中，第一环境10包括第一物理布景。如框220b所示，在一些具体实施中，共享环境包括共享ER布景。例如，如相对于图1A所述，在一些具体实施中，第一环境10包括第一ER布景。
如框220c所示，在一些具体实施中，确定第一设备和第二设备是否处于共享环境中包括确定与第二设备相关联的标识符(ID)是否能够经由短程通信检测到。示例性短程通信包括蓝牙、Wi-Fi、近场通信(NFC)、ZigBee等。例如，相对于图1A，第一电子设备14确定第一电子设备14是否可以检测到与第二电子设备44相关联的ID。在图1A的示例中，第一电子设备14未经由短程通信检测到与第二电子设备44相关联的ID。因此，第一电子设备14确定第二电子设备44是远程的。又如，相对于图1C，在一些具体实施中，第一HMD 24确定第二HMD54是远程的，因为第一HMD 24无法经由短程通信检测第二HMD 54的ID。又如，相对于图1F，第一HMD 24确定第二HMD 54是本地的，因为第一HMD 24经由短程通信检测到第二HMD 54的ID。
如框220d所示，在一些具体实施中，确定第一设备和第二设备是否处于共享环境中包括确定经由第一设备的麦克风接收的音频是否在与第二设备相关联的通信数据中被编码的音频的相似度内。例如，在一些具体实施中，方法200包括确定来自第二人的直接音频是否在与跟第二设备相关联的网络音频的相似度内。例如，相对于图1D，在一些具体实施中，第一电子设备14确定第二电子设备44是本地的，因为第二人42的语音80在与在第二通信数据46中被编码的第二音频数据48的相似度内。
如框220e所示，在一些具体实施中，确定第一设备和第二设备是否处于共享环境中包括基于经由第一设备的图像传感器捕获的图像来确定第二人是否处于共享环境中。例如，相对于图1D，在一些具体实施中，第一电子设备14捕获对应于第一视场72的图像，并且对该图像执行面部检测/识别以确定第二人42是否处于第一环境10中。由于第二人42处于第一视场72中，因此在对该图像执行面部检测/识别之后，第一电子设备14确定第二人42是本地的。
图3A是掩蔽通信数据的方法300的流程图表示。在各种具体实施中，方法300由第一设备来执行，该第一设备包括输出设备、非暂态存储器以及与该输出设备和该非暂态存储器耦接的一个或多个处理器。在一些具体实施中，方法300由第一电子设备14、第二电子设备44、第一HMD 24和/或第二HMD 54执行。在一些具体实施中，方法300由处理逻辑部件(包括硬件、固件、软件或它们的组合)执行。在一些具体实施中，方法300由执行存储在非暂态计算机可读介质(例如，存储器)中的代码的处理器执行。
如框310所示，在各种具体实施中，方法300包括在第一设备处于与第二设备的通信会话中时，获取与第二设备相关联(例如，源自该第二设备或由该第二设备生成)的通信数据。例如，如图1D所示，第一电子设备14获取与第二电子设备44相关联的第二通信数据46。在一些具体实施中，方法300包括通过网络接收通信数据。在一些具体实施中，通信数据包括音频数据(例如，网络音频，例如图1A至图1F所示的第二音频数据48)。在一些具体实施中，通信数据包括视频数据(例如，图1A至图1F所示的第二视频数据50)。在一些具体实施中，通信数据包括环境数据(例如，图1C所示的第二环境数据52)。在一些具体实施中，通信数据(例如，视频数据和/或环境数据)对表示第二人的ER对象(例如，头像)进行编码。
如框320所示，在各种具体实施中，方法300包括确定第一设备和第二设备处于共享环境中。在一些具体实施中，方法300包括由第一设备确定第二设备处于与第一设备相同的环境中。例如，相对于图1D，第一电子设备14确定第二电子设备44处于第一环境10中。在一些具体实施中，方法300包括由第一设备确定第二设备是本地的。
如框330所示，在各种具体实施中，方法300包括掩蔽通信数据的一部分，以便防止输出设备输出通信数据的该一部分。在一些具体实施中，掩蔽通信数据的一部分包括放弃呈现通信数据的该一部分。例如，相对于图1D，第一电子设备14响应于确定第二电子设备44是本地的而放弃呈现第二通信数据46。在各种具体实施中，当第二设备是本地的时，掩蔽通信数据的一部分通过允许第一人在没有与网络通信相关联的延迟的情况下直接听取和/或看到第二人来增强第一设备的用户体验。
参考图3B，如框320a所示，在一些具体实施中，确定第一设备和第二设备是否处于共享物理布景中包括经由短程通信检测与第二设备相关联的标识符。示例性短程通信包括蓝牙、Wi-Fi、近场通信(NFC)、ZigBee等。例如，相对于图1D，在一些具体实施中，第一电子设备14响应于经由短程通信检测到与第二电子设备44相关联的ID而确定第二电子设备44是本地的。又如，相对于图1F，在一些具体实施中，第一HMD 24响应于经由短程通信检测到第二HMD 54的ID而确定第二HMD 54是本地的。
如框320b所示，在一些具体实施中，确定第一设备和第二设备处于共享物理布景中包括经由第一设备的麦克风检测第一音频，该第一音频在与在通信数据中被编码的第二音频的相似度内(例如，在该第二音频的相似度阈值内)。在一些具体实施中，方法300包括响应于检测到在与在通信数据中被编码的网络音频的相似度内的直接音频而确定第二设备是本地的。例如，相对于图1E，在一些具体实施中，第一HMD 24响应于经由第一HMD 24的麦克风检测到语音80并且确定语音80在与在第二通信数据46中被编码的第二音频数据48的相似度内而确定第二电子设备44是本地的。
如框320c所示，在一些具体实施中，确定第一设备和第二设备处于共享物理布景中包括经由第一设备的图像传感器检测与第二设备相关联的人。例如，相对于图1D，在一些具体实施中，第一电子设备14捕获对应于第一视场72的图像，并且对该图像执行面部检测/识别以确定第二人42是否处于第一环境10中。由于第二人42处于第一视场72中，因此在对该图像执行面部检测/识别之后，第一电子设备14确定第二设备44是本地的。
如框330a所示，在一些具体实施中，输出设备包括扬声器，并且掩蔽通信数据的一部分包括掩蔽通信数据的音频部分以便防止扬声器播放通信数据的该音频部分。如相对于图1D所述，在一些具体实施中，第一电子设备14掩蔽第二音频数据48，以便防止第一电子设备14的扬声器播放第二音频数据48。如本文所述，放弃在第一电子设备14处播放第二音频数据48通过允许第一人12在没有第二音频数据48的干扰的情况下听取由第二人42讲出的语音80来增强第一电子设备14的用户体验。
如框330b所示，在一些具体实施中，输出设备包括显示器，并且掩蔽通信数据的一部分包括掩蔽通信数据的视频部分以便防止显示器显示通信数据的该视频部分。如相对于图1E所述，在一些具体实施中，第一HMD 24掩蔽第二视频数据50，以便防止第一HMD 24的显示器显示第二视频数据50。如本文所述，放弃在第一HMD 24处显示第二视频数据50通过不使第一人12被第二视频数据50分散注意力并且允许第一人12看到第一环境10的第一透传84来增强第一HMD 24的用户体验。
如框330c所示，在一些具体实施中，通信数据对与第二设备相关联的人的ER表示进行编码，并且掩蔽通信数据的一部分包括放弃显示该人的ER表示。例如，如相对于图1F所示，在一些具体实施中，第一HMD 24响应于确定第二人42处于与第一HMD 24相同的环境中而放弃显示表示第二人42的ER对象30。如本文所述，放弃在第一HMD 24处显示ER对象30通过允许第一人12看到与相比于生成和显示ER对象30的更低延迟相关联的第一透传84来增强第一HMD 24的用户体验。
如框340所示，在一些具体实施中，方法300包括呈现共享物理布景的透传。例如，如图1E至图1F所示，第一HMD 24呈现第一环境10的第一透传84。如框340a所示，在一些具体实施中，呈现透传包括呈现共享物理布景的光学透传。例如，如相对于图1E至图1F所述，在一些具体实施中，第一透传84包括光学透传，其中第一HMD 24允许来自第一环境10的光到达第一人12的眼睛。如框340b所示，在一些具体实施中，呈现透传包括显示共享物理布景的视频透传。例如，如相对于图1E至图1F所述，在一些具体实施中，第一透传84包括视频透传，其中第一HMD 24的显示器显示对应于第一检测场82的视频流。
参见图3C，如框350所示，在一些具体实施中，方法300包括检测第二设备远离共享物理布景的移动，以及放弃掩蔽通信数据的一部分以便允许输出设备输出通信数据的该一部分。例如，在一些具体实施中，第一电子设备14检测到第二电子设备44已离开第一环境10，并且第一电子设备14响应于检测到第二电子设备44已离开第一环境10而放弃掩蔽第二通信数据46。
如框350a所示，在一些具体实施中，检测第二设备远离共享物理布景的移动包括确定经由短程通信无法检测到与第二设备相关联的标识符。例如，在一些具体实施中，第一电子设备14和/或第一HMD 24确定经由短程通信无法检测到与第二电子设备44和/或第二HMD 54相关联的ID。
如框350b所示，在一些具体实施中，检测第二设备远离共享物理布景的移动包括确定经由第一设备的麦克风检测到的第一音频不在与在通信数据中被编码的第二音频的相似度内。例如，在一些具体实施中，第一电子设备14和/或第一HMD 24确定经由第一电子设备14和/或第一HMD 24的麦克风检测到的音频与第二音频数据48不匹配。
如框350c所示，在一些具体实施中，检测第二设备远离共享物理布景的移动包括确定由第一设备的环境传感器所捕获的环境数据指示与第二设备相关联的人已移动远离共享物理布景。例如，在一些具体实施中，第一电子设备14和/或第一HMD 24确定由第一电子设备14和/或第一HMD 24的环境传感器所捕获的环境数据(例如，由相机捕获的图像和/或由深度传感器捕获的深度数据)指示第二人42不在第一环境10中。
如框350d所示，在一些具体实施中，输出设备包括扬声器，并且放弃掩蔽通信数据的一部分包括经由扬声器输出通信数据的音频部分。例如，响应于确定第二电子设备44和/或第二HMD 54已离开第一环境10，第一电子设备14和/或第一HMD 24输出第二音频数据48。
如框350e所示，在一些具体实施中，输出音频部分包括使音频部分空间化以便提供该音频部分正源自与第二设备相关联的人的ER表示的外观。例如，如相对于图1B至图1C所述，第一电子设备14和/或第一HMD24使第二音频数据48空间化，以便提供第二音频数据48正源自卡GUI元素28或表示第二人42的ER对象30的外观。
如框350f所示，在一些具体实施中，输出设备包括显示器，并且其中放弃掩蔽通信数据的一部分包括在显示器上显示通信数据的视频部分。例如，在一些具体实施中，响应于检测到第二电子设备44已离开第一环境10，第一电子设备14和/或第一HMD 24显示第二视频数据50。
如框350g所示，在一些具体实施中，通信数据对与第二设备相关联的人的ER表示进行编码，并且放弃掩蔽通信数据的一部分包括显示该人的ER表示。例如，在一些具体实施中，响应于检测到第二HMD 54已离开第一环境10，第一HMD 24显示表示第二人42的ER对象30。
图4是根据一些具体实施的呈现/掩蔽通信数据的设备400的框图。尽管示出了一些具体特征，但本领域的普通技术人员将从本公开中认识到，为简洁起见并且为了不模糊本文所公开的具体实施的更多相关方面，未示出各种其他特征。为此，作为非限制性示例，在一些具体实施中，设备400包括一个或多个处理单元(CPU)401、网络接口402、编程接口403、存储器404、环境传感器407、一个或多个输入/输出(I/O)设备410以及用于互连这些和各种其他部件的一条或多条通信总线405。
在一些具体实施中，提供了网络接口402以便除其他用途之外，在云托管的网络管理系统与包括一个或多个兼容设备的至少一个专用网络之间建立和维护元数据隧道。在一些具体实施中，一条或多条通信总线405包括互连和控制系统部件之间的通信的电路。存储器404包括高速随机存取存储器，诸如DRAM、SRAM、DDR RAM或其他随机存取固态存储器设备，并且可包括非易失性存储器，诸如一个或多个磁盘存储设备、光盘存储设备、闪存存储器设备或其他非易失性固态存储设备。存储器404任选地包括与一个或多个CPU 401远程地定位的一个或多个存储设备。存储器404包括非暂态计算机可读存储介质。
在各种具体实施中，环境传感器407包括图像传感器。例如，在一些具体实施中，环境传感器407包括相机(例如，面向场景的相机、面向外的相机或后向相机)。在一些具体实施中，环境传感器407包括深度传感器。例如，在一些具体实施中，环境传感器407包括深度相机。
在一些具体实施中，存储器404或者存储器404的非暂态计算机可读存储介质存储下述程序、模块和数据结构或者其子集，其中包括任选的操作系统406、数据获取器410、环境分析器420和ER体验生成器430。在各种具体实施中，设备400执行图2A至图2D所示的方法200。在各种具体实施中，设备400执行图3A至图3C所示的方法300。在各种具体实施中，设备400实现第一电子设备14、第二电子设备44、第一HMD 24、第二HMD 54、第三电子设备94和/或第三HMD 104。
在一些具体实施中，数据获取器410获取数据。在一些具体实施中，数据获取器410获取与另一设备相关联的通信数据(例如，图1A至图1F所示的第二通信数据46)。在一些具体实施中，数据获取器410执行方法200的至少一部分。例如，在一些具体实施中，数据获取器410执行由图2A所示的方框210表示的操作。在一些具体实施中，数据获取器410执行方法300的至少一部分。例如，在一些具体实施中，数据获取器410执行由图3A所示的方框310表示的操作。为此，数据获取器410包括指令410a以及启发法和元数据410b。
如本文所述，在一些具体实施中，环境分析器420确定设备400和另一设备是否处于共享环境中。例如，环境分析器420确定第一电子设备14和第二电子设备44是否处于第一环境10中。在一些具体实施中，环境分析器420执行方法200的至少一部分。例如，在一些具体实施中，环境分析器420执行由图2A和图2D中的框220表示的操作。在一些具体实施中，环境分析器420执行方法300的至少一部分。例如，在一些具体实施中，环境分析器420执行由图3A和图3B中的框320表示的操作。为此，环境分析器420包括指令420a以及启发法和元数据420b。
在一些具体实施中，响应于环境分析器420确定另一设备是远程的(例如，与设备400不在相同的环境中)，ER体验生成器430显示与该另一设备相关联的人的ER表示。在一些具体实施中，ER体验生成器430执行方法200的至少一部分。例如，在一些具体实施中，ER体验生成器430执行由图2A至图2C中的框230、240、250和260表示的操作。在一些具体实施中，响应于环境分析器420确定另一设备是本地的(例如，与设备400处于相同的环境中)，ER体验生成器430掩蔽通信数据的一部分。在一些具体实施中，ER体验生成器430执行方法300的至少一部分。例如，在一些具体实施中，ER体验生成器430执行由图3A至图3C所示的框330、340和350表示的操作。为此，ER体验生成器430包括指令430a以及启发法和元数据430b。
在一些具体实施中，一个或多个I/O设备410包括用于捕获与环境(例如，图1A至图1G所示的第一环境10)相关联的环境数据的一个或多个传感器。例如，在一些具体实施中，一个或多个I/O设备410包括图像传感器(例如，相机)、环境光传感器(ALS)、麦克风和/或位置传感器。在一些具体实施中，一个或多个I/O设备410包括用于呈现通信数据的显示器(例如，不透明显示器或光学透视显示器)和/或扬声器。
虽然上文描述了在所附权利要求书范围内的具体实施的各个方面，但是应当显而易见的是，上述具体实施的各种特征可通过各种各样的形式体现，并且上述任何特定结构和/或功能仅是例示性的。基于本公开，本领域的技术人员应当理解，本文所述的方面可以独立于任何其他方面来实现，并且这些方面中的两个或更多个可以采用各种方式组合。例如，可以使用本文阐述的任何数量的方面来实现装置和/或可以实践方法。另外，除了本文阐述的一个或多个方面之外或者不同于本文阐述的一个或多个方面，可以使用其他结构和/或功能来实现这样的装置和/或可以实践这样的方法。
还将理解的是，虽然术语“第一”、“第二”等可能在本文中用于描述各种元素，但是这些元素不应当被这些术语限定。这些术语只是用于将一个元件与另一元件区分开。例如，第一节点可以被称为第二节点，并且类似地，第二节点可以被称为第一节点，其改变描述的含义，只要所有出现的“第一节点”被一致地重命名并且所有出现的“第二节点”被一致地重命名。第一节点和第二节点都是节点，但它们不是同一个节点。
本文中所使用的术语仅仅是为了描述特定具体实施并非旨在对权利要求进行限制。如在本具体实施的描述和所附权利要求书中所使用的那样，单数形式的“一个”、“一”和“该”旨在也涵盖复数形式，除非上下文清楚地另有指示。还将理解的是，本文中所使用的术语“和/或”是指并且涵盖相关联的所列出的项目中的一个或多个项目的任何和全部可能的组合。还将理解的是，术语“包括”和/或“包含”在本说明书中使用时是指定存在所陈述的特征、整数、步骤、操作、元件和/或部件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、部件，和/或其分组。
如本文所使用的，术语“如果”可以被解释为表示“当所述先决条件为真时”或“在所述先决条件为真时”或“响应于确定”或“根据确定”或“响应于检测到”所述先决条件为真，具体取决于上下文。类似地，短语“如果确定[所述先决条件为真]”或“如果[所述先决条件为真]”或“当[所述先决条件为真]时”被解释为表示“在确定所述先决条件为真时”或“响应于确定”或“根据确定”所述先决条件为真或“当检测到所述先决条件为真时”或“响应于检测到”所述先决条件为真，具体取决于上下文。

Claims (49)

1.一种方法，所述方法包括：
在与第一人相关联的第一设备处，所述第一设备包括显示器、非暂态存储器以及与所述显示器和所述非暂态存储器耦接的一个或多个处理器：
获取与对应于第二人的第二设备相关联的通信数据；
确定所述第一设备和所述第二设备是否处于共享环境中；以及
响应于确定所述第一设备和所述第二设备不在共享环境中，基于与所述第二设备相关联的所述通信数据显示所述第二人的虚拟表示。
2.根据权利要求1所述的方法，所述方法还包括：
确定所述第二设备的设备类型，以及
基于所述设备类型生成所述第二人的所述虚拟表示。
3.根据权利要求2所述的方法，所述方法还包括：
响应于所述设备类型是第一设备类型，基于与所述第二设备相关联的所述通信数据生成所述第二人的第一类型的所述虚拟表示。
4.根据权利要求3所述的方法，其中生成所述第二人的所述第一类型的所述虚拟表示包括生成表示所述第二人的三维(3D)虚拟对象。
5.根据权利要求3和4中任一项所述的方法，其中所述第一设备类型包括头戴式设备(HMD)。
6.根据权利要求2所述的方法，所述方法还包括：
响应于所述设备类型是第二设备类型，基于与所述第二设备相关联的所述通信数据生成所述第二人的第二类型的所述虚拟表示。
7.根据权利要求6所述的方法，其中生成所述第二人的所述第二类型的所述虚拟表示包括生成表示所述第二人的二维(2D)虚拟对象。
8.根据权利要求6所述的方法，其中所述第二类型的所述虚拟表示包括所述第二人的视频，其中所述视频在与所述第二设备相关联的所述通信数据中被编码。
9.根据权利要求6至8中任一项所述的方法，其中所述第二设备类型包括手持设备。
10.根据权利要求6至9中任一项所述的方法，其中所述第二设备类型包括不是头戴式设备的设备。
11.根据权利要求6至10中任一项所述的方法，还包括：
在卡的相似度阈值内的图形用户界面(GUI)元素内显示所述第二人的所述第二类型的所述虚拟表示。
12.根据权利要求1至11中任一项所述的方法，其中所述第一设备包括一个或多个扬声器，并且所述方法还包括：
经由所述一个或多个扬声器输出与所述第二人对应的音频，其中所述音频被空间化以便提供所述音频正源自所述第二人的所述虚拟表示的外观。
13.根据权利要求12所述的方法，还包括基于与所述第二设备相关联的所述通信数据来生成所述音频。
14.根据权利要求12和13中任一项所述的方法，还包括生成前期反射以便提供所述音频正从表面反射出来的外观。
15.根据权利要求12至14中任一项所述的方法，还包括生成后期回响以便提供所述音频具有回声的外观。
16.根据权利要求1至15中任一项所述的方法，还包括：
响应于确定所述第一设备和所述第二设备处于共享环境中，放弃显示所述第二人的所述虚拟表示。
17.根据权利要求16所述的方法，还包括：
呈现所述共享环境的透传。
18.根据权利要求17所述的方法，其中呈现所述透传包括呈现所述共享环境的光学透传。
19.根据权利要求17所述的方法，其中呈现所述透传包括显示所述共享环境的视频透传。
20.根据权利要求17至19中任一项所述的方法，其中呈现所述透传包括显示窗口以及在所述窗口内呈现所述透传。
21.根据权利要求1至20中任一项所述的方法，其中所述共享环境包括共享物理布景。
22.根据权利要求1至20中任一项所述的方法，其中所述共享环境包括共享增强型现实(ER)布景。
23.根据权利要求1至22中任一项所述的方法，其中确定所述第一设备和所述第二设备是否处于所述共享环境中包括确定与所述第二设备相关联的标识符是否能够经由短程通信检测到。
24.根据权利要求1至23中任一项所述的方法，其中确定所述第一设备和所述第二设备是否处于所述共享环境中包括确定经由所述第一设备的麦克风所接收的音频是否在与所述第二设备相关联的所述通信数据中被编码的音频的相似度阈值内。
25.根据权利要求1至24中任一项所述的方法，其中确定所述第一设备和所述第二设备是否处于所述共享环境中包括基于经由所述第一设备的图像传感器所捕获的图像来确定所述第二人是否处于所述共享环境中。
26.一种设备，包括：
一个或多个处理器；
显示器；
非暂态存储器；以及
存储在所述非暂态存储器中的一个或多个程序，所述一个或多个程序当由所述一个或多个处理器执行时使所述设备执行权利要求1至25所述的方法中的任一种方法。
27.一种存储一个或多个程序的非暂态存储器，所述一个或多个程序当由具有显示器的设备的一个或多个处理器执行时使所述设备执行权利要求1至25所述的方法中的任一种方法。
28.一种设备，包括：
一个或多个处理器；
显示器；
非暂态存储器；以及
用于使所述设备执行根据权利要求1至25所述的方法中的任一种方法的装置。
29.一种方法，所述方法包括：
在包括输出设备、非暂态存储器以及与所述输出设备和所述非暂态存储器耦接的一个或多个处理器的第一设备处：
在所述第一设备处于与第二设备的通信会话中时：
获取与所述第二设备相关联的通信数据；
确定所述第一设备和所述第二设备处于共享物理布景中；以及
掩蔽所述通信数据的一部分，以便防止所述输出设备输出所述通信数据的所述一部分。
30.根据权利要求29所述的方法，其中所述输出设备包括扬声器，并且其中掩蔽所述通信数据的所述一部分包括掩蔽所述通信数据的音频部分，以便防止所述扬声器播放所述通信数据的所述音频部分。
31.根据权利要求29和30中任一项所述的方法，其中所述输出设备包括显示器，并且其中掩蔽所述通信数据的所述一部分包括掩蔽所述通信数据的视频部分，以便防止所述显示器显示所述通信数据的所述视频部分。
32.根据权利要求29至31中任一项所述的方法，其中所述通信数据对与所述第二设备相关联的人的虚拟表示进行编码，并且其中掩蔽所述通信数据的所述一部分包括放弃显示所述人的所述虚拟表示。
33.根据权利要求29至32中任一项所述的方法，还包括：
呈现所述共享物理布景的透传。
34.根据权利要求33所述的方法，其中呈现所述透传包括呈现所述共享物理布景的光学透传。
35.根据权利要求33所述的方法，其中呈现所述透传包括显示所述共享物理布景的视频透传。
36.根据权利要求29至35中任一项所述的方法，其中确定所述第一设备和所述第二设备处于所述共享物理布景中包括经由短程通信来检测与所述第二设备相关联的标识符。
37.根据权利要求29至36中任一项所述的方法，其中确定所述第一设备和所述第二设备处于所述共享物理布景中包括经由所述第一设备的麦克风检测在所述通信数据中被编码的第二音频的相似度阈值内的第一音频。
38.根据权利要求29至37中任一项所述的方法，其中确定所述第一设备和所述第二设备处于所述共享物理布景中包括经由所述第一设备的图像传感器检测与所述第二设备相关联的人。
39.根据权利要求29至38中任一项所述的方法，还包括：
检测所述第二设备远离所述共享物理布景的移动；以及
放弃掩蔽所述通信数据的所述一部分以便允许所述输出设备输出所述通信数据的所述一部分。
40.根据权利要求39所述的方法，其中检测所述第二设备远离所述共享物理布景的所述移动包括确定经由短程通信无法检测到与所述第二设备相关联的标识符。
41.根据权利要求39和40中任一项所述的方法，其中检测所述第二设备远离所述共享物理布景的所述移动包括确定经由所述第一设备的麦克风检测到的第一音频不在所述通信数据中被编码的第二音频的相似度阈值内。
42.根据权利要求39至41中任一项所述的方法，其中检测所述第二设备远离所述共享物理布景的所述移动包括确定由所述第一设备的环境传感器所捕获的环境数据指示与所述第二设备相关联的人已移动远离所述共享物理布景。
43.根据权利要求39至42中任一项所述的方法，其中所述输出设备包括扬声器，并且其中放弃掩蔽所述通信数据的所述一部分包括经由所述扬声器输出所述通信数据的音频部分。
44.根据权利要求43所述的方法，其中输出所述音频部分包括使所述音频部分空间化，以便提供所述音频部分正源自与所述第二设备相关联的人的虚拟表示的外观。
45.根据权利要求39至44中任一项所述的方法，其中所述输出设备包括显示器，并且其中放弃掩蔽所述通信数据的所述一部分包括在所述显示器上显示所述通信数据的视频部分。
46.根据权利要求39至45中任一项所述的方法，其中所述通信数据对与所述第二设备相关联的人的虚拟表示进行编码，并且其中放弃掩蔽所述通信数据的所述一部分包括显示所述人的所述虚拟表示。
47.一种设备，包括：
一个或多个处理器；
显示器；
非暂态存储器；以及
存储在所述非暂态存储器中的一个或多个程序，所述一个或多个程序当由所述一个或多个处理器执行时使所述设备执行根据权利要求29至46所述的方法中的任一种方法。
48.一种存储一个或多个程序的非暂态存储器，所述一个或多个程序当由具有显示器的设备的一个或多个处理器执行时使所述设备执行权利要求29至46所述的方法中的任一种方法。
49.一种设备，包括：
一个或多个处理器；
显示器；
非暂态存储器；以及
用于使所述设备执行根据权利要求29至46所述的方法中的任一种方法的装置。
CN202080029986.9A 2019-05-31 2020-05-28 基于环境呈现通信数据 Pending CN113767358A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201962855155P 2019-05-31 2019-05-31
US62/855,155 2019-05-31
PCT/US2020/034771 WO2020243212A1 (en) 2019-05-31 2020-05-28 Presenting communication data based on environment

Publications (1)

Publication Number Publication Date
CN113767358A true CN113767358A (zh) 2021-12-07

Family

ID=71078664

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080029986.9A Pending CN113767358A (zh) 2019-05-31 2020-05-28 基于环境呈现通信数据

Country Status (6)

Country Link
US (1) US20230334794A1 (zh)
EP (1) EP3977242A1 (zh)
JP (1) JP7397883B2 (zh)
KR (1) KR20220002444A (zh)
CN (1) CN113767358A (zh)
WO (1) WO2020243212A1 (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160212538A1 (en) * 2015-01-19 2016-07-21 Scott Francis Fullam Spatial audio with remote speakers
US9686466B1 (en) * 2013-06-27 2017-06-20 Google Inc. Systems and methods for environment content sharing
US20170326457A1 (en) * 2016-05-16 2017-11-16 Google Inc. Co-presence handling in virtual reality
US20190088016A1 (en) * 2017-09-15 2019-03-21 Trimble Inc. Collaboration methods to improve use of 3d models in mixed reality environments
WO2019067780A1 (en) * 2017-09-28 2019-04-04 Dakiana Research Llc METHOD AND DEVICE FOR REPAIRING INTERACTIONS WITH THE PHYSICAL ENVIRONMENT DURING SIMULATED REALITY SESSIONS

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8223186B2 (en) * 2006-05-31 2012-07-17 Hewlett-Packard Development Company, L.P. User interface for a video teleconference
US20070279483A1 (en) * 2006-05-31 2007-12-06 Beers Ted W Blended Space For Aligning Video Streams
US20130141456A1 (en) * 2011-12-05 2013-06-06 Rawllin International Inc. Automatic modification of image content for display on a different device
US20140058812A1 (en) * 2012-08-17 2014-02-27 Augme Technologies, Inc. System and method for interactive mobile ads
US9524588B2 (en) * 2014-01-24 2016-12-20 Avaya Inc. Enhanced communication between remote participants using augmented and virtual reality
US20170243403A1 (en) * 2014-11-11 2017-08-24 Bent Image Lab, Llc Real-time shared augmented reality experience
US20170038829A1 (en) * 2015-08-07 2017-02-09 Microsoft Technology Licensing, Llc Social interaction for remote communication
CN106856488B (zh) * 2015-12-08 2020-03-31 阿里巴巴集团控股有限公司 一种场景感知及提供服务的方法及装置
WO2017111942A1 (en) * 2015-12-22 2017-06-29 Thomson Licensing Method and apparatus for providing a recommendation based on the presence of another user
WO2018155052A1 (ja) * 2017-02-24 2018-08-30 ソニーモバイルコミュニケーションズ株式会社 情報処理装置、情報処理方法および情報処理システム
US11148051B2 (en) * 2017-02-28 2021-10-19 Roblox Corporation Virtual reality environment multiplatform adaptive system
US10264380B2 (en) * 2017-05-09 2019-04-16 Microsoft Technology Licensing, Llc Spatial audio for three-dimensional data sets
WO2019055703A2 (en) * 2017-09-13 2019-03-21 Magical Technologies, Llc VIRTUAL DISPLAY PANEL, FACILITATION OF COLLABORATION, AND MESSAGE OBJECTS FOR FACILITATING COMMUNICATION SESSIONS IN AN INCREASED REALITY ENVIRONMENT
DE102017220532B4 (de) * 2017-11-17 2022-06-15 Siemens Healthcare Gmbh Verfahren und Bediensystem zur Steuerung einer Medizintechnikeinrichtung mit einer bewegbaren Komponente
US20190324538A1 (en) * 2018-04-20 2019-10-24 Immersion Corporation Haptic-enabled wearable device for generating a haptic effect in an immersive reality environment
US10602298B2 (en) * 2018-05-15 2020-03-24 Microsoft Technology Licensing, Llc Directional propagation
US10466855B1 (en) * 2018-09-20 2019-11-05 Thomas Nicholas Murto Variable height terrain surface
US10922544B2 (en) * 2019-02-17 2021-02-16 Conduent Business Services, Llc System and interactive methods enabling communication and collaboration in blended ecosystems
US11995776B2 (en) * 2021-01-19 2024-05-28 Samsung Electronics Co., Ltd. Extended reality interaction in synchronous virtual spaces using heterogeneous devices

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9686466B1 (en) * 2013-06-27 2017-06-20 Google Inc. Systems and methods for environment content sharing
US20160212538A1 (en) * 2015-01-19 2016-07-21 Scott Francis Fullam Spatial audio with remote speakers
US20170326457A1 (en) * 2016-05-16 2017-11-16 Google Inc. Co-presence handling in virtual reality
US20190088016A1 (en) * 2017-09-15 2019-03-21 Trimble Inc. Collaboration methods to improve use of 3d models in mixed reality environments
WO2019067780A1 (en) * 2017-09-28 2019-04-04 Dakiana Research Llc METHOD AND DEVICE FOR REPAIRING INTERACTIONS WITH THE PHYSICAL ENVIRONMENT DURING SIMULATED REALITY SESSIONS

Also Published As

Publication number Publication date
US20230334794A1 (en) 2023-10-19
JP2022532864A (ja) 2022-07-20
JP7397883B2 (ja) 2023-12-13
EP3977242A1 (en) 2022-04-06
KR20220002444A (ko) 2022-01-06
WO2020243212A1 (en) 2020-12-03

Similar Documents

Publication Publication Date Title
US11756269B2 (en) Tangibility visualization of virtual objects within a computer-generated reality environment
JP2022502800A (ja) 拡張現実のためのシステムおよび方法
US20200082632A1 (en) Location-Based Virtual Element Modality in Three-Dimensional Content
CN110809149B (zh) 用于计算机生成现实的媒体合成器
CN113646731A (zh) 用于参与共享布景的技术
US11709370B2 (en) Presentation of an enriched view of a physical setting
CN111164540B (zh) 用于在模拟现实会话期间呈现物理环境交互的方法和设备
CN112955850A (zh) 用于衰减模拟现实(sr)空间中的联合用户交互的方法和设备
EP3141985A1 (en) A gazed virtual object identification module, a system for implementing gaze translucency, and a related method
US20240220031A1 (en) Muting mode for a virtual object representing one or more physical elements
US11468611B1 (en) Method and device for supplementing a virtual environment
US20230290047A1 (en) Interactions during a video experience
CN112106020B (zh) 用于合成现实布景的声音处理的方法和设备
CN113574849A (zh) 用于后续对象检测的对象扫描
JP7397883B2 (ja) 環境に基づく通信データの提示
US20230262406A1 (en) Visual content presentation with viewer position-based audio
US11989404B1 (en) Time-based visualization of content anchored in time
CN113906370B (zh) 为物理元素生成内容
US11308716B1 (en) Tailoring a computer-generated reality experience based on a recognized object
US20230403386A1 (en) Image display within a three-dimensional environment
US20240007816A1 (en) Audio Capture with Multiple Devices
US20240078743A1 (en) Stereo Depth Markers
CN113646733A (zh) 辅助表情

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination