CN114207557A

CN114207557A - 虚拟和物理相机的位置同步

Info

Publication number: CN114207557A
Application number: CN202080054608.6A
Authority: CN
Inventors: J·N·克尔; M·努尔卡米; P·A·卡罗
Original assignee: Apple Inc
Current assignee: Apple Inc
Priority date: 2019-09-09
Filing date: 2020-09-09
Publication date: 2022-03-18
Also published as: JP2022541534A; KR102644590B1; KR20220024827A; WO2021050598A1; JP7385733B2; EP3983873A1; US20210074014A1

Abstract

一种用于虚拟相机和物理相机的位置同步的设备，其可以包括处理器，该处理器被配置为确定物理相机在物理环境中相对于另一电子设备的第一位置。该处理器可以被配置为发起将虚拟相机定位在计算机生成的环境内的第二位置，其中在计算机生成的环境中相对于人的表示的第二位置与第一位置重合。该处理器可以被配置为接收由物理相机捕获的图像帧和由虚拟相机生成的虚拟图像帧。该处理器可以被配置为生成计算机生成的现实图像帧，该计算机生成的现实图像帧包括图像帧的至少部分与虚拟图像帧的至少部分的合成。

Description

虚拟和物理相机的位置同步

相关申请的交叉引用

本专利申请要求于2019年9月9日提交的名称为“Positional Synchronizationof Virtual and Physical Cameras”的美国临时专利申请第62/897,910号的优先权权益，该专利申请的公开内容据此全文并入本文。

技术领域

本说明书大体上涉及计算机生成的现实记录，包括虚拟和物理相机的位置同步或位置对准，以生成合成的计算机生成的现实记录。

背景技术

增强现实技术旨在通过提供利用电子信息增强的增强物理环境来桥接计算机生成的环境和物理环境之间的间隙。因此，电子信息看起来是用户感知的物理环境的一部分。在示例中，增强现实技术进一步提供用户界面以与覆盖在增强物理环境中的电子信息交互。

附图说明

本主题技术的一些特征在所附权利要求书中被示出。然而，出于解释的目的，在以下附图中阐述了本主题技术的若干实施方案。

图1示出了根据一个或多个具体实施的包括可实现本主题系统的各种电子设备的示例性系统架构。

图2示出了根据一个或多个具体实施的可用于虚拟和物理相机的位置同步的示例性电子设备。

图3示出了根据一个或多个具体实施的虚拟相机相对于物理相机的自动位置同步的示例过程的流程图。

图4示出了根据一个或多个具体实施的用于提供针对物理相机相对于虚拟相机的位置同步的指导的示例过程的流程图。

图5示出了根据一个或多个具体实施的用于提供进入计算机生成的现实环境中的视口的示例过程的流程图。

图6示出了根据一个或多个具体实施的示例环境，其中可实现虚拟和物理相机的位置同步以用于计算机生成的现实记录。

图7示出了根据一个或多个具体实施的示例环境，其中可实现虚拟和物理相机的位置同步以提供计算机生成的现实视口。

图8示出了根据一个或多个具体实施的可用以实现本主题技术的各个方面的示例性电子系统。

具体实施方式

下面示出的具体实施方式旨在作为本主题技术的各种配置的描述并且不旨在表示本主题技术可被实践的唯一配置。附图被并入本文并且构成具体实施方式的一部分。具体实施方式包括具体的细节旨在提供对本主题技术的透彻理解。然而，本主题技术不限于本文阐述的具体细节，而是可以采用一个或多个其他具体实施来实践。在一个或多个具体实施中，以框图形式示出了结构和部件，以便避免使本主题技术的概念模糊。

计算机生成的现实(CGR)系统使得物理和虚拟环境能够以不同程度组合以促进用户的实时交互。因此，如本文所述，此类CGR系统可以包括物理和虚拟环境的各种可能组合，包括增强现实，所述增强现实主要包括物理元素并且与虚拟环境(例如，没有物理元素)相比更靠近物理环境。以此方式，物理环境可以通过CGR系统与虚拟环境连接。沉浸在CGR环境中的用户可以通过这种环境导航，并且CGR系统可以跟踪用户的视点以基于用户如何位于环境中而提供可视化。

物理环境是指人们在没有电子系统帮助的情况下能够感测和/或交互的物理世界。物理环境诸如物理公园包括物理物品，诸如物理树木、物理建筑物和物理人。人们能够诸如通过视觉、触觉、听觉、味觉和嗅觉来直接感测物理环境和/或与物理环境交互。

相反，计算机生成现实(CGR)环境是指人们经由电子系统感测和/或交互的完全或部分模拟的环境。在CGR中，跟踪人的物理运动的一个子集或其表示，并且作为响应，以符合至少一个物理定律的方式调节在CGR环境中模拟的一个或多个虚拟对象的一个或多个特征。例如，CGR系统可以检测人的身体和/或头部转动，并且作为响应，以与此类视图和声音在物理环境中变化的方式类似的方式调节呈现给人的图形内容和声场。在一些情况下(例如，出于可达性原因)，对CGR环境中虚拟对象的特征的调节可以响应于物理运动的表示(例如，声音命令)来进行。

人可以利用其感觉中的任一者来感测CGR对象和/或与CGR对象交互，包括视觉、听觉、触觉、味觉和嗅觉。例如，人可以感测音频对象和/或与音频对象交互，该音频对象创建3D或空间音频环境，该3D或空间音频环境提供3D空间中点音频源的感知。又如，音频对象可以使能音频透明度，该音频透明度在有或者没有计算机生成的音频的情况下选择性地引入来自物理环境的环境声音。在某些CGR环境中，人可以感测和/或只与音频对象交互。

CGR的示例包括虚拟现实和混合现实。

虚拟现实(VR)环境是指被设计成对于一个或多个感觉完全基于计算机生成的感官输入的模拟环境。VR环境包括人可以感测和/或交互的多个虚拟对象。例如，树木、建筑物和代表人的化身的计算机生成的图像是虚拟对象的示例。人可以通过在计算机生成的环境内人的存在的模拟和/或通过在计算机生成的环境内人的物理移动的一个子组的模拟来感测和/或与VR环境中的虚拟对象交互。

与被设计成完全基于计算机生成的感官输入的VR环境相比，混合现实(MR)环境是指被设计成除了包括计算机生成的感官输入(例如，虚拟对象)之外还引入来自物理环境的感官输入或其表示的模拟环境。在虚拟连续体上，混合现实环境是完全物理环境作为一端和虚拟现实环境作为另一端之间的任何状况，但不包括这两端。

在一些MR环境中，计算机生成的感官输入可以对来自物理环境的感官输入的变化进行响应。另外，用于呈现MR环境的一些电子系统可以跟踪相对于物理环境的位置和/或取向，以使虚拟对象能够与真实对象(即，来自物理环境的物理物品或其表示)交互。例如，系统可以导致移动使得虚拟树木相对于物理地面看起来是静止的。

增强现实(AR)环境是指其中一个或多个虚拟对象叠加在物理环境或其表示之上的模拟环境。例如，用于呈现AR环境的电子系统可具有透明或半透明显示器，人可以透过该显示器直接查看物理环境。该系统可以被配置为在透明或半透明显示器上呈现虚拟对象，使得人利用该系统感知叠加在物理环境的一部分之上的虚拟对象。另选地，系统可以具有不透明显示器和一个或多个成像传感器，该成像传感器捕获物理环境的图像或视频，这些图像或视频是物理环境的表示。系统将图像或视频与虚拟对象组合，并在不透明显示器上呈现组合物。人利用系统经由物理环境的图像或视频而间接地查看物理环境，并且感知叠加在物理环境的一部分之上和/或物理环境的一部分之后的虚拟对象。如本文所用，在不透明显示器上显示的物理环境的视频被称为“透传视频”，意味着系统使用一个或多个图像传感器捕获物理环境的图像，并且在不透明显示器上呈现AR环境时使用那些图像。进一步另选地，系统可以具有投影系统，该投影系统将虚拟对象投射到物理环境中，例如作为全息图或者在物理表面上，使得人利用该系统感知叠加在物理环境之上的虚拟对象。

增强现实环境也是指其中物理环境的表示被计算机生成的感官信息进行转换的模拟环境。例如，在提供透传视频中，系统可以对一个或多个传感器图像进行转换以施加与成像传感器所捕获的视角不同的选择视角(例如，视点)。又如，物理环境的表示可以通过图形地修改(例如，放大)其部分而进行转换，使得经修改部分可以是原始捕获图像的代表性的但不是真实的版本。再如，物理环境的表示可以通过以图形方式消除其部分或将其部分进行模糊处理而进行转换。

增强虚拟(AV)环境是指虚拟或计算机生成环境结合了来自实体环境的一项或多项感官输入的模拟环境。感官输入可以是物理环境的一个或多个特性的表示。例如，AV公园可以具有虚拟树木和虚拟建筑物，但人的脸部是从对物理人拍摄的图像逼真再现的。又如，虚拟对象可以采用一个或多个成像传感器所成像的物理物品的形状或颜色。再如，虚拟对象可以采用符合太阳在物理环境中的定位的阴影。

有许多不同类型的电子系统使人能够感测和/或与各种CGR环境交互。示例包括移动设备、平板设备、基于投影的系统、平视显示器(HUD)、头戴式系统、集成有显示能力的车辆挡风玻璃、集成有显示能力的窗户、被形成为设计用于放置在人的眼睛上的透镜的显示器(例如，类似于隐形眼镜)、耳机/听筒、扬声器阵列、输入系统(例如，具有或不具有触觉反馈的可穿戴或手持式控制器)、智能电话、平板电脑或平板设备、以及台式/膝上型计算机。例如，头戴式系统可以具有一个或多个扬声器和集成的不透明显示器。另选地，头戴式系统可以被配置成接受外部不透明显示器(例如，智能电话)。头戴式系统可以结合用于捕获物理环境的图像或视频的一个或多个成像传感器、和/或用于捕获物理环境的音频的一个或多个麦克风。头戴式系统可以具有透明或半透明显示器，而不是不透明显示器。透明或半透明显示器可以具有媒介，代表图像的光通过该媒介被引导到人的眼睛。显示器可以利用数字光投影、OLED、LED、uLED、硅基液晶、激光扫描光源或这些技术的任意组合。媒介可以是光学波导、全息图媒介、光学组合器、光学反射器、或它们的任意组合。在一个实施方案中，透明或半透明显示器可被配置为选择性地变得不透明。基于投影的系统可以采用将图形图像投影到人的视网膜上的视网膜投影技术。投影系统也可以被配置为将虚拟对象投影到物理环境中，例如作为全息图或在物理表面上。

CGR系统使得物理和计算机生成的环境能够以不同程度组合以促进用户的实时交互。因此，如本文所述，此类CGR系统可以包括物理和计算机生成的环境的各种可能组合。以此方式，物理环境可以通过CGR系统与计算机生成的环境连接。例如经由电子设备沉浸在计算机生成的环境中的用户可以通过这种环境导航，并且系统可以跟踪用户的视点以基于用户如何位于环境中而提供可视化。用户可以通过例如化身在计算机生成的环境中表示。

虚拟相机可以定位在整个计算机生成的环境中以捕获用户的化身在整个计算机生成的环境中的移动的虚拟图像和/或视频，而物理相机(例如，图像捕获设备)可以定位在用户周围的整个物理环境中以捕获周围物理环境的图像和/或视频。主题系统有助于虚拟相机和物理相机相对于用户在计算机生成的环境中的化身以及物理环境中的用户的位置同步，使得由虚拟相机捕获的虚拟图像与物理相机捕获的物理图像是位置对准和/或视角对准的。以这种方式，可以合成位置对准和/或视角对准的虚拟图像和物理图像以生成计算机生成的现实图像和/或记录。

例如，主题系统可以有助于用户使捕获用户在物理环境中的移动的图像/视频的物理相机的位置与同时捕获用户的化身在计算机生成的环境中的移动的虚拟图像/视频的虚拟相机的位置同步。以此方式，用户的图像/视频可以从自物理环境捕获的图像/视频分割，并且可以与虚拟图像/视频合成以生成计算机生成的现实图像/记录，其中用户的化身被用户在物理环境中的图像替换。

该主题系统还可以用于使另一用户的设备(诸如移动设备或平板电脑)能够用作进入用户正使用和/或穿戴电子设备经历的CGR环境中的视口。例如，该主题系统可以将CGR环境中的虚拟相机放置在与其他用户的设备在物理环境中的位置同步的位置处。然后，虚拟对象可以从虚拟图像分割，并且与正由其他用户的设备的物理相机同时捕获的物理图像合成，以向其他用户提供进入正由用户经历的CGR环境中的视口。

图1示出了根据一个或多个具体实施的包括可实现本主题系统的各种电子设备的示例性系统架构100。然而，并非所有所描绘的部件均可在所有具体实施中使用，并且一个或多个具体实施可包括与图中所示的那些相比附加的或不同的部件。可进行这些部件的布置和类型的变化，而不脱离本文所列出的权利要求的实质或范围。可提供附加的部件、不同的部件或更少的部件。

系统架构100包括电子设备105、手持式电子设备104、电子设备110、电子设备115和服务器120。出于解释的目的，系统架构100在图1中被示出为包括电子设备105、手持式电子设备104、电子设备110、电子设备115和服务器120；然而，系统架构100可包括任何数量的电子设备和任何数量的服务器或包括多个服务器的数据中心。

电子设备105可以例如实现为平板设备、手持式和/或移动设备或实现为头戴式便携式系统(例如，由用户101穿戴)。电子设备105包括能够向用户呈现计算机生成的现实环境的可视化的显示系统。电子设备105可用电池和/或另一种电源供电。在一个示例中，电子设备105的显示系统向用户提供计算机生成的现实环境的立体呈现，使得能够提供特定场景渲染的三维视觉显示。在一个或多个具体实施中，代替利用电子设备105来访问计算机生成的现实环境或除此之外，用户可使用手持式电子设备104，诸如平板电脑、手表、移动设备等。

电子设备105可包括一个或多个相机，诸如相机150(例如，可见光相机、红外相机等)。此外，电子设备105可包括各种传感器152，包括但不限于相机、图像传感器、触摸传感器、麦克风、惯性测量单元(IMU)、心率传感器、温度传感器、深度传感器(例如，激光雷达传感器、雷达传感器、声纳传感器、飞行时间传感器等)、GPS传感器、Wi-Fi传感器、近场通信传感器、射频传感器等。此外，电子设备105可包括可接收用户输入的硬件元件，诸如硬件按钮或开关。由此类传感器和/或硬件元件检测到的用户输入对应于例如用于在应用程序内发起共存会话的各种输入模态。例如，此类输入模态可包括但不限于面部跟踪、眼睛跟踪(例如，注视方向)、手部跟踪、姿态跟踪、生物识别读数(例如，心率、脉搏、瞳孔扩张、呼吸、温度、脑电图、嗅觉)、识别语音或音频(例如，特定热字词)以及激活按钮或开关等。

在一个或多个具体实施中，电子设备105可通信地耦接到基础设备，诸如电子设备110和/或电子设备115。一般来讲，与电子设备105相比，此类基础设备可包括更多计算资源和/或可用功率。在一个示例中，电子设备105可以各种模式操作。例如，电子设备105可独立于任何基础设备以独立模式操作。当电子设备105以独立模式操作时，输入模态的数量可受到电子设备105的功率和/或处理限制(诸如设备的可用电池功率)的约束。响应于功率限制，电子设备105可停用设备自身内的某些传感器以保持电池功率和/或释放处理资源。

电子设备105还可以无线连线模式操作(例如，经由无线连接与基础设备连接)，从而与给定基础设备结合工作。电子设备105还可以电子设备105物理地连接到基础设备(例如，经由电缆或一些其他物理连接器)的连接模式工作，并且可利用由基础设备提供的电力资源(例如，在基础设备在物理地连接时对电子设备105充电的情况下)。

当电子设备105以无线连线模式或连接模式操作时，可将处理用户输入和/或渲染计算机生成的现实环境的至少一部分卸载到基础设备，从而减少电子设备105上的处理负担。例如，在一个具体实施中，电子设备105结合电子设备110或电子设备115工作以生成计算机生成的现实环境，该计算机生成的现实环境包括以实时方式在用户与生成的计算机生成的现实环境之间实现不同形式的交互(例如，视觉、听觉和/或物理或触觉交互)的物理对象和/或虚拟对象。在一个示例中，电子设备105提供对应于计算机生成的现实环境的场景的渲染，该场景可被用户感知并以实时方式交互，诸如用于与另一用户的共存对话的主机环境。另外，作为呈现渲染场景的一部分，电子设备105可向用户提供声音和/或触觉或触感反馈。给定渲染场景的内容可能取决于可用处理能力、网络可用性和容量、可用电池功率和当前系统工作负载。

电子设备105还可检测已发生在计算机生成的现实环境的场景内的事件。此类事件的示例包括检测场景中特定人、实体或对象的存在。响应于检测到的事件，电子设备105可以在对应于检测到的事件的计算机生成的现实环境中提供注释(例如，呈元数据的形式)。

网络106可将例如电子设备104、电子设备105、电子设备110和/或电子设备115与设备彼此和/或服务器120通信地(直接或间接)耦接。在一个或多个具体实施中，网络106可以是可包括互联网或可通信地耦接到互联网的设备的互连网络。

电子设备110可包括触摸屏并且可以是例如包括触摸屏的智能电话、便携式计算设备，诸如包括触摸屏的膝上型计算机、包括触摸屏的伴随设备(例如数字相机、耳机)、包括触摸屏的平板设备、包括触摸屏的可穿戴设备(诸如手表、腕带等)、包括例如触摸屏的任何其他适当设备或者任何具有触控板的电子设备。在一个或多个具体实施中，电子设备110可不包括触摸屏，但可支持触摸屏类似的手势，诸如在计算机生成的现实环境中。在一个或多个具体实施中，电子设备110可包括触控板。在图1中，通过举例的方式，电子设备110被描绘为具有触摸屏的移动智能电话设备。在一个或多个具体实施中，电子设备110、手持式电子设备104和/或电子设备105可以是和/或可以包括下文相对于电子系统(下文相对于图8讨论)讨论的电子设备的全部或部分。在一个或多个具体实施中，电子设备110可为另一个设备，诸如互联网协议(IP)相机、平板电脑或伴随设备诸如电子触笔等。

电子设备115可为例如台式计算机、便携式计算设备诸如膝上型计算机、智能电话、伴随设备(例如，数字相机、耳机)、平板设备、可穿戴设备诸如手表、腕带等。在图1中，通过举例的方式，电子设备115被描绘为台式计算机。电子设备115可为和/或可包括下文相对于图8所述的电子系统的全部或部分。

服务器120可形成计算机网络或服务器组130的全部或部分，诸如在云计算或数据中心实施中。例如，服务器120存储数据和软件，并且包括用于渲染和生成计算机生成的现实环境的内容诸如图形、图像、视频、音频和多媒体文件的具体硬件(例如，处理器、图形处理器和其他专用或定制处理器)。在一个具体实施中，服务器120可用作云存储服务器，该云存储服务器存储由上述设备和/或服务器120生成的任何前述计算机生成的现实内容。

在下面关于图6所进一步讨论的一个或多个具体实施中，利用电子设备105和/或利用电子设备104进入计算机生成的现实环境的用户可能希望生成记录，所述记录将其身体在物理环境中的图像与从由电子设备105提供的计算机生成的环境和/或计算机生成的现实环境生成的虚拟图像帧例如虚拟视频合并。然而，为了将用户身体的图像合成到虚拟图像帧上，捕获用户身体在物理环境中的图像的物理相机(例如电子设备110)的位置可能需要与从计算机生成的环境生成虚拟图像帧的虚拟相机的位置同步(例如，对准)。

该主题系统通过以下方式促进用户实现物理相机和虚拟相机的位置同步：将计算机生成的环境中的虚拟相机自动定位在与物理环境中的物理相机的位置重合的位置(下文关于图3进一步讨论的示例过程)和/或向用户提供将物理环境中的物理相机(例如，电子设备110)定位在与计算机生成的环境中的虚拟相机的位置重合的位置的指导(下文关于图4进一步讨论的示例过程)。然后，该主题系统可以将由物理相机捕获的图像帧的至少一部分与由虚拟相机生成的虚拟图像帧合成以生成计算机生成的现实图像帧。

在下面关于图7进一步讨论的一个或多个具体实施中，当用户正在使用和/或穿戴电子设备105访问计算机生成的现实环境时，另一用户可能希望查看用户正在经历的计算机生成的现实环境。该主题系统通过以下方式使得其他用户能够使用其电子设备(诸如电子设备110)作为进入由电子设备105提供的计算机生成的现实环境中的视口：将虚拟相机定位在计算机生成的现实环境中与其他用户的电子设备的物理相机在物理环境中(相对于电子设备105)的位置重合的位置处。下面关于图5进一步讨论提供进入另一用户经历的计算机生成的现实环境中的视口的示例过程。

在一个或多个具体实施中，使用和/或穿戴电子设备经历计算机生成的现实环境的用户可能希望生成自身在计算机生成的现实环境中的计算机生成的现实图像(例如，计算机生成的现实“自拍”)，所述计算机生成的现实图像包括其物理身体来自与正经历的计算机生成的现实环境合成的物理环境的图像。然而，为了从物理环境捕获的图像与从计算机生成的环境生成的虚拟图像对准，该主题系统将计算机生成的环境中的虚拟相机定位在与物理相机在物理环境中(相对于电子设备105)的位置同步和/或对准的位置，使得来自物理相机的图像帧可以与来自虚拟相机的虚拟图像帧合成。

出于解释的目的，本文关于将一个虚拟相机的位置同步到一个物理相机来描述主题系统。然而，该主题系统可以用于将一个或多个虚拟相机的位置同步到一个或多个物理相机。在一个或多个具体实施中，用户可以利用该主题系统将虚拟相机定位在计算机生成的环境中而不使用任何物理相机。

图2示出了根据一个或多个具体实施的可用于虚拟和物理相机的位置同步的示例性电子设备110。然而，并非所有所描绘的部件均可在所有具体实施中使用，并且一个或多个具体实施可包括与图中所示的那些相比附加的或不同的部件。可进行这些部件的布置和类型的变化，而不脱离本文所列出的权利要求的实质或范围。可提供附加的部件、不同的部件或更少的部件。在一个或多个具体实施中，电子设备105的一个或多个部件、电子设备112、电子设备115和/或服务器120。

电子设备110可以包括主机处理器202、存储器204、无线接口206、图像捕获设备208和一个或多个位置传感器210。在一个或多个具体实施中，电子设备110可以利用无线接口206作为位置传感器并且可以包括或可以不包括任何附加位置传感器210。

无线接口206可包括一个或多个天线和用于传输/接收无线通信的一个或多个收发器。在一个或多个具体实施中，无线接口206可以被配置为利用另一设备(诸如电子设备105)执行无线测距操作。无线测距操作可以包括例如通过交换提供毫米和/或亚毫米定位准确度的超宽带信号(例如，500Mhz信号)执行的测距操作，诸如基于从交换的信号确定的到达时间和/或到达角。

图像捕获设备208可以是和/或可以包括例如一个或多个图像传感器。图像捕获设备208可以进一步包括一个或多个照明设备，诸如红外设备、发光二极管设备或通常任何照明设备。在一个或多个具体实施中，图像捕获设备208部分地和/或整体地可以称为物理相机。在一个或多个具体实施中，图像捕获设备208可用于确定电子设备110相对于另一设备(诸如电子设备105)的位置。例如，图像捕获设备208的一个或多个图像传感器可以用于生成深度图和/或以其他方式确定另一设备(诸如电子设备105)的深度。

在一个或多个具体实施中，图像捕获设备208还可以用于从物理环境的图像中分割用户身体的图像。例如，可以从由图像捕获设备208的多个图像传感器捕获的图像生成一个或多个深度图，并且可以使用一个或多个深度图来识别/分割图像中的对象，诸如用户。

一个或多个位置传感器210可以包括一个或多个传感器，该一个或多个传感器可以提供可以用于确定电子设备110诸如相对于另一设备(例如，电子设备105)的位置的信息。例如，一个或多个位置传感器可以包括一个或多个陀螺仪、加速度计、磁强计、超声收发器、雷达/激光雷达收发器或通常可以有助于确定电子设备110相对于另一设备(诸如电子设备105)的位置的任何传感器。在一个或多个具体实施中，一个或多个位置传感器210还可以用于确定电子设备110的取向，例如，沿着x轴、y轴和/或z轴。

主机处理器202可包括使得能够处理数据和/或控制电子设备110的操作的适当逻辑部件、电路和/或代码。就这一点而言，主机处理器202可被启用以向电子设备110的各个其他部件提供控制信号。主机处理器202还可控制电子设备110的各部分之间的数据传输。另外，主机处理器202可使得能够实施操作系统或以其他方式执行代码以管理电子设备110的操作。在一个或多个具体实施中，主机处理器202可以促进使用计算机视觉确定电子设备110相对于另一设备(诸如电子设备105)的位置。例如，主机处理器(和/或一个或多个远程处理单元，诸如服务器120处)可以分析由图像捕获设备208捕获的一个或多个图像，以确定电子设备110相对于一个或多个图像中所示的另一设备(诸如电子设备105)的位置。

存储器204可包括使得能够存储各种类型信息的适当逻辑部件、电路和/或代码，诸如所接收的数据、生成的数据、代码和/或配置信息。存储器204可包括例如随机存取存储器(RAM)、只读存储器(ROM)、闪存和/或磁性存储装置。

在一个或多个具体实施中，主机处理器202、存储器204、无线接口206、图像捕获设备208、一个或多个位置传感器210和/或它们的一个或多个部分中的一者或多者可在软件(例如，子例程和代码)中实现，可在硬件(例如，专用集成电路(ASIC)、现场可编程门阵列(FPGA)、可编程逻辑设备(PLD)、控制器、状态机、门控逻辑部件、分立硬件部件或任何其他合适的设备)中实现，和/或两者的组合。

图3示出了根据一个或多个具体实施的虚拟相机相对于物理相机的自动位置同步的示例过程300的流程图。出于解释的目的，本文主要参考图1的电子设备105来描述过程300。然而，电子设备105被呈现为示例性设备，并且本文所述的操作中的一者或多者可由任何合适的设备执行。例如，过程300可由电子设备110或通常而言的任何电子设备执行。进一步出于说明的目的，过程300的操作在本文中被描述为顺序地或线性地发生。然而，过程300的多个操作可并行发生。此外，过程300的操作不必按所示顺序执行，并且/或者过程300的一个或多个操作不必被执行和/或可由其他操作替代。

示例过程300可由利用电子设备105经历计算机生成的环境和/或计算机生成的现实环境的用户发起，该用户希望生成记录，所述记录将其身体在物理环境中的图像与从由电子设备105提供的计算机生成的环境和/或计算机生成的现实环境生成的虚拟图像帧例如虚拟视频合并。例如，用户可以定位包括物理相机的另一电子设备(诸如电子设备110)，使得该物理相机的视场包括在物理环境中使用和/或穿戴电子设备105和/或利用电子设备104的用户，如图6所示。然后，用户可以经由例如电子设备105和/或电子设备110选择配置选项以发起示例过程300。

一旦发起示例过程300，电子设备105就确定物理相机(诸如电子设备110)在物理环境中相对于电子设备105的位置(例如，位置和取向)(302)。例如，当物理相机包括支持测距操作的无线接口时，电子设备105可以通过物理相机发起测距操作，诸如超宽带测距操作。在一个或多个具体实施中，电子设备105可以利用一个或多个图像传感器来确定物理相机的位置，诸如通过利用计算机视觉、深度图等。在一个或多个具体实施中，电子设备105可以例如从物理相机接收物理相机相对于电子设备105的位置。例如，物理相机可以包括附加位置传感器，其可以用于确定其相对于电子设备105的位置。

电子设备105可以发起将由电子设备105提供的计算机生成的现实环境内的虚拟相机定位成与物理相机在物理环境中相对于电子设备105的位置重合(304)。虚拟相机可以定位成具有与物理相机相对于电子设备105的取向和位置重合的取向和位置，使得由物理相机捕获的图像帧与由虚拟相机生成的虚拟图像帧对准。例如，虚拟相机相对于计算机生成的环境中对应于电子设备105的虚拟表示(诸如用户的化身)的位置可以与物理相机在物理环境中相对于电子设备105的位置和取向重合。

电子设备105可以发起物理相机对物理环境的记录，同时发起虚拟相机生成对计算机生成的环境的虚拟记录(306)。例如，电子设备105可以向物理相机传输指示物理相机应当发起记录的时间的消息。在一个或多个具体实施中，记录可能不会被同时发起；然而，虚拟和/或物理相机可以在时间上同步，使得图像可以稍后进行时间对准，例如基于时间戳。

电子设备105可以接收由物理相机捕获的图像帧和由虚拟相机捕获的虚拟图像帧(308)。例如，物理相机可以经由有线和/或无线连接将图像帧流传输到电子设备105。电子设备105可以分割图像帧或虚拟图像帧中的至少一者(310)。例如，电子设备105可以诸如通过利用计算机视觉/对象识别和/或通过利用对应于由电子设备110提供的图像帧的附加数据(诸如深度图或可以用于从图像帧识别和分割用户的图像的其他信息)来从物理图像帧分割用户的图像。在一个或多个具体实施中，用户可以站在均匀着色屏幕(诸如绿色屏幕)的前面，该均匀着色屏幕有助于从图像帧分割用户的图像。

在一个或多个具体实施中，电子设备110可以包括一个或多个传感器，诸如多个图像传感器，其可以用于生成深度图或以其他方式生成可以用于从图像帧分割用户的图像的信息。电子设备110可以向电子设备105提供用户的分割图像，使得电子设备105可以绕过分割并将分割的用户图像合成到虚拟图像上。

电子设备105由图像帧的至少一部分(例如，分割的用户图像)和虚拟图像帧的至少一部分(诸如除了用户的虚拟表示例如用户的化身之外的整个虚拟图像帧)生成计算机生成的现实帧(312)。在一个或多个具体实施中，电子设备105可以将用户的图像叠加到对应虚拟图像帧中的用户的化身上以生成计算机生成的现实图像帧。

电子设备105提供计算机生成的现实图像帧，诸如用于向用户显示、用于本地和/或远程存储和/或用于向一个或多个其他用户进行流传输(314)。可以针对每个图像帧和对应虚拟图像帧重复操作308-314以生成计算机生成的现实视频流。因此，例如，计算机生成的现实图像帧和/或视频流可以由电子设备105显示给用户，使得用户可以预览计算机生成的现实视频流并进行可能需要和/或期望的任何物理和/或虚拟相机调整。

在一个或多个具体实施中，电子设备105可以连续地监测物理相机相对于电子设备105的位置(302)，并且可以连续地调整虚拟相机的位置以与物理相机的位置的变化重合。因此，如果另一用户握持物理相机，并且其他用户正在移动、晃动或以其他方式未将物理相机保持在固定位置，则虚拟相机的位置也将移动和/或晃动，使得整个计算机生成的现实图像帧将反映移动/晃动，而不是仅反映计算机生成的现实图像帧的物理图像帧部分。

在一个或多个具体实施中，示例过程300可以由电子设备110执行全部或部分地执行。例如，电子设备110可以向电子设备105传输指令并且可以接收由通过电子设备105定位的虚拟相机生成的虚拟图像帧的流。在一个或多个具体实施中，示例过程300的至少一部分可以由服务器120执行和/或促进。例如，服务器可以接收由物理相机捕获的图像帧以及由虚拟图像相机生成的虚拟图像帧，可以生成计算机生成的现实图像帧，并且可以将计算机生成的现实图像帧传输到电子设备110、电子设备105和/或一个或多个附加电子设备，诸如被授权查看用户的计算机生成的现实视频流的其他用户的电子设备。

在一个或多个具体实施中，电子设备105和物理相机(诸如电子设备110)可以与同一用户账户相关联和/或注册到同一用户账户。电子设备105和/或电子设备110可以在发起示例过程300之前确认其他设备与同一用户账户相关联。替代地和/或另外，电子设备105和电子设备110可以与不同的用户账户相关联，并且可以在发起示例过程300之前参与初始配对/授权操作。

图4示出了根据一个或多个具体实施的用于提供针对物理相机相对于虚拟相机的位置同步的指导的示例过程的流程图。出于解释的目的，本文主要参考图1的电子设备105来描述过程400。然而，电子设备105被呈现为示例性设备，并且本文所述的操作中的一者或多者可由任何合适的设备执行。例如，过程400可由电子设备110或通常而言的任何电子设备执行。进一步出于说明的目的，过程400的操作在本文中被描述为顺序地或线性地发生。然而，过程400的多个操作可并行发生。此外，过程400的操作不必按所示顺序执行，并且/或者过程400的一个或多个操作不必被执行和/或可由其他操作替代。

示例过程400可由使用和/或穿戴电子设备105经历计算机生成的环境和/或计算机生成的现实环境的用户发起，该用户希望生成记录，所述记录将其身体在物理环境中的图像与从由电子设备105提供的计算机生成的环境和/或计算机生成的现实环境生成的虚拟图像帧例如虚拟视频合并。例如，用户可以将虚拟相机定位在计算机生成的环境内具有期望角度或视场的特定位置中。然后可以诸如通过选择用户界面元素来发起过程400，以促进用户实现将物理相机诸如电子设备110定位在物理环境中与虚拟相机在计算机生成的环境中的位置重合的位置中，如图6所示。

一旦发起示例过程400，电子设备105就确定虚拟相机在由电子设备105提供的计算机生成的环境中相对于在计算机生成的环境中对应于电子设备105的位置的位置(402)。在计算机生成的环境中对应于电子设备105的位置可以是例如用户的化身在计算机生成的环境中的位置。

然后，电子设备105向用户提供用于将物理相机定位在物理环境中相对于电子设备105的与虚拟相机在计算机生成的环境中的位置重合的位置处的指导(404)。例如，电子设备105可以向用户提供增强现实显示器，该增强现实显示器指示物理环境中应当定位物理相机的位置。

在一个或多个具体实施中，过程400可以由物理相机(诸如电子设备110)执行。例如，物理相机可以从电子设备105接收位置信息，并且然后可以促进用户实现将物理相机放置在物理环境中的适当位置。在一个或多个具体实施中，物理相机可以包括在自主移动设备中，诸如无人机或机器人设备中，其可以将物理相机自动移动到由电子设备105指示的位置中。

图5示出了根据一个或多个具体实施的用于提供进入计算机生成的现实环境中的视口的示例过程的流程图。出于解释的目的，本文主要参考图1的电子设备110来描述过程500。然而，电子设备110被呈现作为示例性设备，并且本文所述的操作可由任何合适的设备执行。例如，过程500可由电子设备112或通常而言的任何电子设备执行。进一步出于解释的目的，过程500的操作在本文中被描述为顺序地或线性地发生。然而，过程500的多个操作可并行发生。此外，过程500的操作不必按所示顺序执行，并且/或者过程500的一个或多个操作不必被执行和/或可由其他操作替代。

当用户正经由电子设备105经历计算机生成的现实环境并且另一个用户想要查看该计算机生成的现实环境时，可以发起示例过程500。例如，如图7所示，使用和/或穿戴电子设备105的用户可能正在玩虚拟游戏，虚拟游戏板定位在物理环境中的物理对象(诸如桌子)上(和/或邻近)。尽管房间中的其他用户可以看到物理桌子，但是他们无法看到用户使用和/或穿戴电子设备105在物理桌子上玩的虚拟游戏。因此，其他用户可以请求经由电子设备110接收进入由电子设备105提供的计算机生成的现实环境中的视口。

在一个或多个具体实施中，如果电子设备110注册到与电子设备105的同一用户账户和/或与该同一用户账户相关联，则其他用户可以被自动授予对视口的访问权限。然而，如果电子设备110注册到与电子设备105不同的用户账户和/或与该不同的用户账户相关联，则电子设备110可以向电子设备105传输对访问该视口的授权的请求。例如，电子设备105可以向使用和/或穿戴电子设备105的用户呈现请求，并且用户可以接受或拒绝该请求。

当电子设备110被授予对进入由电子设备105生成的计算机生成的现实环境中的视口的访问权限时，电子设备110确定电子设备110上的物理相机在物理环境中相对于电子设备105的位置(502)。例如，可以通过利用电子设备105执行超宽带测距操作和/或本文所述的任何其他合适的定位技术来确定位置。

电子设备110可以将其位置传输到电子设备105，和/或电子设备105可以使用合适的定位技术来确定电子设备110的位置(504)。电子设备105可以将虚拟相机定位在计算机生成的现实环境中与电子设备110的物理相机在物理环境中的位置重合的位置。

然后，电子设备110可以从电子设备105接收由虚拟相机生成的虚拟图像帧的至少一部分(506)。例如，虚拟相机可以仅捕获计算机生成的现实环境中的虚拟对象，和/或电子设备105可以从虚拟图像分割虚拟对象，并且可以仅将虚拟对象提供给电子设备110。电子设备110还接收由电子设备110的物理相机捕获的图像帧(508)以及将虚拟图像的至少一部分合成到物理图像帧上，诸如通过将虚拟图像的至少所述部分叠加到物理图像帧上，以生成计算机生成的现实图像帧(510)。

然后，电子设备110在电子设备110的显示器上显示计算机生成的现实图像帧，以提供进入由电子设备105提供的计算机生成的现实环境中的视口(512)。操作506-512可以诸如针对每个图像帧重复，以显示计算机生成的现实视频流，该计算机生成的现实视频流提供进入计算机生成的现实环境中的实时视口。在一个或多个具体实施中，电子设备105可以向使用和/或穿戴电子设备105的用户显示指示(诸如红色图标)，该指示指示进入计算机生成的现实环境的视口正被提供给另一用户，诸如经由电子设备110。

图6示出了根据一个或多个具体实施的示例环境，其中可实现虚拟和物理相机的位置同步以用于计算机生成的现实记录。然而，并非所有所描绘的部件均可在所有具体实施中使用，并且一个或多个具体实施可包括与图中所示的那些相比附加的或不同的部件。可进行这些部件的布置和类型的变化，而不脱离本文所列出的权利要求的实质或范围。可提供附加的部件、不同的部件或更少的部件。

在示例环境600中，用户已经将包括物理相机的电子设备110定位在所述物理相机的视场涵盖使用和/或穿戴电子设备104(或电子设备105)的用户的位置。然后，电子设备104可以执行例如上述过程300以将虚拟相机定位在由电子设备104提供的计算机生成的现实环境中。替代地和/或另外，用户可能已经将虚拟相机在计算机生成的环境中的位置进行了预先配置，并且过程400可能已经用于确定适当位置以放置电子设备110。

一旦电子设备110的物理相机的位置和虚拟相机在由电子设备104提供的计算机生成的环境中的位置同步，则由物理相机捕获的图像帧可以与由虚拟相机生成的虚拟图像帧合成以生成一个或多个计算机生成的现实图像帧。

在一个或多个具体实施中，物理和虚拟记录可能不同时发生。例如，可以首先进行物理相机的记录，然后可以稍后添加虚拟记录，或反之亦然。在这种情况下，虚拟相机和物理相机的位置仍将同步，以便允许随后的记录合成；然而，记录可以异步进行。

图7示出了根据一个或多个具体实施的示例环境700，其中可实现虚拟和物理相机的位置同步以提供计算机生成的现实视口。然而，并非所有所描绘的部件均可在所有具体实施中使用，并且一个或多个具体实施可包括与图中所示的那些相比附加的或不同的部件。可进行这些部件的布置和类型的变化，而不脱离本文所列出的权利要求的实质或范围。可提供附加的部件、不同的部件或更少的部件。

在示例环境700中，用户正使用和/或穿戴电子设备105经历计算机生成的现实环境，该计算机生成的现实环境包括定位在物理桌子704上和/或邻近该物理桌子的虚拟对象。例如，电子设备110可以执行过程500以向另一用户提供进入正由使用和/或穿戴电子设备105的用户经历的计算机生成的现实环境中的视口702。在一个或多个具体实施中，可以从提供视口的计算机生成的现实图像帧中移除电子设备105的图像，并且可以替代地用该用户的实际面部和/或化身的图像替换。

在一个或多个具体实施中，使用和/或穿戴电子设备105的用户可能正经历计算机生成的现实环境和/或可能正参与与另一用户的共存会话。用户可能希望使用在其电子设备110上的物理相机来生成计算机生成的环境中的自捕获图像，所述自捕获图像可以通俗地被称为“自拍”。

因此，电子设备105和/或电子设备110可以执行过程300以将虚拟相机放置在计算机生成的环境中与电子设备110的物理相机在物理环境中相对于电子设备105的位置重合的位置。以此方式，由虚拟相机生成的虚拟图像帧可以与由电子设备110的物理相机生成的图像帧合成以生成混合现实自捕获图像或混合现实自拍。

在一个或多个具体实施中，可以从混合现实图像中移除电子设备105的图像，并且用使用和/或穿戴电子设备105的用户的面部和/或化身的图像替换。如果用户正参与和一个或多个其他用户的共存会话并且正捕获一个或多个其他用户的混合现实自拍，则正由其他用户使用和/或穿戴的电子设备也可以用计算机生成的现实图像中的其他用户的面部和/或化身替换。

如上所述，本技术的一个方面在于收集和使用得自各种来源的数据。本公开预期，在一些实例中，这些所采集的数据可包括唯一地识别或可用于联系或定位特定人员的个人信息数据。此类个人信息数据可以包括人口统计数据、基于位置的数据、电话号码、电子邮件地址、社交网络标识符、家庭地址、与用户的健康或健身级别相关的数据或记录(例如，生命体征测量、药物信息、锻炼信息)、出生日期或任何其他识别或个人信息。

本公开认识到在本发明技术中使用此类个人信息数据可用于使用户受益。本公开还预期个人信息数据有益于用户的用途。例如，健康和健身数据可用于向用户的总体健康状况提供见解，或者可用作使用技术来追求健康目标的个人的积极反馈。

本公开设想负责采集、分析、公开、传输、存储或其他使用此类个人信息数据的实体将遵守既定的隐私政策和/或隐私实践。具体地，此类实体应当实行并坚持使用被公认为满足或超出对维护个人信息数据的隐私性和安全性的行业或政府要求的隐私政策和实践。此类政策应该能被用户方便地访问，并应随着数据的采集和/或使用变化而被更新。来自用户的个人信息应当被收集用于实体的合法且合理的用途，并且不在这些合法使用之外共享或出售。此外，应在收到用户知情同意后进行此类采集/共享。此外，此类实体应考虑采取任何必要步骤，保卫和保障对此类个人信息数据的访问，并确保有权访问个人信息数据的其他人遵守其隐私政策和流程。另外，这种实体可使其本身经受第三方评估以证明其遵守广泛接受的隐私政策和实践。此外，应当调整政策和实践，以便采集和/或访问的特定类型的个人信息数据，并适用于包括管辖范围的具体考虑的适用法律和标准。例如，在美国，对某些健康数据的收集或获取可能受联邦和/或州法律的管辖，诸如健康保险流通和责任法案(HIPAA)；而其他国家的健康数据可能受到其他法规和政策的约束并应相应处理。因此，在每个国家应为不同的个人数据类型保持不同的隐私实践。

不管前述情况如何，本公开还预期用户选择性地阻止使用或访问个人信息数据的实施方案。即本公开预期可提供硬件元件和/或软件元件，以防止或阻止对此类个人信息数据的访问。例如，本技术可被配置为允许用户在注册服务期间或其后随时选择参与采集个人信息数据的“选择加入”或“选择退出”。除了提供“选择加入”和“选择退出”选项外，本公开设想提供与访问或使用个人信息相关的通知。例如，可在下载应用时向用户通知其个人信息数据将被访问，然后就在个人信息数据被应用访问之前再次提醒用户。

此外，本公开的目的是应管理和处理个人信息数据以最小化无意或未经授权访问或使用的风险。一旦不再需要数据，通过限制数据收集和删除数据可最小化风险。此外，并且当适用时，包括在某些健康相关应用程序中，数据去标识可用于保护用户的隐私。可在适当时通过移除特定标识符(例如，出生日期等)、控制所存储数据的量或特异性(例如，在城市级别而不是在地址级别收集位置数据)、控制数据如何被存储(例如，在用户之间聚合数据)、和/或其他方法来促进去标识。

因此，虽然本公开广泛地覆盖了使用个人信息数据来实现一个或多个各种所公开的实施方案，但本公开还预期各种实施方案也可在无需访问此类个人信息数据的情况下被实现。即，本发明技术的各种实施方案不会由于缺少此类个人信息数据的全部或一部分而无法正常进行。例如，可通过基于非个人信息数据或少量的个人信息，诸如与用户相关联的设备请求的内容，其他非个人信息或公开可用的信息来选择内容并且递送至用户。

图8示出了根据一个或多个具体实施的可用以实现本主题技术的各个方面的示例性电子系统800。电子系统800可以是图1所示的电子设备105、电子设备104、电子设备110、电子设备112、电子设备115和/或服务器120中的一者或多者并且/或者可以是其一部分。电子系统800可包括各种类型的计算机可读介质以及用于各种其他类型的计算机可读介质的接口。电子系统800包括总线808、一个或多个处理单元812、系统存储器804(和/或缓存器)、ROM 810、永久性存储设备802、输入设备接口814、输出设备接口806以及一个或多个网络接口816，或其子集及变型。

总线808总体表示通信地连接电子系统800的许多内部设备的所有系统总线、外围设备总线和芯片组总线。在一个或多个具体实施中，总线808将一个或多个处理单元812与ROM 810、系统存储器804和永久性存储设备802通信地连接。一个或多个处理单元812从这些各种存储器单元检索要执行的指令和要处理的数据，以便执行本主题公开的过程。在不同的具体实施中，一个或多个处理单元812可为单个处理器或者多核处理器。

ROM 810存储一个或多个处理单元812以及电子系统800的其他模块所需的静态数据和指令。另一方面，永久性存储设备802可为读写存储器设备。永久性存储设备802可为即使在电子系统800关闭时也存储指令和数据的非易失性存储器单元。在一个或多个具体实施中，海量存储设备(诸如，磁盘或光盘及其对应的磁盘驱动器)可被用作永久性存储设备802。

在一个或多个具体实施中，可移除存储设备(诸如软盘、闪存驱动器及其对应的磁盘驱动器)可用作永久性存储设备802。与永久性存储设备802一样，系统存储器804可为读写存储器设备。然而，与永久性存储设备802不同，系统存储器804可为易失性读写存储器，诸如随机存取存储器。系统存储器804可存储一个或多个处理单元812在运行时可能需要的指令和数据中的任何指令和数据。在一个或多个具体实施中，本主题公开的过程被存储在系统存储器804、永久性存储设备802和/或ROM 810中。一个或多个处理单元812从这些各种存储器单元检索要执行的指令和要处理的数据，以便执行一个或多个具体实施的过程。

总线808还连接至输入设备接口814和输出设备接口806。输入设备接口814使得用户能够向电子系统800传送信息以及选择命令。可与输入设备接口814一起使用的输入设备可包括例如字母数字混合键盘和指向设备(也称为“光标控制设备”)。输出设备接口806可例如使得能够显示电子系统800所生成的图像。可与输出设备接口806一起使用的输出设备可包括例如打印机和显示设备，诸如液晶显示器(LCD)、发光二极管(LED)显示器、有机发光二极管(OLED)显示器、柔性显示器、平板显示器、固态显示器、投影仪或用于输出信息的任何其他设备。一个或多个具体实施可包括既充当输入设备又充当输出设备的设备，诸如触摸屏。在这些具体实施中，提供给用户的反馈可以是任何形式的感官反馈，诸如视觉反馈、听觉反馈或触觉反馈；并且可以任何形式接收来自用户的输入，包括声学、语音或触觉输入。

最后，如图8所示，总线808还通过一个或多个网络接口816将电子系统800耦接到一个或多个网络和/或耦接到一个或多个网络节点。以此方式，电子系统800可为计算机网络(诸如LAN、广域网(“WAN”)或内联网)的一部分，或者可为网络的网络(诸如互联网)的一部分。电子系统800的任何或全部部件可与本主题公开一起使用。

上述这些功能可在计算机软件、固件或硬件中实现。该技术可使用一个或多个计算机程序产品实现。可编程处理器和计算机可包括在移动设备中或封装为移动设备。该过程和逻辑流程可由一个或多个可编程处理器和一个或多个可编程逻辑电路执行。通用和专用计算设备以及存储设备可通过通信网络互连。

一些具体实施包括将计算机程序指令存储在机器可读或计算机可读介质(也称为计算机可读存储介质、机器可读介质或机器可读存储介质)中的电子部件，诸如微处理器、存储装置以及存储器。此类计算机可读介质的一些示例包括RAM、ROM、只读光盘(CD-ROM)、可刻录光盘(CD-R)、可重写光盘(CD-RW)、只读数字通用光盘(例如，DVD-ROM、双层DVD-ROM)、各种可刻录/可重写DVD(例如，DVD-RAM、DVD-RW、DVD+RW等)、闪存存储器(例如，SD卡，mini-SD卡、micro-SD卡等)、磁性和/或固态硬盘驱动器、只读和可刻录

盘、超密度光盘、任何其他光学或磁性介质以及软盘。计算机可读介质可存储计算机程序，该计算机程序可由至少一个处理单元执行并且包括用于执行各种操作的指令集。计算机程序或者计算机代码的示例包括机器代码，诸如由编译器所产生的机器代码，以及包括可由计算机、电子部件或微处理器使用解译器来执行的更高级别代码的文件。

虽然上述论述主要涉及执行软件的微处理器或多核处理器，但一些具体实施由一个或多个集成电路诸如专用集成电路(ASIC)或现场可编程门阵列(FPGA)执行。在一些具体实施中，此类集成电路执行存储在电路自身上的指令。

如本说明书以及本专利申请的任何权利要求所用，术语“计算机”、“服务器”、“处理器”及“存储器”均是指电子或其它技术设备。这些术语排除人或者人的群组。出于本说明书的目的，术语显示或正在显示意指在电子设备上显示。如本说明书以及本专利申请的任何权利要求所使用的，术语“计算机可读介质”以及“计算机可读媒介”完全限于以可由计算机读取的形式存储信息的可触摸的有形物体。这些术语不包括任何无线信号、有线下载信号以及任何其他短暂信号。

为了提供与用户的交互，本说明书中所述的主题的具体实施可在具有用于向用户显示信息的显示设备以及用户可用来向计算机提供输入的键盘和指向设备的计算机上实现，显示设备为例如CRT(阴极射线管)或LCD(液晶显示器)监视器，指向设备为例如鼠标或轨迹球。其他种类的设备也可用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的感官反馈，例如视觉反馈、听觉反馈或触觉反馈；并且可以任何形式接收来自用户的输入，包括声学、语音或触觉输入。此外，计算机可通过向用户所使用的设备发送文档以及从其接收文档来与用户进行交互；例如，通过响应于从用户客户端设备上的web浏览器接收的请求而将网页发送到该web浏览器。

本说明书中所述的主题的实施方案可在计算系统中实现，该计算系统包括后端部件，例如作为数据服务器，或者包括中间件部件，例如应用服务器，或者包括前端部件，例如具有图形用户界面或Web浏览器的客户端计算机，用户可通过该图形用户界面或Web浏览器与本说明书中所述的主题的具体实施进行交互，或者包括一个或多个此类后端部件、中间件部件或前端部件的任何组合。系统的部件可通过任何形式或介质的数字数据通信例如通信网络来互连。通信网络的示例包括局域网(“LAN”)和广域网(“WAN”)、互联网络(例如，互联网)和对等网络(例如，自组织对等网络)。

计算系统可包括客户端和服务器。客户端和服务器一般是相互远离的，并且可通过通信网络进行交互。客户端和服务器的关系借助于在相应计算机上运行并且彼此具有客户端-服务器关系的计算机程序而产生。在某些具体实施中，服务器将数据(例如，HTML页面)传输到客户端设备(例如，为了向与该客户端设备交互的用户显示数据以及从与该客户端设备交互的用户接收用户输入)。在服务器处可以从客户端设备接收客户端设备处生成的数据(例如，用户交互的结果)。

本领域的技术人员将会认识到，本文所述的各种例示性的框、模块、元件、部件、方法和算法可被实现为电子硬件、计算机软件或两者的组合。为了说明硬件和软件的这种可互换性，上文已经一般性地按照功能性对各种例示性的框、模块、元件、部件、方法和算法进行了描述。此类功能性是被实现为硬件还是软件取决于具体应用以及对整个系统施加的设计约束。所述功能可针对每个特定应用以不同方式实现。各种部件和框可被不同地布置(例如，以不同的顺序排列，或以不同的方式划分)，而不脱离本主题技术的范围。

应当理解，本发明所公开的过程中的步骤的特定顺序或分级结构为示例性方法的例示。基于设计优选要求，应当理解，过程中的步骤的特定顺序或者分级结构可被重新布置。该步骤中的一些步骤可被同时执行。所附方法权利要求呈现样本次序中的各种步骤的元素，并且不意味着限于所呈现的特定顺序或分级结构。

先前的描述被提供以使得本领域的技术人员能够实践本文所述的各个方面。先前描述提供了本主题技术的各种示例，并且本主题技术不限于这些示例。这些方面的各种修改对本领域的技术人员而言是显而易见的，并且本文所限定的通用原则可应用于其他方面。因此，本权利要求书并非旨在受限于本文所示的各个方面，而是旨在使得全部范围与语言权利要求书一致，其中提及单数形式的要素并非旨在意味着“仅仅一个”，而是指“一个或多个”，除非被具体指出。除非另外特别说明，否则术语“一些”是指一个或多个。男性的代名词(例如，他的)包括女性和中性(例如，她的和它的)，并且反之亦然。标题和副标题(如果有的话)仅用于方便，并不限制本文所述的本发明。

如本文所用，术语网站可包括网站的任何方面，包括一个或多个网页、用于托管或存储网络相关内容的一个或多个服务器等。因此，术语网站可与术语网页和服务器互换使用。谓词字词“被配置为”、“能够操作以”以及“被编程以”并不意味着对某一主题进行任何特定的有形或无形的修改而是旨在可互换使用。例如，部件或被配置为监视和控制操作的处理器也可能意味着处理器被编程以监视和控制操作或者处理器能够操作以监视和控制操作。同样，被配置为执行代码的处理器可解释为被编程以执行代码或能够操作以执行代码的处理器。

如本文所用，术语自动可包括由计算机或机器的执行而无需用户干预；例如，通过响应于计算机或机器或其他启动机构的谓词动作的指令。字词“示例”在本文用于意指“用作示例或者例示”。本文作为“示例”所述的任何方面或者设计不一定被理解为比其他方面或者设计优选或者有利。

短语诸如“方面”不意味此方面对本主题技术是必需的或者此方面应用于本主题技术的所有配置。与一个方面相关的公开可应用于所有配置，或者一个或多个配置。一个方面可提供一个或多个示例。短语诸如方面可指一个或多个方面，反之亦然。短语诸如“实施方案”不意味此实施方案对本主题技术是必需的或者此实施方案应用于本主题技术的所有配置。与一个实施方案相关的公开可应用于所有实施方案，或者一个或多个实施方案。一个实施方案可提供一个或多个示例。短语诸如“实施方案”可指一个或多个实施方案，反之亦然。短语诸如“配置”不意味此配置是本主题技术必需的或者此配置应用于本主题技术的所有配置。与配置相关的公开可应用于所有配置或者一个或多个配置。配置可提供一个或多个示例。短语诸如“配置”可指一个或多个配置，反之亦然。

Claims

1.一种设备，包括：

存储器；以及

至少一个处理器，所述至少一个处理器被配置为：

确定物理相机在物理环境中相对于所述设备的第一位置；

发起将虚拟相机定位在计算机生成的环境内的第二位置中，其中所述虚拟相机在所述计算机生成的环境中相对于对应于人的虚拟表示的所述第二位置与所述物理相机在所述物理环境中相对于所述设备的所述第一位置重合，所述人与所述设备相关联；

接收由所述物理环境的所述物理相机捕获的至少一个图像帧和由所述计算机生成的环境的所述虚拟相机生成的至少一个虚拟图像帧；以及

生成至少一个计算机生成的现实图像帧，所述至少一个计算机生成的现实图像帧包括所述至少一个图像帧的至少部分与所述至少一个虚拟图像帧的至少部分的合成。

2.根据权利要求1所述的设备，其中对应于所述人的所述虚拟表示包括所述人的化身，所述虚拟相机的视场包括所述人的所述化身，所述物理相机的视场包括所述设备，并且所述至少一个处理器被进一步配置为：

从由所述物理相机捕获的所述至少一个图像帧中分割所述人的图像。

3.根据权利要求2所述的设备，其中所述至少一个处理器被进一步配置为：

将所述人的分割图像与所述至少一个虚拟图像帧的所述至少部分合成以生成所述至少一个计算机生成的现实图像帧，所述人的所述分割图像替换所述至少一个计算机生成的现实图像帧中的所述人的所述化身。

4.根据权利要求1所述的设备，其中所述至少一个处理器被进一步配置为：

从所述至少一个虚拟图像帧中分割至少一个虚拟对象；以及

将所述至少一个虚拟对象与所述至少一个图像帧的所述至少部分合成以生成所述至少一个计算机生成的现实图像帧。

5.根据权利要求4所述的设备，其中所述至少一个虚拟对象包括所述计算机生成的环境中另一用户的另一化身。

6.根据权利要求4所述的设备，其中所述计算机生成的环境包括计算机生成的现实环境，并且所述至少一个虚拟对象在所述计算机生成的现实环境中显示为邻近所述物理环境中的物理对象。

7.根据权利要求1所述的设备，其中所述至少一个处理器被进一步配置为：

检测所述物理相机的所述第一位置的变化；以及

发起所述虚拟相机的所述第二位置的变化以与所述物理相机的改变了的第一位置重合。

8.根据权利要求1所述的设备，其中所述至少一个处理器被进一步配置为：

在所述物理相机与所述设备之间交换一个或多个信号；以及

至少部分地基于一个或多个所交换的信号的一个或多个到达时间来确定所述物理相机在所述物理环境中的所述第一位置。

9.根据权利要求1所述的设备，其中所述至少一个处理器被进一步配置为：

利用计算机视觉来确定所述物理相机在物理环境中相对于所述设备的所述第一位置。

10.根据权利要求1所述的设备，其中所述物理相机和所述设备均与所述人的账户相关联，并且所述设备包括所述物理相机或所述设备中的至少一者。

11.根据权利要求1所述的设备，其中所述至少一个处理器被进一步配置为：

显示所述至少一个计算机生成的现实图像帧。

12.一种方法，包括：

由电子设备确定所述电子设备在物理环境中相对于另一电子设备的第一位置；

将所述电子设备的所述第一位置传输到所述另一电子设备；

从所述另一电子设备接收至少一个虚拟图像帧的包括计算机生成的现实环境的虚拟对象的至少部分，所述至少一个虚拟图像帧的所述至少部分已被放置在所述计算机生成的现实环境内的第二位置处的虚拟相机捕获；

从所述电子设备的图像捕获设备接收从所述物理环境中捕获的至少一个图像帧；

至少部分地基于所述至少一个虚拟图像帧的所述虚拟对象和所述至少一个图像帧生成计算机生成的现实图像帧；以及

由所述电子设备显示所述计算机生成的现实图像帧。

13.根据权利要求12所述的方法，其中所述虚拟相机在所述计算机生成的现实环境中相对于与所述另一电子设备相关联的第三位置的所述第二位置与所述图像捕获设备在所述物理环境中相对于所述另一电子设备的所述第一位置重合。

14.根据权利要求12所述的方法，其中所述电子设备与第一用户账户相关联，并且所述另一电子设备与不同于所述第一用户账户的第二用户账户相关联。

15.根据权利要求12所述的方法，还包括：

检测所述电子设备在所述物理环境中相对于所述另一电子设备的所述第一位置的变化；

向所述另一电子设备传输对所述第一位置的所述变化的指示；以及

从所述另一电子设备接收包括所述计算机生成的现实环境的所述虚拟对象的另一至少一个虚拟图像帧，所述另一至少一个虚拟图像帧已经由被重新定位到反映所述电子设备的所述第一位置的所述变化的第三位置之后的所述虚拟相机捕获。

16.一种非暂态机器可读介质，所述非暂态机器可读介质包括代码，当所述代码由一个或多个处理器执行时，使所述一个或多个处理器执行操作，所述代码包括：

用于确定第一电子设备在物理环境中相对于第二电子设备的第一位置的代码；

用于发起将虚拟相机定位在由所述第二电子设备生成的计算机生成的环境内的第二位置的代码，其中所述虚拟相机在所述计算机生成的环境中的所述第二位置与所述第一电子设备在所述物理环境中的所述第一位置重合；

用于接收由所述第一电子设备捕获的至少一个图像帧和至少一个虚拟图像帧的代码；以及

用于生成计算机生成的现实图像的代码，所述计算机生成的现实图像包括所述至少一个图像帧的至少部分和所述至少一个虚拟图像帧的至少部分。

17.根据权利要求16所述的机器可读介质，其中所述第一电子设备包括物理相机。

18.根据权利要求17所述的机器可读介质，其中所述虚拟相机在所述计算机生成的环境中相对于人的表示的所述第二位置与所述物理相机在所述物理环境中相对于所述第二电子设备的所述第一位置重合，所述人与所述第二电子设备相关联。

19.根据权利要求17所述的机器可读介质，其中由所述第二电子设备生成的所述计算机生成的环境的第一视场与所述虚拟相机在所述计算机生成的环境中的第二视场不同。

20.根据权利要求16所述的机器可读介质，其中所述代码还包括：

用于检测所述第一电子设备的所述第一位置的变化的代码；以及

用于发起所述虚拟相机的所述第二位置的变化以与所述第一电子设备的改变了的第一位置重合的代码。