CN111316334A - 用于动态地改变虚拟现实环境的设备和方法 - Google Patents

Abstract

一种电子设备，包括显示器、一个或多个传感器、通信接口和存储器，它们全部与至少一个处理器互连。至少一个处理器被配置为：识别与虚拟现实(VR)应用相关联的第一上下文，第一上下文包括关于与VR应用相关的虚拟环境中的第一虚拟对象的信息；获得与真实环境相关联的第二上下文；通过将第一上下文与第二上下文进行组合来生成组合的上下文；基于组合的上下文来确定第二虚拟对象是否可用于虚拟环境；响应于第二虚拟对象可用于虚拟环境：获得第二虚拟对象并在虚拟环境中用第二虚拟对象替换第一虚拟对象；以及显示包括第二虚拟对象在内的虚拟环境。

Description

用于动态地改变虚拟现实环境的设备和方法

技术领域

本公开总体上涉及虚拟现实(VR)应用和VR环境。更具体地，本公开涉及动态地改变VR环境的设备和方法。

背景技术

侵入式广告被布置在包括TV、可下载流媒体以及移动应用在内的许多类型的媒体中。对于与媒体内容或媒体内容的传送相关联的公司，这种侵入式广告通常是主要的收入来源。侵入式广告通常包括横幅广告、打开的窗口、侧面板广告、弹出广告和视频广告中断。

许多类型的媒体仅限于提供默认环境。例如，篮球比赛的游戏应用可以仅提供默认环境，该默认环境与正在玩篮球比赛应用的用户的地理位置或真实世界的物理环境没有联系。例如，用户可能正坐在加利福尼亚州外面的长椅上玩篮球应用，该篮球应用提供了绿色队对战蓝色队的无特色的室内篮球馆的视图。结果，用户对游戏的沉浸和与游戏的联系受到了在用户的位置和环境方面的限制。

发明内容

本发明的公开内容

技术问题

侵入式广告常常会阻挡正被观看的媒体或叠加在媒体上方，从而给用户带来烦恼。另外，许多类型的媒体仅限于提供默认环境。

问题的解决方案

本公开提供了用于动态地改变或修改虚拟现实环境的设备和方法。本公开的实施例还可以提供一种用于框架的设备和方法，该框架用于将与真实世界有关的虚拟对象无缝且非干扰性地集成到虚拟世界中。在一个实施例中，框架可以利用实现将例如天气条件、真实世界上下文、地理相关信息或广告无缝集成到VR环境中的过程。实施例提供了一种可以通过在虚拟世界环境中包括真实世界上下文来实现真实世界与虚拟世界之间的转换的设备和过程。

在第一实施例中，提供了一种具有显示器的电子设备，该显示器可配置用于在头戴式设备(HMD)中使用。该电子设备包括一个或多个传感器、网络接口和存储器。至少一个处理器耦接到显示器、存储器、网络接口和一个或多个传感器。至少一个处理器被配置为：识别与虚拟现实(VR)应用相关联的第一上下文，第一上下文包括关于与VR应用相关的虚拟环境中的第一虚拟对象的信息；获得与真实环境相关联的第二上下文；通过将第一上下文与第二上下文进行组合来生成组合的上下文；基于组合的上下文来确定第二虚拟对象是否可用于虚拟环境；响应于第二虚拟对象可用于虚拟环境：获得第二虚拟对象并在虚拟环境中用第二虚拟对象替换第一虚拟对象；以及显示包括第二虚拟对象在内的虚拟环境。

在第二实施例中，提供了一种用于动态地改变虚拟现实(VR)的方法。用于动态地改变虚拟现实的方法包括提供可配置为在头戴式设备(HMD)中使用的电子设备。电子设备具有一个或多个传感器、网络接口、存储器和至少一个处理器。该方法还包括：识别与虚拟现实(VR)应用相关联的第一上下文，该第一上下文包括与VR应用相关联的虚拟环境中的第一虚拟对象；获得与真实环境相关联的第二上下文；通过将第一上下文与第二上下文进行组合来生成组合的上下文；基于组合的上下文来确定第二虚拟对象是否在虚拟环境中；响应第二虚拟对象可用于虚拟环境：获得第二虚拟对象并在虚拟环境中用第二虚拟对象替换第一虚拟对象；以及显示包括第二虚拟对象在内的虚拟环境。

在第三实施例中，一种非暂时性计算机可读介质包括用于动态地改变虚拟现实(VR)环境的程序代码，当程序代码由至少一个处理器执行时，该程序代码使电子设备确定用于VR应用的第一上下文，其中VR应用包括虚拟环境中的默认虚拟对象。程序代码还使电子设备从物理世界获得第二上下文，并将第一上下文与第二上下文进行组合以创建组合的上下文，其中，组合的上下文包括具有虚拟上下文的物理世界细节。还使电子设备确定替换虚拟对象是否可用。替换虚拟对象是与组合的上下文相关联的相关虚拟对象。当替换虚拟对象可用时，使电子设获得替换虚拟对象，并在虚拟环境中用替换虚拟对象替换默认对象，然后显示包括替换虚拟对象在内的虚拟环境。根据下面的附图、描述和权利要求，本领域技术人员可以是容易理解其他技术特征。

在进行下面的详细描述之前，阐述贯穿本专利文件所使用的某些词语和短语的定义可能是有利的。术语“发送”、“接收”和“通信”及其派生词包括直接通信和间接通信这二者。术语“包含”和“包括”及其派生词意味着在没有限制的情况下的包含。术语“或”是包含性的，意味着和/或。短语“与...相关联”及其派生词意味着包括、被包括在内、与...互连、包含、被包含在内、连接到或与...连接、耦接到或与...耦接、可与...通信、与...协作、交织、并置、接近...、绑定到...或与...绑定、具有、具有...的属性、具有到...的关系或与...的关系等。

此外，下文所描述的各种功能可以由一个或多个计算机程序实现或支持，每个计算机程序由计算机可读程序代码形成并被实施在计算机可读介质中。术语“应用”和“程序”是指一个或多个计算机程序、软件组件、指令集、过程、功能、对象、类、实例、相关数据或其适于在适当的计算机可读程序代码中实现的部分。短语“计算机可读程序代码”包括任何类型的计算机代码，包括源代码、目标代码和可执行代码。短语“计算机可读介质”包括能够由计算机访问的任何类型的介质，诸如只读存储器(ROM)、随机存取存储器(RAM)、硬盘驱动器、高密度盘(CD)、数字视频盘(DVD)或任何其他类型的存储器。“非暂时性”计算机可读介质不包括传输暂时性电信号或其他信号的有线、无线、光学或其他通信链路。非暂时性计算机可读介质包括其中能够永久存储数据的介质和其中能够存储数据且随后能够被重写的介质，诸如可重写的光盘或可擦除的存储器设备。

如本文的使用，术语“具有”、“可以具有”、“包含”或“可以包含”、“可能具有”或“可能包含”特征(例如，数字、功能、操作或诸如部件等组件)指示存在该特征，而不排除其它特征的存在。

如本文中所使用的，术语“A或B”、“A和/或B中的至少一个”或“A和/或B中的一个或多个”可以包括A和B的所有可能组合。例如，“A或B”、“A和B中的至少一个”、“A或B中的至少一个”可以指示以下所有情况：(1)包括至少一个A、(2)包括至少一个B、或(3)包括至少一个A和至少一个B。

如本文中所使用的，术语“第一”和“第二”可以修饰各种组件，而与重要性无关并且不限制组件。这些术语仅用来将组件彼此区分开。例如，第一用户设备和第二用户设备可以指示彼此不同的用户设备，而与设备的重要性或顺序无关。例如，在不脱离本公开范围的情况下，第一组件可以被表示为第二组件，反之亦然。

应该理解，当一元件(例如，第一元件)被称为(操作地或者通信地)“耦接至”或者“连接至”另一元件(例如，第二元件)时，该元件可以直接耦接或连接至该另一元件，或者可以经由第三元件耦接或连接至该另一元件。相反，将理解的是，当元件(例如，第一元件)被称为与另一元件(例如，第二元件)“直接耦接”或“直接连接”或者“直接耦接到”或“直接连接到”另一元件(例如，第二元件)时，没有其他元件(例如，第三元件)介于该元件和另一元件之间。

如本文中所使用的，取决于场景，术语“被配置(或设置)成”可以与术语“适合于”、“具有......的能力”、“被设计成”、“适于”、“使......”或者“能够......”互换使用。术语“被配置(或设置)为”不是在本质上意味着“在硬件上被专门设计为”。更确切地说，术语“被配置为”可以意指一设备能够与另一设备或部件一起执行操作。

例如，术语“处理器被配置(或设置)为执行A、B和C”可以表示可以通过执行存储在存储器设备中的一个或多个软件程序来执行操作的通用处理器(例如，CPU或应用处理器)、或者用于执行操作的专用处理器(例如，嵌入式处理器)。

本文使用的术语仅被设置为描述其一些实施例，而不限制本公开的其他实施例的范围。将理解，单数形式“一”、“一个”和“该”包括复数指代，除非上下文另外清楚地说明。这里使用的包括技术和科学术语的所有术语具有本公开实施例所属领域的普通技术人员通常所理解的相同意义。还应理解，诸如在常用词典中定义的术语等的术语应被解释为其含义与在相关技术的上下文中的含义相一致，而不应将其解释为理想的或过于正式的含义，除非本文明确如此定义。在一些情况下，本文中定义的术语可以被解释为排除本公开的实施例。

例如，根据本公开实施例的电子设备的示例可以包括智能电话、平板个人计算机(PC)、移动电话、视频电话、电子书阅读器、台式PC、膝上型计算机、上网本计算机、工作站、个人数字助理(PDA)、便携式多媒体播放器(PMP)、MP3播放器、移动医疗设备、相机、或可穿戴设备(例如，智能眼镜、头戴式设备(HMD)、电子服装、电子手镯、电子项链、电子配饰、电子纹身、智能镜子或智能手表)。

贯穿本专利文献提供了对其他某些词语和短语的定义。本领域普通技术人员应该理解：在许多情况下(如果不是大多数情况)，这样的定义适用于这样定义的词语和短语的先前以及将来的使用。

根据本公开的实施例，电子设备可以是智能家用电器。智能家用电器的示例可以包括以下中的至少一个：电视、数字视频盘(DVD)播放器、音频播放器、冰箱、空调、吸尘器、烤箱、微波炉、洗衣机、干燥器、空气净化器、机顶盒、家庭自动控制面板、安全控制面板、TV盒(例如，Samsung HOMESYNC^TM、APPLE TV^TM或GOOGLE TV^TM)、游戏机(XBOX^TM、PLAYSTATION^TM)、电子词典、电子钥匙、摄像机或电子相框。

根据本公开的实施例，电子设备的示例可以包括以下至少一项：各种医疗设备(例如，多功能便携式医疗测量设备(血糖测量设备、心跳测量设备或体温测量设备)、磁共振血管造影(MRA)设备、磁共振成像(MRI)设备、计算机断层扫描(CT)设备、成像设备或超声设备)、导航设备、全球定位系统(GPS)接收机、事件数据记录仪(EDR)、飞行数据记录仪(FDR)、汽车信息娱乐设备、航海电子设备(例如，海航导航设备或陀螺仪罗盘)、航空电子设备、安保设备、车辆头单元、工业或家庭机器人、自动柜员机(ATM)、销售点(POS)设备、或物联网设备(例如，灯泡、各种传感器、电表或燃气表、洒水器、火警警报器、恒温调节器、街灯、烤面包片机、健身器材、热水箱、加热器或烧水壶)。

根据本公开的某些实施例，电子设备可以是以下项中的至少一个：家具或建筑物/结构的一部分、电子板、电子签名接收设备、投影仪或各种测量设备(例如，用于测量水、电、燃气或电磁波的设备)。

根据本公开实施例，电子设备是以上列出设备的一个或组合。根据本公开实施例，电子设备是柔性电子设备。本文公开的电子设备不限于以上列出的设备，并且可以根据技术的发展包括新电子设备。

如本文所使用的，术语“用户”可以表示使用电子设备的人或另一设备(例如，人工智能电子设备)。

贯穿本专利文献提供了对其他某些词语和短语的定义。本领域普通技术人员应该理解：在许多情况下(如果不是大多数情况)，这样的定义适用于这样定义的词语和短语的先前以及将来的使用。

附图说明

为了更完整理解本公开及其优点，现结合附图来参考以下描述，在附图中：

图1示出了根据本公开实施例的示例网络配置；

图2是示出了根据本公开实施例的电子设备的配置的示例框图；

图3示出了根据本公开实施例的程序模块的示例框图；

图4示出了用于根据本公开实施例的平台的示例架构；

图5示出了根据本公开的虚拟上下文引擎的示例实施例；

图6是示出了根据本公开的示例融合上下文服务的框图；

图7是示出了根据本公开的融合上下文服务过程的示例的流程图；

图8A、图8B、图8C和图8D示出了根据本公开的将物理世界上下文转换成虚拟上下文的实施例的示例场景；

图9示出了根据本公开的在VR框架中的虚拟对象的显示的示例，该虚拟对象关于3D场景的对象描述；以及

图10A、图10B、图10C和图10D示出了根据本公开实施例的基于真实世界条件的VR渲染。

具体实施方式

以下讨论的图1至图10D和本专利文档中用于描述该公开的原理的各种实施例仅仅是说明性的，而决不应以任何方式被解释为限制本公开的范围。本领域的技术人员应理解：本公开的原理可以在任何合适地布置的无线通信系统中实现。

图1示出了根据本公开的各种实施例的示例网络配置100。图1中示出的网络配置100的实施例仅用于说明。在不脱离本公开的范围的情况下，可以使用网络配置100的其他实施例。

根据本公开实施例，电子设备101包括在网络环境100中。电子设备101可以包括总线110、处理器120、存储器130、输入/输出(IO)接口150、显示器160、通信接口170、或一个或多个传感器180中的至少一个。在一些实施例中，电子设备101可以不包括这些组件中的至少一个，或者可以添加另一组件。

总线110包括用于将组件120至170相互连接并在组件之间传送通信(例如，控制消息和/或数据)的电路。

处理器120包括中央处理单元(CPU)、应用处理器(AP)或通信处理器(CP)中的一项或多项。处理器120能够对电子设备101的至少一个其他组件执行控制，和/或执行与通信相关的操作或数据处理。

例如，处理器120可以接收在捕获事件期间由相机捕获的多个帧。处理器120可以识别多个帧中的每个帧中的显著区域。处理器120可以基于所识别的显著区域从多个帧中确定参考帧。处理器120可以将非参考帧与确定的参考帧融合为完成帧。处理器120可以操作显示器以显示完成帧。

存储器130可以包括易失性和/或非易失性存储器。例如，存储器130可以存储与电子设备101的至少一个其他组件相关的命令或数据。根据本公开实施例，存储器130可以存储软件和/或程序140。程序140包括例如内核141、中间件143、应用编程接口(API)145和/或应用程序(或应用)147。内核141、中间件143或API 145中的至少一部分可以被表示为操作系统(OS)。

例如，内核141可以控制或管理执行在其他程序(例如，中间件143、API 145或应用程序147)中实现的操作或功能所使用的系统资源(例如，总线110、处理器120或存储器130等)。内核141提供允许中间件143、API 145或应用147访问电子设备101的各个组件以控制或管理系统资源的接口。

例如，中间件143可以作为中继器，以允许API 145或应用147与内核141进行数据通信。可以提供多个应用147。中间件143能够例如通过将使用电子设备101的系统资源(例如，总线110、处理器120或存储器130)的优先级分配给多个应用134中的至少一个来控制从应用147接收到的工作请求。

API 145是允许应用147控制从内核141或中间件143提供的功能的接口。例如，API145包括用于归档控制、窗口控制、图像处理或文本控制的至少一个接口或功能(例如，命令)。

IO接口150用作可以(例如)向电子设备101的其他组件传送从用户或其他外部设备输入的命令或数据的接口。此外，IO接口150可以向用户或其他外部设备输出从电子设备101的其他组件接收到的命令或数据。在某些实施例中，IO接口150可以包括智能助手，例如，BIXBY或GOOGLE ASSISTANT、CORTANA、ECHO、VIV等。

显示器160包括例如液晶显示器(LCD)、发光二极管(LED)显示器、有机发光二极管(OLED)显示器、或微机电系统(MEMS)显示器或电子纸显示器。显示器160能够向用户显示例如各种内容(例如，文本、图像、视频、图标或符号)。显示器160可以包括触摸屏，并可以接收例如通过使用电子笔或用户的身体部位进行的触摸、手势、接近或悬停输入。

例如，通信接口170能够在电子设备101和外部电子设备(例如，第一电子设备102、第二电子设备104或服务器106)之间建立通信。例如，通信接口170可以通过无线或有线通信与网络162或164相连以与外部电子设备通信。通信接口170可以是有线或无线收发器或用于发送和接收信号(例如，视频供给或视频流)的任何其他组件。

电子设备101还包括一个或多个传感器180，传感器180可以计量物理量或检测电子设备101的激活状态，并将所计量或检测到的信息转换为电信号。例如，一个或多个传感器180可以包括用于触摸输入的一个或多个按钮、相机、手势传感器、陀螺仪或陀螺仪传感器、气压传感器、磁性传感器或磁力计、加速度传感器或加速度计、握持传感器、接近传感器、颜色传感器(例如，红绿蓝(RGB)传感器)、生物物理传感器、温度传感器、湿度传感器、照度传感器、紫外(UV)传感器、肌电图(EMG)传感器、脑电图(EEG)传感器、心电图(ECG)传感器、IR传感器、超声传感器、虹膜传感器、指纹传感器等。一个或多个传感器180还可以包括包含在其中的用于控制至少一个传感器的控制电路。一个或多个传感器180中的任何一个可以位于电子设备101内。相机传感器180可以捕获要被处理器120组合为单个图像的多个帧。

第一外部电子设备102或第二外部电子设备104可以是可穿戴设备或可安装电子设备101的可穿戴设备(例如，头戴式显示器(HMD))。当将电子设备101安装在HMD(例如，第一外部电子设备102)中时，电子设备101能够检测在HMD中的安装并以虚拟现实模式操作。当电子设备101被安装在第一外部电子设备102(例如，HMD)中时，电子设备101可以通过通信接口170与第一外部电子设备102通信。电子设备101可以直接与第一外部电子设备102连接以与第一外部电子设备102通信，而无需涉及单独的网络。

无线通信能够使用以下至少一项作为蜂窝通信协议：例如，长期演进(LTE)、长期演进-高级(LTE-A)、第5代无线系统(5G)、毫米波或60GHz无线通信、无线USB、码分多址(CDMA)、宽带码分多址(WCDMA)、通用移动电信系统(UMTS)、无线宽带(WiBro)或全球移动通信系统(GSM)。有线连接可以包括以下至少一项：通用串行总线(USB)、高清多媒体接口(HDMI)、推荐标准232(RS-232)或普通老式电话服务(POTS)。

网络162包括通信网络中的至少一个，例如，计算机网络(例如，局域网(LAN)或广域网(WAN))、互联网或电话网络。

第一外部电子设备102和第二外部电子设备104以及服务器106均可以是与电子设备101相同或不同类型的设备。根据本公开实施例，服务器106包括具有一个或多个服务器的组。根据本公开的某些实施例，在电子设备101上执行的操作中的全部或一些可以在另一个或多个其他电子设备(例如，第一外部电子设备102和第二外部电子设备104或服务器106)上执行。根据本公开的某些实施例，当电子设备101应自动或者根据请求执行某一功能或服务时，作为执行该功能或服务的替代或者附加，电子设备101可以请求另一设备(例如，第一外部电子设备102和第二外部电子设备104或服务器106)执行与其相关联的至少一些功能。另一电子设备(例如，第一外部电子设备102和第二外部电子设备104或服务器106)能够执行所请求的功能或附加功能，并向电子设备101传送执行的结果。电子设备101可以通过按原样或附加地处理接收到的结果来提供所请求的功能或服务。为此，例如，可以使用云计算、分布式计算或客户端-服务器计算技术。

尽管图1示出了电子设备101包括通信接口170以经由网络162与第二外部电子设备104或服务器106通信，但是根据本公开实施例，电子设备101可以独立地操作而无需单独的通信功能。

服务器106可以通过执行电子设备101上实现的至少一个操作(或功能)来支持对电子设备101进行驱动。例如，服务器106可以包括可以支持在电子设备101中实现的处理器120的处理模块或处理器。

图2示出了根据本公开各种实施例的示例电子设备220。图2中示出的电子设备220的实施例仅用于说明。在不脱离本公开的范围的情况下，可以使用电子设备220的其他实施例。

图2是根据本公开的实施例的电子设备的示例配置的框图。参考图2，根据本公开实施例的电子设备220可以是具有至少一个显示器的电子设备220。在以下描述中，电子设备220可以是主要执行显示功能的设备，或者可以表示包括至少一个显示器在内的普通电子设备。例如，第一电子设备220可以是具有触摸屏230的电子设备(例如，智能电话)。

根据本公开实施例，电子设备220可以包括触摸屏230、控制器240、存储单元250或通信单元260中的至少一个。触摸屏230可以包括显示面板231和/或触摸面板232。控制器240可以包括虚拟现实模式处理单元241、事件确定单元242、事件信息处理单元243或应用控制器244中的至少一个。

例如，当电子设备220被安装在可穿戴设备210中时，电子设备220可以例如作为HMD进行操作，并且运行虚拟现实模式。此外，根据本公开的实施例，即使当电子设备220未安装在可穿戴设备210中时，电子设备220也可以根据用户的设置来运行虚拟现实模式或运行与虚拟现实模式相关的应用。在以下实施例中，尽管将电子设备220设置为安装在可穿戴设备210中以运行虚拟现实模式，但是本公开实施例不限于此。

根据本公开实施例，当电子设备220以虚拟现实模式操作(例如，电子设备220被安装在可穿戴设备210中以在头戴式影院(HMT)模式下操作)时，可以通过显示面板231来显示与用户的眼睛(左眼和右眼)相对应的两个画面。

根据本公开实施例，当电子设备220以虚拟现实模式操作时，控制器240可以控制与在以虚拟现实模式操作时生成的事件有关的信息的处理以适合于虚拟现实模式，并且显示处理后的信息。根据本公开实施例，当以虚拟现实模式操作时生成的事件是与运行应用有关的事件时，控制器240可以阻止应用的运行或将应用处理为作为后台进程或应用进行操作。

更具体地，根据本公开实施例，控制器240可以包括虚拟现实模式处理单元241、事件确定单元242、事件信息处理单元243、或应用控制器244中的至少一个，以执行根据本公开的各种实施例的功能。本公开实施例可以被实现为使用电子设备220中的至少一个组件(例如，触摸屏230、控制器240或存储单元250)来执行如下所述的各种操作或功能。

根据本公开实施例，当将电子设备220安装在可穿戴设备210或根据用户的设置来运行虚拟现实模式时，或者当与虚拟现实模式相关的应用运行时，虚拟现实模式处理单元241可以处理与虚拟现实模式的操作有关的各种功能。虚拟现实模式处理单元241可以加载存储在存储单元250中的至少一个虚拟现实程序251以执行各种功能。

事件检测单元242确定或检测在由虚拟现实模式处理单元241以虚拟现实模式进行操作时生成事件。此外，事件检测单元242可以确定是否存在要显示在显示画面上的与在虚拟现实模式下操作时生成的事件有关的信息。此外，事件检测单元242可以确定将运行与在虚拟现实模式下操作时生成的事件有关的应用。以下描述与事件的类型有关的应用的各种实施例。

当根据事件检测单元242的确定结果得到存在要显示的与在虚拟现实模式下操作时发生的事件相关的信息时，事件信息处理单元243可以处理要显示在显示画面上的事件相关信息以适合虚拟现实模式。可以应用用于处理事件相关信息的各种方法。例如，当在虚拟现实模式下实现三维(3D)图像时，电子设备220转换事件相关信息以适合3D图像。例如，可以将以二维(2D)显示的事件相关信息转换为与3D图像相对应的左眼和右眼信息，然后可以对转换后的信息进行合成并显示在当前运行的虚拟现实模式的显示画面上。

当事件检测单元242确定存在要运行的与在虚拟现实模式下操作时发生的事件有关的应用时，应用控制器244执行控制以阻止与该事件有关的应用的运行。根据本公开实施例，当事件检测单元242确定存在与在虚拟现实模式下操作时发生的事件有关的应用时，应用控制器244可以执行控制，使得该应用在后台中运行，以便当事件相关应用运行时不影响与虚拟现实模式相对应的应用的运行或画面显示。

存储单元250可以存储虚拟现实程序251。虚拟现实程序251可以是与电子设备220的虚拟现实模式操作有关的应用。存储单元250还可以存储事件相关信息252。事件检测单元242可以参考存储在存储单元250中的事件相关信息252，以确定是否要在画面上显示发生的事件，或者识别关于要运行的与发生的事件有关的应用的信息。

可穿戴设备210可以是包括图1所示的电子设备101的至少一项功能在内的电子设备，并且可穿戴设备210可以是可以安装电子设备220的可穿戴架。在可穿戴设备210是电子设备的情况下，当电子设备220被安装在可穿戴设备210上时，可以通过电子设备220的通信单元260提供各种功能。例如，当电子设备220被安装在可穿戴设备210上时，电子设备220可以检测是否被安装在可穿戴设备210上以与可穿戴设备210通信，并且可以确定是否以虚拟现实模式(或HMT模式)进行操作。

根据本公开实施例，当在将通信单元220安装在可穿戴设备210上时未能自动地确定是否安装了电子设备220时，用户可以通过运行虚拟现实程序251或选择虚拟现实模式(或HMT模式)来应用本公开的各种实施例。根据本公开实施例，当可穿戴设备210与电子设备101一起或作为其一部分工作时，可穿戴设备可以被实现为自动地确定电子设备220是否被安装在可穿戴设备210上，并启用电子设备220的运行模式以自动地切换到虚拟现实模式(或HMT模式)。

图2所示的控制器240的至少一些功能可以包括在图1所示的电子设备101的事件处理模块或处理器120中。图2所示的触摸屏230或显示面板231可以与图1的显示器160相对应。图2所示的存储单元250可以与图1的存储器130相对应。

尽管在图2中，触摸屏230包括显示面板231和触摸面板232，但是根据本公开实施例，显示面板231或触摸面板232还可以被设置为单独的面板而不是被组合在单个触摸屏230中。此外，根据本公开实施例，电子设备220可以包括显示面板231，但是不包括触摸面板232。

根据本公开实施例，为了易于描述，电子设备220可以被表示为第一设备(或第一电子设备)，并且可穿戴设备210可以被表示为第二设备(或第二电子设备)。

根据本公开实施例，电子设备可以包括：显示单元，显示与虚拟现实模式相对应的画面；以及控制器，执行对以下操作的控制：根据至少一个事件的发生来检测中断，以与虚拟现实模式相对应的形式改变与事件有关的事件相关信息，以及在与虚拟现实模式相对应的显示画面上显示改变的事件相关信息。

根据本公开实施例，事件可以包括从以下项中选择的任何一项或多项：呼叫接收事件、消息接收事件、警报通知、时间表通知、无线保真(Wi-Fi)连接、Wi-Fi断开、低电量通知、数据许可或使用限制通知、无应用响应通知、或异常的应用终止通知。

根据本公开实施例，电子设备还包括：存储单元，被配置为当事件不是要在虚拟现实模式下显示的事件时存储事件相关信息，其中控制器可以执行控制以当电子设备从虚拟现实模式切换为透视(see-through)模式时显示存储在存储单元中的事件相关信息。

根据本公开实施例，电子设备还可以包括：存储单元，存储与要在虚拟现实模式下显示的至少一个事件有关的信息。

根据本公开实施例，事件可以包括即时消息接收通知事件。

根据本公开实施例，当事件是与运行至少一个应用有关的事件时，控制器可以根据事件的发生而执行阻止应用运行的控制。

根据本公开实施例，当电子设备的画面模式从虚拟现实模式切换为透视模式时，控制器可以执行控制以运行被阻止的应用。

根据本公开实施例，当事件是与运行至少一个应用有关的事件时，控制器可以执行控制以使得根据事件的发生能够在虚拟现实模式的画面的背景上运行应用。

根据本公开实施例，当电子设备与可穿戴设备连接时，控制器可以执行控制以运行虚拟现实模式。

根据本公开实施例，控制器可以使得事件相关信息能够被布置和处理以显示在当前显示画面上显示的虚拟现实模式画面的3D空间中。

根据本公开的实施例，电子设备可以包括附加的传感器，例如，一个或多个红绿蓝(RGB)相机、动态视觉传感器(DVS)相机、360度相机或其组合。

图3是示出了根据本公开实施例的程序模块的框图。图3中示出的程序模块的实施例仅用于说明。在不脱离本公开的范围的情况下，可以使用其他实施例。参考图3，程序模块可以包括系统操作系统(例如，OS)310、框架320和应用330。

系统操作系统310可以包括至少一个系统资源管理器或至少一个设备驱动器。系统资源管理器可以执行例如对系统资源的控制、分配或者恢复。系统资源管理器可以包括至少一个管理器，例如，进程管理器、存储器管理器或文件系统管理器。设备驱动器可以包括至少一个驱动器，例如，显示器驱动器、相机驱动器、蓝牙驱动器、共享存储器驱动器、USB驱动器、键盘驱动器、Wi-Fi驱动器、音频驱动器或进程间通信(IPC)驱动器。

根据本公开实施例，框架320(例如，中间件)可以提供例如应用通常需要的功能，或者可以通过应用编程接口(API)向应用提供各种功能，以允许应用有效地使用电子设备内部有限的系统资源。

包括在框架320中的VR框架可以控制与电子设备上的虚拟现实模式操作有关的功能。例如，当运行虚拟现实模式操作时，VR框架320可以控制应用330中与虚拟现实有关的至少一个VR应用351，以便在电子设备上提供虚拟现实模式。

应用330可以包括多个应用，并且可以包括以虚拟现实模式运行的至少一个VR应用351和以非虚拟现实模式的普通模式运行的至少一个普通应用352。

应用330还可以包括VR控制应用340。可以在VR控制应用340的控制下控制至少一个VR应用351和/或至少一个普通应用352的操作。

当电子设备在虚拟现实模式下操作时发生至少一个事件时，系统操作系统310可以将事件的发生通知给框架320，例如，VR框架。

然后，框架320可以控制普通应用352的运行，使得事件相关信息可以在普通模式而不是虚拟现实模式下关于发生的事件而显示在画面上。当存在要运行的与普通模式下发生的事件有关的应用时，框架320可以执行或提供控制以运行至少一个普通应用352。

根据本公开实施例，当在虚拟现实模式下操作的同时发生事件时，框架320(例如，VR框架)可以阻止至少一个普通应用352显示与发生的事件有关的信息的操作。框架320可以将在虚拟现实模式下操作时发生的事件提供给VR控制应用340。

VR控制应用340可以处理与在虚拟现实模式下操作时发生的事件有关的信息以适合于虚拟现实模式的操作。例如，可以将2D平面事件相关信息处理为3D信息。

VR控制应用340可以控制当前运行的至少一个VR应用351，并且可以执行控制以对处理的事件相关信息进行合成并将其显示在由VR应用351运行的画面上，并在其上显示事件相关信息的结果。

根据本公开实施例，当在虚拟现实模式下操作的同时发生事件时，框架320可以执行控制以阻止与发生的事件有关的至少一个普通应用352的运行。

根据本公开实施例，当在虚拟现实模式下操作的同时发生事件时，框架320可以执行控制以暂时阻止与发生的事件有关的至少一个普通应用352的运行，然后当虚拟现实模式终止时，框架320可以执行控制以运行被阻止的普通应用352。

根据本公开实施例，当在虚拟现实模式下操作的同时发生事件时，框架320可以控制与发生的事件有关的至少一个普通应用352的运行，使得与事件有关的至少一个普通应用352在后台上运行，以便不影响当前运行的VR应用351的画面。

结合图3描述的实施例是用于以程序的形式实现本公开实施例的示例，并且本公开实施例不限于此，而是可以以其他各种形式来实现。此外，尽管结合图3描述的实施例参考VR，但是其可以应用于诸如增强现实、混合现实等的其他场景。在本文中，各种现实场景可以统称为交叉现实(XR)。

根据本公开实施例，可以通过动态地改变VR环境以弥合虚拟世界与真实或物理世界之间的差距来改善用户的沉浸感。动态改变VR环境可以部分地由融合上下文协助。融合上下文是VR环境中的用户虚拟上下文和与用户相关联的真实或物理世界的物理上下文以及物理世界中的用户或例如电子设备220或可穿戴设备210周围的环境相结合的混合。

虚拟上下文是对VR应用的虚拟世界中的环境的上下文进行规定的虚拟上下文信息。因此，虚拟上下文包括形成用于设置在由VR应用提供或建立以供用户体验的VR世界中的事件的环境。形成例如VR世界中的初始设置的虚拟上下文的类型可以包括但不限于用户在虚拟世界中的位置、用户在虚拟世界中可以进行的活动、以及与使用VR世界的用户可能具有的一般兴趣类型相关联的兴趣。

以下提供了可以由VR应用提供的与VR应用的VR体验有关的位置、活动和兴趣相关的虚拟上下文的一些示例：

示例1：如果VR系统的用户正在使用VR应用游览中国的万里长城，则用于VR应用的虚拟上下文可以包括：

i.位置：虚拟位置是中国；更具体地说，虚拟位置是中国的万里长城；

ii.活动：使用该VR应用的用户的虚拟活动可以是游览、散步或远足；

iii.兴趣：使用该VR应用的用户的兴趣可以是旅游、历史位置和/或中国历史。

示例2.如果VR系统的用户正在玩VR保龄球应用或游戏，则用于VR应用的虚拟上下文可以包括：

i.位置：虚拟位置在保龄球馆中，也许位于保龄球馆的保龄球道上；

ii.活动：使用该VR应用的用户的虚拟活动是打保龄球；

iii.兴趣：使用该VR应用的用户的兴趣可以是游戏和/或娱乐。

示例3.如果VR系统的用户正在查看提供史密森尼国家航空航天博物馆的VR游览的VR游览应用，则用于VR游览应用的虚拟上下文可以包括：

i.位置：虚拟位置是美国华盛顿特区国家航空航天博物馆；

ii.活动：使用该VR应用的用户的虚拟活动是游览、散步；

iii.兴趣：使用该VR应用的用户的兴趣可以是旅游、博物馆和/或技术和科学史。

示例4.如果用户正在VR环境中观看电影，则用于VR电影应用的虚拟上下文可以是：

i.位置：可以不定义虚拟位置上下文；

ii.活动：使用该VR应用的用户的虚拟活动是观看电影；

iii.兴趣：使用该VR应用的用户的兴趣可以是娱乐和/或电影。

真实或物理上下文是与VR应用的用户相关联的实际物理或真实世界上下文信息。因此，真实上下文可以包括在用户正在使用电子设备的时间与用户相关联或围绕用户的物理或真实环境。在实施例中可以用来从仅使用由VR应用提供的默认虚拟上下文动态地改变VR应用的VR环境的真实上下文的类型可以包括但不限于：用户的地理位置、用户的地理位置的环境方面、用户最近在物理世界中进行的活动、以及用户在物理世界中拥有或从事的兴趣。

例如，用户的真实上下文位置可以是用户位于其在加利福尼亚州山景城的家中。备选地，真实上下文位置可以是任何地理确定的位置，例如，在室外(海滩、公园、露营地、泳池边)，或者在室内(家、餐馆、体育场、学校、汽车、火车或健身房)，这里仅列举了一些可能的真实上下文位置。

用户的真实上下文活动可以包括各种各样的活动，例如，包括跑步、打保龄球、远足、篮球、棒球、曲棍球或骑自行车之类的体育活动，这里仅列举了一些例子。真实上下文活动可以包括用户在使用本公开的实施例时正在做什么，例如，坐着、站立、躺下、乘坐移动中的车辆、度假，这里仅列举了几个示例。另外，在各种实施例中，真实上下文活动可以包括用户最近或曾经进行的活动，例如但不限于打保龄球、骑自行车、滑翔、冲浪、游泳、爬山、远足、烹饪、修理汽车、赛车、狩猎、观看现场体育赛事、参观博物馆或纪念馆、或做饭，这里仅列举了一些例子。

真实上下文兴趣是用户的实际兴趣。真实上下文兴趣是用户喜欢做的身体或心理上的事情。真实上下文兴趣可以包括但不限于以娱乐方式观看电影、戏剧或现场直播、玩体育运动、看书、狩猎动物、锻炼、做饭、游览博物馆或纪念馆、远足、玩视频游戏、玩智力游戏、玩无线电控制的飞机、骑马、摩托车比赛、学习历史、外语、科学、数学、医疗程序或一个人可能具有的任何其他兴趣。

图4示出了本公开实施例的平台的架构的示例。平台的实施例和实施例仅用于说明。在不脱离本公开的范围的情况下，可以使用其他实施例。

在图4中，架构400可以包括应用层402，在该应用层402中设置对VR应用404和由电子设备使用的其他应用的访问。VR应用404可以是包括虚拟上下文元数据的应用。VR应用404还可以是利用从数据源提供的虚拟上下文而获得的VR应用，或者是与从数据源提供的虚拟上下文相关联的VR应用。这样的数据源可以包括外部VR服务器406或第三方Web服务器408。

框架410包括VR框架环境412。VR框架环境412可以是用于VR应用的任何框架或渲染机器。VR框架的非限制性示例可以是Gear VR框架、如Google Daydream VR框架的VR框架、如OpenXR框架的开源VR框架、诸如OCULUS统一样本框架的统一样本框架、A-Frame框架、WebVR应用框架等。示例框架410具有包管理器414。包管理器414可以包括软件工具集，这些软件工具可以使安装、升级、配置和移除由电子设备的操作系统使用的程序或应用的过程自动化。在各种实施例中，包管理器414处理包含元数据在内的数据、软件或应用的包或分布，该元数据可以包括应用的名称、对应用的目的的描述、版本以及虚拟上下文元数据。包管理器414可以将虚拟上下文相关元数据提供给虚拟上下文引擎416。虚拟上下文引擎416提取在元数据中找到的虚拟上下文信息。虚拟上下文引擎416将与选定或活动VR应用相关联的虚拟上下文提供给融合上下文服务模块418。

框架410还可以包括真实上下文引擎420，该真实上下文引擎420使用现有技术来创建和组织与电子设备的用户相关联或与关于电子设备(例如，电子设备101和/或102)的位置或环境有关的真实上下文。这样的现有技术可以用于获得真实上下文，并可以包括全球定位系统(GPS)模块、温度传感器、湿度传感器、用于接收位置数据的网络连接、高度传感器、血压传感器、生物特征传感器、惯性测量单元(IMU)传感器、加速度传感器、天气传感器、或者可能或可以用于确定VR系统用户、与其有关或与其相关联的真实世界参数或偏好的任何其他已知传感器或数据连接。真实上下文引擎420将收集或存储的真实上下文数据或信息提供给融合上下文服务模块418。

在各种实施例中，融合上下文服务还可以经由与VR服务器406连接的网络接收与由VR系统存储、使用或正在VR系统中运行的VR应用有关的虚拟上下文。VR服务器406可以存储并维护用于VR应用的上下文信息。VR服务器406还可以从一个或多个第三方网络服务器408查询和接收虚拟内容。第三方Web服务器408可以与在电子设备中存储或运行的特定VR应用的公司或创建者相关联。第三方Web服务器408也可以与VR内容提供商相关联。

架构400还可以包括硬件抽象层(HAL)422，该硬件抽象层(HAL)422被配置为使得电子设备操作系统、框架或架构能够与电子设备或VR系统的硬件电子设备交互。

另外，架构400可以包括板支持包(BSP)和相关硬件424，该板支持包(BSP)和相关硬件424提供了硬件与操作系统、框架与架构之间的接口。

架构400可以允许融合上下文服务模块418结合VR环境框架412进行操作，以创建并实现用户观察到的VR环境中的动态变化，从而用真实上下文相关对象、图形和媒体来替换VR环境中的虚拟上下文相关对象、图形和媒体。融合上下文服务418用于提供VR环境内的虚拟上下文和与用户相关联的真实世界物理上下文和用户周围或附近的环境相结合的智能混合。这种新颖的融合上下文服务模块418用于通过以与用户的真实环境、兴趣和生活经历相关的方式动态地改变VR环境，来建立用户对VR环境的更沉浸式的体验。融合上下文服务模块还可以向VR应用和架构平台400提供用于在VR应用环境中无缝且非干扰性地集成营销和广告布置的技术。另外，融合上下文服务模块可以允许真实和虚拟世界环境和体验之间的智能、用户相关的转换。

图5示出了本公开实施例的虚拟上下文引擎416的示例。虚拟上下文引擎的实施例仅用于说明。在不脱离本公开的范围的情况下，可以使用其他实施例。

虚拟上下文引擎416的示例实施例可以包括三个部分：虚拟上下文广播处理机502、上下文构建器504和虚拟上下文数据库(DB)506。

虚拟上下文广播处理机502可以是数据和元数据的广义接收器。上下文广播处理机502可以监测现有的VR应用和正在安装的VR应用。当虚拟上下文广播处理机502识别或确定在电子设备中安装了新的、修订的或附加的VR应用时，虚拟上下文广播处理机502将包括与新的、修订的或附加的VR应用有关的元数据在内的信息传递给上下文构建器504。上下文构建器504使用所提供的信息来构建要与VR应用相关联的虚拟上下文文件。然后可以将虚拟上下文文件或DB存储在虚拟上下文DB 506中。

上下文构建器504可以针对元数据来解析VR应用。元数据可以采用可扩展标记语言(XML)、或例如使用定义的规则集以人类可读和机器可读的格式对文档进行编码的另一种标记语言。元数据还可以采用Java脚本对象表示法(JSON)，这是一种易于人类读写的轻量级的数据交换格式。JSON也易于机器解析和生成。本公开实施例也可以使用其他标记语言和元数据格式。上下文构建器504解析元数据和在元数据中找到的元标记，以便找到VR应用中虚拟上下文相关信息。上下文构建器504将从VR应用解析出的找到的虚拟上下文信息提供给虚拟上下文DB 506。虚拟上下文DB 506将找到的虚拟上下文信息存储为与其所来自的VR应用相关联。

以下是具有虚拟上下文引擎416接收的元数据的VR应用的示例。在具有元数据的VR应用的此示例中，用户和用户的电子设备在地理上位于加利福尼亚州的山景城。电子设备从用户接收指令以下载VR游览应用。VR游览应用被下载到电子设备中，例如，图1的电子设备101-102或图2的电子设备220-210。VR游览应用的开发人员将初始或默认上下文元数据包括在VR游览应用中或与其相关联，如下所示：

<位置＝华盛顿特区，美国/>

<纪念馆＝国家航空博物馆/>

<兴趣＝旅游/>

上下文构建器504从VR游览应用解析位置、纪念馆和兴趣元数据，并构建与VR游览应用相关联的虚拟上下文文件。虚拟上下文文件与VR游览应用相关联地存储在虚拟上下文DB 506中。

在各种实施例中，当上下文构建器504解析VR应用时，上下文构建器504可以确定VR应用何时不提供或不包括任何或足够的虚拟上下文相关元数据。在一些实施例中，上下文构建器504以各种方式构建虚拟上下文。返回参考图4，上下文引擎416可以查询VR服务器406或利用智能搜索引擎来定位、创建或添加附加的虚拟上下文以与不包括足够的上下文相关信息的VR应用一起使用。以下是VR应用不包括具有虚拟上下文信息的任何元数据的示例。

在不具有上下文相关元数据的VR应用的该示例中，电子设备的用户在地理上位于加利福尼亚州的山景城。电子设备从用户接收指令以下载VR应用。VR应用被下载到诸如图1和图2的电子设备之一的电子设备中。VR应用的开发人员未将任何初始或默认上下文元数据提供或包括在VR应用中或与其相关联。

在这种情况下，虚拟上下文引擎416的上下文构建器模块504被配置为寻找并提取VR应用的名称以及VR应用中的关联内容数据。然后，上下文构建器模块504可以经由诸如图1的网络162之类的网络向VR服务器406、106发起查询。VR服务器406被配置为维持用于多个VR应用的元数据的数据库，并在被查询时提供与所指示的VR应用相关联的元数据。如果VR服务器406不具有与特定VR应用查询相关联的元数据，则VR服务器406可以使用一个或多个搜索引擎(例如一个或多个智能搜索引擎)搜索并创建用于查询的VR应用的元数据，并且将用于查询的VR应用的关联元数据存储在VR服务器数据库中，以供当前和将来使用。在一些实施例中，可以在电子或移动设备上执行用于VR应用的元数据的搜索和创建。在任一实施例中，与VR应用相关联的元数据可以在与VR应用相关联的同时被存储在电子或移动设备上。一旦从与VR应用相关联的元数据中获得了虚拟上下文数据，上下文构建器504就将虚拟上下文存储到电子设备中的虚拟上下文DB 506。例如：

<位置＝华盛顿特区，美国/>

<纪念馆＝国家航空博物馆/>

<兴趣＝旅游/>

虚拟上下文DB 506可以维护用于多个VR应用中的每一个的虚拟上下文数据的DB。表1描绘了根据本公开实施例的虚拟上下文DB的示例。虚拟上下文DB 506可以存储在电子或移动设备上。

【表1】

应用名称	虚拟上下文DB
		Socio Bowl	Sociobowl.db
Museum Tour	Museumtour.db
		Archery	Archery.db
…等	…等

返回参考图4，真实上下文引擎420可以利用各种传感器和技术来收集和创建关于用户的真实世界上下文或电子设备周围的环境。真实上下文可以包括与用户相关联的各种物理世界参数。真实上下文引擎420可以从各种传感器和源来获得用户的或与用户有关的位置、活动、环境、生物特征、兴趣和偏好。例如，本公开实施例可以通过利用诸如全球定位系统(GPS)传感器或技术、无线局域网(WI-FI)和其他网络之类的现有技术来确定用户或电子设备位于物理世界中。另外，可以在给定位置中使用用户或电子设备的位置跟踪来确定与用户相关联的真实上下文的真实世界位置信息。

各种实施例可以使用惯性测量单元(IMU)传感器来确定用户在真实世界中正在做什么。真实上下文引擎可以使用来自电子设备中IMU传感器的信息与来自位置或方位跟踪传感器的数据的组合，以确定并检查在用户在与电子设备互动或佩戴电子设备时的活动。例如，实施例可以确定用户的当前或最近的真实世界活动，例如，奔跑、散步、站立、坐着、乘车旅行和攀岩。真实上下文引擎可以使用所确定的活动来建立关于用户的真实上下文。

各种实施例可以使用从传感器或网络收集的环境数据。收集的真实或物理世界环境数据或信息可以与真实上下文信息一起被包括。可以通过电子设备上的或并入电子设备中的温度、气压、环境光、高度、湿度、振动以及麦克风和相机传感器来收集环境数据。另外，使用GPS位置和智能搜索引擎可以提供真实世界的天气条件，该真实世界的天气条件可以用作真实上下文信息的一部分并由真实上下文引擎420使用。真实或物理世界的天气条件可以包括但不限于与雨、雪、温度、风向和速度、云量、一天中的时间、月相以及天空中太阳、月亮或星星位置有关的当前或预期信息。

各种实施例可以感测并使用用户生物特征数据。例如，实施例可以具有生物特征传感器，以检测用户的血压、心率、体温、睡眠和清醒时间、情绪、压力水平、眼睛颜色和其他生物特征数据。检测到的生物特征信息可以被提供给真实环境引擎420，并且与用户的真实世界上下文一起被包括。

真实上下文引擎420还可以使用用户偏好来创建用户的真实上下文。用户偏好可以包括用户是否是色盲，对某些爱好、运动或活动比其他更感兴趣，用户喜欢的产品，用户是否对改变VR环境感兴趣，喜欢的食物、活动，地理位置，单身，约会，已婚，有孩子以及许多其他选项。用户偏好可以由用户通过UI输入。在某些实施例中，可以基于用户对电子设备的使用，随时间确定或推导出用户偏好。

真实上下文引擎420可以组合或选择性地组合所感测或收集的真实世界数据，以用于修改或增强虚拟上下文以改善用户的沉浸式体验。真实上下文还可以用于选择性地将营销和广告的非干扰性集成提供到例如虚拟世界环境中的可替换虚拟对象中。

图6示出了根据本公开实施例的融合上下文服务的示例实施例。图6示出了对于给定的VR应用，融合上下文服务418使用来自虚拟上下文数据库416的虚拟上下文结合与用户相关联的真实上下文来导出VR应用的虚拟上下文，其中，真实上下文可以包括用户位于哪里、用户正在做什么和/或用户周围的物理环境。融合上下文服务418从虚拟和真实上下文创建融合上下文。当融合上下文服务418需要附加的虚拟上下文或真实上下文时，融合上下文服务418可以从VR服务器406或一个或多个VR环境提供商602请求附加的虚拟或真实上下文。所得到的融合上下文是VR应用的虚拟上下文结合相关真实上下文的混合，以便包括与虚拟上下文相结合的用户关联的物理世界细节。融合上下文服务418过程或模块使用融合上下文来针对正在运行或被配置为在电子设备上运行的给定VR应用找到并选择定制VR环境提供商。在针对给定的VR应用选择了定制VR环境提供商之后，融合上下文服务418接收或检索相关的替换虚拟场景对象数据，以在用户观看的VR或定制环境中进行显示。融合上下文服务还可以接收或检索定制VR环境，该定制VR环境包括来自相关应用赞助商、供应商或营销服务的替换或可替换虚拟对象。可替换虚拟对象可以无缝地包括在VR环境中，并显示在虚拟广告牌、墙壁或VR环境中为风中飘扬的标志旗帜而指定的其他非干扰性集成位置上、或者VR环境中为产品或服务的营销而指定的其他非干扰性集成位置上。

融合上下文服务418还可以管理VR环境中融合上下文相关对象的集成和无缝布置。在不影响用户的VR体验的情况下，可以将融合上下文相关对象应用于默认VR应用对象、布置或叠加在其上方，或者替代默认VR应用对象。

融合上下文服务418提供用于获得替换对象和定制环境的融合上下文，这些替换对象和定制环境通过将真实世界上下文包括在VR应用的VR环境中，来将VR应用的默认虚拟环境改变为更真实且与用户的真实世界环境更相关的虚拟现实体验。另外，融合上下文服务418通过使真实世界的供应商能够在虚拟环境中以模拟真实或物理世界中的营销和广告的方式向用户展示他们的产品或服务，来为真实世界的供应商提供非侵入式且无缝的营销和广告机会。此外，在VR环境中展示的产品和服务可以与用户的真实世界兴趣相关。

在不存在可用的相关营销或广告内容的事件中，VR应用可以在VR应用的VR环境中显示来自虚拟上下文数据库的默认或静态虚拟内容。

图7示出了根据本发明实施例的用于融合上下文服务的过程的示例。用于融合上下文服务的过程实施例仅用于说明。在不脱离本公开的范围的情况下，可以使用其他实施例。

图7是融合上下文服务过程700的示例流程图。在702，融合上下文服务根据虚拟上下文数据和真实上下文数据创建融合上下文数据。融合上下文数据包括虚拟上下文和真实世界上下文元素两者，使得融合上下文包括与VR应用的虚拟上下文相结合的和用户相关的真实世界细节。在704，融合上下文服务确定是否存在向VR应用提供VR内容、对象、环境或营销内容的提供商，以及这样的内容是否与融合上下文数据有关。如果不存在提供商，则过程可以返回到702。如果相关内容的提供商确实存在，则过程进行到706，其中融合上下文服务确定VR应用是否可以利用来自提供商的相关上下文数据。如果VR应用不能消费相关上下文数据，则处理返回到步骤702。如果VR应用可以消费可用的相关上下文数据，则在708，融合上下文服务在一个或多个潜在的内容提供商中进行选择以确定电子设备应从哪个内容提供商获得相关上下文。融合上下文服务可以基于固定设置、算法或选择方法来选择内容提供商。算法或选择方法可以取决于用户的地理位置、广告或营销的营利策略，或者可能取决于轮循技术。轮循技术可以使用选择性重复顺序从内容提供商获得相关上下文，因此可以基于循环重复顺序来选择所选择的内容提供商中的每一个。另外，实施例可以基于用户的预先配置的挑选、选择或应用可识别的兴趣来对内容提供商的内容进行优先级排序。

在710，融合上下文服务获得替换对象、定制VR环境形式的相关内容，并将相关内容提供给VR环境框架，以供使用并合并到正在电子设备上运行或正准备在其上运行的VR应用中，使得可以在VR环境中显示相关内容。

图8A、图8B、图8C和图8D示出了将真实世界上下文转换为虚拟上下文的实施例的示例场景。图8A至图8D中描绘的示例场景仅用于说明，并且可以在不背离本公开范围的情况下应用其他示例和场景。

在图8A和图8B的所示示例中，电子设备的用户住在加利福尼亚州山景城，并且真实地在也位于加利福尼亚州山景城的保龄球之夜保龄球馆(Bowl Night Bowling Alley)打保龄球，并真实地看到和听到保龄球馆802的环境和气氛。基于用户的电子设备或移动设备识别出用户访问了保龄球馆的地理位置并且VR保龄球应用可用于用户，本公开的实施例的融合上下文服务可以检索与保龄球馆相关联的真实上下文并将其传递给虚拟上下文引擎。虚拟上下文引擎构建与用户的保龄球活动相关联的关于用户的历史上下文，并存储该历史上下文以供日后与VR应用相关联的潜在未来使用。创建的历史上下文可以包括：

<位置＝保龄球馆/>

<兴趣＝游戏，娱乐/>

<活动＝保龄球/>

图8B示出了融合上下文服务还可以使用真实世界上下文信息(加利福尼亚州，山景城，保龄球之夜保龄球馆)创建一个或多个推荐并在电子设备804的UI 803上将其提供给用户。UI 803上的一个或多个推荐可以包括：

a)如果融合上下文服务确定保龄球之夜保龄球馆VR提供商存在，则向用户提供添加保龄球之夜保龄球馆VR提供商的选项，作为当用户正在VR保龄球应用中打保龄球时在VR保龄球环境中重新创建与真实世界的保龄球之夜保龄球馆体验相似的保龄球之夜保龄球馆环境的优选的、喜欢的或可选的源。

b)如果用户想要去打保龄球(即，玩保龄球)并在电子设备上发起对真实世界的保龄球馆的搜索，但是搜索结果指示在附近预定距离内没有真实世界的保龄球馆，则融合上下文服务可以向用户发起推荐以安装和体验VR保龄球应用。

c)在图8C和图8D中，如果用户下载或已经安装了VR保龄球应用，则融合上下文引擎可以推荐使用历史和真实上下文，该历史和真实上下文创建了与用户熟悉的真实世界的保龄球之夜保龄球馆相似的VR保龄球环境。如果用户同意，则融合上下文服务可以将默认VR保龄球应用的VR环境806默认虚拟上下文(包括一个或多个默认虚拟对象(例如，计分板807))改变为包括相关替换对象(例如，相关计分板对象810)。融合上下文服务还可以改变默认环境806并将其替换为定制VR环境808，以创建将来自真实世界保龄球之夜保龄球馆的相关对象合并到可以被用户识别和体验的VR环境中的VR环境。

因此，图8C和图8D示出了包括默认虚拟上下文806和默认对象807在内的默认环境如何从仅包括默认上下文转换到还包括真实物理世界相关融合上下文，该真实物理世界相关融合上下文包括从VR提供商获得的相关的替换内容对象810和定制VR环境808。

d)融合上下文服务还可以推荐适合于操作或运行VR保龄球游戏的一个或多个VR控制器。

图9示出了在VR框架中的蝴蝶的显示的示例，作为在3D场景和场景图上的示例对象描述。在各种实施例中，可以使用3D场景和场景图来执行对虚拟内容与真实内容的调整。3D场景可以表示为VR框架场景对象的层级。每个可视对象可以具有描述其形状的三角网格、确定其外观的材质、以及控制其在3D虚拟环境世界中的位置的变换矩阵。

场景图描述了场景中对象之间的空间关系。每个场景对象可以具有4×4转换矩阵，以在本地定位和定向虚拟对象。场景对象可以嵌套，使得父节点的转换被子节点继承。这允许对象相对于彼此易于定位和动画化。

VR应用开发人员在构造VR框架应用时，通过提供用于创建VR Main的初始化代码以建立初始3D场景并处理输入事件，来将VR活动编为子类。

图9示出了例如VR框架中的虚拟蝴蝶对象的显示。各种实施例可以使用Gear VRFramework语言，但是应该理解，也可以使用与VR Framework相关的各种语言。在以下示例中，使用了Gear VR Framework语言，并且资源文件可能看起来类似于以下内容：

可以引入用于GVRSceneObj的新标签，称为融合对象。如果融合对象被标记为真，则场景图渲染器可以与融合上下文服务进行对话并获得融合对象。

更新的场景对象：

场景图渲染器检查到融合对象标志为真并从融合上下文服务获得植物对象。基于位置上下文的融合上下文服务可以通过网络与环境VR提供商进行通信。环境VR提供商可以是用户地理位置附近的植物苗圃。

用于原始应用的资源文件可以如下所示。

可以在如图4所示的实施例的框架410中加载并转换以上对象。如已经描述的，图8C和图8D示出了默认VR环境806和默认VR对象807在框架410内被转换成具有定制VR对象810的定制VR环境808。

所得到的资源文件可以与以下XML格式的资源文件类似，其中，基于默认虚拟上下文的VR环境可以利用经由网络从一个或多个VR环境提供商获得的内容上下文被动态地改变。

返回参考图4，VR框架412中的场景图模块然后可以解析XML文件。对于被标记为真的融合对象，VR框架可以请求融合上下文服务418以从VR提供商406和408获得适当的可替换对象。可以将具有在无缝合并的新定义位置中的相关或替换对象的更新后的VR环境转换为例如具有图8D的对象810的所指示的定制VR环境808，该定制VR环境808提供了用户可能熟悉或已挑选的所选择的真实世界或保龄球馆的可识别外观和感觉。

以下描述了用于本公开实施例的一些示例使用场景。

在第一示例场景中，涉及VR保龄球应用和用户的物理位置。物理上位于加利福尼亚州山景城的用户将SocioBowl VR应用下载到他的电子设备中。SocioBowl VR应用的VR应用开发人员已包括了与VR应用相关联的初始或默认虚拟内容元数据，如下所示：

<位置＝保龄球馆/>

<纪念馆＝无/>

<兴趣＝游戏，娱乐/>

<活动＝保龄球/>

在安装VR保龄球应用时，虚拟上下文引擎解析SocioBowl VR应用的元数据，并创建用于VR应用的虚拟上下文，即<用户在保龄球馆一边打保龄球，一边听Katy Perry的歌>。

融合上下文服务可以使用与和用户相关联的真实世界上下文(<位置＝加利福尼亚山景城>)相结合而创建的虚拟上下文，并提出可以提供给设备用户的以下一项或多项建议。融合上下文服务可以推荐用户将VR应用的默认或初始VR环境改变为根据或基于地理上在与用户相关联的真实上下文位置信息附近的真实世界保龄球馆位置而创建的定制VR环境。融合上下文服务可以提供一个或多个真实世界保龄球馆位置环境的选项，以从用户可以选择的地理上距用户预定距离之内的真实世界保龄球馆位置环境中进行选择。在各种实施例中，融合上下文服务可以推荐到一个或多个附近的真实世界保龄球馆的指导和相关促销活动。融合上下文服务还可以推荐购买Katy Parry的最新音乐专辑，或者可以推荐或下载类似的VR游戏应用。

如果用户选择了将VR应用的默认VR环境改变为根据或基于真实保龄球馆而创建的定制VR环境的推荐，则在设备框架内操作的融合上下文服务将默认VR环境改变为与基于加利福尼亚州山景城的“保龄球之夜保龄球馆”的真实世界相关的VR环境。用户可能已经选择了特定的真实世界定制VR环境，或者融合上下文服务可能已经基于用户访问过真实世界位置、到真实世界位置的距离、VR应用的营销支持、或满足融合上下文标准的多个可用VR环境之一的预定选择过程，选择了特定的定制VR环境。

如果可用，则融合上下文服务可以从保龄球之夜保龄球馆的位置检索现场360度VR背景馈送，并叠加应用的保龄球道定制VR环境、球和VR游戏。在一些实施例中，用户可以与保龄球应用的其他VR用户实时比赛。在其他实施例中，VR保龄球应用可以允许用户与物理上位于该真实位置的真实世界或VR保龄球玩家一起玩多人游戏。

如果现场馈送不可用，则融合上下文服务可以引入基于保龄球之夜保龄球馆的实际场景的一个或多个替换场景对象。融合上下文服务可以将场景对象合并到定制VR环境中。VR应用和框架渲染VR环境中的替换场景对象，以针对用户创建模仿或模拟真实世界保龄球馆体验方面的VR环境。

另外，在各种实施例中，可以通过预定选择算法(取决于用户的位置、营利策略、轮循选择)或通过预配置的用户选择或兴趣关系来选择定制VR环境的提供商或VR环境中被发布为装饰对象的广告的提供商。

在上述第一示例场景的变型或扩展中，VR应用的用户可以在VR中探索美术馆。基于关于用户的真实上下文，例如，用户的物理位置(例如，加利福尼亚州山景城)，融合上下文服务可以发起对由本地艺术家创作的艺术品的智能搜索，并将这样找到的真实内容艺术品嵌入到VR艺术博物馆游览的VR环境中。

在第二示例场景中，VR博物馆游览应用被配置为提供VR环境。物理上位于例如加利福尼亚州山景城的用户将VR游览应用下载到电子设备(例如，移动设备或VR系统)中。VR游览应用开发人员提供VR游览应用的初始或默认虚拟内容元数据：

<位置＝华盛顿特区，美国/>

<纪念馆＝国家航空博物馆/>

<兴趣＝旅游/>

在安装VR游览应用时，虚拟上下文引擎将解析应用的上下文元数据，并在电子设备上创建用于该应用的虚拟上下文，即<用户正在华盛顿参观国家航空航天博物馆>。

融合上下文服务可以使用和与用户相关联的真实世界上下文(加利福尼亚州山景城)相结合而创建的虚拟上下文，并给出可以经由电子设备提供给用户的一个或多个推荐。融合上下文服务可以经由网络查询国家航空航天博物馆VR提供商，以提供博物馆的现场馈送、定制环境或博物馆中的真实对象的3D相关场景对象。当融合上下文服务接收到现场馈送、定制环境或相关性时，实施例可以对一个或多个现场馈送进行渲染以在VR应用中用作现场360背景视图。可以将相关场景对象无缝地布置在VR游览应用环境中。融合上下文服务还可以经由电子设备的UI向用户提供推荐或选项，以查看来自地理上距用户当前物理位置的定义或预定距离之内的一个或多个其他VR博物馆内容提供商的现场馈送或3D对象。融合上下文服务还可以向用户推荐用户可能喜欢物理地或虚拟地参观的其他类似分类的纪念馆或博物馆。例如，可以向用户推荐位于加利福尼亚州山景城的NASA AMES研究中心，以物理地或虚拟地进行参观。还可以检索类似相关或分类的地点或纪念馆的折扣或促销，并将其推荐给VR游览应用的用户。在一些实施例中，融合上下文服务还可以推荐从加利福尼亚州山景城到华盛顿特区的旅行计划。旅行计划可以包括连同日期和折扣促销信息一起的购买机票、酒店住宿、地面交通的推荐。

在第三示例场景中，阐述了没有充分的上下文元数据的VR应用，例如，VR影院应用。物理上位于加利福尼亚州山景城的用户下载VR影院应用。VR影院应用开发人员未提供或包括与VR影院应用相关联的任何上下文元数据。虚拟上下文引擎的上下文构建器模块确定用户选择在VR影院应用中观看的电影的名称。上下文构建器可以初始化对电影名称的网络或互联网搜索。根据接收到的搜索结果，上下文构建器模块构建与电影名称相关联的元数据，该元数据可以包括如以下项的元数据：电影中的演员列表、电影导演、电影发行年份、电影获得的奖项、电影主题、电影是话剧、科幻、历史、动作、冒险、悬疑、喜剧、动画还是其他类别的电影、电影的评级或关于电影的其他信息。构建的元数据可以看起来如下：

<兴趣＝娱乐>

<电影名称＝神奇女侠/>

<演员＝Gal Gadot，Chris Pine，Robin Wright/>

<所获奖项＝无/>

<发行年份＝2017/>

融合上下文服务可以使用和与用户相关联的真实世界上下文(<位置＝加利福尼亚州山景城>)相结合的虚拟上下文，并推导出经由电子设备呈现给用户的推荐。融合上下文服务可以从地理上附近的电影院或用户选择的影院中推荐或自动地检索现场或预先录制的360°馈送，并将电影的播放叠加在馈送的VR环境中，从而为用户提供坐在影院里被观众围绕观看电影的VR感或感觉。如果没有来自VR提供商或电影院的现场馈送可用，则融合上下文服务可以经由网络或互联网，针对具有相关替换场景对象的定制电影院VR环境搜索VR服务器或第三方提供商，该相关替换场景对象来自附近的影院或由用户选择以创建VR影院环境的另一影院，该VR影院环境模仿或具有用户可以识别或喜欢的影院细节。在各种实施例中，融合上下文服务可以检索并提供地理上在预定距离内的附近影院的电影放映时间或出售电影票。各种实施例可以提供或推荐购买或租赁用户还可能感兴趣的电影的下载或DVD。另外，可以提供推荐以突出显示用户的地理区域中的其他娱乐选项。可以检索与例如戏剧、演出或现场表演有关的信息并将其提供给用户，以共用户细读并潜在地选择。

在第四示例场景中，涉及VR高尔夫应用以及用户的物理位置和环境细节。在该示例场景中，物理上位于室外且位于加利福尼亚州山景城的Cuesta Park的用户正在局部多云且微风的一天的早上使用支持VR的电子设备。用户可能曾经已经表明他对披萨和健身感兴趣。VR高尔夫球应用被加载到用户的电子设备中。VR应用的开发人员包括了VR高尔夫球应用的初始或默认虚拟内容元数据，如下所示：

<位置＝高尔夫球场/>

<天气＝晴朗/>

<兴趣＝游戏，娱乐/>

<活动＝打高尔夫球/>

在安装VR高尔夫球应用时，虚拟上下文引擎解析VR高尔夫球应用的元数据，并创建用于VR应用的虚拟上下文。换句话说，虚拟上下文可以是<在晴朗的天气里在高尔夫球场打高尔夫球>。

实施例的融合上下文服务结合由电子设备确定的与用户相关联的真实世界上下文来使用所确定的虚拟上下文。所确定的真实世界上下文的示例可以是：

<位置＝加利福尼亚山景城，室外，/>

<时间＝上午10:00，太平洋时间，早上/>

<天气＝多云，微风/>

<兴趣＝比萨饼，健身/>

融合上下文服务还可以通过互联网搜索来收集特定的GPS信息，该特定的GPS信息与用户正面向的方向、地理位置处的天气(风、温度、云量)有关。融合上下文服务还可以收集与用户指示的兴趣有关的营销或赞助信息。

图10A、图10B、图10C和图10D示出了根据本公开实施例的基于真实世界条件的VR渲染。图10A至图10D(统称为图10)中所示的真实世界条件的实施例仅用于说明，并且在不脱离本公开的范围的情况下可以使用其他条件、渲染和说明。

在各种实施例中，融合上下文引擎可以基于融合上下文自动地执行或对VR环境进行以下调整中的一个或多个。融合上下文引擎可以经由电子设备向用户发起请求，以将VR高尔夫应用的默认或初始VR环境改变为VR环境，该VR环境包括从虚拟上下文和真实上下文的组合中推导出的基于真实世界的信息。如果用户接受推荐，则融合上下文引擎可以在用户正面向的渲染区域中相对于太阳方向的实际位置在高尔夫球场上包括阴影。由于指示天气的真实上下文是局部多云，因此云和云的阴影可以包括在VR高尔夫球环境体验中。融合上下文服务还可以相对于在用户的地理位置处确定的风和天气条件并相对于用户正面向的方向上的渲染区域，来调整旗帜在微风中吹动的方向。另外，融合上下文服务可以从VR高尔夫球提供商搜索并获得位于加利福尼亚州山景城的高尔夫球场的定制VR高尔夫球场信息，使得用户在他之前比赛的附近高尔夫球场的VR复制上进行比赛。高尔夫球场周围的标牌可以包括与当地披萨或全国连锁披萨餐馆和健身食品、健身设施、维生素商店或在该地理区域内提供健身服务的私人教练相关的3D对象，以便满足用户的某些真实上下文兴趣。融合上下文服务还可以提供在该地区的本地高尔夫球场处的用户位置和球道费用信息。

在图10所示的示例中，电子设备101或VR服务器106可以基于融合上下文自动地执行或对VR环境或进行以下调整中的一个或多个：改变日光、改变阴影、改变天气(例如，雨、风和雪)或这些的组合。例如，基于用户的地理位置，融合上下文引擎确定一天中的时间和对应的太阳位置。然后，针对每个渲染的对象，融合上下文基于太阳位置的角度(a)从对象的相应高度(h)计算阴影的对应长度(L)。

示例阴影计算为：

【数学式1】

当用户改变观看方向时，即，当用户移动其头部以观看VR环境的不同区域时，融合上下文引擎自动地对渲染的新对象的阴影进行渲染。

在图10A和图10B所示的示例中，描绘了VR游戏用户在城市街区射击恐龙1020的游戏。融合上下文引擎通过使恐龙看起来多么大来增强沉浸感。融合上下文引擎使用数学式1来调整恐龙1020的阴影1025长度，其中θ是太阳角。融合上下文引擎基于太阳的移动来调整阴影1025的长度和位置。例如，阴影1025出现在图10A中的第一位置1005处并且出现在图10B中的第二位置1010处。另外，当用户面对诸如恐龙1020之类的移动对象时，融合上下文引擎基于移动对象1020的移动来调整阴影1025。当太阳的位置在恐龙1020的后面时，融合上下文引擎还可以渲染阴影以使恐龙1020变暗。当太阳位置在用户的后面时，融合上下文引擎还可以在用户的渲染手臂1030上渲染阴影，或者根据太阳或其他光源的位置在用户的前面或侧面渲染太阳或其他增亮的图像。例如，如果用户朝着太阳当前位置的方向看，则融合上下文引擎可以将画面渲染成完全白色，但级别低，以模拟太阳使用户看不见东西。

在图10C所示的示例中，描绘了具有风车的沉浸式环境。基于风速和风向，融合上下文引擎调整VR环境中的风车1035风扇。当用户戴上并开启VR头戴式耳机时，融合上下文引擎计算风速和风向，以增强VR沉浸式体验。可以使用头戴式设备上的嵌入式风速计来计算风速，或者将电子设备101对接到头戴式设备中。风速计可以在“Development of Hallsensor propeller anemometer for measuring wind speed using embeddedcontroller”(G Karthick Kumar Reddy，S Venkatramana Reddy，and T.K Ramkumar，2012International Conference on Communications，Devices and IntelligentSystems(CODIS)，28-29Dec.2012)中进行描述，其内容通过引用被全部并入本文。在某些实施例中，融合上下文引擎从诸如云服务的外部源获得风数据，其使用REST API调用将风速提供给客户端设备。例如，在赛车游戏中，基于风速和风向，融合上下文引擎将比赛调整为对驾驶员来说更难或更容易。如果风与汽车1040正在移动的方向相同，则赛车手更快地完成比赛。融合上下文引擎可以根据风向渲染物体飘过汽车1040的路径。另外，基于风速和风向，融合上下文引擎可以改变汽车1040的可操纵性，例如，当风正在从侧面非常强烈地吹动时将汽车推向侧面。因此，对于用户体验而言，融合上下文引擎能够使比赛变得更加不可预测且有趣。

在图10D所示的示例中，描绘了基于天气条件的另一浸入式环境。基于天气条件，融合上下文引擎调整VR环境。当用户戴上并开启VR头戴式耳机时，融合上下文引擎例如通过位于电子设备101中的传感器从服务器106或通过外部设备或输入确定要增强VR沉浸式体验。融合上下文引擎确定天气影响(例如，下雨)和自然声音(例如，鸟、波浪或风)，以增强VR体验。例如，在赛车游戏中，基于天气(例如，下雨)，融合上下文引擎将比赛调整为对驾驶员来说更难或更容易。如果融合上下文引擎确定正在下雨，则融合上下文引擎通过渲染道路1050以使其具有潮湿的路面并将雨滴1055布置在画面或仪表板上来调整VR环境。另外，基于用户的速度和操纵，融合上下文引擎可以使汽车1040在路面上滑动。因此，对于用户体验而言，融合上下文引擎能够使比赛变得更加不可预测且有趣。

这样，根据本公开的某些实施例，融合上下文引擎能够通过基于用户上下文和VR内容进行调整，基于真实世界条件来改变用户体验。例如，在用户在室外穿戴着VR的情况下，用户可以感觉到作为真实世界的一部分的风、日光、声音(例如，鸟鸣)、雨滴等。融合上下文引擎确定真实世界条件，并调整VR内容以将上下文反映到用户正在观看的VR内容中。例如，如果在真实世界中风正在吹动，则VR内容中的旗帜以与真实世界中的风相对应的方式在风中飘扬。当用户在外面并感觉到太阳照射在他的皮肤上时，融合上下文引擎渲染内容，该内容显示出与用户地理位置处的太阳位置相对应的太阳和阴影。通过基于真实世界环境条件而扩展VR内容，融合上下文引擎能够针对用户提供更沉浸式的体验。也就是说，用户感觉到吹动的风、照射在皮肤上的太阳、或雨水的身体感觉与用户在VR内容中看到的信息相匹配。这样，用户不会感到真实世界的感觉与VR内容之间毫无联系，并且能够更加沉浸于VR体验中。

尽管已经利用各种示例实施例描述了本公开，但是本领域技术人员可以明了各种改变和修改。本公开意在包括落在所附权利要求范围内的这些改变和修改。

Claims (14)

1.一种电子设备，包括：

显示器；

一个或多个传感器；

通信接口；

存储器；以及

至少一个处理器，耦接到所述显示器、所述存储器、所述通信接口和所述一个或多个传感器，所述至少一个处理器被配置为：

识别与虚拟现实VR应用相关联的第一上下文，所述第一上下文包括关于与所述VR应用相关的虚拟环境中的第一虚拟对象的信息；

获得与真实环境相关联的第二上下文；

通过将所述第一上下文与所述第二上下文进行组合来生成组合的上下文；

基于所述组合的上下文来确定第二虚拟对象是否可用于所述虚拟环境；

响应于所述第二虚拟对象可用于所述虚拟环境：

获得所述第二虚拟对象并在所述虚拟环境中用所述第二虚拟对象替换所述第一虚拟对象；以及

显示包括所述第二虚拟对象在内的虚拟环境。

2.根据权利要求1所述的电子设备，其中，所述至少一个处理器被配置为：经由所述通信接口从服务器获得与所述VR应用相关联的元数据，并且识别包括在所述元数据中的所述第一上下文。

3.根据权利要求1所述的电子设备，其中，所述第一上下文包括与用户在所述虚拟环境中的位置和由所述用户在所述虚拟环境中执行的活动中的至少一个有关的信息。

4.根据权利要求1所述的电子设备，其中，所述第二上下文是从所述一个或多个传感器、所述存储器或所述通信接口中的至少一个获得的；并且

其中，所述第二上下文包括与用户在所述真实环境中的位置、由所述用户在所述真实环境中执行的活动、与所述位置相关联的真实环境数据、所述用户的生物特征数据或兴趣中的至少一个有关的信息。

5.根据权利要求1所述的电子设备，其中，所述至少一个处理器被配置为：响应于所述第二虚拟对象不可用于所述虚拟环境而显示包括所述第一虚拟对象在内的虚拟环境。

6.根据权利要求1所述的电子设备，其中，所述至少一个处理器还被配置为：

确定与所述组合的上下文有关的VR环境对于所述第二虚拟对象是否可用，以及

如果所述VR环境对于所述第二虚拟对象可用，则获得所述VR环境并用所述虚拟环境替换所述VR环境。

7.根据权利要求6所述的电子设备，其中，所述至少一个处理器还被配置为：从多个VR提供商服务器中的一个获得所述第二虚拟对象和所述VR环境中的至少一个，所述多个VR提供商服务器中的所述一个是基于预定的VR提供商服务器优先级而被选择的。

8.一种电子设备的方法，所述方法包括：

识别与虚拟现实VR应用相关联的第一上下文，所述第一上下文包括与所述VR应用相关的虚拟环境中的第一虚拟对象；

获得与真实环境相关联的第二上下文；

通过将所述第一上下文与所述第二上下文进行组合来生成组合的上下文；

基于所述组合的上下文来确定第二虚拟对象是否在所述虚拟环境中；

响应于所述第二虚拟对象可用于所述虚拟环境：

获得所述第二虚拟对象并在所述虚拟环境中用所述第二虚拟对象替换所述第一虚拟对象；以及

显示包括所述第二虚拟对象在内的虚拟环境。

9.根据权利要求8所述的方法，其中，识别与所述VR应用相关联的所述第一上下文包括：

从服务器获得与所述VR应用相关联的元数据；以及

识别包括在所述元数据中的所述第一上下文。

10.根据权利要求8所述的方法，其中，所述第一上下文包括与用户在所述虚拟环境中的位置和由所述用户在所述虚拟环境中执行的活动中的至少一个有关的信息。

11.根据权利要求8所述的方法，其中，所述第二上下文包括与用户在所述真实环境中的位置、由所述用户在所述真实环境中执行的活动、与所述位置相关联的真实环境数据、所述用户的生物特征数据或兴趣中的至少一个有关的信息。

12.根据权利要求8所述的方法，还包括：响应于所述第二虚拟对象不可用于所述虚拟环境而显示包括所述第一虚拟对象在内的虚拟环境。

13.根据权利要求8所述的方法，还包括：确定与所述组合的上下文有关的VR环境对于所述第二虚拟对象是否可用；以及

如果所述VR环境对于所述第二虚拟对象可用，则获得所述VR环境并用所述虚拟环境替换所述定制VR环境。

14.根据权利要求13所述的方法，还包括：从多个VR提供商服务器中的一个获得所述第二虚拟对象和所述VR环境中的至少一个，所述多个VR提供商服务器中的所述一个是基于预定的VR提供商服务器优先级而被选择的。

Images