CN104412557B - 用于经由日常设备提供沉浸式交互的方法和装置 - Google Patents

Abstract

提供一种用于基于一个或者多个沉浸式交互事件经由日常设备提供沉浸式交互的方式。沉浸服务处理在设备处呈现的内容以确定一个或者多个沉浸式交互事件。沉浸服务还确定(a)用于控制设备、一个或者多个其它设备或者其组合以至少部分引起一个或者多个沉浸式交互事件的一个或者多个控制信号；(b)用于发送一个或者多个控制信号的一个或者多个协议；或者(c)其组合。沉浸服务也至少部分引起向设备、一个或者多个其它设备或者其组合发送一个或者多个控制信号。

Description

用于经由日常设备提供沉浸式交互的方法和装置

背景技术

服务提供者和设备制造者(例如无线、蜂窝等)不断地受到对通过例如提供有吸引力的服务来向消费者递送价值和便利的挑战。服务提供者和设备制造者也不断地受到内容提供者对递送用于消费者体验内容的新方式的挑战。让服务提供者、设备制造者和内容提供者感兴趣的一个领域是为消费者在消费内容时提供更逼真的体验。例如设备制造者已经开发能够向消费者呈现多媒体内容(例如电影、电视节目编排等)、从而消费者在三维中使内容可视化的设备(例如电视、投影仪、移动电话等)。另外，某些电影院除了与消费者的触觉交互、比如振动和/或流体(例如空气、水等)喷洒之外，还呈现消费者在三维中感知的电影。此外，制造者已经开发模拟现实世界设备的、消费者可以用来与内容的呈现交互的设备。例如许多视频游戏与模拟在游戏中代表的一个或者多个现实世界设备的特殊设备、比如步枪射击、高尔夫俱乐部、运动感测控制器关联。内容提供者已经相似地开发内容以与模拟的设备交互。然而为了体验这样的感知的逼真感增加，消费者必须例如购买专门化的装备(例如三维兼容显示器、模拟的设备等)或者前往专门化的影院，这些影院具有特殊地格式化的电影和/或特殊地配置的装备。然而即使有了专门化的装备，内容未使用在用户周围的现实并且未与用户个人交互。例如在用户正在参与游戏时，即使用模拟现实世界设备的设备参与，用户仍然未在心理上沉浸到游戏中。用户仍然理解在玩游戏与在游戏以外的现实之间的差异。因此，用户至少部分未在心理上沉浸到内容中，因为内容未与用户关联的日常设备交互。因此，消费者未完全地沉浸于内容中。因而服务提供者、设备制造者和内容提供者在使消费者沉浸于使用与消费者关联的日常设备来与消费者个人交互的内容中时面临显著挑战。

发明内容

因此，需要一种用于基于一个或者多个沉浸式交互事件经由日常设备提供沉浸式交互的方式。

根据一个实施例，一种方法包括处理在设备处呈现的内容以确定一个或者多个沉浸式交互事件。该方法也包括确定(a)用于控制设备、一个或者多个其它设备或者其组合以至少部分引起一个或者多个沉浸式交互事件的一个或者多个控制信号；(b)用于发送一个或者多个控制信号的一个或者多个协议；或者(c)其组合。该方法还包括至少部分使得向设备、一个或者多个其它设备或者其组合发送一个或者多个控制信号。

根据另一实施例，一种装置包括至少一个处理器和至少一个存储器，至少一个存储器包括用于一个或者多个计算机程序的计算机程序代码，至少一个存储器和计算机程序代码被配置为利用至少一个处理器至少部分使该装置处理在设备处呈现的内容以确定一个或者多个沉浸式交互事件。也使该装置确定(a)用于控制设备、一个或者多个其它设备或者其组合以至少部分引起一个或者多个沉浸式交互事件的一个或者多个控制信号；(b)用于发送一个或者多个控制信号的一个或者多个协议；或者(c)其组合。还使该装置向设备、一个或者多个其它设备或者其组合发送一个或者多个控制信号。

根据另一实施例，一种计算机可读存储介质承载一个或者多个指令的一个或者多个序列(例如一个或者多个计算机程序)，一个或者多个指令的一个或者多个序列在由一个或者多个处理器执行时至少部分使装置处理在设备处呈现的内容以确定一个或者多个沉浸式交互事件。也使该装置确定(a)用于控制设备、一个或者多个其它设备或者其组合以至少部分引起一个或者多个沉浸式交互事件的一个或者多个控制信号；(b)用于发送一个或者多个控制信号的一个或者多个协议；或者(c)其组合。还使该装置向设备、一个或者多个其它设备或者其组合发送一个或者多个控制信号。

根据另一实施例，一种装置包括用于处理在设备处呈现的内容以确定一个或者多个沉浸式交互事件的装置。该装置也包括用于确定(a)用于控制设备、一个或者多个其它设备或者其组合以至少部分引起一个或者多个沉浸式交互事件的一个或者多个控制信号；(b)用于发送一个或者多个控制信号的一个或者多个协议；或者(c)其组合的装置。该装置还包括用于至少部分引起向设备、一个或者多个其它设备或者其组合发送一个或者多个控制信号的装置。

此外，对于本发明的各种示例实施例，以下各项适用：一种方法包括促进对(1)数据和/或(2)信息和/或(3)至少一个信号的处理和/或处理(1)数据和/或(2)信息和/或(3)至少一个信号，(1)数据和/或(2)信息和/或(3)至少一个信号至少部分基于在本申请中公开为与本发明的任何实施例相关的方法(或者过程)中的任何一种方法(或者过程)或者任何方法(或者过程)组合(或者至少部分从该任何一种方法(或者过程)或者任何方法(或者过程)组合而获得)。

对于本发明的各种示例实施例，以下各项也可适用：一种方法包括促进访问至少一个接口，至少一个接口被配置为允许访问至少一个服务，至少一个服务被配置为执行在本申请中公开的网络或者服务提供者方法(或者过程)中的任何一种网络或者服务提供者方法(或者过程)或者任何网络或者服务提供者方法(或者过程)组合。

对于本发明的各种示例实施例，以下各项也可适用：一种方法包括促进创建和/或促进修改(1)至少一个设备用户接口单元和/或(2)至少一个设备用户接口功能，(1)至少一个设备用户接口单元和/或(2)至少一个设备用户接口功能至少部分基于以下各项：在本申请中公开为与本发明的任何实施例相关的方法或者过程中的一种方法或者过程或者任何方法或者过程组合所产生的数据和/或信息；以及/或者在本申请中公开为与本发明的任何实施例相关的方法(或者过程)中的一种方法(或者过程)或者任何方法(或者过程)组合所产生的至少一个信号。

在各种示例实施例中，可以在服务提供者侧上或者在移动设备侧上或者以在服务提供者与移动设备之间的在两侧上执行动作的任何共享方式实现方法(或者过程)。

对于各种示例实施例，以下各项适用：一种装置，包括用于执行根据原始提交的权利要求1-12、25-36和42-44中的任一权利要求的方法的装置。

仅通过举例说明多个具体实施例和实现方式从以下具体描述中容易清楚本发明的更多其它方面、特征和优点，这些具体实施例和实现方式包括设想的用于实现本发明的最佳实施方式。本发明也能够有其它和不同的实施例并且可以在各种明显方面修改它的若干细节而都未脱离本发明的精神实质和范围。因而，附图和描述将视为在性质上为示例而非限制。

附图说明

在附图的各图中通过示例而非通过限制的方式来举例说明本发明的实施例：

图1是根据一个实施例的能够基于一个或者多个沉浸式交互事件经由日常设备提供沉浸式交互的系统的图；

图2是根据一个实施例的沉浸服务的组成的图；

图3是根据一个实施例的基于一个或者多个沉浸式交互事件经由日常设备提供沉浸式交互的过程的流程图；

图4是根据一个实施例的用于确定用于沉浸到内容的呈现中并与内容同步的设备的过程的流程图；

图5是根据一个实施例的用于向一个或者多个设备中插入内容的过程的流程图；

图6是根据一个实施例的用于组合设备固有的信息与来自内容的信息的过程的流程图；

图7A-7I是根据各种实施例的在图3-图6的过程中利用的用户接口的图；

图8是可以用来实施本发明的一个实施例的硬件的图；

图9是可以用来实施本发明的一个实施例的芯片组的图；以及

图10是可以用来实施本发明的一个实施例的移动终端(例如手机)的图。

具体实施方式

公开用于基于一个或者多个沉浸式交互事件经由日常设备提供沉浸式交互的方法、装置和计算机程序的示例。在以下描述中，出于说明的目的，阐述许多具体细节以便提供本发明的实施例的透彻理解。然而本领域技术人员清楚，无这些具体细节或者用等效布置仍可实现本发明的实施例。在其它实例中，以框图形式示出熟知结构和设备以免不必要地模糊本发明的实施例。

图1是根据一个实施例的能够基于一个或者多个沉浸式交互事件经由日常设备提供沉浸式交互的系统的图。如以上讨论的那样，服务提供者和设备制造者寻求在向用户呈现内容时向用户提供更逼真的体验。这样的内容可以是向用户呈现的任何类型的内容，比如电影、电视剧、歌曲、计算机游戏、其它视频(例如健身视频、训练视频、教育视频等)等。服务提供者和设备制造者已经开发用于增加用户在被呈现内容时体验的逼真感的能力。例如设备制造者已经开发用于在设备上显示用户三维地感知的图像以使图像更逼真的能力。某些服务提供者比如电影院，例如使用振动和/或空气或者水喷洒来组合内容的三维呈现与其它感官反馈比如触觉反馈。因此，服务提供者和设备制造者已经开发用于用户体验视觉、听觉和触觉感官反馈的更逼真方式。

尽管有这些发展，用户仍然理解这样的感官反馈不是真实的。用户理解与显示器关联的感知的三维仅为幻觉。为了增加例如包括触觉反馈的逼真感，用户仍然必须前往特殊地装备的电影院以体验具有附加感官反馈的三维电影。这样的电影院设置有损用户的体验，因为用户必须与影院中的其他用户体验内容。因此，体验不是个人的。体验未与用户的个别空间交互。因此，用户未完全地沉浸到内容提供的体验中。

另外，在消费某些类型的内容时，内容可以与针对内容而具体地制成与内容交互的一个或者多个设备关联。然而由于设备是为内容而特殊地制成的，所以设备经常仅与内容工作而无其它使用。进而言之，一些设备旨在于模拟现实世界设备，比如形状为吉他或者步枪的游戏控制器。虽然设备在视觉上相似，但是视觉相似性是相似性的程度并且设备无超出与内容的呈现关联之外的其它功能。例如设备未代表具有未专属于内容呈现的功能的日常设备。因此，虽然用户可以能够使用在视觉上与设备模仿的现实世界设备相似的设备，但是用户未通过设备体验到与内容的完全心理关系。在用户与设备之间没有心理关系，因为例如用户正在使用针对内容而具体制成的设备，而不是可以与内容的呈现独立地在现实世界中使用的或者用户在每天基础上使用的设备。因而，服务提供者和设备制造者面临在完全地使用户沉浸于内容的呈现中时的显著挑战。存在必须克服的显著挑战，以让用户的与消费内容关联的体验个人化，同时限制为了实现这样的个人化体验所需的附加专门化装备。

为了解决这些问题，图1的系统100引入用于基于一个或者多个沉浸式交互事件经由日常设备提供沉浸式交互的能力。系统100使内容(例如电影、歌曲、电视节目、计算机游戏、视频等)能够与用户交互。系统100提供经由通过一个或者多个协议发送的一个或者多个控制信号对与用户关联和/或与用户关联的环境关联的一个或者多个设备的控制。一个或者多个控制信号与在内容内的一个或者多个沉浸式交互事件关联。设备可以代表能够经由一个或者多个协议接受一个或者多个控制信号的任何类型的日常设备。设备可以是以别的方式与内容的呈现无关的日常设备，从而设备可以具有超出与呈现内容关联的功能之外的功能。然而术语日常设备无需设备每天都被使用。举例而言，具有超出与呈现内容关联的功能之外的功能的日常设备可以是洗衣机、洗碗机、微波炉、烤面包机、收音机、时钟等。在一个实施例中，一个或者多个设备可以包括呈现内容、但是以别的方式具有与呈现内容无关的功能的设备。举例而言，设备可以具有可以以别的方式与呈现内容无关并且可以基于一个或者多个命令和/或控制信号控制的各种不同部件。例如现代移动电话具有超出仅产生电话呼叫之外的增加的功能，从而移动电话现在可以呈现内容比如电影、视频、音乐等。然而移动电话的功能比如呼叫功能，仍然与呈现内容的功能无关。协议可以例如是WLAN、收音机或者这里讨论的任何其它协议(例如关于通信网络105讨论的一个或者多个协议)。因此，系统100能够实现用于检测一个或者多个设备并且使设备沉浸到内容的呈现中的能力，该一个或者多个设备未被具体配置为呈现内容或者与内容的呈现关联，或者该一个或者多个设备使用在正在呈现内容的设备中的一个或多个其它部件、但是以别的方式与内容的呈现无关。通过使设备沉浸到内容的呈现中，系统100提供用于通过关联内容与包围用户的设备来让用户沉浸到内容的呈现中的能力。

在一个实施例中，一个或者多个设备呈现的内容可以例如包括与一个或者多个沉浸式交互事件关联的元数据。在一个实施例中，一个或者多个设备呈现的内容可以例如包括显式代码指令，该显式代码指令基于一个或者多个沉浸式交互事件动态地且依赖于在系统100内的设备而创建。系统100可以基于在内容和/或显式代码中的元数据的存在来确定一个或者多个沉浸式交互事件。系统100还可以处理沉浸式交互事件以确定在系统100内的哪些设备可与沉浸式交互事件兼容。基于在系统100内的一个或者多个兼容设备的存在，系统100可以使用一个或者多个协议来向设备发送一个或者多个控制信号，以使得设备执行与在内容内的元数据、显式代码和/或沉浸式交互事件关联的功能和/或动作。因而，系统100可以基于沉浸式交互事件和对于哪些设备与这样的事件关联的确定，来使设备沉浸于内容内。

系统100还可以使内容沉浸到一个或者多个设备中，以创建在内容与一个或者多个日常设备之间的共生关系。系统100允许从内容向在设备上的一个或者多个用户接口发送和/或获取和显示信息。设备的用户然后可以与设备的显示器的内容的一个或者多个表示交互，以与内容交互。因此，用户可以使用他们的日常设备与内容交互，以创建完全沉浸的体验。举例而言，与设备的固有用户接口交互允许用户与内容的一个或者多个表示进行对接并且由此与内容交互。由于用户与他们的日常设备的用户接口进行交互，所以用户变成完全地沉浸于内容中。

举例而言，在连接到电视的DVD播放器上播放电影之时，与在电影中代表的移动电话关联的一个或者多个动作、一个或者多个功能和/或一个或者多个特性可以在电影内出现。例如电影内的人物可以在他们的移动电话上接收电话呼叫并且他们的移动设备可以振铃。系统100提供用于使得与观看电影的用户关联的移动电话接收电话呼叫并且因此让他们的移动电话在电影中的移动电话振铃的同时振铃的能力。系统100还允许用户的移动电话显示与在电影内的信息对应的关于呼叫的信息。例如如果人物罗伯特·莫里斯正在呼叫电影中的人物，则用户的设备可以显示传入呼叫来自罗伯特·莫里斯。另外，如果用户随后查看他的联系人应用，则他可以看见与人物罗伯特·莫里斯关联的条目。因此，系统100允许通过使用以别的方式未与呈现内容关联并且具有超出呈现内容之外的功能的、与享用内容的用户关联的一个或者多个日常设备让用户沉浸到内容中来用于用户的个人化的体验。例如在以上示例中，在DVD播放器和电视正在呈现电影时，移动电话是除了呈现电影之外还用于其它动作和/或其它功能的日常设备。因此，在用户在移动电话上接收电话呼叫时，用户将视电话呼叫为任何其它电话呼叫，并且感知电话呼叫为现实世界的部分，而不是与电影的虚拟世界关联。

系统100还可以创建多个沉浸级别或者嵌套的沉浸级别，其中内容级别可以被沉浸在其它内容级别内。因此，系统100可以通过使设备沉浸于多个内容级别中来让用户沉浸到多个虚拟现实级别中。举例而言，在体验与步行经过城市(例如纽约)的与一个沉浸级别有关的虚拟仿真关联的内容之时，用户可以执行增强现实应用。系统100可以让用户和增强现实应用沉浸，从而应用被沉浸在城市的虚拟仿真内。因此，虽然用户未实际地在城市中、但是代之以在城市的虚拟仿真内，但是增强现实应用被沉浸在虚拟仿真内并且做出响应如同实际地存在于城市中。因此，用户可以通过能够与增强现实应用交互而完全地沉浸在虚拟仿真的体验或者内容内。相同体验可以例如用沉浸在不同级别内的多个游戏来实现。例如一个沉浸级别可以让用户和设备在基于某个内容(例如视频游戏、虚拟世界等)的零重力世界内。第二沉浸级别可以具有如同响应于第一沉浸级别在零重力世界中玩那样做出响应的计算机游戏。另外，各种沉浸级别可以通过独立执行沉浸级别的沉浸服务103而彼此注意不到。

又举例而言，沉浸在内容内的设备可以视为多于日常设备，但是可以视为用户每天用来获得对他们的周围环境的额外感官感知或者延伸他们的感官的设备。系统100允许内容与这些设备交互并且扭曲这些设备向用户提供的额外感官，以让用户沉浸在虚拟世界中。系统100还允许多个沉浸级别以进而进一步扩充和/或扭曲用户通过设备接收的感官。举例而言，用户可以在他们的设备上播放视频游戏。视频游戏可以例如与飞行仿真有关。在视频游戏内，用户可以正在高速度速率行进(例如1马赫)。如果用户执行第二应用比如另一游戏，则系统100可以执行第二应用如同在第一应用创建的虚拟世界内执行第二应用。因此，通过第二应用获得的额外感官可以与由第一应用引起的条件或者沉浸有关。例如第二应用可以检测到用户和/或设备正在高速度速率行进如同用户和/或设备正在被置于高重力条件中。因此，系统100允许嵌套的沉浸体验。因而如以下讨论的那样，每个沉浸体验可以是单独的沉浸体验或者是在一个或者多个沉浸体验中的嵌套的沉浸体验。例如现实可以视为1维，而沉浸式现实可以视为2维至N维，其中N代表嵌套的沉浸体验的数目。

另外，在系统100通过组合沉浸体验来提供嵌套的沉浸体验时，系统100提供用于沉浸体验使用普通通信和/或对接通道来交互的能力。因此，可以通过普通平台接口向第三方应用提供沉浸的状态。举例而言，在沉浸体验中涉及到位置时，第三方应用可以从在沉浸的设备中提供位置信息的常规平台比如GPS接收位置信息，但是该位置信息构成沉浸的位置信息。因此，由于第三方应用从与信息关联的普通平台接收沉浸信息，所以第三方应用可能不了解沉浸体验。

又举例而言，用户可以使用他们的移动电话以呈现内容，比如在他们的移动电话上观看电影。在移动电话上呈现内容可以以别的方式非正常地与电话的其它部件比如振铃器进行对接或者使用这些部件。然而系统100提供用于检测在电影的呈现内的一个或者多个沉浸式交互事件并且与移动电话上的振铃器进行对接的能力，从而例如在移动电话在电影内振铃时，用来呈现电影的实际移动电话的振铃器也振铃。振铃器可以通过系统100确定在内容内的一个或者多个沉浸式交互事件、确定与沉浸式交互事件和在移动电话内的振铃器关联的一个或者多个控制信号并且在电影的呈现中振铃时执行一个或者多个控制信号来振铃。

系统100允许配置与一个或者多个控制信号和/或用来发送控制信号的协议兼容的任何类型的设备。系统100还允许与可以与或者可以不与专属于具体内容的控制信号关联的任何数目的设备关联。因此，虽然用户可以知道与一个或者多个控制信号和/或协议兼容的设备，但是用户不了解在内容内的沉浸式交互事件和系统将与之交互的具体设备。所得的意外效果增添内容的呈现的逼真感并且辅助让用户沉浸到内容中。另外，不同环境可以与不同设备关联。因此，在一个环境中实现的体验可以基于不同关联设备而不同于在不同环境中实现的体验。例如将电影带到好友的住所的用户——该住所与用户的住所不同的设备关联——将基于不同设备而体验与内容关联的不同沉浸。在这一方式之下，系统100允许与内容关联的非标准化的体验。因此，不同于除了额外感官反馈(例如触觉反馈)之外还提供例如与三维电影关联的标准化的体验的某些电影院，系统100允许可以基于通过该系统来与内容的呈现关联的设备的数目和类型而变化的非标准化的体验。

另外，具有不同特征的相同类型的设备可以提供不同的沉浸体验。例如高级移动电话可以具有许多特征，内容可以与这些特征交互以使高级移动电话的用户沉浸到内容中。低级移动电话可以具有有限数目的额外特征或者无额外特征，妨碍低级移动电话变成完全地沉浸到内容中。例如高级移动电话可以包括位置确定功能(例如GPS)，而低级移动电话可能未包括位置确定功能。因而，高级移动电话可以显示它的位置，而低级移动电话不能显示它的位置。因此，高级移动电话可以部分通过显示用户和高级移动电话的虚拟位置来让用户沉浸在内容内。然而低级移动电话不能通过显示虚拟位置来让用户沉浸在内容内。因此，不同类型的设备(例如移动电话、洗碗机、微波炉、灯开关等)可以提供不同的沉浸体验，以及相同设备类型内的不同设备(例如具有不同功能的不同移动电话等)可以基于在相同设备类型内的不同设备支持的特征相似地提供不同的沉浸体验。

系统100还实现用于向设备、一个或者多个其它设备或者其组合中插入一个内容的一个或者多个表示的能力。一个或者多个设备然后可以用来与内容交互。一个或者多个设备可以与用户个人地关联。因此，在内容与设备之间的交互让用户沉浸在内容中。另外，该系统实现扩充与用户的以别的方式与内容的呈现无关的设备或者设备的以别的方式与内容的呈现无关的一个或者多个部件关联的体验的能力，以让用户沉浸在内容的呈现中。该沉浸可以至少部分基于与内容关联的信息与用户的设备固有的信息的组合。这样的固有信息可以是在设备被系统100与内容关联之前在设备上呈现的信息。这样的组合让用户不能感知设备上的什么信息是设备固有的和什么信息基于内容以进一步让用户沉浸在内容中。系统100还允许用于使用用户的可以以别的方式与内容的呈现无关的现有设备来与内容创建的虚拟环境交互的能力。这样的交互可以基于与设备关联的相同功能，这些功能基于用户将在真实世界中执行的交互，而功能代之以与内容创建的虚拟世界交互。这样的实现允许用户将内容带入他们的设备中以增强用户在内容内的心理沉浸体验。在一个实施例中，系统100允许内容从沉浸的设备(例如日常设备)查询信息以增进沉浸体验。然后可以使用和/或向内容中结合从沉浸的设备获得的查询的信息。举例而言，沉浸的设备可以包括环境光传感器。系统100允许内容向设备查询环境光的值。基于这一信息，系统100允许基于来自沉浸的设备的环境光值扩充内容。例如可以创建虚拟世界地平线以匹配经过在用户正在查看内容的位置的窗口进来的光，该光基于从环境光传感器获得的值。通过提供用于内容从沉浸的设备获得信息的能力，系统100还允许根据用户的周围环境的特性让用户沉浸到内容中。

如图1中所示，系统100包括用户设备(UE)101a-101n(统称为UE 101)，这些UE具有经由通信网络105与沉浸服务103的连通性。举例而言，系统100的通信网络105包括一个或者多个网络，比如数据网络、无线网络、电话网络或者其任何组合。设想数据网络可以是任何局域网(LAN)、城域网(MAN)、广域网(WAN)、公用数据网(例如因特网)、短程无线网络或者任何其它适当分组交换网络，比如商有的专有分组交换网络如专有线缆或者光纤网络等或者其任何组合。此外，无线网络可以例如是蜂窝网络并且可以运用包括全球演进增强数据速率(EDGE)、通用分组无线电服务(GPRS)、全球移动通信系统(GSM)、网际协议多媒体子系统(IMS)、通用移动电信系统(UMTS)等的各种技术以及任何其它适当无线媒介例如全球微波接入互操作性(WiMAX)、长期演进(LTE)网络、码分多址(CDMA)、宽带码分多址(WCDMA)、无线保真(WiFi)、无线LAN(WLAN)、近场通信(NFC)、网际协议(IP)数据播送、数字无线电/电视广播、卫星、移动自组织网络(MANET)等或者其任何组合。

UE 101可以是任何类型的移动终端、固定终端或者便携终端，该终端包括移动手持机、站、单元、设备、移动通信设备、多媒体计算机、多媒体写字板、因特网节点、通信器、桌面型计算机、膝上型计算机、笔记本计算机、上网本计算机、写字板计算机、个人通信系统(PCS)设备、个人导航设备、个人数字助理(PDA)、音频/视频播放器、数字相机/可携式摄像机、定位设备、电视接收器、无线电广播接收器、电子书设备、游戏设备或者其任何组合，包括这些设备的附件和外设或者其任何组合。也设想UE 101可以支持与用户的任何类型的接口(比如“可穿戴”电路系统等)。

UE 101可以包括一个或者多个应用111a-111n(统称为应用111)。应用111可以是任何类型的应用，比如一个或者多个游戏应用、一个或者多个多媒体应用(例如电影播放器、音乐播放器等)等。在一个实施例中，应用111a可以与沉浸服务103进行对接，用于关联UE 101与内容的呈现。应用111a也可以如以下具体讨论的那样与沉浸服务103交互，以实现在内容与UE 101之间的一个或者多个事件。因此，在一个实施例中，UE 101可以充当沉浸于内容内的一个或者多个设备。UE 101也可以充当呈现内容的一个或者多个设备。

系统100也可以包括主机设备117，该主机设备具有通过通信网络105与UE 101和沉浸服务103的连通性。虽然在图1中图示为一个设备，但是系统100可以包括一个或者多个主机设备117。在一个实施例中，主机设备117具有通过一个或者多个有线和/或无线连接直接与UE 101的连通性。主机设备117可以与向用户呈现内容关联。举例而言，主机设备117可以是播放电影的DVD播放器、玩游戏的游戏控制台等。主机设备117也可以包括用于向用户呈现内容的设备的组合。例如主机设备可以是与电视和立体音响装备组合用于向用户呈现可视和音频内容二者的DVD播放器。在一个实施例中，主机设备117可以是用来向用户呈现内容的UE 101a。例如UE 101a可以呈现内容比如游戏或者电影，并且在系统100内的一个或者多个其它设备可以被沉浸在内容内。在一个实施例中，主机设备117可以呈现例如从一个或者多个服务109和/或内容提供者113用流发送的流式内容，见以下讨论。举例而言，可以使用数字视频广播-手持(DVB-H)格式来将内容呈现为流式内容。主机设备117可以呈现流式内容信号，并且UE 101a可以被沉浸到流式内容中。在一个示例中，可以呈现流式内容为在现实广播频道或者台(例如TV、收音机、因特网收音机)上广播的内容。另外，在一个实施例中，UE 101a和/或用户被沉浸到其中的内容还可以使得其它内容被用流发送到沉浸的UE101a。举例而言，在UE 101a被沉浸到其中的内容是大规模多玩家在线角色扮演游戏(MMORPG)时，内容可以使得其它内容比如在现实广播频道上广播的电视节目编排被用流发送到沉浸的UE 101a。因此，UE 101a的用户可以被沉浸于内容(例如MMORPG)创建的沉浸体验中，但是通过沉浸的UE 101a体验现实内容(例如电视节目编排)。在这样的实施例中，用户有效地体验沉浸的现实内容。

系统100也可以包括一个或者多个沉浸的设备119a-119n(统称为沉浸的设备119)，该一个或者多个沉浸的设备具有通过通信网络105与UE 101、沉浸服务103和主机设备117的连通性。在一个实施例中，沉浸的设备119可以通过一个或者多个有线和/或无线连接直接连接到主机设备117。沉浸的设备119可以是可以与主机设备117、UE 101和沉浸服务103交互的任何类型的设备。举例而言，沉浸的设备119可以是灯/灯开关、洗衣机、风扇、微波炉、腕表、冰箱、洗碗机等。沉浸的设备119可以经由任何类型的协议比如Bluetooth、WLAN、无线电等或者这里例如关于通信网络105描述的任何其它协议，与主机设备117、沉浸服务103和UE 101交互。在一个实施例中，UE 101可以通过UE 101被沉浸在内容的呈现内来代表沉浸的设备119。因此，UE 101可以在一个实施例中代表具体类型的沉浸的设备119。在一个实施例中，UE 101或者任何沉浸的设备119也可以代表主机设备117。举例而言，UE101a可以呈现内容比如电影，并且因此对应于主机设备。UE 101a也可以基于系统100在内容内确定的沉浸式交互事件被沉浸在内容内。例如与UE101a关联的一个或者多个部件可以与呈现内容关联。与UE 101a关联的一个或者多个其它部件可以以别的方式未与呈现内容有关，但是可以一般地基于内容被控制，比如移动电话的振铃器被基于在内容内的一个或者多个沉浸式交互事件的一个或者多个控制信号控制。

在一个实施例中，内容的一个或者多个表示可以与一个或者多个沉浸的设备119组合，从而内容可以被插入到设备中。因而，一个或者多个沉浸的设备119可以通过从内容接收信息并且通过与内容的一个或者多个用户交互向内容发送回一个或者多个响应来与内容交互。举例而言，沉浸的设备119d可以是洗衣机。内容可以包括与洗衣机关联的一个或者多个沉浸式交互事件。基于根据在内容内的沉浸式交互事件确定的一个或者多个控制信号，洗衣机可以比如在内容是与在洗衣机处的一个或者多个动作交互的指导视频时用与内容交互的一个或者多个响应做出响应。

UE 101也可以具有通过通信网络105与服务平台107的连通性。服务平台107可以包括一个或者多个服务109a-109n(统称为服务109)。服务平台107可以向UE 101、沉浸服务103、内容提供者115和主机设备117提供一个或者多个服务109。服务109可以与游戏服务、多媒体服务、社交联网服务等关联。在一个实施例中，一个或者多个服务109可以与沉浸服务103关联的一个或者多个功能关联。

UE 101也可以具有通过通信网络105与一个或者多个内容提供者115a-115n(统称为内容提供者115)的连通性。内容提供者115可以向UE 101、沉浸服务103、服务平台107的服务109和主机设备117提供内容。内容可以是从主机设备117到沉浸的设备119和/或UE101的任何类型的内容，比如与向用户的内容呈现关联的内容。

沉浸服务103可以实现基于确定与向用户呈现的内容关联的一个或者多个沉浸式交互事件对与用户关联的一个或者多个设备的控制。虽然在图1中图示为系统100的分离部件，但是可以在系统100的单元中的一个或者多个单元中体现沉浸服务103和/或沉浸服务103的功能中的任何一个或者多个功能。举例而言，在一个实施例中，沉浸服务103可以被体现在执行内容的呈现的主机设备117中。在一个实施例中，沉浸服务103可以被体现在一个或者多个沉浸的设备119(包括一个或者多个UE 101)中和/或一个或者多个服务109中。然而沉浸服务103也可以是系统100的与系统100的其它单元中的任何其它单元交互的相异单元。

沉浸服务103使内容能够与用户关联的环境交互。沉浸服务103处理在设备处呈现的内容以确定一个或者多个沉浸式交互事件。呈现内容的设备可以例如是充当例如电影播放器、音频播放器等的主机设备117和/或UE 101a。一个或者多个其它设备可以包括一个或者多个UE 101(包括呈现内容的UE 101)和/或一个或者多个沉浸的设备119。内容可以例如包括一个或者多个电影、一个或者多个视频、一个或者多个电视节目、一个或者多个歌曲、一个或者多个游戏等。沉浸服务103还确定(a)用于控制设备和/或一个或者多个其它设备以引起一个或者多个沉浸式交互事件的一个或者多个控制信号和/或(b)用于发送一个或者多个控制信号的一个或者多个协议。如以上讨论的那样，协议可以例如是WLAN、无线电或者这里讨论的任何其它协议。沉浸服务103还使得向设备和/或一个或者多个其它设备发送控制信号以使设备沉浸在内容的呈现内。对设备的控制使得与设备关联的用户变成沉浸在呈现的内容中，由此达到更逼真的体验。沉浸服务103包括用于关联在设备处呈现的内容中的一个或者多个动作、一个或者多个功能和/或一个或者多个特性与设备和/或一个或者多个其它设备的一个或者多个应用编程接口(API)。沉浸服务103的API还允许内容在设备和/或一个或者多个其它设备上发起一个或者多个事件以及监听和接收来自设备和/或一个或者多个其它设备的对事件的响应。

沉浸服务103确定在呈现内容的设备(例如主机设备117)与设备本身(例如在设备上的一个或者多个其它部件)和/或可以基于内容控制的一个或者多个其它设备(例如UE101、沉浸的设备119)之间的支持的控制信号、支持的协议或者其组合。沉浸服务103可以在初始地与环境关联时、在接收与内容的呈现关联的信息时、无论接收与内容的呈现关联的信息如何都周期性地、在需求时或者其组合执行这样的确定。在确定与主机设备和沉浸的设备关联的控制信号和协议时，沉浸服务103可以配置任意环境用于更个人化的体验。

沉浸服务103还确定在内容的呈现内代表的虚拟设备。一个或者多个虚拟设备对应于在现实中的UE 101和/或沉浸的设备119。举例而言，内容可以与电影关联，并且在电影期间的情节可以让灯开启。因此，灯或者与灯关联的灯开关代表与内容关联的虚拟设备。内容可以包括与虚拟设备关联的一个或者多个动作、功能和/或特性。沉浸服务103可以使得同步一个或者多个虚拟设备的动作、功能、特性或者其组合与一个或者多个控制信号在设备和/或一个或者多个其它设备的执行，从而在内容中的虚拟设备与在现实中的沉浸的设备119(例如沉浸的设备119和/或UE 101)同步。

在一个实施例中，沉浸在内容内的设备可以让内容插入到设备中。沉浸服务103可以控制向设备中插入内容。设备然后可以用来与内容交互。沉浸服务103然后可以确定内容与一个或者多个设备的一个或者多个交互。交互允许内容与设备交互并且允许设备通过对在内容内的一个或者多个沉浸式交互事件做出响应来与内容交互。沉浸服务103可以处理一个或者多个交互。

在一个实施例中，沉浸服务103可以使得组合来自内容的数据与一个或者多个设备固有的数据，从而来自内容的数据不可区别于设备固有的数据。在这一方式之下，用户不能辨认什么是实际的(例如设备固有的)以及什么是虚拟的(例如来自内容的数据)。因此，用户使用用户自己的日常设备来完全地沉浸到内容中。举例而言，来自内容的数据与设备固有的数据并排显示在设备的用户接口内。因而，在用户查看用户接口比如联系人用户接口时，用户不能辨认什么联系人是设备固有的并且因此是现实固有的，以及什么联系人是内容固有的并且因此是与内容关联的虚拟世界固有的。

在一个实施例中，沉浸服务103还可以使得在沉浸的设备生成一个或多个用户接口，用于呈现内容产生的信息、生成内容的一个或者多个引擎或者其组合。沉浸服务103通过使得生成用户接口可以再现设备正常地经历的用户接口，从而基于生成的用户接口在用户与设备之间的交互不可区别于在用户与设备固有的用户接口之间的交互。换而言之，用户不能确定用户是否正在与设备上的涉及现实的信息或者涉及与内容关联的虚拟世界的信息交互。这实现与内容关联的心理沉浸，并且通过使用用户自己的设备来使沉浸针对用户被个人化。

在一个实施例中，沉浸的设备119a可以基于一个或者多个沉浸式交互事件和/或对一个或者多个沉浸式交互事件的响应，来请求来自内容的信息。举例而言，沉浸的设备119a可以向呈现内容的主机设备117发送消息，以请求用于在沉浸的设备119a的用户接口内扩充的信息。请求的信息然后可以被发送到沉浸的设备119a并且显示在与沉浸的设备119a关联的用户接口上。在沉浸的设备119a与内容之间的关联结束时，沉浸的设备119a的任何扩充可以结束，从而设备在关联之前返回到它的原始状态。举例而言，在内容是DVD播放器播放的电影的情况下，在电影停止时，在DVD播放器与沉浸的设备119a之间的关联可以结束，这可以造成沉浸的设备119a的扩充结束。因而，可能丢失沉浸的设备119a可能已经从内容取回或者访问的任何信息，从而结束扩充。在一个实施例中，虽然在主机设备117与例如沉浸的设备119a之间的连接可以结束，但是沉浸服务103仍然可以与沉浸的设备119a通信，以使沉浸的设备119a结束在沉浸的设备119a内扩充信息。

在一个实施例中，向设备和/或一个或者多个其它设备发送的沉浸式交互事件和/或控制信号可以用使得生成与内容有关的广告这样的方式来与内容关联。举例而言，在内容代表电影的情况下，与电影关联的一个或者多个产品布局可以与指向一个或者多个设备的一个或者多个命令关联。例如沉浸服务103可以基于内容控制的设备可以是冰箱。因此，在电影中呈现产品时，比如在电影中包括饮料品牌时，饮料品牌可以自动地让它们的产品与冰箱关联，比如让产品布局在与冰箱关联的电子购物单中。

举例而言，UE 101、沉浸服务103、服务平台107、内容提供者115、主机设备117和沉浸的设备119使用熟知、新型或者仍在开发的协议来相互通信并且与通信网络105的其它部件通信。在本上下文中，协议包括定义通信网络105内的网络节点如何基于通过通信链路发送的信息相互交互的规则集。协议在每个节点内的不同操作层有效，这些操作层从生成和接收各种类型的物理信号到选择用于传送那些信号的链路、到那些信号指示的信息的格式、到标识在计算机系统上执行的哪个软件应用发送或者接收信息。在开放系统互连(OSI)参考模型中描述用于通过网络交换信息的在概念上不同的协议层。

通常通过交换离散数据分组来实现在网络节点之间的通信。每个分组通常包括(1)与特定协议关联的首部信息和(2)净荷信息，该净荷信息跟随首部信息并且包含可以独立于该特定协议独立而处理的信息。在一些协议中，分组包括(3)尾部信息，该尾部信息跟随净荷并且指示净荷信息的结束。首部包括信息比如分组的源、它的目的地、净荷的长度和协议使用的其它性质。在用于特定协议的净荷中的数据经常包括用于与OSI参考模型的不同更高层关联的不同协议的首部和净荷。用于特定协议的首部通常指示用于在它的净荷中包含的下一协议的类型。认为更高层协议封装于更低层协议中。在穿越多个异构网络比如因特网的分组中包括的首部通常包括如OSI参考模型定义的物理(第1层)首部、数据链路(第2层)首部、网络间(第3层)首部和传输(第4层)首部以及各种应用(第5层、第6层和第7层)首部。

图2是根据一个实施例的沉浸服务103的单元的图。举例而言，沉浸服务103包括用于基于一个或者多个沉浸式交互事件经由日常设备提供沉浸式交互的一个或者多个单元。设想这些单元的功能可以被组合在一个或者多个单元中或者由等效功能的其它单元执行。如以上讨论的那样，这些部件的功能可以被组合在主机设备117、UE 101、沉浸的设备119和/或在服务平台107上的服务109中的一项或者多项中。因此，举例而言，沉浸服务103的功能可以由在与主机设备117和沉浸的设备119a通信的服务平台107上的服务109a执行。备选地，沉浸平台103的功能可以由在沉浸的设备119a上执行的应用执行。在这一实施例中，沉浸服务103包括设备模块201、API模块203、事件模块205、信息模块207和用户接口模块209。

设备模块201确定与内容的呈现关联的设备。设备模块201确定向用户呈现内容的一个或者多个主机设备117。在一个实施例中，如以上讨论的那样，沉浸服务103可以被体现在主机设备117中。在该情况下，设备模块201无需确定与向用户呈现内容关联的主机设备117。设备模块201也确定可以由主机设备117控制的一个或者多个其它设备，比如一个或者多个UE 101、主机设备117本身和/或一个或者多个沉浸的设备119。设备模块201可以经由用于检测设备的任何方法确定一个或者多个其它设备。举例而言，设备模块201可以确定在主机设备与一个或者多个其它设备之间的一个或者多个支持的协议和/或支持的控制信号，以确定关联的设备。因此，用于确定设备的方法可以基于用于在设备之间发送信息的一个或者多个协议。

API模块203提供在主机设备117与主机设备117基于在内容内的沉浸式交互事件控制的一个或者多个其它设备之间的链路。API模块203提供与主机设备117、在主机设备117上呈现的内容、生成内容的一个或者多个引擎或者其组合的对接，用于执行在主机设备117与一个或者多个其它设备之间的一个或者多个交互。在一个实施例中，API模块203可以提供与呈现内容的主机设备117的各种部件的对接，从而内容可以访问主机设备117的一个或者多个其它部件以基于内容中的命令控制。API模块203与主机设备117对接，用于在一个或者多个设备上执行事务以及提供用于监听和接收来自一个或者多个设备的响应的接口。在一个实施例中，API模块203在UE101中的一个或多个被内容控制时与位于UE 101上的一个或者多个应用111进行对接。在UE 101上的一个或者多个应用111相似地经由API模块203接收和向沉浸服务103发送涉及UE 110的信息。应用111可以在UE 101发起与来自内容的命令关联的一个或者多个动作、一个或者多个功能、一个或者多个特性或者其组合。应用111也可以响应于命令从在UE 101的一个或者多个其它应用111接收对命令的一个或者多个响应。应用111也可以跟踪在内容与其它设备之间的一个或者多个事务，以确定在其它设备执行的什么控制涉及内容以及在设备执行的什么控制涉及固有控制和/或固有信息。在该情况下，应用111可以基于设备的固有响应或者基于根据内容的响应来确定其它设备是否应当对控制做出响应。

事件模块205处理向用户呈现的内容以确定与内容关联的一个或者多个沉浸式交互事件。事件模块205还将一个或者多个沉浸式交互事件与向一个或者多个其它设备或者沉浸设备的一个或者多个部件发送控制信号关联的一个或者多个控制信号和/或一个或者多个协议相关。在一个实施例中，事件模块205基于内容将与一个或者多个虚拟设备关联的一个或者多个动作、一个或者多个功能、一个或者多个特性或者其组合与控制信号在与沉浸服务103关联的一个或者多个沉浸的设备的执行相同步。事件模块205执行同步，从而虚拟设备和一个或者多个沉浸的设备被同步，由此使虚拟设备和真实设备的动作、功能和/或特性在相同时间出现。同步因此使得用户感知用户的设备被沉浸在内容内并且因此让用户沉浸在内容中。

信息模块207在一个或者多个设备被沉浸在内容内时和/或在内容的一个或者多个表示被沉浸在设备内时执行发送和跟踪向一个或者多个设备传递的信息的功能。如以上讨论的那样，与内容关联的信息可以与一个或者多个沉浸的设备119固有的信息组合。因而，信息模块207跟踪在一个或者多个沉浸的设备与呈现内容的主机设备和/或沉浸服务103之间发送的信息。在一个实施例中，信息模块207在沉浸服务103控制的一个或者多个设备请求信息时向设备发送信息。在一个实施例中，信息模块207在一次发送中发送所有信息，从而设备具有为了如以下具体讨论的那样使设备沉浸在与内容关联的虚拟世界中而需要的所有信息。

在一个实施例中，在沉浸的设备与主机设备之间解除关联时，沉浸的设备不再能够与呈现内容的主机设备通信。因而，沉浸的设备用来从内容获取信息的途径不再存在。因此，用与设备固有的信息组合的来自内容的虚拟信息对沉浸的设备的扩充结束，并且沉浸的设备不再呈现虚拟信息。在一个实施例中，沉浸服务103可以向一个或者多个设备发布用于删除发送的信息的一个或者多个命令。在这样的实施例中，虽然可能失去在主机设备与受控设备之间的连接，但是在沉浸的设备与沉浸服务103之间的连接可以保留，从而沉浸服务103可以继续向沉浸的设备发送命令。

在一个实施例中，用户接口模块209使得组合来自主机设备117呈现的内容的虚拟环境中的信息与沉浸的设备119a的固有信息。用户接口模块209可以使得例如通过与沉浸的设备119a关联的在沉浸的设备119a生成用户接口的一个或者多个应用111进行对接，来组合信息。

图3是根据一个实施例的用于基于一个或者多个沉浸式交互事件经由日常设备提供沉浸式交互的过程的流程图。在一个实施例中，沉浸设备103执行过程300并且例如在如图9中所示的包括处理器和存储器的芯片组中实现。

在步骤301中，沉浸服务103处理在设备处呈现的内容以确定一个或者多个沉浸式交互事件。内容可以代表任何类型的内容，比如电影、视频、音乐、电视节目等。呈现内容的设备可以视为主机设备117。举例而言，电影可以由DVD播放器播放，并且DVD播放器可以视为主机设备117。电影可以包括与使一个或者多个设备沉浸到内容中关联的一个或者多个交互沉浸事件。在一个实施例中，DVD播放器可以处理与电影有关的信息，以提取在与电影关联的信息内的涉及沉浸式交互事件的信息。在这样的实施例中，沉浸服务103可以被体现在DVD播放器中。在一个实施例中，涉及电影的信息可以通过通信网络105被发送到沉浸服务103，该沉浸服务然后可以处理与电影关联的信息以确定一个或者多个沉浸式交互事件。沉浸式交互事件可以用于使一个或者多个设备沉浸到内容中。一个或者多个设备可以是可以基于一个或者多个控制信号由内容控制的任何设备。举例而言，一个或者多个设备可以是UE 101和/或沉浸的设备119或者甚至是主机设备117，其中一个或者多个其它部件由命令控制。通过具体示例，一个或者多个沉浸的设备119可以是微波炉、洗碗机、洗衣机、冰箱、灯开关、腕表、计算机、UE 101或者能够经由一个或者多个协议(例如)与沉浸服务103和/或主机设备117通信的任何设备。

在步骤303中，沉浸服务103确定(a)用于控制设备、一个或者多个其它设备或者其组合以至少部分引起一个或者多个沉浸式交互事件的一个或者多个控制信号；(b)用于发送一个或者多个控制信号的一个或者多个协议；或者(c)其组合。一个或者多个控制信号可以代表与控制的一个或者多个设备关联的实现使一个或者多个设备沉浸在内容内的一个或者多个信号。一个或者多个协议是用来在一个或者多个控制的设备交换涉及一个或者多个控制信号的信息的协议。基于这一步骤，例如沉浸服务103能够处理主机设备117呈现的内容并且确定可以向与沉浸服务103关联的一个或者多个设备发送的用于在呈现内容时提供更个人化的体验的一个或者多个控制信号。由于沉浸服务103能够确定控制信号和/或协议，所以沉浸服务103能够与可以以别的方式与呈现内容无关的现实世界设备进行对接，并且与这些设备进行对接使得设备呈现与内容有关的无论是听觉、视觉、触觉或者其组合的某个类型的信息，以让与设备关联的用户沉浸到内容中。因而，用户无需获得特殊装备或者前往服务提供者(例如电影院)以被呈现让用户沉浸在内容中的个人化的体验。实际上，沉浸服务103可以简单地使用在用户的环境内的日常设备使设备和用户沉浸到呈现的内容中。

在步骤305中，沉浸服务103至少部分使得向设备、一个或者多个其它设备或者其组合发送一个或者多个控制信号。通过向设备(例如呈现内容的设备的可以例如以别的方式与呈现内容无关的各种其它部件)或者一个或者多个其它设备发送一个或者多个控制信号，沉浸服务103使一个或者多个设备沉浸到内容中，以使与内容的呈现关联的用户沉浸到内容中。

图4是根据一个实施例的用于确定用于沉浸到内容的呈现中并与内容同步的设备的过程的流程图。在一个实施例中，沉浸服务103执行过程400并且例如被实施在如图9中所示的包括处理器和存储器的芯片组中。

在步骤401中，沉浸服务103至少部分使得向一个或者多个其它设备、设备或者其组合查询一个或者多个能力、一个或者多个支持的控制信号、一个或者多个支持的协议或者其组合。沉浸服务103使得该查询确定与呈现内容的设备和可以由内容控制的一个或者多个其它设备关联的环境。在一个实施例中，沉浸服务103可以在关于呈现内容的设备(例如主机设备117)对沉浸服务103进行初始设置期间引起该查询一次。因此，例如在沉浸服务103检测到新主机设备117时，沉浸服务103可以引起对于支持的控制信号和/或支持的协议的查询。在一个实施例中，沉浸服务103可以在初始回放内容时引起该查询一次。因此，例如在主机设备117第一次呈现具体内容时，比如主机设备117第一次播放具体电影时，沉浸服务103可以引起对于支持的控制信号和/或支持的协议的查询。在一个实施例中，无论是否正在呈现内容，沉浸服务103都可以连续地使该查询确定支持的控制信号和/或支持的协议以及可以随时间出现的对支持的控制信号和/或支持的协议的任何改变。在一个实施例中，沉浸服务103可以在比如来自主机设备117、来自一个或者多个其它设备(例如UE 101和/或沉浸的设备119)的命令下或者基于一个或者多个服务109引起该查询。

通过引起对于支持的控制信号和支持的协议的查询，沉浸服务103可以不断地了解主机设备117和一个或者多个其它设备的能力，以确定与内容关联的什么沉浸式交互事件被主机设备和一个或者多个其它设备所支持。因此，在步骤403中，沉浸服务103至少部分基于一个或者多个支持的控制信号、一个或者多个支持的协议或者其组合，根据内容确定用来控制一个或者多个其它设备的一个或者多个控制信号、一个或者多个协议或者其组合。因而，沉浸服务103可以确定与主机设备117和一个或者多个其它设备所支持的内容关联的沉浸式交互事件。如果没有在内容内的沉浸式交互事件支持的设备存在，则沉浸服务103允许呈现内容而不使任何设备沉浸。如果有可以基于支持的控制信号和支持的协议控制的大量设备，则沉浸服务103基于内容中的沉浸式交互事件控制设备。

在步骤405中，沉浸服务103确定在内容中呈现的一个或者多个虚拟设备，并且至少部分使得至少部分基于一个或者多个控制信号在设备、一个或者多个其它设备或者其组合，对与一个或者多个虚拟设备关联的一个或者多个动作、一个或者多个功能、一个或者多个特性或者其组合进行模拟。一个或者多个虚拟设备可以对应于与沉浸服务103关联的设备中的任何设备。然而虚拟设备是虚拟的，因为它们存在于内容中。举例而言，电影可以包括与灯开关关联的情节，比如其中电影中的人物使用灯开关来开启灯。因而，虚拟设备是在电影中的虚拟灯开关。虚拟设备可以对应于沉浸服务103控制的一个或者多个设备。例如与现实关联的灯开关可以能够基于支持的控制信号和/或支持的协议与沉浸服务103通信。沉浸服务103将产生在虚拟灯开关与现实灯开关之间的关联，从而在电影到有与虚拟灯开关关联的动作、功能或者特性的点时，沉浸服务103使现实灯开关模拟与虚拟灯开关关联的动作、功能和/或特性。因而，与内容比如电影的呈现关联的用户通过让与现实关联的灯开关模拟与在电影中的虚拟灯开关关联的事件来沉浸在内容中。举例而言，在其中反派角色关闭灯的恐怖电影期间，沉浸服务103可以基于内容中的命令以及虚拟灯与现实灯的关联来关闭现实中的与用户关联的灯。

在步骤407中，沉浸服务103至少部分使得一个或者多个虚拟设备的一个或者多个动作、一个或者多个功能、一个或者多个特性或者其组合与一个或者多个控制信号在设备(例如在设备的现在由命令控制的一个或者多个其它部件)、一个或者多个其它设备或者其组合(例如UE 101和/或沉浸的设备119)或者其组合的执行同步。沉浸服务103引起同步，使得用户在相同时间感知与虚拟设备和控制的设备关联的动作、功能和/或特性，从而用户例如感觉如同他们是内容的部分而不是简单地查看内容。

在一个实施例中，与仅使得与虚拟设备关联的动作、功能和/或特性在与实际设备相同的时间出现相比，可以更多地涉及到在内容与一个或者多个控制的设备之间的交互。交互可以涉及到使得内容变成沉浸在设备中的多个交互，从而用户可以例如通过设备与内容交互。图5是根据一个实施例的用于向一个或者多个设备中插入内容的过程的流程图。在一个实施例中，沉浸服务103执行过程500并且例如被实施在如图9中所示的包括处理器和存储器的芯片组中。

在步骤501中，沉浸服务103至少部分使得向设备、一个或者多个其它设备或者其组合中插入内容的一个或者多个表示。该插入使得内容被插入到一个或者多个设备中以变成与内容关联，从而设备能够与内容交互。举例而言，内容可以基于沉浸服务103被插入到UE 101a中。因而，现在可以与内容或真实世界关联地执行可以由UE 101a正常执行的功能，比如接收通信(例如电话呼叫、文字消息、多媒体消息、电邮等)。例如用户仍然可以从未与内容关联的用户接收电话呼叫。然而用户也可以从与内容关联的一个或者多个虚拟人物接收电话呼叫。在这样的情况下，如果内容与作为主机设备117的游戏控制台执行的游戏关联，则用户现在可以从与游戏内容关联的一个或者多个非玩家人物接收电话呼叫。

为了实现上述内容，在步骤503中，沉浸服务103确定在内容的一个或者多个表示与设备、一个或者多个其它设备或者其组合之间的一个或者多个交互。一个或者多个交互可以与发起与一个或者多个控制的设备关联的动作、功能和/或特性的沉浸式交互事件关联。一个或者多个交互也可以与主机设备117从一个或者多个控制的设备(或者在控制主机设备的一个或者多个部件时从主机设备本身)接收对发起的动作、功能和/或特性的交互响应关联。事务也可以与一个或者多个控制的设备发起与内容关联的一个或者多个控制的设备和/或生成内容的一个或者多个引擎关联的动作、功能和/特性关联。因此，主机设备117和一个或者多个控制的设备可以交换与让用沉浸到向用户呈现的内容中关联的信息，以开发用于用户的更个人化的体验。在步骤505中，沉浸服务103处理与在有共生关系的设备内沉浸的内容关联的一个或者多个交互，以确定沉浸式交互事件。确定的沉浸式交互事件然后可以用来确定可以用于在沉浸的设备与主机设备之间的交互的一个或者多个附加控制信号。

举例而言，在主机设备与执行游戏的游戏控制台关联并且一个或者多个其它设备之一是UE 101a的情况下，在内容的一个或者多个表示与设备之间的交互允许：在虚拟游戏世界与现实世界之间、比如在与游戏关联的一个或者多个非玩家人物和与UE 101a关联的用户之间的电话呼叫和/或文本消息；使用UE 101a上的一个或者多个导航应用来在虚拟世界中导航；通过与内容关联的虚拟因特网浏览与内容关联的信息；在UE 101a上的联系人应用中查找非玩家人物；关联UE 101a上的日历应用111和与在游戏中的虚拟世界关联的一个或者多个事件；关联用于在UE 101a上执行的活动列表和与在游戏中的虚拟世界关联的一个或者多个活动；和/或产生专属于在游戏中的虚拟世界的备注。因而，基于过程500，用户可以使用具有超出仅呈现内容之外的功能的设备与内容进行交互。通过使用用户可以已经具有的未必与内容的呈现关联的设备，用户可以实现与内容的个人化的体验而无需购买专门设备。也通过与用户可以每天与之交互的设备(比如UE 101)交互，用户感知甚至更多沉浸到内容中。

图6是根据一个实施例的用于组合设备固有的信息与来自内容的信息的过程的流程图。在一个实施例中，沉浸服务103执行过程600并且例如被实施在如图9中所示的包括处理器和存储器的芯片组中。

在步骤601中，沉浸服务103至少部分使得至少部分基于一个或者多个沉浸式交互事件，在与设备、一个或者多个其它设备或者其组合关联的一个或者多个用户接口处，组合与内容关联的虚拟信息和与设备、一个或者多个其它设备或者其组合关联的固有信息。内容可以包括使沉浸服务103向沉浸的设备119a发送来自内容的与虚拟信息关联的信息的一个或者多个沉浸式交互事件。作为响应，沉浸的设备119a可以在与设备关联的一个或者多个用户接口上呈现信息，如同发送的信息是设备固有的信息而不是来自内容一样。举例而言，与一个或者多个联系人关联的虚拟信息可以基于与内容关联的沉浸式交互事件被发送到沉浸的设备119a。发送的内容然后可以被呈现在与设备关联的用户接口中。因此，例如在沉浸的设备119a的用户打开显示联系人的应用111b时，联系人中的一个或者多个联系人可以是来自内容的虚拟联系人。在一个实施例中，沉浸式交互事件可以代之以例如与沉浸的设备119a交互，从而信息直至沉浸的设备119a执行动作才被发送到该设备。例如在沉浸的设备的用户打开与显示联系人关联的应用111a时，沉浸的设备119a确定将包括来自内容的信息的应用正在被启动。沉浸的设备119a因此然后可以请求来自呈现内容的主机设备117和/或来自沉浸服务103的虚拟信息。在接收到虚拟信息时，沉浸的设备119a可以在与应用111a关联的用于呈现联系人的用户接口内显示信息。在设备和/或一个或者多个其它设备是UE 101时，固有信息可以例如代表联系人应用中的联系人、浏览器应用中的书签、日历应用中的日历事件或者可以在UE 101a上发现的任何其它信息。虚拟信息可以相似地是都与内容关联的虚拟世界关联的一个或者多个联系人、一个或者多个书签、一个或者多个日历事件等。

信息可以如需要的那样被发送到设备和/或一个或者多个其它设备，信息可以在设备的表示与内容关联时被发送到设备和/或一个或者多个其它设备，或者其组合。举例而言，沉浸服务103可以基于响应于联系人应用的执行而从UE 101a接收的一个或者多个通知，检测在UE 101a上的联系人应用的执行。沉浸服务103可以请求来自主机设备117的关于与内容关联的联系人的基本信息。基本信息可以例如仅包括可以在联系人应用的顶部菜单内查看的姓名和/或图片。主机设备117然后可以向沉浸服务103传递联系人信息，该沉浸服务然后可以向UE 101a传递联系人信息。在UE 101a处的联系人应用然后可以用从内容提供的信息扩充在UE 101a处的固有数据，以组合虚拟联系人信息与固有联系人信息。在UE101a的用户查看联系人应用提供的联系人时，联系人将包括与现实世界关联的固有联系人和与内容关联的一个或者多个虚拟联系人。因而，与联系人关联的用户接口将看起来与UE101a的固有联系人应用关联的用户接口相同，从而用户不能确定什么联系人是固有联系人以及什么联系人是虚拟联系人。备选地，UE 101a(例如沉浸的设备119a)可以检测对可以请求与内容关联的信息的应用111a的执行。UE 101a然后可以请求来自沉浸服务103和/或主机设备117的用于在UE 101a的用户接口上显示的将被应用111a使用的信息。请求的信息然后可以扩充已经在UE 101a上的与应用111a关联的信息。又举例而言，涉及虚拟联系人的所有信息(或者与内容关联的任何其它信息)可以在联系人应用初始地在UE 101a上被执行时被发送到UE 101a。又举例而言，涉及与内容关联的虚拟世界的所有信息可以在UE 101a和与呈现内容关联的主机设备117之间关联时被发送到UE 101a。

作为一个备选实施例，沉浸服务103可以将在一个或者多个沉浸的设备上的固有用户接口替换为用沉浸服务103生成的看起来与固有用户接口相同的一个或者多个用户接口。在一个实施例中，沉浸服务103可以合并用户接口以合并固有信息和来自内容的信息。如果用户选择用于附加信息的虚拟联系人之一，则信息的路由可以出现，从而沉浸服务103请求与来自内容的虚拟联系人关联的专属信息，并且专属信息被传递到UE 101a。

在步骤603中，沉浸服务103至少部分使得至少部分基于一个或者多个交互、一个或者多个沉浸交互事件或者其组合来修改内容、与内容的交互或者其组合。如以上讨论的那样，这样的交互可以例如是与交互关联的响应，这些交互涉及到：在虚拟游戏世界与现实世界之间、比如在与游戏关联的一个或者多个非玩家人物和与UE101a关联的用户之间的电话呼叫和/或文字消息；使用UE 101a上的一个或者多个导航应用来在虚拟世界中导航；通过与内容关联的虚拟因特网浏览与内容关联的信息；在UE 101a上的联系人应用中查找非玩家人物；关联UE 101a上的日历应用111和与在游戏中的虚拟世界关联的一个或者多个事件；关联用于在UE 101a上执行的活动列表和与在游戏中的虚拟世界关联的一个或者多个活动；和/或产生专属于在游戏中的虚拟世界的备注。

举例而言，用户可以查看充当主机设备的DVD播放器呈现的电影。DVD播放器可以在呈现内容之时控制移动电话。电影中的情节可以包括虚拟人物指引用户呼叫好友并且告诉好友友谊结束。情节可以与一个或者多个命令对应，该一个或者多个命令指引移动电话监听或者检测向在移动电话中列举为联系人的好友的一个或者多个电话呼叫。如果用户使用移动电话以呼叫好友并且执行虚拟人物请求的动作，则移动电话然后可以用指示呼叫被执行的一个或者多个响应来向DVD播放器做出响应。在该情况下，虚拟人物可以基于来自移动电话的指示虚拟人物对用户的批准的一个或者多个响应来做出响应。如果用户未执行虚拟人物请求的动作，则虚拟人物可以不同地做出响应，比如对于未听从指令而贬低用户。因而，用户通过能够与内容直接交互而沉浸在内容中。由于用户正在使用未以别的方式与内容的呈现关联的设备(例如移动电话)，所以用户感觉甚至更多沉浸在内容中。

图7A-7I是根据各种实施例的在图3-6的过程中利用的用户接口的图。如图7A中所示，UE 101a可以与联系人应用111b的用户接口701a关联，该用户接口如在用户接口701a的分解视图703a中所示包括联系人707a、709a和711a。UE 101a也可以与在另一设备(例如主机设备117)上呈现的内容关联，从而可以在UE 101a上呈现来自内容的信息。举例而言，联系人707a和711a可以在UE 101a变成与内容关联之前是与UE 101a关联的固有联系人。然而联系人709a可以与来自内容的虚拟人物关联，比如如果内容与游戏关联则与非玩家人物关联。如分解视图703a中所示，各种联系人707a、709a和711a被相同地格式化并且除了它们呈现的信息之外不可区别。因此，例如UE 101a的用户无法基于用户接口701a确定联系人709a与来自内容的虚拟人物关联。联系人709a与联系人707a和711a的无缝集成使UE 101a的用户沉浸到内容中。

如图7B中所示，UE 101a可以与日历应用111c的用户接口701b关联，该用户接口如用户接口701b的分解视图703b中所示包括约会707b、709b和711b。如以上讨论的那样，UE101a也可以与在另一设备(例如主机设备117)上呈现的内容关联，从而可以在UE 101a上呈现来自内容的信息。举例而言，约会707b和711b可以在UE 101a变成与内容关联之前是与UE101a关联的固有约会。然而约会709a可以与来自内容的虚拟约会关联，比如与在游戏中的非玩家人物的约会。如分解视图703b中所示，各种约会707b、709b和711b被相同地格式化并且除了它们呈现的信息之外不可区别。因此，例如UE101a的用户无法基于用户接口701b确定约会709b与来自内容的虚拟人物关联。约会709b与约会707a和711a的无缝集成使UE101a的用户沉浸到内容中。

如图7C中所示，UE 101a可以与消息传送应用111d的用户接口701c关联，该用户接口如用户接口701c的分解视图703c中所示包括消息707c、709c和711c。如以上讨论的那样，UE 101a也可以与在另一设备(例如主机设备117)上呈现的内容关联，从而可以在UE 101a上呈现来自内容的信息。举例而言，消息707b和711b可以在UE 101a变成与内容关联之前是与UE 101a关联的固有消息。然而消息709a可以与来自内容的虚拟消息关联，比如来自游戏中的非玩家人物的消息。如分解视图703c中所示，各种消息707c、709c和711c被相同地格式化并且除了它们呈现的信息之外不可区别。因此，例如UE 101a的用户无法基于用户接口701c确定消息709c与来自内容的虚拟人物关联。消息709b与消息707a和711a的无缝集成使UE 101a的用户沉浸到内容中。

如图7D中所示，UE 101a可以与电话应用111e的用户接口701d关联，该用户接口如用户接口701d的分解视图703d中所示包括来自布拉德利·墨菲的来电呼叫。在一个实施例中，布拉德利·墨菲可以对应于在内容内包括的虚拟人物。然而在内容与UE 101a之间的事务产生与来自虚拟人物布拉德利·墨菲的虚拟呼叫对应的用户接口701d。由于应用111e看起来与如果UE 101a正在从实际个人而不是虚拟人物接收呼叫则应用111e将看起来的那样相同，所以UE 101a的用户无法确定用户接口701d与来自内容的虚拟人物关联。用户接口701d在UE101a内的无缝集成使UE 101a的用户沉浸到内容中。

如图7E中所示，UE 101a可以与通信应用111f的用户接口701e关联，该用户接口如用户接口701e的分解视图703e中所示包括未接呼叫707d、709d和711d。如以上讨论的那样，UE 101a也可以与在另一设备(例如主机设备117)上呈现的内容关联，从而可以在UE 101a上呈现来自内容的信息。举例而言，未接呼叫707d和711d可以在UE 101a变成与内容关联之前是与UE 101a关联的固有未接呼叫。然而未接呼叫709d可以与来自内容内的虚拟人物关联，比如来自游戏中的非玩家人物的未接呼叫。如分解视图703e中所示，各种未接呼叫707d、709d和711d被相同地格式化并且除了它们呈现的信息之外不可区别。因此，例如UE101a的用户无法基于用户接口701e确定未接呼叫709c与来自内容的虚拟人物关联。未接呼叫709b与未接呼叫707d和711d的无缝集成使UE 101a的用户沉浸到内容中。

如图7F中所示，UE 101a可以与分解视图703f中所示的用户接口701f关联，该用户接口701f可以与导航应用111g关联。导航应用111g可以是在UE 101a上的固有应用，但是可以当前正在显示与从主机设备呈现的内容关联的信息。因此，用户接口701f可以允许用户使用以别的方式与向用户呈现内容无关的UE 101a在虚拟世界中导航。

如图7G中所示，沉浸的设备119的一个示例可以是微波炉119b。微波炉119b可以包括用户接口713，该用户接口基于与内容的呈现关联的一个或者多个沉浸式交互事件，可以呈现与内容关联的消息，比如爆米花时间。作为示例，这样的消息可以基于开始回放与主机设备关联的电影。另外，图7H图示沉浸的设备119的另一示例，比如冰箱119c。冰箱119c可以包括用户接口715，该用户接口基于与已经与冰箱119c对接的主机设备117呈现的内容关联的一个或者多个沉浸式交互事件，可以显示与在内容内的事件关联的消息。例如内容可以是包括人物的电影，该人物可以在电影期间的某点享用饮料。饮料可以上G氏汽水。在人物享用饮料的时间，控制信号可以被发送到冰箱119c，以向杂货单(例如妈妈的购物单)添加G氏汽水。其中控制信号可以是在内容中包括的广告的形式。

如图7I中所示，沉浸的设备119、比如洗衣机/甩干机组合119d可以让表示被插入到内容中，以让内容控制洗衣机/甩干机组合119d。举例而言，内容可以代表用于描述如何使用洗衣机/甩干机组合119d的指导视频。内容可以包括描述如何为洗衣机设置洗涤温度的情节。该情节可以包括如指示符717所示的向洗衣机发布的用于提示用户例如录入洗涤温度的控制信号。一旦用户设置洗涤温度，洗衣机可以发布对控制信号的例如与指示洗涤温度被设置的响应对应的响应。在呈现内容的主机设备117接收到响应时，内容可以被推进至例如描述如何设置水位的下一情节。该情节可以包括如指示符719所示的向洗衣机发布的用于提示用户例如录入与洗涤关联的水位的控制信号。一旦用户设置水位，洗衣机可以发布对提示用户录入水位的控制信号的响应，该响应例如与指示水位被设置的响应对应。在主机设备117接收到响应时，内容可以被推进至提供用于训练用户如何使用洗衣机/甩干机组合119d的附加情节。通过让内容与洗衣机/甩干机组合119d通信以发布控制信号和接收响应，用户被沉浸到训练视频中并且被提供对如何使用洗衣机/甩干机组合119d的更佳理解。

可以有利地经由软件、硬件、固件或者软件和/或固件和/或硬件的组合实施这里描述的用于基于一个或者多个沉浸式交互事件经由日常设备提供沉浸式交互的过程。例如，可以有利地经由处理器、数字信号处理(DSP)芯片、专用集成电路(ASIC)、现场可编程门阵列(FPGA)等实施这里描述的过程。下文具体描述这样的用于执行描述的功能的示例硬件。

图8图示可以在其上实施本发明的一个实施例的计算机系统800。虽然关于特定设备或者装备描绘计算机系统800，但是设想图8内的其它设备或者装备(例如网元、服务器等)可以部署系统800的所示硬件和部件。计算机系统800被编程(例如经由计算机程序代码或者指令)用于提供如这里描述的用于基于一个或者多个沉浸式交互事件经由日常设备提供沉浸式交互，并且包括通信机制比如总线810，用于在计算机系统800的其它内部与外部部件之间传递信息。将信息(也称为数据)表示为可测量现象的物理表达，该现象通常为电压，但是在其它实施例中包括比如磁、电磁、压力、化学、生物、分子、原子、亚原子和量子交互这样的现象。例如北和南磁场或者零和非零电压代表二进制数(位)的两个状态(0，1)。其它现象可以代表更高基数的数。在测量之前的多个同时量子状态的叠加代表量子位(qubit)。一个或者多个数的序列构成数字数据，该数字数据用来代表用于字符的编号或者代码。在一些实施例中，称为模拟数据的信息由在特定范围内的可测量值的近连续体代表。计算机系统800或者其部分构成用于执行一个或者多个步骤的装置，该一个或者多个步骤基于一个或者多个沉浸式交互事件经由日常设备提供沉浸式交互。

总线810包括一个或者多个并行信息导体，使得在耦合到总线810的设备之间快速传送信息。用于处理信息的一个或者多个处理器802与总线810耦合。

一个处理器(或者多个处理器)802对信息执行如与基于一个或者多个沉浸式交互事件经由日常设备提供沉浸式交互有关的计算机程序代码指定的操作集。计算机程序代码是用于处理器和/或计算机系统的操作以执行指定功能的指令或者提供指令的语句的集合。例如可以用编译成处理器的本机指令集的计算机编程语言编写代码。也可以使用本机指令集(例如机器语言)来直接编写代码。操作集包括从总线810带入信息以及将信息置于总线810上。操作集也通常包括比较两个或者更多信息单元、移位信息单元的位置以及比如通过加法或者乘法或者逻辑运算如OR、异或(XOR)和AND组合两个或者更多信息单元。称为指令的信息、比如一个或者多个数的操作代码，向处理器表示处理器可以执行的操作集的每个操作。将由处理器802执行的操作序列比如操作代码序列，构成也称为计算机系统指令或者简称为计算机指令的处理器指令。可以独自或者组合地实施处理器为机械、电、磁、光学、化学或者量子部件以及其它部件。

计算机系统800也包括耦合到总线810的存储器804。比如随机存取存储器(RAM)或者任何其它动态存储设备之类的存储器804存储信息，该信息包括用于基于一个或者多个沉浸式交互事件经由日常设备提供沉浸式交互的处理器指令。动态存储器允许其中存储的信息由计算机系统800改变。RAM允许在称为存储器地址的位置存储的信息单元与在邻近地址的信息独立地被存储和获取。存储器804也由处理器802用来在执行处理器指令期间存储临时值。计算机系统800也包括耦合到总线810的只读存储器(ROM)806或者任何其它静态存储设备，该ROM或者任何其它静态存储设备用于存储计算机系统800未改变的包括指令的静态信息。一些存储器由在失去电力时丢失其上存储的信息的易失性存储装置组成。非易失性(持续)存储设备808比如磁盘、光盘或者闪卡也耦合到总线810，该非易失性(持续)存储设备用于存储即使在计算机系统800被关断或者以别的方式失去电力时仍然持续的包括指令的信息。

从外部输入设备812比如包含由人类用户操作的字母数字键的键盘、麦克风、红外线(IR)遥控、操纵杆、游戏板、触笔、触屏或者传感器，向总线810提供信息用于由处理器使用，该信息包括用于基于一个或者多个沉浸式交互事件经由日常设备提供沉浸式交互的指令。传感器检测在它附近的条件并且将那些检测变换成与用来代表计算机系统800中的信息的可测量现象兼容的物理表达。主要用于与人类交互的、耦合到总线810的其它外部设备包括：用于呈现文本或者图像的显示设备814，比如阴极射线管(CRT)、液晶显示器(LCD)、发光二极管(LED)显示器、有机LED(OLED)显示器、等离子体屏幕或者打印机；以及用于控制在显示器814上呈现的小光标图像的位置并且发出与在显示器814上呈现的图元关联的命令的指示设备816，比如鼠标、跟踪球、光标方向键或者运动传感器。在一些实施例中，例如在计算机系统800自动执行所有功能而无需人类输入的实施例中，省略外部输入设备812、显示设备814和指示设备816中的一个或者多个设备。

在所示实施例中，比如专用集成电路(ASIC)820之类的专用硬件耦合到总线810。专用硬件被配置为出于特殊目的而足够快地执行处理器802未执行的操作。ASIC的示例包括用于为显示器814生成图像的图形加速器卡、用于加密和解密通过网络发送的消息的密码板、话音识别以及与特殊外部设备的接口，这些特殊外部设备比如是反复地执行在硬件中更高效实施的某一复杂操作序列的机器人手臂和医疗扫描装备。

计算机系统800也包括耦合到总线810的通信接口870的一个或者多个实例。通信接口870提供与多种外部设备的单向或者双向通信耦合，这些外部设备用它们自己的处理器操作，比如打印机、扫描仪和外部盘。一般而言，耦合是与连接到本地网络880的网络链路878，多种外部设备连接到该本地网络，这些外部设备具有它们自己的处理器。例如通信接口870可以是个人计算机上的并行端口或者串行端口或者通用串行总线(USB)端口。在一些实施例中，通信接口870是提供与对应电话线类型的信息通信连接的综合服务数字网络(ISDN)卡或者数字用户线(DSL)卡或者电话调制解调器。在一些实施例中，通信接口870是线缆调制解调器，该调制解调器将总线810上的信号转换成用于通过同轴线缆的通信连接的信号或者用于通过光纤线缆的通信连接的光学信号。作为另一示例，通信接口870可以是用于提供与兼容LAN比如以太网的数据通信连接的局域网(LAN)卡。也可以实施无线链路。对于无线链路，通信接口870发送或者接收或者既发送又接收承载信息流比如数字数据的电、声或者电磁信号，这些信号包括红外线和光学信号。例如在无线手持设备比如移动电话如蜂窝电话中，通信接口870包括称为无线电收发器的无线电频带电磁发射器和接收器。在某些实施例中，通信接口870实现与通信网络105的连接，用于基于一个或者多个沉浸式交互事件使UE 101沉浸到内容的呈现中。

如这里所用的术语“计算机可读介质”指代参与向处理器802提供信息的任何介质，该信息包括用于执行的指令。这样的介质可以采用许多形式，这些形式包括但不限于计算机可读存储介质(例如非易失性介质、易失性介质)和传输介质。非瞬态介质比如非易失性介质例如包括光盘或者磁盘，比如存储设备808。易失性介质例如包括动态存储器804。传输介质例如包括双绞线缆、同轴线缆、铜线、光纤线缆和经过空间行进而无接线或者线缆的载波比如声波和电磁波，这些电磁波包括无线电波、光波和红外线波。信号包括通过传输介质传输的在幅度、频率、相位、极化或者其它物理性质上的人为瞬态变化。常见计算机可读介质的形式例如包括软盘、柔性盘、硬盘、磁带、任何其它磁介质、CD-ROM、CDRW、DVD、任何其它光学介质、打孔卡、纸带、光学标记片、具有孔图案或者其它光学可识别戳记的任何其它物理介质、RAM、PROM、EPROM、FLASH-EPROM、EEPROM、闪存、任何其它存储器芯片或者盒、载波或者计算机可以从其读取的任何其它介质。术语计算机可读存储介质这里用来指代除了传输介质之外的任何计算机可读介质。

在一个或者多个有形介质上编码的逻辑包括计算机可读存储介质上的处理器指令和比如ASIC 820之类的专用硬件中的一项或者两项。

网络链路878通常通过一个或者多个网络使用传输介质向使用或者处理信息的其它设备提供信息通信。例如网络链路878可以提供通过本地网络880的与主机计算机882或者与因特网服务提供商(ISP)操作的装备884的连接。ISP装备884又通过现在普遍称为因特网890的网络的公共全球范围分组交换通信网络提供数据通信服务。

连接到因特网的称为服务器主机892的计算机主控响应于通过因特网接收的信息提供服务的过程。例如服务器主机892主控提供信息的过程，该信息代表用于在显示器814处呈现的视频数据。设想系统800的部件可以以各种配置被部署于例如主机882和服务器892的其它计算机系统内。

本发明的至少一些实施例与将计算机系统800用于实施这里描述的技术中的一些或者所有技术有关。根据本发明的一个实施例，计算机系统800响应于处理器802执行存储器804中包含的一个或者多个处理器指令的一个或者多个序列来执行那些技术。可以从另一计算机可读介质比如存储设备808或者网络链路878向存储器804中读取也称为计算机指令、软件和程序代码的这样的指令。对存储器804中包含的指令序列的执行使得处理器802执行这里描述的方法步骤中的一个或者多个方法步骤。在备选实施例中，硬件比如ASIC820可以取代软件或者与软件组合用来实施本发明。因此，除非这里另有明示，否则本发明的实施例不限于硬件与软件的任何具体组合。

经过通信接口870通过网络链路878和其它网络传输的信号承载去往和来自计算机系统800的信息。计算机系统800可以通过网络链路878和通信接口870通过网络880、890以及其它网络发送和接收包括程序代码的信息。在使用因特网890的示例中，服务器主机892通过因特网890、ISP设备884、本地网络880和通信接口870传输从计算机800发送的消息所请求的用于特定应用的程序代码。接收的代码可以在它被接收时由处理器802执行，或者可以存储于存储器804中或者存储设备808或者其它非易失性存储装置中用于以后执行，或者兼而有之。以这一方式，计算机系统800可以用载波上的信号这一形式获得应用程序代码。

在向处理器802传送一个或者多个指令序列或者数据或者二者用于执行时可以涉及到各种形式的计算机可读介质。例如可以起初在远程计算机比如主机882的磁盘上承载指令和数据。远程计算机向它的动态存储器中加载指令和数据并且使用调制解调器通过电话线发送指令和数据。计算机系统800本地的调制解调器在电话线上接收指令和数据，并且使用红外线发射器以将指令和数据转换成作为网络链路878的红外线载波上的信号。作为通信接口870的红外线检测器接收红外线信号中承载的指令和数据并且将代表指令和数据的信息置于总线810上。总线810向存储器804传送信息，处理器802从该存储器获取指令并且使用与指令一起发送的数据中的一些数据来执行指令。在存储器804中接收的指令和数据可以可选地在由处理器802执行之前或者之后存储于存储设备808上。

图9图示可以在其上实施本发明的一个实施例的芯片组或者芯片900。芯片组900被编程用于基于一个或者多个沉浸式交互事件经由日常设备提供沉浸式交互，并且例如包括在一个或者多个物理封装(例如芯片)中并入的关于图8描述的处理器和存储器部件。举例而言，物理封装包括一个或者多个材料、部件和/或接线在结构组件(例如基板)上的布置，该布置用于提供一个或者多个特性比如物理强度、尺寸节约和/或电交互限制。设想在某些实施例中，可以在单个芯片中实施芯片组900。还设想在某些实施例中，可以实施芯片组或者芯片900为单个“片上系统”。还设想在某些实施例中，例如将未使用单独ASIC并且如这里公开的所有相关功能将由一个或者多个处理器执行。芯片组或者芯片900或者其部分构成用于执行一个或者多个步骤的装置，该一个或者多个步骤提供与功能的可用性关联的用户接口导航信息。芯片组或者芯片900或者其部分构成用于执行一个或者多个步骤的装置，该一个或者多个步骤基于一个或者多个沉浸式交互事件经由日常设备提供沉浸式交互。

在一个实施例中，芯片组或者芯片900包括通信机制比如总线901，用于在芯片组900的部件之间传递信息。处理器903具有与总线901的连通性，以执行例如在存储器905中存储的指令并且处理例如在存储器905中存储的信息。处理器903可以包括一个或者多个处理核而每个核被配置为独立执行。多核处理器在单个物理封装内实现多处理。多核处理器的示例包括两个、四个、八个或者更大数目的处理核。备选地或者附加地，处理器903可以包括经由总线901串接配置为实现独立执行指令、流水线和多线程的一个或者多个微处理器。处理器903也可以附带有用于执行某些处理功能和任务的一个或者多个专门化部件，比如一个或者多个数信号处理器(DSP)907或者一个或者多个专用集成电路(ASIC)909。DSP 907通常被配置为独立于处理器903而实时地处理现实信号(例如声音)。类似地，ASIC 909可以被配置为执行更通用处理器不容易执行的专门化功能。用于辅助执行这里描述的发明功能的其它专门化部件可以包括一个或者多个现场可编程门阵列(FPGA)、一个或者多个控制器或者一个或者多个其它专用计算机芯片。

在一个实施例中，芯片组或者芯片900仅包括一个或者多个处理器以及支持和/或涉及和/或用于一个或者多个处理器的一些软件和/或固件。

处理器903和附带部件具有经由总线901的与存储器905的连通性。存储器905包括用于存储可执行指令的动态存储器(例如RAM、磁盘、可写入光盘等)和静态存储器(例如ROM、CD-ROM等)二者，这些可执行指令在被执行时执行这里描述的发明步骤，以基于一个或者多个沉浸式交互事件经由日常设备提供沉浸式交互。存储器905也存储与发明步骤的执行关联或者通过执行发明步骤而生成的数据。

图10是根据一个实施例的能够在图1的系统中操作的用于通信的移动终端(例如手持机)的示例部件的图。在一些实施例中，移动终端1001或者其部分构成用于执行一个或者多个步骤的装置，该一个或者多个步骤基于一个或者多个沉浸式交互事件经由日常设备提供沉浸式交互。一般而言，经常在前端和后端特性方面定义无线电接收器。接收器的前端涵盖所有射频(RF)电路系统，而后端涵盖所有基带处理电路系统。如在本申请中所用，术语“电路系统”指代以下二者：(1)仅硬件的实现方式(比如在仅模拟和/或数字电路系统中的实现方式)和(2)电路系统与软件(和/或固件)的组合(比如如果适用于特定上下文则指代包括数字信号处理器的处理器、软件和存储器的组合，这些处理器、软件和存储器一起工作以使装置、比如移动电话或者服务器执行各种功能)。“电路系统”的这一定义适用于这一术语在本申请中、包括在任何权利要求中的所有使用。作为又一示例，如在本申请中所用并且如果适用于特定情境，则术语“电路系统”也将覆盖仅一个处理器(或者多个处理器)及其附带软件/或者固件的实现方式。术语“电路系统”如果适用于特定情境则也将例如覆盖移动电话中的基带集成电路或者应用处理器集成电路或者蜂窝网络设备或者其它网络设备中的相似集成电路。

电话的相关内部部件包括主控制单元(MCU)1003、数字信号处理器(DSP)1005和接收器/发射器单元，该接收器/发射器单元包括麦克风增益控制单元和扬声器增益控制单元。主显示单元1007向用户提供支持各种应用和移动终端功能的显示，这些应用和移动终端功能执行或者支持基于一个或者多个沉浸式交互事件经由日常设备提供沉浸式交互的步骤。显示器1007包括显示电路系统，该显示电路系统被配置为显示移动终端(例如移动电话)的用户接口的至少部分。此外，显示器1007和显示电路系统被配置为有助于用户控制移动终端的至少一些功能。音频功能电路系统1009包括麦克风1011和放大从麦克风1011输出的话音信号的麦克风放大器。向编码器/解码器(CODEC)1013馈送从麦克风1011输出的放大的话音信号。

无线电部1015放大功率并且转换频率以便经由天线1017与移动通信系统中包括的基站通信。如本领域中所知，功率放大器(PA)1019和发射器/调制电路系统在操作上响应于MCU 1003，其中来自PA 1019的输出耦合到双工器1021或者循环器或者天线开关。PA1019也耦合到电池接口和功率控制单元1020。

在使用中，移动终端1001的用户向麦克风1011中讲话，并且他的或者她的语音与任何检测到的背景噪音一起转换成模拟电压。然后通过模数转换器(ADC)1023将模拟电压转换成数字信号。控制单元1003将数字信号传送到DSP 1005中用于在其中处理，比如话音编码、信道编码、加密和交织。在一个实施例中，未单独示出的单元使用蜂窝传输协议比如全球演进增强数据速率(EDGE)、通用分组无线电服务(GPRS)、全球移动通信系统(GSM)、网际协议多媒体子系统(IMS)、通用移动电信系统(UMTS)等以及任何其它适当无线介质例如微波接入(WiMAX)、长期演进(LTE)网络、码分多址(CDMA)、宽带码分多址(WCDMA)、无线保真(WiFi)、卫星等或其任意组合对处理的语音信号编码。

然后向均衡器1025传送编码的信号，用于补偿在经过空气传输期间出现的任何依赖于频率的削弱，比如相位和幅度失真。在均衡比特流之后，调制器1027组合信号与RF接口1029中生成的RF信号。调制器1027通过频率或者相位调制生成正弦波。为了准备信号用于传输，上变频器1031组合从调制器1027输出的正弦波与合成器1033生成的另一正弦波，以实现希望的传输频率。然后通过PA1019发送信号以将信号增加至适当功率电平。在实际系统中，PA1019充当可变增益放大器，该放大器的增益由DSP 1005根据从网络基站接收的信息来控制。然后在双工器1021内对信号滤波并且可选地向天线耦合器1035发送，以匹配阻抗从而提供最大功率传送。最后经由天线1017向本地基站传输信号。可以供应自动增益控制(AGC)以控制接收器的末级的增益。可以从这里向远程电话转发信号，该远程电话可以是另一蜂窝电话、任何其它移动电话或者是连接到公共交换电话网络(PSTN)或者其它电话网络的陆线。

经由天线1017接收向移动终端1001传输的语音信号并且立即由低噪声放大器(LNA)1037放大。下变频器1039降低载波频率，而解调器1041剥离RF从而仅留下数字比特流。信号然后穿过均衡器1025并且由DSP 1005处理。数模转换器(DAC)1043转换信号并且通过扬声器1045向用户传输所得输出，所有这些都在可以实施为中央处理单元(CPU)的主控制单元(MCU)1003的控制之下。

MCU 1003接收包括来自键盘1047的输入信号的各种信号。与其它用户输入部件(例如麦克风1011)组合的键盘1047和/或MCU1003包括用于管理用户输入的用户接口电路系统。MCU 1003运行用户接口软件，以有助于用户控制移动终端1001的至少一些功能，从而基于一个或者多个沉浸式交互事件经由日常设备提供沉浸式交互。MCU 1003也分别向显示器1007和向话音输出切换控制器递送显示命令和切换命令。另外，MCU 1003与DSP 1005交换信息并且可以访问可选地并入的SIM卡1049和存储器1051。此外，MCU 1003执行终端所需的各种控制功能。DSP 1005可以根据实现方式对语音信号执行多种常规数字处理功能中的任何数字处理功能。此外，DSP1005根据麦克风1011检测的信号确定本地环境的背景噪声电平，并且将麦克风1011的增益设置成为了补偿移动终端1001的用户的自然倾向而选择的电平。

CODEC 1013包括ADC 1023和DAC 1043。存储器1051存储包括呼叫传入音频数据的各种数据，并且能够存储包括例如经由全球因特网接收的音乐数据的其它数据。软件模块可以驻留于RAM存储器、闪存、寄存器或者在本领域中已知的任何其它形式的可写入存储介质中。存储器设备1051可以是但不限于单个存储器、CD、DVD、ROM、RAM、EEPROM、光学存储装置、磁盘存储装置、闪存存储装置或者是能够存储数字数据的任何其它非易失性存储介质。

可选地并入的SIM卡1049例如承载重要信息，比如蜂窝电话号码、载体供应服务、预订细节和安全信息。SIM卡1049主要用于在无线电网络上标识移动终端1001。卡1049也包含用于存储个人电话号码注册表、文本消息和用户专属移动终端设置的存储器。

尽管已经结合多个实施例和实现方式描述本发明，但是本发明不限于此，而是覆盖落入所附权利要求的范围内的各种明显修改和等效布置。虽然在权利要求之中以某些组合表达本发明的特征，但是设想可以以任何组合和顺序布置这些特征。

Claims (20)

1.一种用于控制一个或多个设备的方法，包括：

处理在设备处呈现的内容或促进对在设备处呈现的内容的处理中的至少一项，其中至少部分地使用所述设备的与所述内容的呈现关联的功能性来呈现所述内容，以确定一个或者多个交互事件；

确定(a)用于控制所述设备、一个或者多个其它设备或者其组合以至少部分引起所述一个或者多个交互事件的一个或者多个控制信号；(b)用于发送所述一个或者多个控制信号的一个或者多个协议；或者(c)其组合；

至少部分使得向所述设备、所述一个或者多个其它设备或者其组合发送所述一个或者多个控制信号；

确定在所述内容中表示的一个或者多个虚拟设备；以及

至少部分使得在所述设备、所述一个或者多个其它设备或者其组合处，至少部分基于所述一个或者多个控制信号，对与所述一个或者多个虚拟设备关联的一个或者多个动作、一个或者多个功能、一个或者多个特性或者其组合进行模拟。

2.根据权利要求1所述的方法，其中所述设备、所述一个或者多个其它设备或者其组合具有用于至少部分地呈现所述内容的功能性之外的至少一种功能性，以基于所述一个或者多个交互事件与所述内容交互。

3.根据权利要求1所述的方法，还包括：

确定所述设备、所述一个或者多个其它设备或者其组合的一个或者多个能力，

其中所述一个或者多个交互事件、所述一个或者多个控制信号、所述一个或者多个协议或者其组合至少部分基于所述一个或者多个能力。

4.根据权利要求1所述的方法，还包括：

至少部分使得所述一个或者多个虚拟设备的所述一个或者多个动作、所述一个或者多个功能、所述一个或者多个特性或者其组合与所述一个或者多个控制信号在所述设备、所述一个或者多个其它设备或者其组合处的执行同步。

5.根据权利要求1所述的方法，还包括：

至少部分使得向所述一个或者多个其它设备、所述设备或者其组合查询一个或者多个支持的控制信号、一个或者多个支持的协议或者其组合；以及

至少部分基于所述一个或者多个支持的控制信号、所述一个或者多个支持的协议或者其组合，确定所述一个或者多个控制信号、所述一个或者多个协议或者其组合。

6.根据权利要求1-5中任一项所述的方法，还包括：

至少部分使得向所述设备、所述一个或者多个其它设备或者其组合中插入所述内容的一个或者多个表示；

确定在所述内容的所述一个或者多个表示与所述设备、所述一个或者多个其它设备或者其组合之间的一个或者多个交互；以及

处理所述一个或者多个交互或促进对所述一个或者多个交互的处理中的至少一项，以确定所述一个或者多个交互事件。

7.根据权利要求6所述的方法，还包括：

至少部分使得：至少部分基于所述一个或者多个交互事件，在与所述设备、所述一个或者多个其它设备或者其组合关联的一个或者多个用户接口处，对与所述内容关联的虚拟信息和与所述设备、所述一个或者多个其它设备或者其组合关联的固有信息进行组合。

8.根据权利要求7所述的方法，其中所述虚拟信息与所述设备、所述一个或者多个其它设备或者其组合关联的所述固有信息、所述固有信息的格式或者其组合一致。

9.根据权利要求6所述的方法，还包括：

至少部分使得：至少部分基于所述一个或者多个交互、所述一个或者多个交互事件或者其组合，对所述内容、与所述内容的交互或者其组合进行修改。

10.根据权利要求6所述的方法，其中所述一个或者多个交互与下列各项关联：在(a)所述设备、所述一个或者多个其它设备或者其组合与(b)所述内容之间的一个或者多个虚拟通信；在所述设备、所述一个或者多个其它设备或者其组合上的虚拟环境中的导航；在与(a)所述设备、所述一个或者多个其它设备或者其组合和(b)所述内容关联的一个或者多个虚拟人物之间的关联；或者其组合。

11.一种用于控制一个或多个设备的装置，包括：

电路系统，所述电路系统包括硬件实现，所述硬件实现包括至少一个处理器或处理器的一部分以及至少一个存储器，所述至少一个存储器包括计算机程序代码，所述计算机程序代码在所述电路系统操作时使得所述装置：

处理在设备处呈现的内容或促进对在设备处呈现的内容的处理中的至少一项，以确定一个或者多个交互事件；

确定(a)用于控制所述设备、一个或者多个其它设备或者其组合以至少部分引起所述一个或者多个交互事件的一个或者多个控制信号；(b)用于发送所述一个或者多个控制信号的一个或者多个协议；或者(c)其组合；

至少部分使得向所述设备、所述一个或者多个其它设备或者其组合发送所述一个或者多个控制信号；

确定在所述内容中表示的一个或者多个虚拟设备；以及

至少部分使得在所述设备、所述一个或者多个其它设备或者其组合处，至少部分基于所述一个或者多个控制信号，对与所述一个或者多个虚拟设备关联的一个或者多个动作、一个或者多个功能、一个或者多个特性或者其组合进行模拟。

12.根据权利要求11所述的装置，其中所述设备、所述一个或者多个其它设备或者其组合具有用于至少部分地呈现所述内容的功能性之外的至少一种功能性，以基于所述一个或者多个交互事件与所述内容交互。

13.根据权利要求11所述的装置，其中还使得所述装置：

确定所述设备、所述一个或者多个其它设备或者其组合的一个或者多个能力，

其中所述一个或者多个交互事件、所述一个或者多个控制信号、所述一个或者多个协议或者其组合至少部分基于所述一个或者多个能力。

14.根据权利要求11所述的装置，其中还使得所述装置：

至少部分使得所述一个或者多个虚拟设备的所述一个或者多个动作、所述一个或者多个功能、所述一个或者多个特性或者其组合与所述一个或者多个控制信号在所述设备、所述一个或者多个其它设备或者其组合处的执行同步。

15.根据权利要求11所述的装置，其中还使得所述装置：

至少部分使得向所述一个或者多个其它设备、所述设备或者其组合查询一个或者多个支持的控制信号、一个或者多个支持的协议或者其组合；以及

至少部分基于所述一个或者多个支持的控制信号、所述一个或者多个支持的协议或者其组合，确定所述一个或者多个控制信号、所述一个或者多个协议或者其组合。

16.根据权利要求11-15中任一项所述的装置，其中还使得所述装置：

至少部分使得向所述设备、所述一个或者多个其它设备或者其组合中插入所述内容的一个或者多个表示；

确定在所述内容的所述一个或者多个表示与所述设备、所述一个或者多个其它设备或者其组合之间的一个或者多个交互；以及

处理所述一个或者多个交互或促进对所述一个或者多个交互的处理中的至少一项，以确定所述一个或者多个交互事件。

17.根据权利要求16所述的装置，其中还使得所述装置：

至少部分使得：至少部分基于所述一个或者多个交互事件，在与所述设备、所述一个或者多个其它设备或者其组合关联的一个或者多个用户接口处，对与所述内容关联的虚拟信息和与所述设备、所述一个或者多个其它设备或者其组合关联的固有信息进行组合。

18.根据权利要求17所述的装置，其中所述虚拟信息与所述设备、所述一个或者多个其它设备或者其组合关联的所述固有信息、所述固有信息的格式或者其组合一致。

19.根据权利要求16所述的装置，其中还使得所述装置：

至少部分使得：至少部分基于所述一个或者多个交互、所述一个或者多个交互事件或者其组合，对所述内容、与所述内容的交互或者其组合进行修改。

20.根据权利要求16所述的装置，其中所述一个或者多个交互与下列各项关联：在(a)所述设备、所述一个或者多个其它设备或者其组合与(b)所述内容之间的一个或者多个虚拟通信；在所述设备、所述一个或者多个其它设备或者其组合上的虚拟环境中的导航；在与(a)所述设备、所述一个或者多个其它设备或者其组合和(b)所述内容关联的一个或者多个虚拟人物之间的关联；或者其组合。