CN109997094A - 用于重建来自媒体资产的参考图像的系统和方法 - Google Patents

Abstract

本公开提供在用户设备(例如，移动电话上的应用)中实现的交互式媒体指南应用的系统和方法。交互式媒体指南应用使用用户设备的地理地点(例如，经度和纬度坐标)和地理空间方位(例如，陀螺角度)来允许用户以与在他或她喜欢的电影或电视节目中描绘该地点相同的方式捕获该地点的图像。交互式媒体指南应用可以向用户提供他或她看到的并且具有与和电影或电视节目相关联的导演或另一个人相同的视点的期望的浸入式体验。

Description

用于重建来自媒体资产的参考图像的系统和方法

背景技术

一些电影和电视爱好者喜欢探索他们喜爱的场景被记录的地点，以试图观看和体验他们在其喜欢的电影或电视节目中所经历的物理地点。例如，“指环王”电影的爱好者可能会前往新西兰，以看到他们喜欢的场景被记录的地点。在另一个示例中，“权力的游戏”电视节目的爱好者可能前往北爱尔兰以看到他们喜欢的场景被记录的地点。爱好者可能想要创建他们看到的并且具有与电影或电视节目的导演相同的视点的浸入式体验。但是，在到达他们的目的地之后，例如，使用全球定位系统(GPS)设备，爱好者可能发现难以找到他们喜爱的场景被记录的确切位置和/或相机角度。由于场景在它们被记录之后进行的数字增强，因此对于爱好者来说，该地点也可能看起来不熟悉。因此，爱好者可能无法在现实生活中重建来自他们喜欢的电影或电视节目的场景。

发明内容

描述了用于解决用于捕获诸如电影或电视节目之类的媒体资产中有特色地点的图像的常规系统中的缺点的系统和方法。在例如移动电话的用户设备中实现的常规系统可以允许用户使用例如GPS坐标(经度和纬度坐标)的地理信息来找到媒体资产中有特色的地点。但是，该信息可能不足以使用户以与他或她喜欢的电影或电视节目中描绘地点的方式对应的方式捕获地点的图像。用户可能想要创建他或她看到的并且具有与和电影或电视节目相关联的导演或另一个人相同的视点的浸入式体验。

所描述的系统和方法提供了在用户设备(例如，移动电话上的应用)中实现的交互式媒体指南应用。用户设备可以包括用于捕获图像的相机组件和/或用于显示捕获的图像的显示组件。交互式媒体指南应用使用用户设备的地理地点(例如，经度和纬度坐标)和地理空间方位(例如，陀螺角度)来允许用户以与在他或她喜欢的电影或电视节目中描绘该地点相同的方式捕获该地点的图像。交互式媒体指南应用可以向用户提供他或她看到的并且具有与和电影或电视节目相关联的导演或另一个人相同的视点的期望的浸入式体验。

在一些方面，交互式媒体指南应用从嵌入在用户设备中的相机捕获在当前地点处的图像以及诸如地理地点和地理空间方位之类的相关元数据。例如，可以从用户设备中的GPS组件获得包括经度和纬度坐标的地理地点。在另一个示例中，可以从用户设备中的一个或多个陀螺组件获得包括陀螺角度的地理空间方位。交互式媒体指南应用可以搜索数据库以从与用户捕获的图像的地理地点和/或地理空间方位对应的媒体资产(诸如电影或电视节目)中识别参考图像。对应的参考图像可以包括具有地理地点和/或地理空间方位的元数据。该信息可以在电影或电视节目被记录时被捕获，或者在以后当电影或电视节目被添加到数据库时被附加。例如，信息可以在场景的一部分在某个地点被记录时被捕获，并且然后在该场景的下一部分在相同地点被记录时用于维持连续性。在另一个示例中，可以为了辅助可以应用于记录的场景的后记录增强而捕获信息。该数据库可以被提供给电影或电视节目的爱好者，以访问重建来自他们喜欢的电影或电视节目的场景所需的信息。

在一些实施例中，用户可能想要看到并具有与和电影或电视节目相关联的导演或另一个人相同的视点，并且还按照该人的期望重建数字增强的场景。因为典型的电影和电视节目是数字增强的，其中数字集和风景叠加在来自拍摄地点的图像上，允许用户重建数字增强的场景可以允许浸入式和身体娱乐体验。依赖于地理信息的常规系统不能提供这样的体验。它们不能重建相机视图和拍摄地点的角度，并且不能重建场景的增强现实版本，场景的增强现实版本包括如在用户喜欢的电影或电视节目中看到的场景中应用的数字增强。

在一些方面，所描述的系统和方法提供在用户设备上实现的用于重建来自诸如电影或电视节目之类的媒体资产的场景的交互式媒体指南应用。交互式媒体指南应用接收用户设备的地理地点和地理空间方位。交互式媒体指南应用确定用户正在试图使用地理地点重建的场景的参考图像。附加地或替代地，用户向交互式媒体指南应用提供关于特定场景的信息。交互式媒体指南应用确定用户设备的地理空间方位是否与参考图像相关联的地理空间方位对应。如果地理空间方位不匹配，则交互式媒体指南应用通知用户改变用户设备的位置以匹配参考图像的地理地点和/或地理空间方位。通知可以是音频或在用户设备上显示的视觉提示的形式。交互式媒体指南应用可以继续向用户提供关于用户设备的位置的反馈，直到地理空间方位匹配。随后，交互式媒体指南应用可以允许用户经由用户设备捕获图像。

附加地或替代地，交互式媒体指南应用允许用户将数字效果或增强叠加到用户捕获的图像。这允许用户重建捕获图像的增强现实版本，该版本包括如在用户喜欢的电影或电视节目中看到的图像中应用的数字增强。附加地或替代地，交互式媒体指南应用可以提供音频或视觉提示以帮助用户跟随在场景的原始记录期间由相机进行的相机移动。音频或视觉提示可以引导用户改变用户设备的位置并调整其地理地点和/或地理空间方位以重建原始记录期间的相机移动。用户可以在他或她改变用户设备的位置时捕获图像以记录他或她喜欢的场景的重建。附加地或替代地，用户可以在重建的场景中包括朋友和/或家人，并记录他们自己的场景的定制版本以供以后观看。

在一些实施例中，交互式媒体指南应用以用户设备(诸如移动设备)上的应用的形式实现。交互式媒体指南应用从移动设备的当前位置捕获图像并生成显示给用户的图像。用户可能已经将用户设备定位在与他或她喜欢的电影或电视节目中的场景对应的地理地点和/或地理空间方位中。例如，用户喜欢的电影可能是“日落(Sunset)”，并且用户可能已经前往他或她喜欢的电影中的场景被记录的物理地点。交互式媒体指南应用可以分析捕获图像的地理地点和/或地理空间方位，以确定与场景对应的参考图像以及捕获图像是否正确地重建参考图像。例如，交互式媒体指南应用可以基于用户设备的地理地点为纬度47.6°N和经度122.3°W来确定用户对电影“日落”中的场景感兴趣。在另一个示例中，交互式媒体指南应用可以从用户接收他或她喜欢的电影是“日落”的指示，并且随后在数据库中搜索与用户设备的地理地点匹配的参考图像。例如，交互式媒体指南应用可以找到具有纬度47.5°N和经度122.4°W的相关联地理地点的参考图像。

在一些实施例中，交互式媒体指南应用向用户提供音频或视觉提示以改变用户设备的位置。当捕获图像时，交互式媒体指南应用可以接收捕获图像的元数据，包括用户设备的地理地点和/或地理空间方位。交互式媒体指南应用可以检索包括参考图像的地理地点和/或地理空间方位的元数据。交互式媒体指南应用可以比较元数据以确定捕获的图像是否与参考图像对应。例如，交互式媒体指南应用可以确定捕获图像的地理空间方位(例如，陀螺角度90°)是否与参考图像的地理空间方位(例如，陀螺角度85°)对应。

交互式媒体指南应用可以确定捕获图像的元数据与参考图像之间的偏差，并生成音频或视觉提示以帮助用户改变用户设备的位置。例如，交互式媒体指南应用可以在用户设备上生成一组静态箭头(或其它方向指示符)和一组动态箭头(或其它方向指示符)。当用户改变用户设备的位置以尝试匹配静态箭头(或其它方向指示符)和动态箭头(或其它方向指示符)时，交互式媒体指南应用可以更新动态箭头(或其它方向指示符)。当从用户设备的新位置捕获地点的图像时，交互式媒体指南应用可以在该地点的图像上叠加静态箭头(或其它方向指示符)和动态箭头(或其它方向指示符)。在另一个示例中，交互式媒体指南应用可以生成指示用户是否应该向上、向下、向左、向右、向前、向后移动用户设备、倾斜用户设备或进行其它合适的位置变化的音频提示。

在一些实施例中，交互式媒体指南应用检测用户设备的位置以与参考图像的元数据对应的方式被校准。例如，来自用户喜欢的场景的参考图像可以具有包括地理地点和/或地理空间方位的相关联元数据。用户设备的先前位置可能已与地理地点对应，但可能偏离地理空间方位。在用户改变用户设备的位置之后，交互式媒体指南应用可以比较用户设备的当前地理空间方位和参考的地理空间方位。交互式媒体指南应用可以确定用户设备的位置被校准，因为地理空间方位是匹配的。交互式媒体指南应用可以更新用户设备的显示以例如通过生成通知和/或生成在彼此之上或彼此非常接近的静态和动态箭头来指示匹配。

在一些实施例中，交互式媒体指南应用在用户捕获的图像上叠加数字效果或增强。在用参考图像的元数据校准用户设备之后，交互式媒体指南应用可以向用户呈现将数字效果或增强叠加到由用户设备捕获的图像的选项。因为典型的电影和电视节目是数字增强的，其中数字集和风景叠加在来自拍摄地点的图像上，因此允许用户重建数字增强的场景可以允许浸入式和身体娱乐体验。通过将数字效果或增强叠加到图像，用户可以重建如在用户喜欢的电影或电视节目中所看到的场景的增强现实版本。交互式媒体指南应用可以使用三维渲染引擎和来自原始渲染的媒体资产的数字叠加资产的数据库，以基于捕获图像的地理地点和/或地理空间方位将数字叠加资产应用于用户捕获的图像。利用在由用户设备捕获的图像上合成的数字效果或增强，用户可以在用户设备周围移动并在数字增强的场景内进行交互，就像与电影或电视节目相关联的导演或另一个人想要场景看起来那样。

在一些实施例中，由用户设备捕获的图像与存储在用户捕获的图像数据结构中的元数据相关联。该数据结构可以包括捕获图像的地理地点和/或地理空间方位。例如，数据结构可以包括包括纬度47.6°N和经度122.3°W的地理地点以及包括陀螺角度90°的地理空间方位。在一些实施例中，媒体资产中的参考图像与存储在参考图像数据结构中的元数据相关联。该数据结构可以包括参考图像的地理地点和/或地理空间方位。例如，数据结构可以包括包括纬度47.5°N和经度122.4°W的地理地点以及包括陀螺角度85°的地理空间方位。可以在媒体资产中的参考图像被记录时存储该信息或者可以在以后的时间附加该信息。该数据结构可以包括关于媒体资产的信息，诸如标题(例如，“日落”)、参考图像的时间戳(例如，“10:45”)，以及关于数字叠加资产的信息，诸如“机器人.叠加”。

在一些方面，所描述的系统和方法提供了用于在用户设备上重建来自媒体资产的参考图像的交互式媒体指南应用。交互式媒体指南应用接收由用户设备捕获的用户图像。交互式媒体指南应用从媒体资产中识别参考图像。交互式媒体指南应用确定用户图像的第一地理空间方位是否与参考图像的第二地理空间方位匹配。交互式媒体指南应用基于第一地理空间方位与第二地理空间方位不匹配来为用户生成改变用户设备的位置的通知。

在一些方面，所描述的系统和方法提供了用于在用户设备上重建来自媒体资产的参考图像的交互式媒体指南应用。交互式媒体指南应用接收由用户设备捕获的用户图像。例如，用户设备可以包括相机组件，该相机组件捕获用户的当前地点处的图像、将图像存储在用户设备的存储器中，以及将捕获的图像发送到交互式媒体指南应用。

交互式媒体指南应用确定与用户图像相关联的地理地点。在一些实施例中，地理地点包括纬度坐标和经度坐标中的至少一个。在一些实施例中，根据从用户图像提取的元数据来确定与用户图像相关联的地理地点和第一地理空间方位中的至少一个。例如，交互式媒体指南应用可以从捕获的图像中提取元数据、分析所提取的元数据以获得包括地理地点信息(诸如纬度和经度)的数据结构，并从数据结构中检索地理地点。例如，交互式媒体指南应用可以将与用户图像相关联的地理地点确定为纬度47.6°N和经度122.3°W。

基于所确定的地理地点，交互式媒体指南应用从数据库中识别来自媒体资产的参考图像。在一些实施例中，数据库包括媒体资产和用地理地点标记的参考图像。在一些实施例中，交互式媒体指南应用从用户接收媒体资产的指示。交互式媒体指南应用基于所确定的地理地点和媒体资产的指示，从数据库中识别来自媒体资产的参考图像。例如，交互式媒体指南应用可以使用与纬度47.6°N和经度122.3°W的用户图像相关联的地理地点向数据库发送查询。交互式媒体指南应用可以包括例如+0.5°和-0.5°的阈值范围。交互式媒体指南应用可以从数据库接收指示具有纬度47.5°N和经度122.4°W的相关联地理地点的参考图像的响应。交互式媒体指南应用可以基于用户图像的地理地点选择作为最接近的匹配的参考图像。

交互式媒体指南应用确定与用户图像相关联的第一地理空间方位。在一些实施例中，第一地理空间方位包括一个或多个陀螺角度。在一些实施例中，根据从用户图像提取的元数据来确定与用户图像相关联的地理地点和第一地理空间方位中的至少一个。例如，交互式媒体指南应用可以从参考图像中提取元数据。交互式媒体指南应用可以分析所提取的元数据以获得包括地理空间方位信息的数据结构。例如，交互式媒体指南应用可以将与用户图像相关联的地理空间方位确定为包括90°的陀螺角度。

交互式媒体指南应用接收与参考图像相关联的第二地理空间方位。在一些实施例中，第二地理空间方位包括一个或多个陀螺角度。例如，交互式媒体指南应用可以接收与参考图像相关联的地理空间方位以包括85°的陀螺角度。

交互式媒体指南应用确定第一地理空间方位是否与第二地理空间方位匹配。例如，交互式媒体指南应用可以从参考图像的85°的陀螺角度减去用户图像的90°的陀螺角度，并且基于非零结果确定图像不匹配。

基于第一地理空间方位与第二地理空间方位不匹配，交互式媒体指南应用确定第一地理空间方位与第二地理空间方位之间的偏差。例如，交互式媒体指南应用可以从参考图像的85°的陀螺角度减去用户图像的90°的陀螺角度并将偏差确定为5°。

交互式媒体指南应用基于该偏差为用户生成改变用户设备的位置的通知。例如，交互式媒体指南应用可以为用户生成改变用户设备的位置的通知并发送以在用户设备的显示组件上显示。交互式媒体指南应用可以生成当用户图像正在用户设备上显示时将叠加在用户图像上的一组静态箭头和一组动态箭头。该组动态箭头可以相对于该组静态箭头移位，以指示陀螺方位之间的偏差。当用户改变位置时，两组箭头可以对齐并指示陀螺方位之间的偏差正在减小。

在一些实施例中，基于第一地理空间方位与第二地理空间方位之间的偏差低于预定义阈值，交互式媒体指南应用将数字效果叠加在用户图像上。例如，在地理空间方位之间的偏差达到预定义阈值(例如，0.5°)内之后，交互式媒体指南应用可以将数字效果叠加在用户图像上。交互式媒体指南应用可以从与参考图像相关联的元数据中检索关于数字效果的信息，例如，“机器人.叠加”。交互式媒体指南应用可以从数据库检索数字效果资产并发起数字图像处理算法以将数字效果应用于用户图像。例如，交互式媒体指南应用可以将数字效果资产的每个像素与用户图像进行比较，并且改变用户图像中预计应用数字效果的像素，但不改变用户图像中预计不会应用数字效果的像素。

在一些实施例中，在将数字效果叠加在用户图像上之后，交互式媒体指南应用为用户生成另一个改变用户设备的位置的通知。例如，交互式媒体指南应用可以为用户生成另一个改变用户设备的位置以捕获场景中下一帧的图像的通知。交互式媒体指南应用可以发送以便在用户设备的显示组件上显示。交互式媒体指南应用可以生成当用户图像正在用户设备上显示时将叠加在用户图像上的一组静态箭头和一组动态箭头。该组动态箭头可以相对于该组静态箭头移位，以指示陀螺方位之间的偏差。当用户改变位置时，两组箭头可以对齐并指示陀螺方位之间的偏差正在减小。

在一些实施例中，交互式媒体指南应用接收由用户设备捕获的第二用户图像。交互式媒体指南应用从数据库中识别来自媒体资产的第二参考图像。例如，用户设备中的相机组件可以捕获用户的当前地点处的图像、将图像存储在用户设备的存储器中，以及将捕获的图像发送到交互式媒体指南应用。交互式媒体指南应用可以从捕获的图像中提取元数据、分析所提取的元数据以获得包括诸如纬度和经度之类的地理地点信息的数据结构，并从数据结构中检索地理地点。

在一些实施例中，基于第二用户图像的地理空间方位与第二参考图像的地理空间方位之间的第二偏差低于预定义阈值，交互式媒体指南应用将第二数字效果叠加在第二用户图像上。例如，在地理空间方位之间的偏差达到预定义阈值(例如，0.5°)内之后，交互式媒体指南应用可以将数字效果叠加在用户图像上。交互式媒体指南应用可以从与参考图像相关联的元数据中检索关于数字效果的信息，例如“机器人2.叠加”。交互式媒体指南应用可以从数据库检索数字效果资产并发起数字图像处理算法以将数字效果应用于用户图像。例如，交互式媒体指南应用可以将数字效果资产的每个像素与用户图像进行比较，并且改变用户图像中预计应用数字效果的像素，但不改变用户图像中预计不会应用数字效果的像素。

应当注意的是，上述系统、方法、装置和/或方面可以应用于本公开中描述的其它系统、方法、装置和/或方面，或者根据本公开中描述的其它系统、方法、装置和/或方面来使用。

附图说明

结合附图考虑以下详细描述，本公开的以上和其它目的和优点将是显而易见的，其中相同的标号通篇表示相同的部分，并且其中：

图1示出了根据本公开的一些实施例的由媒体指南应用生成的显示屏幕的说明性示例；

图2示出了根据本公开的一些实施例的由媒体指南应用生成的显示屏幕的另一个说明性示例；

图3示出了根据本公开的一些实施例的由媒体指南应用生成的显示屏幕的又一个说明性示例；

图4示出了根据本公开的一些实施例的由媒体指南应用生成的显示屏的又一个说明性示例；

图5示出了根据本公开的一些实施例的由媒体指南应用生成的显示屏幕的说明性示例；

图6示出了根据本公开的一些实施例的用户图像数据结构和参考图像数据结构的说明性示例；

图7示出了根据本公开的一些实施例的由媒体指南应用生成的显示屏的又一个说明性示例；

图8示出了根据本公开的一些实施例的由媒体指南应用生成的显示屏的又一个说明性示例；

图9是根据本公开的一些实施例的说明性用户装备设备的框图；

图10是根据本公开的一些实施例的说明性媒体系统的框图；

图11是根据本公开的一些实施例的用于在用户设备上重建来自媒体资产的参考图像的说明性处理的流程图。

具体实施方式

描述了用于解决用于捕获诸如电影或电视节目之类的媒体资产中有特色地点的图像的常规系统中的缺点的系统和方法。用户可能想要创建他或她看到的并且具有与和电影或电视节目相关联的导演或另一个人相同的视点的浸入式体验。所描述的系统和方法提供了在用户设备(例如，用户装备设备900，图9)的控制电路系统(例如，控制电路系统904，图9)上实现的交互式媒体指南应用，例如，移动电话上的应用。用户设备(例如，用户装备设备900，图9)可以包括用于捕获图像的相机组件和/或用于显示捕获的图像的显示组件(例如，显示器912，图9)。交互式媒体指南应用使用用户设备的地理地点(例如，经度和纬度坐标)和地理空间方位(例如，陀螺角度)来允许用户以与在他或她喜欢的电影或电视节目中描绘该地点相同的方式捕获该地点的图像。交互式媒体指南应用可以向用户提供他或她看到的并且具有与和电影或电视节目相关联的导演或另一个人相同的视点的期望的浸入式体验。

在一些方面，所描述的系统和方法提供了在用户设备(例如，用户装备设备900，图9)的控制电路系统(例如，控制电路系统904，图9)上实现的用于在用户设备上重建来自媒体资产的参考图像的交互式媒体指南应用。交互式媒体指南应用接收由用户设备捕获的用户图像。交互式媒体指南应用从媒体资产中识别参考图像。交互式媒体指南应用确定用户图像的第一地理空间方位是否与参考图像的第二地理空间方位匹配。交互式媒体指南应用基于第一地理空间方位与第二地理空间方位不匹配而为用户生成改变用户设备的位置的通知。

在一些方面，在用户设备(例如，用户装备设备900，图9)的控制电路系统(例如，控制电路系统904，图9)上实现的交互式媒体指南应用在用户设备上捕获用户的当前地点的图像以及相关联的元数据，诸如地理地点和地理空间方位。例如，可以从用户设备中的GPS组件获得包括经度和纬度坐标的地理地点。在另一个示例中，可以从用户设备中的一个或多个陀螺组件获得包括陀螺角度的地理空间方位。交互式媒体指南应用可以搜索数据库(例如，媒体内容源1016或媒体指南数据源1018(图10))，以从与用户捕获的图像的地理地点和/或地理空间方位对应的媒体资产(诸如电影或电视节目)中识别参考图像。对应的参考图像可以包括具有地理地点和/或地理空间方位的元数据。该信息可以在电影或电视节目被记录时被捕获，或者在以后当电影或电视节目被添加到数据库时被附加。例如，信息可以在场景的一部分在某个地点被记录时被捕获，并且然后在该场景的下一部分在相同地点被记录时用于维持连续性。在另一个示例中，可以为了辅助可以应用于记录的场景的后记录增强而捕获信息。该数据库可以被提供给电影或电视节目的爱好者，以访问重建来自他们喜欢的电影或电视节目的场景所需的信息。

在一些方面，所描述的系统和方法提供在用户设备(例如，用户装备设备900，图9)的控制电路系统(例如，控制电路系统904，图9)上实现的用于重建来自诸如电影或电视节目之类的媒体资产的场景的交互式媒体指南应用。交互式媒体指南应用接收用户设备的地理地点和地理空间方位。交互式媒体指南应用确定用户正在试图使用地理地点重建的场景的参考图像。附加地或替代地，用户向交互式媒体指南应用提供关于特定场景的信息。例如，用户可以选择具有特定场景特征的电影，以便帮助交互式媒体指南应用确定参考图像。在另一个示例中，用户可以选择特定场景本身，以便帮助交互式媒体指南应用确定参考图像。交互式媒体指南应用确定用户设备的地理空间方位是否与和参考图像相关联的地理空间方位对应。如果地理空间方位不匹配，则交互式媒体指南应用通知用户改变用户设备的位置以匹配参考图像的地理空间方位。通知可以是音频或在用户设备上显示的视觉提示的形式。交互式媒体指南应用可以继续向用户提供关于用户设备的位置的反馈，直到地理空间方位匹配。随后，交互式媒体指南应用可以允许用户经由用户设备捕获图像。

附加地或替代地，在用户设备(例如，用户装备设备900，图9)的控制电路系统(例如，控制电路系统904，图9)上实现的交互式媒体指南应用允许用户将数字效果或增强叠加到用户捕获的图像。这允许用户重建捕获图像的增强现实版本，该版本包括如在用户喜欢的电影或电视节目中看到的图像中应用的数字增强。附加地或替代地，交互式媒体指南应用可以提供音频或视觉提示以帮助用户跟随在场景的原始记录期间由相机进行的相机移动。音频或视觉提示可以引导用户改变用户设备的位置并调整其地理地点和/或地理空间方位以重建原始记录期间的相机移动。用户可以在他或她改变用户设备的位置时捕获图像以记录他或她喜欢的场景的重建。附加地或替代地，用户可以在重建的场景中包括朋友和/或家人，并记录他们自己的场景的定制版本以供以后观看。

图1示出了根据本公开的一些实施例的由媒体指南应用生成的显示屏幕100的说明性示例。在一些实施例中，交互式媒体指南应用以用户设备(诸如移动设备)上的应用的形式实现。交互式媒体指南应用从移动设备的当前位置捕获图像102并生成要显示给用户的图像。交互式指南应用生成用于显示的用于分析图像的提示104。用户可以选择分析图像的选项106或取消提示的选项108。用户可能已经将用户设备定位在与他或她喜欢的电影或电视节目中的场景对应的地理地点和/或地理空间方位中。例如，用户喜欢的电影可能是“日落”，并且用户可能已经前往他或她喜欢的电影场景被记录的物理地点。如果用户选择选项106，则交互式媒体指南应用可以分析捕获图像的地理地点和/或地理空间方位，以确定与场景对应的参考图像以及捕获图像是否正确地重建参考图像。例如，交互式媒体指南应用可以基于用户设备的地理地点为纬度47.6°N和经度122.3°W来确定用户对电影“日落”中的场景感兴趣。在另一个示例中，交互式媒体指南应用可以从用户接收他或她喜欢的电影是“日落”的指示，并且随后在数据库中搜索与用户设备的地理地点匹配的参考图像。例如，交互式媒体指南应用可以找到具有纬度47.5°N和经度122.4°W的相关联地理地点的参考图像。

图2-3示出了根据本公开的一些实施例的由媒体指南应用生成的显示屏幕200和300的说明性示例。在一些实施例中，交互式媒体指南应用向用户提供音频或视觉提示以改变用户设备的位置。当捕获图像时，交互式媒体指南应用可以接收捕获图像202的元数据，包括用户设备的地理地点和/或地理空间方位。交互式媒体指南应用可以检索包括参考图像的地理地点和/或地理空间方位的元数据。交互式媒体指南应用可以比较元数据以确定捕获的图像是否与参考图像对应。例如，交互式媒体指南应用可以确定捕获图像的地理空间方位(例如，陀螺角度90°)是否与参考图像的地理空间方位(例如，陀螺角度85°)对应。

交互式媒体指南应用可以确定捕获图像的元数据与参考图像之间的偏差，并生成音频或视觉提示204、206和208，以帮助用户改变用户设备的位置。例如，交互式媒体指南应用可以在用户设备上生成一组静态箭头204和一组动态箭头206以及通知208。当用户改变用户设备的位置以尝试匹配静态箭头304和动态箭头306时，交互式媒体指南应用可以更新动态箭头306。当从用户设备的新位置捕获地点的图像302时，交互式媒体指南应用可以在该地点的图像302上叠加静态箭头304和动态箭头306。在另一个示例中，交互式媒体指南应用可以生成指示用户是否应该向上、向下、向左、向右、向前、向后移动用户设备、倾斜用户设备或进行其它合适的位置变化的音频提示。在校准完成之后，用户可以选择选项210、310以继续，或者选择选项212、312以取消该处理。交互式媒体指南应用可以经由通知308通知用户在校准完成时选择适当的选项。附加地或替代地，交互式媒体指南应用可以自动检测校准并通知用户，如下面进一步讨论的。

图4示出了根据本公开的一些实施例的由媒体指南应用生成的显示屏幕400的说明性示例。在一些实施例中，交互式媒体指南应用从用户接收指示校准完成的输入。在一些实施例中，交互式媒体指南应用检测用户设备的位置以与参考图像的元数据对应的方式被校准。例如，来自用户喜欢的场景的参考图像可以具有包括地理地点和/或地理空间方位的相关联元数据。用户设备的先前位置可能已与地理地点对应，但可能偏离地理空间方位。在用户改变用户设备的位置之后，交互式媒体指南应用可以比较用户设备的当前地理空间方位和参考的地理空间方位。由于地理空间方位是匹配的，交互式媒体指南应用可以确定用户设备的位置被校准。交互式媒体指南应用可以更新用户设备的显示以例如通过生成用于显示的图像402以及通知408来指示匹配，该图像402叠加有在彼此之上或彼此非常接近地叠加有静态箭头404和动态箭头406。用户可以选择选项410来进行到下一步并对图像应用数字效果或选择选项412来取消该处理。

图5示出了根据本公开的一些实施例的由媒体指南应用生成的显示屏幕500的说明性示例。在一些实施例中，交互式媒体指南应用在用户捕获的图像上叠加数字效果或增强。在用参考图像的元数据校准用户设备之后，交互式媒体指南应用可以向用户呈现将数字效果或增强叠加到由用户设备捕获的图像的选项，如图4所示。因为典型的电影和电视节目是数字增强的，其中数字集和风景叠加在来自拍摄地点的图像上，因此允许用户重建数字增强的场景可以允许浸入式和身体娱乐体验。通过将数字效果或增强叠加到图像，用户可以重建如在用户喜欢的电影或电视节目中所看到的场景的增强现实版本。交互式媒体指南应用可以使用三维渲染引擎和来自原始渲染的媒体资产的数字叠加资产，以基于捕获图像的地理地点和/或地理空间方位将数字叠加资产应用于用户捕获的图像502。交互式媒体指南应用可以生成用于显示的指示已经应用数字效果的通知504，并提供保存图像的选项506或取消该处理的选项508。利用在由用户设备捕获的图像上合成的数字效果或增强，用户可以在用户设备周围移动并在数字增强的场景内进行交互，就像与电影或电视节目相关联的导演或另一个人想要场景看起来那样。

图5还示出了根据本公开的一些实施例的由媒体指南应用生成的显示屏幕550的另一个说明性示例。在一些实施例中，交互式媒体指南应用在用户捕获的图像上叠加数字效果或增强，其包括在重建的场景中的用户的朋友和/或家人。在用参考图像的元数据校准用户设备之后，交互式媒体指南应用可以向用户呈现将数字效果或增强叠加到由用户设备捕获的图像的选项，如图4所示。通过将数字效果或增强叠加到包括用户的朋友和/或家人的图像，用户可以重建如在用户喜欢的电影或电视节目中看到的但是被定制为包括用户的朋友和/或家人的场景的增强现实版本。交互式媒体指南应用可以使用三维渲染引擎和来自原始渲染的媒体资产的数字叠加资产，以基于捕获图像的地理地点和/或地理空间方位将数字叠加资产应用于用户捕获的图像552。交互式媒体指南应用可以生成用于显示的指示已经应用数字效果的通知554，并提供保存图像的选项556或取消该处理的选项558。

图6示出了根据本公开的一些实施例的用户图像数据结构和参考图像数据结构的说明性示例600。在一些实施例中，由用户设备捕获的图像与存储在用户捕获的图像的数据结构602中的元数据相关联。该数据结构包括捕获图像的地理地点604和地理空间方位610。数据结构包括包括纬度606和经度608的地理地点604以及包括陀螺角度612的地理空间方位610。在一些实施例中，媒体资产中的参考图像与存储在参考图像数据结构614中的元数据相关联。该数据结构包括参考图像的地理地点616和地理空间方位622。数据结构包括包括纬度618和经度620的地理地点616以及包括陀螺角度624的地理空间方位622。该信息可以在媒体资产中的参考图像被记录时被存储，或者在以后的时间被附加。该数据结构还包括关于媒体资产626、标题628(例如，“日落”)、参考图像的时间戳630(例如，“10:45”)，以及数字叠加资产632(诸如“机器人.叠加”)的信息。上述数据结构是示例性的，并且可以排除信息或包括适合于与用户捕获的图像或参考图像相关联的元数据的附加信息。

在任何给定内容交付系统中，用户可用的内容量可以很大。因此，许多用户期望通过允许用户高效地导航内容选择并且容易地识别他们可能期望的内容的界面的媒体指南形式。提供这种指南的应用在本文中被称为交互式媒体指南应用，或者有时被称为媒体指南应用或指南应用。

如本文所提到的，“交互式媒体指南应用”或“媒体指南应用”或有时“指南应用”是允许用户消费和/或导航到内容的应用。在一些实施例中，媒体指南应用可以作为在线应用提供(即，在网站上提供)，或者作为服务器或用户设备上的独立应用提供。在一些实施例中，安装在各种设备和平台上的控制电路系统可以执行媒体指南应用，如下面更详细描述的。在一些实施例中，可以在计算机可读介质上编码媒体指南应用和/或用于执行本文所讨论的任何实施例的任何指令。计算机可读介质包括能够存储数据的任何介质。计算机可读介质可以是瞬态的，包括但不限于传播电信号或电磁信号，或者可以是非瞬态的，包括但不限于易失性和非易失性计算机存储器或存储设备，诸如硬盘、软盘、USB驱动器、DVD、CD、媒体卡、寄存器存储器、处理器高速缓存、随机存取存储器(“RAM”)。

交互式媒体指南应用可以基于它们提供为其指南的内容而采取各种形式。一种典型的媒体指南应用类型是交互式电视节目指南。交互式电视节目指南(有时被称为电子节目指南)是众所周知的指南应用，除其它之外，尤其允许用户在多种类型的内容或媒体资产中导航和定位。交互式媒体指南应用可以生成图形用户界面屏幕，这使用户能够在内容之间导航、定位和选择。如本文所提到的，术语“媒体资产”和“内容”应当被理解为意指电子可消费的用户资产，诸如电视节目，以及按次计费节目、点播节目(如在点播视频(VOD)系统中)、互联网内容(例如，流传输内容、可下载内容、网络广播(Webcast)等等)、视频剪辑、音频、内容信息、图片、旋转图像、文档、播放列表、网站、文章、书籍、电子书籍、博客、聊天会话、社交媒体、应用、游戏和/或任何其它媒体或多媒体和/或其组合。指南应用还允许用户在内容之间进行导航和定位。如本文所提到的，术语“多媒体”应当被理解为意指利用上述至少两种不同内容形式(例如文本、音频、图像、视频或交互内容形式)的内容。内容可以被用户装备设备记录、播放、显示或访问，但也可以是实况表演的一部分。

用于执行本文讨论的任何实施例的媒体指南应用和/或任何指令可以在计算机可读介质上被编码。计算机可读介质包括能够存储数据的任何介质。计算机可读介质可以是暂态的，包括但不限于传播的电信号或电磁信号，或者可以是非暂态的，包括但不限于易失性和非易失性计算机存储器或存储设备，诸如硬盘、软盘、USB驱动器、DVD、CD、介质卡、寄存器存储器、处理器高速缓存、随机存取存储器(“RAM”)，等等。

随着互联网、移动计算和高速无线网络的出现，用户在他们传统上不使用的用户装备设备上访问媒体。如本文所提到的，短语“用户装备设备”、“用户装备”、“用户设备”、“电子设备”、“电子装备”、“媒体装备设备”或“媒体设备”应当被理解为意指用于访问上述内容的任何设备，诸如电视机、智能TV、机顶盒、用于处理卫星电视的集成接收器解码器(IRD)、数字存储设备、数字媒体接收器(DMR)、数字媒体适配器(DMA)、流传输媒体设备、DVD播放器、DVD记录器、连接的DVD、本地媒体服务器、BLU-RAY播放器、BLU-RAY记录器、个人计算机(PC)、膝上型计算机、平板计算机、WebTV盒、个人计算机电视(PC/TV)、PC媒体服务器、PC媒体中心、手持式计算机、固定电话、个人数字助理(PDA)、移动电话、便携式视频播放器、便携式音乐播放器、便携式游戏机、智能手机或任何其它电视装备、计算装备或无线设备，和/或其组合。在一些实施例中，用户装备设备可以具有面向前方的屏幕和面向后方的屏幕、多个前方屏幕或多个有角度的屏幕。在一些实施例中，用户装备设备可以具有面向前方的摄像头和/或面向后方的摄像头。在这些用户装备设备上，用户可以能够在通过电视机可用的相同内容中进行导航和定位。因此，媒体指南也可以在这些设备上可用。所提供的指南可以用于仅通过电视机可用的内容，用于仅通过一个或多个其它类型的用户装备设备可用的内容，或用于既通过电视机又通过一个或多个其它类型的用户装备设备可用的内容。媒体指南应用可以作为在线应用(即，在网站上提供)或作为用户装备设备上的独立应用或客户端来提供。下面将更详细地描述可以实现媒体指南应用的各种设备和平台。

媒体指南应用的功能之一是向用户提供媒体指南数据。如本文所提到的，短语“媒体指南数据”或“指南数据”应当被理解为意指与在操作指南应用中使用的内容或数据相关的任何数据。例如，指南数据可以包括节目信息、指南应用设置、用户偏好、用户简档信息、媒体列表、媒体相关信息(例如，广播时间、广播频道、标题、描述、评级信息(例如，父母控制评级、评论家的评级，等等)、流派或类别信息、演员信息、用于广播公司或提供商的徽标的徽标数据，等等)、媒体格式(例如，标准清晰度、高清晰度、3D，等等)、点播信息、博客、网站以及有助于用户在期望的内容选择中进行导航和定位的任何其它类型的指南数据。

图7-8示出了可以用于提供媒体指南数据的说明性显示屏幕。图7-8中示出的显示屏幕可以在任何合适的用户装备设备或平台上实现。虽然图7-8的显示被示为全屏显示，但是它们也可以全部或部分地覆盖在正被显示的内容上。用户可以通过选择在显示屏幕中提供的可选择选项(例如，菜单选项、列表选项、图标、超链接等等)或者按下遥控器或其它用户输入接口或设备上的专用按钮(例如，GUIDE按钮)来指示期望访问内容信息。响应于用户的指示，媒体指南应用可以向显示屏幕提供以若干方式之一组织的媒体指南数据，诸如在网格中按时间和频道、按时间、按频道、按来源、按内容类型、按类别(例如，电影、体育、新闻、少儿或其它节目类别)或其它预定义的、用户定义的或其它组织标准。

图7示出了按照时间和频道布置的节目列表显示700的说明性网格，其也使得能够访问单个显示中的不同类型的内容。显示700可以包括网格702，其具有：(1)频道/内容类型标识符的列704，其中每个频道/内容类型标识符(其是列中的单元格)识别可用的不同频道或内容类型；和(2)时间标识符的行706，其中每个时间标识符(其是行中的单元格)识别节目的时间块。网格702还包括节目列表的单元格，诸如节目列表708，其中每个列表提供在列表的相关频道和时间上提供的节目的标题。利用用户输入设备，用户可以通过移动高亮区域710来选择节目列表。可以在节目信息区域712中提供与由高亮区域710选择的节目列表相关的信息。区域712可以包括例如节目标题、节目描述、节目被提供的时间(如果适用的话)、节目所在的频道(如果适用的话)、节目的评级以及其它期望的信息。

除了提供对线性节目的访问(例如，被安排在预定时间发送到多个用户装备设备并且根据时间表提供的内容)，媒体指南应用还提供对非线性节目的访问(例如，在任何时间用户装备设备可访问和不按照时间表提供的内容)。非线性节目可以包括来自不同内容源的内容，包括点播内容(例如VOD)、互联网内容(例如，流传输媒体、可下载的媒体等等)、本地存储的内容(例如，存储在如上所述的任何用户装备设备或其它存储设备上的内容)或其它与时间无关的内容。点播内容可以包括电影或由特定内容提供商提供的任何其它内容(例如，HBO On Demand提供“The Sopranos”和“Curb Your Enthusiasm”)。HBO ON DEMAND是时代华纳(Time Warner)公司L.P.等人拥有的服务标志，并且THE SOPRANOS和CURB YOURENTHUSIASM是由Home Box Office公司拥有的商标。互联网内容可以包括web事件(诸如聊天会话或网络广播)，或者可通过互联网网站或其它互联网访问(例如，FTP)作为流传输内容或可下载内容点播可用的内容。

网格702可以提供用于非线性节目的媒体指南数据，包括点播列表714、记录的内容列表716和互联网内容列表718。组合来自不同类型的内容源的内容的媒体指南数据的显示有时被称为“混合媒体”显示。可以被显示的、与显示700不同的媒体指南数据的类型的各种变换(permutations)可以基于用户选择或指南应用定义(例如，仅记录和广播的列表、仅点播和广播的列表等等的显示)。如图所示，列表714、716和718被示为跨越网格702中显示的整个时间块，以指示这些列表的选择可以分别提供对专用于点播列表、记录的列表或互联网列表的显示的访问。在一些实施例中，可以将用于这些内容类型的列表直接包括在网格702中。附加的媒体指南数据可以响应于用户选择导航图标720之一而被显示。(按下用户输入设备上的箭头键可以以与选择导航图标720类似的方式影响显示。)

显示700还可以包括视频区域722和选项区域726。视频区域722可以允许用户收看和/或预览用户当前可用、将可用或曾经可用的节目。视频区域722的内容可以与网格702中显示的列表之一对应或者与其独立。包括视频区域的网格显示有时被称为指南中画面(PIG)显示。在2003年5月13日授予Satterfield等人的美国专利No.6,564,378和2001年5月29日授予Yuen等人的美国专利No.6,239,794中更详细地描述了PIG显示及其功能，这两个专利的全部内容整体上通过引用并入本文。PIG显示可以包括在本文描述的实施例的其它媒体指南应用显示屏幕中。

选项区域726可以允许用户访问不同类型的内容、媒体指南应用显示和/或媒体指南应用特征。选项区域726可以是显示700(以及本文描述的其它显示屏幕)的部分，或者可以由用户通过选择屏幕上的选项或按下用户输入设备上的专用或可指派按钮来调用。选项区域726内的可选择选项可以涉及与网格702中的节目列表相关的特征，或者可以包括从主菜单显示中可用的选项。与节目列表相关的特征可以包括搜索其它的播放时间(airtimes)或者接收节目、记录节目、启用节目的系列记录、将节目和/或频道设置为收藏、购买节目的方式，或其它特征。主菜单显示中可用的选项可以包括搜索选项、VOD选项、父母控制选项、互联网选项、基于云的选项、设备同步选项、第二屏幕设备选项、访问各种类型的媒体指南数据显示的选项、订阅高级服务的选项、编辑用户简档的选项、访问浏览叠层的选项或其它选项。

媒体指南应用可以基于用户偏好被个性化。个性化的媒体指南应用允许用户定制显示和特征，以创建对媒体指南应用的个性化“体验”。这种个性化体验可以通过允许用户输入这些定制和/或通过媒体指南应用监视用户活动以确定各种用户偏好来创建。用户可以通过登录或以其它方式向指南应用识别他们自己来访问其个性化指南应用。媒体指南应用的定制可以根据用户简档进行。定制可以包括不同的呈现机制(例如，显示器的颜色机制、文本的字体大小等等)、所显示的内容列表的各个方面(例如，仅HDTV或仅3D节目、基于最喜爱的频道选择的用户指定的广播频道、重新排序频道的显示、推荐的内容等等)、期望的记录特征(例如，针对特定用户的记录或系列记录、记录质量等等)、父母控制设置、互联网内容的定制呈现(例如，社交媒体内容、电子邮件、电子交付的文章等等的呈现)以及其它期望的定制。

媒体指南应用可以允许用户提供用户简档信息，或者可以自动编译用户简档信息。媒体指南应用可以例如监视用户访问的内容和/或用户可能与指南应用的其它交互。此外，媒体指南应用可以获得与特定用户相关的其它用户简档的全部或部分(例如，从互联网上用户访问的其它网站(诸如www.allrovi.com)、从用户访问的其它媒体指南应用、从用户访问的其它交互式应用、从用户的另一个用户装备设备等等)，和/或从媒体指南应用可以访问的其它源获得关于用户的信息。因此，可以跨用户的不同用户装备设备为用户提供统一的指南应用体验。下面结合图10更详细地描述这种类型的用户体验。在Ellis等人于2005年7月11日提交的美国专利申请公开No.2005/0251827、于2007年1月16日授予Boyer等人的美国专利No.7,165,098以及Ellis等人于2002年2月21日提交的美国专利申请公开No.2002/0174430中更详细地描述了附加的个性化媒体指南应用特征，这些通过引用整体上并入本文。

用于提供媒体指南的另一种显示布置在图8中示出。视频马赛克显示800包括用于基于内容类型、流派和/或其它组织标准组织的内容信息的可选择选项802。在显示800中，选择电视列表选项804，由此提供列表806、808、810和812作为广播节目列表。在显示800中，列表可以提供包括封面艺术的图形图像、来自内容的静止图像、视频剪辑预览、来自内容的实况视频或向用户指示内容由列表中的媒体指南数据描述的其它类型的内容。每个图形列表还可以附带有文本，以提供关于与列表相关联的内容的进一步信息。例如，列表808可以包括多于一个部分，包括媒体部分814和文本部分816。媒体部分814和/或文本部分816可以是可选择的，以全屏观看内容或者观看与媒体部分814中显示的内容相关的信息(例如，观看用于显示视频的频道的列表)。

显示800中的列表具有不同的尺寸(即，列表806大于列表808、810和812)，但是如果期望的话，那么所有列表可以是相同的尺寸。列表可以具有不同的尺寸或以图形方式加强，以指示用户感兴趣的程度或者强调某些内容，如内容提供者所期望的或者基于用户偏好。在例如2009年11月12日提交的Yates的美国专利申请公开No.2010/0153885中讨论了用于以图形方式加强内容列表的各种系统和方法，其通过引用整体上并入本文。

用户可以从其一个或多个用户装备设备访问内容和媒体指南应用(及其上面和下面描述的显示屏幕)。图9示出了说明性用户装备设备900的一般化实施例。下面结合图10讨论用户装备设备的更具体的实现。用户装备设备900可以经由输入/输出(以下称为“I/O”)路径902接收内容和数据。I/O路径902可以向控制电路系统904提供内容(例如，广播节目、点播节目、互联网内容、局域网(LAN)或广域网(WAN)上可用的内容，和/或其它内容)和数据，控制电路系统904包括处理电路系统906和存储器908。控制电路系统904可以被用来使用I/O路径902发送和接收命令、请求和其它合适的数据。I/O路径902可以将控制电路系统904(具体而言是处理电路系统906)连接到一个或多个通信路径(下面描述)。I/O功能可以由这些通信路径中的一个或多个提供，但是在图9中被示为单个路径，以避免使图过于复杂。

控制电路系统904可以基于任何合适的处理电路系统，诸如处理电路系统906。如本文所提到的，处理电路系统应当被理解为意指基于一个或多个微处理器、微控制器、数字信号处理器、可编程逻辑设备、现场可编程门阵列(FPGA)、专用集成电路(ASIC)等等的电路系统，并且可以包括多核处理器(例如，双核、四核、六核或任何合适数量的核)或超级计算机。在一些实施例中，处理电路系统可以分布在多个单独的处理器或处理单元上，例如多个相同类型的处理单元(例如，两个Intel Core i7处理器)或多个不同的处理器(例如，IntelCore i5处理器和Intel Core i7处理器)。在一些实施例中，控制电路系统904执行存储在存储器(即，存储装置908)中用于媒体指南应用的指令。具体而言，控制电路系统904可以由媒体指南应用指示，以执行上面和下面讨论的功能。例如，媒体指南应用可以向控制电路系统904提供指令，以生成媒体指南显示。在一些实现中，由控制电路系统904执行的任何动作可以基于从媒体指南应用接收的指令。

在基于客户端-服务器的实施例中，控制电路系统904可以包括适于与指南应用服务器或其它网络或服务器进行通信的通信电路系统。用于执行上述功能的指令可以存储在指南应用服务器上。通信电路系统可以包括用于与其它装备通信的电缆调制解调器、综合业务数字网络(ISDN)调制解调器、数字订户线路(DSL)调制解调器、电话调制解调器、以太网卡或无线调制解调器，或者任何其它合适的通信电路系统。这种通信可以涉及互联网或任何其它合适的通信网络或路径(结合图10更详细地描述)。此外，通信电路系统可以包括使得能够实现用户装备设备的对等通信或者在彼此远离的位置的用户装备设备的通信的电路系统(下面更详细地描述)。

存储器可以是作为存储装置908提供的电子存储设备，存储装置908是控制电路系统904的一部分。如本文所提到的，短语“电子存储设备”或“存储设备”应当被理解为意指用于存储电子数据、计算机软件或固件的任何设备，诸如随机存取存储器、只读存储器、硬盘驱动器、光盘驱动器、数字视频光盘(DVD)记录器、光盘(CD)记录器、BLU-RAY盘(BD)记录器、BLU-RAY 3D盘片记录器、数字视频记录器(DVR，有时称为个人录像机或PVR)、固态设备、量子存储设备、游戏控制台、游戏介质或任何其它合适的固定或可移除存储设备，和/或其任意组合。存储装置908可以被用来存储本文描述的各种类型的内容以及上述的媒体指南数据。非易失性存储器也可以被使用(例如，启动引导程序和其它指令)。关于图10描述的基于云的存储装置可以被用来补充存储装置908或代替存储装置908。

控制电路系统904可以包括视频生成电路系统和调谐电路系统，诸如一个或多个模拟调谐器、一个或多个MPEG-2解码器或其它数字解码电路系统、高清晰度调谐器或者任何其它合适的调谐或视频电路，或者这种电路的组合。还可以提供编码电路系统(例如，用于将空中(over-the-air)、模拟或数字信号转换成MPEG信号以供存储)。控制电路系统904还可以包括用于将内容上变频和下变频成用户装备900的优选输出格式的缩放器电路系统。电路系统904还可以包括用于在数字和模拟信号之间转换的数模转换器电路系统和模数转换器电路系统。调谐和编码电路系统可以被用户装备设备用来接收和显示、播放或记录内容。调谐和编码电路系统也可以被用来接收指南数据。本文描述的电路系统，包括例如调谐、视频生成、编码、解码、加密、解密、缩放器和模拟/数字电路系统，可以使用在一个或多个通用或专用处理器上运行的软件来实现。可以提供多个调谐器来处理同时调谐功能(例如，观看和记录功能、画中画(PIP)功能、多调谐器记录等等)。如果存储装置908被提供为与用户装备900分开的设备，那么调谐和编码电路系统(包括多个调谐器)可以与存储装置908相关联。

用户可以使用用户输入接口910向控制电路系统904发送指令。用户输入接口910可以是任何合适的用户接口，诸如遥控器、鼠标、轨迹球、小键盘、键盘、触摸屏、触摸板、触笔输入、游戏杆、语音识别接口或其它用户输入接口。显示器912可以被提供为独立的设备或与用户装备设备900的其它元件集成。例如，显示器912可以是触摸屏或触敏显示器。在这种情况下，用户输入接口910可以与显示器912集成或者与显示器912结合。显示器912可以是以下中的一个或多个：监视器、电视机、用于移动设备的液晶显示器(LCD)、非晶硅显示器、低温多晶硅显示器、电子墨水显示器、电泳显示器、有源矩阵显示器、电润湿显示器、电流体显示器、阴极射线管显示器、发光二极管显示器、电致发光显示器、等离子体显示器面板、高性能寻址显示器、薄膜晶体管显示器、有机发光二极管显示器、表面传导电子发射显示器(SED)、激光电视、碳纳米管、量子点显示器、干涉式调制器显示器或用于显示视觉图像的任何其它合适的设备。在一些实施例中，显示器912可以是具有HDTV能力的。在一些实施例中，显示器912可以是3D显示器，并且交互式媒体指南应用和任何合适的内容可以以3D显示。视频卡或图形卡可以将输出生成到显示器912。视频卡可以提供各种功能，诸如3D场景和2D图形的加速渲染、MPEG-2/MPEG-4解码、TV输出或连接多个监视器的能力。视频卡可以是以上关于控制电路系统904描述的任何处理电路系统。视频卡可以与控制电路系统904集成。扬声器914可以被提供为与用户装备设备900的其它元件集成，或者可以是独立的单元。显示器912上显示的视频和其它内容的音频分量可以通过扬声器914播放。在一些实施例中，音频可以分发给接收器(未示出)，其经由扬声器914处理和输出音频。

指南应用可以使用任何合适的体系架构来实现。例如，它可以是完全在用户装备设备900上实现的独立应用。在这种方案中，应用的指令被本地存储(例如，存储在存储装置908中)，并且由应用使用的数据被定期下载(例如，从带外馈送、从互联网资源，或使用其它合适的方案下载)。控制电路系统904可以从存储装置908检索应用的指令，并处理指令，以生成本文所讨论的任何显示。基于经处理的指令，控制电路系统904可以确定在从输入接口910接收到输入时要执行什么动作。例如，当输入接口910指示向上/向下按钮被选择时，可以通过经处理的指令来指示显示器上光标的向上/向下的移动。

在一些实施例中，媒体指南应用是基于客户端-服务器的应用。通过向远离用户装备设备900的服务器发出请求，按需检索用于由在用户装备设备900上实现的胖或瘦客户端使用的数据。在基于客户端-服务器的指南应用的一个示例中，控制电路系统904运行解释由远程服务器提供的网页的Web浏览器。例如，远程服务器可以将用于应用的指令存储在存储设备中。远程服务器可以使用电路系统(例如，控制电路系统904)来处理所存储的指令，并生成上面和下面讨论的显示。客户端设备可以接收由远程服务器生成的显示，并且可以在装备设备900上本地显示该显示的内容。以这种方式，由服务器远程地执行指令的处理，同时在装备设备900上本地提供结果显示。装备设备900可以经由输入接口910接收来自用户的输入，并且将那些输入发送到远程服务器进行处理并生成对应的显示。例如，装备设备900可以向远程服务器发送指示经由输入接口910选择了向上/向下按钮的讯息。远程服务器可以根据那个输入来处理指令，并生成与该输入对应的应用的显示(例如，向上/向下移动光标的显示)。所生成的显示然后被发送到装备设备900以供呈现给用户。

在一些实施例中，媒体指南应用被下载并由(由控制电路系统904运行的)解释器或虚拟机解释或以其它方式运行。在一些实施例中，指南应用可以以ETV二进制交换格式(EBIF)编码，由控制电路系统904作为合适的馈送的一部分接收，并由在控制电路系统904上运行的用户代理解释。例如，指南应用可以是EBIF应用。在一些实施例中，可以由一系列基于JAVA的文件来定义指南应用，这些基于JAVA的文件由本地虚拟机或控制电路系统904执行的其它合适的中间件接收并运行。在一些此类的实施例(例如，采用MPEG-2或其它数字媒体编码机制的实施例)中，可以例如在具有节目的MPEG音频和视频分组的MPEG-2对象轮播中编码和发送指南应用。

图9的用户装备设备900可以在图10的系统1000中实现为用户电视装备1002、用户计算机装备1004、无线用户通信设备1006或适于访问内容的任何其它类型的用户装备(诸如非便携式游戏机)。为了简单起见，这些设备在本文可以被统称为用户装备或用户装备设备，并且可以基本上类似于上述的用户装备设备。在其上可以实现媒体指南应用的用户装备设备可以用作独立设备或者可以是设备的网络的一部分。设备的各种网络配置可以被实现并且在下面被更详细地讨论。

利用上面结合图9描述的系统特征中的至少一些的用户装备设备可能不仅仅被分类为用户电视装备1002、用户计算机装备1004或无线用户通信设备1006。例如，用户电视装备1002可以像一些用户计算机装备1004一样启用互联网，以允许访问互联网内容，而用户计算机装备1004可以像一些电视装备1002一样包括调谐器，以允许访问电视节目。媒体指南应用可以在各种不同类型的用户装备上具有相同的布局，或者可以针对用户装备的显示能力而被定制。例如，在用户计算机装备1004上，指南应用可以被提供为由web浏览器访问的网站。在另一个示例中，可以针对无线用户通信设备1006缩小指南应用。

在系统1000中，通常每种类型的用户装备设备存在多于一个，但是在图10中仅示出了每种类型中的一个，以避免使图过于复杂。此外，每个用户可以利用多于一种类型的用户装备设备以及多于一个每种类型的用户装备设备。

在一些实施例中，用户装备设备(例如，用户电视装备1002、用户计算机装备1004、无线用户通信设备1006)可以被称为“第二屏幕设备”。例如，第二屏幕设备可以补充在第一用户装备设备上呈现的内容。在第二屏幕设备上呈现的内容可以是补充在第一设备上呈现的内容的任何合适的内容。在一些实施例中，第二屏幕设备提供用于调整第一设备的设置和显示偏好的界面。在一些实施例中，第二屏幕设备被配置用于与其它第二屏幕设备交互或用于与社交网络交互。第二屏幕设备可以位于与第一设备相同的房间中、与第一设备不同的房间但在同一个房屋或建筑物中，或者与第一设备不同的建筑物中。

用户还可以设置各种设置，以在家用式设备和远程设备之间维持一致的媒体指南应用设置。设置包括本文描述的那些设置，以及频道和节目收藏，指南应用用来做出节目推荐的节目偏好、显示偏好，和其它期望的指南设置。例如，如果用户将例如网站www.allrovi.com上的频道设置为其办公室处的个人计算机上的收藏，那么如果期望，相同的频道将在用户的家用式设备(例如，用户电视装备和用户计算机装备)以及用户的移动设备上出现为收藏。因此，在一个用户装备设备上进行的改变可以改变另一个用户装备设备上的指南体验，而不管它们是相同类型还是不同类型的用户装备设备。此外，所做的改变可以基于用户输入的设置以及由指南应用监视的用户活动。

用户装备设备可以耦合到通信网络1014。即，用户电视装备1002、用户计算机装备1004和无线用户通信设备1006分别经由通信路径1008、1010和1012耦合到通信网络1014。通信网络1014可以是一个或多个网络，包括互联网、移动电话网络、移动语音或数据网络(例如，4G或LTE网络)、有线网络、公共交换电话网络或其它类型的通信网络，或者通信网络的组合。路径1008、1010和1012可以单独地或一起包括一条或多条通信路径，诸如卫星路径、光纤路径、电缆路径、支持互联网通信(例如，IPTV)的路径、自由空间连接(例如，用于广播或其它无线信号)或任何其它合适的有线或无线通信路径或这种路径的组合。路径1012用点线画出，以指示在图10所示的示例性实施例中它是无线路径，并且路径1008和1010被绘制为实线，以指示它们是有线路径(但是，如果期望，那么这些路径可以是无线路径)。与用户装备设备的通信可以由这些通信路径中的一个或多个提供，但是在图10中被示为单个路径，以避免使图过于复杂。

虽然在用户装备设备之间没有画出通信路径，但是这些设备可以经由通信路径(诸如上面结合路径1008、1010和1012描述的那些)以及其它短距离点到点通信路径(诸如USB电缆、IEEE 1394电缆、无线路径(例如，蓝牙、红外线、IEEE 802-11x等))或者经由有线或无线路径的其它短距离通信彼此直接通信。蓝牙是Bluetooth SIG公司拥有的认证标志。用户装备设备也可以经由通信网络1014通过间接路径彼此直接通信。

系统1000包括分别经由通信路径1020和1022耦合到通信网络1014的内容源1016和媒体指南数据源1018。路径1020和1022可以包括上面结合路径1008、1010和1012描述的任何通信路径。与内容源1016和媒体指南数据源1018的通信可以经一条或多条通信路径交换，但是在图10中被示为单条路径，以避免使图过于复杂。此外，内容源1016和媒体指南数据源1018中的每一种可以有多于一个，但是在图10中每种仅示出一个，以避免使图过于复杂。(以下讨论这些源中的每一种的不同类型。)如果期望，那么内容源1016和媒体指南数据源1018可以被集成为一个源设备。虽然源1016和1018与用户装备设备1002、1004和1006之间的通信被示为通过通信网络1014，但是在一些实施例中，源1016和1018可以经由通信路径(未示出)(诸如上面结合路径1008、1010和1012描述的那些)与用户装备设备1002、1004和1006直接通信。

内容源1016可以包括一种或多种类型的内容分发装备，包括电视分发设施、有线系统头端、卫星分发设施、节目源(例如，电视广播公司，诸如NBC、ABC、HBO等)、中间分发设施和/或服务器、互联网提供商、点播媒体服务器及其它内容提供商。NBC是国家广播公司(National Broadcasting Company,Inc.)拥有的商标，ABC是美国广播公司(AmericanBroadcasting Company,Inc.)拥有的商标，而HBO是Home Box Office,Inc.拥有的商标。内容源1016可以是内容的发起者(例如，电视广播公司、网络广播提供商等)，或者可以不是内容的发起者(例如，点播内容提供商，用于下载的广播节目的内容的互联网提供商等)。内容源1016可以包括有线源(cable source)、卫星提供商、点播提供商、互联网提供商、越顶(over-the-top)内容提供商或其它内容提供者。内容源1016还可以包括用来在远离任何用户装备设备的位置存储不同类型的内容(包括用户选择的视频内容)的远程媒体服务器。用于内容的远程存储以及向用户装备提供远程存储的内容的系统和方法结合2010年7月20日授予Ellis等人的美国专利No.7,761,892更详细地讨论，该专利整体上通过引用并入本文。

媒体指南数据源1018可以提供媒体指南数据，诸如上述的媒体指南数据。媒体指南数据可以使用任何合适的方案提供给用户装备设备。在一些实施例中，指南应用可以是经由数据馈送(例如，连续馈送或涓流(trickle)馈送)接收节目指南数据的独立交互式电视节目指南。可以使用带内数字信号、使用带外数字信号或通过任何其它合适的数据传输技术在电视频道边带上向用户装备提供节目安排数据和其它指南数据。可以在多个模拟或数字电视频道上向用户装备提供节目安排数据和其它媒体指南数据。

在一些实施例中，可以使用客户端-服务器方案将来自媒体指南数据源1018的指南数据提供给用户的装备。例如，用户装备设备可以从服务器拉取媒体指南数据，或者服务器可以将媒体指南数据推送到用户装备设备。在一些实施例中，驻留在用户装备上的指南应用客户端可以发起与源1018的会话，以在需要时获得指南数据，例如，当指南数据过时时或者当用户装备设备从用户接收到接收数据的请求时。可以以任何适当的频率(例如，连续地、每天、用户指定的时间段、系统指定的时间段、响应于来自用户装备的请求等)向用户装备提供媒体指南。媒体指南数据源1018可以向用户装备设备1002、1004和1006提供媒体指南应用本身或者针对媒体指南应用的软件更新。

在一些实施例中，媒体指南数据可以包括观看者数据。例如，观看者数据可以包括当前和/或历史用户活动信息(例如，用户通常观看什么内容、用户在什么时间观看内容，用户是否与社交网络交互、用户在什么时间与社交网络交互以发布信息、用户通常观看什么类型的内容(例如，付费电视或免费电视)、心情、大脑活动信息等)。媒体指南数据还可以包括订阅数据。例如，订阅数据可以识别给定用户订阅哪些源或服务和/或给定用户先前订阅但后来终止访问了哪些源或服务(例如，用户是否订阅了付费频道、用户是否增加了服务的付费等级、用户是否提高了互联网速度)。在一些实施例中，观看者数据和/或订阅数据可以识别给定用户对于超过一年的时间段的模式。媒体指南数据可以包括用于生成指示给定用户将终止访问服务/源的可能性的得分的模型(例如，幸存者模型)。例如，媒体指南应用可以使用该模型处理具有订阅数据的观看者数据，以生成指示给定用户是否将终止访问特定服务或源的可能性的值或得分。特别地，越高的得分可以指示用户将终止访问特定服务或源的越高的置信度。基于得分，媒体指南应用可以生成诱使用户保持通过得分被指示为用户可能终止对其访问的特定服务或源的促销。

媒体指南应用可以是例如在用户装备设备上实现的独立应用。例如，媒体指南应用可以被实现为可以存储在存储器908中并由用户装备设备900的控制电路系统904执行的软件或可执行指令集。在一些实施例中，媒体指南应用可以是客户端-服务器应用，其中仅客户端应用驻留在用户装备设备上，而服务器应用驻留于远程服务器上。例如，媒体指南应用可以部分地被实现为用户装备设备900的控制电路系统904上的客户端应用，并且部分地在远程服务器上实现为在远程服务器的控制电路系统上运行的服务器应用(例如，媒体指南数据源1018)。当由远程服务器(诸如媒体指南数据源1018)的控制电路系统执行时，媒体指南应用可以指示控制电路系统生成指南应用显示，并将生成的显示发送到用户装备设备。服务器应用可以指示媒体指南数据源1018的控制电路系统发送要存储在用户装备上的数据。客户端应用可以指示接收用户装备的控制电路系统生成指南应用显示。

交付到用户装备设备1002、1004和1006的内容和/或媒体指南数据可以是越顶(OTT)内容。除了经有线或卫星连接接收的内容，OTT内容交付还允许启用互联网的用户设备(包括上述任何用户装备设备)接收经互联网传送的内容(包括上述任何内容)。OTT内容经由互联网服务提供商(ISP)提供的互联网连接交付，但第三方分发内容。ISP可以不负责观看能力、版权或内容的再分发，并且可以仅传送由OTT内容提供商提供的IP分组。OTT内容提供商的示例包括经由IP分组提供音频和视频的YOUTUBE、NETFLIX和HULU。Youtube是Google公司拥有的商标，Netflix是Netflix公司拥有的商标，Hulu是Hulu有限责任公司拥有的商标。OTT内容提供商可以附加地或可替代地提供上述媒体指南数据。除了内容和/或媒体指南数据，OTT内容的提供商可以分发媒体指南应用(例如，基于web的应用或基于云的应用)，或者可以通过存储在用户装备设备上的媒体指南应用来显示内容。

媒体指南系统1000旨在示出多个方案或网络配置，用户装备设备和内容源和指南数据可以为了访问内容和提供媒体指南而通过其彼此通信。本文所述的实施例可以按照这些方案中的任何一个或子集应用，或者在采用其它方案交付内容并提供媒体指南的系统中应用。以下四种方案提供了图10的一般化示例的具体说明。

在一种方案中，用户装备设备可以在家庭网络内彼此通信。用户装备设备可以经由上述短程点到点通信机制、经由通过在家庭网络上提供的集线器或其它类似设备的间接路径或者经由通信网络1014直接彼此通信。单个家庭中的多个个人中的每一个可以操作在家庭网络上的不同用户装备设备。因此，可能期望在不同的用户装备设备之间传送各种媒体指南信息或设置。例如，如在2005年7月11日提交的Ellis等人的美国专利公开No.2005/0251827中更详细描述的，用户可能期望在家庭网络内的不同用户装备设备上维持一致的媒体指南应用设置。家庭网络中的不同类型的用户装备设备也可以彼此通信，以发送内容。例如，用户可以将内容从用户计算机装备发送到便携式视频播放器或便携式音乐播放器。

在第二种方案中，用户可以具有多种类型的用户装备，他们通过这些用户装备访问内容并获得媒体指南。例如，一些用户可以具有由家用式和移动设备访问的家庭网络。用户可以通过在远程设备上实现的媒体指南应用来控制家用式设备。例如，用户可以经由他们办公室的个人计算机或移动设备(诸如PDA或启用web的移动电话)访问网站上的在线媒体指南应用。用户可以在在线指南应用上设置各种设置(例如，记录、提醒或其它设置)来控制用户的家用式装备。在线指南可以直接控制用户的装备，或者通过与用户的家用式装备上的媒体指南应用通信来控制。例如，Ellis等人在2011年10月25日授予的美国专利No.8,046,801中讨论了用于用户装备设备通信的各种系统和方法，其中用户装备设备处于彼此远离的位置，该专利整体上通过引用并入本文。

在第三种方案中，在家庭内部和外部的用户装备设备的用户可以使用他们的媒体指南应用来直接与内容源1016通信，以访问内容。具体而言，在家里，用户电视装备1002和用户计算机装备1004的用户可以访问媒体指南应用，以在期望的内容之间导航并定位。用户还可以使用无线用户通信设备1006在家外面访问媒体指南应用，以在期望的内容之间导航并定位。

在第四种方案中，用户装备设备可以在云计算环境中操作，以访问云服务。在云计算环境中，用于内容共享、存储或分发的各种类型的计算服务(例如，视频共享站点或社交网站)由被称为“云”的网络可访问的计算和存储资源的集合提供。例如，云可以包括服务器计算设备的集合，其可以位于集中或分布的位置，通过通信网络1014向经由网络(诸如互联网)连接的各种类型的用户和设备提供基于云的服务。这些云资源可以包括一个或多个内容源1016和一个或多个媒体指南数据源1018。此外或在替代方案中，远程计算站点可以包括其它用户装备设备，诸如用户电视装备1002、用户计算机装备1004和无线用户通信设备1006。例如，其它用户装备设备可以提供对存储的视频副本或流传输视频的访问。在这种实施例中，用户装备设备可以以对等方式操作，而不与中央服务器通信。

除了其它示例，对于用户装备设备，云还提供对服务(诸如内容存储、内容共享或社交联网服务)的访问，以及对上述任何内容的访问。可以通过云计算服务提供商或通过其它在线服务的提供商在云中提供服务。例如，基于云的服务可以包括内容存储服务、内容共享站点、社交联网站点、或者用户来源的内容经由其分发以供所连接的设备上的其他人收看的其它服务。这些基于云的服务可以允许用户装备设备将内容存储到云并且从云接收内容，而不是在本地存储内容并访问本地存储的内容。

用户可以使用各种内容捕获设备(诸如摄像机、具有视频模式的数码相机、音频记录器、移动电话和手持式计算设备)来记录内容。用户可以直接地(例如，从用户计算机装备1004或具有内容捕获特征的无线用户通信设备1006)将内容上载到云上的内容存储服务。可替代地，用户可以先将内容传送到用户装备设备(诸如用户计算机装备1004)。存储内容的用户装备设备使用通信网络1014上的数据传输服务将内容上传到云。在一些实施例中，用户装备设备本身是云资源，并且其它用户装备设备可以直接从用户在其上存储内容的用户装备设备访问内容。

云资源可以由用户装备设备使用例如web浏览器、媒体指南应用、桌面应用、移动应用和/或其访问应用的任意组合来访问。用户装备设备可以是依赖云计算进行应用交付的云客户端，或者用户装备设备可以具有某些功能而无需访问云资源。例如，在用户装备设备上运行的一些应用可以是云应用，即，作为服务经互联网交付的应用，而其它应用可以在用户装备设备上存储和运行。在一些实施例中，用户设备可以同时从多个云资源接收内容。例如，用户设备可以从一个云资源流传输音频，同时从第二个云资源下载内容。或者用户设备可以从多个云资源下载内容，以便更高效的下载。在一些实施例中，用户装备设备可以使用云资源来处理操作，诸如由关于图9描述的处理电路系统执行的处理操作。

如本文所提到的，术语“响应于…”是指由于...而被发起。例如，第一动作响应于第二动作而被执行可以包括第一动作和第二动作之间的插入式步骤。如本文所提到的，术语“直接响应于...”是指由...造成的。例如，第一动作响应于第二动作而被直接执行可以不包括第一动作和第二动作之间的插入式步骤。

图11是根据本公开的一些实施例的、用于在用户设备(例如，用户装备设备900，图9)的控制电路系统(例如，控制电路系统904，图9)上实现的在用户设备上重建来自媒体资产的参考图像的交互式媒体指南应用的说明性处理1100的流程图。

在步骤1102处，在控制电路系统904(图9)上实现的交互式媒体指南应用发起在用户设备上重建来自媒体资产的参考图像的处理。在一些实施例中，该算法可以被编码到非瞬态存储介质(例如，存储设备908，图9)上，作为要由处理电路系统(例如，处理电路系统906，图9)解码和执行的一组指令。处理电路系统又可以向控制电路系统904(图9)中包含的其它子电路提供指令，控制电路系统904诸如调谐、视频生成、编码、解码、加密、解密、缩放、模拟/数字转换电路系统等。

在步骤1104处，在控制电路系统904(图9)上实现的交互式媒体指南应用接收由用户设备(例如，用户装备设备900)(图9)捕获的用户图像。例如，用户设备可以包括相机组件，该相机组件捕获用户的当前地点处的图像、将图像存储在用户设备的存储器中，以及将捕获的图像发送到交互式媒体指南应用。

在步骤1106处，在控制电路系统904(图9)上实现的交互式媒体指南应用确定与用户图像相关联的地理地点。在一些实施例中，地理地点包括纬度坐标和经度坐标中的至少一个。在一些实施例中，根据从用户图像提取的元数据来确定与用户图像相关联的地理地点和第一地理空间方位中的至少一个。例如，交互式媒体指南应用可以从捕获的图像中提取元数据、分析所提取的元数据以获得包括地理地点信息(诸如纬度和经度)的数据结构，并从数据结构中检索地理地点。例如，交互式媒体指南应用可以将与用户图像相关联的地理地点确定为纬度47.6°N和经度122.3°W。

在步骤1108处，在控制电路系统904(图9)上实现的交互式媒体指南应用从数据库中识别来自媒体资产的参考图像。在一些实施例中，数据库包括媒体资产和用地理地点标记的参考图像。在一些实施例中，交互式媒体指南应用从用户接收媒体资产的指示。交互式媒体指南应用基于所确定的地理地点和媒体资产的指示从数据库(例如，媒体内容源1016或媒体指南数据源1018(图10))中识别来自媒体资产的参考图像。例如，交互式媒体指南应用可以使用与纬度47.6°N和经度122.3°W的用户图像相关联的地理地点向数据库发送查询。交互式媒体指南应用可以包括例如+0.5°和-0.5°的阈值范围。交互式媒体指南应用可以从数据库接收指示具有纬度47.5°N和经度122.4°W的相关联地理地点的参考图像的响应。交互式媒体指南应用可以基于用户图像的地理地点选择作为最接近的匹配的参考图像。

在步骤1110处，在控制电路系统904(图9)上实现的交互式媒体指南应用确定与用户图像相关联的第一地理空间方位。在一些实施例中，第一地理空间方位包括一个或多个陀螺角度。在一些实施例中，根据从用户图像提取的元数据来确定与用户图像相关联的地理地点和第一地理空间方位中的至少一个。例如，交互式媒体指南应用可以从参考图像中提取元数据。交互式媒体指南应用可以分析所提取的元数据以获得包括地理空间方位信息的数据结构。例如，交互式媒体指南应用可以将与用户图像相关联的地理空间方位确定为包括90°的陀螺角度。

在步骤1112处，在控制电路系统904(图9)上实现的交互式媒体指南应用接收与参考图像相关联的第二地理空间方位。在一些实施例中，第二地理空间方位包括一个或多个陀螺角度。例如，交互式媒体指南应用可以接收与参考图像相关联的地理空间方位以包括85°的陀螺角。

在步骤1114处，在控制电路系统904(图9)上实现的交互式媒体指南应用确定第一地理空间方位是否与第二地理空间方位匹配。例如，交互式媒体指南应用可以从参考图像的85°的陀螺角度减去用户图像的90°的陀螺角度，并且基于非零结果确定它们不匹配。如果在控制电路系统904(图9)上实现的交互式媒体指南应用确定第一地理空间方位与第二地理空间方位不匹配，则交互式媒体指南应用进行到步骤1116。如果在控制电路系统904(图9)上实现的交互式媒体指南应用确定第一地理空间方位与第二地理空间方位匹配，则交互式媒体指南应用进行到步骤1120。

在步骤1116处，基于第一地理空间方位与第二地理空间方位不匹配，在控制电路系统904(图9)上实现的交互式媒体指南应用确定第一地理空间方位与第二地理空间方位之间的偏差。例如，交互式媒体指南应用可以从参考图像的85°的陀螺角度减去用户图像的90°的陀螺角度并将偏差确定为5°。

在步骤1118处，在控制电路系统904(图9)上实现的交互式媒体指南应用基于该偏差为用户生成改变用户设备的位置的通知。例如，交互式媒体指南应用可以为用户生成改变用户设备的位置的通知并发送以在用户设备的显示组件上显示。交互式媒体指南应用可以生成当用户图像正在用户设备上显示时将叠加在用户图像上的一组静态箭头和一组动态箭头。该组动态箭头可以相对于该组静态箭头移位，以指示陀螺方位之间的偏差。当用户改变位置时，两组箭头可以对齐并指示陀螺方位之间的偏差正在减小。

在步骤1120处，基于第一地理空间方位匹配第二地理空间方位(例如，偏差为零或低于预定义阈值)，在控制电路系统904(图9)上实现的交互式媒体指南应用将数字效果叠加在用户图像上。例如，在地理空间方位之间的偏差达到预定义阈值(例如，0.5°)内之后，交互式媒体指南应用可以将数字效果叠加在用户图像上。交互式媒体指南应用可以从与参考图像相关联的元数据中检索关于数字效果的信息，例如，“机器人.叠加”。交互式媒体指南应用可以从数据库检索数字效果资产并发起数字图像处理算法以将数字效果应用于用户图像。例如，交互式媒体指南应用可以将数字效果资产的每个像素与用户图像进行比较，并且改变用户图像中预计应用数字效果的像素，但不改变用户图像中预计不会应用数字效果的像素。

在步骤1122处，在控制电路系统904(图9)上实现的交互式媒体指南应用可选地提示用户是否保存叠加有数字效果的用户图像并继续捕获场景中下一帧的用户图像。如果在控制电路系统904(图9)上实现的交互式媒体指南应用从用户接收到肯定响应，则在控制电路系统904(图9)上实现的交互式媒体指南应用前进到步骤1124。否则，如果在控制电路系统904(图9)上实现的交互式媒体指南应用从用户接收到否定响应，则在控制电路系统904(图9)上实现的交互式媒体指南应用返回到步骤1120。在一些实施例中，在控制电路系统904(图9)上实现的交互式媒体指南应用可以响应于从用户接收到否定响应而结束该处理。

在步骤1124处，在将数字效果叠加在用户图像上之后，在控制电路系统904(图9)上实现的交互式媒体指南应用为用户生成另一个改变用户设备的位置的通知。例如，交互式媒体指南应用可以为用户生成另一个改变用户设备的位置以捕获场景中下一帧的图像的通知。交互式媒体指南应用可以发送以便在用户设备的显示组件上显示。交互式媒体指南应用可以生成当用户图像正在用户设备上显示时将叠加在用户图像上的一组静态箭头和一组动态箭头。该组动态箭头可以相对于该组静态箭头移位，以指示陀螺方位之间的偏差。当用户改变位置时，两组箭头可以对齐并指示陀螺方位之间的偏差正在减小。交互式媒体指南应用可以接收用户输入以取消并结束在步骤1124处的处理。替代地，交互式媒体指南应用可以进行到步骤1104。

在步骤1124之后，在步骤1104之后并继续，在控制电路系统904(图9)上实现的交互式媒体指南应用接收由用户设备捕获的第二用户图像。交互式媒体指南应用从数据库中识别来自媒体资产的第二参考图像。例如，用户设备中的相机组件可以捕获用户的当前地点处的图像、将图像存储在用户设备的存储器中，以及将捕获的图像发送到交互式媒体指南应用。交互式媒体指南应用可以从捕获的图像中提取元数据、分析所提取的元数据以获得包括诸如纬度和经度之类的地理信息的数据结构，并从数据结构中检索地理地点。

在一些实施例中，基于第二用户图像的地理空间方位与第二参考图像的地理空间方位之间的第二偏差低于预定义阈值，在控制电路系统904(图9)上实现的交互式媒体指南应用将第二数字效果叠加在第二用户图像上。例如，在地理空间方位之间的偏差达到预定义阈值(例如，0.5°)内之后，交互式媒体指南应用可以将数字效果叠加在用户图像上。交互式媒体指南应用可以从与参考图像相关联的元数据中检索关于数字效果的信息，例如“机器人2.叠加”。交互式媒体指南应用可以从数据库检索数字效果资产并发起数字图像处理算法以将数字效果应用于用户图像。例如，交互式媒体指南应用可以将数字效果资产的每个像素与用户图像进行比较，并且改变用户图像中预计应用数字效果的像素，但不改变用户图像中预计不会应用数字效果的像素。

可以预期图11的步骤或描述可以与本公开的任何其它实施例一起使用。此外，关于图11的算法描述的描述可以以替代顺序或并行地完成，以进一步实现本公开的目的。例如，条件语句和逻辑评估(诸如步骤1114处的那些条件语句和逻辑评估)可以以任何顺序或并行或同时执行，以减少滞后或提高系统或方法的速度。作为另一个示例，在一些实施例中，可以使用多个逻辑处理器线程并行地评估变量的若干实例，或者可以通过合并分支预测来增强算法。

另外，应该注意的是，图11的处理可以在适当配置的软件和硬件的组合上实现，并且关于图9-10讨论的任何设备或装备可以用于实现处理的一个或多个部分。

上面讨论的处理旨在说明而非限制。本领域技术人员将认识到的是，可以省略、修改、组合和/或重新布置本文所讨论的处理的步骤，并且可以在不脱离本发明的范围的情况下执行任何附加步骤。更一般地，以上公开旨在是示例性的而非限制性的。仅下面的权利要求旨在设定关于本发明所包括的内容的界限。此外，应当注意的是，任何一个实施例中描述的特征和限制可以应用于本文的任何其它实施例，并且与一个实施例相关的流程图或示例可以以合适的方式与任何其它实施例组合、以不同的顺序完成，或并行完成。此外，本文描述的系统和方法可以实时执行。还应该注意的是，上述系统和/或方法可以应用于其它系统和/或方法，或者根据其它系统和/或方法来使用。

Claims (51)

1.一种用于在用户设备上重建来自媒体资产的参考图像的方法，包括：

接收由用户设备捕获的用户图像；

识别来自媒体资产的参考图像；

确定用户图像的第一地理空间方位是否与参考图像的第二地理空间方位匹配；

基于第一地理空间方位与第二地理空间方位不匹配，为用户生成改变用户设备的位置的通知。

2.一种用于在用户设备上重建来自媒体资产的参考图像的方法，包括：

接收由用户设备捕获的用户图像；

确定与用户图像相关联的地理地点；

基于所确定的地理地点：

从数据库中识别来自媒体资产的参考图像；

确定与用户图像相关联的第一地理空间方位；

接收与参考图像相关联的第二地理空间方位；

确定第一地理空间方位是否与第二地理空间方位匹配；

基于第一地理空间方位与第二地理空间方位不匹配：

确定第一地理空间方位与第二地理空间方位之间的偏差；

基于所述偏差为用户生成改变用户设备的位置的通知。

3.如权利要求2所述的方法，其中所述地理地点包括纬度坐标和经度坐标中的至少一个。

4.如权利要求2所述的方法，其中第一地理空间方位包括一个或多个陀螺角度。

5.如权利要求2所述的方法，其中所述数据库包括媒体资产和用地理地点标记的参考图像。

6.如权利要求5所述的方法，包括：

从用户接收媒体资产的指示；

基于所确定的地理地点和媒体资产的指示，从数据库中识别来自媒体资产的参考图像。

7.如权利要求2所述的方法，其中根据从用户图像中提取的元数据确定与用户图像相关联的地理地点和第一地理空间方位中的至少一个。

8.如权利要求2所述的方法，包括：

基于第一地理空间方位与第二地理空间方位之间的偏差低于预定义阈值，将数字效果叠加在用户图像上。

9.如权利要求8所述的方法，包括：

在将数字效果叠加在用户图像上之后，为用户生成另一个改变用户设备的位置的通知。

10.如权利要求9所述的方法，包括：

接收由用户设备捕获的第二用户图像；

从数据库中识别来自媒体资产的第二参考图像。

11.如权利要求10所述的方法，包括：

基于第二用户图像的地理空间方位与第二参考图像的地理空间方位之间的第二偏差低于预定义阈值，将第二数字效果叠加在第二用户图像上。

12.一种用于在用户设备上重建来自媒体资产的参考图像的系统，包括：

用户设备；

控制电路系统，被配置为：

接收由用户设备捕获的用户图像；

确定与用户图像相关联的地理地点；

基于所确定的地理地点：

从数据库中识别来自媒体资产的参考图像；

确定与用户图像相关联的第一地理空间方位；

接收与参考图像相关联的第二地理空间方位；

确定第一地理空间方位是否与第二地理空间方位匹配；

基于第一地理空间方位与第二地理空间方位不匹配：

确定第一地理空间方位与第二地理空间方位之间的偏差；

基于所述偏差为用户生成改变用户设备的位置的通知。

13.如权利要求12所述的系统，其中所述地理地点包括纬度坐标和经度坐标中的至少一个。

14.如权利要求12所述的系统，其中第一地理空间方位包括一个或多个陀螺角度。

15.如权利要求12所述的系统，其中所述数据库包括媒体资产和用地理地点标记的参考图像。

16.如权利要求15所述的系统，其中所述控制电路系统被配置为：

从用户接收媒体资产的指示；

基于所确定的地理地点和媒体资产的指示，从数据库中识别来自媒体资产的参考图像。

17.如权利要求12所述的系统，其中根据从用户图像中提取的元数据确定与用户图像相关联的地理地点和第一地理空间方位中的至少一个。

18.如权利要求12所述的系统，其中所述控制电路系统被配置为：

基于第一地理空间方位与第二地理空间方位之间的偏差低于预定义阈值，将数字效果叠加在用户图像上。

19.如权利要求18所述的系统，其中所述控制电路系统被配置为：

在将数字效果叠加在用户图像上之后，为用户生成另一个改变用户设备的位置的通知。

20.如权利要求19所述的系统，其中所述控制电路系统被配置为：

接收由用户设备捕获的第二用户图像；

从数据库中识别来自媒体资产的第二参考图像。

21.如权利要求于20所述的系统，其中所述控制电路系统被配置为：

基于第二用户图像的地理空间方位与第二参考图像的地理空间方位之间的第二偏差低于预定义阈值，将第二数字效果叠加在第二用户图像上。

22.一种用于在用户设备上重建来自媒体资产的参考图像的装置，包括：

用于接收由用户设备捕获的用户图像的部件；

用于确定与用户图像相关联的地理地点的部件；

基于所确定的地理地点：

用于从数据库中识别来自媒体资产的参考图像的部件；

用于确定与用户图像相关联的第一地理空间方位的部件；

用于接收与参考图像相关联的第二地理空间方位的部件；

用于确定第一地理空间方位是否与第二地理空间方位匹配的部件；

基于第一地理空间方位与第二地理空间方位不匹配：

用于确定第一地理空间方位与第二地理空间方位之间的偏差的部件；

用于基于所述偏差为用户生成改变用户设备的位置的通知的部件。

23.如权利要求22所述的装置，其中所述地理地点包括纬度坐标和经度坐标中的至少一个。

24.如权利要求22所述的装置，其中第一地理空间方位包括一个或多个陀螺角度。

25.如权利要求22所述的装置，其中所述数据库包括媒体资产和用地理地点标记的参考图像。

26.如权利要求25所述的装置，包括：

用于从用户接收媒体资产的指示的部件；

用于基于所确定的地理地点和媒体资产的指示，从数据库中识别来自媒体资产的参考图像的部件。

27.如权利要求22所述的装置，其中根据从用户图像提取的元数据确定与用户图像相关联的地理地点和第一地理空间方位中的至少一个。

28.如权利要求22所述的装置，包括：

基于第一地理空间方位与第二地理空间方位之间的偏差低于预定义阈值，用于将数字效果叠加在用户图像上的部件。

29.如权利要求28所述的装置，包括：

在将数字效果叠加在用户图像上之后，用于为用户生成另一个改变用户设备的位置的通知的部件。

30.如权利要求29所述的装置，包括：

用于接收由用户设备捕获的第二用户图像的部件；

用于从数据库中识别来自媒体资产的第二参考图像的部件。

31.如权利要求30所述的装置，包括：

基于第二用户图像的地理空间方位与第二参考图像的地理空间方位之间的第二偏差低于预定义阈值，用于将第二数字效果叠加在第二用户图像上的部件。

32.一种包括存储器的非瞬态机器可读介质，所述存储器具有被编码在其上的用于在用户设备上重建来自媒体资产的参考图像的指令，包括：

用于接收由用户设备捕获的用户图像的指令；

用于确定与用户图像相关联的地理地点的指令；

基于所确定的地理地点：

用于从数据库中识别来自媒体资产的参考图像的指令；

用于确定与用户图像相关联的第一地理空间方位的指令；

用于接收与参考图像相关联的第二地理空间方位的指令；

用于确定第一地理空间方位是否与第二地理空间方位匹配的指令；

基于第一地理空间方位与第二地理空间方位不匹配：

用于确定第一地理空间方位与第二地理空间方位之间的偏差的指令；

用于基于所述偏差为用户生成改变用户设备的位置的通知的指令。

33.如权利要求32所述的非瞬态机器可读介质，其中所述地理地点包括纬度坐标和经度坐标中的至少一个。

34.如权利要求32所述的非瞬态机器可读介质，其中第一地理空间方位包括一个或多个陀螺角度。

35.如权利要求32所述的非瞬态机器可读介质，其中所述数据库包括媒体资产和用地理地点标记的参考图像。

36.如权利要求35所述的非瞬态机器可读介质，包括：

用于从用户接收媒体资产的指示的指令；

用于基于所确定的地理地点和媒体资产的指示，从数据库中识别来自媒体资产的参考图像的指令。

37.如权利要求32所述的非瞬态机器可读介质，其中根据从用户图像提取的元数据确定与用户图像相关联的地理地点和第一地理空间方位中的至少一个。

38.如权利要求32所述的非瞬态机器可读介质，包括：

基于第一地理空间方位与第二地理空间方位之间的偏差低于预定义阈值，用于将数字效果叠加在用户图像上的指令。

39.如权利要求38所述的非瞬态机器可读介质，包括：

在将数字效果叠加在用户图像上之后，用于为用户生成另一个改变用户设备的位置的通知的指令。

40.如权利要求39所述的非瞬态机器可读介质，包括：

用于接收由用户设备捕获的第二用户图像的指令；

用于从数据库中识别来自媒体资产的第二参考图像的指令。

41.如权利要求40所述的非瞬态机器可读介质，包括：

基于第二用户图像的地理空间方位与第二参考图像的地理空间方位之间的第二偏差低于预定义阈值，用于将第二数字效果叠加在第二用户图像上的指令。

42.一种用于在用户设备上重建来自媒体资产的参考图像的方法，包括：

接收由用户设备捕获的用户图像；

确定与用户图像相关联的地理地点；

基于所确定的地理地点：

从数据库中识别来自媒体资产的参考图像；

确定与用户图像相关联的第一地理空间方位；

接收与参考图像相关联的第二地理空间方位；

确定第一地理空间方位是否与第二地理空间方位匹配；

基于第一地理空间方位与第二地理空间方位不匹配：

确定第一地理空间方位与第二地理空间方位之间的偏差；

基于所述偏差为用户生成改变用户设备的位置的通知。

43.如权利要求42所述的方法，其中所述地理地点包括纬度坐标和经度坐标中的至少一个。

44.如权利要求42或43所述的方法，其中第一地理空间方位包括一个或多个陀螺角度。

45.如权利要求42-44中任一项所述的方法，其中所述数据库包括媒体资产和用地理地点标记的参考图像。

46.如权利要求45所述的方法，包括：

从用户接收媒体资产的指示；

基于所确定的地理地点和媒体资产的指示，从数据库中识别来自媒体资产的参考图像。

47.如权利要求42-46中任一项所述的方法，其中根据从用户图像提取的元数据确定与用户图像相关联的地理地点和第一地理空间方位中的至少一个。

48.如权利要求42-47中任一项所述的方法，包括：

基于第一地理空间方位与第二地理空间方位之间的偏差低于预定义阈值，将数字效果叠加在用户图像上。

49.如权利要求48所述的方法，包括：

在将数字效果叠加在用户图像上之后，为用户生成另一个改变用户设备的位置的通知。

50.如权利要求49所述的方法，包括：

接收由用户设备捕获的第二用户图像；

从数据库中识别来自媒体资产的第二参考图像。

51.如权利要求50所述的方法，包括：

基于第二用户图像的地理空间方位与第二参考图像的地理空间方位之间的第二偏差低于预定义阈值，将第二数字效果叠加在第二用户图像上。