CN104604239A

CN104604239A - 用于视频系统的增强现实

Info

Publication number: CN104604239A
Application number: CN201380046203.8A
Authority: CN
Inventors: 劳伦特·盖蒂斯; 晏·帕特; 奥利弗·拉科; 迪迪埃·德·马瑞兹; 洛朗·肖维耶
Original assignee: NDS Ltd
Current assignee: Synamedia Ltd
Priority date: 2012-09-04
Filing date: 2013-09-03
Publication date: 2015-05-06
Anticipated expiration: 2033-09-03
Also published as: US20150206350A1; WO2014037876A3; WO2014037876A2; CN104604239B; EP2893706B1; US9747723B2; EP2893706A2

Abstract

在一个实施方式中，一种方法包括：在与客户端装置相关联的第一显示装置上显示事件，所述事件包括至少一个视频场景；使电子装置能够与所述客户端装置通信；接收请求与所述至少一个视频场景相关联的增强现实内容的用户输入；识别增强现实内容的相关部分，以在与电子装置相关联的第二显示器上显示，其中，所述相关部分包括与所述至少一个视频场景对应的视频帧以及围绕所述视频帧的附加内容；并且在所述第二显示装置上显示所述相关部分。

Description

用于视频系统的增强现实

技术领域

本发明涉及用于向视频内容项提供增强现实内容的方法和设备。

背景技术

增强现实(AR)是物理现实环境的现场、直接或间接视图，该现实环境的要素由计算机生成的感官输入(例如，声音、视频、图形或GPS数据)来增强(或补充)。增强通常是实时的，并且处于具有环境要素的语义情景中。

现在，越来越多的不同的增强现实应用程序通过智能电话、平板电话或其他手持式装置对用户而言是可用的。通常，这些应用程序使用嵌入手持式装置内的照相机，并且显示覆盖在由照相机拍摄的实像上的上下文信息。

附图说明

通过结合附图进行的详细描述，将更充分地理解和领会本发明，其中：

图1是根据本发明实施方式被构造并且操作的系统的简化框图图示；

图2是示出根据本发明实施方式被构造并且操作的视频数据库的简化框图图示；

图3是根据本发明实施方式的用于观看增强现实内容的方法的流程图；

图4A是根据本发明实施方式的校准程序的简化插图；

图4B是示出根据本发明实施方式的在电子装置围绕与其显示屏(rendering screen，渲染屏)的平面平行的轴旋转之后获得的增强现实内容的简化插图；

图4C是示出根据本发明实施方式的通过使电子装置沿着与其显示屏的平面垂直的轴平移所获得的增强现实内容的简化插图；

图5和图6是根据本发明实施方式的用于自动校准程序中的计算的插图；

图7是示出根据本发明实施方式的用于在电子装置的显示屏上显示的增强现实面板的相关部分的插图。

具体实施方式

概述

实例实施方式

在以下描述中，提出了多个具体细节，以便提供本发明的各种原理的彻底理解。然而，本领域的技术人员会理解的是，不必始终需要所有这些细节来实践本发明。在这种情况下，还未详细示出用于传统算法和工艺的计算机程序指令的众所周知的电路、控制逻辑以及细节，以免使一般概念不必要地模糊。

尽管在本文中相对于电视广播环境和相关电视应用主要描述了本发明的原理，但这是为了方便呈现而选择的一个实例，并非进行限制。

现在，参照图1，其是示出了根据本发明实施方式被构造并且操作的系统的简化框图。

前端110通常经由通信网络130与多个客户端装置通信。此外/可替换地，多个前端经由通信网络130与单个客户端装置或者与多个客户端装置通信。为了简单进行叙述和描述，而不限制本发明的普遍性，在图1中描述了一个客户端装置120，与一个前端110进行(经由通信网络130)有效通信。前端110还包括将在下文结合图2更详细地描述的视频数据库111。

通信网络130是单向或双向通信网络，该通信网络包括以下项中的至少一个：基于卫星的通信网络；基于电缆的通信网络；传统的地面广播电视网络；基于电话的通信网络；基于电话的电视广播网络；基于移动电话的电视广播网络；互联网协议(IP)电视广播网络；以及基于计算机的通信网络。要理解的是，在本发明的其他实施方式中，例如，通信网络130可以由单向或双向混合通信网络(例如，组合式电缆-电话网络、组合式卫星-电话网络、组合式基于卫星-计算机的通信网络)或者由任何其他合适的网络实现。实现通信网络130的其他方式对于本领域的技术人员将是显而易见的。

图1的系统包括布置在前端110与显示装置140之间的客户端装置120。客户端装置120耦接至显示装置140。客户端装置120通常包括调谐器、解码器、接收器以及解扰器。要理解的是，客户端装置120包括标准硬件元件和软件元件，这在本领域中众所周知。

客户端装置120通常经由数字AV接口(例如，HDMI、DVI等)或者经由模拟AV接口(例如，元件(RGB、YPbPr)、复合材料(NTSC、PAL、SECAM)、S视频、SCART、同轴RF、D终端(D-tanshi)等)与显示装置140操作地连接。尽管在图1中显示为单独的实体，但是在本发明的其他实施方式中，客户端装置120可以与显示装置140成为一体。

客户端装置120通常例如从广播流、VOD文库等中接收视听(AV)信号以及相关的数字数据。如在本领域中众所周知的，在访问装置(例如，可移动的安全元件)的控制下，必要时，客户端装置通常可选地将从前端110中接收的AV信号进行解码和解密/解扰。可移动的安全元件通常包括如本领域众所周知的智能卡。来自客户端装置120的输出包括准备在显示装置140上显示的必要时被解码和解密/解扰的视听(AV)信号。而且，客户端装置120通常运行存储在客户端装置120的存储器内的车载软件，该车载软件包括应用程序(例如，电子节目指南(EPG)、按次计费的(PPV)常驻应用、视频点播(VOD)常驻应用等)、中间软件层(中间件)、用于控制在中间件与解码器硬件控制器之间提供接口的装置层接口的软件层、以及用于操作客户端装置120的所有其他层。

客户端装置120通常例如通过遥控单元(RCU)150由用户控制。客户端装置120可以从RCU 150中(例如，经由红外通信)接收控制命令。用户使用RCU 150来选择要观看的AV内容，例如，现场事件广播、视频点播(VOD)资产、记录事件等，或者选择要运行的然后在显示装置140上显示的特定应用程序，例如，EPG、PPV应用、VOD应用等。客户端装置120内的车载软件监控用户与客户端装置120的相互作用，以便响应于使用RCU 150输入的用户命令，在显示装置140上显示相关信息。

而且，提供电子装置160，该电子装置被操作为使用任何合适的连接链路(例如，有线、WiFi、蓝牙、RF等)与客户端装置120通信。电子装置160进一步可操作，以便通过通信网络130与前端110通信。图1仅显示了一个通信网络130。然而，本领域的技术人员会理解的是，电子装置160可以使用相同的通信网络130或不同的通信网络直接与前端110通信。例如，而不限制本发明的普遍性，电子装置160可以是配套装置，例如，平板电脑、iPad^TM或移动计算装置，诸如个人数字助理(PDA)、移动电话或任何手持式装置。电子装置160通常包括处理器、视频播放器、用于向用户显示内容和数据信息的显示屏、可操作为拍摄照片和/或视频的照相机、和/或视频和方位模块170，该方位模块包括多个传感器，例如如可操作为检测电子装置160的方向的加速度传感器、陀螺仪、手动开关等(但不限制本发明的普遍性)。

用户通常能够选择要在显示装置140上显示的事件或服务。而且，用户通常能够选择要在电子装置160上运行的应用程序，以便获得与目前在显示装置140上显示的事件相关的增强现实内容。该应用程序可以在电子装置160上局部执行，并且一经选择用于由用户显示的事件，或者在接收通知增强现实内容可用于事件的由视频数据库111传输的通知时，就起动该应用程序。在后一种情况下，指示可使用增强现实内容的通知可以例如是可见指示的形式，例如，在显示装置140上出现的画面直接显示(OSD)或弹出消息，但不限制本发明的普遍性。对于本领域的技术人员，任何合适形式的可见和/或声音指示显然可以用于通知用户可使用增强现实内容。一旦起动应用程序，就在电子装置160与客户端装置120和/或前端110之间建立通信。用户可以决定观看这个增强现实内容，并且如要求的那样这样做，以将电子装置160保持在显示装置140的前面用于通常是自动程序的校准程序。一旦成功实现校准程序，目前在显示装置140上显示的事件或服务的当前视频场景也被显示在电子装置160的显示屏上，并且用户进一步能够观看与当前在显示装置140上显示的视频场景相关的增强现实内容(即，从视频数据库111中接收的周围内容)。

现在，参照图2，该图为根据本发明实施方式被构造并且操作的视频数据库211的简化框图图示。

视频数据库211通常位于前端210，并且包括与多个视频内容项目212相关的元数据。本领域的技术人员会理解的是，这个视频数据库211可以具有任何合适的形式并且位于本发明的系统的任何合适的部件内。实现数据库211的其他方式(例如，使用多个数据库)对于本领域的技术人员将是显而易见的。

视频内容项212(i)通常包括表示一个或多个视频场景的一系列视频帧。在本发明的一个实施方式中，视频内容项212(i)由视频内容标识符识别，并且为视频内容项212(i)的每个视频场景提供元数据。为每个视频场景提供的元数据至少包括：

·时间线位置，其识别视频场景在视频内容项目中何时发生。这个时间线位置可以例如是自从视频内容项目212(i)开始经过的时间、视频场景的开始和结束时间或者视频场景的持续时间等，但这不限制本发明的普遍性；以及

·增强现实内容，用户可以访问并且观看该内容，同时在显示装置140上显示视频内容项目212(i)的视频场景。这个增强现实内容通常具有增强现实面板的形式，包括视频内容项目212(i)的相关视频场景的视频帧以及围绕视频帧的附加内容。附加内容可以例如是从任何合适的源(例如，网页源、本地内容等中检索的图片、视频等，但这不限制本发明的普遍性。一旦附加内容被检索到，就在视频帧周围聚集和设置附加内容，以便形成与视频内容项212(i)的视频场景相关的增强现实面板。在本发明的另一个实施方式中，在当前显示的视频场景是原始胶片图像的子集的情况下，周围内容已经是可用的。而且，提前定义增强现实面板的维数以及与当前在增强现实面板内显示的视频场景对应的视频帧的位置。

本领域的技术人员会理解的是，电视广播员、平台操作员、内容提供商或者任何第三方实体可以选择和提供填充视频数据库211的视频内容项212。因此，常规的电视广播事件、VOD资产以及其他视频内容项的广泛选择可以由应用程序和/或最终用户使用。而且，视频数据库211还可以由电视广播员、平台操作员、内容提供商或者任何第三方实体定期更新，以便应用程序的用户可以使用新的视频内容项212及其相关联的元数据。

同样，可以由电视广播员、平台操作员、内容提供商或者提供这个服务的任何第三方实体提前定义支持这个增强现实内容系统的每个视频内容项212的视频场景。实际上，对于本领域的技术人员显而易见的是，向用户显示有意义的增强现实内容取决于事件和视频场景的类型。事件可以具有在多个不同的地方发生的几个不同的真实或虚构的视频场景。因此，可能难以或者甚至有时不能为事件的一些视频场景提供这种增强现实内容。本发明非常适合于例如在相同的房间内或者在使用相同的固定相机角度拍摄视频场景时采取行动的情况，但这不限制本发明的普遍性。

最后，在增强现实面板中的视频帧的位置可以从一个视频场景变成另一个视频场景。根据视频场景，视频帧可以位于任何合适的位置，使得相关的周围内容对用户而言是可用的。在图4A和4B中显示的视频帧显示了坐在长凳上的两个演员，在背景中具有花园和巴黎圣母院大教堂。因此，显示演员的视频帧可以位于增强现实面板的底部中心，使得在视频帧的左边、右边以及顶部可以使用与花园和巴黎圣母院大教堂相关的周围内容。本领域的技术人员会理解的是，该位置取决于很多因素，例如，电视广播员、平台操作员、内容提供商或者提供这个服务的任何第三方实体、相关的视频场景、可使用的周围内容等。

现在，参照图3，该图为根据本发明实施方式的用于观看增强现实内容的方法的流程图。

在步骤301中，用户通过操作RCU 150(例如，遥控装置)可以选择要在显示装置140上显示的事件或服务。在接收用户的选择时，客户端装置120调至所选择的事件或服务，并且必要时，将从前端110中接收的广播电视流进行解码和解密/解扰，以在显示装置140上显示所选择的事件或服务。虽然相对于现场电视事件广播进行了描述，但是本领域的技术人员会理解的是，事件可以是任何合适类型的事件，例如，记录事件、VOD资源等。

在步骤302中，识别当前在显示装置上显示的事件，并且确定该事件是否支持增强现实视频内容。为了这样做，比较事件标识符和在视频数据库111内存在的视频内容项标识符。如果没有匹配，则增强现实内容对于当前显示的事件不可用。相反，如果具有匹配，则增强现实内容对于当前在显示装置140上显示的事件可用。在后一种情况下，客户端装置120连续监控从事件开始经过的时间，并且将其与所识别的视频内容项212(i)的不同视频场景的时间线位置。在确定当前在显示装置140上显示的事件的视频场景与视频内容项212(i)的视频场景对应时，通过在上文中解释的声音或可见指示，通知用户增强现实内容可以用于当前显示的事件的视频场景中。

在本发明的一个实施方式中，用户可以在步骤303中决定在其电子装置160上运行应用程序，以获得和观看与当前在显示装置140上显示的事件或服务相关的增强现实内容。如在上文中所解释的，一经在显示装置140上显示所选择的事件，或者当从视频数据库111中接收增强现实内容可用于当前显示的视频场景的通知时，用户就可以运行应用程序。本领域的技术人员会理解的是，该应用程序可以是分布式计算应用程序，因此，该应用程序可以在分布式计算系统的任何或多个合适的计算装置中执行。一旦应用程序被启动，电子装置160可操作为与前端110的视频数据库111通信。此外和/或可替换地，通过客户端装置120在电子装置160与视频数据库111之间建立通信。从视频数据库111中检索并且在客户端装置120上存储与当前显示的视频场景相关的增强现实面板，因此变得由电子装置160可获得和/或可使用。对于本领域的技术人员，与当前显示的视频场景相关的增强现实面板显然还可以由电子装置160从视频数据库111中实时流出。

在观看与当前显示的视频场景相关的增强现实内容之前，请求用户将其电子装置160保持在显示装置140(如在图4A中所示)的前面，用于自动校准程序(步骤304)。这个校准程序的目的在于，确定如何在电子装置160的显示屏上显示增强现实面板以及哪个部分将被显示在电子装置160的显示屏上(这取决于显示装置140与电子装置160之间的距离和方向)。为了这样做，使用电子装置160的照相机，自动计算增强现实面板的视频帧将被显示在电子装置160的显示屏上的位置以及视频帧的维数。所计算的维数通常与由用户在电子装置160的显示屏的平面中观看的在显示装置140上显示的视频的维数和位置的同位相似变换对应。换言之，计算视频帧的位置和维数，以便与在显示装置140上显示的视频的维数对应，这是因为用户在电子装置160的显示屏的平面中会看到这些维数，而不是因为电子装置160的照相机在显示屏上显示这些维数。而且，使用方位模块170(例如，电子装置160的陀螺仪传感器)确定显示装置140的绝对方向。当照相机的中心通常不在电子装置160的中间时，可以校正这个绝对方向以提供初始方向。在校准程序期间获得的这个初始方向被存储以稍后使用。在自动校准程序结束时，通过以下来识别并且在电子装置160的显示屏上显示与当前在显示装置140上显示的事件的视频场景相关的增强现实面板的相关部分：

·根据计算维数定位并且调整维数的视频帧(接着是增强现实面板)；以及

·初始方向。

因此，由于用户看见的显示装置140和电子装置160的维数不必对应，所以通过周围的附加内容，已经在电子装置160的显示屏上显示与当前视频场景相关的增强现实面板的第一部分。为了避免任何视差问题，在电子装置160上进行显示，就好像用户恰站在显示装置140的前面，而与他相对于显示装置140的实际位置(或者在进行校准程序时的时间)无关。在后文中，相对于图5、6以及7的描述，更详细地描述校准程序和相关计算。

在步骤305中，用户能够移动电子装置160并且看见围绕当前显示的视频场景的视频帧的增强现实内容。方位模块170(例如，陀螺仪和加速度传感器)以及电子装置160的照相机用于连续地将电子装置160的当前位置和方位传输给客户端装置120。在用户使电子装置160围绕与显示屏的平面平行的轴旋转时，确定电子装置160的新位置和方位，并且在电子装置160的显示屏上显示增强现实面板的新相关部分(包括视频场景的视频帧并且包围附加内容)。图4B示出了用户使电子装置160围绕与显示屏的平面平行的X轴旋转，以看到位于当前显示的视频场景的视频帧之上的增强现实内容。同样，图4C示出了在用户使电子装置160围绕与显示屏的平面平行的轴旋转时，在电子装置160的显示屏上显示的增强现实面板的不同部分：

·用于左(视图1)和右(视图2)视图的围绕Y轴的旋转；以及

·用于顶部(视图3)和底部(视图4)视图的围绕X轴的旋转。

而且，在用户沿着与电子装置160的显示屏的平面垂直的Z轴移动，以更加接近(或远离)显示装置140时，可以实现放大(或缩小)效果。这种用户运动涉及实时计算，以便确定和更新当前显示的视频场景的视频帧在电子装置160的显示屏上显示的位置以及视频帧的维数(接着是增强现实面板的维数)。本领域的技术人员会理解的是，这些计算与在校准程序期间进行的计算相似。在后文中，相对于图7的描述，提供关于运动检测和在电子装置160的显示屏上显示的相关效果的进一步细节。

如在上文中相对于图3的步骤304所解释的，校准程序的目的在于，确定将如何在电子装置160的显示屏上显示与目前在显示装置140上显示的事件的视频场景相关的增强现实面板以及增强现实面板的哪个部分将被显示在电子装置160的显示屏上。为了这样做，用户朝着显示装置140的方向保持和定位电子装置160的照相机。然后，在电子装置160的显示屏上检测并且使用众所周知的实时图像来识别和分析技术来分析与当前在显示装置140上显示的事件相对应的视频的形状。获得由电子装置160的照相机观看的显示装置140的位置和维数，作为这个分析的输出。然而，这些维数与用户在电子装置160的显示屏的平面中观看的显示装置140的维数不对应。这是由于照相机的性能，更具体地是由于也被称为照相机的“视场”(“FoV”)角的视角。根据所使用的电子装置160，这个“FoV”角度变化。因此，校准程序能够允许具有其自身性能的任何电子装置的用户计算要在电子装置160的显示屏上显示增强现实面板的视频帧的位置以及视频帧的维数。

现在参照图5和图6，这两个示图是根据本发明实施方式的用于自动校准程序中的计算的插图。所计算的维数通常与由用户在电子装置160的显示屏的平面中观看的在显示装置140上显示的视频的维数和位置的同位相似变换对应。图5示出了两个平面：

·与由照相机观看的实像对应的显示装置平面，其中：

○H_REAL是实像的高度；以及

○h_REAL是所检测的视频形状的高度；以及

·与由照相机根据其自身的“FoV”角观看的相机图像对应的相机平面，其中：

○H_CAMERA是与由电子装置160的照相机观看的H_REAL对应的高度；并且

○h_CAMERA是与由电子装置160的照相机观看的h_REAL对应的高度。

此外，图5示出了两个额外参数：与照相机的垂直“FoV”角对应的α；以及与在电子装置160的照相机和显示装置140之间的距离对应的D_TV-CAMERA。

垂直“FoV”角是被定义为电子装置160的固有特性的常数，并且由以下等式表示：

α = \frac{H_{REAL}}{D_{TV - CAMERA}}

相机图像和视频识别的形状提供H_CAMERA和h_CAMERA，其中：

\frac{H_{CAMERA}}{h_{CAMERA}} = \frac{H_{REAL}}{h_{REAL}}

通过组合在上文中提供的两个等式，能够计算从电子装置中观看显示装置140的角度：

\frac{H_{CAMERA}}{h_{CAMERA}} = &Proportional; \cdot \frac{D_{TV - CAMERA}}{h_{REAL}}

假设与D_TV-CAMERA相比，用户与电子装置160之间的距离D_USER-DEVICE可以忽略，则可以如下计算由ω表示的用户的视角(对应于由用户观看显示装置140的方式)：

ω = &Proportional; \cdot \frac{h_{CAMERA}}{H_{CAMERA}} .

图6示出了电子装置160的显示装置平面和显示屏平面，其中：

·h是增强面板的视频帧将被显示在电子装置160的显示屏上的高度；并且

·H是要在电子装置160的显示屏上显示的并且通常与显示屏的高度对应的增强现实面板的部分的高度。

与照相机的垂直“FoV”角一样，ω与用户的垂直“FoV”角对应并且可以由以下等式表示：

ω = \frac{H}{D_{USER - DEVICE}}

因此，增强现实面板的视频帧将被显示在电子装置160的显示屏上的高度h由以下方程表示：

h = &Proportional; \cdot \frac{h_{CAMERA}}{H_{CAMERA}} \cdot D_{USER - DDEVICE}

其中，α是照相机的固有特性；h_CAMERA和H_CAMERA由照相机提供；并且D_USER-DEVICE被固定为与在用户与电子装置160之间的距离对应的常数。

所有这些等式显示出高度h取决于h_CAMERA和H_CAMERA。然后，能够获得视频帧的宽度w。这个宽度w通常取决于视频R的比率(例如)16/9，并且由以下等式表示：

w＝h·R

在本发明的实施方式中，用户通常将电子装置160保持在显示装置140的前面，以执行校准程序。然而，在本发明的另一实施方式中，即使用户不位于显示装置140的前面，该用户也还能够执行校准程序。在这种情况下，计算h_CAMERA和H_CAMERA，作为在相机图像的左右相应高度之间的平均值。而且，为了使图像识别和分析工艺变得容易，要求用户使电子装置160朝着显示装置140的方位定向，使得显示装置140完全出现在相机图像内。

现在，参照图7，该图为示出根据本发明实施方式的用于在电子装置160的显示屏上显示的增强现实面板的相关部分的插图。

方位模块170(例如，电子装置160的陀螺仪和加速度传感器)用于确定增强现实面板的哪个部分将被显示在电子装置160的显示屏上。该方位模块170通常能够检测电子装置160的方位变化，即，在电子装置160四处移动和/或旋转时。保持电子装置160的用户可以在多个方向移动。然而，每个用户运动可以被建模为围绕球体的运动，如图7中所示。这个球体以用户为中心并且具有与在用户与电子装置160之间的距离对应的半径。因此，可以考虑以下用户运动：

·使电子装置160围绕与显示屏的平面平行的Y轴旋转与围绕球体的向左或向右运动对应，因此，在电子装置160的显示屏上显示周围的左或右内容。可以有效地进行这个运动检测，以便支持(例如，而不限制本发明的普遍性)每秒15个图像的最小帧速率；

·使电子装置围绕与显示屏的平面平行的X轴旋转与围绕球体的到球体的顶部或底部的向上或向下运动对应，因此，在电子装置160的显示屏上显示周围的顶部或底部内容。可以有效地进行这个运动检测，以例如支持每秒15个图像的最小帧速率，但这不限制本发明的普遍性；以及

·沿着与显示屏的平面垂直的Z轴移动电子装置160通常与放大或缩小作用对应，并且与新的校准程序相似。

对于所有这些用户运动，电子装置160的运动由方位模块170检测。在每个运动检测中，根据与显示装置140相距的距离(例如，使用加速度传感器)并且根据到显示装置140的方向(例如，使用陀螺仪传感器)，方位模块170将其位置变化(Δ位置)从初始位置(即，在图7中，在由增强现实面板的中心部分表示的校准程序结束时，表示显示装置140的方向的垂直位置)中发送给客户端装置120。来自运动检测的输出可以是：

·校准程序的更新，包括视频帧的(并且反过来，增强现实面板的)更新的维数和位置以及更新的初始位置。这通常与沿着与电子装置160的显示屏的平面垂直的Z轴的运动对应，为此，执行新的校准程序；和/或

·在初始位置与新位置之间的角度差。这通常与围绕与电子装置160的显示屏的平面平行的X轴和/或Y轴的运动对应。

对于这两个输出，增强现实面板的相关部分由以下参数定义：

·高度h_PORTION和宽度W_PORTION(h_PORTION、W_PORTION)维数。在每个校准程序结束时(即，维数校准程序和/或在方位模块170(例如，加速度传感器)检测电子装置160沿着Z轴的运动时)，使用视频帧的所计算的维数(h、w)和h_REAL，确定这些维数。下面提供在这些参数之间的关系：

\frac{H}{h_{PORTION}} = \frac{h}{h_{REAL}},

且因此，

h_{PORTION} = \frac{H}{h} \cdot h_{REAL} .

而且，宽度W_PORTION由以下方程表示：

w_PORTION＝h_PORTION·R

·在由坐标x_PORTION和y_PORTION(x_PORTION、y_PORTION)定义的增强现实面板中的位置。根据在校准程序期间获得的初始方向，这些坐标被设为(0、0)。然后，在检测到电子装置160围绕轴X和/或Y的旋转时，方位模块170(例如，加速度传感器)通过初始方向确定角度差(βx、βy)。与要显示的增强现实面板的新相关部分对应的新坐标由以下等式表示：

x_PORTION＝D_USER-DEVICE·β_x

并且

y_PORTION＝D_USER-DEVICE·β_y。

本领域的技术人员会理解的是，这些坐标相对于参考点集被表示为与初始方向对应。参考点可以是增强现实面板的部分的任何合适的点，例如如该部分的中心、左上角等，但这不限制本发明的普遍性。

因此，在用户沿着与电子装置160的显示屏的平面垂直的Z轴移动电子装置160时，更新要显示的增强现实面板的相关部分的维数(h_PORTION、W_PORTION)和初始方向。在电子装置160围绕球体移动(即，围绕与电子装置160的显示屏的平面平行的X轴和/或Y轴旋转)时，计算坐标(x_PORTION、y_PORTION)。在后一种情况下，增强现实面板的维数(h_PORTION、W_PORTION)不改变。

尽管在DVB实现方式的背景下描述了以上实施方式，但本领域的技术人员会认识到，能够存在其他实现方式。

要理解的是，还可以结合单个实施方式中提供为了清晰起见在单独实施方式的背景下描述的本发明的各种特征。相反，还可以单独地或者在任何合适的子组合提供为了简单起见在单个实施方式的背景下描述的本发明的各种特征。

本领域的技术人员要理解的是，本发明不限于上文中特别显示和描述的内容。确切地说，本发明的范围由所附权利要求及其等同物限定。

Claims

1.一种方法，包括：

在与客户端装置相关联的第一显示装置上显示事件，所述事件包括至少一个视频场景；

使电子装置能够与所述客户端装置通信；

接收请求与所述至少一个视频场景相关联的增强现实内容的用户输入；

识别所述增强现实内容的相关部分，以在与所述电子装置相关联的第二显示器上显示，其中，所述相关部分包括与所述至少一个视频场景对应的视频帧以及围绕所述视频帧的附加内容；并且

在所述第二显示装置上显示所述相关部分。

2.根据权利要求1所述的方法，其中，所述识别包括：

检索对应于与所述至少一个视频场景相关联的所述增强现实内容的增强现实内容面板；

确定所述相关部分将被呈现在所述第二显示装置上的位置和维数；以及

根据确定的所述位置和维数识别所述相关部分。

3.根据权利要求2所述的方法，其中，所述确定进一步包括确定与所述第一显示装置的方向对应的初始方向。

4.根据权利要求2所述的方法，其中，所述确定包括确定所述视频帧将被显示在所述第二显示装置上的位置和维数。

5.根据权利要求2所述的方法，其中，使用所述电子装置的照相机进行所述确定。

6.根据权利要求1所述的方法，所述方法进一步包括：

检测所述电子装置的方位变化；

识别所述增强现实内容的新相关部分，以在与所述电子装置相关联的第二显示装置上显示，所述新相关部分根据检测到的所述方位变化而被识别；以及

在所述第二显示装置上显示所述新相关部分。

7.根据权利要求6所述的方法，其中，所述检测方位变化包括检测所述电子装置围绕与所述第二显示装置的平面平行的轴的旋转。

8.根据权利要求7所述的方法，其中，所述旋转由所述电子装置的陀螺仪传感器检测。

9.根据权利要求6所述的方法，其中，所述检测方位变化包括检测所述电子装置沿着与所述第二显示装置的平面垂直的轴的运动。

10.根据权利要求9所述的方法，其中，所述运动由所述电子装置的加速度传感器检测。

11.根据权利要求6所述的方法，其中，所述识别新相关部分包括：

在检测到的所述方位变化是所述电子装置围绕与所述第二显示装置的平面平行的轴的旋转时，计算所述增强现实内容的所述新相关部分相对于所述相关部分的初始位置的坐标；并且

使用计算的所述坐标识别所述新相关部分。

12.根据权利要求6所述的方法，其中，所述识别新相关部分包括：

在检测到的所述方位变化是所述电子装置沿着与所述第二显示装置的平面垂直的轴的运动时，确定所述新相关部分将被显示在所述第二显示装置上的位置和维数；以及

根据确定的所述位置和维数来识别所述新相关部分。

13.一种系统，包括：

第一显示装置，被操作为显示包括至少一个视频场景的事件；

客户端装置，与所述第一显示装置相关联，并且被操作为与电子装置通信且接收请求与所述至少一个视频场景相关联的增强现实内容的用户输入；以及

电子装置，被操作为识别所述增强现实内容的相关部分，其中，所述相关部分包括与所述至少一个视频场景对应的视频帧以及围绕所述视频帧的附加内容；所述电子装置进一步包括被操作为显示所述相关部分的第二显示装置。

14.一个或多个计算机可读存储介质，所述一个或多个计算机可读存储介质被编码有包括计算机可执行指令的软件并且在执行软件时被操作为：

使电子装置能够与所述客户端装置通信；

识别所述增强现实内容的相关部分，以在与所述电子装置相关联的第二显示器上显示，其中，所述相关部分包括与所述至少一个视频场景对应的视频帧以及围绕所述视频帧的附加内容；以及

在所述第二显示装置上显示所述相关部分。