CN103152614B - 使用第二显示器进行语音驱动的跨服务搜索的系统和方法 - Google Patents

Abstract

本发明公开了使用第二显示器进行语音驱动的跨服务搜索的系统和方法。一种实施用于使用具有网络电视的第二显示器的技术的装置和方法。在一个实施方式中，此特征允许用户使用语音命令方便地直接从第二显示设备输入搜索项和用于控制其IPTV设备的其它命令。这在第二显示器是诸如智能电话或平板计算机的对于用户数据输入具有有限显示空间的设备的情况下尤其方便。

Description

使用第二显示器进行语音驱动的跨服务搜索的系统和方法

相关申请的交叉引用

本申请要求2011年11月11日提交的标题为“VOICE DRIVENCROSS SERVICE SEARCH FOR IPTV USING 2^ND DISPLAY”的美国临时专利申请序号No.61/558,697的优先权权益，所述专利申请由本发明受让人拥有并且其全文以引用的方式并入本文。2010年12月30日提交的标题为“DEVICE REGISTRATION PROCESS FROM SECOND DISPLAY”的共同拥有的美国专利申请序号No.12/982,463的全文也以引用的方式并入本文。

背景技术

随着IPTV本身的普及，通过因特网向IPTV递送数字内容不断增加。消费这些内容通常涉及浏览、搜索或者以其它方式在用户界面上指示在浏览或搜索时使用的项目。当用户界面较大时，例如，在膝上型计算机上，这些指示并不难。然而，当用户界面为手持式设备(诸如小型电话或平板计算机)或者TV遥控器时，这些指示变得明显难以输入。此外，这些设备上呈现的虚拟键盘通常不利于键入，因为难以实现真正的校准。

发明内容

公开了实施用于使用语音命令进行搜索的技术的系统和方法。在根据本文公开的原理的实施方式中，第二显示设备用作语音输入设备，以使用语音命令在主要显示设备(例如，诸如IPTV的内容回放设备)上或结合主要显示设备执行跨服务搜索。在其它实施方式中，语音输入设备不需要为第二显示设备，而是可以是具有网络能力和用于语音输入的麦克风的另一设备，诸如内容回放设备、蓝盘播放器或通用遥控器。

一方面，本发明涉及一种使用第二显示器执行与在内容回放设备上回放媒体内容有关的功能的方法，该方法包括：在代理服务器与第二显示器之间建立会话，所述会话与用户账户相关联，所述第二显示器还与至少一个内容回放设备相关联；在所述服务器处接收音频数据，所述音频数据指示所述服务器将要执行的功能的至少一部分；将所述音频数据转换为文本数据；使用所述文本数据执行所述功能；并且将执行所述功能的结果集合传输到第二显示器或传输到与所述第二显示器相关联的内容回放设备。

本发明的实施方式可以包括以下的一个或多个。所述功能可以为搜索功能，并且所述结果集合可以包括搜索结果。所述转换可以通过语音转文本引擎来执行。所述方法还可以包括接收对来自所述集合的结果的选择，并且还可以包括接收来自内容回放设备的认证凭证，并且还可以包括使得在内容回放设备上回放所述选择。所述方法还可以包括使用户账户和内容回放设备隶属于(affiliated with)服务提供商，隶属包括将至少一个用户账户标识符和认证凭证传输到服务提供商。所述方法还可以包括使用户账户和内容回放设备隶属于多个服务提供商，隶属包括将至少一个用户账户标识符和认证凭证传输到这些服务提供商中的每一个，并且使用所述文本数据执行所述功能还可以包括使用所述文本数据来针对这些服务提供商中的每一个执行搜索。所述方法还可以包括选择用于浏览通过代理服务器来自服务提供商的内容项的内容回放设备。所述内容回放设备可以为IPTV、音频系统或数字视频录像机。第二显示器可以是平板计算机、智能电话、膝上型计算机、台式计算机、因特网装置或具有因特网访问的计算设备。

另一方面，本发明涉及一种非暂时性计算机可读介质，其包括用于使计算设备实施上述方法的指令。

又一方而，本发明涉及一种使用第二显示器执行与在内容回放设备上回放媒体内容有关的功能的方法，该方法包括：在第二显示器与代理服务器之间建立会话，所述会话与用户账户相关联；在第二显示器处接收音频数据，所述音频数据指示所述服务器将要执行的功能的至少一部分；在第二显示器处将所述音频数据转换为文本数据；将所述文本数据传输到所述代理服务器；以及在第二显示器或与所述第二显示器相关联的内容回放设备处接收所述功能的结果集合。

本发明的实施方式可以包括以下的一个或多个，所述功能可以为搜索功能，并且结果集合可以包括搜索结果。所述功能可以为命令提示，并且结果集合可以包括命令结果。所述方法还可以包括将对来自所述集合的结果的选择传输到服务器。所述方法还可以包括在第二显示器上接收对应于回放结果的内容项的至少一部分。所述方法还可以包括将内容回放设备的认证凭证传输到服务器，并且在所述内容回放设备上接收对应于回放结果的内容项的至少一部分。所述方法还可以包括使用户账户和内容回放设备隶属于服务提供商，隶属包括将至少一个用户账户标识符和认证凭证传输到服务提供商。所述第二显示器可以是智能电话，并且在所述第二显示器处接收音频数据可以包括使用智能电话的内部麦克风接收音频数据。所述第二显示器可以是智能电话，并且在所述第二显示器处接收音频数据可以包括使用与智能电话进行数据通信的外部麦克风接收音频数据。

另一方面，本发明是涉及一种非暂时性计算机可读介质，其包括用于使计算设备实施上述方法的指令。

在使用第二显示器时，其用作IPTV的视觉辅助，但是通常不需要用户的额外投资，因为其利用大部分用户已经拥有的如智能电话、平板计算机等的设备。这种第二显示器是IPTV的完美补充，这是因为第二显示器在各方面的优势，包括与语音输入直接有关的方面，包括支持的语言和字体集、数据输入、处理能力和在内容管理方面的用户体验。第二显示器可以包括能够运行与内容回放设备通信的应用的任何设备，包括但不限于智能电话、个人计算机、膝上型计算机、笔记本计算机、上网本计算机、手持计算机、个人数字助理、移动电话、平板计算机、手持式游戏设备、游戏机，以及为这些目的专门设计的设备，在这种情况下，该专用设备将会包含至少一个处理器以及足够的资源和联网能力来运行网页应用。

在第二显示器上(可以接受语音输入)运行的应用可以为网页应用(脚本或非脚本)、本机应用、Java应用或者能够与服务器通信的任何其它种类的应用。例如，可以使用具有RPC的ASP/.NET框架来编写第二显示应用。在第二显示器上运行的网页应用以HTML或具有JavaScript的HTML编写时，其可以由具有浏览器的任何设备加载，因此其并不限于仅仅少量兼容设备或昂贵的遥控。在使用智能电话时，可以使用音频输入软件的具有适当的区段列表和适当的移动解决方案的移动版本。

与服务提供商的通信可以通过代理服务器发生，并且代理服务器向服务提供商呈现内容回放设备的认证凭证，这样使得第二显示器作为已认证的内容回放设备呈现给服务提供商。

内容回放设备可以采取许多形式，并且多个内容回放设备可以耦接到给定局部网络并且在给定局部网络中被选择。示例性内容回放设备可以包括IPTV、DTV、数字音频系统或者已经为连接性进行了适当配置的更传统的音频和视频系统。在视频系统中，内容回放设备包括控制视频显示器在其上渲染内容的处理器。

在一般方法中，使用第二显示器的用户具有用户账户，该用户账户具有服务源或服务交换所。在此，源或交换所被表示为管理服务器上的用户账户，但是应理解的是，用户账户可以直接与服务提供商一起。在任何情况下，此账户都在其上存储有有关于哪些内容回放设备与该账户相关联的信息。当用户登录时，他们可以看到此内容回放设备列表，并且可以选择特定的内容回放设备。如果在网络上仅存在一个内容回放设备，或者如果用户以不需要内容回放设备身份的方式进行浏览，那么可以省略这个步骤。

一旦选择了内容回放设备，那么可以显示服务列表(如果多于一个服务可用)。在上文以引用的方式并入的专利申请中提供了服务及其选择过程的详情。然而，在此应注意的是，用户可以选择一个或多个服务来进行搜索或浏览，并且搜索项的输入和其它这种选择可以使用语音输入来发生。这种搜索可以跨各种服务或者在单个服务内发生。一旦选择了特定的内容项，那么可以访问服务以进行回放。

在许多情况下，访问服务需要变成隶属于服务。隶属又需要某些用户账户信息以及在一些情况下需要内容回放设备的认证凭证。在大部分情况下，在浏览和搜索服务之前，必须使内容回放设备隶属于服务，之后，用户可以选择他们希望浏览哪些服务。对于尚未选择内容回放设备的情况来说，用户可以仍然使用例如语音输入来选择服务和搜索，但是内容提供较少特定于给定内容回放设备。一般来说，希望作出特定于给定内容回放设备的选择，因为这增强了用户的整体体验，尤其是在非常重视屏幕大小的情况下，诸如在移动设备上。

在某些实施方式中，所述系统和方法可以包括管理服务器，所述管理服务器与内容回放设备一起与至少一个内容服务器通信，从而使得内容服务器提供用于在内容回放设备上呈现或访问的内容项。所述系统和方法还可以包括与管理服务器和第二显示器通信的代理服务器。在一些情况下，代理服务器可以与管理服务器合并，或者在其它情况下，可以为每个内容服务器或服务提供商提供单独的代理服务器。

可以使用包括至少一个处理器和与处理器通信以在处理器与广域网络之间建立通信的至少一个网络接口的代理服务器。至少一个计算机可读存储介质可由处理器访问，并且承载使得处理器从第二显示器接收逻辑信息的逻辑。响应于确定逻辑信息正确，服务器将与逻辑信息相关联的内容回放设备的本地IP地址发送给第二显示器。代理服务器从第二显示器接收关于向服务提供商的至少一个内容服务器请求内容回放设备可用的服务列表的内容回放设备的信息，并且将对于该服务列表的请求发送到管理服务器。代理服务器从管理服务器接收该列表，并将其发送到第二显示器以在其视频显示器上呈现信息。代理服务器从第二显示器接收对于内容项的请求，并且响应于对内容项的请求，请求对内容服务器的服务登录。代理服务器从内容服务器接收回项目、资源(asset)、类别或服务的列表，并将该列表发送到第二显示器。以此方式，该列表可呈现在第二显示器的视频显示器上，从而使得用户可以使用语音输入来输入选择，以命令内容回放设备搜索和回放选择。

本发明的某些实施例的优点可以包括以下的一个或多个。可以使用语音输入来接收语音命令。可以使用与第二显示器相关联的语音输入来控制或操作诸如内容回放设备的主要设备。可以响应于语音命令和数据来执行搜索和其它功能。使用所公开的系统和方法，比在小型电话或平板设备上键入搜索项更便于进行用户输入。所述系统和方法可以通过较小的硬件变化容易地被扩展到电视、BD和通用遥控器。

通过以下包括附图和权利要求的描述，其它优点将变得显而易见。

附图说明

相同的标号在全文中表示相同的元件。

图1为根据本原理的一方面的示例性系统的框图。

图2为示出根据本原理的另一方面的示例性方法的流程图。

图3为根据本原理的另一方面的示例性第二显示系统的框图。

图4为根据本原理的一方面的另一示例性第二显示系统的框图。

图5为根据本原理的另一方面的示例性服务器的框图。

图6为示出根据本原理的一方面的系统和方法的序列图。

图7示出示例性计算环境，例如，所公开的第二显示器、代理服务器、管理服务器或内容服务器的示例性计算环境。

相同的标号在全文中表示相同的元件。

具体实施方式

首先参考图1，展示了系统10，其包括具有显示器16的内容回放设备12，显示器16耦接到局部网络15，该局部网络可以是有线的、无线的或二者的组合。一个或多个第二显示器14a-14c也耦接到局部网络15，第二显示器14a-14c中示例性的一个第二显示器在本文称为第二显示器14i。第二显示器14a被示为智能电话，第二显示器14b被示为平板计算机；其它类型的第二显示器也同样被理解。

内容回放设备12和第二显示器14i可以通过局部网络15和因特网25来访问若干服务器，所述若干服务器包括管理服务器18、代理服务器22和对应于服务提供商的一个或多个内容服务器24(仅示出一个)。服务器18、22和24的功能在上文以及以引用的方式并入的申请和在某种程度上在以下描述中被描述。

参考图1，第二显示器14a包括用户界面17，用户可以在该界面上访问包括语音输入应用19的菜单。使用语音输入应用19，用户可以输入语音数据以控制服务器和服务提供商的某些功能。将理解的是，语音输入应用可与使得内容项在内容回放设备上进行回放的第二显示应用整合，或者语音输入应用可以是接收数据并将数据传递到第二显示应用以供随后传输到管理服务器架构的独立应用。在其它实施方式中，语音输入应用可以与第二显示应用分开运行，但是仍然将命令和数据传输到其自身的管理服务器架构，然后其结果在适当的情况下呈现在第二显示应用内或呈现在内容回放设备上。

在图1的系统中，第二显示器14a可以作为语音输入设备操作，以通过服务器18、22、24和35在主要设备(诸如内容回放设备12)上执行操作或者与该主要设备一起执行操作。在一个实施方式中，第二显示器14a将接收到的音频(例如，语音)发送到一个或多个服务器，并且这些服务器将音频转换为命令。这些服务器然后按照命令或数据(例如，搜索项)执行命令的功能，并在适当的情况下将关于搜索项的命令的结果返回到第二显示器或者返回到内容回放设备。在另一个实施方式中，服务器响应于命令执行操作，或者将请求发送到其它网络资源。服务器然后在适当的情况下将结果发送回第二显示器或者内容回放设备以进行呈现或与用户互动。

可以使用某些后端服务器35，然而将理解的是，后端服务器的功能可以并入到管理服务器、代理服务器乃至在一些情况下并入到服务提供商的功能中。后端服务器35包括语音转文本引擎26，其将接收到的音频语音样本转换为文本(例如，作为要被操作的数据)或者转换为命令。后端服务器35还可以包括搜索引擎28，该搜索引擎28可以被配置成搜索单个服务或者可以搜索数个服务，例如提供跨服务搜索功能。后端服务器35也可以包括操作调度服务的服务器，该调度服务负责接收音频数据和返回结果，例如，搜索结果。

应注意的是，除了使用第二显示器的功能之外，在某些实施方式中，内容回放设备12可以直接接收音频数据并将其传输到服务器18、22和24以及传输到后端服务器35。图1中，这种功能可以通过语音输入21来提供。语音输入21通常涉及使用耦接到内容回放设备的单个麦克风。

接下来参考图2的流程图30，其中实线框指示通常由第二显示器执行的步骤，并且虚线框指示通常由服务器执行的步骤，第一步骤为在第二显示器与服务器(诸如管理服务器)之间建立用户账户会话(步骤112)。用户账户通常与一个或多个内容回放设备相关联。第二显示设备(例如，智能电话、平板计算机等)可以用作主设备的代理。以此方式，具有第二显示设备的用户可以接收、观看以及通过主设备的服务列表进行搜索并且然后选择并在主设备上播放由第二显示设备指示的IPTV内容。虽然在所有实施方式中一般并不需要，但是用户账户会话的建立在许多布置下是共同的。此外，应注意的是，虽然将通信论述为在第二显示器与管理服务器之间，但是在许多情况下，这些通信将通过代理服务器发生，其功能如上所述。

在下一个步骤中，第二显示设备接收音频数据(步骤114)，所述音频数据用以在服务器上执行功能和进行搜索。用户可以使用第二显示器的内置麦克风(如果提供)输入要执行的搜索项或功能或命令。可替代地，还可以使用耦接到第二显示器的外部麦克风。第二显示器然后使用应用来将音频数据传输到管理服务器，该管理服务器将音频数据转换为文本数据，或者将音频数据转发到后端服务器以执行这些步骤。

执行这些步骤的方式可以不同。在一个实施方式中，在第二显示器处将音频数据转换为文本数据(步骤116)。文本数据然后被传输到搜索引擎以进行搜索，或者传输到另一个这种服务器以执行命令(步骤118)。此实施方式对于带宽小并且因此将难以进行音频文件的传输的情况尤其适用。

在不同的实施方式中，音频数据被传输到管理服务器，并且如果必要的话然后被传输到后端服务器(步骤122)。音频在后端被转换为文本数据，并发送到搜索引擎或其它服务器以执行所指示的功能(步骤124)。例如，后端服务器可以包括语音转文本引擎，其将接收到的语音样本转换为文本数据或转换为命令。后端服务器也可以包括搜索引擎。语音引擎然后将转换后的文本发送到搜索引擎，搜索引擎将转换后的文本与数据库中的项目进行比较，在适当的情况下匹配项目，并因此执行搜索。

在任一个实施方式中，搜索被执行，或者所指示的功能或命令被执行(步骤126)。在搜索引擎的情况下，搜索结果被生成。结果例如使用调度服务被返回(步骤128)。结果可以显示在第二显示器或另一个显示器(例如，内容回放设备)上(步骤132)。在一些情况下，然后可以接收对结果中的一个结果的选择的输入。服务器可以接收对搜索结果的选择，并且然后所述选择可以在选定的内容回放设备上被回放，或者在第二显示器上回放(如果这样配置)(步骤134)。在许多情况下，可以使用内容回放设备的认证凭证或其它这种标识符来使内容回放设备隶属于服务提供商(步骤136)从而允许其回放内容。

使用图1的此系统10，可以调节第二显示器14a的方便且灵活的用户界面17以为用户提供命令高级搜索体验，尤其是在语音输入与小屏幕大小的移动设备或平板设备组合时。

以下描述各个组件的方面。

图3示出第二显示器40的一个实施方式。第二显示器40包括显示模块138，该显示模块用于观看可以使用语音项输入数据的菜单选项和区段等。显示模块138也可以用于浏览列表和选择与内容回放设备有关的项目。例如，可以使用显示模块138来显示局部网络可以访问和/或第二显示器可寻址的内容回放设备列表，并且用户可以从该列表选择内容回放设备。除了选择内容回放设备之外，或者作为其替代，用户可以使用显示模块138来检查可访问的服务提供商列表。例如，这些服务提供商可以包括为电影或其它视频内容提供视频点播服务的服务提供商，或者在其上可以浏览和选择媒体和内容的任何数目的其它站点。在一个实施方式中，在选择了内容回放设备的情况下，可以基于设备渲染内容的能力来过滤结果。在另一个实施方式中，显示模块138可以不仅显示局部网络可访问的内容，而且可以显示驻留于局部网络上的内容，诸如存储在数字视频录像机或蓝播放器上的内容。

可选网页浏览模块142也可以在第二显示器14内，在第二显示应用以HTML或JavaScript编写的情况下，通过该网页浏览模块142可以浏览上述内容项。网页浏览模块142可以用多种方式实施，包括用HTML、JavaScript等。以这种方式实施的网页浏览模块允许其跨许多平台实施，从而允许使用任何数目的类型的第二显示器。然而，在一些情况下，可以使用特殊应用(例如，助手应用)来与特定的专有或非基于网页的技术通信。在第二显示应用是非基于网页的并且以例如本机代码编写的情况下，网页浏览模块142可以由适合的允许服务和内容选择或其它这类功能的其它模块取代。

第二显示器40还包括用于网络通信的模块146。网络通信模块146允许第二显示器与局部网络通信以及在一些情况下与特定设备直接通信。作为网络通信模块146的一部分，提供用于与内容回放设备通信的通信模块148。内容回放设备通信模块148允许第二显示器通过局部网络、经由因特网或直接与内容回放设备通信。这种直接通信可以包括各种类型的有线或无线传输方案，包括Wi-Fi、USB、红外、蓝等。第二显示器40还可包括语音输入模块144。语音输入模块144执行上述许多步骤，包括接收和传输语音数据，在一些情况下执行语音识别等步骤。

应注意的是，上述模块可以在硬件、非暂时性软件或它们的组合中实施。通常，上述模块可以在智能电话、平板计算机等的环境内实施。

参考图4，示出第二显示器50的另一个实施方式。在此实施方式中，第二显示器包括处理器152以及存储器154，该存储器154承载能够在第二显示器与服务器(诸如管理服务器或代理服务器)之间建立用户账户会话的计算机可读指令。第二显示器50还包括存储器156，该存储器156承载能够从例如内部或外部麦克风接收音频数据的计算机可读指令。第二显示器50还包括存储器158，该存储器158承载能够将音频数据传输到服务器(例如，通常通过局部网络和因特网)的计算机可读指令。第二显示器50进还包括存储器162，该存储器162承载能够将内容回放设备的认证凭证传输到服务器的计算机可读指令。以此方式，内容回放设备可以变得能够回放第二显示器所选择的。

现在描述各种可选存储器。第二显示器50还包括存储器164，该存储器164承载能够将音频数据转换为文本数据的计算机可读指令。第二显示器50还可以包括存储器166，该存储器166承载能够使用音频数据以认证或以其它方式识别用户(例如，使用声纹分析)的计算机可读指令。第二显示器50还可包括存储器160，该存储器160承载能够基于所传输的音频或文本数据从服务器接收结果的计算机可读指令。

参考图5，示出可根据本文描述的原理操作的服务器60的一个实施例。该服务器可以为例如上述代理服务器、管理服务器、后端服务器等。上文较为详细地描述了由代理服务器60内的存储器执行的步骤。服务器60包括处理器172。服务器60还包括存储器174，该存储器174承载能够在该服务器与第二显示器之间建立用户账户会话的计算机可读指令。服务器60还包括存储器176，该存储器176承载能够从第二显示器接收音频数据的计算机可读指令。存储器176还能够从其它源接收音频数据，包括从直接连接到内容回放设备的麦克风接收音频数据。服务器60还包括存储器178，该存储器178承载能够将接收到的音频数据转换为文本数据的计算机可读指令。服务器60还包括存储器182，该存储器182承载能够通过文本数据执行功能(例如，对文本数据中的项目进行搜索、执行由文本数据描述的命令等)的计算机可读指令。服务器60还包括存储器184，该存储器184承载能够基于所执行的功能将结果返回到第二显示器或者在一些情况下返回到内容回放设备的计算机可读指令。例如，存储器184可以将搜索结果返回到第二显示器。在另一个实施方式中，存储器184可以返回由用户提供并且由服务器执行的命令的结果。

现在描述个别组件的更普通细节。

内容回放设备12可以为例如IPTV、数字TV、数字声音系统、数字娱乐系统、数字视频录像机、视频盘播放器、这些的组合或可由用户在局部网络15上寻址的任何数目的其它电子设备。为了简单起见，在此说明书中，内容回放设备12将有时示例化为IPTV，在这种情况下其将通常包括控制视觉显示的处理器和诸如声音处理器机一个或多个扬声器的音频渲染器。处理器可以访问一个或多个计算机可读存储介质，所述介质诸如但不限于基于RAM的存储设备，例如实施动态随机访问存储(DRAM)的芯片、闪速存储器或基于磁盘的存储设备。实施当前的可由内容回放设备12执行的逻辑的软件代码也可以存储在被示出为采用本原理的存储器中的一个上。处理器可以从各种输入设备接收用户输入信号，所述输入设备包括遥控设备、诸如鼠标的点击设备、键盘、诸如麦克风的音频设备等。在一些实施方式中可以提供TV调谐器，尤其是在由IPTV实施内容回放设备12时，以从诸如机顶盒、卫星接收器、电缆头端、地面TV信号天线等源接收TV信号。来自该调谐器的信号然后被发送到处理器以呈现在显示器和声音系统上。诸如有线或无线调制解调器的网络接口与处理器通信，以通过局部网络15提供与因特网的连接性。将理解的是，内容回放设备12与因特网25之间的通信或者第二显示器14i与因特网之间的通信也可以通过除局部网络16之外的手段来替代。例如，第二显示器14i可以通过独立的移动网络与内容回放设备12通信。

一个或多个第二显示器14a-14c各自承载操作用于服务提供商的应用和内容选择所必需的处理器和组件，上文描述了其变体。具体来说，第二显示器中的处理器可以访问一个或多个计算机可读存储媒体，诸如但不限于基于RAM的存储设备，例如实施动态随机访问存储(DRAM)的芯片、闪速存储器或基于盘的存储设备。实施当前可由第二显示器执行的逻辑的软件代码也可以存储在被示出为采用本原理的存储器中的一个上。另外，第二显示器14i可以从各种输入设备接收用户输入信号，所述输入设备包括诸如鼠标的点击设备、键盘、触屏、遥控器、内部或外部麦克风等。诸如有线或无线调制解调器的网络接口与处理器通信，以提供对诸如上述因特网的广域网络的连接性。

服务器18、22和24具有各自的处理器，这些处理器访问各自的非暂时性计算机可读存储介质，所述介质可以为(但不限于)基于盘的存储设备和/或固态存储设备。这些服务器通过各自的网络接口与诸如因特网25的广域网络通信。代理服务器22在一些情况下可以与管理服务器18组合，然而在一些情况下，可能优选地将这些服务器分离以更好地适应服务器负荷。这些服务器可以通过因特网25来互相通信。在一些实施方式中，这些服务器可以位于相同的局部网络中，在这种情况下，它们可以通过局部网络而无需访问因特网来彼此通信。例如，在一个示例性实施方式中，管理服务器18和代理服务器22可以安置在相同的数据中心，因此二者之间的通信可以保持在数据中心内。

虽然下文描述了系统的示例性方法，但是在此将描述与第二显示器的某些布置特别有关的某些方法步骤。

响应于第二显示器14i向代理服务器22发送对于可执行的实体(utility)的请求，代理服务器22将该实体返回到每个第二显示器14i。运行该实体引出应用的实例。在此描述的实施方式包括网页应用，但是将理解的是，如上所述也可以使用其它类型的应用。第二显示器14i执行网页应用时提示用户将登录信息输入到每个第二显示器14i。登录信息可以为共同的，或者随第二显示器不同而可以不同。代理服务器22响应于从内容回放设备12接收到正确的登录信息，将内容回放设备12的本地IP地址返回到第二显示器14i，因为该地址先前已经注册到保持这类信息的用户账户。代理服务器22还可以返回局部网络上的内容回放设备的列表，响应于此，第二显示器14i可以选择一个以进行内容回放。接下来，每个第二显示器14i直接使用本地内容回放设备地址来访问内容回放设备12，以请求关于内容回放设备12的信息，该信息是从内容回放设备12返回到第二显示器14i的，从而使得内容回放设备12的本地地址无需为全球可寻址。每个第二显示器14i还可以选择内容以供在不回内容回放设备上进行回放。第二显示器14i将关于内容回放设备12的信息发送到代理服务器22，以从一个或多个服务提供商请求内容回放设备12可用的服务的列表。所述服务可以取决于所选择的内容回放设备12的设备特征。例如，如果所选择的内容回放设备12为IPTV，那么可以返回视频服务。如果所选择的内容回放设备12为音频系统，那么以返回音频服务。

代理服务器22将对于服务列表的请求中继转发到管理服务器18，管理服务器18将该列表返回到代理服务器22，代理服务器22又将该列表发送到第二显示器14i以将信息呈现在第二显示器14i上。响应于用户对该列表上的项目的选择，第二显示器14i向代理服务器22发送对于与选定的内容项相应的软件资源的请求。代理服务器22向提供该内容的内容服务器24请求服务登录，并且内容服务器24将内容项、资源、类别或服务的列表提供给代理服务器22，并且代理服务器22将该列表中继转发给第二显示器14i，以呈现在第二显示器14i上，从而使得用户可以导航以输入选择，该导航可以通过语音输入进行。响应于该选择，第二显示器14i将访问和回放所选择的内容的命令发送到内容回放设备12，其中可以再次借助语音输入。

播放本地内容项的命令可以为多种形式。第二显示器14i可以代表内容回放设备12将请求通信到代理服务器22，并且此请求可以经由局部网络或通过其它手段。可替代地，第二显示器14i可以将请求传输到内容回放设备12(其本身阐明该请求)，并且此传输一般可借助于局部网络、因特网或者经由诸如有线或无线传输方案的其它手段(包括通过USB、IR、蓝或任何其它方案)。如果第二显示器14i被配置成在非局部级别(例如，在服务器级别)寻址内容回放设备12，那么第二显示器14i可以实体位于实际上任何地方，并且仍能够排队等候内容或命令内容回放设备12播放内容。然而，在这种情况下，在第二显示器与内容回放设备直接通信或通过局部网络通信的情况下，服务器负荷将增加。

在此描述了布置内容重放设备的某些方法步骤。使用网络接口，内容回放设备12可以在因特网上与管理服务器18通信，也可以在因特网上与一个或多个内容服务器24通信以及与管理服务器18通信。管理服务器18接收并存储内容回放设备12的本地IP地址。内容回放设备12与管理服务器18通信，以布置来自由服务提供商操作的内容服务器24的内容项，以在内容回放设备12上进行回放。更详细来说，内容回放设备12将登录信息发送到管理服务器18，管理服务器18将用户令牌返回到内容回放设备12，该用户令牌必须随后由内容回放设备12呈现给内容服务器24以从内容服务器24获得内容。

图6为示出用于使得用户能够使用第二显示器来浏览内容回放设备、服务提供商、内容项并对其进行选择以由内容回放设备进行回放的系统和方法的示例性实施方式的序列图。图6假定用户已经创建了对与管理服务器的账户并且已经利用该账户使一个或多个内容回放设备被接纳。

在状态52，用户接通内容回放设备12。在状态54，内容回放设备将登录信息(包括例如用户名和密码)发送到管理服务器18，管理服务器18在状态56将用户令牌返回给内容回放设备，该用户令牌随后由内容回放设备呈现给内容服务器24以从该服务器获得内容。管理服务器18另外存储内容回放设备12的本地IP地址。

在状态58，用户接通第二显示器14i，并且例如例示网页浏览器会话，其中可以通过内容回放设备来实施控制。在状态60，在第二显示器14i上执行实体，第二显示器14i将请求发送到代理服务器22，代理服务器22在状态62返回网页应用(例如，具有JavaScript的HTML)，以供第二显示器执来浏览内容项。此应用可以对代理服务器22和内容回放设备12做出例如异步JavaScript和XML呼叫，以获得信息来控制内容回放设备12。

更具体来说，在状态64，使用从代理服务器22接收到的JavaScript，第二显示器14i提示用户将账户登录信息输入到第二显示器14i，所述账户登录信息包括例如在状态54内容回放设备在设备注册期间提供给管理服务器18的相同用户名和密码。当然，账户登录信息也可以不同。将了解的是，服务器18、22和24在需要时在其之间通信必要的账户信息，以实现本文描述的原理。

在认证请求状态63，代理服务器22响应来自第二显示器14i的正确的用户名和密码。代理服务器22通过管理服务器18核实用户名和密码(状态67和69)，创建会话令牌并将其传输到第二显示器，获得关于隶属于用户账户的内容回放设备的信息，并在状态65完成认证。代理服务器22可以将关于隶属于与用户名和密码相关联的用户账户的所有内容回放设备12的信息返回到每一个第二显示器，所述信息包括由管理服务器18在54处登录之后存储的这些内容回放设备的本地IP地址(并且随后提供给代理服务器22)。更详细来说，代理服务器22将令牌发送到第二显示器14i，该令牌与内容回放设备相关联，并且此令牌在第二显示器与代理服务器之间的未来交易中进行通信，从而使得代理服务器22知道内容项打算用于哪个内容回放设备。具有各个第二显示器的每一个用户随后可以选择内容回放设备，并浏览在状态96和随后的步骤可通过服务获得的服务和内容选项。

从通过局部网络通信的意义上说，第二显示器14i使用如上所述返回的本地IP地址直接访问内容回放设备。为了选择特定的内容回放设备，第二显示器14i在状态70请求关于内容回放设备12的信息，所述信息按需包括语言信息、数字版权管理(DRM)信息等，该信息是在状态72从内容回放设备返回到第二显示器14i的。由于第二显示器14i知道内容回放设备12的IP地址，并且因此直接与内容回放设备12通信，所以第二显示器14i使用内容回放设备12的本地网址(其无需是全球可寻址的)来通信，从而只要第二显示器14i和内容回放设备12在相同局部网络上，就可以如此通信。

每个第二显示器14i可以将在状态72接收到的客户端信息发送到代理服务器22，以向一个或多个内容服务器24请求内容回放设备12可用的服务列表或者内容回放设备12被授权的服务列表。代理服务器22将该请求中继转发到管理服务器18，管理服务器18将所请求的服务列表返回到代理服务器22。代理服务器22又将该服务列表发送到第二显示器以在例如第二显示器的显示器上呈现可用服务。每个用户在第二显示器上浏览服务及其内容，就像该第二显示器为实际内容回放设备一样。

用户可以使用如上所述的搜索项的语音命令和语音输入来执行跨一个或多个服务的搜索。用户可以使用例如对第二显示器的语音命令来输入对返回到第二显示器的列表上的服务的选择。作为响应，在状态74，第二显示器将对于相应服务的请求以及第二显示器已经通过管理服务器18从内容服务器24接收的服务令牌一起发送到代理服务器22。

响应于该请求，代理服务器22在状态86向提供选定服务的内容服务器24请求服务登录。在状态88，内容服务器24向代理服务器22提供内容项、资源、类别或服务的列表，根据情况而定，这些内容是针对特定内容服务器24的。如果需要，那么代理服务器22还可以向内容服务器24请求选项列表，并且该列表可以例如可扩展标记语言(XML)格式返回到代理服务器22，代理服务器22在状态80将可用于选择的内容项、资源、类别或服务中继转发到第二显示器。

可用于选择的内容被呈现在第二显示器上，从而使得用户可以在状态97导航显示器以输入选择。也可以使用语音输入来搜索内容和/或输入选择。响应于该选择，第二显示器在状态98将以播放所述选择的命令发送到内容回放设备12，并且具体来说发送播放列表id或指示选择的参考标识符。在状态100，内容回放设备12使用其认证凭证来将播放列表id或参考标识符发送到代理服务器22，代理服务器22在状态102返回所需要的播放列表数据。内容回放设备12随后可以在状态104请求具有播放列表数据的内容URL，响应于此在状态106内容URL返回以在内容回放设备12上回放内容项。

另外需注意，控制设备可以通过经由局部网络向内容回放设备发送编码的命令来命令内容回放设备播放内容，就好像编码的命令是从红外遥控器发送的一样，具体来说，例如，所述命令可以通过索尼红外遥控系统(SIRCS)协议发送。这些命令可以在输入和语音到文本转换之后被翻译为这种协议。

已经公开允许在无需增加单元硬件成本的情况下改进IPTV的用户体验的系统和方法。如上文所公开，用户可以使用语音输入来对管理服务器架构内的组件执行搜索以及其它功能和命令。这样一来，用户可以直接从第二显示器控制回放设备，诸如IPTV。

一种实施方式包括一个或多个可编程处理器和存储和执行计算机指令的相应的计算系统组件，执行计算机指令诸如执行提供给第二显示器的代码或各种服务器功能，例如，代理服务器22、管理服务器18和内容服务器24以及后端服务器35的的功能。参考图7，示出用于第二显示器或者用于任意服务器的示例性计算环境的表示。

该计算环境包括控制器186、存储器188、存储设备194、介质设备198、用户接口206、输入/输出(I/O)接口208和网络接口212。这些组件通过公用总线214互连。可替代地，可以使用不同的连接配置，诸如在中心具有控制器的星形图案。

控制器186包括可编程处理器，并且控制第二显示器和服务器及其用于语音输入和控制系统150的组件的操作。控制器186从存储器188或嵌入式控制器存储器(未示出)加载指令，并执行这些指令以控制系统。在其执行中，控制器186可以部分作为软件系统来提供对内容回放设备的第二显示控制。可替代地，可以将此服务实施为控制器186或第二显示器中的独立模块组件。

存储器188(其可以包括非暂时性计算机可读存储器192)存储暂时供第二显示器14i的其它组件使用的数据，并且存储器188可以包括如上所述的存储器154-168和174-184。在一个实施方式中，存储器188被实施为RAM。在其它实施方式中，存储器188也包括长期或永久存储器，诸如快闪存储器和/或ROM。

存储设备194(其可以包括非暂时性计算机可读存储器196)存储暂时或长期供第二显示器的其它组件和服务器使用的数据，诸如用于存储由系统使用的数据。在一个实施方式中，存储设备194为硬盘驱动器或固态驱动器。

介质设备198(其可以包括非暂时性计算机可读存储器202)接收可移除介质并读取数据和/或将数据写入到所插入的介质。在一个实施方式中，介质设备198为光盘驱动器或光盘刻录机，例如，可写入蓝盘驱动器204。

用户接口206包括用于接受来自第二显示器的用户的用户输入(例如，内容回放设备注册信息)并将信息呈现给用户的组件。在一个实施方式中，用户接口206包括键盘、麦克风、鼠标、音响喇叭和显示器。控制器186尤其是语音识别系统150使用来自用户的输入以调整第二显示器14i的操作，从而调整随后服务器的操作。

I/O接口208包括一个或多个I/O端口以连接到相应的I/O设备，诸如，外部存储设备或补充设备，例如打印机或PDA。在一个实施方式中，I/O接口208的端口包括如以下的端口：USB端口、PCMCIA端口、串行端口和/或并行端口。在另一个实施方式中，I/O接口208包括用于与外部设备进行无线通信的无线接口。这些I/O接口可以用来连接到一个或多个内容回放设备。

网络接口212允许与局部网络并且可选地与内容回放设备12连接，并且包括有线和/或无线网络连接，诸如RJ-45或以太网连接或“WiFi”接口(802.11)。将理解，许多其它类型的网络接口也是可以的，包括WiMax、3G或4G、802.15协议、802.16协议、卫星、蓝等。

第二显示器和服务器可以包括这些设备的通常具有的另外外的硬件和软件，例如，电力系统和操作系统，然而为简单起见在图中未具体示出这些组件。在其它实施方式中，可以使用不同配置的这些设备，例如，不同的总线或存储设备配置或多处理器配置。

已经描述了本发明的各种说明性实施方式。然而，本领域一般技术人员将认识到，另外的实施方式也是可能的，并且在本发明的范围之内。

例如，语音输入和所得的语音命令可以用于除搜索以外的操作，诸如控制用于显示或记录内容的主要设备的操作。语音输入可以不仅用于命令或数据输入，而且可用于识别特定用户，例如，通过与所存储的语音简档进行比较，以实现观看限制、追踪用途和其它目的。

在其它变体中，例如，在第二显示器上运行的应用可以为网页应用序、本机应用、Java应用或者可用来与服务器建立会话的任何其它种类的应用。用户也可以搜索并请求存在于局部网络内的要回放的内容项，例如，存储在DVR或蓝播放器上的内容。

此外，虽然本发明的若干实施方式包括用户选择特定的内容回放设备以进行回放，但是在一些实施方式中，用户可以不选择任何内容播放设备来浏览内容。虽然所述系统和方法已经描述了其中在浏览之前已经选择内容播放设备并且极少或完全不参考内容播放设备的实施方式，但是其他变体也是可能的。例如，可以使用高速缓存或cookie或其它信息来存储关于内容回放设备的信息，从而使得无需用户选择。在另一个示例中，可以从内容服务提供商获得内容项的样本，并且这些样本可以在无需用户选择内容回放设备以进行回放的情况下被自由浏览。在另一个变体中，可以使用在启动之后根据简档来通信内容回放设备信息的简档系统，例如，给定内容回放设备可以始终与给定服务提供商相关联并且可以通过给定服务提供商来进行自我认证。在这个意义上，内容回放设备仍然被选择，但是该选择不需要由用户进行确认步骤。使用这些替代方式或其它中的任一个，确保了每个内容回放设备的内容消费被追踪。如上所述，这进一步允许了代理服务器过滤掉内容回放设备不能播放的内容。

虽然以上描述集中于将第二显示器通过局部网络或通过因特网耦接到内容回放设备的实施方式，但是将理解的是，其将适用于二者可以进行通信的任何方法，包括3G、4G和其它此类方案。

因此，本发明并不限于仅以上描述的那些实施方式。

Claims (20)

1.一种使用第二显示器设备执行与在内容回放设备上回放媒体内容有关的功能的方法，包括：

i.在代理服务器与第二显示器设备之间建立会话，所述会话与用户账户相关联，所述第二显示器设备还与至少一个内容回放设备相关联，其中在代理服务器处的认证处理将至少一个内容回放设备与所述第二显示器设备相关联，并且其中所述第二显示器设备被配置为通过所述代理服务器控制在所述至少一个内容回放设备上的内容回放，所述代理服务器向一个或多个服务提供商提供所述内容回放设备的认证凭证；

ii.在所述服务器处接收音频数据，所述音频数据指示所述服务器将要执行的功能的至少一部分；

iii.将所述音频数据转换为文本数据；

iv.使用所述文本数据来执行所述功能；并且

v.将执行所述功能的结果集合传输到所述第二显示器设备或者传输到与所述第二显示器设备相关联的内容回放设备。

2.如权利要求1所述的方法，其中所述功能是搜索功能，并且其中所述结果集合包括搜索结果。

3.如权利要求1所述的方法，其中所述转换通过语音转文本引擎来执行。

4.如权利要求2所述的方法，还包括接收对来自所述集合的结果的选择，并且还包括接收来自所述内容回放设备的在所述认证处理中所建立的认证凭证，并使得在所述内容回放设备上对所选择的进行回放。

5.如权利要求4所述的方法，还包括使所述用户账户和内容回放设备隶属于所述服务提供商，所述隶属包括将至少一个用户账户标识符和所述认证凭证传输到所述服务提供商。

6.如权利要求5所述的方法，还包括使所述用户账户和内容回放设备隶属于多个服务提供商，所述隶属包括将至少一个用户账户标识符和所述认证凭证传输到这些服务提供商中的每一个，并且其中，使用所述文本数据来执行所述功能包括使用所述文本数据来针对这些服务提供商中的每一个执行搜索。

7.如权利要求1所述的方法，还包括选择用于浏览通过代理服务器来自服务提供商的内容项的内容回放设备。

8.如权利要求1所述的方法，其中所述内容回放设备是IPTV、音频系统或数字视频录像机。

9.如权利要求1所述的方法，其中所述第二显示器设备是平板计算机、智能电话、膝上型计算机、台式计算机、因特网装置或具有因特网访问的计算设备。

10.如权利要求1所述的方法，其中所述认证处理、所述内容回放设备和所述第二显示器设备中的每一个都与所述代理服务器通信以接收令牌。

11.如权利要求10所述的方法，其中所述令牌在所述第二显示器设备和所述代理服务器之间的未来交易中进行传送。

12.一种使用第二显示器设备执行与在内容回放设备上回放媒体内容有关的功能的方法，包括：

i.在第二显示器设备与服务器之间建立会话，所述会话与用户账户相关联，所述第二显示器设备被配置为通过代理服务器控制在所述至少一个内容回放设备上的内容回放，所述代理服务器向一个或多个服务提供商呈现所述内容回放设备的认证凭证；

ii.在所述第二显示器设备处接收音频数据，所述音频数据指示所述服务器将要执行的功能的至少一部分；

iii.在所述第二显示器设备处将所述音频数据转换为文本数据，所述转换通过语音转文本引擎来执行；

iv.将所述文本数据传输到所述服务器；以及

v.在所述第二显示器设备或与所述第二显示器设备相关联的内容回放设备处接收所述功能的结果集合。

13.如权利要求12所述的方法，其中所述功能是搜索功能，并且其中所述结果集合包括搜索结果。

14.如权利要求12所述的方法，其中所述功能是命令提示，并且其中所述结果集合包括命令结果。

15.如权利要求13所述的方法，还包括将对来自所述集合的结果的选择传输到所述服务器。

16.如权利要求15所述的方法，还包括接收对应于所述结果的来自于服务提供商的内容项的至少一部分以在所述第二显示器设备上回放。

17.如权利要求15所述的方法，还包括将所述内容回放设备的认证凭证传输到所述服务器或服务提供商，并且接收对应于所述结果的来自于所述服务器或服务提供商的内容项的至少一部分以在所述内容回放设备上回放。

18.如权利要求17所述的方法，还包括使所述用户账户和内容回放设备隶属于服务提供商，所述隶属包括将至少一个用户账户标识符和所述认证凭证传输到所述服务提供商。

19.如权利要求12所述的方法，所述第二显示器设备是智能电话，并且在所述第二显示器设备处接收音频数据包括使用所述智能电话的内部麦克风来接收音频数据。

20.如权利要求12所述的方法，所述第二显示器设备是智能电话，并且在所述第二显示器设备处接收音频数据包括使用与智能电话进行数据通信的外部麦克风来接收音频数据。