CN101120333A - 用于远程用户界面的系统和方法 - Google Patents

Abstract

一种远程用户界面提供了一种具有复杂画面的全动的、全色动态界面，而不会对消费电子设备施加繁重的硬件要求。取而代之的是，所述硬件要求设置在指定为媒体服务器的另一台计算机设备上。所述媒体服务器生成复杂的用户界面(UI)，将所述UI编码成一个或多个压缩的视频帧，并将所述压缩的视频帧发送到CE设备。CE设备播放UI视频，如同其会播放任何其它视频。用于与UI交互的用户输入由所述媒体服务器进行发送和解释。所述媒体服务器根据交互更新UI图像。

Description

用于远程用户界面的系统和方法

技术领域

【0001】本发明涉及远程用户界面，且更具体地讲，涉及一种在消费电子设备上显示的远程用户界面。

背景技术

【0002】存在一种日益增强的趋势为利用消费电子(CE)设备例如电视机、便携式媒体播放器、个人数字助理(PDA)及类似产品来获得、观看并管理数字媒体。典型的数字媒体可以包括照片、音乐、视频和类似媒体。消费者想方便地用CE设备来享受数字媒体内容，而不管媒体在不同设备上的存储以及这种设备在家中的位置。

【0003】为了使用户获得、观看并管理数字媒体，CE设备配有用户可以与其交互的用户界面(UI)。目前，现有的用户界面一般限于计算机生成的JPEG或BMP画面。然而，这种计算机生成的图像在它们能提供的视觉、动作和效果类型上是受到限制的。

【0004】同样，在现有技术中，在CE设备上显示的用户界面是由CE设备本身生成的。这就要求制造的CE设备应配有必需的UI浏览器、字体库以及渲染能力，这些是要提供的用户界面类型所需要的。因此，可以显示的画面类型是受到CE设备的处理能力限制的。所提供的用户界面越丰富，对CE设备的处理要求也就越繁重。

【0005】因此，需要一种CE设备，它能提供丰富的用户界面，而不会对CE设备施加繁重的处理要求。

发明内容

【0006】本发明的各个实施例涉及在远程设备上生成丰富的UI。根据这些实施例的远程UI提供了一种具有复杂画面的全动、全色动态界面，而不对CE设备施加繁重的硬件要求。取而代之的是，硬件要求设置在指定为媒体服务器的另一台计算机设备上。媒体服务器生成复杂的U1，将UI转换成压缩的视频格式，并将压缩的视频发送到CE设备。因此，考虑到一种成本效益合算的CE设备，CE设备可以保持相对简单些。

【0007】根据一个实施例，本发明涉及一种用于数据通信网络中远程用户界面的方法，所述数据通信网络包括连接到服务器的客户机设备，其中所述方法包括从数据存储器中获取第一基于图形的图像；将所述第一基于图形的图像编码为压缩的视频帧；将所述压缩的视频帧流式传输到所述客户机设备，所述客户机设备被配置成解压缩并播放所述视频帧；从所述客户机设备接收控制事件；以及基于接收的控制事件从所述数据存储器中获取第二基于图形的图像。

【0008】根据另一个实施例，本发明涉及一种用于数据通信网络中远程用户界面的方法，所述数据通信网络包括连接到服务器的客户机设备，其中所述方法包括解码并解压缩从所述服务器接收的一个或多个压缩的第一视频帧；播放包含在所述一个或多个第一视频帧中的第一视频，所述第一视频提供一个或多个用户界面图像；接收响应所述一个或多个用户界面图像的用户输入数据；基于所述用户输入数据生成控制事件；将所述控制事件发送到所述服务器；以及从所述服务器接收一个或多个压缩的第二视频帧，以响应发送的控制事件，所述一个或多个压缩的第二视频帧包含更新的一个或多个用户界面图像。

【0009】根据另一个实施例，本发明涉及一种在客户机设备上提供远程用户界面的服务器，所述客户机设备通过有线或无线数据通信网络连接到所述服务器。所述服务器包括存储第一基于图形的图像的帧缓冲器，将第一基于图形的图像编码为压缩的视频帧的视频编码器，以及连接到所述视频编码器和所述帧缓冲器的处理器。所述处理器将所述压缩的视频帧流式传输到所述客户机设备，并且所述客户机设备被配置成解压缩并播放所述视频帧。所述处理器从所述客户机设备中接收控制事件，并基于接收到的控制事件从所述帧缓冲器中获取第二基于图形的图像。

【0010】根据本发明的一个实施例，所述服务器包括一个连接到所述帧缓冲器的图形处理单元，所述缓冲器生成第一基于图形的图像。所述图形处理单元还基于所述控制事件更新第一基于图形的图像，并将更新的第一基于图形的图像作为第二基于图形的图像存储在所述帧缓冲器中。

【0011】根据本发明的一个实施例，所述服务器包括一个专用视频传输信道接口，其用于将所述压缩的视频帧流式传输到客户机设备；和一个专用控制信道接口，其用于从所述客户机设备接收所述控制事件。

【0012】根据另一个实施例，本发明涉及一种通过有线或无线数据通信网络连接到服务器用以提供用户界面的客户机设备。所述客户机设备包括一个视频解码器，其解码并解压缩从服务器接收的一个或多个压缩的第一视频帧；一个显示器，其连接到所述视频解码器用以显示包含在一个或多个第一视频帧中的第一视频，所述第一视频提供一个或多个用户界面图像；一个用户输入端，其提供用户输入数据以响应一个或多个用户界面图像；和一个处理器，其连接到所述用户输入端用以基于所述用户输入数据生成控制事件并将所述控制事件发送到所述服务器，所述处理器从所述服务器接收一个或多个压缩的第二视频帧，所述第二视频帧包含更新的一个或多个用户界面图像。

【0013】根据一个实施例，一个或多个用户界面图像是交互式菜单页的图像，且用户输入数据是用于用户选择特定菜单页上的菜单项。

【0014】根据本发明的另一个实施例，基于图形的图像是交互式计算机游戏场景，且用户输入数据是用于用户选择计算机游戏场景中的游戏对象。

【0015】根据本发明的又一个实施例，基于图形的图像是交互式网页，且用户输入数据是用于用户选择网页上的链接。

【0016】根据一个实施例，所述客户机设备包括一个用于接收一个或多个压缩的第一和第二视频帧的视频传输信道接口，和一个用于发送控制事件的专用控制信道接口。

【0017】根据本发明的一个实施例，所述专用视频传输信道接口接收用加密密钥加密的媒体，并且客户机设备被编程以获取解密密钥用来解密并播放加密的媒体。

【0018】关于以下详细说明和附图考虑本发明的这些及其它特征、方面和优点时，将更全面地理解本发明。

附图说明

【0019】图1是根据本发明的一个实施例，一种在一个或多个CE设备上提供丰富远程UI的系统的方块图；

【0020】图2是根据本发明的一个实施例，说明媒体服务器和客户机之间通信的示意方块图；

【0021】图3是根据本发明的一个实施例，图2中的媒体服务器的更详细的方块图；

【0022】图4是根据本发明的一个实施例，图2中的客户机的更为详细的方块图；

【0023】图5是根据本发明的一个实施例，一个用于设置媒体服务器和客户机CE设备的过程的流程图；

【0024】图6是根据本发明的一个实施例，一个发送到媒体服务器的示例UI事件包的示例性方块图；

【0025】图7是根据本发明的一个实施例，一个用于发送UI视频以及其它类型媒体数据的数据包的示例性方块图；和

【0026】图8A和8B分别是根据本发明的一个实施例，说明生成和/或更新客户机上显示的远程UI的流程图和示意方块图。

具体实施方式

【0027】概括来说，本发明的各个实施例涉及在远程设备上生成丰富的UI。术语UI在本说明书中是指由计算机程序提供的、与用户交互的任何类型的界面。计算机程序可以为用户的选择提供例如菜单、图标和链接。计算机程序也可以是一种提供具有超链接和其它用户可选字段的网页的浏览器程序。计算机程序还可以采用计算机游戏的形式，其提供了在计算机游戏场景内由用户操作的不同的游戏对象。

【0028】不管UI的类型，根据这些各种实施例的UI提供了一种具有复杂画面的全动、全色动态界面，而不会对CE设备施加繁重的硬件要求。取而代之的是，硬件要求设置在指定为媒体服务器的另一台计算机设备上。媒体服务器生成复杂的UI，将所述UI编码成一个或多个压缩的视频帧，并将所述压缩的视频帧发送到CE设备。因此，CE设备可以保持相对简单，以最小化制造CE设备的成本。

【0029】图1是根据本发明的一个实施例，一种用于在一个或多个CE设备上提供丰富远程UI的系统的方块图。所述系统包括媒体服务器100，其通过数据通信网络108连接到一个或多个客户机CE设备102。根据本发明的一个实施例，数据通信网络108是局域网、本地广域网或者无线局域网。媒体服务器100也可以连接到诸如因特网的公共数据通信网络110，用以将CE设备102连接到各个在线服务提供商112和网络服务器116。

【0030】根据本发明的另一个实施例，CE设备通过广域无线网络或者本领域常规的任何其它类型网络(例如因特网)与媒体服务器100通信。媒体服务器可以在与在线服务提供商112相同或不同的网络上。实际上，媒体服务器可以并入计算机中，该计算机为特定的在线服务提供商112提供在线服务。

【0031】媒体服务器100可以采用任何联网设备的形式，其具有处理器和相关存储器以运行媒体服务程序。因此，媒体服务器100可以是个人计算机、便携式计算机、机顶盒、数字视频记录器、立体声或家庭影院系统、广播调谐器、视频或图像捕捉设备(例如照相机或摄像机)、多媒体移动电话、因特网服务器或类似设备。

【0032】客户机102可以采用任何联网CE设备的形式，其配有必需的外围设备、硬件和软件用以接收用户输入数据并渲染音频、视频和覆盖图像。示例性的CE设备包括但不局限于TV监视器、DVD播放器、PDA、便携式媒体播放器、多媒体移动电话、无线监视器、游戏控制台、数字媒体适配器和类似设备。

【0033】媒体服务器100向客户机102提供丰富的UI视频以及其它类型的媒体，用于客户102播放。由媒体服务器100提供的媒体可以是存储在其本地媒体数据库106中的媒体和/或是存储在其它多媒体设备104、在线服务提供商112或网络服务器116中的媒体。

【0034】图2是根据本发明的一个实施例，说明媒体服务器100和特定客户机102之间通信的示意方块图。在所说明的实施例中，媒体服务器100与客户机102交换各种类型的媒体数据和控制信息204，诸如视频、音乐、图片、图像覆盖(overlay)和类似信息。在视频的情况下，其一般以压缩格式发送给客户机102。因此，客户机102包括一个或多个视频解码器114，其解码并解压缩从媒体服务器100接收的压缩视频。媒体服务器100还生成图形的UI图像，将UI图像转换成压缩的视频格式，并将该视频作为UI视频流200发送到客户机102。

【0035】与传统计算机类型的UI相比，向CE设备提供的UI通常使用更多的动作、覆盖、背景图像和/或特技效果。可由CE设备提供的UI的一个例子是DVD菜单。由于显示在CE设备上的增强视觉效果，传统用于压缩计算机类型的UI的压缩机制不足以对提供给CE设备的UI进行压缩。然而，用于压缩动作视频的传统视频压缩机制，诸如由视频解码器114采用的那些机制，也适于对提供给CE设备的UI进行压缩。因此，采用这种视频压缩机制来压缩提供给CE设备的UI，且视频解码器114用来解码并解压缩视频编码的UI图像。这种视频压缩机制包括，例如H.264、MPEG(包括MPEG-1、MPEG-2、MPEG-4)和其它专用的MPEG实现方法，诸如DivX。

【0036】DivX是基于MPEG-4压缩格式的视频编解码器。DivX将来自几乎任何来源的视频压缩成一个通过因特网可传输的大小，而不会显著降低原始视频的视觉质量。DivX的各种版本包括DivX 3.xx、DivX 4.xx、DivX 5.xx和DivX 6.xx。

【0037】客户机CE设备102的用户利用任何一种上述的视频压缩机制来接收压缩的UI视频，并作为响应生成UI事件202。UI事件202被发送到媒体服务器100，用于由服务器而不是客户机本身来处理和解释。将处理要求推给服务器而不是将其保留在客户机中使得可以使用瘦客户机，而不会损害提供给终端用户的用户界面类型。

【0038】示例性的UI事件是在远程控制器上对显示的UI菜单进行响应的按键选择。按键数据作为UI事件被发送到媒体服务器100，并且作为响应，媒体服务器100解释该按键数据，并且将UI帧加以更新并重新发送到客户机以反映按键选择。

【0039】根据本发明的一个实施例，UI事件202是用本领域已知的各种加密和/或认证机制来加密处理的。这种加密处理有助于防止未授权的CE设备从媒体服务器100接收媒体以及其它相关信息和服务。

【0040】根据本发明的一个实施例，在媒体服务器100和客户机102之间建立单独的媒体传输连接，用以传送UI流200、接收UI事件202并且用以参与其它类型的媒体传输和控制204。一种改进的媒体传输协议，例如在题为“Improved Media Transfer Protocol”的美国专利申请中描述的改进媒体传输协议，可以用来通过已建立的媒体传输连接交换数据。根据这个改进的媒体传输协议，UI流200通过视频连接进行发送，而UI事件202通过控制连接进行发送。音频连接，图像覆盖连接和带外连接也可以是分别建立的，用以参与其它类型的媒体传输和控制204，这在题为“Improved Media Transfer Protocol”的申请中有更详细的描述。例如，带外信道可以用来交换数据，以重新同步服务器的媒体位置，从而响应特技的播放操作，例如由客户机CE设备的用户进行快进、倒带、暂停和跳过操作。单独的音频和覆盖信道可以分别用于将音频和图像覆盖数据从服务器100发送到客户机102。

【0041】用单独的媒体传输信道来发送不同类型的媒体使得媒体可以根据它们的各个数据传输率进行发送。而且，改进的媒体传输协议提供了流模式，其允许客户机接收到媒体后就马上渲染每种类型的媒体，而不用处理细微的同步问题。因此，UI视频可以与背景音乐和图像覆盖数据一起显示，而不要求这种数据与UI视频的同步。

【0042】尽管考虑了UI视频流200是通过视频传输信道接口在专用视频传输信道上发送的，UI事件202是通过专用控制信道接口在专用控制信道上发送的以及其它类型的媒体是通过它们各自的接口在专用媒体传输信道上发送的，但是本领域技术人员应该认识到UI视频流可以在单个数据传输信道上与其它类型的媒体数据(例如音频和/或覆盖数据)交错。

【0043】图3是根据本发明一个实施例的媒体服务器100的更详细的方块图。媒体服务器100包括与网络传输模块302和媒体数据库106通信的媒体服务器模块300。媒体服务器模块300可以通过应用程序接口(API)与网络传输模块302相接。

【0044】媒体服务器模块300包括连接到图形处理单元(GPU)308的主处理模块306，和帧缓冲器310。主处理模块306进一步包括网络接口328，其用以通过公共数据通信网络110与网络服务器116和在线服务提供商112进行通信。

【0045】主处理模块306接收UI事件和其它控制信息312，处理/解释该信息，并为网络传输模块向客户机102传输适当媒体生成适当的命令。

【0046】如果要传输的媒体是UI，则主处理模块306调用GPU 308以生成UI的图形图像。GPU采用传统步骤来生成图形图像，例如装载必需的纹理、进行必需的转换、光栅化(rasterizing)及类似步骤。然后，生成的图形图像存储在帧缓冲器310中直到被传递到网络传输模块302。

【0047】根据本发明的一个实施例，图形图像可以从本地源或远程源中进行获取。例如，如果UI采用网页形式，则要显示的特定网页是通过网络接口328从网络服务器116获取的。

【0048】网络传输模块302可以通过本领域常规的任何机构实现，例如由主处理模块306执行的软件模块。网络传输模块包括由一个或多个编码器330(如视频编码器)提供的编码能力，用以生成适当的媒体传输对象，从而传输从媒体服务器模块300所接收的媒体。在这点上，生成UI传输对象314以将UI和相关的媒体以UI模式发送到客户机102。也可以生成其它的媒体传输对象(多个对象)316，以便以非UI模式发送不同类型的媒体。

【0049】网络传输模块生成适当的媒体传输对象，以响应由主处理模块306发送的命令318。根据本发明的一个实施例，命令318包括媒体类型和待传输的媒体路径。媒体路径可以由统一资源标识符(URI)识别。

【0050】网络传输模块302创建适当的媒体传输对象(诸如UI传输对象314)以响应所接收的命令318。然后利用适当的API命令，媒体数据被发送到生成的媒体传输对象。例如，帧缓冲器310中所存储的UI帧可以通过“发送UI帧”命令320被发送到UI传输对象314。其它媒体数据322也可以通过它们适当的API命令被发送到生成的传输对象。例如，背景音乐和覆盖数据可以被发送到UI传输对象314，以便和UI视频流一起发送到客户机。根据本发明的一个实施例，UI视频以及与UI视频一起发送的其它类型媒体都是通过单独的媒体传输信道以异步流模式发送的。

【0051】生成的传输块314或316从媒体服务器模块300接收媒体数据，并生成适当的媒体数据包作为响应。在这种情况下，媒体传输块生成适当的报头并将其附到媒体数据包上。然后，这些包通过一个或多个数据传输信道324、326被发送到客户机。

【0052】图4是根据本发明的一个实施例，客户机102从媒体服务器100接收UI视频和其它类型的媒体数据包的更为详细的方块图。客户机102包括客户机模块400，其被配置成从媒体服务器100接收UI视频流200以及其它类型的媒体数据和控制信息204。客户机模块400可以通过本领域常规的任何机构来实现，例如实现为由客户机102主管的微处理器单元所执行的软件模块。

【0053】客户机模块400将接收到的包发送到一个或多个数据缓冲器408。一个或多个数据缓冲器408以一定速率被清空，在该速率下媒体移交模块410将存储在缓冲器中的数据移交给输出设备414。如果包是码流包，则数据被视频解码器114解码和解压缩，并且一旦可以移交时就由媒体移交模块移交。如果包是带时间戳的包，则数据在时间戳中所指定的时间段后进行移交，时间是由连接到客户机模块400的定时器402测量的。

【0054】用户输入选择通过以有线或无线机制连接到客户机的用户输入设备412提供给客户机102。根据本发明的一个实施例，输入设备包括键(也称为按钮)，其可以由用户操作以调用与键相关的特定功能。输入设备可以是远程控制器或本领域常规的另一个输入设备，例如鼠标、操纵杆、传感器或者语音输入设备。

【0055】根据本发明的一个实施例，用户输入选择被打包成UI事件包202，并通过单独的控制信道被传输到服务器100由其进行处理。用户输入选择可以是按键，用以在菜单页面上选择特定的菜单项、在计算机游戏场景内移动对象、在网页上选择特定的超链接、或者类似操作。

【0056】在一种典型的情况下，用户获得客户机CE设备，以查看在媒体服务器100和连接到网络108的其它多媒体设备104中所存储的不同类型的媒体文件。CE设备可以进一步用于玩计算机游戏、浏览网页或者类似操作。根据一个实施例，与CE设备包含在一起的是媒体服务器程序，用户可以将其安装在他或她想指定为媒体服务器100的计算机上。替代地，媒体服务器程序可以从远程服务器上下载或者利用本领域已知的任何其它常规机制来获得。

【0057】图5是根据本发明的一个实施例，一个用于设置媒体服务器100和客户机CE设备的过程的流程图。在步骤500中，用户进行安装媒体服务器程序，以便由主处理模块306执行。媒体服务器程序500可以例如安装在包含于媒体服务器模块300中的硬盘或其它存储器(未示出)上，并且媒体服务器程序500可以例如在装载到包含于主处理模块306中的本地存储器(未示出)之后执行。

【0058】一旦安装并启动媒体服务器程序后，在步骤502中要求用户识别他或她想要与客户机102共享的媒体文件的位置。因为媒体文件可以位于被选为媒体服务器100的计算机设备中或者位于其它任何联网设备104、在线服务提供商112或媒体服务器100可以访问的网络服务器116中，所以用户可以提供到要共享的媒体文件位置的本地路径或网络路径。根据本发明的一个实施例，其它联网设备中的媒体文件可以通过例如包含于众所周知的通用即插即用(UPnP)工业标准中的内容目录服务(Content Directory Service)由媒体服务器100自动发现。一旦发现，用户可以简明表示每个媒体文件是否要被共享。

【0059】在步骤504中，主处理模块306对存储在用户识别位置的媒体文件进行扫描和编索引。根据本发明的一个实施例，扫描和编索引过程是在后台进行的，并且每当新的媒体文件被添加到由用户识别的任何媒体位置时调用扫描和编索引过程。在扫描和编索引过程中，主处理模块306获取在选定媒体文件夹中的媒体文件的元数据信息，并将元数据信息存储在媒体数据库106中。然后，元数据信息可以用来搜索不同类型的媒体，移交特定的UI页，以及类似操作。

【0060】在步骤506中，在媒体服务器100和客户机102之间建立连接。用户可以将媒体服务器100设成客户机在上电后可以自动连接到的默认服务器。如果不把特定的媒体服务器标识为默认服务器，则客户机试图与所有可用的媒体服务器建立连接。在这点上，主处理模块通过预定端口发送发现请求。根据一个实施例，发现请求是具有报头部分的UDP广播包，报头部分包含与客户机的IP地址有关的信息以及与服务器可以用来应答发现请求的端口有关的信息。根据另一个实施例，本领域常规的UPnP SSDP(简单服务发现协议)可以用于媒体服务器的发现。

【0061】一个接收发现请求的可用服务器做出发现应答的响应。根据本发明的一个实施例，发现应答是UDP包，其包括客户机可以用来建立控制连接的控制端口的信息。然后，通过指出的控制端口与期望的服务器建立TCP连接。控制连接可以用于向媒体服务器100发送由客户机102生成的UI事件202。

【0062】根据本发明的一个实施例，客户机通过控制端口进一步发送一个包，该包含有与一个或多个可用于连接的其它媒体传输端口有关的信息。然后，响应服务器可以与每个可用的媒体传输端口建立TCP连接。例如，可以建立视频连接以向客户机发送视频UI流。可以建立的其它媒体连接是音频连接、覆盖连接和/或带外连接。

【0063】一旦在媒体服务器100和客户机102之间建立一个或多个媒体连接，媒体服务器100就在步骤508中通过视频连接开始发送默认的主UI菜单。然后，用户可以开始与主UI菜单交互，从而通过客户机CE设备102享受不同类型的媒体。

【0064】图6是根据本发明的一个实施例，一个发送到媒体服务器100的示例UI事件包的示例性方块图。这个包带有包类型字段600，该字段表示由该包发送的UI事件的类型。例如，UI事件可以是一个按键事件。按键事件包带有按键类型字段602和按钮标识符字段604。按键类型字段602表示按钮的当前状态，例如按钮处在向下按压的位置或者按钮处在向上未按压的位置。按钮ID字段标识在用户输入设备412上启用的特定按钮，例如左、右、选择、播放、停止、倒带、快进、跳过或暂停按钮。UI事件的其它例子包括但不局限于指针命令，例如描述鼠标或触摸板输入、模拟操纵杆或往复式(shuttle)输入、或者语音输入的命令。

【0065】图7是根据本发明的一个实施例，一个用于发送UI视频以及其它类型的媒体数据的数据包的示例性方块图。该数据包包括具有类型字段702、定时字段704、持续时间706和有效载荷(payload)大小708的报头部分700。可以包含在典型RTP包报头中的其它任何常规字段710也可以包含在数据包的报头部分700中。通过媒体连接发送的实际的有效载荷数据包含在该包的有效载荷部分712中。

【0066】类型字段702表明正被发送的媒体类型，例如特定类型的视频(如DivX、AVI等等)、特定类型的音频(如MP3、AC3、PCM等等)或者特定类型的图像(如JPEG、BMP等等)。

【0067】定时字段704表明媒体是如何由客户机102移交的。例如，如果定时字段604设成流模式，则一旦允许这种移交时，媒体包就由客户机102移交。如果定时字段604设成时间戳模式，则媒体包在时间戳中指定的时间后进行移交。

【0068】时间戳模式和流模式还可以适于同步或异步。如果定时字段704表明同步流或时间戳模式，则持续时间字段706被设成包括一段持续时间，在这段时间中发送的数据是有效的。如果定时字段704表明异步流或时间戳模式，则在持续时间字段706中不包括任何持续时间。

【0069】针对被发送的特定类型媒体的其它字段708也可以包含在该包的报头部分700中。例如，如果该包是视频包，则诸如视频量纲的信息可以包含在该包中。同样，如果该包是音频包，则诸如采样率的信息可以包含在该包中。

【0070】图8A和8B分别是根据本发明的一个实施例，说明生成和/或更新客户机102上所显示的远程UI的流程图和示意方块图。在步骤800中，媒体服务器100中的主处理模块306接收包括按键事件的控制包。在步骤802中，主处理模块306根据所接收的控制包的按键类型字段602和按钮ID字段604中含有的信息，识别按键事件的类型。在步骤804中，主处理模块306调用GPU 308来生成或更新远程UI的帧，以响应识别的按键事件。然后，UI帧被存储在帧缓冲器310中。

【0071】在步骤806中，主处理模块306向网络传输模块302发送命令308以生成UI传输对象314。命令318表明要传输的媒体类型是UI帧，并进一步包括帧缓冲器310的引用，该帧缓冲器310包括待转换和传输的UI帧。作为响应，在步骤806中，网络传输模块302生成UI传输对象314。

【0072】在步骤808中，UI传输对象314生成UI视频包850(图8B)以发送到客户机102。也可以生成其它媒体包852，以发送到客户机102。例如，基于由媒体服务器模块300提供的其它媒体数据322，UI传输对象314可以生成单独的音频和/或覆盖包。音频包可以关联与UI显示一起播放的背景音乐。覆盖包可以与状态栏、导航图标以及其它在UI视频顶部覆盖的画面相关。与UI视频同时发送的其它媒体包的生成和发送在以上引用的题为“Improved Media Transfer Protocol”的美国专利申请中作了进一步的描述。

【0073】生成UI视频包850时，UI传输对象314利用适当的API命令320来获取由媒体服务器模块300发送的UI帧。UI传输对象调用编码器330，以将原始图像编码成压缩的视频帧，例如DivX视频帧。这种编码的视频帧的创建在以上引用的PCT专利申请号US04/41667中作了进一步的描述。然后，UI传输对象将适当的报头数据预先设置到生成的视频包的报头部分700中。这样，数据包的类型字段702被设置成适当的视频类型，且定时字段704被设置成适当的定时模式。然后，生成的视频包通过适当的数据传输信道324进行发送。

【0074】根据本发明的一个实施例，主UI菜单提供视频选项、音乐选项、照片选项、服务选项和设置选项。用户可以通过操作输入设备412上的一个或多个导航键，导航到这些选项中的任何一个选项。如果导航到视频选项，则媒体服务器200生成更新的UI，其具有存储在媒体数据库106中的电影文件列表，所述电影文件可以由名称、文件名、组、类型和类似物组织。更新的UI被转换成视频格式并被发送到客户机上进行显示。

【0075】根据一个实施例，UI可以允许用户根据不同的类别观看电影。例如，如果电影依据日期(例如通过把最新修改的视频放在列表的顶部)或按照其它任何类别(例如依据名称)存储在网络内的不同设备上，则用户可以按照位置观看电影。

【0076】用户可以导航到具体的电影列表，并点击“进入”或“播放”按钮来观看电影。选择的电影可以通过媒体服务器100检索，并流式传输到客户机上进行实时播放。根据一个实施例，电影的视频部分是通过视频连接流式传输的，而电影的音频部分是通过音频连接流式传输的，这在题为“Improved Media Transfer Protocol”的美国专利申请中进行了描述。

【0077】在观看电影时，用户可以启用各个特技播放中的一个，例如快进、倒带、暂停和类似操作。在题为“Improved Media TransferProtocol”的美国专利申请中对服务器如何处理这种特技播放进行了更详细的描述。在这种特技播放过程中，服务器可以向客户机发送刻画特技播放的图标的覆盖图像以及表明该视频相对于整个视频中的当前位置的状态栏。

【0078】用户可以通过按下例如输入设备412上的菜单按钮再次调用主UI菜单。如果用户选择音乐选项，则媒体服务器100生成更新的UI，其具有唱片/艺术家以及相关唱片封面或一般图标的列表。更新的UI被转换成视频格式并被发送到客户机进行显示。UI可以允许用户按照艺术家、歌曲、收听率、类别和类似分类搜索他的或她的音乐文件。接收到这种搜索请求之后，媒体服务器100搜索在媒体数据库106中存储的元数据，并显示更新的UI，其包括搜索到的信息。

【0079】根据本发明的一个实施例，媒体服务器生成并发送具有在选定唱片中包含的歌曲列表的UI。用户可以导航到具体的歌曲列表，并点击“播放”按钮以收听音乐。选择的音乐是通过媒体服务器100取回的，并流式传输到客户机进行实时播放。根据本发明的一个实施例，与当前歌曲相关的信息，例如歌曲和唱片名、艺术家和类别信息也可以从媒体数据库106取回，并发送到客户机上以便在播放音乐时显示。唱片中的其它歌曲列表也可以被同时显示，以便如果需要，允许用户跳到下一首歌。

【0080】根据本发明的一个实施例，当在背景中播放先前选择的音乐时，用户可以导航到照片选项。导航到照片选项后，媒体服务器200生成更新的UI，其具有存储在媒体数据库106中的照片文件列表，所述照片文件由诸如年、月和日组织起来。更新的UI也可以包括各个照片的索引图像。更新的UI被转换成视频格式并被发送到客户机进行显示。特定索引图像的选择使得所选择的照片以放大格式进行显示。

【0081】根据本发明的一个实施例，与由媒体服务器100发送的媒体相关的导航图标可以在客户机102上显示为图像覆盖数据。例如，如果背景音乐与放映幻灯片结合进行播放，则客户机可以显示被播放歌曲的名字和音乐导航图标，所述音乐导航图标允许用户跳到下一首歌曲或上一首歌曲、或者暂停以及停止播放当前歌曲。除音乐导航图标外或者代替音乐导航图标，也可以显示与放映幻灯片相关的导航图标。与放映幻灯片相关的导航图标可以允许用户在放映幻灯片期间向前跳过或向后跳过、改变图片之间的时间或者类似情况。如果存在待由客户机102显示的覆盖信息，则用户可以控制覆盖信息的类型。

【0082】根据本发明的一个实施例，服务选项向用户提供了各种视频点播服务，该服务包括浏览在线媒体列表、购买或租用电影、买票、交换用于播放由数字权限管理(DRM)密钥保护的媒体文件的密钥、以及类似信息。用户还可以通过服务选项浏览网页、获取新闻、管理股票、接收天气预报以及玩游戏。与这些服务相关的UI可以由媒体服务器100生成，或者通过媒体服务器从各个在线提供商112或网络服务器116上获得。媒体服务器将相关的UI编码成压缩的视频格式，并将此视频流式传输到客户机上用以显示。与UI的所有交互是由媒体服务器100接收的，并可以发送到适当的在线服务提供商112和/或网络服务器116上进行处理。

【0083】例如，如果用户选择浏览因特网，则用户提供要获取的特定网页地址，并将该信息以UI事件包的形式发送到媒体服务器100。媒体服务器100从UI事件包中获得地址，并将该地址发送到网络服务器116上进行处理。网络服务器116获取与接收到的地址相关的网页，并将该网页发送给媒体服务器100。

【0084】媒体服务器100接收该网页，并基于例如被编码进网页的信息识别网页的可选部分。然后，媒体服务器100生成可选部分的线性列表，并根据具体的按钮按压或者其它类型的用户输入，动态地建立用以从网页的一个可选部分过渡到另一个部分的状态机。例如，每次选择“下一个对象”按钮按下可以引起过渡到线性列表中的下一个可选部分。

【0085】然后，媒体服务器将当前接收到的网页转换成压缩的视频格式，并将压缩的视频通过视频连接流式传输到客户机。在这点上，网络传输模块302生成UI传输对象314(图3)，其对网页进行编码并将其压缩成一个或多个压缩的视频帧，例如DivX视频帧。然后，压缩的视频帧以UI模式流式传输到客户机。如果该网页是“静止”网页，则单个视频帧流式传输到客户机，并且客户机以指明的帧速率反复播放相同的视频帧，直到网页被更新。

【0086】用户使用连接到客户机的输入设备412来与网页进行交互。客户机将用户界面打包成UI事件包202，并将该包传输到服务器100。服务器检查事件包用以确定用户交互的类型，并将用户交互映射到网页的具体可选部分。例如，如果可选部分包括超链接，则超链接选择信息被发送到网络服务器116上进行处理。网络服务器116根据超链接信息检索网页，并将该网页发送到服务器。服务器接收所发送的网页，将其转换成压缩的视频格式，并将压缩的视频发送到客户机。

【0087】根据另一个例子，用户从服务选项中选择玩游戏。作为响应，媒体服务器100生成具有游戏和/或游戏图标列表的更新的UI。此更新的UI被转换成压缩的视频格式，并被发送到客户机上进行显示。UI可以允许用户通过例如游戏名称搜索游戏的列表。媒体服务器100接收到这种搜索请求后就搜索在媒体数据库106中存储的元数据，并显示包括搜索信息的更新的UI。

【0088】用户可以导航到特定的游戏，并点击“进入”或“播放”按钮来玩游戏。选择的游戏由媒体服务器100取回，被转换成压缩的视频格式，并通过视频连接流式传输到客户机。在这点上，网络传输模块302生成UI传输对象314(图3)，其将计算机游戏场景的计算机图形图像编码成压缩的视频帧，诸如DivX视频帧。然后，压缩的视频帧以UI模式流式传输到客户机。当用户用连接到客户机的输入设备412来玩游戏时，客户机将用户交互打包成UI事件包202，UI事件包202通过单独的控制信道被传输到服务器100，以便由服务器进行处理。服务器根据用户交互生成更新的视频流，并将更新的视频流发送到客户机。

【0089】根据本发明的一个实施例，媒体服务器提供了其它类型的应用程序，这些应用程序可以在媒体服务器上本地运行并作为UI流发送到客户机上。然后，用户通过客户机与应用程序进行远程交互。然而，所有的用户交互由媒体服务器处理，并且作为响应，更新的图像和/或音频作为更新的UI视频和/或音频发送到客户机上。应用程序可以被定制为非HTML应用程序，例如类似于Google Earth的交互地图应用程序，或者类似于Flicker照片放映幻灯片的放映幻灯片阅读器。

【0090】另一个示例性的应用程序是卡拉OK应用程序，其向客户机提供了音频/视频卡拉OK内容。视觉内容被编码为压缩的视频格式，并通过专用视频连接进行发送。音频内容通过专门音频连接进行发送。替代地，媒体服务器能检索存储在媒体数据库106中的MP3音乐，并通过专用音频信道播放音乐，而歌词可以从网站获得并被编码成压缩的视频格式，并通过专用视频连接进行发送。

【0091】根据本发明的一个实施例，媒体服务器还可以作为客户机的多任务操作系统。根据此实施例，媒体服务器响应用户动作，转入或转出特定的UI应用程序。例如，用户可以选择特定的媒体播放器UI应用程序，以使选择的应用程序提供给客户机。例如，UI应用程序可以显示音频播放列表。然后，从播放列表中选择的特定音频可以通过专用音频连接进行流式传输。在另一个例子中，UI应用程序可以是照片放映幻灯片应用程序，其通过专用视频信道提供照片放映幻灯片。媒体播放器应用程序的音频流可以通过专用音频信道进行发送，用以在背景中播放。用户可以按下特定的键，例如退出键，以转出当前的UI应用程序，并返回到UI应用程序的菜单。

【0092】根据本发明的一个实施例，媒体服务器还支持并发的应用程序。例如，来自交互地图程序(如Google Earth)的视频可以与来自音乐应用程序(如Yahoo Music Engine应用程序)的音频同时提供。

【0093】根据本发明的一个实施例，媒体服务器100可以将用DRM密钥加密的媒体发送给客户机102。如果客户机是授权的客户机，则其配有必需的解密密钥，以便播放加密的媒体文件。在CE设备注册成为加密媒体内容的授权播放者之后，可以获得解密密钥。例如，用户可以访问媒体服务器100以访问注册服务器并输入CE设备提供的注册码。作为响应，注册服务器将用户烧制到CD中的激活文件发送给媒体服务器。替代地，激活文件可以通过改进的媒体传输协议进行流式传输，所述协议描述在以上引用的题为“Improved Media TransferProtocol”的美国专利申请中。根据一个实施例，激活文件包括注册码、用户ID和用户密钥。在客户机CE设备上重放CD时，CE设备对照存储在CE设备内的注册码来检查烧制在CD上的注册码。当匹配时，CE设备将用户ID和用户密钥装载到其本地存储器中，并用它们来解码和播放DRM保护的媒体。

【0094】根据本发明的另一个实施例，用户的密码和用户名被输入并被保存到CE设备中。接收到DRM保护的媒体时，CE设备向媒体服务器100发送命令，以便用用户名和密码联系远程服务器。根据发送的用户名和密码对用户认证后，远程服务器向媒体服务器100提供密钥，该密钥然后被发送到CE设备用以播放DRM保护的内容。

【0095】CE设备如何解码并播放DRM保护的数据的另外细节在2004年7月21日申请的题为“Optimized Secure Media Playback Control”的美国专利申请序号10/895,355中有进一步描述，此申请的内容作为参考并入本文。

【0096】尽管对本发明以某些特定的实施例进行了描述，但对本领域技术人员而言，对所述的实施例进行各种变更没有任何困难，这也决不会偏离本发明的范围和精神。而且，对本领域技术人员而言，本说明书的发明本身给出了其它任务的解决方案以及其它应用的适应性。申请人的目的是要覆盖本发明的所有这种应用，以及要覆盖在不偏离本发明的范围和精神的情况下对本说明书选择用于公开的本发明实施例所做的那些变化和修改。因此，本发明的目前这些实施例在所有方面应当视为示例性的而非限制性的。

Claims (24)

1.一种用于数据通信网络中远程用户界面的方法，所述数据通信网络包括连接到服务器的客户机设备，所述方法包括：

从数据存储器中取回第一基于图形的图像；

将所述第一基于图形的图像编码成压缩的视频帧；

将所述压缩的视频帧流式传输到所述客户机设备，所述客户机设备被配置成解压缩并播放所述视频帧；

从所述客户机设备接收控制事件；和

基于接收的控制事件，从所述数据存储器中取回第二基于图形的图像。

2.根据权利要求1所述的方法，其中基于图形的图像是交互式菜单页，且所述控制事件是用户选择所述菜单页上的菜单项。

3.根据权利要求1所述的方法，其中基于图形的图像是交互式计算机游戏场景，且所述控制事件是用户选择所述计算机游戏场景中的游戏对象。

4.根据权利要求1所述的方法，其中基于图形的图像是交互式网页，且所述控制事件是用户选择所述网页上的链接。

5.根据权利要求1所述的方法，其中所述压缩的视频帧通过专用视频传输信道进行流式传输，且所述控制事件通过专用控制信道进行接收。

6.根据权利要求1所述的方法，进一步包括：

基于所述控制事件，更新所述第一基于图形的图像；和

将更新的第一基于图形的图像存储在所述数据存储器中作为所述第二基于图形的图像。

7.一种用于数据通信网络中远程用户界面的方法，所述数据通信网络包括连接到服务器的客户机设备，所述方法包括：

解码和解压缩从所述服务器接收的一个或多个压缩的第一视频帧；

播放包含在一个或多个第一视频帧中的第一视频，所述第一视频提供一个或多个用户界面图像；

接收用户输入数据以响应所述一个或多个用户界面图像；

基于所述用户输入数据，生成控制事件；

向所述服务器发送所述控制事件；和

从所述服务器接收一个或多个压缩的第二视频帧，以响应所发送的控制事件，所述一个或多个压缩的第二视频帧包含更新的一个或多个用户界面图像。

8.根据权利要求7所述的方法，其中所述一个或多个用户界面图像是交互式菜单页的图像，且所述用户输入数据是用于用户选择特定菜单页上的菜单项。

9.根据权利要求7所述的方法，其中基于图形的图像是交互式计算机游戏场景，且所述用户输入数据是用于用户选择所述计算机游戏场景中的游戏对象。

10.根据权利要求7所述的方法，其中基于图形的图像是交互式网页，且所述用户输入数据是用于用户选择所述网页上的链接。

11.根据权利要求7所述的方法，其中所述一个或多个压缩的第一和第二视频帧通过专用视频传输信道进行接收，且所述控制事件通过专用控制信道进行发送。

12.一种在客户机设备上提供远程用户界面的服务器，所述客户机设备通过有线或无线数据通信网络连接到所述服务器，所述服务器包括：

一个帧缓冲器，其存储第一基于图形的图像；

一个视频编码器，其将所述第一基于图形的图像编码成压缩的视频帧；和

一个处理器，其连接到所述视频编码器和所述帧缓冲器，所述处理器将所述压缩的视频帧流式传输到所述客户机设备，所述客户机设备被配置成解压缩并播放所述视频帧，所述处理器还从所述客户机设备接收控制事件，并基于接收的控制事件从所述帧缓冲器中取回第二基于图形的图像。

13.根据权利要求12所述的服务器，其中基于图形的图像是交互式菜单页，且所述控制事件是用户选择所述菜单页上的菜单项。

14.根据权利要求12所述的服务器，其中基于图形的图像是交互式计算机游戏场景，且所述控制事件是用户选择所述计算机游戏场景中的游戏对象。

15.根据权利要求12所述的服务器，其中基于图形的图像是交互式网页，且所述控制事件是用户选择所述网页上的链接。

16.根据权利要求12所述的服务器，进一步包括：

一个专用视频传输信道接口，其用于将所述压缩的视频帧流式传输到所述客户机设备；和

一个专用控制信道接口，其用于从所述客户机设备上接收所述控制事件。

17.根据权利要求12所述的服务器，进一步包括：

一个图形处理单元，其连接到生成所述第一基于图形的图像的所述帧缓冲器。

18.根据权利要求17所述的服务器，其中所述图形处理单元基于所述控制事件更新所述第一基于图形的图像，并将更新的第一基于图形的图像存储在所述帧缓冲器中作为所述第二基于图形的图像。

19.一种通过有线或无线数据通信网络连接到服务器用以提供用户界面的客户机设备，所述客户机设备包括：

一个视频解码器，其解码并解压缩从所述服务器接收的一个或多个压缩的第一视频帧；

一个显示器，其连接到所述视频解码器，用以显示包含在所述一个或多个第一视频帧中的第一视频，所述第一视频提供一个或多个用户界面图像；

一个用户输入端，其提供用户输入数据以响应所述一个或多个用户界面图像；和

一个处理器，其连接到所述用户输入端，用以基于所述用户输入数据生成控制事件并将所述控制事件发送到所述服务器，所述处理器从所述服务器接收一个或多个压缩的第二视频帧，其含有更新的一个或多个用户界面图像。

20.根据权利要求21所述的客户机设备，其中所述一个或多个用户界面图像是交互式菜单页的图像，且所述用户输入数据是用于用户选择特定菜单页上的菜单项。

21.根据权利要求21所述的客户机设备，其中基于图形的图像是交互式计算机游戏场景，且所述用户输入数据是用于用户选择所述计算机游戏场景中的游戏对象。

22.根据权利要求21所述的客户机设备，其中基于图形的图像是交互式网页，且所述用户输入数据是用于用户选择所述网页上的链接。

23.根据权利要求21所述的客户机设备，进一步包括：

一个专用视频传输信道接口，其用于接收所述一个或多个压缩的第一和第二视频帧；和

一个专用控制信道接口，其用于发送所述控制事件。

24.根据权利要求21所述的客户机设备，其中所述专用视频传输信道接口接收用加密密钥加密的媒体，所述客户机设备进一步包括用于获得解密密钥的装置，以便解密并播放所加密的媒体。

Images