CN102460410A

CN102460410A - 通信系统中发送和接收用户界面的装置和方法

Info

Publication number: CN102460410A
Application number: CN2010800265267A
Authority: CN
Inventors: 朴勍模; 宋在涓; 李国熙; 黃棲煐
Original assignee: Samsung Electronics Co Ltd
Current assignee: Samsung Electronics Co Ltd
Priority date: 2009-06-19
Filing date: 2010-06-18
Publication date: 2012-05-16
Anticipated expiration: 2030-06-18
Also published as: WO2010147433A3; EP2443559A2; US8892633B2; CN102460410B; US20100325203A1; WO2010147433A2; EP2443559A4; KR101596505B1; AU2010260683B2; JP2012529696A; JP5850833B2; KR20100136801A; AU2010260683A1

Abstract

一种在支持远程用户界面(RUI)的通信系统中向客户端发送用户界面(UI)的方法和装置，其中确定由客户端请求的UI的表示级别，确定该表示级别在向客户端提供的服务中是否可用，并且根据确定结果向客户端提供具有可用的表示级别的UI。

Description

通信系统中发送和接收用户界面的装置和方法

技术领域

本发明一般涉及通信系统，而且更具体地，涉及用于在通信系统中发送和接收用户界面的装置和方法。

背景技术

随着网络技术和多媒体技术的快速发展，已经开发多种类型的多媒体设备，并且这些多媒体设备之间的融合已经加速。经常地，诸如例如数字TV、家庭影院、计算机设备、和视频/音频设备的不同类型的多媒体设备构成交换多媒体数据的网络，或者多媒体设备控制彼此之间的交互以提供合并的多媒体服务。

传统上，使用远程用户界面(RUI)来执行物理上彼此远离的实体之间的远程控制。特别地，UI服务器向UI客户端提供控制UI，而且UI客户端使用提供的UI控制UI服务器。

发明内容

技术问题

本发明被设计为至少提供如下所述的优点。因此，本发明的一方面提供其中UI服务器处理向UI客户端提供用于控制多媒体设备的UI的UI装置和方法。

本发明的另一方面提供根据UI环境和特性重新配置向UI客户端提供的用于控制多媒体设备的UI的UI装置和方法。

技术方案

根据本发明的一方面，提供一种在支持RUI的通信系统中由服务器向客户端发送UI的方法。该方法包括：确定由客户端请求的UI的表示级别；确定该表示级别在向客户端提供的服务中是否可用；以及根据确定结果向客户端提供具有可用的表示级别的UI。

根据本发明的另一方面，提供一种在支持RUI的通信系统中由客户端从服务器接收UI的方法。该方法包括：考虑客户端的环境和特性，向服务器发送UI的表示级别信息；以及接收具有基于该表示级别信息在服务器中确定的表示级别的UI。

根据本发明的另一方面，提供一种由支持RUI的通信系统的服务器向客户端发送UI的装置。该装置包括：产生器，用于确定由客户端请求的UI的表示级别，确定该表示级别在向客户端提供的服务中是否可用，并且根据确定结果产生具有可用的表示级别的UI；以及提供器，用于向客户端提供产生的UI。

根据本发明的另一方面，提供一种由支持RUI的通信系统的客户端从服务器接收UI的装置。该装置包括：发送器，用于考虑客户端的环境和特性向服务器发送UI的表示级别信息；以及接收器，用于接收具有基于该表示级别信息在服务器中确定的表示级别的UI。

有益效果

UI客户端可以接收用于控制UI服务器的合适的UI，实现一个UI服务器与多种UI客户端设备之间的UI会话。

附图说明

通过下面结合附图的描述，本发明的特定示范性实施例的上述及其他方面、特征和、优点将变得更加明显，其中：

图1是示出根据本发明的实施例的UI发送/接收方法的流程图；

图2是示出根据本发明的另一个实施例的UI发送/接收方法的流程图；

图3和4是示出根据本发明的实施例的已编码的UI的结构的图；

图5是示出根据本发明的实施例的在UI服务器中先前配置的UI配置的示例的图；

图6是示出根据本发明的实施例的UI服务器的框图；以及

图7是示出根据本发明的实施例的UI客户端的框图。

全部附图中，相同的附图引用数字将被理解为指代相同的元件、特征、和结构。

具体实施方式

现在将参考附图详细描述本发明的各种实施例。以下描述中，诸如详细的配置和组件的具体细节仅仅是提供用于帮助全面理解本发明的这些实施例。因而，本领域普通技术人员应当认识到，可以对这里描述的实施例作出各种变更和修改而不脱离本发明的范围和精神。此外，为了清楚和简洁起见，略去公知功能和构造的描述。

其中，本发明提供从外部网络、或连接到互联网协议(IP)网络的多媒体设备、或多媒体设备连接到的家庭网络的UI服务器接收具有UI环境和特性的UI的UI客户端。

UI客户端从UI服务器接收UI，并且执行关于搜索UI以及通过合并多个UI产生新的UI的各种控制。UI客户端包括用于控制多媒体设备的操作的输入设备，诸如具有键区的遥控器、触摸屏、键区等等，并且可以以程序或芯片的形式安装在可以与外部设备通信的各种终端中。本说明书中，UI客户端可以被宽泛地理解为等价于多媒体设备或UI设备。

这里，UI是指用于向用户传送用于控制多媒体设备的信息的视觉和/或听觉元素的集合，并且还包括通过UI提供设备控制的元素的集合。UI数据是指包括在UI中的数据。例如，UI可以包括动画、矢量图、和多个视觉/听觉/触觉元素，并且可以通过该动画、矢量图、和多个视觉/听觉/触觉元素向用户提供可以表达的功能/操作。

UI事件是指UI客户端与用户之间的交互，诸如触摸屏上的触摸输入或通过遥控器的按键输入，其可以在UI客户端中识别。例如，窗口小部件(widget)包括显示在多媒体设备或UI设备上的诸如包括窗口、文本框、天气元素、和虚拟相册的有表现力的元素的UI元素、以及包括应用逻辑的执行、开始、停止、删除、添加、和转换功能的操作元素。窗口小部件也称为小附件(gadget)，可以位于多媒体设备或UI设备的显示器屏幕上的预定位置中。

在UI客户端与UI服务器之间发送和接收UI可以一般分为以下两种方法。

第一，如果UI服务器向UI客户端发送UI数据，则UI客户端使用接收的UI数据搜索先前已提供的其他UI数据，或将搜索到的UI数据与接收的UI数据合并，以产生适合于它的UI环境的新的UI。

第二，如果UI服务器基于UI客户端的环境和特性信息产生UI并且将它发送到UI客户端，则UI客户端接收考虑它自己的环境和特性信息的UI。因此，此方法考虑各种UI环境而分等级地组织由UI服务器提供的UI，并且将它们分成窗口小部件、基本模块和扩展模块的组件用于快速适配，从而降低在UI数据搜索/接收期间使用的过程、计算、和消息的复杂度。

例如，UI环境可以包括配备有UI客户端的UI设备(诸如包括遥控器、键区和/或触摸屏的终端)的类型、以及诸如用户的UI使用模式/历史、年龄、性别、和职业的用户属性信息中的至少一个。

图1是示出根据本发明的实施例的UI发送/接收方法的流程图。

参考图1，在步骤101，UI服务器100向UI客户端150发送UI数据。UI数据也可以经由多媒体设备(未示出)从UI服务器100向UI客户端150提供。UI客户端150然后例如通过其显示器向用户提供接收的UI数据。UI服务器100可以向客户端150发送UI数据，通告UI数据，而且还可以远程更新提供给UI客户端150的UI数据。UI服务器100可以使用用于发送UI数据的普遍下载方法和/或流化方法。

提供给UI客户端150的UI数据可以根据例如运动图像专家组(MPEG)标准以多媒体数据格式编码。该情况下，UI数据包括关于UI的动态配置的信息。MPEG标准，作为用于压缩和编码音频和视频的国际标准，包括多种版本，诸如MPEG-1、MPEG-2、MPEG-4、和MPEG-7。UI服务器100使用这些MPEG标准编码UI数据。

最近，大部分多媒体设备包括能够播放压缩的视频的MPEG解码器。因此，如果UI数据基于MPEG标准编码然后被发送到不同的多媒体设备，则大部分多媒体设备可以表示(表达)该UI而不用单独的浏览器。

MPEG标准通过定义ISO/IEC 14496-11和ISO/IEC 14496-20技术来提供与场景表示有关的技术。ISO/IEC 14496-11包括MPEG-4场景二进制格式(BIFS)技术，而ISO/IEC 14496-20包括轻型应用场景表示(LASeR)技术。LASeR是指设计为使得移动终端能够接收富多媒体服务的多媒体内容的格式。虽然BIFS是用于全部类型的多媒体内容的场景描述标准，但是LASeR是用于具有小显示器尺寸并且还具有小网络带宽的多媒体终端(如蜂窝电话机)的场景描述标准。

BIFS或LASeR用于基于对象的系统，并且可以使用基于对象的视频编码方案编码UI数据。BIFS或LASeR包括关于能够表示包括在图像中的对象的时间和空间布置的场景描述的信息。因此，可以通过使用BIFS或LASeR场景描述表示UI对象的时间和空间布置来编码UI数据，将UI数据中的对象看作通过BIFS或LASeR编码的图像对象。在使用MPEG场景描述方法编码UI数据时，UI服务器100可以在UI数据中包括关于UI的动态配置的信息。

根据本发明的实施例，UI数据中的对象是指基于通过UI客户端和用户之间的交互(诸如键输入)发生的特定UI事件调用特定功能的UI的最小单元。因此，UI客户端可以使用BIFS或LASeR表示UI数据的对象(诸如按钮和菜单)的时间和空间布置。

例如，当通过使用诸如BIFS或LASeR的视频编解码器编码UI数据来产生包括UI图像的MPEG-4流时，UI客户端150可以通过简单地接收根据BIFS或LASeR编码的包括UI图像的MPEG流并接着利用MPEG解码器解码和播放MPEG流来显示UI。因为可以通过仅仅播放MPEG流来显示UI，所以具有MPEG解码器的各种设备(如多媒体设备)可以显示由UI服务器100提供的UI。UI客户端150如果具有MPEG解码器，则它也可以以同样方式显示UI服务器100提供的UI。

回来参考图1，如果通过使用诸如BIFS或LASeR的基于对象的场景描述方法表示基于对象的布置来创建UI，则已经接收到UI数据的UI客户端150可以在步骤103和105产生和表示新的UI，其中已经通过对象的选择和重新布置动态地考虑UI设备的环境。在步骤107，在UI客户端150与UI服务器100之间执行使用远程UI的各种控制。所述控制可以包括与诸如搜索关于执行内容和选择/购买内容的各种信息的多媒体内容的使用有关的各种控制、以及在UI服务器100与UI客户端150之间插入的多媒体设备(图1未示出)的操作的控制中的至少一个。

图2是示出根据本发明的实施例的UI发送/接收方法的流程图。

参考图2，UI客户端250远程接入UI服务器200以接收UI数据。虽然UI客户端250被假定为具有键区的遥控器，但是其可以应用于具有用于显示UI的显示器、以及诸如键区或触摸屏的输入的各种终端。UI服务器200可以包括能够在IP网络中搜索和发送用于UI服务的窗口小部件的搜索站点的服务器、或者提供UI服务的单独的专用UI服务器。即，UI客户端250和UI服务器200可以是连接到特定的网络的全部类型的网络设备。根据本发明的实施例的UI服务器200使用由容器方法配置的UI配置信息310和UI配置数据320或410来产生如图3和4所示的UI。

图3和4示出已编码的UI的结构。

如图3所示，UI是使用容器方法创建，并且包括UI配置信息310和UI配置数据320。

此外，如图4所示，UI配置数据410可以包括多条数据，并且在一些情况下，UI配置数据410中的组元也可以根据UI处理级别来处理。

回来参考图2，UI客户端250在步骤201向UI服务器200发送UI请求，并且在步骤202与UI服务器200交换环境和特性信息。

更具体地，在从UI客户端250接收到UI请求时，UI服务器200向UI客户端250发送如图3和4所示的先前已经配置的UI配置信息310，以使得UI客户端250可以选择它的环境和特性信息。然后UI客户端250从自UI服务器200接收到的UI配置信息310中选择它的环境和特性信息的至少一个，并且向UI服务器200发送选择的信息。

UI配置信息310可以如图5所示配置。

图5是示出根据本发明的实施例的在UI服务器中先前配置的UI配置信息310的示例的图。

参考图5，UI配置信息包括关于设备能力的信息、用户优选项、UI表示级别、和UI客户端250的功能的至少一个，其可以表示UI客户端250的环境和特性信息。UI客户端250的环境和特性信息可以包括关于UI客户端250用以使用UI控制UI服务器200的协议的信息。即，UI客户端250的环境和特性信息包括诸如UI的功能的结构和分割级别的功能级别、以及包括图标、简化(简单窗口小部件)和完整(完整窗口小部件)的表示级别，作为由UI提供的级别信息。UI客户端250的环境和特性信息可以如图5所示配置。

UI表示级别信息可以被包括在UI容器中。关于UI客户端250的设备能力的信息可以包括UI客户端250的诸如CPU、存储器、显示器分辨率、电池电平、和输入设备的类型的硬件能力，并且还包括诸如UI的存储/不存储和滚动/不滚动的用于表示UI的软件环境信息。

为了使UI服务器200接收具有例如UI客户端250的硬件和软件能力的UI，UI服务器200应当知道UI客户端250的硬件和软件能力。关于UI客户端250的用户优选项的信息是关于UI客户端250的用户的信息，UI服务器200考虑用户优选项提供UI，其根据用户的年龄、性别、职业、语言等等而不同。

对于UI客户端250向UI服务器200与上游一起发送特定的控制消息并且根据其控制UI服务器200的特定情形，共享关于为了在UI客户端250与UI服务器200之间交换控制消息而定义的协议的信息。因此，在步骤202，交换关于UI客户端250用以使用UI控制UI服务器200的协议的信息。

在步骤203，UI服务器200基于从UI客户端250接收到的UI客户端250的环境和特性信息确定UI数据的处理级别。更具体地，UI服务器200组合接收到的UI客户端250的环境和特性信息并且基于UI配置信息310确定能够支持的处理级别。

例如，当使用1920x1080的分辨率的说英语的用户的UI客户端(例如，数字TV)和具有320x240的分辨率的UI客户端(例如，移动终端)尝试使用机顶盒(STB)中的天气窗口小部件时，图5所示的窗口小部件配置信息已经预先由位于STB中的天气窗口小部件中的窗口小部件创建器/提供器配置。已经从UI客户端收集上述环境和特性信息的STB确定用于UI传送的UI处理级别，并且该情况下，根据数字TV和移动终端重新配置连接到相关的链路的UI。

作为另一个示例，当在步骤202中UI服务器200向UI客户端250发送图5所示的UI配置信息然后从UI客户端250接收设备环境是分辨率1920x1080、UI表示级别是简单窗口小部件、以及用户设置是朝鲜语作为UI客户端250的环境和特性信息时，UI服务器200组合接收到的设备环境是分辨率1920x1080、UI表示级别是简单窗口小部件、以及用户设置是朝鲜语，并且基于UI配置信息确定可支持的处理级别作为与配置数据连接2对应的集合。

如果UI服务器200不能提供与配置数据连接2对应的集合，则UI服务器200可以考虑UI客户端250的环境和特性信息以及UI服务器200的环境和特性信息二者来确定处理级别。

因此，在确定处理级别时，UI服务器200考虑UI配置信息、UI服务器200的环境和特性信息、以及UI客户端250的环境和特性信息中的至少一个。

在步骤204，UI服务器200根据确定的处理级别处理UI数据，并且通过以多媒体数据的格式编码处理后的UI数据来产生UI。例如，UI服务器200使用诸如MPEG-1、MPEG-2、MPEG-4和MPEG-7的各种版本的MPEG标准来产生UI。

在步骤205，UI服务器200向UI客户端250发送产生的UI。该情况下，UI服务器200以流化或下载方式向UI客户端250发送用于UI的多媒体数据。

在步骤206，UI客户端250使用在步骤205接收的UI远程控制UI服务器200。UI客户端250播放从UI服务器200接收到的UI，向用户显示它，并且基于用户答复显示的UI而作出的输入与UI服务器200交换特定的控制消息。控制消息可以是用于调用特定事件的消息。

图6是示出根据本发明的实施例的UI服务器的框图。

在图6中，UI服务器在它从UI客户端接收到UI请求并且向UI客户端发送预先配置的UI配置信息之后执行操作。

参考图6，UI服务器包括环境和特性信息接收器610、UI产生器620、和UI提供器630。

环境和特性信息接收器610从UI客户端接收UI客户端的环境和特性信息。UI客户端的环境和特性信息包括UI配置信息中的关于设备能力、用户优选项、UI表示级别和UI客户端的功能的信息、以及关于UI客户端用以使用UI控制UI服务器的协议的信息的至少一个。

UI产生器620基于UI配置信息、UI服务器200的环境和特性信息、以及接收到的UI客户端250的环境和特性信息来确定UI的处理级别。UI产生器620根据确定的处理级别处理UI数据，并且以多媒体数据格式编码它，产生UI。

UI提供器630向UI客户端提供产生的UI。

图7示出根据本发明的实施例的UI客户端。

图7中，UI客户端在它通过向UI服务器发送UI请求以从UI服务器接收到用于选择UI客户端的环境和特性信息的UI配置信息之后执行操作。

参考图7，UI客户端包括环境和特性信息发送器710和UI接收器720。

环境和特性信息发送器710基于接收到的UI配置信息选择UI客户端的环境和特性信息中的至少一个，并且向UI服务器发送它。

UI接收器720从UI服务器接收基于发送的UI客户端的环境和特性信息产生的UI。

根据本发明的实施例，UI客户端接收考虑它自己的环境和特性动态地产生的UI，并且将适合于控制UI服务器的UI提供给用户，从而提高用户满意度。

从以上描述明显可知，本发明的各个实施例可以提供其中UI客户端可以从UI服务器接收考虑UI客户端的设备特性的UI并且使用接收到的UI控制UI服务器的方法和装置。

此外，根据本发明的实施例，UI客户端可以接收考虑它的环境和特性而适合于UI设备的UI，从而提高用户满意度。

另外，UI客户端可以接收用于控制UI服务器的合适的UI，实现一个UI服务器与多种UI客户端设备之间的UI会话。

虽然已经参考其某些的实施例示出和描述本发明，但是本领域技术人员应当理解，其中可以进行形式和细节上的各种修改而不脱离由所附权利要求书及其等价物限定的本发明的精神和范围。

Claims

1.一种在支持远程用户界面(RUI)的通信系统中由服务器向客户端发送用户界面(UI)的方法，该方法包括：

确定由该客户端请求的UI的表示级别；

确定该表示级别在向该客户端提供的服务中是否可用；以及

根据确定结果向该客户端提供具有可用的表示级别的UI。

2.如权利要求1所述的方法，其中UI的表示级别包括图标、简化表示、和完整表示中的至少一个。

3.如权利要求1所述的方法，其中UI的表示级别包括以下至少一个：

能力；

用户优选项；

客户端的功能；以及

客户端用以控制服务器的协议。

4.一种在支持远程用户界面(RUI)的通信系统中由客户端从服务器接收用户界面(UI)的方法，该方法包括：

考虑该客户端的环境和特性，向该服务器发送UI的表示级别信息；以及

接收具有基于该表示级别信息在该服务器中确定的表示级别的UI。

5.如权利要求4所述的方法，其中UI的表示级别信息包括指示图标、简化表示、和完整表示中的至少一个的信息。

6.如权利要求4所述的方法，其中UI的表示级别信息包括以下至少一个：

关于能力的信息；

用户优选项；

客户端的功能；以及

关于客户端用以控制服务器的协议的信息。

7.一种在支持远程用户界面(RUI)的通信系统的服务器中向客户端发送用户界面(UI)的装置，该装置包括：

产生器，用于确定由该客户端请求的UI的表示级别，确定该表示级别在向该客户端提供的服务中是否可用，并且根据确定结果产生具有可用的表示级别的UI；以及

提供器，用于向该客户端提供产生的UI。

8.如权利要求7所述的装置，其中UI的表示级别包括图标、简化表示、和完整表示中的至少一个。

9.如权利要求7所述的装置，其中UI的表示级别包括以下至少一个：

能力；

用户优选项；

客户端的功能；以及

客户端用以控制服务器的协议。

10.一种在支持远程用户界面(RUI)的通信系统的客户端中从服务器接收用户界面(UI)的装置，该装置包括：

发送器，用于考虑该客户端的环境和特性向该服务器发送UI的表示级别信息；以及

接收器，用于接收具有基于该表示级别信息在该服务器中确定的表示级别的UI。

11.如权利要求10所述的装置，其中UI的表示级别信息包括指示图标、简化表示、和完整表示中的至少一个的信息。

12.如权利要求10所述的装置，其中UI的表示级别信息包括以下至少一个：

关于能力的信息；

用户优选项；

客户端的功能；以及

关于客户端用以控制服务器的协议的信息。