CN103353882A - 用于在多媒体系统中提供用户接口服务的装置和方法 - Google Patents

用于在多媒体系统中提供用户接口服务的装置和方法 Download PDF

Info

Publication number
CN103353882A
CN103353882A CN2013102512688A CN201310251268A CN103353882A CN 103353882 A CN103353882 A CN 103353882A CN 2013102512688 A CN2013102512688 A CN 2013102512688A CN 201310251268 A CN201310251268 A CN 201310251268A CN 103353882 A CN103353882 A CN 103353882A
Authority
CN
China
Prior art keywords
unit
little plug
data
multimedia equipment
plug
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2013102512688A
Other languages
English (en)
Inventor
朴勍模
宋在涓
黄棲煐
李国熙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN103353882A publication Critical patent/CN103353882A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F15/00—Digital computers in general; Data processing equipment in general
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/43—Querying
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance

Abstract

提供一种在多媒体系统中提供用户接口(UI)服务的装置和方法。该方法包括：接收来自UI服务器的UI数据；提取基于逐个对象被结构化并且对应于来自UI客户端的输入的UI数据；在提取的UI数据中，通过反映用于显示的设备的UI环境来创建自适应UI数据；以及显示创建的自适应UI数据。

Description

用于在多媒体系统中提供用户接口服务的装置和方法
本申请是申请日为2009年7月16日、申请号为200980127672.6、发明名称为“用于在多媒体系统中提供用户接口服务的装置和方法”的发明专利申请的分案申请。
技术领域
本发明一般涉及一种用于提供自适应用户接口服务以支持各种类型的通信设备的装置和方法。
背景技术
随着网络和多媒体技术的迅速演进，最近已经开发出许多不同类型的多媒体设备，并且在这些多媒体设备之间的融合在迅速进行中。
目前，非常普遍的是装备有各种输出设备的多媒体设备(诸如数字TV、家庭影院、计算机设备、音频/视频设备等)在网络环境上向不同类型的输入设备发送多媒体数据/从不同类型的输入设备接收多媒体数据，并且在这些多媒体设备之间的交互提供了融合的多媒体服务。
发明内容
技术问题
传统上，自不同物理空间对媒体设备的远程控制(例如，自办公室的计算机设备对家中的TV的控制)通过发送和接收远程用户接口(UI)来执行。对于远程控制，UI服务器向UI客户端提供UI数据，而UI客户端基于提供的UI数据来控制UI服务器。作为另一示例，个人计算机(PC)的远程访问或控制是一种类似于上述用户接口服务的服务。
解决方案
设计本发明以提供至少下述的优点。因此，本发明的一方面提供一种用于创建适合于用户接口(UI)环境的UI数据的装置和方法。
本发明的另一方面提供一种UI服务装置和方法，用于选择地提取和显示适合于它自己的UI环境的UI数据。
本发明的另一方面提供一种UI装置和方法，用于自适应地处理从远程UI服务器向UI客户端提供的UI数据以控制多媒体设备。
本发明的另一方面提供一种UI装置和方法，用于根据它自己的UI环境重新配置给UI客户端提供的UI数据以控制多媒体设备。
本发明的另一方面提供一种UI装置和方法，用于通过将来自另一UI客户端的UI数据与它自己的UI数据聚合来配置新的UI数据。
依据本发明的一方面，提供一种方法，用于在多媒体系统中提供用户接口(UI)服务。该方法包括：接收来自UI服务器的UI数据；提取基于逐个对象被结构化并且对应于来自UI客户端的输入的UI数据；在提取的UI数据中，通过反映用于显示的设备的UI环境来创建自适应UI数据；以及在该设备的屏幕上显示创建的自适应UI数据。
依据本发明的另一方面，提供一种在多媒体系统中提供UI服务的装置。该装置包括：UI服务器，用于提供UI数据；和显示设备，用于提取基于逐个对象被结构化并且对应于来自UI客户端的输入的UI数据；以及在提取的UI数据中，通过反映显示设备的UI环境来创建自适应UI数据；以及在屏幕上显示创建的自适应UI数据。
依据本发明的另一方面，提供一种UI装置。该装置包括：至少一个小插件(widget)，用于基于逐个对象管理从连接到因特网协议(IP)网络的网络服务器或UI服务器中接收的UI数据；和小插件管理器，用于考虑从用户接收按键输入的UI客户端的功能性来控制以基于逐个对象选择和执行至少一个小插件。
有益效果
如从前述说明中显然的，根据本发明的实施例，支持UI服务的设备能够从远程UI服务器接收UI数据，其中该UI数据基于它的装置(如，装备有UI客户端的通信装置)的特征，以及通过经过选择和聚合来自适应地改变接收的UI数据以适合于设备自身而创建和显示该UI数据。
结果，本发明的上述实施例能够提供多模式小插件功能，并且通过使用多模式小插件提供用户熟悉的UI环境。另外，本发明的实施例能够增加用户的满意度，因为支持UI服务的设备能够考虑它自己的环境(输入设备的类型、输入设备的版本、输入接口等)和特征来创建和表示与之适应的UI数据。
附图说明
通过结合附图的以下描述，本发明的某些实施例的以上和其它方面、特征和优点将更加明了，在附图中：
图1是说明可适用本发明的UI服务的基本概念的流程图；
图2是说明根据本发明的实施例的UI服务模型的流程图；
图3是说明根据本发明的实施例的UI服务模型的流程图；
图4是说明根据本发明的实施例的UI装置的框图；和
图5是说明根据本发明的实施例的包括UI装置、UI服务器和多媒体设备的UI服务系统的示例的图。
贯穿附图，相同参考数字将被理解为表示相同组件、特征和结构。
具体实施方式
提供在说明书中定义的主题(诸如详细的结构和组件)以帮助对本发明的某些实施例的全面理解。因此，本领域的普通技术人员将认识到在不背离本发明的范围和精神的情况下，可以对在此所述的实施例进行各种改变和修改。同样，出于清楚和简洁之故，省略对公知功能和结构的说明。
本发明提供一种支持自适应UI数据的UI服务装置和方法，且具体地，提供一种UI装置和方法，用于从连接因特网协议(IP)网络的外部网络中的UI服务器或多媒体设备，或从多媒体设备所连接的家用网络中的家用服务器接收在UI客户端中使用的用于控制各种多媒体设备的UI数据，并且重新配置接收的UI数据以适合于UI环境。
依据本发明的实施例，UI系统根据用户的请求包括用于接收和丢弃从UI服务器提供的UI数据的UI装置、多媒体设备或家用服务器。UI装置执行涉及通过搜索特定的UI数据和聚合多个特定的UI数据进行的新的UI数据的创建的各种控制。
在UI装置中提供的UI客户端包括具有键盘的远程控制器和/或输入设备(诸如触摸屏和键盘)，用于控制多媒体设备的操作，并且能够以程序或芯片的形式安装在与外部设备通信的各种终端中。在本申请中，在广义上，UI客户端能够构造为UI装置的等价物。
用户接口(UI)是一组视觉和/或听觉组件，用于向用户传递用于控制多媒体设备的信息，并且UI数据是构成UI的数据。通过使用UI，能够提供动画、矢量图形和多视觉/听觉组件。另外，UI事件表示在UI客户端和用户之间的交互，诸如触摸屏上的触摸、在键盘上的按钮输入、或通过远程控制器的按键输入，这些能够在UI客户端中感知。
小插件(widget)包括UI组件，诸如窗口、文字框、天气元素和虚拟相册，它们通过多媒体设备或UI装置显示。小插件(它也常常称为“小配件(gadget)”)能够位于在多媒体设备或UI装置的显示屏幕上的由用户选择的位置上。
依据本发明的实施例，通过UI客户端搜索、选择和聚合UI数据的方法大致可以划分为以下两种方法。
I.第一方法包括检查从UI服务器向多媒体设备提供的初始UI数据，然后通过搜索其他UI数据(这是先前在多媒体设备中提供的并且对应于多媒体设备的UI环境)，或通过将经过UI服务器搜索的UI数据与多媒体设备中提供的UI数据聚合来创建新的UI数据。
II.第二方法包括基于各种UI环境将由UI服务器提供的UI数据分层(stratify)，并且将分层的数据划分成小插件、基本模块，和用于快速适配的扩展模块的组件，由此减少在UI数据的搜索和接收期间要求的程序、计算和消息的复杂度。
这里要注意到，UI环境包括装备了UI客户端的UI装置(诸如具有远程控制、键盘、和/或触摸屏的终端)的类型和用户特定信息(诸如UI使用模式/历史、年龄、性别、职业和用户的偏好)中的至少一个。
图1说明根据本发明的实施例的UI服务方法的基本概念。
参考图1，UI客户端10是用于通过从远程UI服务器20接收UI数据来显示和利用UI的通信设备。可以通过多媒体设备(未示出)从UI服务器20向UI客户端10提供UI数据。
在步骤101，UI服务器20发送UI数据到UI客户端10。UI服务器20也能够广告和广播该UI数据，和/或远程更新提供给UI客户端10的UI数据。在此，UI服务器20在UI数据的传输期间可以使用常规下载方案或流方案。
可以根据例如运动图像专家组(MPEG)标准以多媒体数据的格式来编码UI服务器20提供给UI客户端10的UI数据。也可以在使用公知的MPEG场景描述方法按照多媒体数据的格式编码UI数据之后提供该UI数据。在这种情况下，UI数据可以包括关于动态UI创建的信息。MPEG标准是关于压缩编码视频和音频的方法的国际标准，并且有各种版本的标准，包括但不限于MPEG-1、MPEG-2、MPEG-4和MPEG-7。在传输之前，UI服务器20使用例如MPEG标准编码UI数据。
最近，多数多媒体设备包括能够重放压缩的视频的MPEG解码器。因此，当在传输之前基于MPEG标准编码UI数据时，多数多媒体设备能够表现该UI而无需单独的用于UI表示的浏览器。
对于这些环境，在MPEG标准中定义了ISO/IEC14496-11和ISO/IEC14496-20技术以提供场景表示相关的技术。ISO/IEC14496-11包括MPEG-4用于场景的二进制格式(BIFS)技术，而ISO/IEC14496-20包括用于移动终端的轻量级应用场景表示(LASeR)技术。同时BIFS是用于全部多媒体内容的场景描述标准，LASeR是用于多媒体终端的场景描述标准，这些终端在它们的显示器的尺寸以及还在网络带宽方面较小，像移动电话机。LASeR包括准备来使得移动电话机能够接收丰富的多媒体服务的多媒体内容格式。
BIFS或LASeR用于基于对象的系统，并且能够使用基于对象的图像编码方案来编码UI数据。此外，BIFS或LASeR包括关于能够表示在图像中包含的对象的时间/空间排列的场景描述方法的信息。因此，通过将UI数据中的对象当作由BIFS或LASeR编码的图像对象，可以通过使用BIFS或LASeR场景描述编码它们来描述UI对象的时间/空间排列。在使用MPEG场景描述方法编码UI数据的过程中，UI服务器20也能够编码关于动态UI创建的信息。
这里，术语“UI数据的对象”表示UI的单元，其基于通过在UI客户端和用户之间的交互而发生的特定UI事件(诸如按键输入)来调用给定功能。因此，UI客户端能够使用BIFS或LASeR来表示UI数据中对象(诸如按钮和菜单)的时间/空间排列。
例如，当通过使用诸如BIFS或LASeR的视频编解码器编码UI数据来创建包含关于UI的图像的MPEG流时，UI客户端10能够通过简单地接收包含关于由BIFS或LASeR编码的UI的图像的MPEG流来显示UI，并且利用MPEG解码器解码和重放它。因为能够通过简单地重放MPEG流来显示UI，所以具有MPEG解码器的各种设备(如多媒体设备)能够显示由UI服务器20提供的UI。如上所述的，如果UI客户端10具有MPEG解码器，则其也能够显示由UI服务器20提供的UI。
再参考图1，当通过使用基于对象的场景描述语言(诸如BIFS或LASeR)表示逐个对象的排列来形成UI时，在步骤103和105中，已经接收UI数据的UI客户端10能够通过选择和重新排列对象而动态创建和显示考虑UI装置的环境给出的新的UI。在步骤107，在UI客户端10和UI服务器20之间实现各种基于UI的远程控制。这里，控制包括以下中的至少一种：涉及多媒体内容的使用的各种控制(诸如搜索关于正在进行的内容的各种信息和选择/购买搜索的内容)，以及对介于UI服务器20和UI客户端10之间的多媒体设备(图1中未示出)的操作的控制。
图2说明根据本发明的实施例的UI服务模型。在图2，通过将从UI服务器20提供的UI数据与存储在UI客户端10或多媒体设备30中的UI数据聚合来创建新的UI环境。为了更好地理解本发明的实施例，在以下说明中，通过提取和聚合与例如搜索小插件关联的特定的UI数据来创建新的搜索UI环境。
在图2中说明的示例中，假设UI客户端10为具有键盘的远程控制器，但是UI客户端10也可以是具有用于显示UI的显示部件以及诸如键盘和触摸屏的输入部件的通信设备或终端。同样，能够搜索和发送至少一个用于IP网络中的UI服务的小插件的搜索站点的服务器或用于提供UI服务的单独的UI专用服务器能够被用作UI服务器20。
参考图2，在步骤201，UI服务器20使用流方案或下载方案向多媒体设备30发送与搜索小插件关联的UI数据。在步骤201中发送的UI数据可以包括用于UI表示的小插件，并且即使没有来自多媒体设备30的传输请求也能够通过使用预定的方案而被发送到多媒体设备30。
在步骤203，多媒体设备30显示从UI服务器20接收的至少一个搜索UI数据。能够在对UI数据的内容执行请求时或在内容的执行期间进行该显示操作。
在步骤205，已经查看被显示的UI数据(即，小插件)的用户实际上可以使用UI客户端10选择相关的搜索小插件。可是，如果显示的小插件不是期望的搜索小插件，则用户可以输入用于搜索其他小插件或聚合不同UI数据的按键(key)。如果在步骤205中按键事件从UI客户端10发送到多媒体设备30，则在步骤207到211中多媒体设备30能够收集和显示与这里提供的UI数据关联的小插件。
更具体地，在步骤205中已经从UI客户端10中接收按键事件的多媒体设备30在步骤207中从接收的搜索小插件的UI数据和/或它自己的UI数据中发现作为与输入接口有关的小插件的UI数据。也即，多媒体设备30检查是否来自UI客户端10的、用于表示搜索小插件(即，用于处理输入信号的输入接口)的按键事件存在于其中以作为它自己的UI环境。
在步骤209，多媒体设备30创建通过聚合用于处理输入按键事件的输入小插件和用于创建对应于输入按键的按键值的虚拟键盘而提供的搜索小插件。也即，多媒体设备30通过提取和聚合发现的输入接口和虚拟键盘(这是它自己的按键输入接口)的对象来形成搜索小插件。
在步骤211，多媒体设备30显示聚合的小插件。例如，多媒体设备30显示聚合的搜索小插件，其中所述搜索小插件包括用于响应于来自UI客户端10的输入信号执行搜索功能的搜索小插件和用于处理输入信号的虚拟键盘。
在步骤213，当通过用户的按键输入接收来自UI客户端10的按键事件时，多媒体设备30应用该按键事件到搜索小插件。
更具体地，在步骤213到221中，如果有用户(UI客户端10)做出的按键输入，在UI客户端10、UI服务器20，和多媒体设备30之间执行相关的控制操作(诸如信息搜索和内容选择/购买/执行)。在步骤213，多媒体设备30从UI客户端10接收与按键输入对应的信号。多媒体设备30然后使用它的虚拟键盘检查对应于接收的信号(即，从UI客户端10请求的信息)的按键值。在步骤215，多媒体设备30从UI客户端10接收指示按键事件的输入已经完成的信号。
在步骤217，在多媒体设备30和UI服务器20之间进行用于处理请求的按键事件的交互。也即，多媒体设备30请求UI服务器20搜索对应于输入信号的信息。然后，UI服务器20响应于来自UI客户端10的按键输入而进行基于多媒体设备30的搜索。
在步骤219，多媒体设备30从UI服务器20接收对应于按键事件的搜索的UI数据。可以使用例如流方案的预定方案发送UI数据到多媒体设备30。
在步骤221，多媒体设备30显示小插件搜索结果。也即，多媒体设备30显示响应于来自UI客户端10的按键事件而被完全搜索的UI数据。
图3说明根据本发明的另一实施例的UI服务模型。
在图3，通过将多媒体设备30从UI服务器20接收的UI数据与UI客户端10考虑它的UI环境提供的输入/输出相关的UI数据聚合来创建新的UI环境。为了方便起见，在本发明的以下说明中，假设通过提取和聚合与例如搜索小插件关联的特定UI数据而创建新的搜索UI环境。
在图3，假设UI客户端10是具有触摸屏、键盘和显示器的通信设备或终端。多媒体设备30(其连接到例如家用网络)能够在连接到管理家用网络的家用服务器的情况下发送/接收以及显示UI数据，或者也能够在不连接到家用服务器的情况下运行。方便起见，在以下说明中，假设多媒体设备30没有连接到家用服务器。图3的UI服务器20能够和图2使用的服务器一样。
参考图3，在步骤301，UI服务器20使用流方案或下载方案向多媒体设备30发送与搜索小插件关联的UI数据。在步骤301中多媒体设备30从UI服务器20接收的UI数据可以包括关于搜索小插件的全部状态。另外，UI数据可以包括至少一个用于表示搜索小插件的UI表示小插件，并且即使没有来自多媒体设备30的传输请求也可以通过使用预定的方案而被发送到多媒体设备30。
在步骤303，多媒体设备30显示从UI服务器20接收的至少一个搜索UI数据。能够在对UI数据的内容执行请求时或在内容的执行期间进行该显示操作。
在步骤305，已经查看被显示的UI数据(即，小插件)的用户实际上可以选择相关的小插件。可是，如果显示的小插件不是期望的小插件，则用户可以输入用于搜索其他小插件或聚合不同UI数据的按键。
在步骤305中，UI客户端10向多媒体设备30发送对于考虑设备的功能性(或UI连接性)给定的搜索小插件的请求。也即，当从装备了UI客户端10的设备接收到对于基于UI环境的搜索小插件的请求(请求具有设备功能性(UI连接性)的搜索小插件)时，多媒体设备30在步骤307中检查对于UI客户端10(即，装备了UI客户端10的设备的UI功能性)的UI连接性。
例如，在步骤307中，多媒体设备30可以检查终端的类型：是否UI客户端10是具有键盘的终端或是具有触摸屏的终端。多媒体设备30也能够检查装备了UI客户端10的UI装置的类型，或检查用户特定信息(诸如UI使用模式/历史、年龄、性别、职业和UI客户端的用户的偏好)。
因此，在步骤307，多媒体设备30从表示搜索小插件的至少一个UI数据(其从UI服务器20中接收)中提取满足对UI客户端10的UI连接性的UI数据。也即，多媒体设备30执行基于对UI客户端10的UI连接性给定的小插件应用。这里，多媒体设备30能够通过选择地提取和重新排列考虑UI的连接性给定的UI数据的对象来动态创建和显示新的UI环境。
满足UI连接性的特定UI数据包括在与多媒体设备30从UI服务器20接收的搜索小插件相关的UI数据、多媒体设备30具有的UI数据、和多媒体设备30通过将作为场合要求而从UI服务器20接收的UI数据与多媒体设备30具有的UI数据聚合而创建的UI数据当中的、通过考虑UI客户端的特征而提取的至少一个UI数据对象。
在步骤309，多媒体设备30显示由于其满足对UI客户端10的UI连接性而提取的合适的搜索小插件。当显示合适的小插件时，多媒体设备30可以考虑装备了UI客户端10的终端的性能和/或绑定事件。这里，绑定事件包括与能够对小插件(通过键盘和指针)执行的全部操作相关的调用。
在步骤311，多媒体设备30将输入接口小插件与创建的搜索小插件分离并且将其提供给UI客户端10。也即，UI客户端10适配来通过从多媒体设备30接收输入接口小插件和与多媒体设备30交互作用来实现该搜索小插件。
在步骤313，UI客户端10通过将接收的输入接口小插件映射到它的用于处理来自用户的按键输入的事件技术来在它的屏幕上显示关于搜索小插件的搜索窗口。搜索窗口也能够以相同的方式显示在多媒体设备30上。
在步骤313到步骤319，如果有用户的按键输入，则在UI客户端10、UI服务器20和多媒体设备30之间执行控制操作(诸如信息搜索和内容选择/购买/执行)。
更具体地，在步骤315中在UI客户端10和多媒体设备30之间执行对搜索和输入小插件的交互。使用在UI客户端10中提供的键盘或触摸屏在显示的搜索小插件中反映用户按键输入，并且反映按键输入的搜索小插件屏幕显示在多媒体设备30的显示的搜索小插件上。
在步骤317，多媒体设备30请求UI服务器20搜索对应于输入按键的信息，并且接收作为来自UI服务器20的响应的搜索的信息。也即，响应于来自UI客户端10的搜索输入而在多媒体设备30和UI服务器20之间执行搜索小插件。
在步骤319，多媒体设备30显示从UI服务器20接收的搜索UI数据。这里，能够使用例如流方案的预定方案发送UI数据到多媒体设备30。
图4是说明根据本发明的实施例的UI装置的框图。
参考图4，UI装置包括小插件管理器410、至少一个小插件420(420-1、…、420-N中的一个)、MPEG处理器430、UI处理器440和元数据处理器450。
作为从UI服务器收集至少一个UI数据的执行设备的UI装置还包括协议模块，用于执行相关的小插件、搜索UI服务器和使用小插件管理器410与UI服务器通信。
作为用于控制按连续方式的至少一个小插件(420-1、…、420-N中的一个)的执行的组成元素的小插件管理器410控制小插件420的时间/空间交互创建和执行，并且也控制UI数据的聚合。小插件管理器410能够执行多个小插件。以对象的形式定义小插件420。因此，小插件管理器410能够通过调用和执行至少一个对象来支持或显示特定小插件。
例如，在图4，小插件管理器410控制来选择和执行搜索小插件。另外，小插件管理器410基于将装备UI装置的通信设备的UI连接性控制是否选择地提取或执行关于输入接口的小插件。也即，小插件管理器410考虑装备UI客户端的通信设备的用户的UI环境和特征来控制选择地执行小插件。
MPEG处理器430根据MPEG标准压缩(或解压缩)和编码(或解码)UI数据。依据本发明的实施例，MPEG处理器430使用相同的编码方案解码接收的根据MPEG标准编码的UI数据，并且通过按照时间/空间方式排列解码的视频、音频、和/或运动图像来创建小插件屏幕。当不需要在装备UI装置的通信设备上显示小插件时，MPEG处理器430能够被选择地提供在诸如远程控制器的虚拟键盘中。
UI处理器440包括UI提取层440a，用于管理UI数据的源、绑定事件，和传递小插件的相关UI数据(这是根据UI数据的搜索结果选择和提取的)到小插件管理器410。另外，UI处理器440包括UI连接层440b，用于检查用于搜索UI数据的UI连接性。
UI连接层440b提供UI连接从而UI提取层440a可以提取考虑UI功能性给定的小插件420。也即，UI连接层440b通过检查将处理产生按键事件的通信设备的UI环境(即，UI数据)的通信设备的UI功能性来使能UI提取层440a使用小插件管理器410从小插件420中提取考虑UI功能性给定的至少一个UI数据对象。因此，小插件管理器410通过选择和重新排列由UI提取层440a提取的UI数据对象来动态创建和表示新的UI。
用于处理结构化的UI数据的元数据处理器450管理和处理基于对象的结构化小插件420。另外，元数据处理器450给用户提供通过处理用户产生的事件获得的UI数据。
图5说明根据本发明的实施例的包括UI装置、UI服务器和多媒体设备的UI服务系统的示例。
参考图5，UI服务系统包括至少一个装备了UI客户端的UI装置510、UI服务器520和多媒体设备530。例如，UI装置510能够是远程控制器(或虚拟键盘)511、包括小键盘的移动终端513、或包括触摸屏的移动终端515。依据图2或图3的方法来自适应地执行图5中的UI服务系统的操作。
依据本发明的实施例，UI装置510、UI服务器520和多媒体设备530能够在每个UI数据中通过标记、使用以对象形式定义的至少一个小插件来确定与输入/输出接口相关的部件，以便容易地识别/分开/聚合各个部件，并且也能够通过改变该数据来维持UI数据中的状态。在该方式中，UI客户端510能够使用多个输入/输出设备来适当地扩展和聚合UI服务器520提供的小插件。
例如，多媒体设备530显示从UI服务器520接收的至少一个搜索UI数据。多媒体设备530能够根据来自作为它自己的虚拟键盘的远程控制器511的按键输入来选择性地显示特定的UI数据。
为了表示搜索小插件，检查正通过多媒体设备530显示的搜索窗口的UI客户端510根据用户按键输入通过使用小键盘或触摸屏在显示的搜索窗口上反映和显示用户按键输入。
根据来自UI客户端510的搜索输入通过多媒体设备530在UI客户端510和UI服务器520之间执行搜索小插件，并且通过多媒体设备530显示搜索结果。
本发明的实施例也能够实现为在计算机可读记录介质上的计算机可读代码。计算机可读介质是能够存储随后由计算机系统读取的数据的任何数据存储设备。计算机可读记录介质的例子包括，但不局限于只读存储器(ROM)，随机访问存储器(RAM)、CD-ROM、磁带、软盘、光数据存储设备和载波(诸如经过因特网的经由有线或无线传输路径的数据传输)。计算机可读记录介质也能够分布在网络耦合的计算机系统从而以分布方式存储和执行计算机可读代码。同样，完成本发明的功能程序、代码、和代码段能够容易地由本发明所属的技术领域的熟练的程序员推导出来。
尽管已经参考本发明的某些实施例示出和描述了本发明，但是本领域技术人员将理解：在不背离由以下所附权利要求及其等价物限定的本发明的精神和范围的情况下，这里可以在形式和细节上进行各种改变。

Claims (16)

1.一种在多媒体系统中由多媒体设备提供用户接口（UI）服务的方法，所述方法包括：
从UI服务器接收由用于处理显示的主部分和用于处理输入的从部分组成的小插件；
显示从所述小插件的所述主部分输出的信息；
向UI客户端设备发送所述小插件的所述从部分；
从所述UI客户端设备接收在所述小插件的所述从部分中输入的数据；并且
根据所述输入数据控制所述小插件的所述主部分。
2.如权利要求1所述的方法，其中，发送所述小插件的所述从部分包括：向所述UI客户端设备发送根据MPEG（移动图像专家组）格式的所述小插件的所述从部分。
3.如权利要求1所述的方法，其中，根据所述输入数据控制所述小插件的所述主部分包括：当所述小插件是搜索小插件时，显示根据所述输入数据从所述小插件的所述主部分输出的搜索结果。
4.如权利要求1所述的方法，其中，所述小插件是由所述UI客户端设备选择的小插件。
5.一种在多媒体系统中由用户接口（UI）客户端设备提供UI服务的方法，所述方法包括：
从多媒体设备接收小插件的从部分，所述小插件由用于处理显示的主部分和用于处理输入的从部分组成；
激活所述小插件的所述从部分；并且
向所述多媒体设备发送所述UI客户端设备的用户在所述小插件的所述从部分中输入的数据，
其中，所述输入数据用于控制所述小插件的所述主部分。
6.如权利要求5所述的方法，其中，接收所述小插件的所述从部分包括：从所述多媒体设备接收根据MPEG（移动图像专家组）格式的所述小插件的所述从部分。
7.如权利要求5所述的方法，其中，当所述小插件是搜索小插件时，所述小插件的所述主部分根据所述输入数据输出要显示的搜索结果。
8.如权利要求5所述的方法，其中，所述小插件是由所述UI客户端设备选择的小插件。
9.一种在多媒体系统中用于提供用户接口（UI）服务的多媒体设备，所述多媒体设备包括：
接收器，用于从UI服务器接收由用于处理显示的主部分和用于处理输入的从部分组成的小插件；
显示单元，用于显示从所述小插件的所述主部分输出的信息；
发送器，用于向UI客户端设备发送所述小插件的所述从部分；和
控制器，用于在从所述UI客户端设备接收到在所述小插件的所述从部分中输入的数据时，根据所述输入数据控制所述小插件的所述主部分。
10.如权利要求9所述的多媒体设备，其中，发送所述小插件的所述从部分包括：向所述UI客户端设备发送根据MPEG（移动图像专家组）格式的所述小插件的所述从部分。
11.如权利要求9所述的多媒体设备，其中，当所述小插件是搜索小插件时，所述控制器控制所述显示单元显示根据所述输入数据从所述小插件的所述主部分输出的搜索结果。
12.如权利要求9所述的多媒体设备，其中，所述小插件是由所述UI客户端设备选择的小插件。
13.一种在多媒体系统中用于提供用户接口（UI）服务的UI客户端设备，所述UI客户端设备包括：
接收器，用于从多媒体设备接收小插件的从部分，所述小插件由用于处理显示的主部分和用于处理输入的从部分组成；
小插件管理器，用于激活所述小插件的所述从部分；和
发送器，用于向所述多媒体设备发送所述UI客户端设备的用户在所述小插件的所述从部分中输入的数据，
其中，所述输入数据用于控制所述小插件的所述主部分。
14.如权利要求13所述的UI客户端设备，其中，接收所述小插件的所述从部分包括：从所述多媒体设备接收根据MPEG（移动图像专家组）格式的所述小插件的所述从部分。
15.如权利要求13所述的UI客户端设备，其中，当所述小插件是搜索小插件时，所述小插件的所述主部分根据所述输入数据输出要显示的搜索结果。
16.如权利要求13所述的UI客户端设备，其中，所述小插件是由所述UI客户端设备选择的小插件。
CN2013102512688A 2008-07-16 2009-07-16 用于在多媒体系统中提供用户接口服务的装置和方法 Pending CN103353882A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020080069351A KR101539461B1 (ko) 2008-07-16 2008-07-16 멀티미디어 시스템에서 사용자 인터페이스 서비스를 제공하는 방법 및 장치
KR10-2008-0069351 2008-07-16

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN2009801276726A Division CN102099774B (zh) 2008-07-16 2009-07-16 用于在多媒体系统中提供用户接口服务的装置和方法

Publications (1)

Publication Number Publication Date
CN103353882A true CN103353882A (zh) 2013-10-16

Family

ID=41531171

Family Applications (2)

Application Number Title Priority Date Filing Date
CN2013102512688A Pending CN103353882A (zh) 2008-07-16 2009-07-16 用于在多媒体系统中提供用户接口服务的装置和方法
CN2009801276726A Expired - Fee Related CN102099774B (zh) 2008-07-16 2009-07-16 用于在多媒体系统中提供用户接口服务的装置和方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN2009801276726A Expired - Fee Related CN102099774B (zh) 2008-07-16 2009-07-16 用于在多媒体系统中提供用户接口服务的装置和方法

Country Status (8)

Country Link
US (2) US8438492B2 (zh)
EP (1) EP2300901A4 (zh)
JP (1) JP5113294B2 (zh)
KR (1) KR101539461B1 (zh)
CN (2) CN103353882A (zh)
AU (1) AU2009271877B2 (zh)
CA (1) CA2730389C (zh)
WO (1) WO2010008230A2 (zh)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8959621B2 (en) * 2009-12-22 2015-02-17 Disney Enterprises, Inc. Human verification by contextually iconic visual public turing test
US8893004B2 (en) * 2010-05-12 2014-11-18 International Business Machines Corporation User interface proxy method and system
KR101726875B1 (ko) * 2010-05-19 2017-04-13 삼성전자주식회사 홈 네트워크에서 위젯 패키지를 이용하여 원격 사용자 인터페이스 정보를 제공하기 위한 장치 및 방법
KR101688141B1 (ko) * 2010-05-20 2016-12-20 엘지전자 주식회사 애플리케이션 실행 장치 및 그 동작 제어 방법
WO2011150074A2 (en) * 2010-05-26 2011-12-01 University Of Florida Research Foundation, Inc. Consistent updates for packet classification devices
KR102033764B1 (ko) 2010-10-06 2019-10-17 삼성전자주식회사 리모트 컨트롤러에서의 ｕｉ 표시 방법 및 이를 이용한 리모트 컨트롤러
CN102467331A (zh) * 2010-11-18 2012-05-23 中国移动通信有限公司 终端设备上应用软件界面的适配方法、装置及系统
WO2012157185A1 (ja) * 2011-05-13 2012-11-22 パナソニック株式会社 表示装置、操作装置、機器連携制御システム、表示方法、操作方法及び機器連携制御方法
KR20130005544A (ko) * 2011-07-06 2013-01-16 삼성전자주식회사 사용자 인터페이스 제공 장치 및 방법
EP2784641B1 (en) 2011-11-24 2018-11-28 LG Electronics Inc. User interface display method and device using same
JP2016110178A (ja) * 2014-12-02 2016-06-20 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
KR101685108B1 (ko) * 2014-12-30 2016-12-09 김동용 홈 기기를 제어하는 방법 및 장치
US20170097922A1 (en) * 2015-10-01 2017-04-06 Sap Se Optimizing software application user interface performance using interactive images
CA3005083A1 (en) * 2015-11-11 2017-05-18 Johnson & Johnson Surgical Vision, Inc. Systems and methods for providing virtual access to a surgical console
KR102483269B1 (ko) * 2016-08-29 2023-01-02 삼성전자주식회사 서버 장치, 사용자 단말 장치, 그 제어 방법들 및 스트리밍 시스템
US11874893B2 (en) * 2019-11-14 2024-01-16 Microsoft Technology Licensing, Llc Modularizing and embedding supplemental textual and visual content in different environments

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050015395A1 (en) * 2003-07-14 2005-01-20 Canon Kabushiki Kaisha User interface control apparatus and method thereof
US20060158368A1 (en) * 2005-01-20 2006-07-20 Sbc Knowledge Ventures, L.P. System, method and interface for controlling multiple electronic devices of a home entertainment system via a single control device
US20070276811A1 (en) * 2006-05-23 2007-11-29 Joshua Rosen Graphical User Interface for Displaying and Organizing Search Results

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1098244A3 (en) * 1999-11-02 2001-06-13 CANAL + Société Anonyme Graphical user interface
US20010030667A1 (en) * 2000-04-10 2001-10-18 Kelts Brett R. Interactive display interface for information objects
US6738077B1 (en) * 2000-07-18 2004-05-18 Apple Computer, Inc. Dynamic generation and automated distribution of user interface from database model
EP1205843A3 (en) * 2000-11-13 2004-10-20 Canon Kabushiki Kaisha User interfaces
US7155681B2 (en) * 2001-02-14 2006-12-26 Sproqit Technologies, Inc. Platform-independent distributed user interface server architecture
US20030160822A1 (en) * 2002-02-22 2003-08-28 Eastman Kodak Company System and method for creating graphical user interfaces
US7574691B2 (en) * 2003-03-17 2009-08-11 Macrovision Corporation Methods and apparatus for rendering user interfaces and display information on remote client devices
KR100609667B1 (ko) * 2004-02-23 2006-08-08 (주)위트콤 그래픽 사용자 인터페이스 갱신 시스템
KR20050092514A (ko) * 2004-03-16 2005-09-22 주식회사 팬택앤큐리텔 이동 통신 단말기에서의 사용자 인터페이스 데이터 설정변경 방법
WO2006000020A1 (en) 2004-06-29 2006-01-05 European Nickel Plc Improved leaching of base metals
US7856441B1 (en) * 2005-01-10 2010-12-21 Yahoo! Inc. Search systems and methods using enhanced contextual queries
US20060085819A1 (en) * 2004-10-14 2006-04-20 Timo Bruck Method and apparatus for content metadata search
US20060168526A1 (en) * 2005-01-12 2006-07-27 Nokia Corporation Platform-specific application user interface remoting
US20060265662A1 (en) * 2005-05-19 2006-11-23 Custom Credit Systems, L.P. System and method for generating and updating user interfaces of web-based applications
US7996783B2 (en) * 2006-03-02 2011-08-09 Microsoft Corporation Widget searching utilizing task framework
US20090138579A1 (en) * 2007-11-26 2009-05-28 Emtrace Technologies, Inc. Remote configuration of electronic device with user interface provided from electronic device
KR101528854B1 (ko) * 2008-02-20 2015-06-30 삼성전자주식회사 Ｒｕｉ 프록시 장치 및 ｒｕｉ 프록시 장치에서의 ｕｉ컴포넌트 처리 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050015395A1 (en) * 2003-07-14 2005-01-20 Canon Kabushiki Kaisha User interface control apparatus and method thereof
US20060158368A1 (en) * 2005-01-20 2006-07-20 Sbc Knowledge Ventures, L.P. System, method and interface for controlling multiple electronic devices of a home entertainment system via a single control device
US20070276811A1 (en) * 2006-05-23 2007-11-29 Joshua Rosen Graphical User Interface for Displaying and Organizing Search Results

Also Published As

Publication number Publication date
CN102099774A (zh) 2011-06-15
WO2010008230A3 (en) 2010-05-14
JP5113294B2 (ja) 2013-01-09
EP2300901A2 (en) 2011-03-30
CA2730389A1 (en) 2010-01-21
US20130219275A1 (en) 2013-08-22
CN102099774B (zh) 2013-12-11
KR20100008735A (ko) 2010-01-26
US20100017372A1 (en) 2010-01-21
EP2300901A4 (en) 2012-01-18
AU2009271877A1 (en) 2010-01-21
CA2730389C (en) 2014-01-07
JP2011528146A (ja) 2011-11-10
KR101539461B1 (ko) 2015-07-30
AU2009271877B2 (en) 2012-11-15
WO2010008230A2 (en) 2010-01-21
US8438492B2 (en) 2013-05-07

Similar Documents

Publication Publication Date Title
CN102099774B (zh) 用于在多媒体系统中提供用户接口服务的装置和方法
CN102460410B (zh) 通信系统中发送和接收用户界面的装置和方法
US9424053B2 (en) Method and apparatus for displaying personalized user interface
CN102736912A (zh) 跨多应用或进程的动画协调
CN102750067A (zh) 一种基于手持设备的大屏幕交互方法
WO2007133488A2 (en) Framework for agile mobile applications
CN113559497B (zh) 一种数据处理方法、装置、设备以及可读存储介质
CN105224302A (zh) 输入法的皮肤处理方法和输入法系统
US10027873B2 (en) Devices, methods and systems for visual imaging arrays
CN102770827B (zh) 用于在终端的屏幕上显示多媒体内容的方法
KR20110099414A (ko) 휴대용 단말기에서 애니메이션 효과를 제공하기 위한 장치 및 방법
CN104363517B (zh) 基于电视场景及语音助手的语音切换方法及系统
CN114979533A (zh) 一种视频录制方法、装置及终端
CN101622873A (zh) 由服务器播送音频和视频数据序列的方法
CN112948046A (zh) 截屏方法、装置、设备及存储介质
KR20210133229A (ko) 클라우드 스트리밍 서비스에서의 사용자 인터페이스 세션 복구 방법 및 이를 위한 장치
CN100445947C (zh) 一种移动终端业务处理的方法及系统
CN115738290A (zh) 支付方法、装置、电子设备及存储介质
CN116920359A (zh) 云游戏的处理方法、装置、计算机设备和存储介质
CN115202768A (zh) 一种基于云计算系统的数据处理方法及装置
CN115866008A (zh) 扩展现实数据渲染方法以及系统
CN116700987A (zh) 云应用的算力调度和云应用的文件处理方法及云计算平台
CN115826994A (zh) 一种微服务项目的部署方法、装置及存储介质
CN117221562A (zh) 视频流数据的处理方法、装置、设备及存储介质
CN115643410A (zh) 一种视频转码方法、装置、设备及计算机可读存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20131016