CN102365619A - 用于处理由组件对象构成的用户界面的方法和装置 - Google Patents
用于处理由组件对象构成的用户界面的方法和装置 Download PDFInfo
- Publication number
- CN102365619A CN102365619A CN2010800136213A CN201080013621A CN102365619A CN 102365619 A CN102365619 A CN 102365619A CN 2010800136213 A CN2010800136213 A CN 2010800136213A CN 201080013621 A CN201080013621 A CN 201080013621A CN 102365619 A CN102365619 A CN 102365619A
- Authority
- CN
- China
- Prior art keywords
- information
- user interface
- content
- destination object
- exportable
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 98
- 238000012545 processing Methods 0.000 title abstract description 8
- 230000009471 action Effects 0.000 claims description 86
- 230000006870 function Effects 0.000 claims description 56
- 230000005540 biological transmission Effects 0.000 claims description 14
- 238000000605 extraction Methods 0.000 claims description 14
- 239000000284 extract Substances 0.000 claims description 13
- 238000001514 detection method Methods 0.000 claims description 10
- 230000008569 process Effects 0.000 description 49
- 230000000875 corresponding effect Effects 0.000 description 23
- 238000013507 mapping Methods 0.000 description 21
- 238000004891 communication Methods 0.000 description 17
- 238000010586 diagram Methods 0.000 description 16
- 238000007726 management method Methods 0.000 description 12
- 230000001360 synchronised effect Effects 0.000 description 12
- 230000004913 activation Effects 0.000 description 11
- 230000008676 import Effects 0.000 description 11
- 230000014509 gene expression Effects 0.000 description 10
- 239000002609 medium Substances 0.000 description 10
- 230000008859 change Effects 0.000 description 7
- SUTJFACQYOCLNG-UHFFFAOYSA-N methyl 6-[[2-[9a-[2-[(2-methoxycarbonyl-3,3-dimethyl-7-oxo-4-thia-1-azabicyclo[3.2.0]heptan-6-yl)amino]-2-oxoethyl]-7-oxo-5a,6-dihydrodibenzofuran-3-yl]acetyl]amino]-3,3-dimethyl-7-oxo-4-thia-1-azabicyclo[3.2.0]heptane-2-carboxylate Chemical compound C1=C2OC3CC(=O)C=CC3(CC(=O)NC3C(N4C(C(C)(C)SC43)C(=O)OC)=O)C2=CC=C1CC(=O)NC(C1=O)C2N1C(C(=O)OC)C(C)(C)S2 SUTJFACQYOCLNG-UHFFFAOYSA-N 0.000 description 6
- 230000008901 benefit Effects 0.000 description 3
- 230000015572 biosynthetic process Effects 0.000 description 3
- 230000007935 neutral effect Effects 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- PEDCQBHIVMGVHV-UHFFFAOYSA-N Glycerine Chemical compound OCC(O)CO PEDCQBHIVMGVHV-UHFFFAOYSA-N 0.000 description 2
- 238000012217 deletion Methods 0.000 description 2
- 230000037430 deletion Effects 0.000 description 2
- 238000009795 derivation Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000003780 insertion Methods 0.000 description 2
- 230000037431 insertion Effects 0.000 description 2
- IQZAVEYGRUPQEF-UHFFFAOYSA-N methyl 6-[[2-[4-hydroxy-3-[2-hydroxy-5-[2-[(2-methoxycarbonyl-3,3-dimethyl-7-oxo-4-thia-1-azabicyclo[3.2.0]heptan-6-yl)amino]-2-oxoethyl]phenyl]phenyl]acetyl]amino]-3,3-dimethyl-7-oxo-4-thia-1-azabicyclo[3.2.0]heptane-2-carboxylate Chemical compound C=1C(CC(=O)NC2C(N3C(C(C)(C)SC32)C(=O)OC)=O)=CC=C(O)C=1C1=CC(CC(=O)NC2C3N(C2=O)C(C(S3)(C)C)C(=O)OC)=CC=C1O IQZAVEYGRUPQEF-UHFFFAOYSA-N 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 239000013598 vector Substances 0.000 description 2
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000003139 buffering effect Effects 0.000 description 1
- 238000004040 coloring Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 230000003750 conditioning effect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000013604 expression vector Substances 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000002620 method output Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000004321 preservation Methods 0.000 description 1
- 238000007639 printing Methods 0.000 description 1
- 238000012367 process mapping Methods 0.000 description 1
- 239000007320 rich medium Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F8/00—Arrangements for software engineering
- G06F8/30—Creation or generation of source code
- G06F8/38—Creation or generation of source code for implementing user interfaces
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/44012—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving rendering scenes according to scene graphs, e.g. MPEG-4 scene graphs
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/443—OS processes, e.g. booting an STB, implementing a Java virtual machine in an STB or power management in an STB
- H04N21/4431—OS processes, e.g. booting an STB, implementing a Java virtual machine in an STB or power management in an STB characterized by the use of Application Program Interface [API] libraries
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/443—OS processes, e.g. booting an STB, implementing a Java virtual machine in an STB or power management in an STB
- H04N21/4438—Window management, e.g. event handling following interaction with the user interface
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/85—Assembly of content; Generation of multimedia applications
- H04N21/854—Content authoring
- H04N21/8543—Content authoring using a description language, e.g. Multimedia and Hypermedia information coding Expert Group [MHEG], eXtensible Markup Language [XML]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/85—Assembly of content; Generation of multimedia applications
- H04N21/854—Content authoring
- H04N21/8545—Content authoring for generating interactive applications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/23412—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs for generating or manipulating the scene composition of objects, e.g. MPEG-4 objects
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Computer Security & Cryptography (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Library & Information Science (AREA)
- User Interface Of Digital Computer (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
提供了一种用于处理由多个组件对象构成的富媒体用户界面的方法和装置，其能够将信息通过不可预测的路径从具有特定功能而不支持信息的输出的一组组件对象传送到仅仅通过预定路径引入信息的一组组件对象。所述用于处理由用户界面组件对象构成的内容的方法包括：接收包括多个用户界面组件对象的内容；提取被定义为可输出到该内容的外部的可输出的信息；以及将提取的可输出的信息传送到目标对象。
Description
技术领域
本发明涉及用户界面。更具体地，本发明涉及用于处理由多个组件对象构成的富媒体用户界面的方法和装置，其能够将信息通过不可预测的路径从具有特定功能而不支持信息的输出的一组组件对象传送到仅仅通过预定路径引入信息的一组组件对象。
背景技术
用户界面是被实施来提供用户和对象或系统之间的交互的物理或虚拟装置，诸如机器或计算机程序，以使得用户可以输入操作信息以用于系统输出运行结果。通常，用户界面被实施为系统特定的应用，以便在由设计者指定的系统中工作，因此受到配置的限制。近来，用户界面已经从图像和文本按钮的静态配置发展为由包括文本、音频、视频、字体、图像、图形等的各种可配置的媒体对象构成的富媒体内容。二进制场景格式(BIFS)和轻量级应用场景表示(LASeR)是代表性的富媒体标准。LASeR是被设计用于使用诸如场景描述、视频、音频、图像、字体、文本、元数据、脚本等之类的各种多媒体元素表示和传送富媒体服务的最新的富媒体标准。
发明内容
随着集成有包括视频、语音和数据的各种类型的媒体的新服务的出现以及终端和服务的多样化，需要除设备特定的功能界面的构思以外的、可应用于不同的设备甚至远程设备的、灵活和动态的富媒体接口。
本发明的一方面解决至少以上问题和/或缺点并且提供至少下述优点。因此，本发明的一方面是提供一种用于处理富媒体用户界面的方法和装置，其能够处理通过不可预测的路径接收的信息以及通过预定路径提供的用于特定功能或目的的信息。
本发明的另一方面是提供一种用于处理由多个被动和主动组件对象构成的富媒体用户界面的方法和装置，其使得主动的组件对象能够通过不可预测的路径带来被动组件对象的信息并且处理该信息以及通过预定路径接收的信息。
根据本发明的一方面，提供一种用于处理由用户界面组件对象构成的内容的方法。该方法包括：接收包括多个用户界面组件对象的内容；提取被定义为可输出到该内容的外部的可输出的信息；以及将提取的可输出的信息传送到目标对象。
根据本发明的另一方面，提供一种用于处理由用户界面组件对象构成的内容的方法。该方法包括：接收由多个用户界面组件对象构成的内容；在包含在接收的内容中的信息当中检测要被用作到目标对象的输入值的信息；以及使用检测到的信息执行目标对象的功能。
根据本发明的另一方面，提供一种用于处理由用户界面组件对象构成的内容的装置。该装置包括：解码器，用于解码由多个用户界面组件对象构成的内容；和事件处理器，用于提取被定义为可输出到该内容的外部的可输出的信息，以及用于将提取的信息输出到目标对象。
根据本发明的另一方面，提供一种用于处理由用户界面组件对象构成的内容的装置。该装置包括：事件处理器，用于在包含在接收的内容中的信息当中检测可被用作目标对象的输入值的信息，以及用于使用检测到的信息作为目标对象的输入值来执行目标对象的功能。
通过以下结合附图、公开了本发明的示范性实施例的详细描述，本发明的其它方面、优点和显著的特征对于本领域技术人员将变得明显。
有益效果
根据本发明的用于处理富媒体用户界面的示范性方法和装置使得由用户界面组件对象构成的内容能够将特定的数据输出到外部对象、通过处理通过不可预测的路径接收的信息以及通过预定路径接收的信息来执行它自己的特定功能、以及使用一起处理的信息用于其它目的，以使得可以在内容对象和用户界面之间自由地交换信息，从而改善用户界面的丰富度和可用性。
附图说明
通过下面结合附图的描述，本发明的特定示范性实施例的上述和其它方面、特征和优点将更加明显，其中：
图1是示出了用于在终端中处理富媒体用户界面的传统过程的流程图；
图2是示出了根据本发明的示范性实施例的用于在终端中处理由用户界面组件对象构成的内容的方法的流程图；
图3是示出了根据本发明的示范性实施例的用于在由用户界面组件对象构成的内容中接收通过不可预测的路径输入的信息的过程的流程图；
图4是示出了根据本发明的示范性实施例的用于在用户界面控制方法中输出用户界面组件对象的可交换的信息的过程的流程图；
图5是示出了根据本发明的示范性实施例的用于在用户界面控制方法运行接收者对象的功能的过程的流程图；
图6是示出了根据本发明的示范性实施例的发送装置的配置的框图；
图7是示出了根据本发明的示范性实施例的接收者装置的配置的框图；和
图8是示出了根据本发明的实施例的用于在对象之间交换信息的过程的流程图。
贯穿附图，应当注意，相似的参考数字用于描述相同的或相似的元件、特征和结构。
具体实施方式
提供参考附图的以下描述以帮助全面地理解由权利要求书和它们的等效物定义的本发明的示范性实施例。它包括各种细节来帮助理解，但是这些将被认为仅仅是示范性的。因此，本领域普通技术人员将认识到，可以在不脱离本发明的范围和精神的情况下，对这里描述的实施例做出各种变化和修改。此外，为了清楚和简明，省略了公知的功能和结构的描述。
以下说明书和权利要求书中使用的术语和词语不局限于书面意义，而是仅仅被发明人使用来使得能够清楚且一致地理解本发明。因此，本领域技术人员显然可知，本发明的示范性实施例的以下说明仅仅是为了示例的目的提供，而不是为了限制由所附的权利要求书和它们的等效物定义的本发明。
将理解，除非上下文明确指示，否则单数形式的“一”、“一个”和“该”包括多个涉及的对象。因而，例如，“一个组件表面”的指示包括一个或多个这样的表面的指示。
在下面的描述中，术语‘终端’可以用于表示具有服务内容、文件、应用程序、一组对象、对象自身等的设备。
尽管本发明的示范性实施例的描述针对作为已知的富媒体引擎之一的轻量级应用场景表示(LASeR)引擎，但是本发明可以利用其它的富媒体引擎来实施。此外，在下面的描述中描述的LASeR引擎的操作可以由用户界面管理引擎执行。在富媒体引擎或系统改变的情况下，可以利用用在相应的富媒体引擎或系统中的术语和表达来进行该描述。
图1是示出了用于在终端中处理富媒体用户界面的传统过程的流程图。
参考图1，终端首先在步骤100中接收服务内容，并在步骤110中解码接收的服务内容。接着，终端在步骤120中通过确定并执行命令和事件以适合于用户界面的格式构成解码的服务内容。因此，终端在步骤130中将服务内容再现到支持视频和音频输出的用户界面输出装置上。
LASeR内容，作为富媒体服务内容的一个示例，可以用如XML 1所示的语法表示。
参考XML 1，LASeR内容包括用于指示绘制新的场景的NewScene(新场景)命令。终端将在NewScene命令中包装的场景<svg>...<svg>再现到显示器上。随着集成有包括视频、语音和数据的各种类型的媒体的新服务的出现以及终端和服务的多样化，需要除设备特定的功能界面的构思以外的可应用于不同的设备甚至远程设备的、灵活和动态的富媒体界面。但是，传统的富媒体用户界面在功能上受限于接收通过预定路径提供的信息，从而缺乏外来内容的可用性以及利用其它用户界面工作的能力。
图2是示出了根据本发明的示范性实施例的用于在终端中处理由用户界面组件对象构成的内容的方法的流程图。
参考图2，终端首先在步骤200中接收服务内容，并在步骤210中解码接收的服务内容。当在不进行编码的情况下发送服务内容时，可以跳过解码过程。终端在步骤220中确定并运行包含在解码的服务内容中的命令。命令以声明的方式表示场景的变化。例如，命令可以包括用来指定新的场景的‘NewScene’、用来指定插入元素或属性的‘Insert’(插入)、用来指定删除元素或属性的‘Delete’(删除)，等等。LASeR场景组件包括以声明的方式表示构成场景的媒体和图形对象的元素、元素的属性、事件、和脚本。
在本发明的示范性实施例中，由用户界面组件对象构成的服务内容包括可以在内容的外部使用的可输出的信息以及仅仅可以在内容内部使用的不可输出的信息，因而终端在步骤230中解析和确定用户界面组件对象的可输出的信息元素。在这种情况下，终端解析和确定构成用户界面场景的媒体和图形对象，诸如以声明的方式表达的元素、各个元素的属性、事件和脚本。
终端在步骤240中将如上构成的服务内容再现到支持视频和音频输出的用户界面装置上。尽管图中没有描述，但是可以在步骤240之前运行与构成用户界面的LASeR服务和内容有关的所有事件。
在再现服务内容的同时，终端监视以在步骤250中检测用于提取可输出的信息元素的动作或信号(例如，用户界面上的事件)。如果确定已经检测到可输出的信息提取事件，则终端在步骤260中从用户界面组件对象中提取可输出的信息元素。从用户界面组件对象中提取的可输出的信息元素可以由LASeR引擎、负责与外部设备通信的特定模块或用户界面管理引擎处理。此外，提取的可输出的信息元素可以通过与外部实体、应用编程接口(API)、或终端的系统库的临时存储器的通信有关的应用处理。另一方面，如果确定没有检测到可输出的信息提取事件，则终端结束该示范性方法。
在本发明的另一个示范性实施例中，在步骤260提取的可输出的信息元素可以根据在步骤250检测到的动作或信号输出到目的地终端、应用程序或内容。用户界面管理引擎可以被称为用户界面管理器或窗口小部件管理器(在下文中，主要被称为用户界面管理器)。在下面的描述中，用户界面管理器可以是LASeR引擎的扩展功能。用户界面管理器可以被集成到LASeR引擎中、被实施为单独的功能模块等等。
在下文中更详细地描述在步骤230的示范性过程，其中终端解析和确定包括在服务内容的组成元素中的可输出的信息元素以及作为在图2的步骤250中监视的可输出的信息提取事件的动作或信号。
<第一示范性实施例>
在本发明的第一示范性实施例中，更详细地描述如何创建包含在服务内容的组件对象中的可输出的信息元素以及如何再现场景以及这些信息元素。
可输出的信息元素可以由元素和属性值组成，其中元素是构成场景的对象的基本单位，属性是对应元素的属性，以及属性值是指示属性的程度的特定值。例如，‘rect’表示指示矩形的元素，‘width(宽)’是定义元素‘rect’的属性的属性，以及‘10’是指示‘width’的程度的值。可以输入/输出并且与外部实体交换的信息可以用不同的语法格式表示，具有相同的目的和功能的各种字段以及字段的参数。
XML 2示出了根据本发明的示范性实施例的包括用于表示可输出的信息的新的元素和属性的用户界面的示范性内容。参考XML 2，作为容器元素的‘g’元素包括‘image(图像)’元素。‘g’元素是用于把相关图形元素集中在一起的容器元素。因此，‘g’元素可以组合各种场景组成元素，包括图形元素(诸如用于绘制矩形的‘rect’元素和用于绘制圆形的‘circle’元素)、文本、音频、视频、图像等等。
新定义的‘extract_enable’属性可以具有‘true(真)’值，其表示它的子元素包含可输出的信息。在‘extract_enable’属性具有‘true’值的情况下，这可以意味着它包含可输出的信息。在XML 2的示例中，可以提取‘image’元素。在这种情况下，可输出的信息可以是图像文件或图像的地址作为‘href:type’的属性值。这里，子元素的可输出的信息可以是预定的。例如，图像具有图像地址作为它的值，以及‘text(文本)’元素具有‘textString(文本字串)’元素值。
XML 3示出了包括可输出的信息的用户界面的另一个示范性内容。可以提取由‘output(输出)’的属性值指示的元素的属性值作为可输出的信息。在XML 3中，‘image’元素具有图像元素的地址(output＝“href:type”)，‘rect’元素具有‘color(颜色)’属性，具有‘red(红)’的属性值，以及‘text’元素具有可输出的元素值(textString(目标‘textContent’))。此外，可以使用‘output’属性从元素中提取多个属性值的信息，像‘output’＝“color，x，y”。此外，可以同时使用‘extract_enable’和‘output’二者来输出其‘extract_enable’属性具有‘true’值的‘output’属性。
XML 4示出了包括可输出的信息的用户界面的另一个示范性内容。用于表示可输出的信息的‘communication(通信)’元素指示可以提取‘ID’属性值为‘img’的用户界面组件对象的‘href:type’属性值。在XML 4的示例中，信息可以包括在LASeR的富媒体场景配置信息中或被形成为与场景组成元素分开的数据或文件。
<XML 4>
------------------------------------------------------------------------
<communication type＝″output″targetID＝″img″target Value＝″href:type″/>
------------------------------------------------------------------------
如参考XML 2到4所述，除了从对象提取的信息之外，在输出可输出的信息的同时提取的数据还可以包括对象的标识信息、对象的数据类型、位置信息、大小信息和物理或逻辑类别(例如，元素或属性的名称和关于对象的描述)。提取的值可以是可输出的信息交换过程触发条件和相应的性质识别事件的输入值。
此外，可以配置用于接收可以从外部输入的信息的数据。例如，‘input’属性或作为信息的目标的目标节点和目标属性可以从外部接收信息。
尽管XML 4中的‘targetID(目标ID)’和‘targetValue(目标值)’可以用单个字段表示以指示相同的信息的使用，但是如果目标信息相等，则可以使用任何一种方法。尽管没有利用任何示例详细描述，但是可以从特定对象中提取可输出的参数的任何方法属于本发明的范畴。
图3是示出了根据本发明的示范性实施例的用于在由用户界面组件对象构成的内容中接收通过不可预测的路径输入的信息的过程的流程图。
参考图3，终端在步骤300中接收用户界面内容，并在步骤310中解码接收的用户界面内容。当在不进行编码的情况下发送服务内容时，可以跳过解码过程。终端在步骤320中确定并运行包含在解码的服务内容中的命令。终端在步骤330中输出通过支持视频和/或音频的用户界面装置运行命令而再现的内容。
尽管图中没有描述，但是该过程还可以包括在步骤330之前解析和处理用于呈现构成LASeR场景的媒体和图形对象的元素和每个元素的属性、事件和脚本。尽管图中没有描述，但是可以在步骤330之前运行与构成用户界面的内容有关的所有事件。
在输出用户界面内容的同时，终端在步骤340中监视以检测用于接收通过除了预定路径之外的不可预测的路径输入的信息的动作或信号。如果已经检测到不可预测的路径输入动作或信号，则终端在步骤350中分析通过不可预测的路径接收的信息，并且基于诸如接收的信息的类型、事件、接收的信息的物理和逻辑类别之类的信息来确定用于运行特定功能的输入值。
终端可以根据组件对象的特征执行各种动作，诸如运行特定功能或使用信息作为定制的用户界面的输入值。此时，终端(作为接收器)、接收者对象组、或对象可以确定接收的信息是否可用于它的特定功能。例如，如果接收的信息是文本信息，则接收者对象可以识别文本信息是否是要利用接收者对象的功能运行的输入，尽管它支持文本的数据类型。在输入的文本信息的数据类型用于运行诸如播放器之类的特定应用程序而接收者对象仅仅支持简单的文本内容的情况下，终端(或接收者对象组或接收者组)不能使用接收的信息作为接收者对象的输入值。此功能可以由LASeR引擎、用户界面管理器、终端、接收者对象组或接收者对象自身执行。
检测指示通过不可预测的路径接收信息的动作或信号的接收的接收者终端、接收者对象组、或接收者对象可以不处于激活状态而是处于空闲状态或待机状态。此外，终端、接收者对象组或接收者对象可以处于监视外部输入的状态。如果已经检测到动作或信号，则终端、接收者对象组或接收者对象可以切换到激活状态或等待转变到激活状态并且处理在激活状态下接收的信息。这里，从外部接收到的信息可以是特定的属性值或用于触发目标对象(节点、字段、属性、命令或对象组)的操作的命令或事件。
<第二示范性实施例>
在本发明的第二示范性实施例中，定义了用于提取包含在一组用户界面组件对象(即，用户界面内容)中的可输入/可输出的或可交换的信息的动作或信号，并且详细描述可输入/可输出的信息和输入/输出过程。
构成用户界面的内容可以利用由与网络会话管理、解码、终端状态和数据或界面输入/输出有关的信号和动作定义的事件来作为事件处理。如果已经检测到这些事件中的任何一个，则LASeR引擎、终端或用户界面根据检测到的事件改变场景或采取动作。以下描述检测用于提取可输出的信息并且输入/输出或与另一个内容对象或用户界面交换提取的信息的动作或信号的示范性方法。
作为事件驱动的用户界面信息传送和交换的示例，LASeR引擎(或终端或用户界面管理器)检测在本发明的示范性实施例中新引入的事件，以及运行与检测到的事件有关的处理功能、元素的命令和与信息输入/输出和与外部对象、另一个内容、程序或终端的交换有关的命令。
为了在用户界面或应用程序之间传送或交换信息，LASeR引擎或用户界面管理器可以传送用于内容或应用程序的功能以检测触发信息传送和交换的事件。例如，LASeR引擎或用户界面管理器能够提供并登记具有收听器的内容、对象或其它终端，以使得能够检测触发信息传送和交换的事件。收听器的添加或登记可以通过单播、多播或广播执行。收听器的传送和配置可以是用于通知触发事件和与事件有关的动作的对象的方法，以及事件收听器可以将事件与双方所知的相应动作映射。
表1示出了与用户界面组件对象的信息输出和输入以及与另一个外部内容或用户界面的信息交换有关的事件的描述。
表1
在表1中，当指示设备的光标移出场景组件对象的区域时发生‘move_out’事件。此外，‘move_out’事件可以被配置为当如图2的步骤250所述检测到用于提取可输出的信息的动作或信号时发生。在这种情况下，如果已经检测到信息的输出，则LASeR引擎、用户界面管理器或终端可以通过单播、多播或广播传送支持信息交换的用于外部对象或另一个终端的收听器。
当指示设备的光标移入场景组件对象的区域时发生‘move_in’事件。此外，‘move_in’事件可以被配置为当如图3的步骤340所述通过不可预测的路径接收到任何信息时发生。在这种情况下，LASeR引擎、用户界面管理器或终端可以检测与通过不可预测的路径接收信息有关的动作或信号。
当由预定动作建立与另一个用户界面对象、程序或终端的链路或信息交换时发生‘widget_communication_typeA’事件。动作可以是行为的集合(例如，拖和放行为)。动作可以由要被识别的LASeR引擎、用户界面管理器或终端定义，并且通过单播、多播或广播通知给支持信息交换的内容、对象或其它终端。此外，‘widget_communication_typeA’事件可以被配置为当如图2的步骤250所述检测到用于提取可输出的信息的动作或信号时以及当如图3的步骤340所述通过除了预定路径之外的不可预测的路径接收到信息而生成动作或信号时发生。
‘widget_communication_typeB’事件在与另一个用户界面对象建立链路或信息交换时发生。这包括检测两个用户界面对象之间的连接和信息交换。与‘widget_communicthetion_typeA’事件类似，‘widget_communication_typeB’事件可以被配置为当如图2的步骤250所述检测到用于提取可输出的信息的动作或信号时以及当如图3的步骤340所述通过除了预定路径之外的不可预测的路径接收到信息而生成动作或信号时发生。但是，‘widget_communication_typeB’事件不同于‘widget_communication_typeA’事件在于，它可以根据预设配置检测LASeR对象之间的自动更新和信息交换。
‘widget_communication(A)’事件在由输入值(A)建立与另一个用户界面对象的链路或信息交换时发生。此外，‘widget_communication_type(A)’事件可以被配置为当如图2的步骤250所述检测到用于提取可输出的信息的动作或信号时以及当如图3的步骤340所述通过除了预定路径之外的不可预测的路径接收到信息而生成动作或信号时发生。与‘widget_communication_typeB’事件相似、‘widget_communication_type(A)’事件可以根据预设配置检测LASeR对象之间的自动更新和信息交换。但是，‘widget_communication(A)’事件不同于‘widget_communication_typeB’事件在于，它使用输入值A。例如，‘widget_communication(A)’事件可以触发与具有作为输入值A的标识外部用户界面对象的ID或URI的另一个用户界面对象建立链路和信息交换。此外，用于用户界面对象之间的信息交换的事件预设的名称、用户界面的名称或ID、特定的设备的输入值、脚本和程序的功能、以及指示功能的信息或值可以用作输入值A。此时，可以在事件检测之前向相应的对象注册用于检测事件的收听器。作为输入值‘A’的变量可以由绝对值、相对值、具有意义的值等表示。可以用符号表示具有意义的值以指示组或集合并且表示内部/外部预设的值，并且该内部/外部预设的值可以通过引用输入值A来确定。根据系统，可以不同地表示变量或变量可以具有不同的值。输入值可以是值的范围、表示量的值、或指示特定值的变量。输入值可以表示为值的集合或一对值。集合或对的值可以具有不同的数据类型。在本发明的示范性实施例中定义的事件可以通过用于事件传送的界面传送。例如，由特定的输入值识别的‘widget_communication(A)’事件可以以像‘input_eventTrigger＝A’或‘output_eventTrigger＝A’的信息字段的形式编写或传送。如果事件“A”被检测为‘input_eventTrigger＝A’或‘output_eventTrigger＝A’或事件由“A”发生，则响应于该事件采取动作。
在上述示范性实施例中，LASeR引擎、用户界面管理器或终端检测通过提取可输出的信息或者通过不可预测的路径接收信息来生成的动作或信号。如果已经检测到信息的输出，则LASeR引擎、用户界面管理器或终端通过单播、多播或广播向目标对象传送指示事件的发生的信息。收听器的传送和配置可以是用于通知触发事件和要由该事件采取的动作的对象的方法，以及事件收听器可以将事件与双方所知的相应动作映射。通过界面的信息输出或输入可以在如本发明的第一示范性实施例所述的场景组件对象中定义或通过引用任何外部信息而获得。
将描述用于检测提取可输出的信息的动作或信号并且基于动作或信号传送并与另一个外部内容或用户界面交换信息的示范性界面。
定义1示出了使用界面定义语言(IDL)定义界面。IDL是用于定义界面和功能的语言。IDL是语言中性的(neutral)和系统中性的以便由不同的程序解析。尽管在本发明的示范性实施例中使用IDL定义界面，但是可以使用各种语言和表示方法表示界面的定义。定义的‘Communication(通信)’可以提供界面用于与另一个外部内容或用户界面传送和交换信息的信息，如参考表1所述。此外，可以使用或参考‘Communication’界面以用于检测和处理与信息传送和与其它内容或其它外部用户界面的信息交换有关的事件和事件类型。‘Communication’界面的属性可以是表示用于引用用户界面对象的信息和关于用户界面之间的信息交换和链路的信息中的任何一个。例如，界面可以被配置具有诸如可输出的或由输入接收到的用户界面组件信息的位置之类的信息、诸如可输出的或由输入接收到的信息的ID之类的唯一信息、提取或接收的信息的类型、指示相应信息的属性的信息或包含相应信息的属性的物理或逻辑类别、是否以同步模式执行信息交换、响应于信息输入/输出请求的回调等等。每个属性的变量类型可以是“float(浮点)”、“Boolean(布尔值)”、“long(长整型)”和“DOMString(DOM串)”之一。但是，本发明不限于此。例如，如果存在用于表示界面的属性的特定值，则属性可以使用适合于数据属性和功能的变量类型表示。
如前所述，可以根据系统、终端和信息表示方法改变用于配置和表示界面的方法。根据本发明的示范性实施例的界面的属性可以根据信息表示方法用元素、字段或参数的形式表示。在根据本发明的示范性实施例的界面具有父界面的情况下，可以继承母界面的属性来定义子界面。
<定义1>
没有定义的常数
属性
■type：此值指示界面的类型。
■name：此值指示界面的名称。
■targetID：此值指示要被输出的对象的id。
■targetName：此值指示输出节点或输出属性的名称。
■targetValue：此值指示输出值。
■dataType：此值指示输出值的数据类型。
■eventName：此值指示要输出或输入的事件或命令。
■eventinputValue：此值指示要输出或输入的事件的输入值。
■targeLx：此值指示要输出的目标对象的x坐标。
■targeLy：此值指示要输出的目标对象的y坐标。
■location：此值指示要输出的目标对象的位置。
■detail：此值包含关于输出值的描述。
■async：此值指示以同步模式还是异步模式输出对输出请求进行响应。
■callback：此值指示是否执行对输出请求的结果的回调。
■callbackValue：此值指示作为输出或输入请求的结果由回调传送的信息。
■network：此值指示是否连接到外部网络。
■networkName：此值指示网络名称(协议类型)。
在定义1中，“type”指示界面的类型并且可以表示用于信息输入/输出和相应信息的物理或逻辑类别的属性。“Name”指示用于标识界面的标识符或ID。“Name”也可以用作描述要由界面运行的操作的信息。“Targetld”指示要输出或输入的目标对象的ID。例如，“targetld”可以用作目标节点或元素的标识符。“TargetName”指示要输出或输入的目标对象或目标信息、或目标对象或输入对象的元素或属性的名称。在本发明的示范性实施例中描述的各个信息元素可以被表示为单个字段。例如，“targetID”和“targetName”可以由“targetID.targetName”表示。在“circle.r”的情况下，这表示目标节点“circle”的属性“r”。
“DataType”可以用于表示数据的性质或功能性质。数据的性质可以是以下中的至少一个：“string(字符串)”、“boolean(布尔值)”、“decimal(小数)”、“precisionDecimal(精度小数)”、“float(浮点)”、“double(双精度型)”、“duration(持续期)”、“dateTime(日期时间型)”、“time(时间)”、“date(日期)”、“gYearMonth(年月)”、“gYear(年)”、“gMonthDay(月日)”、“gDay(日)”、“gMonth(月)”、“hexBinary(16进制)”、“base64Binary”、“anyURI(任意URI)”、“QName”、“NOTATION(标记)”、“normalizedString(归一化的字符串)”、“token(记号)”、“language(语言)”、“NMTOKEN”、“NMTOKENS”、“Name(名称)”、“NCName”、“ID”、“IDREF”、“IDREFS”、“ENTITY”(实体)、“ENTITIES”、“integer(整数)”、“nonPositiveInteger(非正整数)”、“negativeInteger(负整数)”、“long(长整型)”、“int(整型)”、“short(短整型)”、“byte(字节)”、“nonNegativeInteger(非负整数)”、“unsignedLong(无符号长整型)”、“unsignedInt(无符号整型)”、“unsignedShort(无符号短型)”、“unsignedByte(无符号字节)”、“positiveInteger(正整数)”、“yearMonthDuration(年月持续期)”、可被用于相应的富媒体内容中的诸如枚举整数、字符串、浮点、固定浮点、无符号浮点和列表之类的数据类型、用于标识应用程序和信息的“mimeType”、应用程序和程序接口的参数类型、变量类型或脚本参数、变量类型、等包括上述中的任何一个的组合。
“Target_x”、“target_y”和“location”提供与目标输出或输入对象的位置有关的信息。“Detail”可以包含关于输出或输入值的描述。“Async”指示输出请求的结果的反映是同步模式还是异步模式。在输出或输入其结果反映被设置为同步模式的信息的情况下，必须立即反映信息交换的结果。因此，当用户界面处于空闲状态时，激活用户界面以反映结果。
“Callback”指示是否对输出或输入请求的结果执行回调。“CallbackValue”指示根据对输出或输入请求的结果运行回调来传送的信息。例如，将用于提取可输出的信息或从外部接收信息的操作的结果传送到从其提取或接收信息的对象以用于确定。“Network”指示是否连接到外部网络，“NetworkName”指示网络的名称或协议的类型。
“EventName”指示触发输出或输入的事件的名称。事件可以是触发目标对象(或字段、属性或节点)的特定动作的事件。事件可以用作指示目标对象的动作的命令以及可以传送到外部。在通过输入接口接收信息的情况下，eventName＝‘audio.activate’使得名称或ID为“audio”的目标对象触发“activate”事件，以使得运行利用“activate”事件定义的动作。也就是说，事件可以触发接收者对象的动作。
在通过输出接口传送事件的情况下，这意味着事件可以被传送到外部。可以向外部通知事件的发生或输出触发接收者对象的特定动作的事件。此时，可以向发送和接收者双方提供事件-动作映射信息。例如，触发“video”对象的动作“activate”的事件可以被映射到用来播放对象“video”的命令“play”。在本发明的示范性实施例中，提供用于将事件映射到具有动作的事件或创建包含事件-动作映射的映射表的过程。
根据输入/输出动作，可以同时传送多个参数或多个事件。例如，可以传送“start”、“phase”和“stop”的信息元素。
在需要输入值的事件的情况下，可以使用新的字段“eventInputValue”通过输入值输入-输出接口传送事件。如前所述，两个或多个字段可以集成到单个字段(例如，“eventName.inputValue”字段)中用于传送相应的信息。
当存在多个输出信息元素时，界面的信息元素可以利用对于各个信息元素的信息来表示。用于表示输出信息的属性可以通过使用具有n个配对值的信号属性来表示。定义2示出了具有多个输出信息元素的示范性界面。
定义2
如前所述，在本发明的示范性实施例中描述的通过界面传送的信息可以用各种格式表示，诸如：
<communication type＝″...″name＝″...″targetID＝″...″targetName＝″...″tar-
getValue＝″...″dataType＝″...″async＝″...″callback＝″...″network＝″...″net-
workName＝″...″/>
以XML的声明型的格式，并且被定义为诸如：
或者
或者
或者
信息可以用适合于系统的格式表示，而不考虑元素和属性的类型，只要信息的表示满足预期的目的。
尽管通过表示信息元素的界面传送的数据的格式(即，表示)互不相同，但是信息和由此预期的目的仍是相同的。尽管这里没有用详细的语法描述，但是包括关于与用户界面对象、文件或应用程序进行信息交换的值和数据的属性和信息，并且如果通过界面传送的预期信息和目的相同，则它可以属于本发明的示范性范畴。
如果包括利用构成本发明的界面的元素描述的信息，则它可以属于根据本发明的示范性实施例的通过用户界面组件对象的信息输出或输入来与另一个外部内容或另一个用户界面进行信息传送和交换的范畴。尽管已经参考定义1描述了将信息传送到外部的界面和其详细信息，但是也可以提供与用于与外部对象交换信息的输出信息对应的输入信息的界面。界面可以被实施为具有单独的输出界面和输入界面或集成的单个界面。
XML 5示出了使用上面定义的事件再现场景的示例。例如，如果‘widget_communication_typeA’事件已经利用配对的动作发生，则向外部输出数据的终端或接收事件收听器的终端检测‘widget_communication_typeA’事件，并指示事件处理器运行输出信息的动作以及从外部接收数据的接收者终端的事件处理器采取输入信息的动作。被指示采取输出信息的动作的对象通过“output”界面将输出信息传送到接收者对象，以及接收者对象通过“input”界面接收输入信息。这些操作可以同时或连续执行。在后一种情况下，将数据传送到外部的终端检测事件并且发送事件收听器，然后从外部接收数据的接收者终端采取下一个动作。如XML 5所示，使用脚本调用输入和输出功能。用在该功能中的信息可以要通过在本发明的第二示范性实施例中描述的界面输入的信息。
图4是示出了在根据本发明的示范性实施例的用户界面控制方法中用于输出用户界面组件对象的可交换的信息的过程的流程图，以及图5是示出了在根据本发明的示范性实施例的用户界面控制方法中用于运行接收者对象的功能的过程的流程图。在本发明的第三示范性实施例中，被配置为利用通过预定路径接收的信息执行它的功能的接收者对象接收从被配置为通过不可预测的路径执行它们自己的功能的一组对象(例如，用户界面组件对象)提取或输出的信息，以便执行由用户界面组件对象输出或输入的信息以及执行与其它内容或用户界面的信息传送和交换。图4和5示出了根据本发明的示范性实施例的用户界面对象的信息交换的示范性过程。但是，本发明不局限于图4和5描述的示范性信息交换和输入-输出过程。
参考图4，示出了在输出信息的用户界面对象中信息交换的过程。LASeR引擎、用户界面管理器或终端在步骤400中检测在用户界面对象的区域中一些或整个对象的选择。此时，包含可以被传送到对象之外的信息的对象(即，可输出的对象)可以被设置为处于可选择的状态。例如，如果选择了区域，则“focusable”属性被设置为“true”，或“focus in”事件发生。
如果已经检测到一些或全部对象的选择，则LASeR引擎、用户界面管理器或终端在步骤410中检测用于信息交换的预定动作。如前所述，可以在成对的先前和随后动作中或连续发生的几个动作和事件中检测动作，以便生成触发信息的导出或输出的命令或事件。
例如，如果由指示设备在该组对象(即，用户界面对象的区域)中采取点击动作(mouse_down)，然后在保持mouse_down状态的同时采取移动动作(mouse_move)，则光标的位置可以移出相应的用户界面对象的区域。具有各个意义的各个动作必须以顺序方式采取，以被认为是与外部进行信息交换的动作或事件，以便提取和输出用户界面对象的信息。
如果已经检测到触发信息交换的动作，则LASeR引擎、用户界面管理器或终端在步骤420中提取或输出用于信息交换的信息。在以成对方式执行信息的输出的情况下，可以在先前动作的中间或在成对动作完成之后的识别触发信息交换的命令或事件之后采取用于与外部信息交换的信息输出或路径建立动作。提取或输出的信息可以被复制到系统库或存储在管理执行特定的操作的该组对象的管理器的临时缓冲器中。如果已经检测到信息输出，则LASeR引擎、用户界面管理器或终端可以通过单播、多播或广播传送诸如目标内容、目标对象或目标终端的收听器之类的信息，以检测事件的发生。
用于传送使得进行事件的检测的信息的过程可以在信息输入/输出之前或响应于触发信息交换的预定动作执行。输出信息可以通过如本发明的第二示范性实施例所述的界面传送。
图5示出了在与用户界面对象的外部进行信息交换的中间通过不可预测的路径接收的信息被用作用于执行接收者对象的功能和操作的输入值的过程。
LASeR引擎、用户界面管理器或终端在步骤430中检测用于触发信息交换的预定动作。如果已经检测到用于触发信息交换的预定动作，则LASeR引擎、用户界面管理器或终端在步骤440中确定输入到用户界面的信息。
步骤430的用于触发信息交换的预定动作基本上可以与图4的步骤410描述的相同。如前所述，可以在成对的先前和随后动作中或连续发生的几个动作和事件中检测动作，以便生成触发信息的导出或输出的命令或事件。在成对的动作的情况下，需要配置以在随后动作之前确定先前动作已经在外部发生。在依次发生的动作的情况下，终端可以在指示设备的光标移入接收者对象的区域并且在此指示设备处发生mouse-out动作时检测到用于触发信息交换的预定动作。
如果在步骤440已经输入任何信息，则LASeR引擎、用户界面管理器或终端在步骤450中确定信息是通过预定路径还是不可预测的路径输入的。此时，可以输入多个信息。接着，LASeR引擎、用户界面管理器或终端在步骤460中确定接收者对象的功能和由接收者对象支持的信息的类型，并且在步骤470中将输入信息与接收者对象的可支持的信息映射。
步骤460和470的顺序可以变化。例如，LASeR引擎、用户界面管理器或终端可以确定输入信息的性质，然后确定接收者对象的可支持的信息，以映射输入信息与可支持的信息。输入信息和接收者对象的可支持的信息之间的映射可以基于输入信息的物理或逻辑类别或要被传送的信息的类型来确定。在输入信息的属性/节点等于要被接收的属性/节点的情况下，输入信息可以被认为是可以输入到相应节点的信息。在输入多个信息的情况下，可以通过前述映射过程映射输入信息。映射过程可以通过参考输入信息的功能信息来执行。此时，映射过程可以由终端、用户界面管理器或LASeR引擎执行。
一旦在步骤470接收的信息可用作用于执行接收者对象的特定功能的输入值，LASeR引擎、用户界面管理器、或终端就在步骤480中将接收的信息确定为接收者对象的输入值，并且在步骤490中执行接收者对象的功能。例如，在文本串输入到具有检索功能的接收者对象的情况下，终端确定输入信息是除了属性或节点的值之外的文本串，然后使用该文本串执行搜索操作。此外，终端将从名称为“fill”的属性提取的颜色信息映射到负责接收者对象的背景的元素的“fill”属性，以便改变背景颜色。
预定动作可以利用具有方向性的动作传送信息。例如，可以根据诸如手指在屏幕上在特定方向上轻击并且相对于重力方向倾斜终端之类的动作来提取并传送用户界面对象的任何信息。如果任何动作需要矢量信息，则可以将表示矢量信息的属性添加到根据本发明的示范性实施例的用户界面。
已经参考图4和5描述了用户界面组件对象的事件驱动的信息提取和输入以及与其它用户界面的外部内容对象的信息传送和交换操作。但是，信息交换可以利用LASeR对象或其它的外部对象自动地进行。在这种情况下，终端和用户界面管理器提前确定关于支持信息交换的其它用户界面、程序和终端的信息，并根据预定值或输入值而不是附加事件来执行用于信息交换的输入/输出动作。
例如，终端可以确定由被配置为在预定时间输出信息的对象输出的信息，以及如果关于节点类型、属性名称、和输出信息的功能的信息被校验，则执行预定动作。被配置为连续地输出数据的对象可以以预定方式输出相应的数据或根据用户预设的值与外部对象交换信息。被配置为从外部引入数据的对象可以接收具有用于仅仅收集可用作输入信息的信息的过滤器的信息，或根据用户预设的值接收信息。引入操作可以由对象自动地执行或由用户配置或对象管理模块(例如，用户界面管理器)执行。
尽管已经利用1对1信息交换的示范性情况描述了信息交换过程，但是本发明不限于此。例如，本发明的示范性信息交换过程可以应用于1对N、N对1、和N对N信息交换。
以下描述用于从由上述用户界面组件对象构成的内容中提取可输出的信息并处理通过不可预测的路径接收的信息以及通过预定路径接收的信息的装置的示范性结构。
图6是示出了根据本发明的示范性实施例的发送装置的配置的框图。
参考图6，根据本发明的示范性实施例的发送装置包括数据发生器500、编码器510和数据发送器520。
数据发生器500生成包括内容对象的内容，该内容对象包含用户界面相关信息，该用户界面相关信息包括可以被输出或传送到外部的信息和用于与外部和用户界面组件对象进行信息交换的事件。
数据发生器500生成的数据由编码器510编码然后输出到数据发送器520，以便以适合于用户界面内容传送的格式进行格式化然后被发送到接收者装置。
图7是示出了根据本发明的示范性实施例的接收者装置的配置的框图。
参考图7，接收者装置包括解码缓冲器600和650、解码器605和660、配置存储器610和670、再现器615和680以及事件处理器625。事件处理器625包括窗口小部件通信事件处理器630。
以用于传送的特定格式定义的信息可以由负责相应数据的解析的解析器提前解析。由于接收的用户界面内容可以由以不同的格式创建的信息元素组成，因此将信息元素传送到可以解析不同类型的信息的不同的解析器。由用户界面组件对象构成的内容由解码缓冲器600和650缓冲然后输出到解码器605和660。解码器605和660解码用户界面组件对象并将解码的数据输出到配置存储器610和670。
配置存储器610和670可以是用户界面管理器的配置存储器或用户界面组件对象的配置存储器。这里，用户界面组件对象的配置存储器可以是LASeR引擎的配置存储器。配置存储器610和670确定是否存在要输出到外部的定义的任何信息/属性/参数，并解析和处理命令和其它场景组成元素。在配置存储器610和670中解析和处理的数据用于在用户界面管理器中管理用户界面或通过再现器615和680的再现过程输出。
包括窗口小部件通信事件处理器630的事件处理器625检测与在不可预测的路径上的信息交换有关的动作或信号。与用户界面的信息交换有关的动作提取要输出到外部的定义的信息或参数，并将信息或参数传送到接收者终端、包括用户界面对象的目标组、或目标对象。
通过没有预料的路径接收信息元素的目标终端或对象确定信息元素并从信息元素中提取输入信息以用于执行它的特定功能。用于确定用在功能中的输入信息的方法可以根据通过界面接收的信息变化，并且信息确定过程包括使用通过界面接收的信息映射输入/输出信息。目标终端可以使用提取的信息(或数据)用于运行它的功能或作为根据组件对象的特征定制的用户界面的输入值。此时，接收者终端、对象组、或对象可以确定接收的信息是否是可用于它的特定功能的信息。此信息确定过程可以由LASeR引擎、用户界面管理器、接收者终端、接收者对象组或接收者对象执行。包括窗口小部件通信事件处理器630的事件处理器625可以被实施为单独的模块或集成到LASeR引擎、终端或用户界面管理器中。
尽管被称为配置存储器的功能块可以用不同的名称实施，但是它们可以被看作执行与富媒体引擎中的配置存储器相同的操作的模块。例如，配置存储器可以是场景树管理器或DOM树配置器，以及事件处理器可以是用户界面管理器。在发送器发送没有编码的信息的情况下，可以跳过解码过程。在本发明的示范性实施例中，对象组或对象可以包括用户界面的组成元素、应用程序、文件、用户界面或窗口小部件。
<第四示范性实施例>
如以上本发明的示范性实施例所述，用户界面对象之间的信息交换可以由LASeR引擎、用户界面管理器或终端执行。在本发明的第四示范性实施例中，更详细地描述在用户界面管理器的控制下的信息输出和输入以及与其它外部内容或用户界面的信息传送和交换。
在本发明的示范性实施例中，用户界面内容可以以单个文件格式形成或由多个内容对象和信息元素构成。例如，可以分开配置关于与用户界面的场景有关的组件对象的信息和由管理用户界面的用户界面管理器在操作用户界面的同时确定的信息。关于与场景有关的组件对象的信息由LASeR引擎处理，以及用于用户界面管理的信息由用户界面管理器处理。也就是说，信息可以根据目的由不同的实体处理。此外，与用户界面组件对象之间的信息交换有关的信息可以由LASeR引擎和用户界面管理器参考。
图8是示出了根据本发明的实施例的用于在对象之间交换信息的过程的流程图。
参考图8，用户界面管理器在步骤700中接收用户界面内容。接收的信息可以是包含配置用户界面所需的初始化信息的文件或包或利用用户界面的初始化所需的初始化信息分开构成的任何信息或文件。在接收文件或包的情况下，需要分析文件或包以确定初始化信息的存在。
如果已经接收到信息，则用户界面管理器在步骤710中确定初始化信息的存在。尽管详细的操作可以根据终端而变化，但是用户界面初始化进程包括确定内容是否可以由用户界面管理器解析或文件或信息是否对与用户界面有关的内容有效、确定用于用户界面的初始化的配置信息、以及确定关于构成用户界面所需的各种组成元素的信息的步骤。
一旦初始化进程已经完成，用户界面管理器在步骤720中确定用户界面场景配置信息。用户界面的场景配置信息表示要展示给用户的多媒体/富媒体格式的场景配置内容。如果已经确定了场景配置信息，则用户界面管理器通过诸如超文本标记语言(HTML)浏览器或LASeR引擎之类的场景配置引擎配置场景。用户界面管理器可以与场景配置引擎(LASeR引擎或HTML浏览器)共享与场景配置过程和结果有关的信息。用户界面管理器也可以从场景配置引擎接收这样的信息或监视场景配置引擎的操作。
但是，步骤720的场景配置信息确定过程可以不包括将用于配置场景的实际内容加载到存储器上。在任何情况下，用户界面管理器可以仅仅确定接收场景配置内容的位置或场景配置内容的存在。在这种情况下，步骤720的用户界面配置确定过程可以作为步骤710的初始化进程的一部分而包括。
一旦场景配置信息已经由场景配置引擎确定，用户界面管理器就在步骤730中确定与用于用户界面信息交换的输入/输出有关的信息。输入/输出信息可以是如本发明的第一示范性实施例所述的场景配置内容的一部分或与场景配置内容分开提供的信息。
例如，输入/输出信息可以被配置具有初始化信息以便在用于确定初始化信息的过程中确定，或者可以被配置为单独的信息或文件以使得场景配置引擎(诸如LASeR引擎)和用户界面管理器可以参考单独配置的信息或文件。确定用于用户界面信息交换的输入/输出信息可以在步骤720确定用户界面场景信息之后执行。此外，用户界面管理器可以确定和管理输入/输出信息，以及如果在用户界面场景配置内容加载在存储器上的同时发生相关事件或请求相关信息，则用户界面管理器可以提取、传送或通过输入/输出接口接收实际的信息。以上述方式确定的信息由用户界面管理器管理。输入/输出信息可以是用户界面自身的配置信息或功能和性质信息，而不是场景配置对象的配置信息。
如果在接收的用户界面中没有输入/输出信息，则管理场景配置信息的用户界面管理器或LASeR引擎确定用户界面不支持与另一个外部对象交换的信息。在信息输入/输出被配置为不用输入输出信息而被激活的情况下，用户界面管理器可以使用包含用户界面初始化信息、用户界面组成信息或配置信息或与场景配置信息有关的信息的信息字段或节点，来确定用户界面与另一个外部对象的信息交换能力。
一旦已经确定了操作用户界面所需的全部信息，就在步骤740中充实(substantiate)用户界面。它可以被配置以使得根据系统或终端在确定具有关于用户界面的初始信息的用户界面的各个组成元素之后充实用户界面。在这种情况下，在步骤710之后充实用户界面，以及确定实际用户界面场景配置信息可以在操作用户界面的同时执行。如果充实的用户界面归入用户界面管理器的管理，则用户界面管理器可以根据本发明的示范性实施例监视与用户界面信息交换有关的事件的发生。
根据本发明的示范性实施例，用户界面管理器管理充实的用户界面以便检测与用户界面信息交换有关的事件。在管理用户界面的同时，用户界面管理器可以执行以下操作：
i)确定由用户界面管理器管理的用户界面列表，
ii)确定列表中的用户界面当中的具有可输入和可输出的信息的用户界面，
iii)在具有可输入和可输出的信息的用户界面中配置检测诸如与信息的输入和输出有关的动作和信号之类的事件(例如，使得能够由用户界面管理器检测信息交换的事件收听器的登记的事件)的功能，
iv)确定能够标识诸如用于输入和输出信息的动作和信号之类的事件的事件或输入/输出信息的名称或类型，和
v)确定可以被输入和输出的实际的配置信息。
但是，不需要所有的过程都必须对于用户界面信息交换和由用户界面管理器执行。
如果与用户界面信息交换有关的事件(即，对用户信息交换的请求)已经在步骤750中由用户界面管理器检测到，则用户界面管理器在步骤760中将用户界面确定为诸如输入和输出之类的信息交换事件的目标。在请求由用户界面管理器管理的列表中列出的用户界面之间的信息交换的情况下(即，检测到信息交换事件)，用户界面管理器在步骤770中确定输入和输出信息并且在步骤780中通过映射输入和输出信息来执行信息交换。
映射过程是搜索可以被配对以用于信息交换的信息以及将输入和输出信息配对以交换信息的过程。映射过程可以在用户界面管理器检测到信息交换请求时或根据预设配置来执行。在映射过程中，用户界面管理器可以将通过分类的界面输入的信息映射到相同的类型或相同的类别中，在具有相同的名称的信息交换事件之间执行输入/输出，或通过将用户界面的可输入和可输出的信息的类型和性质确定为信息交换的目标来映射信息。
界面的类型，被确定用于信息映射，可以由设备类型、输入/输出数据类型或服务类型标识。表2示出了可用的接口类型。
表2
| interfaceTypeValue_inout | interfaceType_inout |
| 0x01 | 设备类型 |
| 0x02 | 媒体类型 |
| 0x03 | 数据类型 |
| 0x04 | 服务类型 |
| 0x05 | 保留 |
设备类型包括关于设备的特征、能力和功能的信息，以及关于设备类型的信息可以通过参考在设备中或外提供的信息来获得。在设备的配置、传送和功能以及设备的数据类型存在的情况下，信息可以用作界面的类型。例如，当通过“UPnP AVtransport”从“A”用户界面接收到“audio”数据时，该信息可以被映射到具有界面的类型或名称是“UPnP AVtransport”的接口信息的用户界面。
媒体类型提供关于媒体的信息，诸如文本、视频、图像、音频和字体，以及可以由扩展名、编解码器、“mimeType”或与媒体有关的应用程序标识。
数据类型可以是可以用于相应的富媒体内容的各种数据类型中的任意一个，诸如“string(字符串)”、“boolean(布尔值)”、“decimal(小数)”、“precisionDecimal(精度小数)”、“float(浮点)”、“double(双精度型)”、“duration(持续期)”、“dateTime(日期时间型)”、“time(时间)”、“date(日期)”、“gYearMonth(年月)”、“gYear(年)”、“gMonthDay(月日)”、“gDay(日)”、“gMonth(月)”、“hexBinary(16进制)”、“base64Binary”、“anyURI(任意URI)”、“QName”、“NOTATION(标记)”、“normalizedString(归一化的字符串)”、“token(记号)”、“language(语言)”、“NMTOKEN”、“NMTOKENS”、“Name(名称)”、“NCName”、“ID”、“IDREF”、“IDREFS”、“ENTITY(实体)”、“ENTITIES”、“integer(整数)”、“nonPositiveInteger(非正整数)”、“negativeInteger(负整数)”、“long(长整型)”、“int(整型)”、“short(短整型)”、“byte(字节)”、“nonNegativeInteger(非负整数)”、“unsignedLong(无符号长整型)”、“unsignedInt(无符号整型)”、“unsignedShort(无符号短型)”、“unsignedByte(无符号字节)”、“positiveInteger(正整数)”、“yearMonthDuration(年月持续期)”、枚举整数、字符串、浮点、固定浮点、无符号浮点和列表等、以及上述中的任何一个组合。
此外，数据类型可以由根据信息的性质模式化的信息标识。例如，诸如电话号码、颜色表示、长度表示、单位表示和矢量信息或位置信息的表示之类的模式化的信息可以用作界面的类型。
服务类型使得界面的类型根据提供的用户界面的特征或功能由关于诸如游戏、银行、多媒体、工具和系统之类的服务的信息标识。服务类型可以被提供为语义信息或通过参考本体(ontology)信息来提供或由基于服务级别的分级信息表示。
此外，接口类型可以参考终端或服务的内部或外部信息。
此外，接口类型可以具有如上所述的接口类型的分级结构以及可以根据它们的相关性由多于一个类型组成。例如，对于可以由图像查看器传送的信息的界面的接口类型可以根据设备被设置为“print”(打印)、根据功能被设置为“print”或“save”(保存)、根据可接收的媒体类型被设置为“mimeType”中的“img/jpg或img/png”、以及根据数据类型被设置为“anyURI”。每个接口类型可以以分级结构形成并且以具有附加信息的形式配置。
如果要被输入或输出的信息的目标不存在于可以由用户界面管理器确定的界面列表中，并且如果交换多个输入和输出信息，则可以通过确定接口类型来执行信息交换。如果不存在通过接口类型映射的信息，则映射可以通过可以使用通过实际的输入/输出传送的信息的类型、名称和性质处理相应的信息的界面来执行。例如，可以将信息映射到具有相同的“targetValue”或相同的“contentType”的对象。例如，如果通过“UPnP AVtransport”从“A”用户界面接收到“audio”数据但是该用户界面没有从对于输入“A”的用户界面确定具有“UPnP AVtransport”的类型或名称的界面，则它可以确定接收的“audio”数据的内容类型信息或编解码器信息并且通过可以处理相应的信息的界面接收相应的信息。
尽管没有详细描述，但是用户界面可以使用接口类型的名称或输入/输出信息的名称和相应的用户界面的输入/输出信息执行用于信息交换的映射过程。以上描述可应用到本发明的所有其它实施例。
还可以包括用于信息输入/输出的接口类型“interfaceTypeValue”。例如，如果设备类型是“Printer(打印机)”(1)、“Display(显示器)”(2)和“MusicPlayer(音乐播放器)”(3)并且interfaceType_inout＝“0x01”、interfaceTypeValue_inout＝“1”，则这意味着窗口小部件的输出或输入设备的类型是“Printer”。多个属性可以用于interfaceType_inout＝“0x01 0x02”、interface_TypeValue_inout＝“1 2”。此外，两条信息可以使用诸如interfaceType_inout＝“0x011”之类的单个字段表示。此外，信息可以利用对于相应的信息参考的索引来管理。例如，interfaceType_inout＝“0x01”和interfaceTypeValue_inout＝“1”可以利用具有它的ID“widgetComm01”的信息管理，以及接口类型可以通过参考相应的信息ID“widgetComm01”来标识。
如上所述，信息可以包括在场景中、用作场景组成元素的特定属性、以参考定义1描述的界面的字段的形式配置、以及配置为提供与输入/输出接口有关的信息的单独的信息。此外，信息可以以元素或属性的形式提供。如果信息的目的与输入/输出接口关，则信息可以用全部可用的格式表示。
<第五示范性实施例>
在本发明的第五示范性实施例中，描述与用于处理由用户界面接收到的信息和更新用户界面的方法有关的信息。每接收到更新数据或用于信息交换的信息时或在预定的更新间隔，用户界面可以执行接收的信息的处理和用户界面的更新。这些可以被称为同步和异步的信息交换和更新。此信息可以包括在用户界面配置信息或组成信息、用户界面场景配置信息或更新数据中。此外，此信息可以包括在用于通过界面传送的输入/输出信息的配置信息中。
例如，如果它被配置为在第四示范性实施例中在图8的步骤710确定此信息(即，如果此信息包括在初始化信息中)，则用户界面管理器确定此信息并且根据数据以同步模式或异步模式在步骤780将信息交换的结果反映在映射到输入/输出信息的终端中。如果此信息被设置为同步模式并且检测与用户界面信息交换有关的动作或信号的接收者终端处于激活状态，则输入/输出信息的映射结果立即应用于用户界面。例如，场景可以利用“refresh”(刷新)动作的运行来更新。
如果已经在同步模式中而不是在激活状态中设置了作为信息输入/输出的目标的用户界面，则可以强制将用户界面的状态转变到激活状态，以便接收或传送输入/输出信息，从而将信息应用于用户界面。
如果已经在异步模式中设置了用户界面，则检测与用户界面信息交换有关的动作或信号的接收者终端在图8的步骤780通过用户界面的预定动作或功能执行更新的时候，执行更新、应用信息交换结果、或实际上交换信息，尽管用户界面处于激活状态。在用户界面不在激活状态的情况下，接收者终端管理相应的信息直至用户界面进入激活状态，并且在用户界面的状态转变到激活状态时应用信息并交换信息。
如前所述，与同步/异步信息有关的信息可以包括在通过界面传送的信息、场景组件对象的输入/输出信息或用户界面的配置信息中。此外，与用户界面的同步/异步模式有关的信息和关于要被交换的输入/输出信息的同步/异步模式的信息可以被单独设置，并且信息交换的结果可以根据配置信息的优先级而不同地反映。例如，如果用户界面的信息更新和要被交换的输入/输出信息分别以异步模式和同步模式配置并且如果要被交换的输入/输出信息具有较高优先级，则以同步模式反映信息交换的结果。同步/异步信息可以由用户配置。
因此，还可以包括关于同步/异步模式信息的信息、关于同步/异步模式的配置信息、关于同步/异步模式的优先级信息、关于同步/异步模式的用户配置可能性信息、和关于同步/异步模式的强制用户界面激活概率信息。
在上述示范性实施例中，如果节点、字段、元素、属性和属性值具有相同的意义，则节点、字段、元素、属性和属性值可以被任何可能的事情命名或定义。
用作在本发明的示范性实施例中新定义的节点、字段、元素、属性和属性值的信息可以通过参考基于声明性的描述语言的程序执行引擎和LASeR引擎的内部/外部数据、文件、应用程序和服务来使用。这里，可以在程序执行引擎和LASeR引擎中定义属性，以使得仅仅参考属性值，并且可以使用具有参考功能的元素和属性来参考自身定义为其它数据、文件、应用程序和服务的属性。即使当通过使用具有参考功能的元素和属性参考属性和属性值时，如果用于与在本发明的示范性实施例中描述的属性的功能相同的目的，则它被认为包括在本发明的范畴中。
如上所述，根据本发明的用于处理富媒体用户界面的示范性方法和装置使得由用户界面组件对象构成的内容能够将特定的数据输出到外部对象、通过处理通过不可预测的路径接收的信息以及通过预定路径接收的信息来执行它自己的特定功能、以及使用一起处理的信息用于其它目的信息，以使得可以在内容对象和用户界面之间自由地交换信息，从而改善用户界面的丰富度和可用性。
工业实用性
尽管已经参考本发明的特定示范性实施例对本发明进行了示出和描述，但是本领域技术人员应当理解，在不脱离在所附权利要求书和它们的等效物所定义的本发明的精神和范围的情况下，可以对本发明做出形式和细节上的各种修改。
Claims (20)
1.一种用于处理由用户界面组件对象构成的内容的方法，该方法包括：
接收包括多个用户界面组件对象的内容；
提取被定义为可输出到该内容的外部的可输出的信息；以及
将提取的可输出的信息传送到目标对象。
2.如权利要求1所述的方法，其中所述传送提取的信息包括：
检测用于传送该可输出的信息的动作和信号的至少一个；以及
根据该动作和信号的至少一个将可输出的信息传送到目标对象。
3.如权利要求1所述的方法，还包括：
解析包含在该内容中的命令；以及
根据该命令再现该内容。
4.如权利要求3所述的方法，其中所述提取可输出的信息以及将可输出的信息传送到目标对象是在该内容的再现期间根据该命令执行的。
5.一种用于处理由用户界面组件对象构成的内容的方法，该方法包括：
接收由多个用户界面组件对象构成的内容；
在包含在接收的内容中的信息当中检测要被用作到目标对象的输入值的信息；以及
使用检测的信息执行目标对象的功能。
6.如权利要求5所述的方法，其中所述接收由多个用户界面组件对象构成的内容的步骤包括：
检测用于触发信息交换的预定动作和信号的至少一个；以及
当检测到用于触发信息交换的动作和信号的至少一个时，接收该内容。
7.如权利要求5所述的方法，还包括：
提取与该内容对应的目标对象的功能，
其中所述执行目标对象的功能的步骤包括：运行与提取的内容对应的目标对象的功能。
8.如权利要求5所述的方法，其中所述检测要被用作输入值的信息的步骤包括：当包含在接收的内容中的信息的名称指示可以用作输入值的信息时，将该信息确定为到该目标对象的输入值。
9.如权利要求8所述的方法，其中所述执行目标对象的功能的步骤包括：使用包含在该内容中的信息作为具有该信息的名称的输入值来运行目标对象的功能。
10.如权利要求5所述的方法，其中所述接收由多个用户界面组件对象构成的内容包括：当通过不可预测的路径接收的信息存在时，接收由多个用户界面组件对象构成的内容。
11.一种用于处理由多个用户界面组件对象构成的内容的装置，该装置包括：
解码器，用于解码由多个用户界面组件对象构成的内容；和
事件处理器，用于提取被定义为可输出到该内容外部的信息以及用于将提取的信息输出到目标对象。
12.如权利要求11所述的装置，其中当检测到用于传送该可输出的信息的动作和信号的至少一个时，该事件处理器将提取的可输出的信息传送到目标对象。
13.如权利要求11所述的装置，还包括：
配置存储器，用于解析包含在该内容中的命令；和
再现器，用于根据该命令再现该内容。
14.如权利要求13所述的装置，其中在该再现器根据该命令再现该内容的同时，该事件处理器从该内容中提取该可输出的信息并将提取的信息传送到目标对象。
15.一种用于处理由多个用户界面组件对象构成的内容的装置，该装置包括事件处理器，用于从包含在接收的内容中的信息当中检测可以用作目标对象的输入值的信息，以及用于使用检测的信息作为目标对象的输入值来执行目标对象的功能。
16.如权利要求15所述的装置，其中当检测到用于触发信息交换的预定动作和信号的至少一个时，该事件处理器接收该内容。
17.如权利要求15所述的装置，其中该事件处理器提取与接收的内容对应的目标对象的功能并执行该目标对象的功能。
18.如权利要求15所述的装置，其中当包含在接收的内容中的信息的名称指示可以用作输入值的信息时，该事件处理器将该信息确定为到该目标对象的输入值。
19.如权利要求18所述的装置，其中所述执行目标对象的功能包括：使用包含在该内容中的信息作为具有该信息的名称的输入值。
20.如权利要求15所述的装置，其中该事件处理器在通过不可预测的路径接收到信息时，接收由多个用户界面组件对象构成的内容。
Applications Claiming Priority (7)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR10-2009-0007097 | 2009-01-29 | ||
| KR20090007097 | 2009-01-29 | ||
| KR10-2009-0030205 | 2009-04-08 | ||
| KR20090030205 | 2009-04-08 | ||
| KR1020090033247A KR20100088049A (ko) | 2009-01-29 | 2009-04-16 | 사용자 인터페이스 구성 객체들로 이루어진 콘텐츠의 사전 예측 불가능한 경로를 통하여 수신되는 정보들의 처리 방법 및 이를 위한 장치 |
| KR10-2009-0033247 | 2009-04-16 | ||
| PCT/KR2010/000532 WO2010087635A2 (en) | 2009-01-29 | 2010-01-29 | Method and apparatus for processing user interface composed of component objects |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN102365619A true CN102365619A (zh) | 2012-02-29 |
Family
ID=42754384
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN2010800136213A Pending CN102365619A (zh) | 2009-01-29 | 2010-01-29 | 用于处理由组件对象构成的用户界面的方法和装置 |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US9250871B2 (zh) |
| EP (1) | EP2382595A4 (zh) |
| JP (1) | JP2012516490A (zh) |
| KR (1) | KR20100088049A (zh) |
| CN (1) | CN102365619A (zh) |
| WO (1) | WO2010087635A2 (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103412742A (zh) * | 2013-07-01 | 2013-11-27 | 深圳Tcl新技术有限公司 | 应用程序可配置ui的方法及装置 |
| CN103631495A (zh) * | 2013-11-25 | 2014-03-12 | 联想(北京)有限公司 | 信息处理方法和电子设备 |
| US9405759B2 (en) | 2013-11-20 | 2016-08-02 | Lenovo (Beijing) Co., Ltd. | Information processing method and electronic device |
Families Citing this family (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20120131645A1 (en) * | 2010-11-18 | 2012-05-24 | Harm Michael W | User Scriptable Server Initiated User Interface Creation |
| US8838680B1 (en) | 2011-02-08 | 2014-09-16 | Google Inc. | Buffer objects for web-based configurable pipeline media processing |
| US8681866B1 (en) | 2011-04-28 | 2014-03-25 | Google Inc. | Method and apparatus for encoding video by downsampling frame resolution |
| US9106787B1 (en) | 2011-05-09 | 2015-08-11 | Google Inc. | Apparatus and method for media transmission bandwidth control using bandwidth estimation |
| TWI459314B (zh) * | 2011-11-22 | 2014-11-01 | Univ Nat Chiao Tung | 微件個人化及互動之架構及其方法 |
| US9185429B1 (en) | 2012-04-30 | 2015-11-10 | Google Inc. | Video encoding and decoding using un-equal error protection |
| US9172740B1 (en) | 2013-01-15 | 2015-10-27 | Google Inc. | Adjustable buffer remote access |
| US9311692B1 (en) | 2013-01-25 | 2016-04-12 | Google Inc. | Scalable buffer remote access |
| US9225979B1 (en) | 2013-01-30 | 2015-12-29 | Google Inc. | Remote access encoding |
| CN105656688B (zh) * | 2016-03-03 | 2019-09-20 | 腾讯科技（深圳）有限公司 | 状态控制方法和装置 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20020085985A (ko) * | 2001-05-10 | 2002-11-18 | 권형우 | 리치 미디어의 실시간 전송 시스템 |
| CN1842088A (zh) * | 2005-03-30 | 2006-10-04 | 微软公司 | 用于丰富交互用户界面的有效远程投影的系统 |
| US7234111B2 (en) * | 2001-09-28 | 2007-06-19 | Ntt Docomo, Inc. | Dynamic adaptation of GUI presentations to heterogeneous device platforms |
| KR20070098395A (ko) * | 2006-03-30 | 2007-10-05 | 엘지전자 주식회사 | 미디어 파일 포맷, 미디어 파일 재생 방법, 및 미디어 파일재생 장치 |
| CN101346973A (zh) * | 2005-11-08 | 2009-01-14 | 诺基亚公司 | 用于针对富媒体应用中的远程交互提供反馈和正向传输的系统和方法 |
Family Cites Families (25)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5777621A (en) * | 1994-12-22 | 1998-07-07 | Apple Computer, Inc. | Quality control mechanism for three-dimensional graphics rendering |
| US6037939A (en) * | 1995-09-27 | 2000-03-14 | Sharp Kabushiki Kaisha | Method for enabling interactive manipulation of data retained in computer system, and a computer system for implementing the method |
| JP3544422B2 (ja) * | 1996-03-04 | 2004-07-21 | 日本電気株式会社 | 記事配置装置 |
| US5895477A (en) * | 1996-09-09 | 1999-04-20 | Design Intelligence, Inc. | Design engine for automatic layout of content |
| US6232974B1 (en) * | 1997-07-30 | 2001-05-15 | Microsoft Corporation | Decision-theoretic regulation for allocating computational resources among components of multimedia content to improve fidelity |
| US5999978A (en) * | 1997-10-31 | 1999-12-07 | Sun Microsystems, Inc. | Distributed system and method for controlling access to network resources and event notifications |
| US6343377B1 (en) * | 1997-12-30 | 2002-01-29 | Netscape Communications Corp. | System and method for rendering content received via the internet and world wide web via delegation of rendering processes |
| US6363435B1 (en) * | 1998-02-03 | 2002-03-26 | Microsoft Corporation | Event sourcing and filtering for transient objects in a hierarchical object model |
| US6097382A (en) * | 1998-05-12 | 2000-08-01 | Silverstream Software, Inc. | Method and apparatus for building an application interface |
| US6446136B1 (en) * | 1998-12-31 | 2002-09-03 | Computer Associates Think, Inc. | System and method for dynamic correlation of events |
| US7617453B1 (en) * | 1999-02-03 | 2009-11-10 | Microsoft Corporation | Method and system for generating a user interface for distributing devices |
| JP4389323B2 (ja) * | 2000-02-29 | 2009-12-24 | ソニー株式会社 | シーン記述変換装置及び方法 |
| JP2001306615A (ja) * | 2000-04-18 | 2001-11-02 | Sony Corp | 情報記録媒体及びデータ構造 |
| US6353448B1 (en) * | 2000-05-16 | 2002-03-05 | Ez Online Network, Inc. | Graphic user interface display method |
| US7076734B2 (en) * | 2001-06-22 | 2006-07-11 | Microsoft Corporation | Systems and methods for providing a dynamically controllable user interface that embraces a variety of media |
| US7392483B2 (en) * | 2001-09-28 | 2008-06-24 | Ntt Docomo, Inc, | Transformation of platform specific graphical user interface widgets migrated between heterogeneous device platforms |
| US6941521B2 (en) * | 2002-03-29 | 2005-09-06 | Intel Corporation | Method for dynamically generating a user interface from XML-based documents |
| US20030195896A1 (en) * | 2002-04-15 | 2003-10-16 | Suda Aruna Rohra | Method and apparatus for managing imported or exported data |
| US7899915B2 (en) * | 2002-05-10 | 2011-03-01 | Richard Reisman | Method and apparatus for browsing using multiple coordinated device sets |
| US7012606B2 (en) * | 2003-10-23 | 2006-03-14 | Microsoft Corporation | System and method for a unified composition engine in a graphics processing system |
| US20060168526A1 (en) * | 2005-01-12 | 2006-07-27 | Nokia Corporation | Platform-specific application user interface remoting |
| TWI388216B (zh) | 2005-10-13 | 2013-03-01 | Lg Electronics Inc | 用於編碼／解碼之方法與裝置 |
| FR2892883B1 (fr) * | 2005-11-02 | 2008-01-25 | Streamezzo Sa | Procede d'optimisation de rendu d'une scene multimedia, programme, signal, support de donnees, terminal et procede de reception correspondants. |
| KR20080114496A (ko) * | 2007-06-26 | 2008-12-31 | 삼성전자주식회사 | 레이저 콘텐츠를 이용하여 장면을 구성하는 방법 및 장치 |
| US8719711B2 (en) * | 2007-08-28 | 2014-05-06 | Ricoh Company, Ltd. | Image forming apparatus, display screen customizing method and computer-readable storage medium |
-
2009
- 2009-04-16 KR KR1020090033247A patent/KR20100088049A/ko not_active Application Discontinuation
-
2010
- 2010-01-29 WO PCT/KR2010/000532 patent/WO2010087635A2/en active Application Filing
- 2010-01-29 US US12/696,293 patent/US9250871B2/en not_active Expired - Fee Related
- 2010-01-29 JP JP2011547795A patent/JP2012516490A/ja active Pending
- 2010-01-29 CN CN2010800136213A patent/CN102365619A/zh active Pending
- 2010-01-29 EP EP10736026A patent/EP2382595A4/en not_active Withdrawn
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20020085985A (ko) * | 2001-05-10 | 2002-11-18 | 권형우 | 리치 미디어의 실시간 전송 시스템 |
| US7234111B2 (en) * | 2001-09-28 | 2007-06-19 | Ntt Docomo, Inc. | Dynamic adaptation of GUI presentations to heterogeneous device platforms |
| CN1842088A (zh) * | 2005-03-30 | 2006-10-04 | 微软公司 | 用于丰富交互用户界面的有效远程投影的系统 |
| CN101346973A (zh) * | 2005-11-08 | 2009-01-14 | 诺基亚公司 | 用于针对富媒体应用中的远程交互提供反馈和正向传输的系统和方法 |
| KR20070098395A (ko) * | 2006-03-30 | 2007-10-05 | 엘지전자 주식회사 | 미디어 파일 포맷, 미디어 파일 재생 방법, 및 미디어 파일재생 장치 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103412742A (zh) * | 2013-07-01 | 2013-11-27 | 深圳Tcl新技术有限公司 | 应用程序可配置ui的方法及装置 |
| CN103412742B (zh) * | 2013-07-01 | 2018-04-10 | 深圳Tcl新技术有限公司 | 应用程序可配置ui的方法及装置 |
| US9405759B2 (en) | 2013-11-20 | 2016-08-02 | Lenovo (Beijing) Co., Ltd. | Information processing method and electronic device |
| CN103631495A (zh) * | 2013-11-25 | 2014-03-12 | 联想(北京)有限公司 | 信息处理方法和电子设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2010087635A2 (en) | 2010-08-05 |
| KR20100088049A (ko) | 2010-08-06 |
| EP2382595A4 (en) | 2013-01-23 |
| US20100192078A1 (en) | 2010-07-29 |
| JP2012516490A (ja) | 2012-07-19 |
| WO2010087635A3 (en) | 2010-11-18 |
| US9250871B2 (en) | 2016-02-02 |
| EP2382595A2 (en) | 2011-11-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN102365619A (zh) | 用于处理由组件对象构成的用户界面的方法和装置 | |
| CN101388969B (zh) | 一种在线节目单驱动的多频道字幕编播方法 | |
| EP2202641A1 (en) | Network system, network household electrical appliance, synchronization processing method for contents/metadata, and computer program | |
| CN101674423B (zh) | 一种在线节目单驱动的字幕播出列表的生成方法 | |
| CN108781311A (zh) | 用于媒体分发和管理平台的视频播放器框架 | |
| CN101076795B (zh) | 在媒体服务器中存储的对象结构和该结构的可存取性改进 | |
| CN101268494B (zh) | 视频制作装置以及视频制作方法 | |
| CN102065234B (zh) | 基于分布式字幕处理系统的字幕制播方法及系统 | |
| CN109753492A (zh) | 一种基于元数据配置的系统构建方法及装置 | |
| CN102177484B (zh) | 提供基于结构化富媒体数据的用户界面的装置和方法 | |
| CN109800036A (zh) | 信息流页面展示方法、装置、系统、计算设备和存储介质 | |
| KR20100003912A (ko) | 동일 포맷의 미디어 파일 간에 미디어 정보 호환이 가능한미디어 파일을 생성하는 방법 및 장치와 미디어 파일을실행하는 방법 및 장치 | |
| Heinrich et al. | Reusable awareness widgets for collaborative web applications–a non-invasive approach | |
| CN107943455A (zh) | 一种基于json数据格式的表单渲染系统 | |
| CN101710971A (zh) | 生成页面的方法和装置 | |
| CN102984231A (zh) | 基于浏览器的交互方法 | |
| CN103077023B (zh) | 基于Flex主应用制作JSP插件的方法及装置 | |
| US10067749B2 (en) | Generating consumer-oriented APIs from a UI model | |
| CN107315785A (zh) | 新闻模板的管理方法及装置 | |
| CN102214087A (zh) | 基于Web浏览器的智能数字出版商务平台组件开发方法 | |
| KR20140079936A (ko) | 증강 현실 서비스 송수신 방법 및 장치 | |
| CN106843852A (zh) | 一种客户端图形用户界面快速创建的方法 | |
| CN101242526A (zh) | 一种多媒体流协议的管理系统及其方法 | |
| Concolato et al. | Declarative Interfaces for dynamic widgets communications | |
| Cabanová | Teaching materials and advanced sample applications for Android platform |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C02 | Deemed withdrawal of patent application after publication (patent law 2001) | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20120229 |