CN106133681A - 使用标准化用户接口描述符以拼贴用户接口控制智能对象的方法和装置 - Google Patents

使用标准化用户接口描述符以拼贴用户接口控制智能对象的方法和装置 Download PDF

Info

Publication number
CN106133681A
CN106133681A CN201480077004.8A CN201480077004A CN106133681A CN 106133681 A CN106133681 A CN 106133681A CN 201480077004 A CN201480077004 A CN 201480077004A CN 106133681 A CN106133681 A CN 106133681A
Authority
CN
China
Prior art keywords
data
user interface
utility device
control signal
describe
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201480077004.8A
Other languages
English (en)
Inventor
T·I·萨沃莱南
A·帕兰
J·勒宇纳玛基
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nokia Technologies Oy
Original Assignee
Nokia Technologies Oy
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nokia Technologies Oy filed Critical Nokia Technologies Oy
Publication of CN106133681A publication Critical patent/CN106133681A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/12—Use of codes for handling textual entities
    • G06F40/14—Tree-structured documents
    • G06F40/143—Markup, e.g. Standard Generalized Markup Language [SGML] or Document Type Definition [DTD]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00—Arrangements for software engineering
    • G06F8/30—Creation or generation of source code
    • G06F8/38—Creation or generation of source code for implementing user interfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/451—Execution arrangements for user interfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04803—Split screen, i.e. subdividing the display area or the window area into separate subareas
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • H04L67/125—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks involving control of end-device applications over a network

Abstract

提供了用于通过使用标准化用户接口描述符的拼贴用户接口来控制智能对象的方法、装置和计算机程序产品。提供了用于从多个实用设备接收用户接口描述数据的方法。用户接口描述数据包括与相应实用设备相关联的访问和控制数据。方法还包括基于用户接口描述数据生成拼贴用户接口；接收与第一用户接口描述数据相关联的信号，该信号将第一用户接口描述数据与第二用户接口描述数据相关联；以及引起拼贴用户接口被显示在用户设备用户接口上。

Description

使用标准化用户接口描述符以拼贴用户接口控制智能对象的 方法和装置
技术领域
本发明的示例实施例涉及智能对象的控制，并且更特别地涉及通过使用标准化用户接口描述符的拼贴用户接口来控制智能对象。
背景技术
随着例如智能设备的物联网增加，新类型的设备将可控制。这些设备中的一些设备将配置具有因特网连接，并且其它设备在没有连接至因特网的同时将是智能的。用户要求在最大舒适程度上以最小的延迟烦恼来控制所有的这些设备。
一些当前的智能设备控制技术被垂直创立的，每个设备具有专用应用和/或网站。这向用户提供对各个设备的控制，但是可能需要消耗大量处理功率来运行多个设备应用，并且设备与用户接口之间缺乏相互连结性。
发明内容
根据示例实施例，提供了一种方法和装置，以便通过使用标准化用户接口描述符的拼贴用户接口来控制智能对象。在示例实施例中，提供了一种方法，其包括从多个实用设备接收用户接口描述数据。用户接口描述数据可以包括与相应实用设备相关联的访问和控制数据。方法还包括基于用户接口描述数据来生成拼贴用户接口；接收与第一用户接口描述数据相关联的信号，该信号将第一用户接口描述数据与第二用户接口描述数据相关联；以及引起拼贴用户接口被显示在用户设备用户接口上。
在示例实施例中，方法还包括接收控制信号指示；以及引起控制信号到多个实用设备中的至少一个实用设备。在方法的示例实施例中，使第一用户接口描述数据与第二用户接口描述数据相关联的信号包括订阅或发布消息。示例实施例的方法还包括接收实用设备数据；以及基于所接收的实用设备数据来更新拼接用户接口。在方法的示例实施例中，用户接口描述数据还包括资源标识符。
在示例实施例中，提供了一种方法，其包括引起实用设备用户接口描述数据的传输。实用设备用户接口描述数据包括与实用设备相关联的访问和控制数据。方法还包括基于用户接口描述数据从用户设备接收控制信号，接口；以及引起实用设备数据的传输。在示例实施例中，方法还包括基于控制信号执行命令。
在示例实施例中，提供了一种装置，其包括至少一个处理器以及包括计算机程序代码的至少一个存储器，至少一个存储器和计算机程序代码被配置成与处理器一起引起装置至少从多个实用设备接收用户接口描述数据。用户接口描述数据包括与相应实用设备相关联的访问和控制数据。至少一个存储器和计算机程序代码还可以被配置成：基于用户接口描述数据生成拼贴用户接口；接收与第一用户接口描述数据相关联的信号，该信号将第一用户接口描述数据与第二用户接口描述数据相关联；以及引起拼贴用户接口被显示在用户设备用户接口上。
至少一个存储器和计算机程序代码还可以被配置成与处理器一起引起示例实施例的装置接收控制信号指示；以及引起控制信号到多个实用设备中的至少一个实用设备的传输。在装置的示例实施例中，使第一和第二用户接口描述数据相关联的信号包括订阅或发布消息。至少一个存储器和计算机程序代码还可以被配置成与处理器一起引起示例实施例的装置接收实用设备数据；以及基于所接收的实用设备数据更新拼接用户接口。
在示例实施例中，提供了一种装置，其包括至少一个处理器以及包括计算机程序代码的至少一个存储器，至少一个存储器和计算机程序代码被配置成与处理器一起引起装置至少：引起实用设备用户接口描述数据的传输。实用设备用户接口描述数据包括与实用设备相关联的访问和控制数据。至少一个存储器和计算机程序代码还可以被配置成与处理器一起基于用户接口描述数据引起装置从用户设备接收控制信号，接口以及引起实用设备数据的传输。
至少一个存储器和计算机程序代码还可以被配置成与处理器一起引起示例实施例的装置基于控制信号执行命令。在装置的示例实施例中，用户接口描述数据还包括支持许可请求数据。
在示例实施例中，提供了一种计算机程序产品，其包括至少一个非暂态计算机可读存储介质，至少一个非暂态计算机可读存储介质中存储有计算机可执行程序部分，计算机可执行程序部分包括被配置成从多个实用设备接收用户接口描述数据的程序代码指令。用户接口描述数据包括与相应实用设备相关联的访问和控制数据。计算机程序产品的示例实施例的计算机可执行程序代码部分还可以包括被配置成进行以下操作的程序代码指令：基于用户接口描述数据生成拼贴用户接口；接收与第一用户接口描述数据相关联的信号，该信号将第一用户接口描述数据与第二用户接口描述数据相关联；以及引起拼贴用户接口被显示在用户设备用户接口上。
计算机程序产品的示例实施例的计算机可执行程序代码部分还可以包括被配置成进行以下操作的程序代码指令：接收控制信号指示，以及引起控制信号到多个实用设备中的至少一个实用设备的传输。在计算机程序产品的示例实施例中，使第一和第二用户接口描述数据相关联的信号包括订阅或发布消息。
计算机程序产品的示例实施例的计算机可执行程序代码部分还可以包括被配置成进行以下操作的程序代码指令：接收实用设备数据，以及基于所接收的实用设备数据来更新拼接用户接口。
在示例实施例中，提供了一种计算机程序产品，其包括至少一个非暂态计算机可读存储介质，至少一个非暂态计算机可读存储介质中存储有计算机可执行程序部分，计算机可执行程序代码部分包括被配置成进行以下操作的程序代码指令：引起实用设备用户接口描述数据的传输，其中实用设备用户接口描述数据包括与实用设备相关联的访问和控制数据；从用户设备接收控制信号，其中控制信号基于用户接口描述数据；以及引起实用设备数据的传输。计算机程序产品的示例实施例的计算机可执行程序代码部分还可以包括被配置成进行以下操作的程序代码指令：基于控制信号来执行命令。
在又一示例实施例中，提供了一种装置，其包括：用于从多个实用设备接收用户接口描述数据的部件。用户接口描述数据包括与相应实用设备相关联的访问和控制数据。装置还可以包括：用于基于用户接口描述数据生成拼贴用户接口的部件；用于接收与第一用户接口描述数据相关联的信号的部件，该信号将第一用户接口描述数据与第二用户接口描述数据相关联；以及用于引起拼贴用户接口被显示在用户设备用户接口上的部件。在示例实施例中，装置还包括用于接收控制信号指示的部件；以及用于引起控制信号到多个实用设备中的至少一个实用设备的传输的部件。示例实施例的装置还包括用于接收实用设备数据的部件以及用于基于所接收的实用设备数据来更新拼贴用户接口的部件。
在示例实施例中，提供了一种装置，其包括引起实用设备用户接口描述数据的传输的部件。实用设备用户接口描述数据包括与实用设备相关联的访问和控制数据。装置还包括：用于从用户设备接收控制信号的部件，其中控制信号基于用户接口描述数据；以及用于引起实用设备数据的传输的部件。在示例实施例中，装置还包括用于基于控制信号来执行命令的部件。
附图说明
因此已经概括地描述了本发明的示例实施例，现在参考附图，这些附图不一定按比例绘制，在附图中：
图1图示根据本发明的示例实施例的通信图；
图2是根据本发明的示例实施例的可以具体地被配置用于通过使用标准化用户接口描述符的拼贴用户接口来控制智能对象的装置的框图；
图3图示根据本发明的实施例的示例简单拼贴用户接口渲染；以及
图4和5是图示根据本发明的示例实施例的诸如由图2的装置所执行的操作的流程图。
具体实施方式
现在将在下文中参考其中示出本发明的一些而非全部实施例的附图而更加全面地描述本发明的一些实施例。实际上，本发明的各种实施例可以用很多不同形式来实施，而不应当被解释为限于本文所给出的实施例；这些实施例被提供以使得本公开满足可申请的法律要求。相似的附图标记始终指代相似的元件。如本文所使用的，术语“数据”、“内容”、“信息”和类似术语可以可互换地使用以指代根据本发明的实施例的能够被传输、接收和/或存储的数据。因此，任何这样的术语的使用都不应当被理解为限制本发明的实施例的精神和范围。
相应地，如本文中使用的，术语“电路系统”指代(a)仅硬件电路实现(例如模拟电路系统和/或数字电路系统中的实现)；(b)电路和计算机程序产品的组合，包括存储在一个或多个计算机可读存储器上的软件和/或固件指令，这些指令一起工作以引起装置执行本文所描述的一个或多个功能；以及(c)需要软件或固件用于操作的电路(诸如例如微处理器或微处理器的部分)，即使软件或固件未在物理上呈现。“电路系统”的这一定义适用于这一术语在本文中的所有用途，包括在任何权利要求中。作为另外的示例，如本文中使用的，术语“电路系统”还包括具有一个或多个处理器和/或其部分以及伴随的软件和/或固件的实现。作为另一示例，如在本文中所使用的，术语“电路系统”还包括例如用于移动电话的基带集成电路或应用处理器集成电路或者服务器、蜂窝网络设备、其它网络设备和/或其它计算设备中的类似的集成电路。
如本文中定义的，指代非暂态物理存储介质(例如易失性或非易失性存储器设备)的“计算机可读存储介质”可以区别于指代电磁信号的“计算机可读传输介质”。
根据示例实施例提供了用于通过拼接用户接口使用标准化用户接口描述符来控制智能对象的方法、装置和计算机程序产品。在示例实施例中，可以提供实用设备，诸如智能设备、节点致动器等，其向用户设备(UE)提供供应商独立的标准化用户接口描述数据文件。用户接口描述数据可以使得UE、外部设备或者在UE上运行的软件模块能够访问和控制实用设备。用户接口描述数据还使得能够以供应商所期望的方式来生成和显示控制用户接口。在一些实例中，用户接口描述数据可以实现隐藏功能，例如没有用户接口被显示用于实用设备。在多于一个实用设备用户接口描述数据被提供的示例实施例中，UE可以生成并且在单个用户接口中显示包括针对相应实用设备的控制用户接口的拼贴用户接口。
在示例实施例中，UE被设置为从在UE的范围内的一个或多个实用设备接收用户接口描述数据，用户接口描述数据包括访问和控制信息。用户接口描述数据可以实现被包括在不同用户接口描述中的软件、外部设备、使用标准化应用编程接口(API)(诸如发布/订阅API(pubsub API))在UE内部运行的软件模块之间的相互通信。在示例实施例中，用户接口描述数据可以将相互通信许可考虑在内。例如，用户接口描述符可能需要请求UE或用户的许可来利用受限资源来进行通信。
图1图示了通信图，包括UE 110、实用设备130以及外部系统150、160、和170。UE110可以通过本地连接120与实用设备130进行数据通信。UE 110可以与诸如因特网服务器150的外部系统通信，通过局域网与外部系统160通信，并且通过因特网连接140与外部系统170通信。实用设备可以具有存储器135。外部系统150、160、和170可以分别具有相关联的存储器或数据库155、165、和175。UE 110可以具有实用设备控制模块180，实用设备控制模块180管理UI描述符并且可以使用一个或多个诸如发布/订阅API的应用程序接口190来与以下各项通信以及允许与以下各种以及在以下各项之间通信：软件模块200、实用设备130和/或外部资源150、160或170。API 190也可以由UI描述数据来使用，如下文讨论的。实用设备可以包括智能设备、节点、传感器、致动器等。UE 110可以是移动电话、平板计算机、膝上型计算机、个人数字助理(PDA)、数字电视、台式计算机等。
UE 110可以通过本地连接120连接至一个或多个实用设备130。本地连接可以是无线近场通信(NFC)、低能量(BLE)、Wi-Fi、IEEE 802.15.4、ZigBee、Z-Wave、多播传输、广播传输、或者有线连接(诸如IEEE 802.3、CAN总线、电力线通信(PLC)等)。实用设备130可以具有被本地存储在存储器135中的用户接口(UI)描述数据。UI描述数据可以包括相关联的实用设备130的供应商独立的和标准化的控制和访问信息。在一些示例实施例中，利用API 190的可执行代码可以被包括在UI描述数据中。实用设备130可以向UE 110传输或传达UI描述数据，如下文描述的。在UE 110接收和加载UI描述数据之后，UE可以使用实用设备控制模块180来执行UI描述数据，实用设备控制模块180可以允许访问实用设备130，在用户接口上渲染控制或拼贴UI，并且执行UI描述数据中所包含的控制。实用设备控制模块180可以与单个UI描述数据相关联，或者替代地与多个UI描述数据相关联。在拼贴UI的生成以及控制的执行期间，实用设备控制模块180可以从外部数据源请求数据，外部数据源例如是将请求数据存储在数据库155中的因特网服务器150。UE 110可以通过因特网连接140与外部源通信，因特网连接140可以被实现为GSM、GPRS、WCDMA、CDMA、WiMAX、LTE、CDMA2000、IEEE 802.11Wi-Fi等无线无线电连接或者固定因特网连接(诸如IEEE 802.3以太网、xDSL、线缆网络、光网络等)。实用设备控制模块180和由实用设备控制模块180所执行的UI描述符然后可以使用API 190来彼此通信，与UE 110中的软件模块200通信，与外部系统160通信，与局域网中的数据源165通信，或者通过因特网连接140与具有数据源175的外部系统170通信。在一些实例中，UE 110可以将UI描述数据存储在高速缓存存储器中，以使得UE 110能够从高速缓存加载UI描述数据，而不是在每个使用实例中从实用设备130请求UI描述数据。
在示例实施例中，UI描述数据可以包括超文本标记语言(版本5)(HTML，HTML5)，其可以使得能够由多数UE来渲染UI。另外地或者替代地，UI描述标记语言可以是HTML4、XAML、XML、QML、语言的混合等。在一些实例中，UI描述编程语言可以是解释语言，诸如(或其它形式的ECMAscript)、Qt、Java、C#、C、C++等。UI描述数据可以使用层叠样式表(CSS)或者类似的样式表语言用于规定控制或拼贴UI的用户接口布局的外观和格式化。
UE 110可以从实用设备130直接或间接地接收UI描述数据或者UI描述数据的部分。例如，UE 110可以通过NFC接收UI描述数据，读取QR代码，从实用设备取回UI作为CoAP资源，从实用设备取回UI描述数据作为HTML资源，从实用设备取回UI描述作为BLE资源，接收多播传输，使用多播消息传送，监听被动(passive)广告等。在其中UI描述数据被取回作为CoAP或HTML资源的实例中，资源可以是HTML5或类似的标记语言。在其中UI描述数据通过多播传输来接收的实例中，实用设备可以通过实用设备数据来多播其UI描述数据用于显示，实用设备数据可以是实用设备的传感器数据，诸如温度、致动器状态、图像数据、开关位置等。在其中UI描述数据使用多播消息传送来接收的实例中，UE 110可以发送针对链路上的所有节点的多播CoAP请求并且请求UI描述资源数据。
在示例实施例中，可以压缩、例如压缩(zip)UI描述数据以使用最小能量以及最少量的字节来允许从实用设备130到UE 110传输。在UI标记语言以人类可理解的格式来书写的实例(这可能需要明显更多的数据使用)中，UI描述数据的压缩可能特别重要。在UI标记语言以二进制格式来书写的实例中，由于传输较少数据，压缩可能不太重要。UI描述数据的压缩在使用BLE或其它低能量无线电来传输UI描述数据时可能是有利的。
UI描述数据可以被高速缓存在UE 110中或者由代理高速缓存或储存库节点来提供。例如，家庭路由器可以托管包含连接至家庭网络的相应实用设备的UI描述数据的储存库。例如，UE 110可以从家庭路由器储存库检索UI描述数据，而不是从每个单个实用设备130接收UI描述数据。
在示例实施例中，UI描述数据可以被采集并且在多于一个UE 110之间共享。例如，智能电话可以自动地或者在请求的情况下向附近的智能电话发送UI描述数据集合。在另一示例中，网状网络可以采集参与网状网络的所有节点的UI描述数据，这可以产生网络(mesh)的所有当前元件的共同UI描述数据集。例如，在UE 110可访问四个实用设备130的实例中，UE可以通过网状网络或者最近的UE来接收所有四个实用设备的UI描述数据。另外地或者替代地，UE 110可以检测多个实用设备130并且从每个所检测到的实用设备来接收UI描述数据。
UI描述数据可以包含对于从源而非实用设备加载的元件的引用。例如，UI描述数据可以包含对于广告服务的引用；实用设备控制模块180可以引起UE 110从因特网资源动态地加载广告，同时静态地维持来自实用设备130的控制信息。
在示例实施例中，诸如JavaScript API的pubsub API使得能够通过具体的平台软件与UE 110软件模块200交互工作。实用设备控制模块180可以使得UI描述符能够使用pubsub API 190来发布UI描述数据资源标识符和资源值。UI描述数据资源标识符和资源值可以被映射并且在UE 110内被分发。实用设备控制模块180还可以使得UI描述符能够订阅即将到来的命令，向软件模块200发送消息对象命令以监听新的实用设备130。在UE 110已经标识实用设备130的出现的实例中，软件模块200可以以对象消息命令的形式向这些设备发送命令，这些命令由pubsub API模块190所接收。pubsub API模块190然后可以向实用设备控制模块180递送对象消息命令用于处理以及向已经订阅以接收这样的命令的UI描述符递送。这使得能够实现UE 110中的应用以及实用设备的平滑集成和相互操作。
例如，在设备中，pubsub API可以集成于Android目的(Intent)和广播框架。实用设备控制模块180可以使用pubsub API 190发布UI描述数据资源标识符和资源值。资源标识符和资源值可以被映射到UE 110内部的目的广播。另外，实用设备控制模块180可以订阅即将到来的命令，以例示新的BroadcastReceiver。在UE 110中运行的软件可以例示BroadcastReceiver用于监听新的实用设备(诸如智能对象、节点等)的出现。在检测到实用设备130的出现时，软件模块220可以用目的(intent)的形式向实用设备130发送命令，其可以由pubsub API 190BroadcastReceiver来接收并且被递送给实用设备控制模块180用于处理。
在访问信息存储在另一设备(例如因特网服务器150、本地外部系统160、或因特网可访问外部系统170)中的实例中，资源标识符可以指向外部设备。资源标识符可以由pubsub API 190来接收，pubsub API 190可以自动访问外部设备，而没有与访问过程有关的用户交互。在一些示例实施例中，pubsub API 190可以实现用于外部设备通信的翻译器，诸如CoAP代理。pubsub API 190可以将pubsub API动作翻译成CoAP GET/REPLY消息用于与局域网或因特网中的节点通信。
在示例实施例中，pubsub API可以包含描述资源标识符、资源RUL、资源数据、发布/订阅范围等的参数。发布/订阅范围可以限制UI描述符仅与其它UI描述符180、与UE 110内的软件模块200、通过局域网与外部设备160、与因特网外部设备170或者与其任意组合进行通信。
在UI描述数据引起实用设备控制模块180访问来自外部设备或UE 110内的其它模块(诸如设备位置数据或全球定位系统(GPS))的服务的实例中，UE 110可以请求来自用户的许可。UI描述数据可以支持许可框架，其可以被映射成UE 110的各种性能框架。例如，在UI描述符请求对GPS功能的访问的实例中，实用设备控制模块180可以请求被映射到GPS功能的许可。作为示例，在Android平台中，实用设备控制模块180许可请求可以被映射到ACCESS_FINE_LOCATION。
在示例实施例中，UI描述数据可以引起实用设备控制模块180验证UE设备110类型和所支持的API。在UE 110没有执行实用设备UI描述数据的全部功能的能力的实例中，UI描述符或实用设备控制模块180可以生成并且在用户接口上显示用于安装相应实用设备的专用应用的指令。
在示例实施例中，UI描述数据可以包括设备特定的属性和功能名称。设备特定的名称可以使用针对每个设备的地址，诸如媒体访问控制(MAC)地址。设备特定的名称的使用可以允许功能的运行时间集成而没有命名冲突。例如，在具有来自相同的供应商的两个实用设备的实例中，可以利用诸如02030405_setup_function()和03030405_setup_function()等功能。如上文所描述的，UE 110可以使得UI描述符和实用设备控制模块180能够自动地或者在用户交互的情况下使用pubsub API 190以在实用设备130之间共享信息。除了上文讨论的通信关联，实用设备控制模块180可以基于用户输入(绑定元素)、或者自动地基于UI描述数据控制指令使两个或多个UI描述数据元素相关联。
在示例实施例中，UE 110可以支持用户发起的实用设备130的绑定。实用设备130绑定可以包括作为第二实用设备的输入数据的实用设备输出数据的选择。用户可以使用用户接口来选择UI元件，响应于此，UE 110可以通过使用pubsub API来使和第一实用设备130相关联的UI描述数据元素与第二UI描述数据的UI描述数据元素相关联。例如，用户可以绑定与两个实用设备130(诸如传感器和致动器)相关联的两个UI描述数据元素，以引起传感器的输出被发送给致动器作为输入。在本示例中，UE 110用作使用实用设备控制模块180的中间方或者数据流，并且传感器和致动器不需要在彼此之间直接发送数据。例如，UI元素的绑定可以引起或触发第一UI描述数据以引起相关联的实用设备控制模块180发布实用设备输出数据。另外地或者替代地，UI描述数据元素的绑定可以引起或触发第二UI描述数据引起相关联的实用设备控制模块180订阅或监听来自第一实用设备控制模块180的发布。
在示例实施例中，UE 110可以基于实用设备中的至少一个实用设备的UI描述数据来使UI描述数据元素相关联。在一些示例实施例中，UI描述数据可以包括响应于标识具体的第二实用设备或实用设备类型来将第一实用设备描述数据元素绑定到第二UI描述数据的指令。例如，在第一实用设备是家庭或建筑物照明控制器的实例中，UI描述数据可以包括在没有用户输入的情况下自动使任何新标识的照明实用设备的UI描述数据相关联的指令。与第一和第二实用设备相关联的UI描述数据元素可以使用pubsub API来绑定或关联，如上文讨论的。
在示例实施例中，UE 110可以生成和渲染包括相应UI描述数据的拼贴UI，以在相同的运行时间环境中运行，UI描述数据在专用运行时间、在网络浏览器中或者在本机应用中运行。拼贴UI可以是单个视觉表示中的用户接口显示器或控件的集合，如图3中描绘的。在其中UE 110生成并且在本机应用(诸如8应用)中渲染拼贴UI的实例中，本机应用可以使用全景视图，其中每个实用设备在单独的片(tile)中，如图3所示。
关于UE 110的安全和隐私，UE可以分析UI描述数据所包括的代码以验证实用设备控制模块180仅正在调用和访问针对其的访问被许可的资源。在多个UI描述符180在相同的运行时间环境中运行的实施例中，代码验证可能更加重要。另外地或者替代地，UE 110可以针对每个UI描述符或UI描述符组生成单独的运行时间环境。如上文所讨论的，UI描述数据可以使用API 190用于单独的运行时间环境实用设备控制模块180之间的通信。在实用设备控制模块180在单独的运行时间环境中的实施例中，拼贴UI渲染可以在单个运行时间环境实施例中不呈现为不同，从而提供对用户透明的安全性。
示例装置
UE 110或实用设备130可以包括如图2所示的装置20或者与装置20相关联。诸如图3所示装置的装置根据本发明的示例实施例被具体配置成提供通过使用标准化用户接口描述符的拼贴用户接口来控制智能对象。装置还可以包括以下各项或者另外与其通信：处理器22、存储器设备24、通信接口26、和用户接口28。在一些实施例中，处理器(和/或协处理器或者帮助处理器或另外与处理器相关联的任何其它处理电路系统)可以经由总线与存储器设备通信用于在装置的部件之间传递信息。存储器设备可以是非暂态的，并且可以包括例如一个或多个易失性和/或非易失性存储器。换言之，例如，存储器设备可以是电子存储设备(例如计算机可读存储介质)，其包括被配置成存储可以由机器(例如计算设备，如处理器)可检索的数据(例如比特)的门。存储器设备可以被配置成存储信息、数据、内容、应用、指令等用于使得装置能够执行根据本发明的示例实施例的各种功能。例如，存储器设备可以被配置成缓冲输入数据用于由处理器来处理。另外地或者替代地，存储器设备可以被配置成存储指令用于由处理器来执行。
如上文所指出的，装置20可以由UE 110或者实用设备130来实施。然而，在一些实施例中，装置可以被实施为芯片或芯片集合。换言之，装置可以包括一个或多个物理封装件(例如芯片)，这些物理封装件包括在结构化组件(例如基板)上的材料、部件和/或导线。结构组件可以提供被包括在其上的组成电路系统的物理强度、大小的保持、和/或电气交互的限制。装置因此在一些情况下可以被配置成在单个芯片上实现本发明的实施例，或者将本发明的实施例实现为单个“芯片上系统”。这样，在一些情况下，芯片或芯片集合可以构成用于执行提供本文中描述的功能的一个或多个操作的装置。
处理器22可以用大量不同方式来实施。例如，处理器可以实施为各种硬件处理装置中的一个或多个，诸如协处理器、微处理器、控制器、数字信号处理器(DSP)、具有或没有附属DSP的处理元件、或者包括集成电路(诸如例如ASIC(专用集成电路)、FPGA(现场可编程门阵列)、微控制器单元(MCU)、硬件加速器、专用计算机芯片等)的各种其它处理电路系统。因此，在一些实施例中，处理器可以包括被配置成独立地执行的一个或多个处理核。多核处理器可以实现单个物理封装件内的多处理。另外地或者替代地，处理器可以包括经由总线被串联配置以实现指令、流水线和/或多线程的独立执行的一个或多个处理器。
在示例实施例中，处理器22可以被配置成执行存储器设备24中存储的或者处理器可访问的指令。替代地或者另外地，处理器可以被配置成执行硬编码的功能。因此，不管是通过硬件或软件方法来配置还是通过其组合来配置，处理器可以表示在相应地配置时能够执行根据本发明的实施例的操作的实体(例如物理地具体化在电路系统中)。因此，例如，当处理器实施为ASIC、FPGA等时，处理器可以是用于进行本文中描述的操作的具体地配置的硬件。替代地，作为另一示例，当处理器实施为执行器或软件指令时，在指令被执行时，指令可以具体地配置处理器执行本文中描述的算法和/或操作。然而，在一些情况下，处理器可以是通过指令进行的处理器的进一步配置而被配置成采用本发明的实施例的具体设备(例如固定计算设备的移动终端)用于执行本文中描述的算法和/或操作的处理器。处理器可以包括被配置成支持处理器的操作的时钟、计算逻辑单元(ALU)和逻辑门等。
示例实施例的装置20还可以包括通信接口26，通信接口26可以是用硬件或者硬件和软件的组合来实施的任何装置，诸如设备或电路系统，该任何装置被配置成从与装置通信的通信设备接收和/或向与装置通信的通信设备传输数据，从而促进与一个或多个用户设备110、实用设备等的通信。在这一点上，通信接口可以包括例如天线(或多个天线)以及支持硬件和/或软件用于实现与无线通信网络的通信。另外地或者替代地，通信接口可以包括用于与天线交互以引起信号经由天线的传输或者以处理经由天线所接收的信号的接收的电路系统。在一些环境中，通信接口可以替代地或者还支持有线通信。因此，例如，通信接口可以包括通信调制解调器和/或其它硬件和/或软件用于经由线缆、数字用户线(DSL)、通用串行总线(USB)或其它机制来支持通信。
装置20还可以包括用户接口28，用户接口28进而可以与处理器22通信以向用户提供输出并且在一些实施例中以接收用户输入的指示。因此，用户接口可以包括显示器并且在一些实施例中还可以包括键盘、鼠标、游戏杆、触摸屏、触摸区域、软键、一个或多个麦克风、多个扬声器、或者其它输入/输出机制。在一个实施例中，处理器可以包括用户接口电路系统，用户接口电路系统被配置成控制一个或多个用户接口元件(诸如显示器)的至少一些功能，并且在一些实施例中控制多个扬声器、振铃器、一个或多个麦克风等的至少一些功能。处理器和/或包括处理器的用户接口电路系统可以被配置成通过存储在处理器可访问的存储器(例如存储器设备24等)中的计算机程序指令(例如软件和/或固件)来控制一个或多个用户接口元件的一个或多个功能。
示例拼贴UI渲染
图3图示简单拼贴UI渲染的示例。拼贴UI渲染包括五个UI描述，每个UI描述包括两个文件：JavaScript文件和HTML文件。拼贴UI可以由UE 110使用包括JavaScript代码的HTML框架来生成。在UE 110上运行的脚本如下文所述来合并文件。首先是来自框架的HTML头文件，然后是来自UI描述数据的JavaScript文件，然后是从框架到中间的HTML文件，然后是来自UI描述数据的HTML文件，然后是来自HTML框架的页脚(footer)。框架然后可以调用所有设置功能，这发起并且开始与每个实用设备130(诸如传感器1-5)有关的实用设备控制模块180的动作。来自UI描述数据的HTML文件定义针对每个相应传感器的每个片的大小、颜色等。UE 110然后渲染拼贴UI，如图3所示。
传感器1描绘每一秒增加其值的实用设备传感器计时器。传感器2描绘每两秒增加其值的实用设备传感器。传感器3描绘每次在其被点击或选中时增加其值的实用设备传感器。传感器4和5被UE 110绑定。传感器4描绘每一秒增加其值并且发布针对相同框架中运行的其它实用设备的值以进行利用的实用设备传感器。传感器5接收传感器4所发布的输出值并且将其乘以二并且显示所得到的值。
在示例实施例中，与片相关联的UI描述符可以使用API 190来从远程传感器取回数据，例如诸如通过BLE，或者向这些实用设备传感器推送数据。在另外的实施例中，可以使用UI描述数据的JavaScript代码来触发实用设备控制模块180下载广告或其它媒体内容。
用于实用设备的控制的示例过程
现在参考图4，图示了诸如由图2的装置20所执行的用于控制实用设备的操作。如图4的块402中所示，装置可以包括诸如处理器22、存储器24、通信接口26等被配置成引起UI描述数据的传输的装置。UI描述数据可以包括与相应实用设备相关联的供应商独立的标准化控制和访问数据。处理器22可以从存储器24检索UI描述数据。处理器22可以引起通信接口26向UE 110或者在一些实例中向网络中的其它设备传输UI描述数据。通信接口26可以使用NFC、BLE、多播传输等来传输UI描述数据。
在示例实施例中，UI描述数据可以包括超文本标记语言(版本5)(HTML，HTML5)，其可以实现多数UE对UI的渲染。另外地或者替代地，UI描述标记语言可以是HTML4、XAML、XML、QML、语言的混合等。在一些实例中，UI描述编程语言可以是解释语言，诸如(或其它形式的ECMAscript)、Qt、Java、C#、C、C++等。UI描述数据可以使用层叠样式表(CSS)或者类似的样式表语言用于规定控制或拼接UI的用户接口布局的外观和格式化。
在示例实施例中，可以压缩、例如压缩(zip)UI描述数据以允许使用最小能量以及最少量的字节来从实用设备130到UE 110的传输。在UI标记语言以人类可理解的格式来书写的实例(这可能需要明显更多的数据使用)中，UI描述数据的压缩可能特别重要。在其中UI标记语言以二进制格式来书写的实例中，由于传输较少数据，压缩可能不太重要。UI描述数据的压缩在使用BLE或其它低能量无线电来传输UI描述数据时可能是有利的。
如图4的块404中所示，装置20可以包括诸如处理器22、通信接口26等被配置成接收控制信号的装置。通信接口可以通过无线通信(诸如NFC、BLE等)从UE 110接收控制信号。控制信号可以包括要由装置来执行的命令。例如，命令可以是开启阀门、调节伺服位置、关闭、打开、发送数据等。过程可以在406继续以引起实用设备数据的传输，或者在408处继续以基于控制信号来执行命令。
如图4的块406中所示，装置20可以包括诸如处理器22、通信接口26等被配置成引起实用设备数据的传输的装置。处理器22可以引起通信接口26向UE 110传输实用设备数据。例如，在实用设备是传感器的实例中，实用设备数据可以包括温度数据、光线数据、运动数据、位置数据、声音数据、图像数据等。在示例实施例中，处理器可以以预定间隔或者响应于激励(诸如声音、运动、光等的检测)来传输实用设备数据。在另一示例中，处理器22可以响应于控制信号中的命令来引起实用设备数据的传输，如块408中所讨论的。
如图4的块408中所示，装置20可以包括诸如处理器22等被配置成基于控制信号来执行命令的装置。例如，处理器22可以引起实用设备关闭或打开其本身或者次级设备，激活阀门、改变伺服位置等。在控制信号包括传输实用设备数据的命令的实例中，过程可以在406继续，如上文所描述的。传输实用设备数据的命令在一些实施例中可以包括命令执行状态(例如被令人满意地执行或者没有被执行)的指示的传输。
用于生成拼贴UI和实用设备控制信号的示例过程
现在参考图5，诸如由图2的装置20执行的用于生成拼贴UI和实用设备控制信号的操作。如图5的块502所示，装置20可以包括诸如处理器22、存储器24、通信接口26等被配置成从多个实用设备接收UI描述数据的装置。接口描述数据可以包括与相应实用设备130相关联的供应商独立的标准化控制和访问信息。在示例实施例中，UI描述数据还可以使用API来促进装置20内部和外部的通信。通信接口26可以从实用设备130直接或间接地接收UI描述数据。例如，通信接口26可以通过NFC接收UI描述数据，读取QR代码，从实用设备取回UI作为CoAP资源，从实用设备取回UI描述数据作为HTML资源，从实用设备取回UI描述作为BLE资源，接收多播传输，使用多播消息传送，监听被动广告等。在其中UI描述数据被取回作为CoAP或HTML资源的实例中，资源可以是HTML5或类似的标记语言。在其中UI描述数据通过多播传输来接收的实例中，实用设备可以通过值来多播其UI描述数据用于显示，在UI描述数据使用多播消息来接收的实例中，处理器22可以引起通信接口26发送对于链路上的所有节点的多播CoAP请求并且请求UI描述资源数据。
UI描述数据可以被高速缓存在存储器24中或者由代理高速缓存或储存库节点来提供。例如，家庭路由器可以托管包含连接至家庭网络的相应实用设备的UI描述数据的储存库。例如，处理器22可以引起通信接口26从家庭路由器储存库检索UI描述数据，而不是从每个单个实用设备130接收UI描述数据。
在示例实施例中，UI描述数据可以被采集并且在UE 110之间共享。例如，智能电话可以自动地或者在经请求的情况下向附近的智能电话发送UI描述数据集。在另一示例中，网状网络可以采集参与网状网络的所有节点的UI描述数据，这可以产生网络(mesh)的所有当前元件的共同UI描述数据集。
如图5的块504中所示，装置20可以包括诸如处理器22、通信接口26等被配置成生成多个实用设备130的拼贴UI的装置。处理器22可以基于UI描述数据生成拼贴UI。拼贴UI可以是单个视觉表示中的用户接口显示器或控件的集合，如图3中描绘的。
在示例实施例中，诸如JavaScript API的pubsub API使得能够通过具体的平台软件将处理器与UE 110软件模块200交互工作。处理器22可以使用pubsub API 190来发布UI描述数据资源标识符和资源值。UI描述数据资源标识符和资源值可以被映射并且在装置20内分发。处理器22还可以订阅即将到来的命令，从而向软件模块200发送消息对象命令以监听新的实用设备130。UI描述数据可以包含对于从源而不是实用设备定位的元件的引用。例如，UI描述数据可以包含对于广告服务的引用；UI描述数据可以引起处理器22从因特网资源动态地加载广告，同时静态地维护来自实用设备130的控制信息。
在访问信息存储在另一设备(例如因特网服务器150、本地外部系统160、或因特网可访问外部系统170)中的实例中，资源标识符可以指向外部设备。资源标识符可以由处理器22来接收，处理器22可以引起通信接口26自动访问外部设备，而没有与访问过程有关的用户交互。在一些示例实施例中，处理器22可以实现用于外部设备通信的翻译器，诸如CoAP代理。处理器可以将pubsub API动作翻译成CoAP GET/REPLY消息用于与局域网或因特网中的节点进行通信。
在示例实施例中，pubsub API可以包含描述资源标识符、资源RUL、资源数据、发布/订阅范围等的参数。发布/订阅范围可以限制在处理器22上运行的UI描述数据仅与装置20内的软件模块200、通过局域网与外部设备160、与因特网外部设备170或者与其任意组合进行通信。
在UI描述数据可以访问来自外部设备或装置内的其它模块(诸如设备位置数据或全球定位系统(GPS))的服务的实例中，处理器22可以请求来自用户的许可。UI描述数据可以支持许可框架，其可以被映射成装置20的各种性能框架。例如，在UI描述符请求对GPS功能的访问的实例中，处理器22可以请求被映射到GPS功能的许可。
在示例实施例中，处理器22可以生成包括相应UI描述数据的拼贴UI，以在相同的运行时间环境中运行，UI描述数据在专用运行时间、在网络浏览器中或者在本机应用中运行。
如图5的块506处所示，装置20可以包括诸如主处理器22、用户接口28等被配置成引起拼贴UI被显示在用户接口28上的装置。在其中处理器在本机应用(诸如8应用)中显示拼贴UI的实例中，本机应用可以使用全景视图，其中每个实用设备在单独的片(tile)中，如图3所示。拼贴UI可以显示每个实用设备的控制UI、实用设备数据等。例如，拼贴UI可以包括阀门致动器的控制UI，例如打开或关闭、光和声传感器数据以及伺服定位控制。
如图5的块508处所示，装置20可以包括诸如处理器22、用户接口28等被配置成接收控制信号指示的装置。控制信号指示可以通过与拼贴UI的用户交互来生成，诸如选择打开实用设备130，定位伺服系统，或者致动阀门。在示例实施例中，处理器可以被配置成在没有用户交互的情况下接收例如自动控制信号指示，其可以是UI描述数据的部分，例如实用设备数据请求命令。
在另一实施例中，控制信号指示可以涉及通过绑定实用设备来链接至少两个实用设备UI描述符数据和控制功能。过程可以在510处继续，以绑定至少两个实用设备，或者在512处继续，以引起实用设备控制信号的传输。
如图5的块510处所示，装置20可以包括诸如处理器22等被配置成绑定至少两个实用设备的装置。实用设备130绑定可以包括作为第二实用设备的输入数据的实用设备输出数据的选择。处理器可以绑定或者关联与两个或多个实用设备130(诸如传感器和致动器)相关联的两个或多个UI描述数据元素，以引起传感器的输出被发送给致动器作为输入。绑定或关联实用设备元件可以响应于诸如块508处讨论的所接收的控制信，，或者可以基于UI描述数据控制信息自动进行，而没有用户交互。装置20处理器22用作使用UI描述数据的数据流的中间方，并且传感器和致动器不需要在彼此之间直接发送数据。处理器22可以发布与第一实用设备130的实用设备输出数据相关联的UI描述数据元素。处理器也可以订阅或监听与第一实用设备相关联的UI描述数据元素，其可以用作第二实用设备130的输入数据。例如，运动或声音传感器可以输出运动或声音数据，其可以用作第二实用设备的触发输入，诸如光，以打开。在示例实施例中，处理器22可以基于实用设备数据来执行确定并且生成触发或控制信号作为第二实用设备的输入。过程可以在块514处继续以接收实用设备数据。
如图5的块512处所示，装置20可以包括诸如处理器22、通信接口26等被配置成引起实用设备控制信号的传输的装置。处理器22可以引起通信接口基于如块508处讨论的所接收的控制指示来传输实用设备控制信号，或者如510处讨论的触发。实用设备控制信号可以包括要由实用设备来执行的命令，诸如调节伺服系统的位置、打开、关闭、定位致动器等。通信接口可以使用NFC、BLE等来传输实用设备控制信号。
如图5的块514处所示，装置20可以包括诸如处理器22、通信接口26等被配置成接收实用设备数据的装置。通信接口可以从实用设备130接收实用设备数据，实用设备数据可以包括传感器数据、命令执行状态数据、位置指示数据等。如块516中讨论的，处理器22可以更新拼接用户接口。
在其中实用设备绑定至实用设备实用设备数据的实例中，过程可以在512继续，以引起实用设备控制信号的传输。例如，在压力传感器绑定至阀门致动器的实例中，处理器22可以接收满足预定门限的压缩数据的实用设备数据，并且引起实用设备控制信号的传输以打开阀门致动器。
如图5的块516处所示，装置20可以包括诸如处理器22、用户接口28等被配置成更新拼接UI的装置。处理器22可以基于所接收的实用设备数据(诸如传感器数据或命令执行状态)来更新拼接UI。如506中讨论的，处理器22可以引起经更新的拼接UI被显示在用户接口28上。
示例实施例使得能够在没有网络连接的情况下来控制新的实用设备，不需要安装专用应用，并且提供拼接UI以控制实用设备。Pubsub API框架使得UI描述符能够彼此交互，并且提供和访问UE内部和外部的服务。
如上文所描述的，图4和5图示了根据本发明的示例实施例的装置20、方法和计算机程序产品的流程图。应当理解，流程图的每个块、以及流程图中的块的组合可以用各种装置来实现，诸如硬件、固件、处理器、电路系统、和/或与包括一个或多个计算机程序指令的软件的执行相关联的其它通信设备。例如，上文所描述的过程中的一个或多个过程可以由计算机程序指令来实施。在这一点上，实施以上描述的过程的计算机程序指令可以由采用本发明的实施例的装置的存储器设备24来存储，并且由装置的处理器22来执行。应当理解，任何这样的程序指令可以被加载到计算机或其它可编程装置(例如硬件)上以生产机器，使得所得到的计算机或其它可编程装置实现流程图的块中所规定的功能。这些计算机程序指令也可以存储在计算机可读存储器中，计算机可读存储器可以指示计算机或其它可编程装置按照特定方式工作，使得计算机可读存储器中存储的指令生产制造品，该制造品执行实现流程图的块中所规定的功能。计算机程序指令也可以被加载到计算机或其它可编程装置上以引起一系列操作在计算机或其它可编程装置上被执行以产生计算机实现的过程，使得在计算机或其它可编程装置上执行的指令提供用于实现流程图的块中规定的功能的操作。
相应地，流程图的块支持用于执行所规定的功能的装置的组合以及用于执行所规定的功能的操作的组合，以执行所规定的功能。还应当理解，流程图的一个或多个块、以及流程图中的块的组合可以用执行规定的功能的基于专用硬件的计算机系统、专用硬件和计算机指令的组合来实现，
在一些实施例中，以上操作中的某些操作可以修改或进一步放大。另外，在一些实施例中，可以包括附加的可选操作，诸如图4和5中用块408、508、510、512、514和516的虚线轮廓所图示的。对以上操作的修改、添加或放大可以按照任何顺序或者以任意组合的方式来执行。
与这些发明相关的领域的技术人员在得益于以上描述和相关联的附图中所呈现的教导的基础上能够想到本文中给出的本发明的很多修改和其它实施例。因此，应当理解，这些发明不限于所公开的具体实施例，修改和其它实施例旨在被包括在所附权利要求的范围内。另外，虽然以上描述和相关联的附图在元件和/或功能的某些示例组合的上下文中描述示例实施例，然而应当理解，可以在不偏离所附权利要求的范围的情况下由替代实施例提供元件和/或功能的不同组合。在这一点上，例如，与上文清楚地描述的不同的元件和/或功能的组合也被理解为可以在所附权利要求中的一些权利要求中给出。虽然本文中采用具体术语，然而它们仅在一般和描述性意义上而非出于限制目的而被使用。

Claims (24)

1.一种方法，包括：
从多个实用设备接收用户接口描述数据，其中所述用户接口描述数据包括与相应实用设备相关联的访问和控制数据；
基于所述用户接口描述数据生成拼贴用户接口；
接收与第一用户接口描述数据相关联的信号，所述信号将所述第一用户接口描述数据与第二用户接口描述数据相关联；以及
引起所述拼贴用户接口被显示在用户设备用户接口上。
2.根据权利要求1所述的方法，包括：
接收控制信号指示；以及
引起所述控制信号向所述多个实用设备中的至少一个实用设备的传输。
3.根据权利要求2所述的方法，其中将所述第一用户接口描述数据与所述第二用户接口描述数据相关联的所述信号包括订阅或发布消息。
4.根据权利要求2所述的方法，还包括：
接收实用设备数据；以及
基于所接收的所述实用设备数据来更新所述拼接用户接口。
5.根据权利要求1所述的方法，其中所述用户接口描述数据还包括资源标识符。
6.一种方法，包括：
引起实用设备用户接口描述数据的传输，其中所述实用设备用户接口描述数据包括与所述实用设备相关联的访问和控制数据；
从用户设备接收控制信号，其中所述控制信号基于所述用户接口描述数据；以及
基于所述控制信号引起实用设备数据的传输。
7.根据权利要求6所述的方法，还包括：
基于所述控制信号来执行命令。
8.一种装置，包括至少一个处理器以及包含计算机程序代码的至少一个存储器，所述至少一个存储器和所述计算机程序代码被配置成与所述处理器一起引起所述装置至少：
从多个实用设备接收用户接口描述数据，其中所述用户接口描述数据包括与相应实用设备相关联的访问和控制数据；
基于所述用户接口描述数据生成拼贴用户接口；
接收与第一用户接口描述数据相关联的信号，所述信号将所述第一用户接口描述数据与第二用户接口描述数据相关联；以及
引起所述拼贴用户接口被显示在用户设备用户接口上。
9.根据权利要求8所述的装置，其中所述至少一个存储器和所述计算机程序代码还被配置成：
接收控制信号指示；以及
引起所述控制信号向所述多个实用设备中的至少一个实用设备的传输。
10.根据权利要求8所述的装置，其中所述至少一个存储器和所述计算机程序代码还被配置成：
接收实用设备数据；以及
基于所接收的所述实用设备数据来更新所述拼接用户接口。
11.一种装置，包括：
用于从多个实用设备接收用户接口描述数据的部件，其中所述用户接口描述数据包括与相应实用设备相关联的访问和控制数据；
用于基于所述用户接口描述数据生成拼贴用户接口的部件；
用于接收与第一用户接口描述数据相关联的信号的部件，所述信号将所述第一用户接口描述数据与第二用户接口描述数据相关联；以及
用于引起所述拼贴用户接口被显示在用户设备用户接口上的部件。
12.根据权利要求11所述的装置，包括：
用于接收控制信号指示的部件；以及
用于引起所述控制信号向所述多个实用设备中的至少一个实用设备的传输的部件。
13.根据权利要求8或11所述的装置，其中将所述第一用户接口描述数据与所述第二用户接口描述数据相关联的所述信号包括订阅或发布消息。
14.根据权利要求8或11所述的装置，其中所述用户接口描述数据还包括支持许可请求数据。
15.一种装置，包括至少一个处理器以及包含计算机程序代码的至少一个存储器，所述至少一个存储器和所述计算机程序代码被配置成与所述处理器一起引起所述装置至少：
引起实用设备用户接口描述数据的传输，其中所述实用设备用户接口描述数据包括与所述实用设备相关联的访问和控制数据；
从用户设备接收控制信号，其中所述控制信号基于所述用户接口描述数据；以及
基于所述控制信号引起实用设备数据的传输。
16.根据权利要求15所述的装置，其中所述至少一个存储器和所述计算机程序代码还被配置成：
基于所述控制信号来执行命令。
17.一种装置，包括：
用于引起实用设备用户接口描述数据的传输的部件，其中所述实用设备用户接口描述数据包括与所述实用设备相关联的访问和控制数据；
用于从用户设备接收控制信号的部件，其中所述控制信号基于所述用户接口描述数据；以及
用于基于所述控制信号引起实用设备数据的传输的部件。
18.根据权利要求17所述的装置，还包括：
用于基于所述控制信号来执行命令的部件。
19.一种计算机程序产品，包括至少一个非暂态计算机可读存储介质，所述至少一个非暂态计算机可读存储介质中具有被存储在其中的计算机可执行程序部分，所述计算机可执行程序代码部分包括被配置成进行以下操作的程序代码指令：
从多个实用设备接收用户接口描述数据，其中所述用户接口描述数据包括与相应实用设备相关联的访问和控制数据；
基于所述用户接口描述数据生成拼贴用户接口；
接收与第一用户接口描述数据相关联的信号，所述信号将所述第一用户接口描述数据与第二用户接口描述数据相关联；以及
引起所述拼贴用户接口被显示在用户设备用户接口上。
20.根据权利要求19所述的计算机程序产品，其中所述计算机可执行程序代码部分还包括被配置成进行以下操作的程序代码指令：
接收控制信号指示；以及
引起所述控制信号向所述多个实用设备中的至少一个实用设备的传输。
21.根据权利要求19所述的计算机程序产品，其中将所述第一用户接口描述数据与所述第二用户接口描述数据相关联的所述信号包括订阅或发布消息。
22.根据权利要求19所述的计算机程序产品，其中所述计算机可执行程序代码部分还包括被配置成进行以下操作的程序代码指令：
接收实用设备数据；以及
基于所接收的所述实用设备数据来更新所述拼接用户接口。
23.一种计算机程序产品，包括至少一个非暂态计算机可读存储介质，所述至少一个非暂态计算机可读存储介质中具有被存储在其中的计算机可执行程序部分，所述计算机可执行程序代码部分包括被配置成进行以下操作的程序代码指令：
引起实用设备用户接口描述数据的传输，其中所述实用设备用户接口描述数据包括与所述实用设备相关联的访问和控制数据；
从用户设备接收控制信号，其中所述控制信号基于所述用户接口描述数据；以及
基于所述控制信号引起实用设备数据的传输。
24.根据权利要求23所述的计算机程序产品，其中所述计算机可执行程序代码部分还包括被配置成进行以下操作的程序代码指令：
基于所述控制信号来执行命令。
CN201480077004.8A 2014-03-21 2014-03-21 使用标准化用户接口描述符以拼贴用户接口控制智能对象的方法和装置 Pending CN106133681A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/IB2014/060046 WO2015140602A1 (en) 2014-03-21 2014-03-21 Method and apparatus for controlling smart objects with a collage user interface using normalized user interface descriptors

Publications (1)

Publication Number Publication Date
CN106133681A true CN106133681A (zh) 2016-11-16

Family

ID=54143812

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480077004.8A Pending CN106133681A (zh) 2014-03-21 2014-03-21 使用标准化用户接口描述符以拼贴用户接口控制智能对象的方法和装置

Country Status (5)

Country Link
US (1) US20170131958A1 (zh)
EP (1) EP3120226A4 (zh)
JP (1) JP2017516239A (zh)
CN (1) CN106133681A (zh)
WO (1) WO2015140602A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110297685B (zh) * 2019-06-28 2022-09-16 百度在线网络技术（北京）有限公司 用户界面描述文件生成方法、装置、设备及存储介质
CN115904353B (zh) * 2023-03-02 2023-06-23 上海合见工业软件集团有限公司 一种用户界面的目标源文件的生成方法及系统

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1528072A (zh) * 2000-10-20 2004-09-08 汤姆森许可贸易公司 在网络设备之间交换数据的方法
WO2006072870A1 (en) * 2005-01-07 2006-07-13 Koninklijke Philips Electronics N.V. Remote controller
WO2007023414A2 (en) * 2005-08-22 2007-03-01 Koninklijke Philips Electronics N.V. Automatic adaptive remote control method, system and device
CN101480019A (zh) * 2006-06-29 2009-07-08 微软公司 本地用户界面与远程生成的用户界面和媒体的合成
US20100080175A1 (en) * 2008-09-29 2010-04-01 Stmicroelectronics, Inc. Web based smart sensor network tracking and monitoring system
CN102445933A (zh) * 2011-10-14 2012-05-09 兰泽华 基于物联网的农田大棚监测报警管理系统
CN102685355A (zh) * 2011-03-18 2012-09-19 株式会社理光 信息处理装置、信息处理系统以及设备链接方法
CN103116336A (zh) * 2013-01-14 2013-05-22 广州从兴电子开发有限公司 智能家居控制终端自动管理受控设备方法及装置
US20130226316A1 (en) * 2012-02-27 2013-08-29 Somfy Sas Methods for Controlling and Parameterizing a Home Automation Installation and Home Automation Installation Implementing Said Methods

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6456892B1 (en) * 1998-07-01 2002-09-24 Sony Electronics, Inc. Data driven interaction for networked control of a DDI target device over a home entertainment network
AU3357100A (en) * 1999-02-03 2000-08-25 Gates, William H. Iii Method and system for tracking software components
US20020105543A1 (en) * 2001-02-07 2002-08-08 Sheng Dong User interface management for controlled devices
US9319741B2 (en) * 2006-09-07 2016-04-19 Rateze Remote Mgmt Llc Finding devices in an entertainment system
US8392497B2 (en) * 2009-11-25 2013-03-05 Framehawk, LLC Systems and algorithm for interfacing with a virtualized computing service over a network using a lightweight client
FI20096399A0 (fi) * 2009-12-28 2009-12-28 Valtion Teknillinen Järjestelmä ja menetelmä sähkölaitteiden etäkäyttämiseksi
KR101558236B1 (ko) * 2012-10-16 2015-10-12 전자부품연구원 ＩｏＴ 브라우징 방법 및 장치
CN103986743A (zh) * 2013-02-07 2014-08-13 伊姆西公司 用于在物联网中采集数据的方法、装置和系统
EP2954666A1 (en) * 2013-02-08 2015-12-16 Interdigital Patent Holdings, Inc. METHOD AND APPARATUS FOR INCORPORATING AN INTERNET OF THINGS (IoT) SERVICE INTERFACE PROTOCOL LAYER IN A NODE
US9372922B2 (en) * 2013-07-11 2016-06-21 Neura, Inc. Data consolidation mechanisms for internet of things integration platform

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1528072A (zh) * 2000-10-20 2004-09-08 汤姆森许可贸易公司 在网络设备之间交换数据的方法
WO2006072870A1 (en) * 2005-01-07 2006-07-13 Koninklijke Philips Electronics N.V. Remote controller
WO2007023414A2 (en) * 2005-08-22 2007-03-01 Koninklijke Philips Electronics N.V. Automatic adaptive remote control method, system and device
CN101480019A (zh) * 2006-06-29 2009-07-08 微软公司 本地用户界面与远程生成的用户界面和媒体的合成
US20100080175A1 (en) * 2008-09-29 2010-04-01 Stmicroelectronics, Inc. Web based smart sensor network tracking and monitoring system
CN102685355A (zh) * 2011-03-18 2012-09-19 株式会社理光 信息处理装置、信息处理系统以及设备链接方法
CN102445933A (zh) * 2011-10-14 2012-05-09 兰泽华 基于物联网的农田大棚监测报警管理系统
US20130226316A1 (en) * 2012-02-27 2013-08-29 Somfy Sas Methods for Controlling and Parameterizing a Home Automation Installation and Home Automation Installation Implementing Said Methods
CN103116336A (zh) * 2013-01-14 2013-05-22 广州从兴电子开发有限公司 智能家居控制终端自动管理受控设备方法及装置

Also Published As

Publication number Publication date
JP2017516239A (ja) 2017-06-15
WO2015140602A1 (en) 2015-09-24
EP3120226A4 (en) 2017-12-13
EP3120226A1 (en) 2017-01-25
US20170131958A1 (en) 2017-05-11

Similar Documents

Publication Publication Date Title
US20140289366A1 (en) Service providing method and system for instance hosting
CN104426967B (zh) 一种跨平台和跨设备的移动应用开发系统
CN105900525B (zh) 利用远程资源直接控制智能设备的方法和装置
CN102880708B (zh) 用于实现html页面的可视化设计的系统和方法
CN104704794B (zh) 用于代理在内容中心网络和互联网域之间的通信的方法
CN103493009A (zh) 建立电子装置之间的连接
CN105553959A (zh) 动态生成智能设备操作界面的远程控制方法和系统
CN102393857A (zh) 一种用网页进行本地调用的方法和系统
CN107003836A (zh) 用于所连接的消费者设备的灵活设备模板
CN103577568A (zh) 一种跨平台的移动安全综合信息聚合系统及其方法
CN108781311A (zh) 用于媒体分发和管理平台的视频播放器框架
KR101478903B1 (ko) 인스턴스 호스팅 환경에서 노드의 프로파일에 기반하여 노드의 정보를 처리하기 위한 방법 및 시스템
TW201727561A (zh) 服務組件管理方法及系統
KR101478902B1 (ko) 인스턴스 호스팅 환경에서 노드 별 특성에 따른 프로파일에 기초하여 서비스를 제공하는 방법 및 시스템
JP2017511933A (ja) インターネットアプリケーションサービスを提供するための方法およびシステム
CN104965690A (zh) 数据处理方法及装置
CN106133681A (zh) 使用标准化用户接口描述符以拼贴用户接口控制智能对象的方法和装置
KR101493166B1 (ko) ＩｏＴ 환경에서 가상화된 객체의 인스턴스를 관리하기 위한 웹 기반 사용자 인터페이스를 제공하는 서비스 방법 및 시스템
JP6602492B2 (ja) メッセージに基づくアプリケーションに連動するロック画面の広告提供システム及び方法
CN104461583A (zh) 一种调用资源类应用的方法、装置和移动终端
JP6608770B2 (ja) 情報処理装置及びプログラム
CN103870280B (zh) 基于flex与jsp的网页无缝结合处理方法
CN103744663A (zh) 一种基于预缓存技术的Android界面设计框架模型
CN102637128B (zh) 一种通用层级选择控件的生成方法
CN106874475A (zh) 一种可配置Portal框架的实现方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20161116