CN1855037A - 呈现用于电子装置的控制的用户任务的方法及系统 - Google Patents

呈现用于电子装置的控制的用户任务的方法及系统 Download PDF

Info

Publication number
CN1855037A
CN1855037A CNA200510104950XA CN200510104950A CN1855037A CN 1855037 A CN1855037 A CN 1855037A CN A200510104950X A CNA200510104950X A CN A200510104950XA CN 200510104950 A CN200510104950 A CN 200510104950A CN 1855037 A CN1855037 A CN 1855037A
Authority
CN
China
Prior art keywords
task
user
suggestion
term
description
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CNA200510104950XA
Other languages
English (en)
Inventor
麦瑟·艾伦
库吉撒帕撒·纳吉撒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN1855037A publication Critical patent/CN1855037A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00—Arrangements for software engineering
    • G06F8/30—Creation or generation of source code
    • G06F8/38—Creation or generation of source code for implementing user interfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/10—Office automation; Time management
    • G06Q10/109—Time management, e.g. calendars, reminders, meetings or time accounting
    • G06Q10/1093—Calendar-based scheduling for persons or groups
    • G06Q10/1097—Task assignment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/43615—Interfacing a Home Network, e.g. for connecting the client to a plurality of peripherals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/443—OS processes, e.g. booting an STB, implementing a Java virtual machine in an STB or power management in an STB
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Strategic Management (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

一种在任务协调系统中表示将由多个电子装置中的一个或多个执行的用户任务的方法。其中每个装置包括指定该装置能够执行的功能的功能描述。从所述装置中的一个或多个获得所述功能描述，获得描述特定任务所需的装置功能性的任务描述，基于所述获得的装置功能描述和任务描述产生任务建议。每个任务建议将用户任务表示为所述获得的装置功能描述和任务描述中的一个或多个的抽象。任务建议被显示在显示器上以供用户从中选择，其中，所述用户选择的任务建议将基于任务描述通过所述装置中的一个或多个的协调(自动操作)来被执行，所述任务描述使用在装置功能描述中所描述的装置功能性。

Description

呈现用于电子装置的控制的用户任务的方法及系统
                         技术领域
本发明一般涉及提供用于用户控制装置的用户界面，具体地涉及呈现并表示用于一组消费电子(CE)装置的用户任务。
                         背景技术
通常的用于用户控制诸如CE装置(例如，TV、VCR、DVD播放器、CD播放器等)的装置的用户界面是这样一种用户界面，即：用户任务没有被表示在装置中。相反，一组装置功能被呈现给用户，用户选择这些装置功能的组合来执行任务。例如，观看影像带需要用户在VCR上选择输入(例如，磁带)、倒带并按下播放。结果，用户不能够简单地指定他/她希望“观看”“影像带”以自动执行以上操作。用户不能够表达将被执行的期望的任务(例如，“观看”“影像带”)，相反，用户必须直接控制装置来执行期望的功能(例如，在VCR上选择输入、倒带并按下播放)。
这种方法类似于传统的软件架构，其中，任务映射为应用程序的概念。例如，如果用户想写信，那么用户运行具有适当功能性的文字处理程序。然而，除了映射为众所周知的名称的众所周知的功能性之外，这种方法几乎没有向用户表达什么。另一选择方法将一组选项以菜单的形式呈现给用户。几个系统允许众所周知的任务以菜单选项(例如，拼写检查文档或者VCR上的即时记录)被列出。然而，这样的系统仅将装置功能提供给用户。
另一选择方法允许用户用图表表达任务(例如，使用线将一组描述的装置连接在一起以执行期望的任务)。这种方法的问题是：它没有掩盖用户使用所述装置的复杂性。它只不过用图表将功能选择表示给用户，并要求用户指定执行任务所需的连接。
因此，存在对这样一种系统的需要：该系统为用户将任务描述和装置描述处理为任务建议而非装置功能。然后，用户可从任务建议选择任务，其中，所述系统自动执行装置功能的操作来执行用户选择的任务。也存在对这样一种设备和方法的需要：该设备和方法允许以一般的方式将任务表达为任务建议，从而用户能表达能够由可利用的装置来执行的任务。
                        发明内容
本发明致力于以上需要。在一个实施例中本发明提供了一种任务协调系统，该任务协调系统实现了一种表示将由网络中的多个电子装置中的一个或多个执行的用户任务的方法。其中每个装置包括指定该装置能够执行的功能的功能描述。从所述装置中的一个或多个获得所述功能描述。此外，还获得描述所述用户任务和执行特定任务所需的功能的任务描述。然后，使用所述获得的功能描述和任务描述为用户产生任务建议。每个任务建议将用户任务抽象地表示为伪语句，并且每个任务建议从任务描述被获得，可使用获得的装置描述中的一个或多个。所述任务建议被显示在显示器上，以供用户从中选择，其中，由选择的任务建议所表示的请求的任务将由所述装置中的一个或多个来执行。因此，所述任务建议对用户掩盖了装置功能。
在一个实施例中，使用被组织为具有类型的一组术语的伪语言结构来表示任务建议，以将用户任务描述为任务描述和装置功能描述的抽象。利用用户界面装置将任务建议显示在显示器上以供用户从中选择，从而可以选择所述任务建议以在任务协调(自动操作)模块的控制下由所述装置中的一个或多个来执行所述任务。
在在任务建议之中选择的步骤中，允许用户选择伪语句元素/术语，从而用户选择的任务建议能够在所述系统中的任务协调模块的控制下由所述装置来执行。所述任务协调模块可以是所述系统中的逻辑组件。
因此，在一个实施例中，所述任务协调模块包括任务驱动的控制器装置，所述任务驱动的控制器从所述装置中的一个或多个获得装置功能描述，获得描述特定任务所需的装置功能性的任务描述，从所述任务描述和装置描述产生任务建议，并且一旦任务建议被选择，就基于任务描述来执行所述选择的任务建议，所述任务描述使用在所述获得的装置功能描述中描述的功能性。
参照下面的描述、权利要求和附图，本发明的这些以及其他特征、方面和优点将被理解。
                         附图说明
参照下面的描述、权利要求和附图，本发明的这些以及其他特征、方面和优点将被理解，其中：
图1A显示了根据本发明的任务协调系统的实施例的示例性结构的方框图；
图1B显示了根据图1A的系统的示例性的任务协调处理的流程图表；
图2显示了根据本发明的包括任务协调模块的任务协调系统的另一实施例的示例性结构的方框图；
图3显示了在图2的系统中使用伪语言的示例性的任务建议；
图4显示了在图2的系统中从装置获得装置功能描述以产生任务建议的示例；
图5显示了根据本发明的逻辑分离的任务描述和装置描述的示例；
图6显示了在产生和显示任务建议的操作中的示例性步骤的流程图；和
图7显示了在向用户显示用于选择并由图2的系统中的任务协调模块执行的任务建议的操作中的示例性步骤的流程图。
                      具体实施方式
在一个实施例中，本发明提供了一种用于在一组不同的装置上协调(orchestrate)用户任务的系统，所述装置是诸如家里的消费电子装置的装置，在家里这些装置在网络中相互连接。协调用户任务包括使选择用来执行任务的装置的过程自动化。在一个示例中，这包括：获得装置功能描述和任务描述；基于所述获得的装置功能描述和任务描述产生任务建议；将所述任务建议分等级；允许用户在所述任务建议之中选择；和协调(自动操作)所述装置来执行选择/请求的任务建议。例如，如所提到的，任务建议可被描述为包含一组彼此修饰的元素/术语的伪语句。
本发明允许使用伪语句以递增和灵活的方式来描述用户任务，所述伪语句也是人可读的。因此，本发明并不定义所述描述如何映射为装置的操作，而是集中于如何以能由用户解释的方式来表达任务操作。伪语句提供了远离下层装置的抽象层。可使用伪语句以这样一种方法描述任务，该方法大致类似于涂鸦手写识别符号接近于真正的罗马字母(例如，被比作自然语言的用户任务的涂鸦和完全手写识别)。在一个实现中，这允许简洁的程序来确定用户任务而不需要复杂的自然语言处理。
任务协调作为用于装置的高级的面向任务的遥控来操作，并为用户将选择和设置减到最少。因此，利用几种技术的组合来提供适合于使用户任务的协调自动化的协调系统。
参照图1A和1B中的示例性的结构，根据本发明的任务协调系统10用用户的最小输入使用户任务自动操作为一组协调的装置动作。在一种形式中，任务协调系统10包括三种类型的逻辑装置：(1)客户装置20，包括显示用户界面的装置；(2)控制器装置30，包括控制其它装置的装置；和(3)被控装置40，包括被控制器装置控制的装置。
根据本发明，每个逻辑装置可具有实现任务协调的特定的功能性。具体地讲，被控装置40包括它们的功能性的增强的描述，所述增强的描述使用诸如语义标识语言的语言(这不描述被控装置的界面，而是抽象地描述其功能性)。此外，对于装置功能性的描述，装置可包括一个或多个用户任务描述。任务描述可指定任务，所述任务是仅使用装置的功能性、使用装置的功能性以及其它装置的潜在的功能性的任务，或者仅仅是其它装置的任务。
包含任务协调(TO)模块50的控制器装置30包括协调装置以执行用户选择的任务建议(即，任务请求)的功能性。除控制访问软件之外，控制器装置30包括任务协调模块50中的推理系统(例如，专家系统、规则系统等)，所述推理系统能够推断出用于执行任务请求的一组动作和装置。控制器装置30获得任务和装置功能性描述，并使用这些信息来推断：(1)在给定当前装置、它们的功能性以及描述的任务的情况下，在系统中什么任务是有效的，和(2)什么装置组合潜在地可用来完成请求的任务。
客户装置20包括请求任务建议以及将任务建议显示给用户的功能性。因此，它们包括将任务显示给用户的用户界面，所述用户界面与控制器装置30的任务协调模块50连接。这种连接使得用户界面(例如，GUI)能够仅显示在给定当前装置40、任务和功能性的情况下的可能的任务建议。此外，如果部分任务建议已被产生(即，已指定了部分任务请求)，那么用户界面可使用控制器装置30来进一步减少可应用的用户选项。使用这种功能性，客户装置20能够使用伪语句来列出可利用的任务和选项以作为任务建议。任务建议由用户选择，执行选择的任务建议的请求由控制器装置30处理以执行选择/请求的任务。这允许控制器装置30以简化的方式确定什么用户任务是期望的，并将期望的用户任务与任务描述匹配并最终与用于实现该任务的装置选择和配置匹配。诸如在哪个房间播放影像的用户偏好作为修饰语被指定为任务建议伪语句的一部分(例如，伪语句“在卧室中”播放影像或者“使用耳机”播放影像)。下面通过使用分离的任务和装置描述来描述消费电子来进一步解释用于选择任务建议的搜索空间的这些部分(即，伪语句的可利用部分)。
图2示出了根据本发明的任务协调系统10的示例性的功能结构，所述任务协调系统10包括用户界面(GUI)模块60和控制器装置30，所述控制器装置30包括作为下层的被控装置40之上的顶层的任务协调模块50。中间设备层/模块70在控制器装置30和被控装置40之间。中间设备层/模块70提供能够控制装置的中间层功能(例如，提供API来控制装置)。中间设备层/模块70的操作超出了本发明的范围，因此在这里没有被详细地描述。
通过用户界面60，任务协调模块50允许呈现并表示能够由一组消费电子装置40执行的任务建议。因此，任务协调模块50掩盖了那些任务建议如何被映射到装置40，仅将任务建议表示给用户。提供了一种以递增和灵活的方式将任务描述为任务建议的方式，所述方式也是人可读的。这种方法不使用户集中于任务描述95如何被映射为装置40的操作，而是使用户集中于以能够由用户解释的方式(例如，被称为伪语句的任务建议)来表达任务操作。
现在还参照图3，在一个示例中，可以以表示伪语句的简化的语言结构200来描述任务建议。这里为了描述的简便，示例性的结构被组织为一组彼此修饰的术语，其中，在这个示例中，定义动作的一组标准化的“动词”被用作分层语言树200的根。例如，“播放”、“显示”、“观看”、“调节”、“浇水”等是一组“动词”，跟随每个“动词”的是“对象”，诸如“照片”、“草坪”、“电影”等。“对象”通过减小由“动词”限定的动作的范围来修饰“动词”。
跟随“对象”，是诸如实例的“修饰语”的组合，所述实例进一步将范围减小到特定动作。例如，“播放”“电影”“矩阵”添加了作为特定实例的“矩阵”。诸如“在私室中”或“在下午8点”的其他“修饰语”可被指定来控制任务。然而，其他修饰语可指定电影“矩阵”存在于其上的媒介。注意，这种结构指定任务而非装置动作。在这里诸如改变音量或频道的装置动作不是任务，而是存在的任务的动作(例如，“观看”“TV”的同时改变音量)。结构200中的单词组合不是由用于特定环境(例如家)的一组固定的术语来填充，而是由位于装置40中的任务的标准化的描述来填充。这些装置然后被询问以产生基于系统中当前连接的或可获得的装置的可能的用于每个层次的一组术语和修饰语。这种方法使得指定用户任务的操作变得更容易，这是因为大量不相关的词库会使确定正确的伪语句变得非常困难。
现在还参照图4中的示例性的示图，装置40被询问关于作为任务描述95的基于家庭网络85(图2)中的当前连接的或可获得的装置的可能的用于每个层次(即，伪语句中的位置)的一组术语和修饰语。这种方法简化了指定任务建议的操作，这是因为否则大量不相关的词库会使确定正确的伪语句变得非常困难。
本发明这个实施例的促进作用是：只确定基于其它术语或修饰语的当前选择的可能的一组术语或修饰语。例如，如果“播放”和“在CD播放器上”被选择，那么即使“播放”“影像”是可能的任务，该任务也不适合系统中的装置任务描述，这是因为影像不能在CD播放器上被播放。相反，如果音乐是基于装置40呈现的唯一选项，那么只有“音乐”被呈现给用户。
本发明这个实施例的另一促进作用是：允许任务被部分指定(例如，“播放”“音乐”“歌曲名称”)。如果多个任务匹配，那么可通过确定选项来为用户例示任务。这可通过随机选择，通过基于过去请求的了解，或者通过更加复杂的方法来被例示。当用户知道存在很少的选项，或者任务协调模块50能够基于到目前为止的用户输入来确定适当的选择时，这使得用户减少他们的决策以及用户界面的选项。由于任务协调模块50基于可利用的装置和资源来确定可利用的选项，所以任务协调模块50也可填充可利用的选项。例如，如果只存在一个音乐装置(CD播放器)，那么房间修饰语和装置选择在运行时作为任何下层的机器自动化的一部分而被去除。
因此，本发明允许用户指定任务，而非装置操作；允许应用程序或装置指定它们执行什么功能；允许用户界面仅搜索可被表达/执行的任务，而非所有可能存在的任务；提供允许用户快速表达任务的标准化的词汇；并且允许简洁的程序确定用户任务而不需要复杂的自然语言处理。
如所提到的，在另一方面，本发明提供了一种使用分离的任务描述和装置功能描述来描述消费电子装置的方法。因此，使用装置功能性描述和抽象的装置交互来表达装置交互。以这种方式，装置描述(即，装置功能性)和用户任务(即，装置使用)被逻辑地分成一组丰富的描述。使用这些描述，可以描述一组消费电子(诸如家里的那些)和一组它们可交互的可能的方式。基于任务描述和装置描述的复杂性，可以表达复杂的顺序的、并行的和配合的交互以协调家用装置的功能性来执行用户任务。这提供：装置交互，以灵活的描述而不是作为起黑匣子作用的控制器程序被描述；装置交互，更接近地匹配家用装置使用的用户感知的结构；任务描述，允许交互不集中于单个装置上(即，没有任务映射的直接装置)；和作为任务建议的用户任务的描述，允许可共同操作的描述和描述的相互交换。
参照图5，在一个示例中，消费电子40的描述300被设置有两个逻辑描述：任务描述310(即，用户任务)和装置描述320(即，装置功能性)。这些描述310、320以这样的方式关联：任务建议可允许控制器装置30基于任务描述310来理解家庭网络85中什么可能的装置40可被用于实现任务建议。这种类型的描述310具有许多用途，但是它主要使得任务与家庭网络85中的装置40分离。它还使得任务与黑匣子控制器类型的应用程序分离，所述黑匣子控制器类型的应用程序对众所周知的现有装置以预先确定和预先定义的次序程序化地执行任务。
如图5中所显示，任务描述310包括四部分：(1)任务外部描述330、(2)任务性质340、(3)任务功能性350以及(4)任务动作360。任务外部描述330略述伪语句(注意到在这个示例中图2中的任务描述95和图5中的任务描述310是相同的)。任务性质340表达关于任务的有用信息(例如，当DVD被播放时，能选择性地使灯变暗，或者特定的用户被允许使用该任务)。任务功能性350表达任务实现其目标所需的功能性。使用与装置描述320共享的术语来描述该功能性，并且该功能性描述装置40的抽象的功能性。例如，DVD播放器可以是“AVSource”。该功能性被描述为功能性的层次。此外，如果DVD播放器具有一些多功能操作的形式，那么它可被描述为AV源。或者，简单地，“DVDAVSource”是描述DVD播放器的“AVSource”的子类。最后，任务动作360描述实现列出的功能性的装置的顺序和组合。
此外，装置描述320具有与任务描述类似的结构，并共享功能性描述。装置描述320可包括功能性350A，其中，任务描述310中的任务功能性350映射为装置描述320中的功能性350A。功能性350A可包括功能性描述370、装置基础(grounding)380和装置属性(例如，屏幕大小、特征等)。功能性描述370略述装置40的功能性。例如，CD播放器是AudioSink，而自动译码器可具有如MPEGAudioSink和MPEGAudioSource的功能性。装置基础380描述如何基于功能性描述370来控制装置40。例如，它可包括URL来呼叫以改变音量级、设置装置连接等。或者，它可具有通过表达控制装置所必需的UPNP交互来控制UPNP装置的基础。如本领域的技术人员会认识到的，也可利用其他装置控制协议。
在运行时，任务描述310和装置描述320被任务协调模块50读取，并被分析以确定是否存在匹配任务功能性350的一组装置40。如果存在，那么任务协调模块50将匹配任务功能性350的装置作为用于该任务的候选装置。然后任务协调模块50在可利用的装置40中循环以确定实现任务功能性350的装置40的组合。匹配任务/装置组合的集合从该搜索被返回，并作为GUI 60(图2)上的输出解决方案75被呈现给用户。用户选择他偏好的被映射为任务/装置组合的伪语句，并通过使用任务动作来例示任务，所述任务动作依次需要装置动作，所述装置动作使用装置描述320中的装置基础380来实现任务。
因为在描述300中装置描述320与任务描述310仅是逻辑地分离，所以除参与较大的任务之外没有什么防止装置40将其功能性描述为任务描述，并且所述描述可被物理地组合。一种可供选择的实现是：使用语义网络技术来构造装置描述320和任务描述310，以允许使用共享的语义本体(语言)以该语义本体的语义是机器可读的方式来充分描述装置和任务的所有方面。尽管以上描述在家用消费电子的环境中，如本领域的技术人员所认识到的，本发明可被使用在诸如移动装置、桌面计算、企业计算等的其他应用中。
因此，模块50组合任务描述和装置描述来确定装置是否可被用于特定的任务。为了执行用户任务，模块50获得关于任务和装置描述的组合的信息以确定装置的基础信息，其中，任务描述包括模块50用以协调装置动作的动作脚本的顺序。此外，模块50将来自多个装置描述的基础信息和任务描述脚本组合，以产生用于控制用于用户任务的装置的特定脚本。基于装置描述的功能性来指定装置基础信息。此外，装置基础信息指定交互和参数设置以确定装置的控制。装置基础可以以统一资源标识符(URI)的形式被指定，以描述使用的动作和参数。此外，装置基础信息可包括被组合以实现要求的功能性的多个基础信息部分。此外，装置描述可包括映射为控制或装置软件所使用的不同协议的多个基础信息部分。
现在描述根据本发明实施例的使用以上方法来增强下层装置40的功能性和智能的任务协调系统10的示例性实现。如图2中所显示，任务协调系统10实现了为用户向系统10请求任务建议的技术以及解释并处理所述任务建议的技术。在这个实施例中，几个基于语义网络的工具和技术被改编来构造有效的系统，包括以语义丰富的标识语言来开发用于实体(例如，装置)的本体。构建本体以表示家用装置40和用户任务请求95，下面进一步详细描述所述本体。
任务协调模块50将任务建议提供给用户，并从用户接收请求以协调由用户选择的任务建议的执行。任务协调模块50使用推理引擎65(图1B)作为顶层，结合用户界面60(图2)，通过以下步骤来处理选择的任务建议95：解析选择的任务建议95，发现能够执行选择的任务建议的适当的装置40，并将该信息传递到用于执行的底层(例如，中间设备层/模块70)。在一个示例中，适当的标识语言与推理引擎65一起被用来对语言中表达的内容推论，由此实体相互通信并相互理解。在一种形式中，使用语义技术来描述装置功能性和任务，以促进以功能性为中心的装置的连接。
例如，通常下面类型的装置40存在于家庭网络85中：
TV—显示音频/视频
DVD—播放音频/视频、显示照片
PC—显示音频/视频、显示照片、玩游戏、AV源
接收器—将源连接到宿、播放音频、播放无线电广播
冰箱—上网、播放音频/视频、控制
灯—控制
电话—播放音频、呼叫用户、用户数据库
PVR—记录音频/视频、暂停、播放、存储照片、显示照片
照相机—记录音频/视频、播放音频/视频、流传输音频/视频等。
家庭网络85中的可能的示例性任务可包括：
“浇水”“花园”
“播放”“电影”“矩阵”“以环绕声”
“显示”“照片”“巴西”
“同步”“MP3播放器”
“使变暗”“灯”
“播放”“我的音乐”“客厅”
以上示例(情景)使用例如伪语句语言来表达任务建议，而例如语义语言被用来描述装置和功能性，并且使用推理引擎来对知识推论并执行任务请求。在一个示例中，被选择来表达本体/规则的语言提供：语义级的协议、高度的灵活性和表达力、对类型和包含的支持、对数据类型的支持以及限定和约束的表达。知识库105被包括在任务协调模块50中(图2)。
在另一示例中，在任务协调模块50中可利用语义网络技术。语义网络是当前网络的扩展，在所述语义网络中，赋予信息以明确的意义、更好地使计算机和人能够协同工作。为语义网络设计的标识语言提供各种实体之间的共同的理解。示例性的语义网络技术包括为语义网络开发的DAML+OIL、DAML-S、OWL等。在任务协调模块50的一个示例中，装置和任务本体110被使用DAML+OIL来构建，并被载入任务协调模块50中的知识库105。装置40的各种属性和功能性被标识，还记录所述属性之中的关系的本体被构建。此外，基于所述本体构建使用DAML+OIL的装置实例115，其中，实例本质上是装置在其界面和功能性方面的语义描述。如图1B中的任务协调流程所显示，用户选择的任务建议被分成一个或多个所要求的任务，并被映射为能够由可利用的装置执行的任务功能性。可通过对本体中表达的信息推理(推论)并执行关于装置/用户的状态/偏好的附加规则来进行映射。
现在参照图2和图4中的示例，任务协调模块50存在于控制器装置30中，所述控制器30与为任务协调模块50提供界面以在任何需要的时候获得装置描述的模块交互。在一个实施例中，由现有装置提供的DAML+OIL任务实例120被插入到知识库105中，以Jess规则和/或DAML+OIL写入的预定义的用户偏好130也被载入知识库105中。此外，与请求的任务相关的装置偏好和与任务所需的功能性相关的属性偏好被并入。所有可能的“动词”(例如，“播放”)和“对象”(例如，“电影”)从知识库105被检索，并被显示在GUI 60上。
因此，用户的任务请求通过GUI 60作为一组字段135被获得(例如，图2)，并作为任务协调模块50的知识库105的输入被提供。在一个示例中，从用户获得的输入包括所有可选的字段。在另一示例中，从用户获得的输入包括：
a)强制字段：动词、对象和内容、位置、目的装置
b)可选字段：属性(例如，环绕声、宽屏幕等)
在这个示例中，在用户选择“动词”和“对象”后，任务协调模块50与中间设备层/模块70中的协议栈通信以获得在“对象”的环境中相关的所有可利用的内容。
当一获得由用户选择的完整的任务建议时，任务协调模块50解析该任务建议和相应的任务描述95并计算作为解决方案的能为请求服务的装置40的所有可能的组合。然后，在通过GUI 60为用户发送作为输出75的显示之前，任务协调模块50应用所述偏好并将所述解决方案分等级。
如所提到的，任务协调模块50经GUI 60与用户交互，并与推理引擎65(图1B)和规则引擎130(图2)交互。任务协调模块50还包括知识库105，所述知识库105用于以事实的形式存储本体110并将规则130应用于所述数据。
现在还参照图6的流程图步骤来描述示例性的操作情景：
1、在步骤400中，在启动期间，装置和任务本体110被插入到知识库105中，其中，所述本体内容以“(PropertyValue subclass man person)”形式被转换为事实。
2、在步骤405中，装置和任务的实例115、120也被插入到知识库105中。在这里的示例中，本体110为视听(AV)装置(例如，TV、CD播放器、DVD播放器、IPAQ、扬声器、自动译码器等)而被实现。
3、在步骤410中，在本体110和实例115、120被载入之后，“动词”、与“动词”相关的“对象”以及由装置40支持的“任务”从知识库105中的事实被提取。
4、在步骤415中，以类似的方式，执行以上标识的任务所需的“功能性”也从知识库105中的事实被提取，并作为新事实被存储以便于检索。
5、在步骤420中，使用GUI 60，用户通过选择例如“动词”、与“动词”的环境相关的“对象”、以及有关的内容(其类别是选择的对象)来指定/选择任务建议95。用户还可指定偏好的位置和/或目的装置40，请求的/选择的任务建议将在目的装置40中被执行。
6、在步骤425中，标识执行任务所需的装置功能性(最好，该信息先前被计算并被存储为容易检索的事实，从而在该步骤中花费很少的时间)。
7、在步骤430中，任务协调模块50将拥有需要的功能性的装置40标识为解决方案。如果任务要求许多功能性，那么任务协调模块50标识能够共同执行/服务所述任务的一组装置40。
8、在步骤435中，在标识能够执行用户选择的任务建议的一组装置40之后，用户偏好130被应用于解决方案的集合并被赋予等级。
9、在步骤440中，解决方案的集合最后以解决方案的等级增加的次序作为输出75被显示给用户。用于家庭网络的示例性的分等级的情况是在家中客厅包括等离子体-TV、PC、扬声器和IPAQ。用户已这样设置偏好：当播放电影时，选择屏幕尺寸大于40英寸的装置，当播放音频时，偏好扬声器胜于IPAQ。对于任务请求“在客厅中播放电影“矩阵””，任务协调模块50标识能够执行请求的/选择的任务建议的以下装置的组合(解决方案)：PC&扬声器、PC & IPAQ以及等离子体-TV。根据以上的用户的偏好将所述解决方案分等级，并以：(1)等离子体-TV、(2)PC&扬声器、(3)PC & IPAQ显示给用户。
用户在所述解决方案之中选择最偏好的装置40的组合，并通过使用任务动作来例示任务，所述任务动作依次需要使用装置描述320(图5)中的装置基础380来实现任务的装置动作。如所提到的，一旦用户选择一组装置40来执行请求的任务时，任务协调模块50就在该任务所需的装置上调用适当的界面。
下面参照图7的流程图步骤来描述用户界面模块60的实施例的示例性的操作。用户可使用GUI模块按照下面作为示例所描述的四个步骤来递增地组成任务请求：
1、在步骤500中，所有有效的“动词”的列表被显示在GUI 60中。用户可从该列表中选择一个“动词”，然后点击“下一步”来继续到下一个步骤(即，步骤505)。在点击“下一步”之前的任何时候用户可以改变选择的“动词”。
2、在步骤505中，所有与选择的“动词”相关的“对象”的列表被显示在GUI 60中。用户可从该列表中选择一个“对象”，然后点击“下一步”来进行到下一个阶段(即，步骤510)。在点击“下一步”之前的任何时候用户可以改变选择的“对象”。用户还可点击“后退”或“重新开始”来回到前一个阶段(即，步骤500)并改变选择的“动词”。
3、在步骤510中，所有与选择的“对象”相关的“内容”的列表被显示。用户可从该列表选择一些“内容”，然后点击“下一步”来进行到下一个步骤(即，步骤515)。在点击“下一步”之前的任何时候用户可以改变选择的“内容”。用户还可点击“后退”来回到前一个步骤(即，步骤505)并改变选择的“对象”，或者可点击“重新开始”来回到步骤500并改变选择的“动词”。在以上步骤中的任何一个步骤的期间或者在步骤510的结束，用户可设置用于任务执行的期望的位置和/或执行全部任务或部分任务的目的装置。
4、在步骤515中，任务协调模块50在内部对以下内容进行推论：选择的“动词”、“对象”、“内容”、用户偏好(诸如位置、通过GUI设置的目的装置以及其他被指定为事实和规则的偏好)以及关于任务协调模块50在其知识库105中所拥有的现有装置和任务的事实。推论之后，任务协调模块50确定能够执行请求的任务的装置的所有可能组合(即，解决方案)。在任务协调模块50的内部获得的解决方案的集合被分等级，最后经GUI 60被显示给用户(例如，以等级递增的次序)。下面描述步骤515中的示例性的处理。任务协调模块50读入任务和装置描述，并将所述信息作为事实存储在知识库105中。推理引擎65解释所述任务和装置描述，并对没有在所述任务和装置描述中被直接指定而是以类和性质的形式被指定的新信息以及它们之中的关系进行推论。任务协调模块50可处理并操纵所述信息。
在一个示例中，任务协调模块50中包括的基本步骤包括：
1、读入任务和装置描述。
2、将语义应用到所述任务和装置描述上。
3、使用解析器来转换被载入到知识库105中的任务和装置描述。
4、应用如上所述的其他规则和询问。
如所提到的，本体110被构建为描述任务、装置和用户偏好的机制。通常，本体是概念化的规范；它是概念和关系的描述(像在程序的正式规范中)，所述概念和关系可为实体或者实体集合(例如，装置、用户等)而存在。在这个示例中，装置和任务基于它们的基本属性/性质和/或提供或需要的功能性来被描述。所述描述被使用标识语言来编码，基于所述描述可理解、处理并服务用户的任务请求。
此外，“功能性+内容类型”属性可被包括在本体110中。在这里的本体110的示例性的实现中，对于装置40所提供的每个功能性，还指定什么类型的数据(内容类型)被接受为输入、装置40可从什么源接受输入以及什么类型的数据被产生为输出(如果有的话)。这足以回答非常普通的以及没有指定内容类型的请求。然而，如果任务协调模块50将为装置40提供基于内容类型的查找，那么需要一种表示功能性的方法，所述功能性包括不是作为分离的属性的内容类型(例如，mp3render)。这可通过“功能性+内容类型”属性的包含来被实现，所述“功能性+内容类型”属性可被包括在本体110中。
此外，可利用用于表达用户偏好130的本体。在这里的示例性的实现中，偏好130可以与装置实例115和任务实例120被指定的方式类似的方式用标识语言来被表达。为了以标准的/通用的形式进行这样的描述并且为了更好地表达一组偏好的不同属性之间的关系，可利用本体，基于所述本体可以构建用户的偏好的实例。
也可实现理解偏好的机制。作为示例，任务协调模块50可理解诸如“当播放电影时，选择具有较大屏幕尺寸的装置”的偏好。最好是，任务协调模块50可理解“等离子TV总是比任何其它种类的TV好，即使该其它种类的TV具有最大的屏幕尺寸”。此外，可包括更普通的本体，所述更普通的本体可适用于各种装置，甚至那些在实现的时候还是未知的装置。
尽管这里的示例与消费电子和家庭网络有关，但是如本领域的技术人员所认识到的，本发明可被应用于诸如移动个人装置、桌面任务、复杂的企业系统等的其它装置和结构。此外，尽管在这个描述中已结合消费电子描述了任务协调系统的实施例，但是本领域的技术人员应该认识到，本发明在其它应用中也是有用的，在所述其它应用中一组已知的实体与任务交互并且需要一种用于那些实体的用户协调的简单方法(例如，指定装配机器人上的多种操作或配置的生产线)。此外，因为进行了逻辑的装置分离，所以没有理由说它们不能被组合为物理装置。尽管这里通过示例描述了单个控制器装置/协调模块，但是一组装置可参与控制器装置的动作或者参与确定装置的协调。
已参照本发明的某些优选的形式对本发明进行了相当详细的描述，然而，其他形式也是可能的。因此，权利要求的精神和范围不应该被限于这里包含的优选形式的描述。

Claims (32)

1、一种在任务协调系统中表示将由多个电子装置中的一个或多个执行的用户任务的方法，该方法包括以下步骤：
获得装置功能描述，其中，每个装置功能描述描述装置能够执行的功能；
获得任务描述，其中，每个任务描述描述特定任务所需要的装置功能性；
基于所述获得的任务描述和装置功能描述产生任务建议，其中，每个任务建议将用户任务表示为所述获得的装置功能描述和任务描述中的一个或多个的抽象；和
将任务建议显示在显示器上以供用户从中选择，其中，用户选择的任务建议将由所述装置中的一个或多个来执行。
2、根据权利要求1所述的方法，其中，使用被组织为一组术语的语言结构来表示任务建议，以将用户任务描述为所述获得的装置功能描述和任务描述的抽象。
3、根据权利要求2所述的方法，其中，在所述语言结构中，一个或多个术语彼此修饰。
4、根据权利要求3所述的方法，其中，修饰术语减小了另一术语的范围。
5、根据权利要求3所述的方法，其中，所述术语包括“动词”和“对象”，其中，“对象”修饰“动词”。
6、根据权利要求5所述的方法，其中，所述“动词”限定用户任务动作。
7、根据权利要求3所述的方法，其中，所述术语包括“动词”、“对象”和“修饰语”，其中，“对象”修饰“动词”，“修饰语”修饰“对象”。
8、根据权利要求3所述的方法，其中，所述显示任务建议的步骤还包括显示用于能够由可利用的装置执行的任务的任务建议的步骤。
9、根据权利要求3所述的方法，其中，所述显示任务建议的步骤还包括以下步骤：显示所述术语，并且在选择任务建议的步骤中，允许用户选择术语从而所述用户选择的任务建议能够由所述可利用的装置执行。
10、根据权利要求2所述的方法，其中，所述语言结构提供允许用户表达用户任务的标准化词汇。
11、根据权利要求1所述的方法，其中，所述任务建议对用户掩盖了装置功能。
12、一种用于相互连接的装置的网络的任务协调系统，包括：
任务驱动的控制器装置，获得描述装置能够执行的功能的装置功能描述，获得描述任务需要的装置功能性的任务描述，并基于所述获得的装置功能描述和任务描述产生任务建议，其中，每个任务建议将用户任务表示为所述获得的装置功能描述和任务描述中的一个或多个的抽象；和
用户界面装置，将任务建议显示在显示器上以供用户从中选择，其中，用户选择的任务建议将由可利用的装置中的一个或多个来执行。
13、根据权利要求12所述的系统，其中，使用被组织为一组术语的语言结构来表示任务建议，以将用户任务描述为所述获得的装置功能描述和任务描述的抽象。
14、根据权利要求13所述的系统，其中，在所述语言结构中，一个或多个术语彼此修饰。
15、根据权利要求14所述的系统，其中，修饰术语减小了另一术语的范围。
16、根据权利要求14所述的系统，其中，所述术语包括“动词”和“对象”，其中，“对象”修饰“动词”。
17、根据权利要求16所述的系统，其中，所述“动词”限定用户任务动作。
18、根据权利要求14所述的系统，其中，所述术语包括“动词”、“对象”和“修饰语”，其中，“对象”修饰“动词”，“修饰语”修饰“对象”。
19、根据权利要求14所述的系统，其中，所述用户界面装置显示能够由所述装置执行的任务建议。
20、根据权利要求14所述的系统，其中，所述用户界面装置显示表示任务建议的所述术语，并且在选择任务建议的步骤中，允许用户选择术语来修饰其他术语从而所述用户选择的任务建议能够由所述可利用的装置执行。
21、根据权利要求13所述的系统，其中，所述语言结构提供允许用户表达用户任务的标准化词汇。
22、根据权利要求12所述的系统，其中，所述任务建议对用户掩盖了装置功能描述和任务描述。
23、根据权利要求12所述的系统，其中，所述任务驱动的控制器装置还控制所述装置中的一个或多个以执行所述用户选择的任务建议。
24、根据权利要求23所述的系统，其中，所述任务驱动的控制器装置基于任务描述来控制所述装置中的一个或多个以执行所述选择的任务建议，所述任务描述使用在所述装置功能描述中描述的装置功能性。
25、根据权利要求12所述的系统，其中：
装置功能描述被构建为装置本体；
任务描述被构建为任务本体；和
所述控制器装置使用所述装置本体和任务本体来将所述用户选择的任务建议映射为能够由所述可利用的装置执行的任务。
26、根据权利要求12所述的系统，其中：
装置功能描述被构建为装置本体；
任务描述被构建为任务本体；
装置实例基于装置本体被构建；
任务实例基于任务本体被构建；和
所述控制器装置还使用所述装置和任务本体以及实例来将所述用户选择的任务建议映射为能够由所述可利用的装置执行的任务。
27、根据权利要求13所述的系统，其中，所述语言结构以接近匹配自然语言的形式被表示。
28、根据权利要求27所述的系统，其中，任务建议通过显示表示任务建议的所述术语而被显示，并且用户被允许选择术语从而所述用户选择的任务建议能够由所述可利用的装置来执行。
29、根据权利要求27所述的系统，其中，只有能够由所述装置执行的任务建议被显示。
30、根据权利要求28所述的系统，其中，选择的术语减小了所述任务建议的范围。
31、根据权利要求27所述的系统，其中，在所述语言结构中，一个或多个术语彼此修饰。
32、根据权利要求31所述的系统，其中，修饰术语减小了另一术语的范围。
CNA200510104950XA 2004-09-22 2005-09-22 呈现用于电子装置的控制的用户任务的方法及系统 Pending CN1855037A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US10/947,774 2004-09-22
US10/947,774 US8185427B2 (en) 2004-09-22 2004-09-22 Method and system for presenting user tasks for the control of electronic devices

Publications (1)

Publication Number Publication Date
CN1855037A true CN1855037A (zh) 2006-11-01

Family

ID=35285519

Family Applications (1)

Application Number Title Priority Date Filing Date
CNA200510104950XA Pending CN1855037A (zh) 2004-09-22 2005-09-22 呈现用于电子装置的控制的用户任务的方法及系统

Country Status (5)

Country Link
US (1) US8185427B2 (zh)
EP (1) EP1640839A1 (zh)
JP (1) JP2006092548A (zh)
KR (1) KR100739732B1 (zh)
CN (1) CN1855037A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102209272A (zh) * 2010-03-30 2011-10-05 索尼公司 电子装置和信息处理程序

Families Citing this family (66)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8185427B2 (en) 2004-09-22 2012-05-22 Samsung Electronics Co., Ltd. Method and system for presenting user tasks for the control of electronic devices
US8099313B2 (en) * 2004-09-22 2012-01-17 Samsung Electronics Co., Ltd. Method and system for the orchestration of tasks on consumer electronics
US8412554B2 (en) * 2004-09-24 2013-04-02 Samsung Electronics Co., Ltd. Method and system for describing consumer electronics using separate task and device descriptions
US8942985B2 (en) 2004-11-16 2015-01-27 Microsoft Corporation Centralized method and system for clarifying voice commands
US8510737B2 (en) * 2005-01-07 2013-08-13 Samsung Electronics Co., Ltd. Method and system for prioritizing tasks made available by devices in a network
US8069422B2 (en) * 2005-01-10 2011-11-29 Samsung Electronics, Co., Ltd. Contextual task recommendation system and method for determining user's context and suggesting tasks
US8205013B2 (en) * 2005-05-02 2012-06-19 Samsung Electronics Co., Ltd. Method and system for aggregating the control of middleware control points
US8677377B2 (en) 2005-09-08 2014-03-18 Apple Inc. Method and apparatus for building an intelligent automated assistant
EP1795983B1 (en) * 2005-12-07 2009-09-02 Sap Ag A method and a system for automatically organizing and achieving a pre-given task by means of robot functionalities
US7925975B2 (en) * 2006-03-10 2011-04-12 Microsoft Corporation Searching for commands to execute in applications
US8028283B2 (en) * 2006-03-20 2011-09-27 Samsung Electronics Co., Ltd. Method and system for automated invocation of device functionalities in a network
US20070233287A1 (en) * 2006-03-30 2007-10-04 Samsung Electronics Co., Ltd. Dynamic generation of tasks in resource constrained devices
US20070261055A1 (en) * 2006-05-04 2007-11-08 Samsung Electronics Co., Ltd. Method and system for the generic and flexible access of available tasks through a user interface
US20070279389A1 (en) * 2006-05-31 2007-12-06 Samsung Electronics Co., Ltd. Method of task-oriented universal remote control user interface
US9318108B2 (en) 2010-01-18 2016-04-19 Apple Inc. Intelligent automated assistant
KR101362224B1 (ko) * 2007-12-03 2014-02-13 연세대학교 산학협력단 태스크 기반 사용자 인터페이스 생성 장치 및 그 방법
US8996376B2 (en) 2008-04-05 2015-03-31 Apple Inc. Intelligent text-to-speech conversion
US10241644B2 (en) 2011-06-03 2019-03-26 Apple Inc. Actionable reminder entries
US10241752B2 (en) 2011-09-30 2019-03-26 Apple Inc. Interface for a virtual digital assistant
US8682667B2 (en) 2010-02-25 2014-03-25 Apple Inc. User profiling for selecting user specific voice input processing information
US20110320979A1 (en) * 2010-06-24 2011-12-29 Nokia Corporation Method and apparatus for creating a to-do item based on selection of a function to be performed by an application
US20120117456A1 (en) * 2010-11-05 2012-05-10 Nokia Corporation Method and apparatus for automated interfaces
US9298334B1 (en) * 2011-02-18 2016-03-29 Marvell International Ltd. Method and apparatus for providing a user interface having a guided task flow among a plurality of devices
US10505751B2 (en) * 2011-08-25 2019-12-10 Siemens Industry, Inc. Synergistic interface system for a building network
US9721563B2 (en) 2012-06-08 2017-08-01 Apple Inc. Name recognition system
US9547647B2 (en) 2012-09-19 2017-01-17 Apple Inc. Voice-based media searching
US10528385B2 (en) 2012-12-13 2020-01-07 Microsoft Technology Licensing, Llc Task completion through inter-application communication
US9313162B2 (en) 2012-12-13 2016-04-12 Microsoft Technology Licensing, Llc Task completion in email using third party app
WO2014197334A2 (en) 2013-06-07 2014-12-11 Apple Inc. System and method for user-specified pronunciation of words for speech synthesis and recognition
US9338493B2 (en) 2014-06-30 2016-05-10 Apple Inc. Intelligent automated assistant for TV user interactions
US9668121B2 (en) 2014-09-30 2017-05-30 Apple Inc. Social reminders
US10567477B2 (en) 2015-03-08 2020-02-18 Apple Inc. Virtual assistant continuity
US9578173B2 (en) 2015-06-05 2017-02-21 Apple Inc. Virtual assistant aided communication with 3rd party service in a communication session
US10747498B2 (en) 2015-09-08 2020-08-18 Apple Inc. Zero latency digital assistant
US10671428B2 (en) 2015-09-08 2020-06-02 Apple Inc. Distributed personal assistant
US11010550B2 (en) 2015-09-29 2021-05-18 Apple Inc. Unified language modeling framework for word prediction, auto-completion and auto-correction
US10366158B2 (en) 2015-09-29 2019-07-30 Apple Inc. Efficient word encoding for recurrent neural network language models
US11587559B2 (en) 2015-09-30 2023-02-21 Apple Inc. Intelligent device identification
US10691473B2 (en) 2015-11-06 2020-06-23 Apple Inc. Intelligent automated assistant in a messaging environment
US10049668B2 (en) 2015-12-02 2018-08-14 Apple Inc. Applying neural network language models to weighted finite state transducers for automatic speech recognition
US10223066B2 (en) 2015-12-23 2019-03-05 Apple Inc. Proactive assistance based on dialog communication between devices
US10446143B2 (en) 2016-03-14 2019-10-15 Apple Inc. Identification of voice inputs providing credentials
US10694137B2 (en) * 2016-05-10 2020-06-23 Rovi Guides, Inc. Systems and methods for resizing content based on a relative importance of the content
US9934775B2 (en) 2016-05-26 2018-04-03 Apple Inc. Unit-selection text-to-speech synthesis based on predicted concatenation parameters
US9972304B2 (en) 2016-06-03 2018-05-15 Apple Inc. Privacy preserving distributed evaluation framework for embedded personalized systems
US10249300B2 (en) 2016-06-06 2019-04-02 Apple Inc. Intelligent list reading
US10049663B2 (en) 2016-06-08 2018-08-14 Apple, Inc. Intelligent automated assistant for media exploration
DK179588B1 (en) 2016-06-09 2019-02-22 Apple Inc. INTELLIGENT AUTOMATED ASSISTANT IN A HOME ENVIRONMENT
US10067938B2 (en) 2016-06-10 2018-09-04 Apple Inc. Multilingual word prediction
US10490187B2 (en) 2016-06-10 2019-11-26 Apple Inc. Digital assistant providing automated status report
US10192552B2 (en) 2016-06-10 2019-01-29 Apple Inc. Digital assistant providing whispered speech
US10509862B2 (en) 2016-06-10 2019-12-17 Apple Inc. Dynamic phrase expansion of language input
US10586535B2 (en) 2016-06-10 2020-03-10 Apple Inc. Intelligent digital assistant in a multi-tasking environment
DK201670540A1 (en) 2016-06-11 2018-01-08 Apple Inc Application integration with a digital assistant
DK179415B1 (en) 2016-06-11 2018-06-14 Apple Inc Intelligent device arbitration and control
DK179049B1 (en) 2016-06-11 2017-09-18 Apple Inc Data driven natural language event detection and classification
DK179343B1 (en) 2016-06-11 2018-05-14 Apple Inc Intelligent task discovery
US10043516B2 (en) 2016-09-23 2018-08-07 Apple Inc. Intelligent automated assistant
US20180129994A1 (en) 2016-11-06 2018-05-10 Microsoft Technology Licensing, Llc Efficiency enhancements in task management applications
US10593346B2 (en) 2016-12-22 2020-03-17 Apple Inc. Rank-reduced token representation for automatic speech recognition
DK201770439A1 (en) 2017-05-11 2018-12-13 Apple Inc. Offline personal assistant
DK179745B1 (en) 2017-05-12 2019-05-01 Apple Inc. SYNCHRONIZATION AND TASK DELEGATION OF A DIGITAL ASSISTANT
DK179496B1 (en) 2017-05-12 2019-01-15 Apple Inc. USER-SPECIFIC Acoustic Models
DK201770432A1 (en) 2017-05-15 2018-12-21 Apple Inc. Hierarchical belief states for digital assistants
DK201770431A1 (en) 2017-05-15 2018-12-20 Apple Inc. Optimizing dialogue policy decisions for digital assistants using implicit feedback
DK179549B1 (en) 2017-05-16 2019-02-12 Apple Inc. FAR-FIELD EXTENSION FOR DIGITAL ASSISTANT SERVICES

Family Cites Families (66)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05197573A (ja) * 1991-08-26 1993-08-06 Hewlett Packard Co <Hp> タスク指向パラダイムによるタスク管理システム
US5410326A (en) * 1992-12-04 1995-04-25 Goldstein; Steven W. Programmable remote control device for interacting with a plurality of remotely controlled devices
JP3408850B2 (ja) * 1992-12-09 2003-05-19 三菱電機株式会社 クライアント・サーバシステムおよびその制御方法、並びにクライアント機装置
DE69432199T2 (de) 1993-05-24 2004-01-08 Sun Microsystems, Inc., Mountain View Graphische Benutzerschnittstelle mit Verfahren zur Schnittstellebildung mit fernsteuernden Einrichtungen
US5555376A (en) * 1993-12-03 1996-09-10 Xerox Corporation Method for granting a user request having locational and contextual attributes consistent with user policies for devices having locational attributes consistent with the user request
US5812865A (en) * 1993-12-03 1998-09-22 Xerox Corporation Specifying and establishing communication data paths between particular media devices in multiple media device computing systems based on context of a user or users
US5910799A (en) * 1996-04-09 1999-06-08 International Business Machines Corporation Location motion sensitive user interface
JP3857388B2 (ja) * 1997-06-27 2006-12-13 富士通株式会社 移動通信端末
US6421069B1 (en) 1997-07-31 2002-07-16 Sony Corporation Method and apparatus for including self-describing information within devices
US6563430B1 (en) * 1998-12-11 2003-05-13 Koninklijke Philips Electronics N.V. Remote control device with location dependent interface
WO2000028436A1 (en) 1998-11-10 2000-05-18 Koninklijke Philips Electronics N.V. Upgrading of synergetic aspects of home networks
KR20000033089A (ko) 1998-11-19 2000-06-15 윤종용 메뉴 기능 안내 방법
US7046263B1 (en) * 1998-12-18 2006-05-16 Tangis Corporation Requesting computer user's context data
US7225229B1 (en) * 1998-12-18 2007-05-29 Tangis Corporation Automated pushing of computer user's context data to clients
US6848104B1 (en) 1998-12-21 2005-01-25 Koninklijke Philips Electronics N.V. Clustering of task-associated objects for effecting tasks among a system and its environmental devices
EP1057302A1 (en) 1998-12-29 2000-12-06 Koninklijke Philips Electronics N.V. Home control system with distributed network devices
US6957075B1 (en) * 1999-02-01 2005-10-18 Intel Corporation Method and apparatus for providing a location based appliance personality
JP4258585B2 (ja) 1999-03-19 2009-04-30 株式会社エクォス・リサーチ 目的地設定装置
US6256019B1 (en) * 1999-03-30 2001-07-03 Eremote, Inc. Methods of using a controller for controlling multi-user access to the functionality of consumer devices
US6567840B1 (en) 1999-05-14 2003-05-20 Honeywell Inc. Task scheduling and message passing
US20010032132A1 (en) * 2000-01-28 2001-10-18 Dan Moran System for message delivery in interactive communication networks
AU2001247422A1 (en) 2000-03-14 2001-09-24 Edapta, Inc. A system and method for enabling dynamically adaptable user interfaces for electronic devices
US7076255B2 (en) * 2000-04-05 2006-07-11 Microsoft Corporation Context-aware and location-aware cellular phones and methods
JP4576675B2 (ja) 2000-06-30 2010-11-10 ソニー株式会社 制御システム、制御機器及びサーバ
WO2002009456A2 (en) * 2000-07-20 2002-01-31 Aeptec Microsystems, Inc. Method, system, and protocol for location-aware mobile devices
JP2002049556A (ja) 2000-08-02 2002-02-15 Sharp Corp 家庭内メディア配信システム
JP2002063033A (ja) 2000-08-21 2002-02-28 Toko Seiki Co Ltd オントロジを備えた知識管理システム
US6931630B1 (en) * 2000-09-27 2005-08-16 International Business Machines Corporation Method of, system for, and computer program product for providing automatic identification of a computer program code candidate for web deployment or a stored procedure
GB2386724A (en) * 2000-10-16 2003-09-24 Tangis Corp Dynamically determining appropriate computer interfaces
US7290039B1 (en) * 2001-02-27 2007-10-30 Microsoft Corporation Intent based processing
US20020138327A1 (en) * 2001-03-26 2002-09-26 Mello Celso Luis System for remotely managing elevator mechanic service routine
GB0111431D0 (en) 2001-05-11 2001-07-04 Koninkl Philips Electronics Nv A real-world representation system and language
US7206559B2 (en) * 2001-10-16 2007-04-17 Hewlett-Packard Development Company, L.P. System and method for a mobile computing device to control appliances
US6954737B2 (en) * 2001-11-05 2005-10-11 Johnsondiversey, Inc. Method and apparatus for work management for facility maintenance
JP4164280B2 (ja) * 2002-04-11 2008-10-15 キヤノン株式会社 周辺機器およびジョブ管理方法およびコンピュータが読み取り可能な記憶媒体およびプログラム
US7170422B2 (en) * 2002-06-24 2007-01-30 Matsushita Electric Industrial Co., Ltd. Personal programmable universal remote control
US7024256B2 (en) * 2002-06-27 2006-04-04 Openpeak Inc. Method, system, and computer program product for automatically managing components within a controlled environment
US6792323B2 (en) * 2002-06-27 2004-09-14 Openpeak Inc. Method, system, and computer program product for managing controlled residential or non-residential environments
WO2004019225A1 (ja) * 2002-08-26 2004-03-04 Fujitsu Limited 状況付情報を処理する装置および方法
CN1316351C (zh) 2002-09-30 2007-05-16 微软公司 操作用户界面元素的计算机系统和方法
US20040100505A1 (en) * 2002-11-21 2004-05-27 Cazier Robert Paul System for and method of prioritizing menu information
US8561069B2 (en) * 2002-12-19 2013-10-15 Fujitsu Limited Task computing
WO2004062227A2 (en) 2003-01-06 2004-07-22 Koninklijke Philips Electronics N.V. Multi-factor application selection
US8607280B2 (en) * 2003-01-08 2013-12-10 Intel Corporation Resource and capability borrowing
US20040176118A1 (en) * 2003-02-18 2004-09-09 Michael Strittmatter Service attribute based filtering system and method
JP2004266453A (ja) 2003-02-28 2004-09-24 Toshiba Corp ネットワークシステム、サーバ機器および通信方法
FR2852173B1 (fr) 2003-03-06 2005-05-27 France Telecom Systeme de creation d'ambiance et d'environnement de personnes a l'aide d'equipements electroniques multisensoriels
KR20040080663A (ko) 2003-03-12 2004-09-20 삼성전자주식회사 유비퀴터스 서비스 기능을 가지는 사설 네트워크 시스템및 그의 동작방법
US7064675B2 (en) * 2003-08-15 2006-06-20 Microsoft Corporation Context-sensitive remote controls
EP1526457B1 (en) * 2003-10-22 2013-03-13 Sony Deutschland GmbH Context-aware automatic service discovery and execution engine in mobile ad-hoc networks
KR100651729B1 (ko) 2003-11-14 2006-12-06 한국전자통신연구원 홈네트워크 환경에서의 멀티-모달 상황 인식어플리케이션을 위한 시스템 및 방법
US7526464B2 (en) * 2003-11-28 2009-04-28 Manyworlds, Inc. Adaptive fuzzy network system and method
US7496500B2 (en) 2004-03-01 2009-02-24 Microsoft Corporation Systems and methods that determine intent of data and respond to the data based on the intent
US7522549B2 (en) * 2004-04-16 2009-04-21 Broadcom Corporation Registering access device multimedia content via a broadband access gateway
EP1759289A4 (en) * 2004-04-28 2008-08-20 Fujitsu Ltd SEMANTIC TASK DATA PROCESSING
US20050267770A1 (en) * 2004-05-26 2005-12-01 International Business Machines Corporation Methods and apparatus for performing task management based on user context
US8099313B2 (en) * 2004-09-22 2012-01-17 Samsung Electronics Co., Ltd. Method and system for the orchestration of tasks on consumer electronics
US8185427B2 (en) 2004-09-22 2012-05-22 Samsung Electronics Co., Ltd. Method and system for presenting user tasks for the control of electronic devices
US8412554B2 (en) * 2004-09-24 2013-04-02 Samsung Electronics Co., Ltd. Method and system for describing consumer electronics using separate task and device descriptions
KR100622303B1 (ko) 2004-12-07 2006-09-19 한국전자통신연구원 디지털 홈 네트워크 시스템의 지능형 관리 장치 및 관리방법
US7613285B2 (en) * 2004-12-07 2009-11-03 Electronics And Telecommunications Research Institute System and method for service-oriented automatic remote control, remote server, and remote control agent
KR100682995B1 (ko) 2004-12-16 2007-02-15 한국전자통신연구원 유비쿼터스 기반의 상황 정보 제공 서비스 시스템 및 그방법
US8510737B2 (en) * 2005-01-07 2013-08-13 Samsung Electronics Co., Ltd. Method and system for prioritizing tasks made available by devices in a network
US8069422B2 (en) 2005-01-10 2011-11-29 Samsung Electronics, Co., Ltd. Contextual task recommendation system and method for determining user's context and suggesting tasks
US8972872B2 (en) 2006-03-27 2015-03-03 Fujitsu Limited Building computing applications based upon metadata
US20070233287A1 (en) 2006-03-30 2007-10-04 Samsung Electronics Co., Ltd. Dynamic generation of tasks in resource constrained devices

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102209272A (zh) * 2010-03-30 2011-10-05 索尼公司 电子装置和信息处理程序

Also Published As

Publication number Publication date
KR100739732B1 (ko) 2007-07-13
KR20060051104A (ko) 2006-05-19
JP2006092548A (ja) 2006-04-06
US20060064693A1 (en) 2006-03-23
US8185427B2 (en) 2012-05-22
EP1640839A1 (en) 2006-03-29

Similar Documents

Publication Publication Date Title
CN1855037A (zh) 呈现用于电子装置的控制的用户任务的方法及系统
CN100541427C (zh) 使用分离的任务和装置描述来描述消费电子装置的方法和系统
CN1855036B (zh) 用于消费电子产品上的任务协调的方法和系统
CN110737840B (zh) 语音控制方法及显示设备
WO2021103398A1 (zh) 一种智能电视以及服务器
CN109478189A (zh) 自然语言查询的近似模板匹配
CN1707478A (zh) 基于资源项目列表消费资源项目的策略
CN102227909A (zh) 管理可播放内容的存储器件
WO2022032916A1 (zh) 一种显示系统
CN1424668A (zh) 使用意思单元和相关问题的语言教学系统和方法
CN111526402A (zh) 多屏显示设备的语音搜索视频资源的方法及显示设备
CN111949782A (zh) 一种信息推荐方法和服务设备
CN112380420A (zh) 一种搜索方法及显示设备
US20140004486A1 (en) Devices, systems, and methods for enriching communications
CN106687957B (zh) 用于搜索查询构建的方法和装置
US8700802B2 (en) Method and system for providing advertising content suitable for multiple platforms
US11159629B2 (en) Method and apparatus for determining supplementary parameters of electronic content
CN111950288B (zh) 一种命名实体识别中的实体标注方法及智能设备
CN1820301A (zh) 用于建议连通性配置的方法及系统
KR20090058953A (ko) 디바이스 제어 방법 및 그 장치
CN118012431A (zh) 一种界面生成方法、装置、设备及介质
CN113076427A (zh) 一种媒资资源搜索方法、显示设备及服务器
CN117951257A (zh) 一种对话数据的处理方法和电子设备

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication