CN108475190B - 用于使用用户界面创作平台来创作任务的方法和系统 - Google Patents

用于使用用户界面创作平台来创作任务的方法和系统 Download PDF

Info

Publication number
CN108475190B
CN108475190B CN201780004859.1A CN201780004859A CN108475190B CN 108475190 B CN108475190 B CN 108475190B CN 201780004859 A CN201780004859 A CN 201780004859A CN 108475190 B CN108475190 B CN 108475190B
Authority
CN
China
Prior art keywords
receiving
task
parameter
user interface
dialog
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780004859.1A
Other languages
English (en)
Other versions
CN108475190A (zh
Inventor
M·A·马林
P·A·克鲁克
N·霍勒纳西普尔拉梅什
V·阿加瓦尔
O·齐亚可汗
A·罗切特
J-P·罗比乔德
R·萨里卡亚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Technology Licensing LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Technology Licensing LLC filed Critical Microsoft Technology Licensing LLC
Priority to CN202210280459.6A priority Critical patent/CN114647410A/zh
Publication of CN108475190A publication Critical patent/CN108475190A/zh
Application granted granted Critical
Publication of CN108475190B publication Critical patent/CN108475190B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847—Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00—Arrangements for software engineering
    • G06F8/30—Creation or generation of source code
    • G06F8/34—Graphical or visual programming
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/40—Processing or translation of natural language
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/451—Execution arrangements for user interfaces

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本文的各方面向第三方应用作者提供了用户界面创作平台，其自动化并简化任务定义过程，同时还提供利用预先存在的语言理解模型以及规范化和解析模块的能力，该语言理解模型以及规范化和解析模块由其上驻留有会话理解(CU)系统的操作系统提供、或者由其他第三方提供。具体地，本公开提供了一种使用用户界面创作平台来创作任务的方法和系统。

Description

用于使用用户界面创作平台来创作任务的方法和系统
技术领域
本申请的实施例总体上涉及用户界面平台，更具体地涉及用于使用用户界面创作平台来创作任务的系统和方法。
背景技术
会话理解系统允许用户与计算设备进行语音交互以执行用户感兴趣的一个或多个任务。通常，这种会话理解系统使用一个或多个语言理解模型以基于用户的语音或会话来收集各种信息以识别用户的意图，并且此后基于所识别的意图来执行任务。任务可以包括例如查询的执行、在用户的计算设备上托管的应用的执行、第三方服务的预订、或信息的显示。通常，第三方应用设计者负责设计他们自己的语言理解模型和多轮询对话处理，它们与其应用所驻留的主机的会话理解系统进行接口，以响应于用户的口头会话来调用它们的应用。已经就这些和其他一般考虑而言提出了各方面。此外，虽然已经讨论了相对具体的问题，但应当理解的是，这些方面不应局限于解决背景技术中确定的具体问题。
发明内容
概括而言，本公开内容涉及一种用户界面平台，其向第三方应用体验设计者提供根据参数来定义可执行任务以及选择或创作在口头对话系统中可用的对应语言理解模型的能力。具体地，本公开为第三方应用体验设计者提供了可以使用口头对话系统执行的作者任务的简化和半自动化方法。因此，本公开的各方面提供了一种工具，其为应用体验设计者提供定义任务并利用预先存在的语言理解模型以及规范化和解析模块的能力，以使用用户界面创作平台来进行任务理解和执行。
在一个方面中，本公开涉及一种用于使用用户界面创作平台来创作任务的方法，所述方法包括：在所述用户界面创作平台处接收任务的定义；在所述用户界面创作平台处接收对将触发所述任务的意图的选择；在所述用户界面创作平台处接收细化所述任务的执行的参数；以及在所述用户界面创作平台处接收用于执行所述任务的第三方应用的标识。
在另一方面中，本公开涉及一种系统，包括：至少一个处理单元；以及存储计算机可执行指令的至少一个存储器，所述计算机可执行指令在由所述至少一个处理单元执行时使得所述系统执行方法，所述方法包括：在用户界面创作平台处接收任务的定义；在所述用户界面创作平台处接收对将触发所述任务的意图的选择；在所述用户界面创作平台处接收细化所述任务的执行的参数；以及在所述用户界面创作平台处接收用于执行所述任务的第三方应用的标识。
在又一方面中，本公开涉及一种排除信号的计算机可读存储器存储设备，其存储指令集，所述指令集在被执行时执行用于使用用户界面创作平台来创作任务的方法，所述方法包括：在用户界面创作平台处接收任务的定义；在所述用户界面创作平台处接收对将触发所述任务的意图的选择；在所述用户界面创作平台处接收细化所述任务的执行的参数；以及在所述用户界面创作平台处接收用于执行所述任务的第三方应用的标识。
附图说明
图1图示了可用于使用用户界面平台来创作第三方体验的示例网络的示意框图。
图2图示了用于使用用户界面创作平台来指定任务的示例方法。
图3图示了用于定义任务的示例用户界面创作平台。
图4图示了用于识别将触发任务的一个或多个意图的示例用户界面创作平台。
图5图示了用于定义参数的用户界面创作平台的示例屏幕截图。
图6图示了用于识别解析器的示例用户界面创作平台。
图7图示了用于识别验证条件的示例用户界面创作平台。
图8图示了用于定义最终动作的示例用户界面创作平台。
图9图示了用于编辑对话行为的示例用户界面创作平台。
图10图示了可用于定义任务的示例性集成开发环境(IDE)的屏幕截图。
图11是图示了可以实践本公开的各方面的计算设备的示例物理组件的框图。
图12A和图12B是可以实践本公开的各方面的移动计算设备的简化框图。
图13是其中可以实践本公开的各方面的分布式计算系统的简化框图。
图14图示了用于执行本公开的一个或多个方面的平板计算设备。
具体实施方式
将参考附图详细描述各种实施例，其中贯穿各视图中，相同的附图标记表示相同的部件和组件。对各种实施例的引用并不限制所附权利要求的范围。此外，本说明书中阐述的任意示例并非旨在进行限制，而是仅为所附权利要求阐述了许多可能的实施例中的一些可能的实施例。
会话理解(“CU”)系统通过使用例如可能涉及一个或多个问题和回答轮询的口头对话系统与用户进行对话来辅助用户执行各种任务。会话理解系统可用于实现智能数字助理应用，诸如由Redmond，Washington的Microsoft提供的CORTANA数字助理应用。会话理解系统使用语言理解(“LU”)模型来识别口头词语并且标记对于特定任务重要或相关的词语。任务可以被定义为交易动作的执行或按照用户请求来提供信息。这种任务可以是例如因特网查询的性能、结果的显示、应用的执行、第三方服务的采购(procurement)等。任务可以根据参数来定义，其中参数是容器，其指定被收集的实体和这些实体在这个任务内的语义(semantic)意义。实体是知识或理解的表征，例如对“送货(delivery)”或“外带(take-out)”的偏好是一个实体。附加地，实体可以是对象、诸如特定地址或餐馆。预定出租车的任务可能需要诸如起始位置、接送时间、以及执行该任务之前的乘客数目等参数的满足。作为另一示例，使用电话应用进行呼叫的任务可能需要诸如呼叫所针对的企业或个人的名称、或者电话号码等参数的满足。作为又一示例，预订酒店的任务可能需要诸如城市名称、预订日期、以及特定酒店的标识等参数的满足。任务还可以包括可选参数。例如，在出租车示例中，可选参数可以是目的地位置的标识或者期望的汽车类型；并且在酒店示例中，可选参数可以是酒店的星级或与所选择的城市的特定区域的接近度。这些可选参数对于任务执行不是必需的，但可以辅助负责执行任务的应用来进一步细化所要执行的任务。
用户与使用一个或多个LU模型的CU系统之间的会话旨在从用户获得满足在那些必需参数(以及在一些方面中为可选参数)中必需的信息，以便于执行期望的任务。更进一步，CU系统维护与用户会话期间获得的信息的记录，因为它涉及执行任务必需(并且在一些方面中为可选的)的定义参数。此外，CU系统可以推断会话之外的信息，例如推断用户的位置或语言要求。在一些方面，CU系统可以向用户提供所获得的信息作为验证所获得的信息的准确度的方式。例如，CU系统可以向用户显示所获得的信息，或者可以口头地识别所获得的信息，从而向用户提供CU系统对任务执行和所获得的对应参数的理解的确认。在各方面中，CU系统可修改在用户会话期间获得的信息以解决语音识别或理解错误、语言理解错误、参数解析错误或按照用户所请求的错误。
附加地，CU系统可以经由语音或文本提示来要求用户提供任务执行所必需的进一步信息。例如，CU系统可以具有预定义或自动生成的提示，其从用户那里引发(elicit)进一步的信息或澄清以满足任务执行所必需的必要参数。
更进一步地，在会话期间，CU系统可以向用户提供匹配的或建议的有效选项，在该任务的执行之前从该选项中进行选择以用于满足参数。CU系统可以通过例如在设备的显示器上显示所收集的信息、或者通过例如大声朗读所收集的信息来向用户提供在会话期间获得的信息。CU系统可以进一步要求用户确认所提供的信息的准确度，作为任务执行之前的最后一步。此时，在会话中，用户可以例如确认或编辑信息或者完全取消执行任务。在一个示例中，用户可以通过语音或者诸如设备的键入、触摸或移动等手势来确认或编辑信息。基于从用户接收到的确认响应，CU系统可以执行所识别的任务。基于从用户接收到的编辑信息响应，CU系统可以重复会话或寻找所选择的、要编辑的信息。基于从用户接收到的取消响应，CU系统可以完全终止对话和任务执行过程。
本文公开的方面提供了一种用户界面创作平台，其自动化并简化任务定义过程，同时还提供利用预先存在的语言理解模型以及规范化和解析模块的能力，该语言理解模型以及规范化和解析模块由其上驻留有CU系统的操作系统或基于云的服务提供、或者由其他第三方提供。本文公开的系统和方法提供了可用于创建第三方应用与CU系统之间的接口的工具。虽然参考了第三方应用和第三方应用作者，但是本文提供的新颖方面可以扩展到任何应用或应用作者。此外，因为CU系统复杂且难以设计，所以本文公开的系统和方法为第三方应用提供了利用现有CU系统和模型的能力。因此，第三方应用作者可以使用用户界面创作平台来高效并更简单地定义任务，并利用预先存在的语言理解模型来识别那些已定义的任务。
图1图示了可用于使用用户界面平台来创作第三方体验的示例网络100的示意框图。网络100包括一个或多个第三方计算设备102、托管用户界面创作平台106的服务器104、以及存储尤其是语言理解模型以及规范化和解析模块等的数据库108。在该示例方面中，第三方计算设备102、服务器104和数据库108经由诸如因特网的数据通信网络110连接。
本文描述的各方面涉及提供用户界面创作平台106。用户界面创作平台106是用于自动化和简化任务创作过程的工具。在一些方面中，用户界面创作平台106在服务器上远程操作，其可通过一个或多个第三方客户端设备102经由数据通信网络110而访问。在其他方面中，用户界面创作平台106在一个或多个第三方客户端设备102上本地操作。
如将进一步在本文详细描述的，用户界面创作平台106是创作工具，该创作工具被设计用于向第三方应用作者提供指定任务的能力、以及选择或创作由CU系统可用于识别并执行该指定任务的一个或多个语言理解模型的能力。具体地，用户界面创作平台106引导第三方应用作者根据完成任务所必需的一个或多个必需参数、甚至可选参数来定义任务。用户界面创作平台106还提供作者指定验证条件的可选能力，该验证条件定义用于任务执行的一个或多个参数中必须存在的一个或多个有效条件。附加地，用户界面创作平台106允许第三方应用作者从数据库108中选择一个或多个语言理解(“LU”)模型，其从用户的语音或会话中提取识别适当的任务所需的信息以及识别对应的参数所需的信息。LU模型被用于注释或分析口头或文本输入，并可以涉及指定的域。例如，LU模型可以专用于识别与餐馆域中进行餐馆预订的任务有关的话语(例如，语音或文本输入)。这种LU模型可被用于识别词语或短语以确定与特定域有关的用户意图，并且还可被用于填充任务的参数。例如，特定的LU模型可以被用于进行餐馆预订的任务。这种LU模型可以被应用于口头短语“今晚6:30在Andy’s Mexican Restaurant是否有四个人的位置？”来识别进行餐馆预订的任务，并且识别为了执行该任务而所需的参数，诸如期望预订的特定餐馆[Andy’s MexicanRestaurant]、人数[四]、以及时间[下午6:30]。可以理解的是，单个任务可以创建多个意图，这将在本文中进一步详细描述。
用户界面创作平台106向第三方应用作者提供选择一个或多个预先存在的LU模型的能力。在LU模型尚未存在于数据库108中的情况下，用户界面创作平台106向第三方应用作者提供创建一个或多个新的LU模型的能力。用户界面创作平台106还允许第三方应用作者从数据库108中选择将用户输入转换为标准化格式的一个或多个规范化或解析模块。在规范化或解析模块尚未存在于数据库108中的情况下，用户界面创作平台108允许第三方应用作者创建这种模块。这些方面中的每一个方面将在本文中进一步详细描述。
客户端设备102可以是任何计算设备，诸如例如蜂窝电话、个人数字助理、膝上型计算机、桌面型计算机或平板计算机。如本文所描述的，客户端设备102托管智能数字助理应用。更进一步地，客户端设备102存储使用该智能数字助理应用而能够在其上执行的一个或多个应用。这样的应用可以指例如与设备一起提供的应用，诸如电话应用、因特网浏览器应用、电子邮件应用、天气应用、笔记应用、短信应用、日历应用、相机应用、地图应用等。其他第三方应用也可以被安装在客户端设备102上，诸如例如出租车预订应用、酒店预订应用、社交媒体应用、游戏应用等。因此，第三方应用作者可以使用用户界面创作平台106来创建执行在客户端设备102上安装的特定第三方应用的一个或多个任务。
图2图示了用于使用用户界面创作平台106来指定任务的示例方法200。如本文所述，用户界面创作平台106允许第三方应用设计者指定任务和对应参数，以及选择用于分析和提取语音以确定与定义任务有关的用户意图的合适的LU模型。任务的指定包括识别每个参数的值是由用户提供的还是由CU系统推断的，在需要附加输入的情况下指定如何从用户请求信息，识别所标记的输入是否足以包括满足一个或多个定义参数的信息，以及将标记的用户输入作为用户输入与已经收集的其他参数进行组合以便规范化并解析表示该特定参数的实体。在出租车预约任务示例中，解析器可以将表示用户位置的先前收集的参数与表示用户期望的出租车类型的标记用户输入一起进行组合，以确定用户请求的出租车的类型是否可用。如果这种出租车类型可用，则解析器可以提供产品标识。备选地，如果这种出租车类型不可用，则解析器可以提供错误消息，该错误消息指示所请求的特定类型的出租车在该位置不可用。在另一示例中，诸如电话呼叫体验，系统可以一起使用先前收集的、指示待呼叫联系人的参数以及表示电话号码类型(例如，工作、家庭或移动)的标记用户输入，以便于识别要拨打的实际电话号码。
应当理解，用户界面创作平台106可以被用于指导作者创建任务、选择LU模型、意图、参数、解析器、验证条件等。用户界面创作平台106可以响应于由作者提供的选择或者响应于鉴于任务的对作者的目标的理解，通过向作者提供建议而在整个创作过程中指导作者。例如，作者可以输入查询，并且用户界面创作平台106可以作为响应而提供对可能的意图、槽标签(slot tags)、参数、解析器、验证条件等的建议。
此外，虽然本文提供的说明和示例描述了使用平台106的特定实现，但本公开的新颖方面也可以使用集成开发环境(IDE)来实现，诸如例如使用由Redmond,Washington的Microsoft提供的Visual Studio。这种使用IDE的实现允许作者使用不基于网络门户的文本类开发者工具来提供任务指定。这样的IDE还可以为任务定义文件的发现、自动完成、建议和语法校正提供支持。参考图10示出和描述示例IDE。
在任务定义操作202中，用户界面创作平台106提示第三方应用作者(以下称为“作者”)定义任务。具体而言，定义任务可涉及识别任务名称和相关联的描述中的一个或多个。在一个示例中，用户界面创作平台106可以呈现提示作者识别特定应用所执行任务的名称的对话框。例如，对于出租车服务应用，任务可以被标识为“BookTaxi”。在其他示例中，任务可以被定义为针对运动应用的“FindScores”。任务定义操作202还可以提示作者添加要由CU系统执行的任务的描述。在上面的示例中，“BookTaxi”任务名称可以与诸如例如“使用Cortana能够实现预订出租车的任务”的描述相关联。在任务定义操作202中，用户界面创作平台106还提示作者选择与该任务关联的至少一个LU域或类别。语言理解模型可以由其相关域来组织。因此，LU域的选择从被存储在数据库108中的多个可能的相关LU模型中过滤掉能够由作者选择的相关LU模型。在“BookTaxi”示例中，所选择的域可以是“出租车(taxi)”或“交通工具(transportation)”，并且对于“FindScores”示例，所选择的域可以是“运动(sports)”。因此，域的标识可以缩小作者对能够选择的LU模型的选择。这些域可以从一个或多个可用域中选择并被保存在数据库108中。应当理解，任务可以具有与之相关联的一个或多个LU模型。因此，作者可以选择多于一个的LU模型。每个LU模型可以彼此独立。例如，在BookTaxi任务示例中，一个选择的LU模型可以是交通工具LU模型，另一选择的LU模型可以是时间和日期LU模型。参考图3进一步图示并描述了任务定义操作202的示例。
在选择触发域操作204中，作者可以从数据库108中选择与所识别的任务相关联的一个或多个附加的触发域。通常，触发域被认为是触发意图的集合，触发意图包括用于标记执行任务所需信息的槽标签。在一个示例中，“警报(alarm)”触发域可以包括能够采取的各种动作的触发意图，动作例如诸如为“添加警报(add_alarm)”、“修改警报(modify_alarm)”、“查询警报(query_alarm)”和“删除警报(delete_alarm)”，其中要满足那些触发意图的对应的槽标签可以是例如“alarm_name”、“alarm_time”等。因此，可以理解的是，在操作202中，所选择的LU域与一个或多个触发意图和对应的槽标签相关联。如果在操作202中所选择的域不包括执行任务所需的全部意图，则作者在操作204中可以选择一个或多个附加触发器域，其包括用于任务执行的一个或多个附加触发器意图。因此，用户界面创作平台106可以提示作者选择被用于触发任务执行的另一触发域。基于所选择的触发域和相关联的LU模型，用户界面创作平台106可以提示作者选择与所选择的触发域相关联的、填充后(populated)的触发意图中的一个。在出租车预定示例中，可以选择诸如“餐馆(restaurant)”的附加域，并且用户界面创作平台106可以填充与所选择的餐馆域相关联的一个或多个意图，尤其是包括“添加小费(add_tip)”意图等意图以及诸如“tip_amount”的对应槽标签。因此，作者可以使用一个或多个预先存在的域来创作任务。附加地或备选地，作者可以使用用户界面创作平台106创建新的意图并且构建特定于新创建意图的LU模型。因此，作者可以完全地创建新域或扩充(augment)所选择的域。
每个选择的意图可以与一个或多个LU模型相关联，该一个或多个LU模型包括与执行任务相关联的常用短语或词语。继续出租车的示例，LU模型可以基于意图被预先选择，或者作者可以选择对应的LU模型。在一个示例中，对于“预定出租车(book_taxi)”意图，作者可以使用与之关联的LU模型，或者作者可以选择另一LU模型，诸如例如Book Taxi LU模型。Book Taxi LU模型可以特别涉及识别与预定出租车的意图相关联的言语(包括词语和短语)。备选地，如果期望的LU模型不可用，则作者可以创建与特定任务相对应的新的LU模型。可以理解，可以选择多于一个意图和多于一个模型来触发任务。
备选地或附加地，作者可以使用用户界面创作平台106来对触发所定义任务的某些查询或短语加入白名单或进行硬编码。因此，如果CU系统接收到精确的口头查询，则任务将被触发并且所选择的LU模型可以被用于辅助CU系统执行任务。参考图4进一步图示并描述了选择域触发操作204的示例。
在LU模型覆盖判定206中，用户界面创作平台106可以询问作者，存储在数据库108中的(一个或多个)现有LU模型是否足以触发任务的执行。如果存储的LU模型不足以触发任务的执行，则流程前进到操作208，其中作者可以添加之前未存储在数据库108中的一个或多个LU模型。在一些示例中，作者可以创建这样的LU模型以触发执行定义的任务。在一些示例中，作者也可以将创建的模型保存在数据库108中。
备选地，如果在LU模型覆盖判定206处确定所存储的LU模型足以触发所定义任务的执行，则流程前进到定义参数操作210。参考图5进一步图示并描述定义参数操作210。在定义参数操作210中，参数被识别和定义。如本文所述，可以通过在任务执行之前满足的一个或多个参数来描述任务。参数指定任务以及在该任务执行之前CU系统需要收集的信息片段。参数涉及在操作202中定义的任务并为在操作202中定义的任务提供信息。参数可以对应于在任务可被执行之前必须由CU系统收集或处理的信息。例如，参数可以与诸如“BookTaxi”任务的开始位置的信息相对应。参数可以被分组成必需参数或可选参数，其中必需参数是必须为要执行的任务收集的信息片段，可选参数是进一步细化任务但不是任务执行必需的、或者其默认值或推断值足以执行任务的参数。附加地，参数是可选的还是必需的可以根据在运行时评估的其他参数值的状态或值的表达式来表达。每个参数的值由CU系统收集或由系统推断。例如，如果参数需要人员的位置，则该人员可以提供该信息或者CU系统可以使用该设备的GPS系统来确定该人员的位置。备选地或附加地，如果时间是参数，则人员可以将时间提供给CU系统或者系统可以推断出在没有时间被指定的情况下使用当前时间或某个其他时间。
在定义参数操作210中，对于每个参数，用户界面创作平台106可以填充参数的名称、参数类型以及与特定参数相关联的一个或多个槽标签(例如，针对“BookTaxi”任务，槽标签可以是例如“origin_location”和“end_location”)。在一个示例实现中，作者可以被要求提供或选择参数的名称、参数的描述、参数类型、一个或多个参数槽标签、用于该参数的适当的解析器、指示该参数是否是唯一值的选择、以及指示该参数是否需要用户确认的选择。附加地，可以使用一个或多个对话行为来定义系统如何获得每个参数的信息。在一些实施例中，对话行为可以被定义为被显示或以其他方式提供给用户的提示，并且在其他实施例中，对话行为被不同地定义。如参照图9所示，对话行为因此可以被定义为提示和/或用户体验/用户界面。重新参考图2，在定义参数操作中，信息收集对话行为可以是，例如，缺失值对话行为、消歧对话行为、无结果对话行为、建议对话行为、用于提示用户从可能值的小列表中进行选择的选择对话行为、以及提示用户确认参数的值的确认对话行为。该一个或多个对话行为可以被用于定义用于从用户获得与每个参数有关的这种信息的用户界面实现。具体地，作者可以定义能够被提供给用户、以用于简单地向用户显示信息或获得用于任务执行的信息的一个或多个用户界面。在“BookTaxi”任务示例中，响应于接收到与“目的地位置(destination_location)”参数有关的信息，可以使用对话行为来定义可以在用户设备上显示的、示出了接送位置的地图用户界面。更进一步，在“BookTaxi”任务示例中，响应于接收到无法由系统找到或确定的接送位置，可以使用另一对话行为来定义用户设备上的交互式地图或者附近或可能位置的可选择的列表。参考图9示出并描述了图示作者如何编辑对话行为的示例用户界面。
重新参考定义参数操作210，参数描述可以是提供关于参数的更多细节的文本串。例如，在出租车示例中，对于参数名称“end_location”，相关联的描述可以是“行程的目的地位置(The destination location of the trip)”。
参数类型可以对参数进行分类。例如，“end_location”参数的参数类型可以是类型“地点(Place)”。类型可以是由CU系统理解的预定义类型。因此，通过将类型设置为“地点”，CU系统可以理解end_location参数对应于纬度/经度坐标。可以理解，参数类型可以由作者定义或从参数类型列表中选择。
一个或多个槽标签被用作输入来解析参数。在该示例中，可以选择槽标签“绝对位置(absolute_location)”、“地点类型(place_type)”和“地点名称(place_name)”，其中的每一个与在用户输入话语中标记的特定类型的位置信息相对应。例如，“One MicrosoftWay”可以被标记为“absolute_location”，而“the Space Needle”可以被标记为“place_name”。总而言之，与“absolute_location”、“place_type”和“place_name”的实例相对应的槽的值的集合将被用于把用户输入解析为一个或多个地点实体，这将形成参数end_location的可能值。
针对每个参数的所选择的解析器可以被用于通知CU系统如何解析或理解检测到的关键字。在这个示例中，可以选择“PlaceResolver”，其通知系统所提供的参数与纬度和经度坐标相关联。在“BookTaxi”任务示例中，对于汽车偏好参数，CU系统从自然语言查询中提取用户的汽车偏好。根据所提供的解析器，CU系统将汽车偏好确定或解析为汽车标识。在一些示例中，可以理解，解析器可以由体验作者进行创作。
缺失值对话行为可以由作者定义，在参数值不是从查询中获得的情况下，缺失值指示CU系统从用户请求该参数值。例如，缺失值对话框动作可以是提示串，诸如用于“end_location”参数的“您想去哪里？(Where would you like to go？)”。对话行为还可以被用于指定相关联的用户体验，诸如在设备的显示器上显示提示串、或口头地向用户提供提示。作者也可以使用对话行为来选择或定义要向用户显示并用于获取这样的参数信息的用户界面。在“end_location”参数示例中，作者可以选择地图用户界面来显示可选择的地图，该地图允许用户仅仅选择目的地位置而不是口头提供或键入目的地位置。在另一示例中，诸如在具有“预订时间(reservation_time)”参数的“BookRestaurant”任务中，作者可以选择用户界面来显示用户可以从中选择作为预订时间的适当时间的可选择的列表。
消歧对话行为可以由作者定义，其指示CU系统来请求用户验证参数的特定值，以便解决由于CU系统获得的参数的多个潜在值而可能出现的歧义。例如，响应于从自然语言查询中提取到两个不同的位置，CU系统可以显示获得的值的列表以及诸如“请选择您的目的地位置(Please select your destination location)”的提示。在其他示例中，CU系统可能仅仅提示用户重新陈述目的地位置而不提供选择。作者还可以响应于接收到冲突的信息片段来定义被显示或以其他方式被提供给用户的用户界面对话行为。在一个示例中，作者可以定义这样的对话行为，其在用户的设备上显示冲突的信息片段的列表并且请求用户选择正确的信息、或者在显示的信息都不适合的情况下向用户请求手动或口头地提供信息。
无结果对话行为可以由作者定义，其指令CU系统指示没有结果被返回。例如，使用用户界面创作平台106，作者可以使用对话行为来选择或定义指示没有结果被返回的用户界面。
建议对话行为可以由作者定义，其指令CU系统响应于无结果返回而向用户提供一个或多个建议。例如，作者可以使用对话行为来定义诸如“请选择位置(Please select alocation)”的提示、以及包括建议位置列表或显示建议位置的地图的关联用户界面。
在识别解析器操作212中，对于每一个参数，用户界面创作平台106具体识别在识别参数操作210中选择的解析器。例如，识别解析器操作212可以包括识别所选择的解析器驻留的库的名称和相对路径以及解析器库内函数名称的标识。
作者还可以定义在参数不能被解析的情况下向用户提供失败提示的失败对话行为。在一个示例中，对于基于位置的参数，作者可以定义提供了引述“我很抱歉，我现在无法解析位置(I’m sorry,I cannot resolve the location right now)”的文本字符串的对话行为。参照图6进一步图示和描述了识别解析器操作212。
在识别验证条件操作214中，用户界面创作平台106允许作者定义在任务完成之前必须满足的条件以及在这些条件中的一个或多个被违反的情况下系统应当做什么。在一个示例中，当预订出租车时，验证条件将确保仅使用地面交通工具就可以到达开始和结束位置。在另一示例中，对于电子邮件发送任务，验证条件将确保在发送电子邮件之前该电子邮件的主题和正文不是空的。参照图7进一步图示识别验证条件操作214。
在最终任务识别操作216中，可以定义最终动作或任务。在一个示例中，最终任务识别操作216可以提示作者提供用于最终动作的名称以及需要为任务执行提供的每个必需和可选输入参数的列表。最终任务识别操作216可以进一步提示用户提供与最终动作相关联的解析器。最终动作解析器负责提供要向用户显示的最终信息片段、或者代表用户执行操作。例如，在出租车示例中，最终动作解析器负责基于所接收的信息为出租车下订单。在一个示例中，最终动作解析器还可以包括返回可以向用户显示的确认码。在最终任务识别操作216中，作者可以定义确认对话行为，其提示用户在任务执行之前确认该任务执行。在出租车示例中，作者可以定义包括诸如“您是否希望我现在预订这次行程？(Would youlike me to book this trip now？)”的提示的确认对话行为。备选地，在最终任务识别操作216中，作者可以定义确认失败对话行为，其提示用户确认任务的未执行。基于用户与系统的交互或者基于预定时间段的消逝，任务可能不被执行。在出租车示例中，诸如“我将不会预订这次旅行。您想改变什么？(I will not book this trip.What would you like tochange？)”的确认失败对话行为可以被定义并提供给用户。在最终任务识别操作216中，作者可以定义完成对话行为，该完成对话行为指定在执行任务的情况下要显示或以其他方式提供给用户的完成提示。在出租车示例中，诸如“您已预订出租车。您的预订ID是<ID>(Yourtaxi has been booked.Your booking ID is<ID>)”的完成提示可以被提供给用户。
因此，方法200向第三方应用作者提供了定义可以使用设备的CU系统执行的一个或多个任务的能力，以及创作一个或多个对话行为的能力。在定义任务时，方法200允许第三方应用作者利用第三方LU模型来从自然语言查询中提取关键字、以满足与任务相关联的必需和可选参数，以及利用由CU系统所使用的一个或多个第三方解析器来理解检测到的关键字以便于完成任务。
图3图示了用于定义如参照图2的任务定义操作202所描述的任务的用户界面创作平台的示例屏幕截图300。如示例屏幕截图300所示，用户界面创作平台106包括用于提供任务名称的文本框302以及用于提供任务描述的文本框304。用户界面创作平台106还提供下拉菜单306，其具有作者可以从中选择的LU模型的列表。在其他实施例中，LU模型可以由用户提供，而不是由用户选择。
图4图示了用于如参照图2的选择触发域操作204所描述的选择一个或多个触发域并标识一个或多个相关意图的示例用户界面创作平台。如示例屏幕截图400所示，在一个示例中，如果需要附加的域和意图，则用户界面创作平台106包括选择用于触发特定任务的附加域的下拉菜单402。基于菜单402中所选择的附加域，可以在作者能够从中选择的意图下拉菜单404中自动地填充一个或多个对应意图。如本文所述，所选择的意图将是被用于触发任务执行的模型的基础。示例屏幕截图400还包括选择框406，选择框406识别作者是想要白名单还是硬编码触发查询。如果已被选中，则选择框406将为体验作者揭示附加输入文本框以提供触发查询的列表(未示出)。
图5图示了用于定义如参考图2的定义参数操作210所描述的参数的用户界面创作平台106的示例屏幕截图。如示例屏幕截图500所示，用户界面创作平台106可以包括菜单502，该菜单502识别参数的名称以及用于识别参数的描述的菜单504。应当理解，菜单502和504可以基于所选择的与该参数相关联的用户意图而被预先填充。用户界面创作平台106还可以包括菜单506，菜单506用于识别用于分类参数的类型。应当理解，菜单506可以是作者能够从中选择适当的参数类型的下拉菜单。此外，用户界面创作平台106可以包括提供或选择映射到特定参数的一个或多个槽标签的菜单508。用户界面创作平台106可以包括用于为所选择的参数提供或选择解析器的菜单510。
用户界面创作平台106还可以包括用于定义对话行为的菜单512，该对话行为指示CU系统在没有从查询中获得参数值(例如，缺失值对话行为)的情况下从用户请求参数值。在一些实施例中，菜单512是包括作者可以从中选择的一个或多个提示串的下拉菜单。在其他实施例中，作者可以提供该提示串。而在另外的实施例中，提供了其他对话行为、诸如对应的用户体验/界面。该选择也可以被显示给作者，从而允许作者从菜单512中查看每个选择的提示。
另外，用户界面创作平台106可以包括菜单514，菜单514用于定义这样的对话行为，该对话行为指令CU系统请求用户验证参数的特定值以便解决由于CU系统获得了参数的多个潜在值而可能出现的歧义(例如，消歧对话行为)。在一些实施例中，类似于菜单512，菜单514可以是包括作者能够从中选择的一个或多个消歧提示或作者可以提供提示以及对应的用户体验/界面的下拉菜单。该选择也可以向作者显示。
用户界面创作平台106还可以包括指示参数是否是唯一值的选择框516以及指示参数是否需要用户确认的选择框518。
应当理解，图5仅仅是示例性的，并且各个菜单502-514可以各自是作者能够从中选择的可能对话行为的下拉菜单。还可以有相关联的选择按钮、诸如“添加”按钮，从而允许作者从菜单502-514之一添加所选择的对话行为。在这样的示例中，一旦添加了所选择的对话行为，则该对话行为可以被显示在显示器中，从而允许作者查看每个选择的对话行为。如本文参考定义参数操作210所描述的，还可以存在允许作者定义一个或多个相关联用户界面的附加功能。因此应当理解，图5仅是示例性的，并不旨在将本公开限制为所图示的配置。
图6图示了如参考图2的识别解析器操作212所描述的用于识别解析器的用户界面创作平台的示例屏幕截图。如示例屏幕截图600所示，用户界面创作平台106包括用于提供或选择一个或多个解析器的菜单602以及用于提供选择的解析器所驻留的库的目录路径的菜单604。用户界面创作平台106还可以包括用于在所识别的解析器库内提供特定功能名称或类别名称的菜单606。更进一步地，用户界面创作平台106可以包括用于定义对话行为的菜单608，该对话行为可以是例如指示参数是否无法被解析的解析失败提示对话行为。在一些实施例中，菜单608是包括作者可以从中选择一个或多个失败提示串的下拉菜单。在另一示例中，故障提示串一旦被选择则可以被显示给作者，从而允许作者从菜单608和对应的用户体验/界面查看每个选择的故障提示串。
应当理解，图6仅仅是示例性的，并且各个菜单602-608均可以是作者能够从中选择可能对话行为的下拉菜单。还可以有相关联的选择按钮、诸如“添加”按钮，从而允许作者从菜单602-608之一添加所选择的对话行为。在这样的示例中，一旦所选择的对话行为被添加，该对话行为就可以被示出在显示器中，从而允许作者查看每个选择的对话行为。如本文中参照识别解析器操作212所描述的，还可以存在允许作者定义一个或多个关联的用户界面的附加功能。因此应当理解，图6仅是示例性的，并不旨在将本公开限制为所示的配置。
图7图示了如参考图2的识别验证条件操作214所描述的用于识别验证条件的用户界面创作平台106的示例屏幕截图700。如本文所述，用户界面创作平台106还提供了用于指定验证条件的能力，该验证条件定义在用于任务执行的一个或多个参数中必须存在的一个或多个有效条件。如示例屏幕截图700所示，用户界面创作平台106包括用于指定条件名称的菜单702和用于提供所选择的验证条件所驻留的库的目录路径的对应菜单704。用户界面创作平台107还可以包括用于在所识别的验证条件库内提供特定功能名称或类别名称的菜单706。在一个示例中，一旦提供了用于提供特定名称的菜单706中的值，则可以出现下拉框708和文本框710。例如，下拉菜单708可以包含为了完全实现该功能而需要提供的附加的功能规格参数。从菜单708中选择每个参数可以在文本框710中产生对应于该参数的值，从而允许作者编辑或以其他方式修改该值、或者在未提供的情况下提供新的值。附加地，菜单712可以列出如图5中所指定的任务的所有参数。作者可以从下拉菜单712中选择任务的一个或多个参数以用作验证功能的输入参数。
图8图示了如参照图2的最终任务识别操作216描述的用于定义最终动作的用户界面创作平台的示例屏幕截图。如示例屏幕截图800所示，用户界面创作平台106包括用于提供最终动作的名称的文本框802以及用于提供针对任务执行的所需和可选输入参数的列表的文本框804。用户界面创作平台106可以进一步包括用于提供与最终动作相关联的解析器的文本框806。用户界面创作平台106可以进一步包括用于定义在任务执行之前要向用户提供的确认对话行为的菜单808。用户界面创作平台106可以进一步包括用于定义在任务未被执行的事件中的确认失败对话行为的菜单810。用户界面创作平台106可以进一步包括用于定义完成对话行为的菜单812。
图9图示了用于编辑对话行为的示例用户界面创作平台106。如图所示，对话行为编辑器900包括用于输入提示串的文本框902。提示串表示向用户显示或说出的提示。该提示串可以被手动键入到文本框902中，或者备选地或附加地，可以从提示列表中选择。例如，这些提示可以从被保存在数据库108中的提示列表中选择。
对话行为编辑器900还包括用于选择用户体验或用户界面的用户界面菜单904。如该示例所示，用户界面菜单904是允许作者从先前创建的模板中选择用户界面或体验的下拉菜单。基于所选择的模板，参数906可以被填充。因此，作者可以选择填充参数906中的任何一个。
对话行为编辑器900进一步向作者提供还识别提示暗示(prompt hints)908的能力。提示暗示908是可以基于参数而向用户提供的、请求附加信息的建议。
对话行为编辑器900还为作者提供识别语言理解模型约束910的能力。在该示例中，语言理解模型约束910定义哪些参数是必需的以及哪些参数是可选的。在一个示例中，对于出租车预订示例，将需要接送位置，其在对话行为编辑器900中被识别为“硬约束(hardconstraint)”，而诸如目的地位置的其他参数可以是可选的。
图10图示了可用于定义任务的示例性集成开发环境(IDE)的屏幕截图1000。IDE是作者可以定义并编辑任务的示例实施例，其中IDE还包括用于辅助作者的自动完成特征。示例集成开发环境是软件应用，它为作者提供了使用诸如文本编辑器或其他源代码编辑器的一类编辑器、以及构建任务的构建工具、以及用于调试作者代码中错误的调试器来定义任务的能力。这种IDE可以是例如由Redmond,Washington的Microsoft提供的Visual Studio。示例IDE允许作者使用不基于网络门户的文本类开发者工具来提供任务指定。这样的IDE还可以为任务定义文件的发现、自动完成、建议和语法校正提供支持。IDE可以协助作者在开发环境中构建任务模型。在该环境中，模型可以以软件代码来构建，并且在一些实施例中，模型可以是诸如XML的结构化文档。
应当理解，图3-图10是示例用户界面创作平台的代表，并且其他配置也是可能的。还应当理解的是，在一些示例中图示了文本框，但是应当理解，可以从数据库108中选择经由用户界面创作平台提供的一些信息。
图11是图示了可以实践本公开的各方面的计算设备1100的物理组件(例如，硬件)的框图。下面描述的计算设备组件可以具有用于在计算设备上实现用户界面创作平台1120的计算机可执行指令，该计算设备包括用于用户界面创作平台1120的计算机可执行指令，其可以被执行以采用本文公开的方法。在基本配置中，计算设备1100可以包括至少一个处理单元1102和系统存储器1104。取决于计算设备的配置和类型，系统存储器1104可以包括但不限于易失性存储器(例如，随机存取存储器)、非易失性存储器(例如，只读存储器)、闪存或这些存储器的任意组合。系统存储器1104可以包括适合于运行用户界面创作平台1120或关于图1的一个或多个组件的操作系统1105。操作系统1105可以例如适合于控制计算设备1100的操作。此外，本公开的实施例可以结合图形库、其他操作系统、或任何其他应用程序来实践，并且不限于任何的特定应用或系统。该基本配置在图11中由虚线1108内的那些组件所图示。计算设备1100可以具有附加特征或功能。例如，计算设备1100还可以包括附加的数据存储设备(可移除的和/或不可移除的)，诸如例如磁盘、光盘或磁带。这种附加的存储在图11中由可移动存储设备1109和不可移动存储设备1110来图示。
如上所述，多个程序模块和数据文件可以被存储在系统存储器1104中。当在处理单元1102上执行时，程序模块1106(例如，用户界面创作平台1120)可以执行过程，其包括但不限于如本文所述的各方面。其他程序模块可以根据本公开的各方面使用，并且尤其是用于提供用户界面创作平台。
此外，本公开的实施例可以在包括分立电子元件的电气电路中、包含逻辑门的封装或集成电子芯片中、利用微处理器的电路中实践，或者在包含电子元件或微处理器的单个芯片上实践。例如，本公开的实施例可以经由片上系统(SOC)来实践，其中图11中所图示的每个或多个组件可以被集成到单个集成电路上。这样的SOC器件可以包括一个或多个处理单元、图形单元、通信单元、系统虚拟化单元和各种应用功能，所有这些都作为单个集成电路被集成(或“烧”)到芯片衬底上。当经由SOC进行操作时，本文描述的关于客户端切换协议能力的功能可以经由与单个集成电路(芯片)上的计算设备1100的其他组件集成的应用特定的逻辑来操作。本公开的实施例还可以使用能够执行诸如例如AND、OR和NOT等逻辑操作的其他技术来实践，包括但不限于机械、光学、流体和量子技术。附加地，本公开的实施例可以在通用计算机内或在任何其他电路或系统中实践。
计算设备1100还可以具有诸如键盘、鼠标、笔、声音或语音输入设备、触摸或滑动输入设备等的一个或多个输入设备1112。还可以包括输出设备1114，诸如显示器、扬声器、打印机等。上述设备作为示例，可以使用其他设备。计算设备1100可以包括允许与其他计算设备1150通信的一个或多个通信连接1116。合适的通信连接1116的示例包括但不限于射频(RF)发送器、接收器和/或收发器电路；通用串行总线(USB)、并行和/或串行端口。
本文使用的术语计算机可读介质可以包括计算机存储介质。计算机存储介质可以包括用于存储诸如计算机可读指令、数据结构或程序模块的信息的任何方法或技术中实现的易失性和非易失性、可移动和不可移动的介质。系统存储器1104、可移动存储设备1109和不可移动存储设备1110都是计算机存储介质(例如，内存存储)的示例。计算机存储介质可以包括RAM、ROM、电可擦除只读存储器(EEPROM)、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光存储器、盒式磁带、磁带、磁盘存储器或其他磁性存储设备、或者可以用于存储信息并且能够由计算设备1100访问的任何其它制品。任何这样的计算机存储介质都可以是计算设备1100的一部分。计算机存储介质不包括载波或者其他传播或调制的数据信号。
通信介质可以通过计算机可读指令、数据结构、程序模块、或者诸如载波或其他传输机制的调制数据信号中的其他数据来体现，并且包括任何信息传递介质。术语“调制数据信号”可以描述具有以对信号中的信息进行编码的方式而设置或改变的一个或多个特性的信号。作为示例而非限制，通信介质可以包括诸如有线网络或直接有线连接的有线介质，以及诸如声学、射频(RF)、红外线和其他无线介质的无线介质。
图12A和图12B图示了移动计算设备1200，例如移动电话、智能电话、可穿戴计算机(诸如智能手表)、平板计算机、膝上型计算机等等，利用它可以实践本公开的实施例。在一些方面中，客户端可以是移动计算设备。参考图12A，图示了用于实现这些方面的移动计算设备1200的一个方面。在基本配置中，移动计算设备1200是具有输入元件和输出元件两者的手持式计算机。移动计算设备1200通常包括显示器1205以及允许用户将信息键入到移动计算设备1200中的一个或多个输入按钮1210。移动计算设备1200的显示器1205还可以用作输入设备(例如，触摸屏显示器)。如果包括可选的侧输入元件1215，则其允许其他的用户输入。侧输入元件1215可以是旋转开关、按钮或任何其他类型的手动输入元件。在备选方面中，移动计算设备1200可以集成更多或更少的输入元件。例如，在一些实施例中，显示器1205可能不是触摸屏。在又一个备选实施例中，移动计算设备1200是便携式电话系统、诸如蜂窝电话。移动计算设备1200还可以包括可选键盘1235。可选键盘1235可以是物理键盘或在触摸屏显示器上生成的“软”键盘。在各种实施例中，输出元件包括用于示出图形用户界面(GUI)、视觉指示器1220(例如发光二极管)、和/或音频换能器1225(例如扬声器)的显示器1205。在一些方面中，移动计算设备1200集成了用于向用户提供触觉反馈的振动换能器。在又一个方面，移动计算设备1200集成了输入和/或输出端口，诸如音频输入(例如麦克风插孔)、音频输出(例如耳机插孔)、和视频输出(例如HDMI端口)，以用于向外部设备发送信号或从外部设备接收信号。
图12B是图示了移动计算设备的一个方面的架构的框图。也就是说，移动计算设备1200可以集成用于实现一些方面的系统(例如，架构)1202。在一个实施例中，系统1202被实现为能够运行一个或多个应用(例如，浏览器、电子邮件、日历、联系人管理器、消息传送客户端、游戏、和媒体客户端/播放器)的“智能电话”。在一些方面中，系统1202被集成为计算设备，诸如集成式个人数字助理(PDA)和无线电话。
一个或多个应用1266可以被加载到存储器1262中并且在操作系统1264上运行或者与操作系统1264相关联地运行。应用程序的示例包括电话拨号程序、电子邮件程序、个人信息管理(PIM)程序、文字处理程序、电子表格程序、因特网浏览器程序、消息传送程序等等。系统1202还包括存储器1262内的非易失性存储区域1268。非易失性存储区域1268可以用于存储在系统1202断电的情况下不应当丢失的持久信息。应用程序1266可以使用信息并将信息存储在非易失性存储区域1268中，该信息诸如为电子邮件或由电子邮件应用使用的其他消息等。同步应用(未示出)也驻留在系统1202上并被编程为与驻留在主机上的对应同步应用进行交互，以将存储在非易失性存储区域1268中的信息与存储在主机中的对应信息保持同步。如应当理解的，其他应用可以被加载到存储器1262中并且在移动计算设备1200上运行，包括用于提供如本文所述的用户界面创作平台的指令。
系统1202具有电源1270，电源1270可以被实现为一个或多个电池。电源1270可以进一步包括外部电源，诸如对电池进行补充或充电的AC适配器或电动对接支架(powereddocking cradle)。
系统1202还可以包括执行发送和接收射频通信的功能的无线电接口层1272。无线电接口层1272经由通信运营商或服务提供商来促进系统1202与“外部世界”之间的无线连接。去往和来自无线电接口层1272的传输在操作系统1264的控制下进行。换句话说，由无线电接口层1272接收到的通信可以经由操作系统1264被传播到应用程序1266，反之亦然。
视觉指示符1220可以用于提供视觉通知，并且/或者音频接口1274可以用于经由音频换能器1225来产生可听通知。在所图示实施例中，视觉指示符1220是发光二极管(LED)并且音频换能器1225是扬声器。这些设备可以被直接耦合到电源1270，以使得当它们被激活时，即使在处理器1260和其他组件可能关闭以保存电池电力的情况下，它们在由通知机制命令的持续时间内仍然保持开启。LED可以被编程为无限期地保持开启，直到用户采取动作以指示设备的开机状态为止。音频接口1274用于向用户提供可听信号并从用户接收可听信号。例如，除了被耦合到音频换能器1225之外，音频接口1274还可以被耦合到麦克风以接收可听输入、诸如以有利于电话会话。根据本公开的实施例，麦克风还可以用作促进对通知的控制的音频传感器，如将在下面描述的。系统1202还可以包括视频接口1276，其使得机载相机1230的操作能够记录静止图像、视频流等。
实现系统1202的移动计算设备1200可以具有附加特征或功能。例如，移动计算设备1200还可以包括附加数据存储设备(可移动和/或不可移动)，诸如磁盘、光盘或磁带。这种附加存储在图12B中由非易失性存储区域1268所图示。
如上所述，由移动计算设备1200生成或捕获并且经由系统1202存储的数据/信息可以被本地存储在移动计算设备1200上，或者数据可以被存储在任意数目的存储介质上，这些存储介质可以由设备经由无线电接口层1272、或经由移动计算设备1200和与移动计算设备1200相关联的分离计算设备之间的有线连接来访问，该分离计算设备例如为诸如互联网的分布式计算网络中的服务器计算机。如应当理解的，这样的数据/信息可以经由无线电接口层1272或经由分布式计算网络、从而经由移动计算设备1200来访问。类似地，根据众所周知的数据/信息传递和存储部件、包括电子邮件和协作数据/信息共享系统，这些数据/信息可以在计算设备之间容易地传递以用于存储和使用。
图13图示了用于处理来自诸如如上所述的个人计算机1304、平板计算设备1306或移动计算设备1308的远程源的、在计算系统处接收的数据的系统的架构的一个方面。在服务器设备1302处显示的内容可以被存储在不同的通信信道或其他存储类型中。例如，可以使用目录服务1322、网络门户1324、邮箱服务1326、即时消息传送存储1328或社交联网站点1330来存储各种文档。用户界面创作平台1020可以由与服务器设备1302通信的客户端采用，和/或用户界面创作平台1020可以被服务器设备1302采用。服务器设备1302可以通过网络1315向客户端计算设备提供数据并且提供来自客户端计算设备的数据，客户端计算设备诸如为个人计算机1304、平板计算设备1306和/或移动计算设备1308(例如，智能电话)。举例来说，以上关于图1-图10描述的计算机系统可以被体现在个人计算机1304、平板计算设备1306和/或移动计算设备1308(例如，智能电话)中。除了接收可用于在图形发起系统处预处理或在接收计算系统处后处理的图形数据之外，计算设备的这些实施例中的任何实施例都可从存储器1316中获得内容。
图14图示了可以执行本文公开的一个或多个方面的示例性平板计算设备1400。此外，本文描述的方面和功能可以在分布式系统(例如，基于云的计算系统)上操作，其中应用功能、存储器、数据存储和检索、以及各种处理功能可以通过诸如互联网或内联网的分布式计算网络而彼此远程地操作。各种类型的用户界面和信息可以经由机载计算设备显示器或经由与一个或多个计算设备相关联的远程显示单元来显示。例如，各种类型的用户界面和信息可以在墙表面上显示和交互，各种类型的用户界面和信息被投影到该墙表面上。与能够实践本发明的实施例的多种计算系统进行的交互包括按键键入、触摸屏键入、语音或其他音频键入、手势键入，在手势键入中相关联的计算设备配备有用于捕获并解释用于控制计算设备的功能的用户手势等的检测(例如相机)功能。
例如，以上参考根据本公开的各方面的方法、系统和计算机程序产品的框图和/或操作说明来描述本公开的各方面。框中标注的功能/行为可以不按在任何流程图中所示的顺序发生。例如，取决于所涉及的功能/行为，连续示出的两个框实际上可以基本上同时执行，或者框有时可以以相反的顺序执行。
本申请中提供的一个或多个方面的描述和说明不旨在以任何方式限制或限定要求保护的本公开的范围。本申请中提供的各方面、示例和细节被认为足以传达所有权并使其他人能够制作和使用要求保护的公开的最佳模式。所要求保护的公开不应被解释为限于本申请中提供的任何方面、示例或细节。无论是组合地还是单独地进行图示和描述，各种(结构和方法两者的)特征旨在选择性地被包括或被省略以产生具有特定特征集的实施例。在已经被提供了本申请的描述和说明的情况下，本领域技术人员可以构想落入本申请中体现的总体发明构思的更宽泛方面的精神内的、不脱离要求保护的公开的广义范围的变型、修改和备选方面。
上述各种实施例仅作为说明被提供，并且不应被解释为限制所附权利要求。本领域的技术人员将容易认识到，可以在不遵循本文所图示和描述的示例实施例和应用的情况下并且在不脱离所附权利要求的真实精神和范围的情况下进行各种修改和改变。

Claims (20)

1.一种用于使用用户界面创作平台来创作任务的方法，所述方法包括：
在所述用户界面创作平台处接收任务的定义；
在所述用户界面创作平台处接收对将触发所述任务的意图的定义的选择；
在所述用户界面创作平台处接收用于所述任务的执行的、与所述意图相关联的参数，其中接收所述参数包括：接收所述参数对所述任务的执行是否是必需的指示；
在所述用户界面创作平台处接收用于所述参数的解析器的指示，其中所述解析器可操作以从与所述参数相关联的所接收的输入标识数据；
在所述用户界面创作平台处接收定义对话的信息，所述对话在所述参数不能被解析时被提供，其中所述对话提示用户提供关于所述参数的附加信息；以及
在所述用户界面创作平台处接收所述任务的所述执行的标识。
2.根据权利要求1所述的方法，还包括：基于接收到所述任务的所述定义，提供与所定义的所述任务有关的至少一个语言理解模型。
3.根据权利要求2所述的方法，其中所述至少一个语言理解模型被存储在一个或多个语言理解模型中的共享数据库中。
4.根据权利要求1所述的方法，其中接收所述任务的所述定义还包括：
接收至少一个对话行为的定义。
5.根据权利要求4所述的方法，其中所述至少一个对话行为是以下中的一项：缺失值对话行为、消歧对话行为、无结果对话行为、建议对话行为、选择对话行为、以及确认对话行为。
6.根据权利要求1所述的方法，其中接收对将触发所述任务的所述意图的所述定义的所述选择还包括：接收对与将触发所述任务的所述意图相对应的触发域的选择。
7.根据权利要求1所述的方法，其中接收用于所述任务的执行的、与所述意图相关联的所述参数还包括：
接收所述参数的名称；
接收所述参数的类型；
接收所述参数的条件，所述条件指示所述参数是否为必需参数和可选参数中的一项；
接收一个或多个槽标签作为输入以解析所述参数；以及
接收用于所述参数的解析器。
8.根据权利要求1所述的方法，还包括：接收一个或多个验证条件。
9.一种用于使用用户界面创作平台来创作任务的系统，包括：
至少一个处理单元；以及
至少一个存储器，所述至少一个存储器存储计算机可执行指令，所述计算机可执行指令在由所述至少一个处理单元执行时使所述系统执行方法，所述方法包括：
在用户界面创作平台处接收任务的定义；
在所述用户界面创作平台处接收对将触发所述任务的意图的选择；
在所述用户界面创作平台处接收用于所述任务的执行的、与所述意图相关联的的参数，其中接收所述参数包括：接收所述参数对所述任务的执行是否是必需的指示；
在所述用户界面创作平台处接收用于所述参数的解析器的指示，其中所述解析器可操作以从与所述参数相关联的所接收的输入标识数据；
在所述用户界面创作平台处接收定义对话的信息，所述对话在所述参数不能被解析时被提供，其中所述对话提示用户提供关于所述参数的附加信息；以及
在所述用户界面创作平台处接收用于所述任务的执行的第三方应用的标识。
10.根据权利要求9所述的系统，其中接收所述任务的所述定义包括：接收对被存储在共享数据库中的所述任务的主要语言理解模型的选择。
11.根据权利要求9所述的系统，其中接收对将触发所述任务的所述意图的所述选择还包括：接收对与将触发所述任务的所述意图相对应的触发域的选择。
12.根据权利要求9所述的系统，其中接收用于所述任务的执行的、与所述意图相关联的所述参数还包括：
接收所述参数的名称；
接收所述参数的类型；
接收所述参数的条件，所述条件指示所述参数是否是必需参数和可选参数中的一项；
接收一个或多个槽标签作为输入以解析所述参数；以及
接收用于所述参数的解析器。
13.根据权利要求9所述的系统，还包括：
接收至少一个对话行为的定义，
其中所述至少一个对话行为是以下中的一项：缺失值对话行为、消歧对话行为、无结果对话行为、建议对话行为、选择对话行为、以及确认对话行为。
14.一种计算机可读存储器存储设备，所述计算机可读存储器存储设备存储指令集，所述指令集在被执行时执行用于使用用户界面创作平台来创作任务的方法，所述方法包括：
在所述用户界面创作平台处接收任务的定义；
在所述用户界面创作平台处接收对将触发所述任务的意图的选择；
在所述用户界面创作平台处接收用于所述任务的执行的、与所述意图相关联的参数，其中接收所述参数包括：接收所述参数对所述任务的执行是否是必需的指示；
在所述用户界面创作平台处接收用于所述参数的解析器的指示，其中所述解析器可操作以从与所述参数相关联的所接收的输入标识数据；
在所述用户界面创作平台处接收定义对话的信息，所述对话在所述参数不能被解析时被提供，其中所述对话提示用户提供关于所述参数的附加信息；以及
在所述用户界面创作平台处接收用于所述任务的执行的第三方应用的标识。
15.根据权利要求14所述的计算机可读存储器存储设备，其中接收所述任务的所述定义包括：接收对所述任务的主要语言理解模型的选择。
16.根据权利要求14所述的计算机可读存储器存储设备，还包括：
接收至少一个对话行为的定义，
其中所述至少一个对话行为是以下中的一项：缺失值对话行为、消歧对话行为、无结果对话行为、建议对话行为、选择对话行为、以及确认对话行为。
17.根据权利要求14所述的计算机可读存储器存储设备，其中接收对将触发所述任务的所述意图的所述选择还包括：接收对与将触发所述任务的所述意图相对应的触发域的选择。
18.根据权利要求14所述的计算机可读存储器存储设备，还包括：
接收一个或多个验证条件。
19.根据权利要求14所述的计算机可读存储器存储设备，其中接收用于所述任务的执行的、与所述意图相关联的所述参数还包括：
接收所述参数的名称；
接收所述参数的类型；
接收所述参数的条件，所述条件指示所述参数是否是必需参数和可选参数中的一项；
接收一个或多个槽标签作为输入以解析所述参数；以及
接收用于所述参数的解析器。
20.根据权利要求19所述的计算机可读存储器存储设备，还包括：
接收请求所述参数的值的对话行为的定义。
CN201780004859.1A 2016-02-12 2017-02-03 用于使用用户界面创作平台来创作任务的方法和系统 Active CN108475190B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210280459.6A CN114647410A (zh) 2016-02-12 2017-02-03 用于使用用户界面创作平台来创作任务的方法和系统

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/043,317 US10635281B2 (en) 2016-02-12 2016-02-12 Natural language task completion platform authoring for third party experiences
US15/043,317 2016-02-12
PCT/US2017/016318 WO2017139181A1 (en) 2016-02-12 2017-02-03 Natural language task completion platform authoring for third party experiences

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202210280459.6A Division CN114647410A (zh) 2016-02-12 2017-02-03 用于使用用户界面创作平台来创作任务的方法和系统

Publications (2)

Publication Number Publication Date
CN108475190A CN108475190A (zh) 2018-08-31
CN108475190B true CN108475190B (zh) 2022-03-25

Family

ID=58046776

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202210280459.6A Pending CN114647410A (zh) 2016-02-12 2017-02-03 用于使用用户界面创作平台来创作任务的方法和系统
CN201780004859.1A Active CN108475190B (zh) 2016-02-12 2017-02-03 用于使用用户界面创作平台来创作任务的方法和系统

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202210280459.6A Pending CN114647410A (zh) 2016-02-12 2017-02-03 用于使用用户界面创作平台来创作任务的方法和系统

Country Status (4)

Country Link
US (2) US10635281B2 (zh)
EP (1) EP3414655A1 (zh)
CN (2) CN114647410A (zh)
WO (1) WO2017139181A1 (zh)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016199018A1 (en) * 2015-06-07 2016-12-15 Wix.Com Ltd System and method for the generation of an adaptive user interface in a website building system
US10338959B2 (en) 2015-07-13 2019-07-02 Microsoft Technology Licensing, Llc Task state tracking in systems and services
US10635281B2 (en) 2016-02-12 2020-04-28 Microsoft Technology Licensing, Llc Natural language task completion platform authoring for third party experiences
US11494206B2 (en) * 2016-05-17 2022-11-08 Google Llc Automated initiation and adaptation of a dialog with a user via user interface devices of a computing device of the user
US10915234B2 (en) * 2016-06-01 2021-02-09 Motorola Mobility Llc Responsive, visual presentation of informational briefs on user requested topics
US20180005629A1 (en) * 2016-06-30 2018-01-04 Microsoft Technology Licensing, Llc Policy authoring for task state tracking during dialogue
US11281439B2 (en) * 2018-07-25 2022-03-22 Avaya Inc. System and method for creating a contextualized after call workflow
US11281857B1 (en) * 2018-11-08 2022-03-22 Amazon Technologies, Inc. Composite slot type resolution
US11308281B1 (en) 2018-11-08 2022-04-19 Amazon Technologies, Inc. Slot type resolution process
US11138374B1 (en) 2018-11-08 2021-10-05 Amazon Technologies, Inc. Slot type authoring
CN112908311A (zh) * 2019-02-26 2021-06-04 北京蓦然认知科技有限公司 一种语音助手的训练和分享方法
US11315565B2 (en) * 2020-04-03 2022-04-26 Disney Enterprises, Inc. Multi-party conversational agent
CN113485799B (zh) * 2021-06-21 2023-10-20 上海百秋新网商数字科技有限公司 多库执行同一定时任务的方法、装置、设备及存储介质
US11853537B2 (en) * 2021-10-04 2023-12-26 Qualtrics, Llc Providing a sequence-builder-user interface for generating a digital action sequence

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080010069A1 (en) * 2006-07-10 2008-01-10 Microsoft Corporation Authoring and running speech related applications
CN102792320A (zh) * 2010-01-18 2012-11-21 苹果公司 智能自动化助理
US20140379326A1 (en) * 2013-06-21 2014-12-25 Microsoft Corporation Building conversational understanding systems using a toolset

Family Cites Families (64)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6496872B1 (en) 1994-05-16 2002-12-17 Apple Computer, Inc. Computer system for automatically instantiating tasks designated by a user
US6370508B2 (en) 1998-09-11 2002-04-09 Genesys Telecommunications Laboratories, Inc. Interface engine for managing business processes within a multimedia communication-center
AU6225199A (en) 1998-10-05 2000-04-26 Scansoft, Inc. Speech controlled computer user interface
US6604075B1 (en) 1999-05-20 2003-08-05 Lucent Technologies Inc. Web-based voice dialog interface
US6526382B1 (en) 1999-12-07 2003-02-25 Comverse, Inc. Language-oriented user interfaces for voice activated services
WO2001067241A1 (en) 2000-03-06 2001-09-13 Conita Technologies, Inc. Virtual assistant engine
US7024348B1 (en) 2000-09-28 2006-04-04 Unisys Corporation Dialogue flow interpreter development tool
US20070234224A1 (en) 2000-11-09 2007-10-04 Leavitt Joseph M Method for developing and implementing efficient workflow oriented user interfaces and controls
US7487440B2 (en) 2000-12-04 2009-02-03 International Business Machines Corporation Reusable voiceXML dialog components, subdialogs and beans
US7257537B2 (en) 2001-01-12 2007-08-14 International Business Machines Corporation Method and apparatus for performing dialog management in a computer conversational interface
EP1451679A2 (en) 2001-03-30 2004-09-01 BRITISH TELECOMMUNICATIONS public limited company Multi-modal interface
EP1255190A1 (en) 2001-05-04 2002-11-06 Microsoft Corporation Interface control
US6839896B2 (en) 2001-06-29 2005-01-04 International Business Machines Corporation System and method for providing dialog management and arbitration in a multi-modal environment
US7546382B2 (en) 2002-05-28 2009-06-09 International Business Machines Corporation Methods and systems for authoring of mixed-initiative multi-modal interactions and related browsing mechanisms
US7434162B2 (en) 2002-06-06 2008-10-07 Speechcyle, Inc. Visual knowledge publisher system
US7418666B2 (en) 2002-10-21 2008-08-26 Bentley Systems, Incorporated System, method and computer program product for managing CAD data
US7373300B1 (en) 2002-12-18 2008-05-13 At&T Corp. System and method of providing a spoken dialog interface to a website
GB0325497D0 (en) 2003-10-31 2003-12-03 Vox Generation Ltd Automated speech application creation deployment and management
US7660400B2 (en) 2003-12-19 2010-02-09 At&T Intellectual Property Ii, L.P. Method and apparatus for automatically building conversational systems
JP2006099424A (ja) 2004-09-29 2006-04-13 Hitachi Ltd 音声情報サービスシステム及び音声情報サービス端末
US20110161958A1 (en) 2005-01-03 2011-06-30 Jp Morgan Chase Bank Method and system for managing business calculations using multi-dimensional data
US7853453B2 (en) 2005-06-30 2010-12-14 Microsoft Corporation Analyzing dialog between a user and an interactive application
ATE550756T1 (de) 2005-08-04 2012-04-15 Nuance Communications Inc Sprachdialogsystem
US20080059605A1 (en) 2006-01-20 2008-03-06 Shaul Shalev Systems and methods for operating communication processes using a personalized communication web server
JP5248867B2 (ja) 2006-01-31 2013-07-31 本田技研工業株式会社 会話システムおよび会話ソフトウェア
US20070203869A1 (en) 2006-02-28 2007-08-30 Microsoft Corporation Adaptive semantic platform architecture
US8073681B2 (en) 2006-10-16 2011-12-06 Voicebox Technologies, Inc. System and method for a cooperative conversational voice user interface
US9082406B2 (en) 2006-11-30 2015-07-14 Robert Bosch Llc Method and system for extending dialog systems to process complex activities for applications
US20080184241A1 (en) 2007-01-30 2008-07-31 Microsoft Corporation Techniques for automated balancing of tasks across multiple computers
US7983997B2 (en) 2007-11-02 2011-07-19 Florida Institute For Human And Machine Cognition, Inc. Interactive complex task teaching system that allows for natural language input, recognizes a user's intent, and automatically performs tasks in document object model (DOM) nodes
US8001469B2 (en) 2007-11-07 2011-08-16 Robert Bosch Gmbh Automatic generation of interactive systems from a formalized description language
US8793119B2 (en) 2009-07-13 2014-07-29 At&T Intellectual Property I, L.P. System and method for generating manually designed and automatically optimized spoken dialog systems
US20110016421A1 (en) 2009-07-20 2011-01-20 Microsoft Corporation Task oriented user interface platform
US10276170B2 (en) 2010-01-18 2019-04-30 Apple Inc. Intelligent automated assistant
US20110252163A1 (en) * 2010-04-09 2011-10-13 Microsoft Corporation Integrated Development Environment for Rapid Device Development
US9760566B2 (en) 2011-03-31 2017-09-12 Microsoft Technology Licensing, Llc Augmented conversational understanding agent to identify conversation context between two humans and taking an agent action thereof
US9082402B2 (en) 2011-12-08 2015-07-14 Sri International Generic virtual personal assistant platform
WO2013150526A1 (en) 2012-04-02 2013-10-10 Dixilang Ltd. A client-server architecture for automatic speech recognition applications
US9489636B2 (en) 2012-04-18 2016-11-08 Tagasauris, Inc. Task-agnostic integration of human and machine intelligence
US10417037B2 (en) 2012-05-15 2019-09-17 Apple Inc. Systems and methods for integrating third party services with a digital assistant
US20130346066A1 (en) 2012-06-20 2013-12-26 Microsoft Corporation Joint Decoding of Words and Tags for Conversational Understanding
KR101961139B1 (ko) 2012-06-28 2019-03-25 엘지전자 주식회사 이동 단말기 및 그것의 음성 인식 방법
US8767947B1 (en) 2012-11-29 2014-07-01 Genesys Telecommunications Laboratories, Inc. System and method for testing and deploying rules
US9262175B2 (en) 2012-12-11 2016-02-16 Nuance Communications, Inc. Systems and methods for storing record of virtual agent interaction
US20140297348A1 (en) 2013-01-21 2014-10-02 David A. Ellis Merit-based incentive to-do list application system, method and computer program product
US9131369B2 (en) 2013-01-24 2015-09-08 Nuance Communications, Inc. Protection of private information in a client/server automatic speech recognition system
US9172747B2 (en) 2013-02-25 2015-10-27 Artificial Solutions Iberia SL System and methods for virtual assistant networks
US9330659B2 (en) 2013-02-25 2016-05-03 Microsoft Technology Licensing, Llc Facilitating development of a spoken natural language interface
US9830039B2 (en) 2013-03-04 2017-11-28 Microsoft Technology Licensing, Llc Using human wizards in a conversational understanding system
US9875494B2 (en) 2013-04-16 2018-01-23 Sri International Using intents to analyze and personalize a user's dialog experience with a virtual personal assistant
US9589565B2 (en) 2013-06-21 2017-03-07 Microsoft Technology Licensing, Llc Environmentally aware dialog policies and response generation
US10229106B2 (en) 2013-07-26 2019-03-12 Nuance Communications, Inc. Initializing a workspace for building a natural language understanding system
US9606984B2 (en) 2013-08-19 2017-03-28 Nuance Communications, Inc. Unsupervised clustering of dialogs extracted from released application logs
US9318109B2 (en) 2013-10-02 2016-04-19 Microsoft Technology Licensing, Llc Techniques for updating a partial dialog state
US10079013B2 (en) 2013-11-27 2018-09-18 Sri International Sharing intents to provide virtual assistance in a multi-person dialog
US20150169285A1 (en) 2013-12-18 2015-06-18 Microsoft Corporation Intent-based user experience
US10181322B2 (en) 2013-12-20 2019-01-15 Microsoft Technology Licensing, Llc Multi-user, multi-domain dialog system
US9892208B2 (en) 2014-04-02 2018-02-13 Microsoft Technology Licensing, Llc Entity and attribute resolution in conversational applications
US9666185B2 (en) 2014-10-06 2017-05-30 Nuance Communications, Inc. Automatic data-driven dialog discovery system
US10133613B2 (en) 2015-05-14 2018-11-20 Microsoft Technology Licensing, Llc Digital assistant extensibility to third party applications
US20160378549A1 (en) 2015-06-23 2016-12-29 Qwest.me, LLC Goal-Oriented, Socially-Connected, Task-Based, Incentivized To-Do List Application System and Method
US10338959B2 (en) 2015-07-13 2019-07-02 Microsoft Technology Licensing, Llc Task state tracking in systems and services
US10635281B2 (en) 2016-02-12 2020-04-28 Microsoft Technology Licensing, Llc Natural language task completion platform authoring for third party experiences
US20180005629A1 (en) 2016-06-30 2018-01-04 Microsoft Technology Licensing, Llc Policy authoring for task state tracking during dialogue

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080010069A1 (en) * 2006-07-10 2008-01-10 Microsoft Corporation Authoring and running speech related applications
CN102792320A (zh) * 2010-01-18 2012-11-21 苹果公司 智能自动化助理
US20140379326A1 (en) * 2013-06-21 2014-12-25 Microsoft Corporation Building conversational understanding systems using a toolset

Also Published As

Publication number Publication date
CN108475190A (zh) 2018-08-31
US20170235465A1 (en) 2017-08-17
WO2017139181A1 (en) 2017-08-17
EP3414655A1 (en) 2018-12-19
US10635281B2 (en) 2020-04-28
US20200225839A1 (en) 2020-07-16
US11061550B2 (en) 2021-07-13
CN114647410A (zh) 2022-06-21

Similar Documents

Publication Publication Date Title
CN108475190B (zh) 用于使用用户界面创作平台来创作任务的方法和系统
EP3507709B1 (en) Automating natural language task/dialog authoring by leveraging existing content
AU2019208255B2 (en) Environmentally aware dialog policies and response generation
US10467345B2 (en) Framework for language understanding systems that maximizes reuse through chained resolvers
US9996532B2 (en) Systems and methods for building state specific multi-turn contextual language understanding systems
CN110263327B (zh) 构建会话理解系统
KR20200054338A (ko) 다이얼로그 시스템들에서의 파라미터 수집 및 자동 다이얼로그 생성
US10474439B2 (en) Systems and methods for building conversational understanding systems
US11789696B2 (en) Voice assistant-enabled client application with user view context

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant