CN109643331A - 通过利用现有内容使自然语言任务/对话创作自动化 - Google Patents

通过利用现有内容使自然语言任务/对话创作自动化 Download PDF

Info

Publication number
CN109643331A
CN109643331A CN201780052614.6A CN201780052614A CN109643331A CN 109643331 A CN109643331 A CN 109643331A CN 201780052614 A CN201780052614 A CN 201780052614A CN 109643331 A CN109643331 A CN 109643331A
Authority
CN
China
Prior art keywords
task
parameter
user
suggestion
content
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201780052614.6A
Other languages
English (en)
Inventor
R·萨里卡亚
V·拉多斯蒂弗
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Technology Licensing LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Technology Licensing LLC filed Critical Microsoft Technology Licensing LLC
Publication of CN109643331A publication Critical patent/CN109643331A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/10Text processing
    • G06F40/12Use of codes for handling textual entities
    • G06F40/14Tree-structured documents
    • G06F40/143Markup, e.g. Standard Generalized Markup Language [SGML] or Document Type Definition [DTD]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/903Querying
    • G06F16/9032Query formulation
    • G06F16/90332Natural language query formulation or dialogue systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/10Text processing
    • G06F40/166Editing, e.g. inserting or deleting
    • G06F40/174Form filling; Merging
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/20Natural language analysis
    • G06F40/205Parsing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/30Semantic analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/30Semantic analysis
    • G06F40/35Discourse or dialogue representation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/02Reservations, e.g. for tickets, services or events
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/30Administration of product recycling or disposal
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/08Speech classification or search
    • G10L15/18Speech classification or search using natural language modelling
    • G10L15/1822Parsing for meaning understanding
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/08Speech classification or search
    • G10L15/18Speech classification or search using natural language modelling
    • G10L15/183Speech classification or search using natural language modelling using context dependencies, e.g. language models
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02WCLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO WASTEWATER TREATMENT OR WASTE MANAGEMENT
    • Y02W90/00Enabling technologies or technologies with a potential or indirect contribution to greenhouse gas [GHG] emissions mitigation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Business, Economics & Management (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Tourism & Hospitality (AREA)
  • Human Resources & Organizations (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Multimedia (AREA)
  • Acoustics & Sound (AREA)
  • Human Computer Interaction (AREA)
  • Quality & Reliability (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Economics (AREA)
  • Development Economics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Sustainable Development (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

用于增加现有CU系统以与诸如网站的内容一起使用的系统和方法。可以解析内容以确定可以由使用该内容的用户执行的一个或多个动作。然后可以将这些动作与CU系统的任务进行比较以标识潜在的匹配。当找到匹配时,可以更新CU系统以包括信息。

Description

通过利用现有内容使自然语言任务/对话创作自动化
相关申请的交叉引用
本申请作为PCT国际专利申请于2017年8月31日提交,并要求2016年8月31日提交的美国专利申请No.15/253,592的优先权,其公开的全部内容通过引用并入本文。
背景技术
会话理解系统允许用户与计算设备进行声音交互。例如用户可以在声音上查询计算机以执行一个或多个任务。通常,这种会话理解系统使用一个或多个语言理解模型来基于用户的语音或会话来收集各种信息以标识用户的意图,并且此后基于所识别的意图来执行任务。任务可以包括,例如查询的执行、托管在用户的计算设备上或分布式网络中的应用的执行、与第三方应用的交互、或信息的显示。
通常,第三方应用设计者负责设计他们自己的语言理解模型和对话,以使用户能够与设计者的应用或web服务进行声音交互。就这些和其他一般考虑而言,已经做出了各方面。而且,尽管已经讨论了相对具体的问题,但应该理解,这些方面不应限于解决背景技术中所标识的具体问题。
发明内容
一般而言,本公开涉及自动化用户界面平台的开发以使用户能够与网站、web服务或其他应用进行声音交互。该技术的各方面提供了用于增强用于网站或应用一起使用的预先存在的语言理解模型的工具。例如预先存在的语言理解模型可以识别对应于一个或多个可执行任务和/或针对那些任务的输入参数的灵活的口头命令集合。在各方面,可以增强该灵活命令集合以供与应用或网站结合使用。
语言理解模型的增强可以自动地(或部分地自动地)发生。网站或其他应用可以具有诸如文本或视频的内容,其可以被解析以确定包括在网站或应用中的信息是否与现有语言理解模型紧密对应。另外,可以分析网站或应用的功能以确定功能是否对应于会话理解系统的任务。例如,在网站包括指示用户可以使用网站执行任务(诸如订购披萨)的语言和/或指示用户可以执行任务的对象(诸如引导用户到订购页面的可点击对象)的情况下,与预先存在的会话理解系统相关联的任务可以适用于与网站一起使用,该预先存在的会话理解系统已经包括帮助用户订购的一些功能。例如用户可以使用网站/应用执行的动作(诸如订购披萨)然后可以与支持任务的预先存在的任务和语言理解模型(诸如已经包括订购食物的任务的模型)相关联。因此,本公开的各方面提供了用于标识应用或网站中的功能并利用预先存在的任务和语言理解模型(以及相关的规范化和解析模型)的工具,以使用户能够与网站或应用进行声音交互以用于任务理解和执行。
提供本发明内容是为了以简化的形式介绍概念的选择,这些概念将在下面的具体实施方式中进一步描述。本发明内容不旨在标识所要求保护的主题的关键特征或必要特征,也不旨在用于限制所要求保护的主题的范围。示例的其他方面、特征和/或优点将部分地在下面的描述中阐述,并且部分地将从描述中显而易见,或者可以通过本公开的实践来学习。
附图说明
图1示出了可用于使用用户界面平台利用网站或应用来创作第三方体验的示例网络的示意性框图。
图2示出了解析诸如网站或应用的内容以标识潜在CU系统的示例方法。
图3示出了信息流。
图4示出了可以被解析以增强CU系统的内容的示例。
图5是用于解析内容以确定任务、实体和参数的方法。
图6是用于更新对话系统的方法。
图7是用于使用增强CU系统与用户交互的方法。
图8示出了用于确认所标识的任务的示例方法。
图9示出了用于确认任务的用户界面创作平台的示例屏幕截图。
图10示出了用于确认一个或多个触发域的示例用户界面创作平台。
图11示出了用于遵守和编辑建议参数的用户界面创作平台的示例屏幕截图。
图12示出了用于标识解析器的用户界面创作平台的示例屏幕截图。
图13示出了用于标识验证条件的用户界面创作平台的示例屏幕截图。
图14示出了用于确认最终动作的用户界面创作平台的示例屏幕截图
图15是示出计算设备的物理组件(例如硬件)的框图
图16A和图16B示出了移动计算设备
图17示出了用于处理在计算系统处从远程源接收的数据的系统的架构的一个方面
具体实施方式
将参考附图详细描述本技术的各个方面,其中相同的附图标记在若干视图中表示相同的部件和组件。对本技术的各个方面的参考不限制所附权利要求的范围。另外,本说明书中阐述的任意示例不旨在限制并且仅仅阐述所附权利要求的许多可能实施例中的一些。
本技术的各方面涉及利用现有的会话理解系统(“CU”)并增强CU系统以允许用户与网站或其他应用进行声音交互。CU系统帮助用户执行各种任务。在各方面,CU系统使用例如口头对话动作来模拟与用户的会话。这可以通过用户声音询问问题和CU系统回答答案而发生。问题和回答在本文中称为“转(turn)”。
CU系统可用于实现数字助理应用,诸如由华盛顿州雷蒙德市的微软提供的CORTANA数字助理应用。CU系统使用语言理解(“LU”)模型来标识说出的词语并标记对特定任务具有重要性或相关性的词语。任务包括执行针对用户的动作(诸如互联网搜索、支付的处理、输入信息、结果的显示、应用的执行、第三方服务的采购等)。
许多任务使用有助于任务的执行的参数。参数是指定收集的实体并指定此任务中这些实体的语义含义的容器。实体是知识或理解的表示,例如针对“交付”或“取出”的偏好是实体,其偏好可以由文本“交付”和“取出”分别表示。另外,实体可以是特定地址或餐馆。一个或多个数据结构可用于表示参数和/或实体。作为示例,保留出租车的任务可能需要参数(即,槽)的满足,诸如起始位置、接车时间以及在执行该任务之前的乘客数目。作为另一示例,使用电话应用进行呼叫的任务可能需要满足诸如呼叫被所针对的企业或人的名字或电话号码的参数。作为又一示例,预订酒店的任务可能需要满足诸如城市名称、预订日期和特定酒店的标识的参数。任务还可以包括可选参数。例如在出租车示例中,可选参数可以是目的地位置的标识或期望的汽车类型。在酒店示例中,可选参数可以是酒店的星级或所选城市的特定区域的邻近度。任务执行不需要这些可选参数,但可以帮助负责执行任务的应用进一步细化要执行的所需任务。
用户和CU系统之间的模拟会话允许CU系统获得信息。例如CU系统可以使用一个或多个LU模型来从用户获得用于满足任务的信息。这包括必要的参数和/或可选参数。更进一步地,CU系统维护在与用户的会话期间获得的信息的记录,因为其涉及用于执行任务的定义的必要和/或可选参数。另外,CU系统可以例如通过标识用户的位置或语言要求来推断出在模拟会话之外的信息。在一些方面,CU系统可以向用户提供所获得的信息,作为验证所获得的信息的准确性的方式。例如CU系统可以将获得的信息显示给用户,或者可以口头标识所获得的信息。这可以向用户提供CU系统对任务的理解和对应的获得参数的确认。在各方面,CU系统可以修改在用户会话期间获得的信息,以解决语音识别或理解错误、语言理解错误、参数解决错误或者如用户所请求的。
另外,CU系统可以经由语音或文本提示询问用户提供任务执行所需的进一步信息。例如CU系统可以具有预定义或自动生成的提示,其从用户引出进一步的信息或澄清以满足任务执行所需的所需参数。
此外,在会话期间,CU系统可以向用户提供用户可以从中选择的匹配或建议选项,以在执行任务之前完成参数。CU系统可以通过例如在设备的显示器上显示所收集的信息或者通过例如大声地朗读所收集的信息来向用户提供在会话期间获得的信息。CU系统还可以要求用户确认所提供信息的准确性,作为任务执行之前的最后步骤。在会话的这一点上,用户可以例如确认或编辑信息或完全取消任务的执行。在示例中,用户可以通过语音或诸如打字、触摸或设备的移动的手势来确认或编辑信息。基于从用户接收的确认响应,CU系统可以执行所标识的任务。基于从用户接收的信息响应,CU系统可以重复会话或寻找要编辑的所选信息。基于从用户接收的取消响应,CU系统可以完全终止会话和任务执行过程。
另外,本文公开的方面提供了一种用户界面创作平台,其自动化并简化一个或多个CU系统内的任务定义。在一些方面,这种自动化可以部分地通过解析应用或网站来标识一个或多个预先存在的语言理解、规范化和/或解析模块而发生,这些模块可能有助于与网站或应用相关联的动作的解析。本文公开的系统和方法提供了一种工具,该工具可以用于部分地基于从解析网站或应用收集的信息来在第三方应用和CU系统之间创建接口。尽管参考了第三方应用/网站和第三方/网站应用作者,但本文提供的方面可以扩展到任意应用/网站或应用/网站作者。此外,因为CU系统复杂且难以设计,所以本文公开的系统和方法为第三方应用提供了利用现有CU系统和模型的能力。因此,第三方应用作者可以使用用户界面创作平台高效且更简单地确认/定义任务,并利用预先存在的语言理解模型来标识那些已定义的任务。
图1示出了可用于使用用户界面平台利用网站或应用来创作第三方体验的示例网络100的示意性框图。网络100包括一个或多个第三方计算设备102、托管用户界面创作平台106的服务器104、存储语言理解模型和规范化和解析模块等的数据库108、以及托管网站应用的服务器110。如图所示,第三方计算设备102、服务器104、数据库108和服务器110经由诸如因特网的数据通信网络100连接。
本文描述的方面涉及提供利用网站和/或应用112的用户界面创作平台106。在一些方面,用户界面创作平台106在服务器104上远程操作,由一个或多个第三方客户端设备102经由数据通信网络110可访问。在其他方面,用户界面创作平台106在一个或多个第三方客户端设备102上本地操作。
如将在本文中进一步详细描述的,用户界面创作平台106是创作工具,其被设计为向第三方应用作者提供用于确认建议任务和/或由CU系统可使用以标识和执行任务的一个或多个语言理解模型的能力。在各方面中,响应于分析网站或应用112而提供关于CU系统的建议。具体地,用户界面创作平台106引导第三方应用作者根据完成该任务所需的一个或多个所需和甚至可选参数来确认(或定义)任务(在一些方面,通过解析网站或应用112来标识)。用户界面创作平台106还提供作者的可选能力来确认/指定验证条件,该验证条件定义了在用于任务执行的一个或多个参数中必须存在的一个或多个有效条件。另外,用户界面创作平台106允许第三方应用作者从数据库108确认一个或多个语言理解(“LU”)模型,该模型从用户的语音或会话中提取用于标识适当的任务并且标识对应的参数所需的信息。响应于分析网站或应用112,可以提供或建议LU模型。LU模型用于注释或分析口头或文本输入,并且可以被引导到指定域。例如LU模型可以特定于标识与在餐馆域中预订餐馆预订的任务相关的表达(例如语音或文本输入)。域可以通过解析网站来指示,或者可以由作者提供。这样的LU模型可以用于标识词语或短语以确定用户的意图,因为它与特定域相关,并且还可以用于填充任务的参数。例如特定的LU模型可以用于预定餐馆预定的任务。这样的LU模型可以被应用于“Rohan的墨西哥餐馆今晚6点半可用于4个人吗?”的口头短语,以标识进行餐馆预订的任务,并且标识参数,诸如需要预订的特定餐馆[Rohan墨西哥餐馆]、人数[4]和时间[6:30PM],这可能是用于执行任务所必需的。
用户界面创作平台106向第三方应用作者提供选择一个或多个预先存在的LU模型的能力。在各方面中,基于对网站或应用112的解析来提供关于LU的建议。在数据库108中尚不存在LU模型的程度上,用户界面创作平台106向第三方应用作者提供用于创建一个或多个新LU模型的能力。用户界面创作平台106还允许第三方应用作者从数据库108确认/选择将用户输入转换为标准化格式的一个或多个规范化或解析模型。在数据库108中尚未存在规范化或解析模块的程度上,用户界面创作平台108允许第三方应用作者创建这样的模块。
客户端设备102可以是任意计算设备,诸如例如蜂窝电话、个人数字助理、膝上型计算机、台式机或平板计算机。如本文所述,客户端设备102托管智能数字助理应用。此外,客户端设备102使用智能数字助理应用来存储可在其上执行的一个或多个应用。这样的应用可以指例如随设备提供的应用,诸如电话应用、因特网浏览器应用、电子邮件应用、天气应用、笔记记录应用、文本消息传送应用、日历应用、相机应用、地图应用等。其他第三方应用也可以安装在客户端设备102上,诸如例如出租车预订应用、酒店预订应用、社交媒体应用、游戏应用等。因此,第三方应用作者可以使用用户界面创作平台106创建执行安装在客户端设备102上的特定第三方应用的一个或多个任务。
图2示出了解析诸如网站或应用的内容以标识潜在CU系统的示例方法200。方法200以标识内容操作202开始。在操作202中,可以使用创作平台106来标识诸如网站的内容。作者可以这样做以便为创作平台106提供足以向作者提供建议CU系统、LU模型、任务、参数、对话设置的信息。附加地或替代地,可以使用爬取机制来查找和标识要解析的潜在网站。
方法200继续解析内容操作204。在解析内容操作204中,解析内容以确定任务和其他信息,诸如参数。该网站最初可能准备解析。这可以通过将网站中的标签与标记为不必要的标签列表(例如存储在数据库中)进行比较来发生。这包括例如标题信息网站或不必要的元数据。也就是说,在各方面中,数据库可以具有预定义标签(例如预编程标签)的列表,其不提供足以帮助检测内容的语义含义的信息。作为具体示例,网站可以包括标签以便将搜索引擎流量驱动到网站(例如“Tony的比萨”、“Tony的”、“比萨”、“纽约”、“纽约比萨”、“食物”、“薄皮”、“住所”、“酒吧”、“以5280为特征”等)。这可能使对网站的语义含义的解释复杂化。该信息可能已被标记为网站中的元数据,并且元数据标签的标识可能导致系统移除该信息。相反,可以不删除与网页相关联的内容(诸如例如“现在订购安东尼的披萨”),因为内容不与元数据相关联,而是显示给用户。可以通过将网站的元数据与对解析步骤无用的元数据列表进行比较来移除元数据。
可以使用语义网络解析器进行解析。例如可以提供网站。诸如SeemWebParser的语义网站解析器可以标识指示网站(或整个HTML内容)的语义含义的词语、短语或对象(诸如可点击链接),包括可以对网站或应用进行分类的域。附加地或替代地,解析可以是标识两个文本串之间的相似性的简单相似性模型。例如数据库可以容纳用语义意图标记文本“现在订购”的信息。解析器可以爬取网站并标识网站中的任意类似文本项。在以上示例之后,网站可以包括文本“现在订购”。然后,网站文本可以与在数据库中存储的语义意图相关联。另外或替代地,机器学习模型(例如支持向量机、条件随机场、判别随机场、递归神经网络)可用于解析网站。
方法200继续将页面结构与域定义操作206匹配。在操作206中,将所标识的网站或内容的域与一个或多个现有CU系统匹配。例如数据库108可以存储一个或多个CU系统,并且每个CU系统可以具有一个或多个关联域。特别是,网站可能与订购披萨有关。数据库可以存储与餐馆有关的CU系统。这样,在该示例中,解析步骤204可以标识披萨网站与餐馆域相关。因此,将匹配和标记包括餐馆域的CU系统。然后可以将CU系统提供给用户界面创作平台106以进行确认。
方法200继续匹配动作数据操作208。在操作208中,来自解析的内容的信息用于匹配在操作206中匹配的匹配CU系统的一个或多个任务。继续披萨交付网站示例,动作“订购披萨、“接受付款”、“创建客户简档”可以被标识为可以使用与餐馆相关的预先存在的CU系统来执行的任务。解析的内容可以揭示网站被设计为接受披萨的订单以及支付,但是不能创建用户简档。因此,可以将任务“订购披萨”和“接受付款”提供给用户界面创作平台106以进行确认。
在各方面中,技术群体动作数据操作208标识与匹配的CU系统的一个或多个任务相对应的网站的信息。继续上面的示例,网站可以显示文本,其中读出“现在订购”,然后是用户可以输入数据的字段。在本技术的各方面中,与字段相关联的文本(诸如披萨大小、披萨类型、酱类型等)可以被标识为与现有CU系统的任务相关联的参数。也就是说,在示例中,可以解析网页以发现用户可以订购披萨(将映射到现有CU系统的任务的动作)并且另外可以标识参数(披萨大小、陷料、类型、酱汁类型等),其可以对应于映射任务的参数(即,所标识的参数成为任务的槽)。
方法200继续检查和改进对话系统210。在操作210中,可以改进对话系统。例如解析的内容可以包括诸如“Tony的披萨”、“大披萨”、“夏威夷披萨”等的实体。与匹配的CU系统相关联的对话系统可以包括具有实体的占位符的对话,诸如“您是否希望我从{餐馆}订购{食物_类型}”。按照此示例,对话系统可能被更新以包含对话“您是否希望我从Tony的披萨订购披萨”。这可以通过用对话系统210的占位符实体替换所解析的内容的所标识的实体来发生。可以将建议的替换提供给图1的用户界面创作平台106以用于确认。
系统300示出了信息流的一个方面,该信息流可以用于使用解析的内容(诸如网站)来增强现有的CU系统。在各方面中,网站304可能已经由作者使用用户界面创作平台106标识。例如对适配CU系统以使用户能够与现有网站进行声音交互感兴趣的网站开发者可以使用用户界面创作平台106来标识网站。然后将该网站提供给内容抓取器304。
另外,向内容抓取器304提供一个或多个域。这些域可以由域定义引擎308提供。域定义引擎可以存储各种域。域可以是用于执行一系列任务以便解析用户查询的应用或相关计算机可执行应用集合。也就是说,当用户使用自然语言与设备交互时,用户的意图通常是让计算机执行一个或多个动作。这些操作按域被分组。作为示例,查询“请将我的4:00更改为4:30”具有语义含义,其包括在日历应用中将之前安排在下午4:00的预约移动到下午4:30。域应用会将请求分类为包括在日历域应用中。分类可以帮助上下文化进一步的请求。例如如果下一次交互是“取消在我的4:30之后出现的任意其他事情”,则如果计算机将请求解释为在日历域中,则减少了解析语句的语义含义所需的处理时间和资源。因此,域引擎存储域集合和相关任务。域引擎可以从用户接收网站的预期域。例如作者可以使用用户界面创作平台106来标识网站的预期域。作为具体示例,用户可以标识提供关于“Tony的披萨”的信息的网站的餐馆域,并且另外使用户能够从该网站订购食物。
知识存储库310可以是存储实体信息的数据库或分布式网络系统。例如知识存储库中的每个实体可以具有关联的知识图。例如实体可以存储为节点,并且实体可以通过边缘连接到其他实体。边缘可以定义实体之间的关系。例如实体可以是城市,诸如Bellevue。该实体Bellevue可以通过一种指示Bellevue是华盛顿州城市的关系来与实体华盛顿州连接。虽然这是一个示例,但是实体、与其他实体的关系以及实体数据(诸如在该示例中,Bellevue的人口)可以存储在知识库310中并且被发送到网站抓取器。知识库310可以用从网站搜索爬虫获得的信息播种。
将所识别的内容信息(例如网站URL)与来自域引擎308的域信息一起提供给内容抓取器312。内容抓取器312解释内容的语义含义(所示的内容是网站)。在各方面中,通过从域引擎308接收的域信息来辅助解释。可以使用如上所述的自然语言解析器来确定内容的语义含义。
另外,内容抓取器312分析网站的功能。例如网站中指示网站能够在用户的指导下采取行动的诸如可点击标签、文本输入字段、视频捕获标签等的对象由内容抓取器312记录。可以标识和存储这些动作对象。此外,信息可以由系统输入到网站的字段中。这些信息允许系统标识在将信息输入到网站时网站所采取的行动。例如如果网站是披萨订购网站,则系统可以到达页面,其中网页能够接收与订单有关的信息。该信息可以包括披萨的大小(例如如下拉菜单中所示)和披萨馅料(例如如下拉菜单中所示)。系统可以随机选择每个下拉菜单中的可选项之一以模仿用户可以采取的动作。作为示例,这可以提示网站启用“下一步”按钮。然后系统可以与下一个按钮交互。继续此示例,与“下一步”按钮的交互可能导致网站导航到付款页面。以这种方式,系统可以识别网站的动作(在这种情况下,定制披萨并为披萨付款)。
将解析的内容(以及解释的语义含义)连同标记的动作一起发送到动作定义存储库314,其中基于解析的内容标识一个或多个任务。在动作定义存储库314中,使用从内容抓取器312确定的信息来标识一个或多个任务。例如网站可以具有带有标签“现在订购”的可点击对象,其将用户带到用户可输入与用户希望购买的食物有关的各种信息的页面。可以将该信息传递给动作定义以标识与动作相关联的现有CU系统的对应任务。
来自域定义存储库308、知识库310和动作定义存储库314的信息被提供给完整对话和任务定义存储库316。该信息用于增强和更新对话知识库。例如在网站中标识的实体以及域可以用于标识合适的对话系统。继续涉及促进披萨订购的网站的示例,可以更新对话系统,该对话系统与餐馆域相关。然后可以将该信息传递给数字助理318。数字助理318可以使用它接收的信息来使用户能够进行声音交互以使用该网站。
图4示出了可以被解析以增强CU系统的内容400的示例。如图所示,图4是网站。所示的网站包括三个实体,但是应当理解,可以针对给定内容解析更多或更少的实体。所标识的实体包括实体披萨402、实体肉404和实体“现在订购”406。
在本技术的各方面中,解析内容400以确定可能与内容相关的一个或多个CU系统和关联的LU/对话系统。在所示示例之后,可能已经标识出与餐馆相关的CU系统。标识可以通过系统解析内容400发生以识别文本“披萨”与食物实体相关并且文本“肉”也是食物实体。计算机可以使用自然语言理解模型来确定这一点。实际上,作者可能已经将域提供给系统以帮助确定该实体是食品实体。类似地,实体“现在订购”可以被标识为实体。这些实体中的每一个以及域是餐馆域的知识可以帮助确定与网站相关的动作可以包括“现在订购”。可以在CU系统中标识该动作,CU系统可以使用所标识的实体“披萨”和“肉”来填充现在订购任务的参数选项。
图5是用于解析内容以确定任务、实体和参数的方法500。方法500以解析显示的元素操作502开始。在操作502中,可以解析诸如网站的内容以确定语义含义。可以使用诸如SemWebParser的解析器来执行解析;然而,本领域技术人员将理解,在不脱离本公开的范围的情况下,可以采用其他解析器。
然后,方法500继续确定动作操作504。在操作504中,使用解析的信息来识别与解析的内容相关的一个或多个潜在动作。例如在内容是网站的情况下,可以标识诸如“现在订购”或“创建客户简档”的动作。标识可以通过文本的语义含义(例如说“现在订购”的文本)以及标识网站中允许用户执行动作的对象(将其带到订购屏幕的可点击区域)来发生。继续上面的示例,在将用户带到网页的可点击区域上显示文本“现在订购”是可以输入文本字段,这指示内容(在这种情况下是网站)具有从用户接收动作的能力的高概率。
然后,方法500继续将元素与参数描述操作506匹配。在操作506中,标识内容源(诸如网站)的元素以确定该元素是否匹配在操作504中标识出来的任务的任意参数(必要或可选)。即,解析和标识与动作相关联的输入。例如网站操作可以具有“现在订购”可点击项目,该项目将用户带到包括用户可以输入文本的多个字段的另一个网页。这些字段可以包括诸如“地址”、“名称”的参数。此外,页面可以包括具有诸如“披萨大小”、“馅料”等项目的下拉字段。这些字段、下拉列表等等被添加为任务参数的潜在解决方案。例如在现有CU模型包括具有参数(食物_类型,食物_类型_选项)的任务,并且内容包括允许用户订购披萨或馅饼,并且其中每个可以具有意大利辣味香肠、香肠和/或蘑菇的情况下,CU模型可以将食物_类型标识为可能是馅饼或披萨,并且选项可以是意大利辣味香肠、香肠和/或蘑菇。
然后,该方法继续增强对话操作510。在510,利用所标识的实体和参数来增强对话系统。继续上面的示例,现有CU系统可以包括对话,该对话说出“您想订购食物_类型(1)-食物_类型(n)”和“您希望您的{食物_类型}?使用{食物_类型_选项(1-m)}?”(其中n是食物类型的数目,m是食物_类型_选项的数目)。对话系统可以用解析的内容替换占位符实体以增强对话。按照上面的示例,对话系统可以更改为“您想要订购披萨还是Calzone”和“您希望您的披萨具有意大利辣味香肠、香肠和/或蘑菇?”在操作510之后,该方法结束。
图6是用于更新对话系统的方法600。方法600以评估现有对话操作602开始。在各方面,评估现有对话系统以确定与建议任务相关联的相关对话提示。例如CU系统可以具有多个任务。该任务集合可能已被标识为对诸如网站的特定内容可能有用。该任务可能具有相关的对话系统。可以分析对话系统以确定需要添加什么。例如在对话系统中使用占位符实体的情况下,可以用所识别的内容实体替换占位符实体。
在用从解析内容获得的实体更新对话系统之后,方法600继续确定操作604。在确定操作604中,确定所标识的CU系统是否具有任意对话缺陷。例如对话系统可能没有特定用于增强任务的占位符实体。
如果在确定操作604处检测到缺陷,则流到分支YES,并且方法600继续使用默认操作606。默认对话可以替换占位符实体。例如对话系统可能包括“您想从{实体_餐馆_名称}订购什么”,其中实体_餐馆_名称是餐馆的占位符实体。在各方面,解析的内容可能尚未标识餐馆名称。然后可以使用默认对话数据“该餐馆”来增强系统。因此,得到的对话将是“您想从这家餐馆订购什么”。
如果没有检测到缺陷(或者如果使用默认值),则方法600分支NO并且从确定操作604继续以保存任务格式操作608。在保存任务格式中,来自预先存在的CU系统的任务格式被保存并标记为与内容项关联的潜在任务。
然后,方法600前进到审查任务表单操作610。在审阅任务表单操作610中,审查任务表单。在该技术的各方面中,可以使用创作平台106来审查任务表单。在操作610之后,该方法结束。
图7是用于使用增强CU系统与用户交互的方法700。方法700以接收自然语言输入操作702开始。在本技术的各方面,自然语言输入可以是声音输入。例如声音输入可以包括“我想从Tony的披萨订购披萨”。声音输入的解释可以包括标识与该请求相关联的网站。例如可以训练自然语言理解模型以在接收到这样的请求时在因特网上搜索与“Tony的披萨”相关联的网站。
方法700继续标识关联的CU系统操作703。在操作700中,确定搜索的网站是否具有关联的CU系统。例如网站可以是与使用本文描述的系统和方法的增强CU系统相关联的网站。
然后,方法700继续标识任务操作704。在操作704中,解释自然语言输入以标识任务。例如可以使用自然语言理解模型来解释自然语言输入。在以上示例之后,可以使用增强CU系统确定用户正试图从网站订购食物。
该方法继续标识参数操作706。在标识参数操作706中,可以从声音输入标识一个或多个参数。例如如果自然语言输入是“从Tony的披萨订购食物”,则可能没有标识的参数。如果自然语言输入是“从Tony的披萨订购披萨”,则食物_类型参数被标识为披萨。
然后,方法700继续将参数信息输入到网站操作708中。在操作708中,将所标识的参数输入到网站中。如果需要附加的参数,则该方法继续向用户提供对话。例如如果需要食物_类型,那么对话系统可以询问用户“好的,您想从Tony的披萨订购什么”。如果披萨被理解为参数,那么该方法可以是对话系统可以返回“好的,您想要什么馅料在您的披萨上”。
然后,方法700进行到确定710。在确定710,确定任务是否需要附加的参数来完成任务。例如如果任务涉及订购食物,并且用户未能输入支付信息,则与支付信息(例如信用卡、姓名、有效期等)相关的参数将被标识为附加参数。
如果在确定710处确定需要附加参数,则继续向用户方法700提供对话以继续向用户操作709提供对话。在操作709,向用户提供对话以引出所需的附加参数。要继续上面的示例,提供给用户的对话可能是“您希望如何支付它”、“您的信用卡号码是什么”等。然后,用户向系统提供输入,并且在操作706处分析该输入以标识参数。
该循环继续,直到不再需要参数来执行任务。当不需要其他参数时,该方法然后继续执行动作操作712,其中动作被执行。
图8示出了用于使用诸如图1的用户界面创作平台106的用户界面创作平台来确认所标识的任务的示例方法800。如本文所述,用户界面创作平台允许第三方应用设计者除了其他功能之外,还确认/指定在诸如网站的内容中标识的任务和对应参数。另外,第三方应用设计者可以选择用于分析和提取语音的适当LU模型,以确定用户的意图,因为它涉及在诸如网站的内容中标识的定义的任务。任务的确认包括确认每个参数的值是由用户提供的还是由CU系统推断的,确认如果需要附加输入则如何从用户请求信息,确认标记输入是否足以包括用于满足一个或多个定义的参数的信息,并将标记的用户输入作为用户输入与已经收集的其他参数组合,以便规范化和解析表示该特定参数的实体。
例如在网站涉及订购出租车的情况下,解析器可以将表示用户位置的先前收集的参数与表示用户期望的出租车类型的标记用户输入组合以确定由用户请求的出租车的类型是否可用。如果这种出租车类型可用,则解析器可以提供产品标识。替代地,如果没有这种出租车类型可用,则解析器可以提供错误消息,该错误消息指示所请求的特定类型的出租车在该位置不可用。在另一个示例中,诸如电话呼叫体验,系统可以使用先前收集的参数来指示要呼叫哪个联系人,以及表示电话号码类型(例如工作、家庭或蜂窝)的标记用户输入,以便标识要拨打的实际电话号码。
应当理解,用户界面创作平台106可以用于指导作者确认任务、确认LU模型、意图、参数、解析器、验证条件等、在基于解析的内容诸如网站的情况下确认哪些选项。用户界面创作平台106可以通过基于解析的内容向作者提供建议来在整个创作过程中指导作者。例如用户界面创作平台106可以基于解析的内容来提供针对可能的意图、槽标签、参数、解析器、验证条件等的建议。
此外,尽管本文提供的图示和示例描述了使用平台106的特定实现,但是本公开的新颖方面也可以使用集成开发环境(IDE)来实现,诸如例如由华盛顿州雷德蒙德的Microsoft提供的Visual Studio。使用IDE的这种实现允许作者使用非基于Web门户的类似文本的开发人员工具来确认任务规范。这样的IDE还可以提供对任务定义文件的发现、自动完成、其他建议和语法校正的支持。参考图9示出并描述了示例IDE。
在任务确认操作802中,用户界面创作平台106提示第三方应用作者(下文中称为“作者”)确认任务。特别地,确认任务可以涉及确认任务名称和/或相关描述。在示例中,用户界面创作平台106可以呈现对话框,其提示作者确认特定应用执行的任务的名称。例如可以基于诸如网站的解析内容将任务识别为用于出租车服务应用的“预定出租车”。在其他示例中,可以将任务标识为体育应用的“找到分数”。任务定义操作802还可以提示作者增加/添加要由CU系统执行的任务的描述。在上面的示例中,“预定出租车”任务名称可以与描述相关联,诸如例如“使用Cortana启用预订出租车的任务”。在任务确认操作802中,用户界面创作平台106还提示作者确认与该任务相关联的至少一个LU域或类别,可能已基于解析的内容选择了LU。语言理解模型可以按其相关域进行组织。因此,可以基于在解析的内容中标识的域向作者呈现LU域的建议。
例如在网站与预订出租车相关的情况下,所标识的域可以是“出租车”或“运输”。因此,域的标识可以提供对LU模型的选择的建议,作者可以从该LU模型中选择(或确认)。这些建议的域可以从一个或多个可用域提供并保存在数据库108中。可以理解,所标识的内容任务可以具有与其相关联的一个或多个LU模型。因此,作者可以建议和/或确认多于一个LU模型。每个LU模型可以彼此独立。例如在预定出租车任务示例中,一个建议的LU模型可以是运输LU模型,另一个建议的LU模型可以是时间和日期LU模型
在确认触发域操作804中,作者可以确认与所标识的任务相关联的一个或多个附加触发域,该任务可能已经从解析的内容中被标识。通常,触发域被认为是触发意图的集合,其包括用于标记执行任务所必需的信息的槽标签。在示例中,“警报”触发域可以包括可以被采取的各种动作的触发意图,诸如例如“增加_警报”、“修改_警报”、“查询_警报”和“删除_警报”,其中用于满足那些触发意图的对应槽标签可以是例如“警报_名称”、“警报_时间”等。因此,应当理解,在操作802中,建议的LU域具有与其相关联的一个或多个触发意图和对应的槽标签。如果操作802中的建议域不包括执行任务所需的所有意图,则作者在操作804中可以选择包括用于任务执行的一个或多个附加触发意图的一个或多个附加触发域。因此,用户界面创作平台106可以基于解析的内容建议用于触发任务的执行的另一个触发域。基于建议的触发域和相关联的LU模型,用户界面创作平台106可以提示作者选择与所选择的触发域相关联的填充的触发意图中的一个。在出租车预约示例中,可以选择诸如“餐馆”的附加域,并且用户界面创作平台106可以填充与所选择的餐馆域相关联的一个或多个意图,除了其他意图之外,还包括“增加_小费”意图和对应的槽标签,诸如“小费_量”。因此,解析的内容可以提供关于一个或多个预先存在的域的建议以创作任务。附加地或替代地,作者可以使用用户界面创作平台106创建新意图并构建特定于新创建的意图的LU模型。因此,作者可以完全创建新域或增强建议域。
每个建议的意图可以与一个或多个LU模型相关联,所述LU模型包括与执行任务相关联的常用短语或词语。继续出租车示例,可以基于意图(例如通过解析诸如网站的内容来确定)来建议LU模型,或者作者可以选择对应的LU模型。在示例中,对于“预定_出租车”意图,作者可以使用建议的LU模型,其可以包括预定出租车LU模型。预定出租车LU模型可以特别涉及标识与预订出租车的意图(例如这种意图通过解析内容来确定)相关联的语音(包括词语和短语)。替代地,如果期望的LU模型不可用,则作者可以创建对应于特定任务的新LU模型。可以理解,可以建议多于一个意图和多于一个模型来触发任务。
替代地或另外地,作者可以使用用户界面创作平台106白名单化或硬编码触发所定义的任务的某些查询或短语。因此,如果CU系统接收到精确的口头查询,则任务将被触发并且可以使用所选择的LU模型来辅助CU系统执行任务。
在LU模型覆盖决策806中,用户界面创作平台106可以询问作者在数据库108中存储的建议LU模型是否足以触发任务的执行。如果存储的LU模型不足以触发任务流程的执行,则进行到操作808,其中作者可以添加先前未在数据库108中存储的一个或多个LU模型。在一些示例中,作者可以创建这样的LU模型以触发执行已定义的任务。在一些示例中,作者还可以将创建的模型保存在数据库108中。
替代地,如果在LU模型覆盖决策806处确定建议的LU模型足以触发所定义的任务的执行,则流程进行到定义参数操作810。在确认参数操作810中,确认参数。如本文所述,可以通过在任务执行之前满足的一个或多个参数来描述任务。参数指定在执行任务之前由CU系统需要收集的任务和信息片段。参数涉及操作802中定义的任务并提供针对操作802中定义的任务的信息。参数可以对应于在可以执行任务之前必须由CU系统收集或处理的信息。例如参数可以对应于诸如“预定出租车”任务的开始位置的信息。参数可以被分组为所需参数或可选参数,其中所需参数是必须为要执行的任务收集的信息片段,并且可选参数是进一步细化任务但是对于任务执行不是必需或者其默认值或推断值足以执行任务的参数。另外,参数是可选的还是需要的可以根据对在运行时评估的其他参数值的状态或值的表示而被表示。每个参数的值由CU系统收集或由系统推断。例如如果参数需要人的位置,则该人可以提供该信息,或者CU系统可以使用该设备的GPS系统来确定该人的位置。替代地或另外地,如果时间是参数,则该人可以向CU系统提供时间,或者系统可以推断如果没有指定时间,则使用当前时间或某个其他时间。
在确认参数操作810中,对于通过解析诸如网站的内容而标识的每个参数,用户界面创作平台106可以确认参数的名称、参数类型以及与特定参数相关联的一个或多个槽标签(例如对于“预定出租车”任务,槽标签可以是例如“开始_位置”和“结束_位置”)。在一个示例实现中,作者可以确认参数的名称、参数的描述、参数类型、一个或多个参数槽标签、参数的适当解析器、指示参数是否是唯一值的选择、以及指示参数是否需要用户确认的选择。另外,可以使用一个或多个对话动作来定义系统如何获得每个参数的信息。在一些方面,对话动作可以被定义为被显示或以其他方式提供给用户的提示,并且在其他方面,对话动作被不同地定义。在定义参数操作中,信息收集对话动作可以是,例如缺失值对话动作、消歧对话动作、无结果对话动作、建议对话动作、用于提示用户从可能的值的小列表中选择的选择对话动作、和提示用户确认参数的值的确认对话动作。一个或多个对话动作可以用于定义用户界面实现,用于从用户获得与每个参数相关的这种信息。特别地,作者可以定义可以提供给用户的一个或多个用户界面,以简单地向用户显示信息或获得用于任务执行的信息。在“预定出租车”任务示例中,可以使用对话动作来定义可以在用户的设备上显示的地图用户界面,该地图用户界面响应于接收与“目的地_位置”参数有关的信息而示出接车位置。此外,在“预定出租车”任务示例中,响应于接收到无法找到或由系统决定的接车位置,可以使用另一个对话动作来定义用户设备上的附近或潜在位置的交互式地图或可选择列表。
返回参考确认参数操作810,参数描述可以是提供关于参数的进一步细节的文本串。例如在出租车示例中,对于参数名称“结束_位置”,相关联的描述可以是“旅行的目的地位置”。该描述可以由作者确认。
参数类型可以对参数进行分类。例如“结束_位置”参数的参数类型可以是“住所”类型。该类型可以是CU系统理解的预定义类型。因此,通过将类型设置为“住所”,CU系统可以理解结束_位置参数对应于纬度/经度坐标。应当理解,参数类型可以由作者从参数类型列表中定义或选择。
一个或多个槽标签用作用于解析参数的输入。在该示例中,槽标签“绝对_位置”、“住所_类型”和“住所_名称”可以基于解析的内容而被建议,并且由作者确认,每个标签对应于在用户输入话语中标记的特定类型的位置信息。例如“One Microsoft Way”可以被标记为“绝对_位置”,而“Space Needle”可以被标记为“住所_名称”。总的来说,对应于“绝对_位置”、“住所_类型”和“住所_名称”的实例的槽值集合将用于将用户输入解析为一个或多个场所实体,这将形成参数结束_位置的可能值。
针对每个参数的建议解析器可以用于通知CU系统如何解析或理解检测到的关键字。在该示例中,可以建议“住所解析器”(基于解析的内容),其通知系统所提供的参数与纬度和经度坐标相关联。在“预定出租车”任务示例中,对于汽车偏好参数,CU系统从自然语言查询中提取用户的汽车偏好。基于所提供的解析器,CU系统将汽车偏好确定或解析为汽车标识。在一些示例中,应当理解,解析器的作者身份可以使用解析的内容被半自动化。
另外,可以基于解析的内容来建议缺失值对话动作。缺失值对话动作可以指令CU系统如果没有从查询获得值则从用户请求参数值。例如缺失值对话动作可能是提示字符串,诸如针对“结束_位置”参数的“你想去哪里?”。对话动作还可以用于指定相关的用户体验,诸如在设备的显示器上显示提示字符串,或者向用户口头提供提示。在“结束_位置”参数示例中,可以基于解析的内容来建议使用地图用户界面来显示可选择的地图,该地图允许用户简单地选择目的地位置而不是口头提供或键入它。在诸如具有“预约_时间”参数的“预定餐馆”任务的另一示例中,可以基于解析的内容建议提供用户界面以显示用户可以从其选择作为预约时间的适当时间的可选择列表。
消歧对话动作可以基于解析的内容来建议,消歧对话动作指令CU系统要求用户验证参数的特定值以便解析可能由于CU系统获得参数的多个潜在值而产生的歧义。例如响应于从自然语言查询中提取两个不同的位置,CU系统可以显示所获得的值的列表以及诸如“请选择您的目的地位置”的提示。在其他示例中,CU系统可以简单地提示用户重新陈述目的地位置而不提供选择。响应于接收到冲突的信息片段可以被显示或以其他方式提供给用户的用户界面对话动作,可以基于解析的内容而被建议。在示例中,可以基于解析的内容来建议在用户的设备上显示冲突的信息的列表的对话动作。此外,可以基于解析的内容来建议对话,该对话向用户显示用于选择正确信息的请求,或者,如果所显示的信息都不合适,则可以基于解析的内容来建议请求用户手动或口头提供信息。
建议的无结果对话动作可以指令CU系统指示没有返回结果。例如使用用户界面创作平台106,建议的对话动作还可以/替代地指示没有返回结果。
建议的建议对话动作可以指令CU系统响应于不返回结果而向用户提供一个或多个建议。例如建议的框可以定义诸如“请选择位置”的提示和包括建议位置列表或显示建议位置的地图的相关用户界面。
在标识解析器操作812中,对于每个参数,用户界面创作平台106具体标识在标识参数操作810中选择的解析器。例如标识解析器操作812可以包括标识库的名称和相对路径,所选解析器以及解析器库中函数名称的标识驻留在所述库中。
建议的对话框可以定义故障对话动作,其在无法解析参数的情况下向用户提供故障提示。在一个示例中,对于基于位置的参数,建议的对话框可以定义提供文本字符串的对话动作,该文本字符串记载“对不起,我现在无法解析该位置”。
在标识验证条件操作814中,用户界面创作平台106可以基于解析的内容提供建议以定义在任务完成之前必须满足的条件以及如果违反这些条件中的一个或多个,系统应该做什么。在示例中,当预订出租车时,验证条件将确保仅使用地面运输可以到达开始和结束位置。在另一示例中,对于电子邮件发送任务,验证条件将确保在发送电子邮件之前电子邮件的主题和正文都不是空的。
在最终任务建议操作816中,可以定义最终动作或任务。在示例中,最终任务建议操作816可以基于解析的内容建议用于最终动作的名称以及需要为任务执行提供的所需和可选输入参数的每一个的列表。最终任务建议操作816可以进一步提示用户提供与最终动作相关联的解析器。最终动作解析器负责提供要显示给用户的最终信息片段,或者代表用户执行动作。例如在出租车示例中,最终行动解析器负责基于所接收的信息放置出租车的订单。在一个示例中,最终动作解析器还可以包括返回可以向用户显示的确认码。在最终任务建议操作216中,建议可以定义确认对话动作,其提示用户在任务执行之前确认任务执行。在出租车示例中,可以基于解析的内容来建议包括诸如“您希望我现在预订此行程吗?”的提示的确认对话动作。替代地,在最终任务标识操作216中,建议可以定义提示用户确认任务的未执行的确认失败对话动作。可以不基于用户与系统的交互或不基于预定时间段的累积来执行任务。在出租车示例中,诸如“我不会预订此行程。你想改变什么?”的确认失败对话动作可以通过建议来定义并提供给用户。在最终任务标识操作216中,建议可以定义完成对话动作,其指定在执行任务的情况下要显示或以其他方式提供给用户的完成提示。在出租车示例中,诸如“您的出租车已被预订。您的预订ID是<ID>”的完成提示可以被提供给用户。
因此,方法800向第三方应用作者提供确认可以使用设备的CU系统执行的一个或多个建议任务的能力以及创作一个或多个对话动作的能力。在确认任务时,方法900允许第三方应用作者利用第三方LU模型结合解析的内容来半自动化标识与任务相关联的必要和可选参数的任务,以及利用CU系统使用的一个或多个第三方解析器来理解检测到的关键字以完成任务。
图9示出了用于确认任务的用户界面创作平台的示例屏幕截图900,如参考图8的任务定义操作802所描述的。如示例屏幕截图900中所示,用户界面创作平台106包括:文本框902,用于提供任务名称;文本框904,用于提供任务的描述。用户界面创作平台106还提供下拉菜单906,其具有作者可从其选择的LU模型的列表。在其他方面,可以由用户提供而不是选择LU模型。
图10示出了用于确认一个或多个触发域并标识一个或多个相关意图的示例用户界面创作平台,如参考图8的选择触发域操作804所描述的。如示例屏幕截图1000中所示,如果期望改变建议的域和意图,在一个示例中,用户界面创作平台106包括用于选择用于触发特定任务的附加/替代域的下拉菜单1002。基于菜单1002中的所选择的附加域,可以在作者可以从中选择的建议意图下拉菜单1004中自动填充一个或多个对应意图。如本文所述,建议的意图将是将用于触发任务执行的模型的基础。示例屏幕截图1000还包括选择框1006,其标识作者想要白名单还是硬编码触发查询。如果选择,则选择框1006将揭示用于体验作者的附加输入文本框以提供触发查询的列表(未示出)。
图11示出了用户界面创作平台106的示例屏幕截图,用于符合和编辑建议参数,如参考图8的确认参数操作810所描述的。如示例屏幕截图1100所示,用户界面创作平台106可以包括标识参数名称的菜单1102以及用于标识参数描述的菜单1104。应当理解,菜单1102和1104可以基于根据解析的内容标识的意图而被预先填充,该意图与参数相关联。用户界面创作平台106还可以包括菜单1106,用于标识对参数进行分类的类型。可以理解,菜单1106可以是下拉菜单,作者可以从其中选择适当的参数类型。更进一步地,用户界面创作平台106可以包括菜单108,以提供或选择映射到特定建议参数的一个或多个槽标签。用户界面创作平台106可以包括用于为建议参数提供或选择解析器的菜单。
用户界面创作平台106还可以包括菜单1112,用于定义对话动作,该对话动作指令CU系统如果未从查询获得参数值则从用户请求参数值(例如缺失值对话动作)。在一些方面,菜单1112是下拉菜单,其包括作者可以从中选择的一个或多个建议的提示字符串。在其他方面,作者可以提供提示字符串。然而在其他方面,提供了其他对话动作,诸如对应的用户体验/界面。还可以向作者显示选择,允许作者从菜单512查看每个所选择的提示。
此外,用户界面创作平台106可以包括菜单1114,用于定义对话动作,该对话动作指令CU系统要求用户验证参数的特定值,以便解析可能因为CU系统获得参数的多个潜在值而出现的模糊(例如,消歧对话动作)。类似于菜单1112,菜单1114在一些方面可以是下拉菜单,其包括一个或多个消歧建议的提示,作者可以从其中选择或者作者可以提供提示和对应的用户体验/界面。选择也可以显示给作者。
用户界面创作平台106还可以包括指示参数是否是唯一值的选择框1116和指示参数是否需要用户确认的选择框1118。
应当理解,图11仅仅是示例性的,并且各种菜单1102-1114各自都可以是作者可以从中选择的可能对话动作的下拉菜单。还可以存在相关联的选择按钮,诸如“添加”按钮,允许作者从菜单1102-1114之一添加建议的对话动作。在这样的示例中,一旦添加了所选择的对话动作,该对话动作可以在显示器中显示,允许作者查看每个所选择的对话动作。还可以存在允许作者定义一个或多个相关用户界面的附加功能,如本文中参考定义参数操作810所描述的。因此,应理解,图11仅仅是示例性的,并不旨在将本公开限制于图示的配置。
图12示出了用于标识解析器的用户界面创作平台的示例屏幕截图,如参考图8的标识解析器操作812所描述的。如示例屏幕截图1200中所示,用户界面创作平台106包括用于提供或选择一个或多个建议的解析器的菜单1202,和用于提供所建议的解析器驻留在其中的库的目录路径的菜单1204。用户界面创作平台106还可以包括菜单1206,用于在建议的解析器库内提供特定的功能名称或类名。更进一步地,用户界面创作平台106可以包括用于定义对话动作的菜单1208,该对话动作可以是例如指示是否不能解析参数的解决方案失败提示对话动作。在一些方面,菜单1208是下拉菜单,其包括作者可从中选择的一个或多个故障提示字符串。在另一示例中,一旦被选择,可以向作者显示失败提示字符串,允许作者从菜单1308以及对应的用户体验/界面中查看每个建议的失败提示字符串。
应当理解,图12仅仅是示例性的,并且各种菜单1202-1208各自可以是作者可以从中选择的可能对话动作的下拉菜单。还可以存在相关联的选择按钮,诸如“添加”按钮,允许作者从菜单1202-1208之一添加建议的对话动作。在这样的示例中,一旦添加了建议的对话动作,该对话动作可以在显示器中显示,允许作者查看每个建议的对话动作。还可以存在允许作者定义一个或多个相关用户界面的附加功能,如本文中参考标识解析器操作212所描述的。因此应理解,图12仅仅是示例性的,并不旨在将本公开限制于图示的配置。
图13示出了用户界面创作平台106的示例屏幕截图1300,用于标识参考图8的标识验证条件操作814所描述的验证条件。如本文所述,用户界面创作平台106还提供确认建议的验证条件的能力,该条件定义了用于建议任务执行的一个或多个参数中必须存在的一个或多个有效条件。如示例屏幕截图1300中所示,用户界面创作平台106包括用于确认条件的建议名称的菜单1302和用于提供所选验证条件驻留的库的目录路径的对应菜单1304。用户界面创作平台107还可以包括菜单1306,用于在所标识的验证条件库内提供特定功能名称或类名。在示例中,一旦建议用于提供特定名称的菜单1306中的值,就可以出现下拉菜单1308和文本框1310。例如下拉菜单1308可以包含为了完全实现该功能而需要提供的附加功能规范参数。从菜单1308中选择每个参数可以产生与文本框1310中的该参数相对应的值,允许作者编辑或以其他方式修改该值或者如果未提供则提供新的值。另外,菜单1312可列出如图11中所指定的任务的所有参数。作者可从下拉菜单112中选择任务的一个或多个参数以用作验证功能的输入参数。
图14示出了用于确认最终动作的用户界面创作平台的示例屏幕截图,如参考图2的最终任务确认操作816所描述的。如示例屏幕截图1400中所示,用户界面创作平台106包括:文本框1402,用于确认建议的最终动作的名称;以及文本框1404,用于提供用于任务执行的所需和可选输入参数的列表。用户界面创作平台106还可以包括:文本框1406,用于确认与建议的最终动作相关联的解析器。用户界面创作平台106还可以包括:菜单1408,用于定义在任务执行之前提供给用户的确认对话动作。用户界面创作平台106还可以包括:菜单1410,用于确认未执行任务的事件的建议确认失败对话动作。用户界面创作平台106还可以包括:菜单1412,用于确认完成对话动作。
图15是说明可用其实践本发明的各方面的计算设备1500的物理组件(例如硬件)的框图。下面描述的计算设备组件可以具有用于在计算设备上实现用户界面创作平台1520的计算机可执行指令,该计算机可执行指令包括用于用户界面创作平台1520的计算机可执行指令,其可以被执行以采用本文公开的方法。在基本配置中,计算设备1500可以包括至少一个处理单元1502和系统存储器1504。取决于计算设备的配置和类型,系统存储器1504可以包括但不限于易失性存储装置(例如随机存取存储器)、非易失性存储装置(例如只读存储器)、闪存或这些存储器的任意组合。系统存储器1504可以包括适合于运行用户界面创作平台1520或者关于图1的一个或多个组件的操作系统1505。操作系统1505例如可以适合于控制计算设备1500的操作。此外,本公开的各方面可以结合图形库、其他操作系统或任意其他应用来实践,并且不限于任意特定应用或系统。该基本配置在图15中由虚线1508内的那些组件示出。计算设备1500可以具有附加特征或功能。例如计算设备1500还可以包括附加数据存储设备(可移动和/或不可移动),诸如例如磁盘、光盘或磁带。这种附加存储装置在图15中由可移动存储设备1509和不可移动存储设备1510示出。
如上所述,多个程序模块和数据文件可以存储在系统存储器1504中。当在处理单元1502上执行时,程序模块1506(例如用户界面创作平台1520)可以执行包括但不限于本文描述的方面的过程。其他程序模块可以根据本公开的各方面使用,尤其是用于提供用户界面创作平台。
此外,本公开的各方面可以在包括分立电子元件的电路、包含逻辑门的封装或集成电子芯片、利用微处理器的电路或包含电子元件或微处理器的单个芯片中实践。例如可以经由片上系统(SOC)来实践本公开的各方面,其中图15中示出的每个或许多组件可以集成到单个集成电路上。这样的SOC器件可以包括一个或多个处理单元、图形单元、通信单元、系统虚拟化单元和各种应用功能,所有这些都被集成(或“烧制”)到芯片衬底上作为单个集成电路。当经由SOC操作时,本文描述的关于客户端切换协议的能力的功能可以经由与单个集成电路(芯片)上的计算设备1500的其他组件集成的专用逻辑来操作。还可以使用能够执行逻辑操作的其他技术来实践本公开的各方面,例如AND、OR和NOT,包括但不限于机械、光学、流体和量子技术。另外,本公开的各方面可以在通用计算机或任意其他电路或系统中实践。
计算设备1500还可以具有一个或多个输入设备1512,诸如键盘、鼠标、笔、声音或语音输入设备、触摸或滑动输入设备等。还可以包括诸如显示器、扬声器、打印机等的输出设备1514。上述设备是示例,可以使用其他设备。计算设备1500可以包括允许与其他计算设备1550通信的一个或多个通信连接1516。合适的通信连接1516的示例包括但不限于射频(RF)发射器、接收器和/或收发器电路;通用串行总线(USB)、并行和/或串行端口。
本文使用的术语计算机可读介质可以包括计算机存储介质。计算机存储介质可以包括以用于存储诸如计算机可读指令、数据结构或程序模块的信息的任意方法或技术实现的易失性和非易失性、可移动和不可移动介质。系统存储器1504、可移动存储设备1509和不可移动存储设备1510都是计算机存储介质示例(例如存储器存储装置)。计算机存储介质可包括RAM、ROM、电可擦除只读存储器(EEPROM)、闪存或其他存储器技术、CD-ROM、数字通用盘(DVD)或其他光学存储器、磁带盒、磁带、磁盘存储器或可以用于存储信息并且可以由计算设备1500访问的其他磁存储设备或任意其他制品。任意这样的计算机存储介质可以是计算设备1500的一部分。计算机存储介质不包括载波或其他传播或调制的数据信号。
通信介质可以由计算机可读指令、数据结构、程序模块或诸如载波或其他传输机制的调制数据信号中的其他数据来体现,并且包括任意信息传递介质。术语“已调制数据信号”可以描述具有以对信号中的信息进行编码的方式设置或改变的一个或多个特性的信号。作为示例而非限制,通信介质可以包括有线介质,诸如有线网络或直接有线连接,以及无线介质,诸如声学、射频(RF)、红外和其他无线介质。
图16A和图16B示出了移动计算设备1600,例如移动电话、智能电话、可穿戴计算机(诸如智能手表)、平板计算机、膝上型计算机等,其中可以实践本公开的各方面。在一些方面,客户端可以是移动计算设备。参考图16A,示出了用于实现这些方面的移动计算设备1600的一个方面。在基本配置中,移动计算设备1600是具有输入元件和输出元件的手持式计算机。移动计算设备1600通常包括显示器1605和一个或多个输入按钮1610,其允许用户将信息输入到移动计算设备1600中。移动计算设备1600的显示器1605还可以用作输入设备(例如触摸屏显示器)。如果包括,则可选的侧输入元件1615允许进一步的用户输入。侧输入元件1615可以是旋转开关、按钮或任意其他类型的手动输入元件。在替代方面,移动计算设备1600可以包含更多或更少的输入元件。例如在一些方面,显示器1605可以不是触摸屏。在又一替换实施例中,移动计算设备1600是便携式电话系统,例如蜂窝电话。移动计算设备1600还可以包括可选的小键盘1635。可选的小键盘1635可以是物理小键盘或在触摸屏显示器上生成的“软”小键盘。在各个方面,输出元件包括用于示出图形用户界面(GUI)的显示器1605,视觉指示器1620(例如发光二极管)和/或音频换能器1625(例如扬声器)。在一些方面,移动计算设备1600包括振动换能器,用于向用户提供触觉反馈。在又一方面,移动计算设备1600包括输入和/或输出端口,诸如音频输入(例如麦克风插孔)、音频输出(例如耳机插孔)和视频输出(例如HDMI端口),用于向外部设备发送信号或从外部设备接收信号。
图16B是示出移动计算设备的一个方面的架构的框图。也就是说,移动计算设备1600可以合并系统(例如架构)1602以实现某些方面。在一个实施例中,系统1602被实现为能够运行一个或多个应用(例如浏览器、电子邮件、日历、联系人管理器、消息传递客户端、游戏和媒体客户端/玩家)的“智能电话”。在一些方面,系统1602被集成为计算设备,诸如集成的个人数字助理(PDA)和无线电话。
可以将一个或多个应用1666加载到存储器1662中并在操作系统1664上或与其相关联地运行。应用程序的示例包括电话拨号程序、电子邮件程序、个人信息管理(PIM)程序、文字处理程序、电子表格程序、互联网浏览器程序、消息传送程序等。系统1602还包括存储器1662内的非易失性存储区域1668。非易失性存储区域1668可用于存储如果系统1602断电则不应丢失的持久信息。应用程序1666可以在非易失性存储区域1668中使用和存储信息,诸如电子邮件或电子邮件应用使用的其他消息等。同步应用(未示出)也驻留在系统1602上,并被编程为与驻留在主计算机上的相应同步应用交互,以使存储在非易失性存储区域1668中的信息与存储在主计算机中的相应信息保持同步。应当理解,可以将其他应用加载到存储器1662中并在移动计算设备1600上运行,包括用于提供如本文所述的用户界面创作平台的指令。
系统1602具有电源1670,其可以实现为一个或多个电池。电源1670可以进一步包括外部电源,例如AC适配器或电源对接支架,其补充或重新充电电池。
系统1602还可以包括执行发送和接收射频通信的功能的无线电接口层1672。无线电接口层1672经由通信运营商或服务提供商来促进系统1602与“外部世界”之间的无线连接。在操作系统1664的控制下进行去往和来自无线电接口层1672的传输。换句话说,无线电接口层1672接收的通信可以通过操作系统1664被传播到应用1666,反之亦然。
视觉指示器1620可以用于提供视觉通知,和/或音频接口1674可以用于通过音频换能器1625产生可听通知。在所示实施例中,视觉指示器1620是发光二极管(LED),并且音频换能器1625是扬声器。这些设备可以直接耦合到电源1670,使得当被激活时,即使处理器1660和其他组件可能关闭以节省电池功率,它们仍然保持开启由通知机制指示的持续时间。LED可以被编程为无限期地保持开启,直到用户采取行动来指示设备的通电状态。音频接口1674用于向用户提供可听信号并从用户接收可听信号。例如除了耦合到音频换能器1625之外,音频接口1674还可以耦合到麦克风以接收可听输入,诸如促进电话交谈。根据本公开的方面,麦克风还可以用作音频传感器以便于通知的控制,如下所述。系统1602还可以包括视频接口1676,其使得车载相机1630的操作能够记录静止图像、视频流等。
实现系统1602的移动计算设备1600可以具有附加特征或功能。例如移动计算设备1600还可以包括附加数据存储设备(可移动和/或不可移动),例如磁盘、光盘或磁带。图16B中由非易失性存储区域1668示出了这种附加存储。
如上所述,由移动计算设备1600生成或捕获并经由系统1602存储的数据/信息可以本地存储在移动计算设备1600上,或者数据可以存储在任意数量的存储介质上,所述存储介质可以由设备经由无线电接口层1672或经由移动计算设备1600和与移动计算设备1600相关联的单独计算设备之间的有线连接来访问,例如分布式计算网络中的服务器计算机,诸如因特网。应当理解,可以经由无线电接口层1672或经由分布式计算网络经由移动计算设备1600访问这样的数据/信息。类似地,根据众所周知的数据/信息传送和存储装置,包括电子邮件和协作数据/信息共享系统,可以在计算设备之间容易地传送这样的数据/信息用于存储和使用。
图17示出了用于处理在计算系统处从诸如个人计算机1704、平板计算设备1706或移动计算设备1708的远程源接收的数据的系统的架构的一个方面,如上所述。在服务器设备1702处显示的内容可以存储在不同的通信信道或其他存储类型中。例如可以使用目录服务1722、网络门户1724、邮箱服务1726、即时消息存储1728或社交网络站点1730来存储各种文档。用户界面创作平台1720可以由与服务器设备1702通信的客户端采用、和/或用户界面创作平台可以由服务器设备1702采用。服务器设备1702可以通过网络1715向诸如个人计算机1704、平板计算设备1706和/或移动计算设备1708(例如智能电话)的客户端计算设备提供数据,并且通过网络1715从诸如个人计算机1704、平板计算设备1706和/或移动计算设备1708(例如智能电话)的客户端计算设备提供数据。作为示例,以上关于图1-9描述的计算机系统可以体现在个人计算机1704、平板计算设备1706和/或移动计算设备1708(例如智能电话)。除了接收可用于在图形发起系统处预处理或在接收计算系统处后处理的图形数据之外,计算设备的这些方面中的任意方面可以从存储库1216获得内容。
例如以上参考根据本公开的方面的方法、系统和计算机程序产品的框图和/或操作说明来描述本公开的各方面。框中记录的功能/动作可以不按任意流程图所示的顺序发生。例如以连续方式示出的两个框实际上可以基本上同时执行,或者这些框有时可以以相反的顺序执行,这取决于所涉及的功能/动作。
本申请中提供的一个或多个方面的描述和说明不旨在以任意方式限制或约束本公开的范围。本申请中提供的方面、示例和细节被认为足以传达占有并使其他人能够制作和使用所要求保护的最佳模式。要求保护的公开内容不应被解释为限于本申请中提供的任意方面、示例或细节。无论是组合地还是单独地示出和描述,旨在选择性地包括或省略各种特征(结构和方法)以产生具有特定特征集的实施例。已经提供了本申请的描述和说明,本领域技术人员可以设想落入本申请中体现的总体发明构思的更广泛方面的精神内的、不脱离所要求保护的公开的更宽范围的变体、修改和替换方面。
以上描述的各个方面仅以说明的方式提供,并且不应被解释为限制所附的权利要求。本领域技术人员将容易地认识到可以在不遵循本文所示和所述的示例方面和应用的情况下并且不脱离所附权利要求的真实精神和范围的情况下进行的各种修改和改变。

Claims (15)

1.一种系统,包括:
至少一个处理器;以及
存储器,所述存储器存储指令,所述指令在被执行时使得所述至少一个处理器执行方法,所述方法包括:
确定与内容相关联的域,其中所述内容包括至少一个可动作元素;
确定建议的任务,其中确定所述建议的任务包括:
标识与所述域相关联的一个或多个现有会话理解系统;
将所述可动作元素与针对所述一个或多个现有会话理解系统的一个或多个现有任务进行比较,以标识所述建议的任务;以及
向创作平台提供所述建议的任务。
2.根据权利要求1所述的系统,还包括:
确定所述参数与所述建议的任务的占位符实体相关联;以及
使用所述至少一个参数来增强所述会话理解系统,使得所述参数替换所述建议的任务中的所述占位符实体。
3.根据权利要求2所述的系统,还包括:
使用所述至少一个参数来增强所述对话理解系统。
4.根据权利要求3所述的系统,其中增强所述会话理解系统包括在对话中使用所述至少一个参数替换占位符实体。
5.根据权利要求4所述的系统,还包括:
将所述对话提供给客户端设备以用于确认。
6.根据权利要求1所述的系统,其中所述内容是网页。
7.根据权利要求1所述的系统,还包括
执行所述网页的动作,其中所述执行导致导航到新的网页并向用户呈现消息,其中所述新网页具有URL,并且所述消息包括文本;
捕获所述URL;以及
存储消息文本。
8.一种计算机方法,所述方法包括:
解析内容以标识元素;
确定所述内容的域;
确定建议的任务,其中确定所述建议的任务包括:
标识与所述域相关联的一个或多个现有会话理解系统;
确定与所述元素相关联的动作;以及
将所述动作与针对所述一个或多个现有会话理解系统的一个或多个现有任务进行比较,以标识所述建议的任务;
向创作平台提供所述建议的任务;以及
接收用以使用所述建议的任务的确认。
9.根据权利要求8所述的方法,还包括:
解析所述内容以标识至少一个参数;以及
将所述至少一个参数映射到与所述建议的任务相关联的任务参数。
10.根据权利要求9所述的方法,还包括:
确定所述参数与所述建议的任务的占位符实体相关联;以及
使用所述至少一个参数来增强所述会话理解系统,使得所述参数替换所述建议的任务中的所述占位符实体。
11.根据权利要求10所述的方法,其中增强所述会话理解系统包括在对话中使用所述至少一个参数替换占位符实体。
12.根据权利要求11所述的方法,还包括:
将所述对话提供给客户端设备以用于确认。
13.根据权利要求8所述的方法,其中所述内容是网页。
14.根据权利要求13所述的方法,还包括:
执行所述网页的动作,其中所述执行导致导航到新网页并向用户呈现消息,并且进一步其中所述新网页具有URL并且所述消息包括文本;
捕获所述URL;以及
存储消息文本。
15.根据权利要求6所述的方法,其中执行所述网页的动作通过将样本信息填充到所述网站的字段中而发生。
CN201780052614.6A 2016-08-31 2017-08-31 通过利用现有内容使自然语言任务/对话创作自动化 Pending CN109643331A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/253,592 US10217462B2 (en) 2016-08-31 2016-08-31 Automating natural language task/dialog authoring by leveraging existing content
US15/253,592 2016-08-31
PCT/US2017/049675 WO2018045202A1 (en) 2016-08-31 2017-08-31 Automating natural language task/dialog authoring by leveraging existing content

Publications (1)

Publication Number Publication Date
CN109643331A true CN109643331A (zh) 2019-04-16

Family

ID=59858799

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780052614.6A Pending CN109643331A (zh) 2016-08-31 2017-08-31 通过利用现有内容使自然语言任务/对话创作自动化

Country Status (4)

Country Link
US (1) US10217462B2 (zh)
EP (1) EP3507709B1 (zh)
CN (1) CN109643331A (zh)
WO (1) WO2018045202A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110110057A (zh) * 2019-04-22 2019-08-09 南京硅基智能科技有限公司 一种动态话术群系统及其在智能对话机器人中的应用
CN112997171A (zh) * 2018-09-27 2021-06-18 谷歌有限责任公司 分析网页以促进自动导航

Families Citing this family (97)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9318108B2 (en) 2010-01-18 2016-04-19 Apple Inc. Intelligent automated assistant
US8977255B2 (en) 2007-04-03 2015-03-10 Apple Inc. Method and system for operating a multi-function portable electronic device using voice-activation
US8676904B2 (en) 2008-10-02 2014-03-18 Apple Inc. Electronic devices with voice command and contextual data processing capabilities
US10706373B2 (en) 2011-06-03 2020-07-07 Apple Inc. Performing actions associated with task items that represent tasks to perform
US10276170B2 (en) 2010-01-18 2019-04-30 Apple Inc. Intelligent automated assistant
US10417037B2 (en) 2012-05-15 2019-09-17 Apple Inc. Systems and methods for integrating third party services with a digital assistant
KR20240132105A (ko) 2013-02-07 2024-09-02 애플 인크. 디지털 어시스턴트를 위한 음성 트리거
US10652394B2 (en) 2013-03-14 2020-05-12 Apple Inc. System and method for processing voicemail
US10748529B1 (en) 2013-03-15 2020-08-18 Apple Inc. Voice activated device for use with a voice-based digital assistant
KR101772152B1 (ko) 2013-06-09 2017-08-28 애플 인크. 디지털 어시스턴트의 둘 이상의 인스턴스들에 걸친 대화 지속성을 가능하게 하기 위한 디바이스, 방법 및 그래픽 사용자 인터페이스
US10176167B2 (en) 2013-06-09 2019-01-08 Apple Inc. System and method for inferring user intent from speech inputs
DE112014003653B4 (de) 2013-08-06 2024-04-18 Apple Inc. Automatisch aktivierende intelligente Antworten auf der Grundlage von Aktivitäten von entfernt angeordneten Vorrichtungen
CN110797019B (zh) 2014-05-30 2023-08-29 苹果公司 多命令单一话语输入方法
US9715875B2 (en) 2014-05-30 2017-07-25 Apple Inc. Reducing the need for manual start/end-pointing and trigger phrases
US10170123B2 (en) 2014-05-30 2019-01-01 Apple Inc. Intelligent assistant for home automation
US9338493B2 (en) 2014-06-30 2016-05-10 Apple Inc. Intelligent automated assistant for TV user interactions
US9886953B2 (en) 2015-03-08 2018-02-06 Apple Inc. Virtual assistant activation
US10460227B2 (en) 2015-05-15 2019-10-29 Apple Inc. Virtual assistant in a communication session
US10200824B2 (en) 2015-05-27 2019-02-05 Apple Inc. Systems and methods for proactively identifying and surfacing relevant content on a touch-sensitive device
US20160378747A1 (en) 2015-06-29 2016-12-29 Apple Inc. Virtual assistant for media playback
US10740384B2 (en) 2015-09-08 2020-08-11 Apple Inc. Intelligent automated assistant for media search and playback
US10331312B2 (en) 2015-09-08 2019-06-25 Apple Inc. Intelligent automated assistant in a media environment
US10747498B2 (en) 2015-09-08 2020-08-18 Apple Inc. Zero latency digital assistant
US10671428B2 (en) 2015-09-08 2020-06-02 Apple Inc. Distributed personal assistant
US11587559B2 (en) 2015-09-30 2023-02-21 Apple Inc. Intelligent device identification
US10691473B2 (en) 2015-11-06 2020-06-23 Apple Inc. Intelligent automated assistant in a messaging environment
US10956666B2 (en) 2015-11-09 2021-03-23 Apple Inc. Unconventional virtual assistant interactions
US10223066B2 (en) 2015-12-23 2019-03-05 Apple Inc. Proactive assistance based on dialog communication between devices
US10586535B2 (en) 2016-06-10 2020-03-10 Apple Inc. Intelligent digital assistant in a multi-tasking environment
DK201670540A1 (en) 2016-06-11 2018-01-08 Apple Inc Application integration with a digital assistant
DK179415B1 (en) 2016-06-11 2018-06-14 Apple Inc Intelligent device arbitration and control
US10417132B1 (en) * 2016-09-30 2019-09-17 EMC IP Holding Company LLC System and method to resolve library path in the distributed cluster environment
US11204787B2 (en) 2017-01-09 2021-12-21 Apple Inc. Application integration with a digital assistant
KR102416782B1 (ko) * 2017-03-28 2022-07-05 삼성전자주식회사 음성 인식 서비스 운용 방법 및 이를 지원하는 전자 장치
DK180048B1 (en) 2017-05-11 2020-02-04 Apple Inc. MAINTAINING THE DATA PROTECTION OF PERSONAL INFORMATION
US10726832B2 (en) 2017-05-11 2020-07-28 Apple Inc. Maintaining privacy of personal information
DK179745B1 (en) 2017-05-12 2019-05-01 Apple Inc. SYNCHRONIZATION AND TASK DELEGATION OF A DIGITAL ASSISTANT
DK201770428A1 (en) 2017-05-12 2019-02-18 Apple Inc. LOW-LATENCY INTELLIGENT AUTOMATED ASSISTANT
DK179496B1 (en) 2017-05-12 2019-01-15 Apple Inc. USER-SPECIFIC Acoustic Models
DK201770411A1 (en) 2017-05-15 2018-12-20 Apple Inc. MULTI-MODAL INTERFACES
DK179549B1 (en) 2017-05-16 2019-02-12 Apple Inc. FAR-FIELD EXTENSION FOR DIGITAL ASSISTANT SERVICES
US20180336892A1 (en) 2017-05-16 2018-11-22 Apple Inc. Detecting a trigger of a digital assistant
US20180336275A1 (en) 2017-05-16 2018-11-22 Apple Inc. Intelligent automated assistant for media exploration
US11340925B2 (en) 2017-05-18 2022-05-24 Peloton Interactive Inc. Action recipes for a crowdsourced digital assistant system
EP3635578A4 (en) * 2017-05-18 2021-08-25 Aiqudo, Inc. SYSTEMS AND PROCEDURES FOR CRWODSOURCING ACTIONS AND COMMANDS
US11056105B2 (en) 2017-05-18 2021-07-06 Aiqudo, Inc Talk back from actions in applications
US11043206B2 (en) 2017-05-18 2021-06-22 Aiqudo, Inc. Systems and methods for crowdsourced actions and commands
US11416817B2 (en) * 2017-06-02 2022-08-16 Apple Inc. Event extraction systems and methods
EP4060476A3 (en) * 2017-06-13 2022-09-28 Google LLC Establishment of audio-based network sessions with non-registered resources
US20190027149A1 (en) * 2017-07-20 2019-01-24 Nuance Communications, Inc. Documentation tag processing system
US10546003B2 (en) * 2017-11-09 2020-01-28 Adobe Inc. Intelligent analytics interface
US10511554B2 (en) * 2017-12-05 2019-12-17 International Business Machines Corporation Maintaining tribal knowledge for accelerated compliance control deployment
US10706086B1 (en) * 2018-03-12 2020-07-07 Amazon Technologies, Inc. Collaborative-filtering based user simulation for dialog systems
US10818288B2 (en) 2018-03-26 2020-10-27 Apple Inc. Natural assistant interaction
CN112136124B (zh) * 2018-04-19 2024-02-20 谷歌有限责任公司 用于与计算机实现的自动助理进行人机对话会话的依赖图谈话建模
US11307880B2 (en) 2018-04-20 2022-04-19 Meta Platforms, Inc. Assisting users with personalized and contextual communication content
US11715042B1 (en) 2018-04-20 2023-08-01 Meta Platforms Technologies, Llc Interpretability of deep reinforcement learning models in assistant systems
US11676220B2 (en) 2018-04-20 2023-06-13 Meta Platforms, Inc. Processing multimodal user input for assistant systems
US10782986B2 (en) 2018-04-20 2020-09-22 Facebook, Inc. Assisting users with personalized and contextual communication content
US11886473B2 (en) 2018-04-20 2024-01-30 Meta Platforms, Inc. Intent identification for agent matching by assistant systems
US11145294B2 (en) 2018-05-07 2021-10-12 Apple Inc. Intelligent automated assistant for delivering content from user experiences
US10928918B2 (en) 2018-05-07 2021-02-23 Apple Inc. Raise to speak
DK201870355A1 (en) 2018-06-01 2019-12-16 Apple Inc. VIRTUAL ASSISTANT OPERATION IN MULTI-DEVICE ENVIRONMENTS
DK180639B1 (en) 2018-06-01 2021-11-04 Apple Inc DISABILITY OF ATTENTION-ATTENTIVE VIRTUAL ASSISTANT
DK179822B1 (da) 2018-06-01 2019-07-12 Apple Inc. Voice interaction at a primary device to access call functionality of a companion device
US10892996B2 (en) 2018-06-01 2021-01-12 Apple Inc. Variable latency device coordination
US11462215B2 (en) 2018-09-28 2022-10-04 Apple Inc. Multi-modal inputs for voice commands
US11475898B2 (en) 2018-10-26 2022-10-18 Apple Inc. Low-latency multi-speaker speech recognition
US11308281B1 (en) 2018-11-08 2022-04-19 Amazon Technologies, Inc. Slot type resolution process
US11138374B1 (en) 2018-11-08 2021-10-05 Amazon Technologies, Inc. Slot type authoring
US11281857B1 (en) * 2018-11-08 2022-03-22 Amazon Technologies, Inc. Composite slot type resolution
US11348573B2 (en) 2019-03-18 2022-05-31 Apple Inc. Multimodality in digital assistant systems
US11307752B2 (en) 2019-05-06 2022-04-19 Apple Inc. User configurable task triggers
DK201970509A1 (en) 2019-05-06 2021-01-15 Apple Inc Spoken notifications
US11475884B2 (en) 2019-05-06 2022-10-18 Apple Inc. Reducing digital assistant latency when a language is incorrectly determined
US11423908B2 (en) 2019-05-06 2022-08-23 Apple Inc. Interpreting spoken requests
US11140099B2 (en) 2019-05-21 2021-10-05 Apple Inc. Providing message response suggestions
DK201970511A1 (en) 2019-05-31 2021-02-15 Apple Inc Voice identification in digital assistant systems
US11289073B2 (en) 2019-05-31 2022-03-29 Apple Inc. Device text to speech
DK180129B1 (en) 2019-05-31 2020-06-02 Apple Inc. USER ACTIVITY SHORTCUT SUGGESTIONS
US11496600B2 (en) 2019-05-31 2022-11-08 Apple Inc. Remote execution of machine-learned models
US11360641B2 (en) 2019-06-01 2022-06-14 Apple Inc. Increasing the relevance of new available information
US11227599B2 (en) 2019-06-01 2022-01-18 Apple Inc. Methods and user interfaces for voice-based control of electronic devices
JP7026659B2 (ja) * 2019-06-20 2022-02-28 本田技研工業株式会社 応答装置、応答方法、およびプログラム
US10915227B1 (en) * 2019-08-07 2021-02-09 Bank Of America Corporation System for adjustment of resource allocation based on multi-channel inputs
WO2021056255A1 (en) 2019-09-25 2021-04-01 Apple Inc. Text detection using global geometry estimators
US11061543B1 (en) 2020-05-11 2021-07-13 Apple Inc. Providing relevant data items based on context
US11038934B1 (en) 2020-05-11 2021-06-15 Apple Inc. Digital assistant hardware abstraction
US11755276B2 (en) 2020-05-12 2023-09-12 Apple Inc. Reducing description length based on confidence
US11490204B2 (en) 2020-07-20 2022-11-01 Apple Inc. Multi-device audio adjustment coordination
US11438683B2 (en) 2020-07-21 2022-09-06 Apple Inc. User identification using headphones
US11972255B2 (en) 2021-06-25 2024-04-30 International Business Machines Corporation Compliance content generation
US20230008868A1 (en) * 2021-07-08 2023-01-12 Nippon Telegraph And Telephone Corporation User authentication device, user authentication method, and user authentication computer program
US11861263B1 (en) * 2021-08-24 2024-01-02 X Development Llc Robust natural language based control of computer applications
US12021806B1 (en) 2021-09-21 2024-06-25 Apple Inc. Intelligent message delivery
US20230124889A1 (en) * 2021-10-15 2023-04-20 Rovi Guides, Inc. Systems and methods to generate contextual based actions
CN113918701B (zh) * 2021-10-20 2022-04-15 北京亿信华辰软件有限责任公司 看板展示方法及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103077165A (zh) * 2012-12-31 2013-05-01 威盛电子股份有限公司 自然语言对话方法及其系统
US20150186156A1 (en) * 2013-12-31 2015-07-02 Next It Corporation Virtual assistant conversations
CN105247511A (zh) * 2013-06-07 2016-01-13 苹果公司 智能自动化助理

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100612859B1 (ko) 2004-08-26 2006-08-14 삼성전자주식회사 사용패턴에 의한 대화형 사용자 인터페이스 운영 방법 및시스템
US20070250514A1 (en) 2006-04-25 2007-10-25 Saeed Rajput Browsing and monitoring the web through learning and ingemination
US9318108B2 (en) 2010-01-18 2016-04-19 Apple Inc. Intelligent automated assistant
US20110119196A1 (en) 2009-11-18 2011-05-19 Nohold, Inc. Confederated knowledge for two or more internet-accessible knowledge management systems
US10276170B2 (en) * 2010-01-18 2019-04-30 Apple Inc. Intelligent automated assistant
US8738377B2 (en) * 2010-06-07 2014-05-27 Google Inc. Predicting and learning carrier phrases for speech input
EP2702473A1 (en) 2011-04-25 2014-03-05 Veveo, Inc. System and method for an intelligent personal timeline assistant
US20140201629A1 (en) 2013-01-17 2014-07-17 Microsoft Corporation Collaborative learning through user generated knowledge
US9355378B2 (en) 2013-03-14 2016-05-31 American Express Travel Related Services Company, Inc. Systems and methods for identifying and delivering tailored content based upon a service dialog
AU2014233517B2 (en) 2013-03-15 2017-05-25 Apple Inc. Training an at least partial voice command system
US9081411B2 (en) 2013-05-10 2015-07-14 Sri International Rapid development of virtual personal assistant applications
US20150067503A1 (en) 2013-08-27 2015-03-05 Persais, Llc System and method for virtual assistants with agent store
US10055681B2 (en) 2013-10-31 2018-08-21 Verint Americas Inc. Mapping actions and objects to tasks

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103077165A (zh) * 2012-12-31 2013-05-01 威盛电子股份有限公司 自然语言对话方法及其系统
CN105247511A (zh) * 2013-06-07 2016-01-13 苹果公司 智能自动化助理
US20150186156A1 (en) * 2013-12-31 2015-07-02 Next It Corporation Virtual assistant conversations

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112997171A (zh) * 2018-09-27 2021-06-18 谷歌有限责任公司 分析网页以促进自动导航
CN110110057A (zh) * 2019-04-22 2019-08-09 南京硅基智能科技有限公司 一种动态话术群系统及其在智能对话机器人中的应用

Also Published As

Publication number Publication date
EP3507709A1 (en) 2019-07-10
WO2018045202A1 (en) 2018-03-08
US20180061401A1 (en) 2018-03-01
EP3507709B1 (en) 2022-06-15
US10217462B2 (en) 2019-02-26

Similar Documents

Publication Publication Date Title
CN109643331A (zh) 通过利用现有内容使自然语言任务/对话创作自动化
CN108475190B (zh) 用于使用用户界面创作平台来创作任务的方法和系统
CN105474170B (zh) 构建会话理解系统
US20190311036A1 (en) System and method for chatbot conversation construction and management
Jokinen et al. Spoken dialogue systems
US10824798B2 (en) Data collection for a new conversational dialogue system
CN106471570B (zh) 多命令单一话语输入方法
CN104813311B (zh) 用于多人的虚拟代理推荐的系统和方法
US20170337261A1 (en) Decision Making and Planning/Prediction System for Human Intention Resolution
US10467345B2 (en) Framework for language understanding systems that maximizes reuse through chained resolvers
CN108733438A (zh) 应用程序与数字助理集成
CN107111475A (zh) 管理用于输入理解确定的用户交互
CN107608998A (zh) 具有数字助理的应用集成
CN107493374A (zh) 具有数字助理的应用集成
CN106940692A (zh) 以对话方式引导与电子表单的交互的交互式电子表单工作流助手
CN107533542A (zh) 用于理解不完整的自然语言查询的方法
CN107408387A (zh) 虚拟助理激活
WO2017003977A1 (en) User-specific task reminder engine
CN105808200A (zh) 智能自动化助理
CN107863108A (zh) 信息输出方法和装置
CN109313668B (zh) 构建会话理解系统的系统和方法
CN104205791A (zh) 管理补充信息的回放
CN109643540A (zh) 用于人工智能语音演进的系统和方法
CN108885739A (zh) 智能个人助理作为联系人
CN103534697A (zh) 使用web数据训练口述对话系统中的统计对话管理器

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination