CN108369806A - 可配置的通用语言理解模型 - Google Patents

Abstract

本公开的示例描述了配置通用语言理解模型的系统和方法。在各方面中，可以标识并且收集用于各种应用的一个或多个先前配置的模式。通用模式可以使用所收集的模式来生成。所收集的模式可以被编程地映射到通用模式。通用模式可以用来训练一个或多个模型。可以提供界面以允许浏览模型。界面可以包括配置机制，该配置机制提供模型中的一个或多个模型用于选择。所选择的模型可以编程地绑定，使得实现模型所需的信息和指令被编程地配置。绑定的模型然后可以被提供给请求者。

Description

可配置的通用语言理解模型

背景技术

自然语言理解(NLU)是计算机程序的用于理解人类言语和用于提取口头或敲击输入的含义的能力。通常，NLU系统使用统计数据模型来被配置。高质量模型需要机器学习专业知识、自然语言处理专业知识以及大量特定于应用的标签数据。因此，以前应用的大量数据和模型可能无法容易地访问或被配置为用于配置新模型。

关于这些和其他一般考虑，已经做出了本文公开的方面。而且，虽然可以讨论相对具体的问题，但应当理解的是，这些示例不应限于解决背景或本公开内容中的其他地方所标识的具体问题。

发明内容

提供本发明内容是为了以简化的形式介绍将在下面具体实施方式中进一步描述的概念的选择。本发明内容不旨在标识所要求保护的主题的关键特征或必要特征，也不旨在用作确定所要求保护的主题的范围的辅助手段。

本公开的示例描述了配置通用语言理解模型的系统和方法。在各方面中，可以标识并收集用于各种应用的一个或多个先前配置的模式。通用模式可以使用收集的模式生成。收集的模式可以被编程地映射到通用模式。通用模式可以被用来训练一个或多个模型。可以提供界面以允许浏览模型。界面可以包括提供一个或多个模型用于选择的配置机制。所选择的模型可以编程地被绑定，使得实现模型所需的信息和指令被编程地配置。绑定的模型然后可以被提供给请求者。

提供本发明内容是为了以简化的形式介绍将在以下具体实施方式中进一步描述的一些概念。本发明内容并非旨在确定所要求保护的主题的关键特征或必要特征，也并非旨在用于限制所要求保护的主题的范围。示例的其他方面、特征和/或优点将部分地在下面的描述中阐述，并且部分将从描述中变得显而易见，或者可以通过本公开的实践而了解。

附图说明

参考以下附图来描述非限制性和非穷举性示例。

图1图示了用于配置如本文所述的通用语言理解模型技术的示例系统的概述。

图2图示了用于配置如本文所述的通用语言理解模型的示例性输入处理单元。

图3图示了用于配置如本文所述的通用语言理解模型的示例方法。

图4图示了如本文所述的用于交互的界面的示例图。

图5是图示了可以实践本公开的各方面的计算设备的示例物理组件的框图。

图6A和图6B是可以实践本公开的各方面的移动计算设备的简化框图。

图7是其中可以实践本公开的各方面的分布式计算系统的简化框图。

图8图示用于执行本公开的一个或多个方面的平板计算设备。

具体实施方式

下面参考附图更全面地描述本公开的各个方面，附图形成了本公开的一部分，并且示出了具体的示例性方面。然而，本公开的不同方面可以以许多不同的形式实现，并且不应被解释为限于本文阐述的方面；相反，提供这些方面使得本公开将是彻底和完整的，并且将向本领域技术人员充分传达这些方面的范围。各方面可以被实践为方法、系统或设备。因此，各方面可以采取硬件实现、完全软件实现或者结合软件和硬件方面的实现的形式。因此，下面的详细描述不应被认为是限制性的。

本公开描述了配置通用语言理解(LU)模型的系统和方法。在各方面中，服务器设备可以标识并收集一个或多个先前配置的模式，这些模式被用来构建用于各种应用和/或场景的一个或多个模型。本领域技术人员将认识到，任意类型的处理设备都可以与本公开的示例一起使用。如本文所使用的，模式可以指代用于为数据的一个或多个部分指定标签类型、标签、域、意图、槽等的框架。如本文所使用的，域可以指代隔离或定义应用、软件功能或数据集合的容器和/或边界。如本文使用的意图可以指用户的话语或其他输入的输入的目标或意图。如本文所使用的，槽可以指代用户的话语或其他输入的输入内的可动作内容。本领域技术人员将认识到，在其他的示例中输入可以采用诸如语音/话语、文本、手写输入和触摸的形式。

在各方面中，服务器设备可以使用所收集的模式来生成抽象或通用模式。如本文所使用的，通用模式可以指包括用于一个或多个其他模式的标签数据的宽泛或通用数据(例如，标签类型、标签、域、意图、槽等)的模式。然后可以将收集的模式映射到通用模式的通用标签。在示例中，可以使用一个或多个映射算法或工具来手动地或编程地执行映射。在一些方面，映射的通用模式可以用于训练和/或再训练一个或多个模型。如本文所使用的，模型可以指统计语言模型，统计语言模型可以用于确定一个或多个词语和/或字符序列上的概率分布和/或用于预测来自一个或多个预测器的响应值。在示例中，模型可以是基于规则的模型、机器学习的回归器、机器学习的分类器等。如本文所使用的，训练模型可以指使用例如数据集合(例如，训练集数据、测试数据、验证集合数据等)来教导模型以发现和/或描述预测关系。例如，映射的通用模式可用于训练包括用于生成通用模式的一个或多个模式的全部或基本上全部的数据和/或元素的模型。如本文使用的元素可以指代域、意图和/或槽。在另一个示例中，可以使用映射的通用模式来训练多个模型，其中模型中的每一个包括来自映射的通用模式的单个目标元素或元素的子集。

在各方面中，服务器设备可以提供或具有对界面的访问。界面可以被用于提供对训练模型、模式和/或模式数据中的一个或多个的访问。例如，界面可以提供浏览、操纵和/或选择训练模型中的一个或多个。在示例中，所选择的模型可以手动地或编程地绑定。如本文所使用的，绑定可以指将一个或多个选择的模型和指令和/或用于实现模型的其他信息组合到一个或多个计算设备上。在一些方面，绑定数据可以被提供或以其他方式暴露给例如用户、服务和/或第三方。

因此，本公开提供了多种技术益处，包括但不限于：配置通用语言模型和系统；提供用于模型浏览、操作和选择、特定模型的绑定的界面(从而减少建模占用空间的大小)；改进域检测、意图检测和槽标记；增加查询处理速度；减少训练语言理解模型所需的训练数据量；减少注释域所需的时间和资源成本；减少了系统内设备的带宽和功耗，并且利用本公开的示例来改进了应用/服务的效率和质量等等。

图1图示了用于实现如本文所述的自然语言系统的个性化技术的示例系统的概述。所呈现的示例性系统100是相互关联组件的组合，该相互关联的组件交互以形成用于使自然语言系统个性化的集成的整体。系统的组件可以是硬件组件或在系统的硬件组件上实现和/或由系统的硬件组件执行的软件。在示例中，系统100可以包括硬件组件(例如，用于执行/运行操作系统(OS))和在硬件上运行的软件组件(例如，应用、应用编程接口(API)、模块、虚拟机、运行时间库等)中的任意一个。在一个示例中，示例性系统100可以提供软件组件运行的环境、服从为操作设置的约束、并且利用系统100的资源或设施，其中组件可以是在一个或多个处理设备上运行的软件(例如应用、程序、模块等等)。例如，软件(例如，应用、操作指令、模块等)可以在诸如计算机、移动设备(例如，智能手机/电话、平板计算机)和/或任意其他电子设备的处理设备上运行。作为处理设备操作环境的示例，参考图5-8中描绘的示例性操作环境。在其他示例中，本文公开的系统的组件可以跨多个设备分散。例如，输入可以在客户端设备上被输入，并且信息可以从诸如一个或多个服务器设备的网络中的其他设备被处理或被访问。

作为一个示例，系统100包括客户端设备102A、客户端设备102B、客户端设备102C、分布式网络104以及分布式服务器环境，分布式服务器环境包括一个或多个服务器(诸如服务器设备106A、服务器设备106B和服务器设备106C)。本领域的技术人员将理解，诸如系统100的系统的规模可以变化，并且可以包括比图1中所描述的更多或更少的组件。在一些示例中，系统100的组件之间的接口传送可以远程地发生，例如其中系统100的组件可以跨分布式网络的一个或多个设备分散。

例如，客户端设备102A可以被配置为经由用户界面组件或其他输入部件来接收用户输入。输入的例子可能包括语音、视觉、触摸和文本输入。客户端设备102A可以还被配置为经由分布式网络104向诸如服务器设备106A的服务器设备发送输入。在一些示例中，客户端设备102A可以经由用户界面组件或类似界面从服务器设备接收响应数据。

例如，服务器设备106A可以被配置为接收并处理从客户端设备接收的或由服务器设备直接接收的数据请求。在各方面中，处理数据请求可包括解析数据请求以标识，例如用于语言理解模型的标识信息和/或对应于一个或多个应用和/或场景的模式数据。服务器设备106A可以使用标识信息来标识和/或收集来自一个或多个服务、应用和/或数据存储库的模式和模式数据。例如，服务器设备106A可以收集来自服务器设备106B上的服务、服务器106C上的数据库、以及客户端设备102B和102C上的应用的模式数据。在一些方面，所收集的模式数据可以用于执行模式映射。例如，所收集的模式数据可以被用于生成包括广泛和/或通用槽类别的通用模式。然后可以使用一种或多种映射技术将收集的模式数据映射到所生成的通用模式。

服务器设备106A可以被还被配置为训练一个或多个语言理解模型。在各方面中，服务器设备106A可以使用映射的通用模式作为输入来训练一个或多个语言理解模型(或导致模型被训练)。例如，服务器设备106A可以训练包括通用模式的所有(或基本上所有)元素的一个大模型。备选地，服务器设备106A可以训练多个较小模型，多个较小模型分别包括通用模式的元素的子集。在一些方面，服务器设备106A可将经训练的模型存储在服务器设备106A可访问的一个或一个以上位置中。

服务器设备106A可以还被配置为提供用于访问训练的模型的界面。在各方面中，服务器设备106A可以提供用于导航和/或操纵训练的模型的用户界面和/或工具。例如，服务器设备106A可以提供允许用户或服务从例如模型的分类列表中浏览和有选择地选择模型的界面工具。所选择的模型可以编程地绑定到配置文件等中。在一些方面，配置文件可以附加地包括提供在计算设备上自动安装和/或实现绑定模型的信息和指令。例如，用户可以从服务器设备106A下载配置文件，并且配置文件可以在一个或多个指定的计算设备上自动安装模型、模式和/或相关联的界面。

图2图示了用于配置如本文所述的通用语言理解模型的示例性输入处理单元200的概述。由输入处理单元200实现的建模配置技术可以包括图1中描述的建模配置技术和输入。在备选示例中，单个系统(包括诸如处理器和/或存储器的一个或多个组件)可以执行分别在系统100和200中描述的处理。此外，输入处理单元200可以包括如在图1的描述中所描述的用户界面组件

示例性输入处理单元200可以包括用户界面(UI)组件202、收集引擎204、通用化引擎206、模型训练引擎208，每个具有一个或多个附加组件。UI组件202可以被配置为经由界面或者直接从用户接收来自客户端设备的输入。在各方面中，UI组件202可解析所接收的输入以标识与对应于一个或多个应用和/或场景的语言理解模型和/或模式数据相关联的信息。所标识的信息可以包括域数据、意图数据和/或槽(或实体)数据。在特定示例中，UI组件202可以附加地标识客户端设备信息和/或来自请求者的用户信息。客户端设备和/或用户信息然后可以与所识别的模型和/或模式数据相关联。

收集引擎204可以被配置为收集模型和/或模式数据。在各方面中，收集引擎204可访问所标识的模型和/或模式数据以形成一个或多个查询或数据请求。在示例中，查询可以包括所识别的模型和/或模式数据的一个或多个部分，并且可以被发送到一个或多个数据源。在特定示例中，收集引擎204可以周期性地轮询数据源以在每个数据源处编译和存储可用资源的列表。收集引擎204可以分析该列表以确定要发送给一个或多个数据源的查询的数目和内容。在这样的示例中，查询可以被构造为使所接收的模型和模式数据的重复最小化。在另一个示例中，当所标识的模型和/或模式数据被访问(例如，按需)时，收集引擎204可以标识要发送查询的数据源。在各方面中，收集引擎204可以将查询发送到所标识的数据源(或以其他方式访问所标识的数据源上的数据)。从数据源接收的模型、模式和/或模式数据可以被存储在收集引擎204可访问的数据存储库中。

通用化引擎206可以被配置为生成一个或多个通用模式。在各方面中，通用化引擎206可以访问并处理存储的模型、模式和/或模式数据。在示例中，处理模型、模式和/或模式数据可以包括例如将数据聚合成单个列表或表格，对数据进行排序，标识和移除重复的条目，和/或将数据按照一个或多个模式元素进行分组。在一些方面，经处理的数据可以用于生成一个或多个通用模式。例如，可以使用诸如典型相关分析(CCA)算法的算法将经处理的数据转换成低维向量表示。如本文所用的CCA是确定多个多变量的变量(矢量)的集合之间的关系的方法。可以使用诸如k-均值聚类算法的计算或算法将矢量表示聚类为粗略或通用模式元素或元素类别。如本文所使用的，k均值聚类可以指在聚类分析中使用的矢量量化的操作，以将n个观测划分为k个聚类，其中每个观测属于具有最近均值的聚类。通用化引擎206然后可以将通用模式映射到用于生成通用模式的经存储的模型、模式和/或模式数据。通用化引擎206可以还被配置为将映射的通用模式提供给一个或多个语言理解模型生成组件，诸如模型训练引擎208。

模型训练引擎208可以被配置为生成和/或训练一个或多个语言理解模型。在各方面中，模型训练引擎208可以访问并使用映射的通用模式和/或与映射的通用模式相关联的信息来训练一个或多个语言理解模型。在一些方面，可以使用映射的通用模式来训练关于通用模式和相关信息的全部(或基本上全部)元素的语言理解模型。例如，该模型可以包括针对所收集的模型和/或模式数据中的一个或多个的域分类信息(例如域模型结果、域置信度数据等)、意图分类信息、槽标记输出(例如，分配给查询或陈述的槽的特征)、槽标签分辨率信息等。在其它方面，映射的通用模式的一个或多个部分可以被用于训练多个较小的模型。例如，可以使用包括域警报、日历和通信的通用模式来训练三个分离的模型(例如，域模型、日历模型和通信模型)。这三个模型可以包括针对相应域的通用模式以及相关信息的全部、基本上全部、或仅仅子集元素。

示例性输入处理单元200可以进一步包括模型导航实用程序。在各方面中，模型导航实用程序可以是输入处理单元200的分离组件，或者可以是组件202、204、206和208中的一个或多个的功能的一部分。例如，模型导航实用程序可位于UI组件202中或可以由UI组件202访问。在一些方面中，模型导航实用程序可以被配置为向用户提供导航一个或多个模型的界面，诸如由模型训练引擎208训练的模型。界面可以用于从一个或模型列表中选择更多模型。在示例中，模型导航实用程序可以将选择的模型绑定到配置文件、可执行文件等中。绑定模型可以附加地包括提供用于在计算设备上安装和/或实现绑定模型的信息和指令。在特定示例中，绑定处理可以在所选择的模型的确认后编程地发生。在一些方面，绑定的模型数据可以被一个或多个用户和/或计算设备访问。

图3图示了配置如本文所述的通用语言理解模型的示例方法。在各方面中，方法300可以由诸如图1的系统100的示例性系统执行。在示例中，方法300可以在包括至少一个处理器的设备上执行，该处理器被配置为存储和执行操作、程序或指令。然而，方法300不限于这些示例。在其他示例中，方法300可以在用于处理视频和/或图像的应用或服务上执行。在至少一个示例中，方法300可以由分布式网络一个或多个组件执行(例如，计算机实现的操作)，例如，用于利用针对语言理解系统配置通用语言理解建模技术的web服务/分布式网络服务(例如，云服务)。

示例性方法300开始于操作302，其中输入可以由服务器设备接收。在各方面中，可以从远程计算设备接收输入或者直接从用户接收输入。例如，输入可以经由API从客户端设备被接收，或者输入可以经由服务器设备提供的用户界面(诸如用户界面202)被直接接收。在示例中，输入可以被解析以标识与对应于一个或多个应用和/或场景的语言理解模型、模式数据和/或其他信息相关联的信息。所标识的信息可以包括模型数据、模式数据、域数据、意图数据、槽(或实体)数据、客户端数据和/或用户数据。例如，服务器设备可以接收包括查询“查找用于安排交通工具的意图”的输入。服务器设备可以解析该查询以标识针对车辆运输模型和/或模式数据的请求。解析的数据可以被配置成数据请求

在操作304，模式数据可以由服务器设备收集。在各方面中，服务器设备的一个或多个组件(诸如收集引擎204)可以使用解析的查询数据来生成一个或多个数据请求并收集模式数据。例如，上述查询(例如，“查找用于安排交通工具的意图”)可以用于生成针对运输域中和/或与运输域有关的模型和/或模式数据的数据请求。在特定示例中，数据请求可以包括用于安排交通工具(例如，出租车、私家车、巴士、火车、航班等)、规划路线、标识位置、标识天气报告、购买票据、安排提醒等的模型和/或模式请求。在一些方面，数据请求可以被用于查询或标识包括模型和/或模式数据的一个或多个部分的一个或多个数据源。例如，数据请求可以被发送到服务器设备已知的一个或多个数据源。在另一个示例中，数据请求可以被广播到服务器设备可访问的多个数据源。在又一示例中，服务器设备可以存储映射信息或具有对映射信息的访问，该映射信息指示数据源和已知的可由数据源访问的数据之间的关系。服务器设备可以使用数据请求来在映射信息中识别一个或多个数据源。服务器设备然后可以将特定数据请求仅发送到已知(或识别)具有对所请求的数据的访问的那些数据源。在这样的方面中，服务器设备可以从数据源接收/收集所请求的数据(例如，用于安排出租车的模型、用于购买机票的模式、用于预订出租车的意图数据、‘地点’域的域数据等等)、这样的数据可用于服务器设备的指示、和/或与所请求的模型/模式相关联的信息(例如，针对所请求模型的查询的先前结果、与那些先前结果的生成有关的数据、域信心评分等)。

在操作306处，可以生成通用模式。在各方面中，服务器设备可以使用例如通用化引擎206来访问和处理从数据源收集的数据。处理收集的数据可以包括向/从数据存储库(例如数据文件、表、存储器等)插入/取回收集的数据、通过一个或多个类别元素对收集的数据进行排序和/或分组、和/或将收集的数据转换为低维表示。在至少一个示例中，使用诸如CCA算法的算法来生成低维表示。在一些方面，可以使用诸如k均值聚类算法的计算或算法将低维表示聚类为粗略的或通用模式元素或元素类别。例如，来自第一数据源的模式数据可以包括元素“运动员”、“教练”和“团队评级”，并且来自第二数据源的模式数据可以包括元素“艺术家”、“生产者”、“歌曲评级”和“专辑评级”。来自第一源和第二源的数据可以被转换成向量表示并被聚类，使得元素“运动员”、“教练”、“艺术家”和“制作者”被聚集成更通用的“人”类别，并且元素“团队评级”、“歌曲评级”和“专辑评级”被聚类为更通用的“评级”类别。然后可以使用“人”和“评级”类别来生成包括模式元素“人”和“评级”的通用模式。在一些方面中，通用模式可以被映射到用于生成通用模式的收集数据。例如，“运动员”、“教练”、“艺术家”和“制作者”可以被映射到通用模式的“人”类别。这样的映射可以简化和加速将附加模式数据聚类到通用模式或生成附加通用模式的过程。

在操作308，可以训练一个或多个语言理解(LU)模型。在各方面中，服务器设备可以使用所生成的通用模式和/或与通用模式数据相关联的信息来使用例如模型训练引擎208来训练LU模型。例如，LU模型可以接收通用模式作为输入，通用模式包括粗略模式元素“人”和“评级”、与精细模式元素“运动员”、“教练”、“艺术家”、“制作人”、“团队评级”、“歌曲评级”和“相册评分”的对应映射、和/或针对由第一数据源和第二数据源处理的查询生成的先前的结果和数据。在一些方面，通用模式可以用于在通用模式和相关信息的所有(或基本上所有)元素上训练LU模型。例如，可以使用粗略模式元素“人员”和“评级”以及相关联的精细模式元素和数据来训练LU模型。在其它方面，通用模式的一个或多个部分可以用于训练多个较小(例如，包括较少元素)模型。例如，可以使用粗略模式元素“人”和相关联的精细模式元素和数据来训练第一LU模型，并且可以使用粗略模式元素“人”和相关联的精细模式元素和数据来训练第二LU模型。在另一个示例中，第一LU模型可以使用意图“预订出租车”来训练，第二LU模型可以使用意图“预订巴士”来训练，第三LU模型可以使用意图“预订火车”来训练。

在操作310，可以提供用于浏览LU模型的界面。在各方面中，服务器设备可以提供(或者导致被提供)用于导航一个或多个训练的LU模型的界面。例如，界面可以提供可经由服务器设备访问的三个模型的列表。这三个模型可包括使用粗略模式元素“人”和“评级”训练的第一模型，使用粗略模式元素“人”训练的第二模型以及使用粗略模式元素“评级”训练的第三模型。在一个特定方面中，用于查看第二模型的突出显示或选择可提供与第二模型相关联的域、用户意图和/或槽的视图。例如，界面可以提供来自第二模型的域“联系人”和“电影”。“联系人”域可以包括意图“呼叫”和“发送消息”。“发送消息”意图可以包括槽“联系人姓名”、“消息类型”和“消息内容”。在一些方面，界面可以附加地提供针对一个或多个模型的输入用于测试。例如，对于选择的模型和输入话语，界面可以提供涉及的域和意图、标记的槽和/或解析的槽。

在操作312，LU模型可以被绑定。在各方面中，由服务器设备提供的界面可以附加地或备选地提供用于绑定的一个或多个LU模型用于选择。所选择的LU模型可以手动地或编程地被绑定到配置文件、可执行文件等中。绑定模型可以附加地包括提供用于在计算设备上自动安装和/或实现绑定模型的信息和指令。例如，可以选择使用粗略模式元素“人”和“评级”训练的模型以用于经由界面进行绑定。与精细模式元素的对应映射、先前生成的、与模型相关的结果和数据、和/或其他安装/实现指令也可以被添加到该绑定中。在一些方面中，绑定数据可以被提供(或以其他方式使可访问)给用户或计算设备。例如，界面可以附加地提供用于在一个或多个远程服务器上执行和安装绑定数据。在这样的示例中，服务器设备可以在每个远程服务器上安装相同的模型，但是可以配置一个或多个模型以被不同地使用或与不同的应用一起被使用。

图4是与如本文所述的语言理解模型交互的界面的示例性图。界面400图示用于导航选定语言理解模型的元素的模式入口的视图。下拉菜单401可以提供要被导航和/或绑定的可用模型的列表。例如，下拉菜单401显示已选择“Cortana”模型。框架402提供所选择的模型的“对话”域中的域的列表。如图所示，“地点”域被突出显示。框架404提供“位置”域中的意图列表。如图所示，“预定出租车”意图被突出显示。框架406提供关于当前查看的域和意图对的信息。在各方面中，信息可以包括意图和/或域的描述、可以调用域/意图对的话语的一个或多个示例、要与域/意图对一起使用的示例性槽等。文本框408可以提供用于针对模型测试输入的实用程序。例如，文本框408可以接受话语作为输入并且可以调用实用程序来针对所选择的域/意图对评估话语。在另一个示例中，可以针对当前突出显示的和/或选择的域/意图对来评估调用的实用程序。

图5-8和相关联的描述提供了可以实践本公开的各方面的各种操作环境的讨论。然而，关于图5-8图示和讨论的设备和系统是出于示例和说明的目的，并且不限制可以用于实践本文所述的本公开的各方面的大量计算设备配置。

图5是图示可以实践本公开的各方面的计算设备500的物理组件(例如，硬件)的框图。下面描述的计算设备组件可以适用于上述计算设备。在基本配置中，计算设备500可以包括至少一个处理单元502和系统存储器504。取决于计算设备的配置和类型，系统存储器504可以包括但不限于易失性存储器(例如，随机存取存储器)、非易失性存储装置(例如，只读存储器)、闪存或这些存储器的任意组合。系统存储器504可以包括操作系统505和适合于运行统一消息传送应用520的一个或多个程序模块506，诸如关于图3的一个或多个组件，并且具体是，上下文组件511、提取组件513、变换组件515或呈现组件517。例如，操作系统505可适用于控制计算设备500的操作。此外，本公开的实施例可结合图形库、其他操作系统或任意其他应用程序来实践，并且不限于任意特定应用或系统。该基本配置在图5中通过虚线508内的那些组件来图示。计算设备500可以具有附加特征或功能。例如，计算设备500还可以包括附加数据存储设备(可移动和/或不可移动)，诸如例如磁盘、光盘或磁带。这种附加存储装置在图5中通过可移动存储设备509和不可移动存储设备510来图示。

如上所述，可以将多个程序模块和数据文件存储在系统存储器504中。当在处理单元502上执行时，程序模块506(例如，统一消息传送应用520)可以执行包括但不限于不限于本文所述的方面的处理。可以根据本公开的各方面使用并且特别地用于提供统一消息传递平台的其他程序模块可以包括上下文组件511、提取组件513、变换组件515、或呈现组件517等

此外，本公开的实施例可以在包括分立电子元件、包含逻辑门的封装或集成电子芯片、利用微处理器的电路中、或包含电子元件或微处理器的单个芯片上的实施。例如，可以经由片上系统(SOC)来实践本公开的实施例，其中图5中所图示的每个或许多个组件可以被集成到单个集成电路上。这样的SOC器件可以包括一个或多个处理单元、图形单元、通信单元、系统虚拟化单元和各种应用功能，所有这些都被集成(或“烧”)到芯片衬底上作为单个集成电路。当经由SOC进行操作时，本文描述的关于客户端的用于切换协议的能力的功能可以经由与单个集成电路(芯片)上的计算设备500的其他组件集成的专用逻辑来操作。本公开的实施例还可以使用能够执行诸如例如AND、OR和NOT的逻辑操作的其他技术来实践，包括但不限于机械、光学、流体和量子技术。此外，本公开的实施例可以在通用计算机内或在任意其他电路或系统内实践。

计算设备500还可以具有诸如键盘、鼠标、笔、声音或语音输入设备、触摸或滑动输入设备等的一个或多个输入设备512。还可以包括诸如显示器、扬声器、打印机等的输出设备514。上述设备是示例，可以使用其他设备。计算设备500可以包括允许与其他计算设备550通信的一个或多个通信连接516。合适的通信连接516的示例包括但不限于射频(RF)发射器、接收器和/或收发器电路；通用串行总线(USB)、并行和/或串行端口。

本文使用的术语计算机可读介质可以包括计算机存储介质。计算机存储介质可以包括易失性和非易失性、可移动和不可移动介质，其在用于信息的存储的任意方法或技术中实现，诸如计算机可读指令、数据结构或程序模块。系统存储器504、可移动存储设备509和不可移动存储设备510都是计算机存储介质示例(例如，存储器存储装置)。计算机存储介质可以包括RAM、ROM、电可擦除只读存储器(EEPROM)、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光存储器、盒式磁带、磁带、磁盘存储或其他磁性存储设备或可以用于存储信息并且可以由计算设备500访问的任意其它制品。任意这样的计算机存储介质可以是计算设备500的一部分。计算机存储介质不包括载波或其他传播或调制的数据信号。

通信介质可以通过在诸如载波或其他传输机制的调制数据信号中的计算机可读指令、数据结构、程序模块或其他数据来体现，并且包括任意信息传递介质。术语“调制数据信号”可以描述具有以对信号中的信息进行编码的方式设置或改变的一个或多个特征的信号。作为示例而非限制，通信介质可以包括诸如有线网络或直接有线连接的有线介质，以及诸如声学、射频(RF)、红外线和其他无线媒体的无线介质。

图6A和图6B图示了用其可以实践本公开的实施例的移动计算设备600，例如移动电话、智能电话、可穿戴计算机(诸如智能手表)、平板计算机、膝上型计算机等等。在一些方面，客户端可以是移动计算设备。现在参照图6A，图示了用于实现这些方面的移动计算设备600的一个方面。在基本配置中，移动计算设备600是具有输入元件和输出元件两者的手持式计算机。移动计算设备600通常包括显示器605和允许用户将信息输入到移动计算设备600中的一个或多个输入按钮610。移动计算设备600的显示器605还可以用作输入设备(例如，触摸屏显示器)。如果包括，则可选侧输入元件615允许进一步的用户输入。侧输入元件615可以是旋转开关、按钮或任意其他类型的手动输入元件。在备选方面中，移动计算设备600可以合并更多或更少的输入元件。例如，在一些实施例中，显示器605可能不是触摸屏。在又一个备选实施例中，移动计算设备600是便携式电话系统，诸如蜂窝电话。移动计算设备600还可以包括可选小键盘635。可选小键盘635可以是物理小键盘或在触摸屏显示器上生成的“软”小键盘。在各种实施例中，输出元件包括用于显示图形用户界面(GUI)的显示器605、视觉指示器620(例如，发光二极管)和/或音频换能器625(例如扬声器)。在一些方面中，移动计算设备600合并用于向用户提供触觉反馈的振动换能器。在又一方面，移动计算设备600合并用于向外部设备发送信号或从外部设备接收信号的输入和/或输出端口，诸如音频输入(例如，麦克风插孔)、音频输出(例如耳机插孔)和视频输出(例如，HDMI端口)。

图6B是图示了移动计算设备的一个方面的架构的框图。也就是说，移动计算设备600可以合并用于实现一些方面的系统(例如，体系结构)602。在一个实施例中，系统602被实现为能够运行一个或多个应用(例如，浏览器、电子邮件、日历、联系人管理器、消息传送客户端、游戏和媒体客户端/播放器)的“智能电话”。在一些方面，系统602被集成为计算设备，诸如集成个人数字助理(PDA)和无线电话。

一个或多个应用程序666可以被加载到存储器662中并且在操作系统664上或者与操作系统664相关联地运行。应用程序的示例包括电话拨号程序、电子邮件程序、个人信息管理(PIM)程序、文字处理程序、电子表格程序、互联网浏览器程序、消息传送程序等等。系统602还包括存储器662内的非易失性存储区域668。非易失性存储区域668可用于存储在系统602断电时不应丢失的持久信息。应用程序666可以使用信息并将信息存储在非易失性存储区域668中，诸如电子邮件或由电子邮件应用使用的其他消息等。同步应用(未图示)也驻留在系统602上，并被编程为与驻留在主计算机上的相应同步应用进行交互，以使存储在非易失性存储区域668中的信息与存储在主计算机中的相应信息保持同步。应当理解，其他应用可以被加载到存储器662中并且在移动计算设备600上运行，包括用于提供如本文所述的统一消息传递平台(例如，搜索引擎、提取器模块、相关性排名模块、答案评分模块等)的指令。

系统602具有电源670，电源670可以被实现为一个或多个电池。电源670可以进一步包括外部电源，诸如补充或再充电电池的AC适配器或电动对接支架。

系统602还可以包括执行发送和接收射频通信的功能的无线电接口层672。无线电接口层672有助于在系统602和“外部世界”之间的经由通信运营商或服务提供商的无线连接。去往和来自无线电接口层672的传输在操作系统664的控制下进行。换句话说，无线电接口层672接收的通信可以经由操作系统664传播到应用程序666，反之亦然。

视觉指示器620可以用于提供视觉通知，和/或音频接口674可以用于经由音频换能器625产生可听通知。在所示实施例中，视觉指示器620是发光二极管(LED)并且音频换能器625是扬声器。这些设备可以被直接耦合到电源670，使得当被激活时，即使处理器660和其他组件可能关闭以保存电池电力，它们仍然保持开启由通知机制规定的持续时间。LED可以被编程为无限期地保持开启，直到用户采取指示设备的开机状态的动作。音频接口674用于向用户提供可听信号并从用户接收可听信号。例如，除了耦合到音频换能器625之外，音频接口674还可以耦合到麦克风以接收可听输入，诸如促进电话对话。根据本公开的实施例，麦克风还可以用作音频传感器以促进对通知的控制，如将在下面描述的。系统602可以进一步包括视频接口676，其使得机载相机630的操作能够记录静止图像、视频流等。

实现系统602的移动计算设备600可具有附加特征或功能。例如，移动计算设备600还可以包括附加的数据存储设备(可移除的和/或不可移除的)，诸如磁盘、光盘或磁带。这种附加存储装置在图6B中通过非易失性存储区域668图示。

如上所述，由移动计算设备600生成或捕获并经由系统602存储的数据/信息可以本地存储在移动计算设备600上，或者数据可以存储在任意数量的存储介质上，这些存储介质可以由设备经由无线电接口层672或经由移动计算设备600和与移动计算设备600相关联的分离计算设备之间的有线连接来访问，例如诸如互联网的分布式计算网络中的服务器计算机。应当理解，这样的数据/信息可以经由无线电接口层672或经由分布式计算网络经由移动计算设备600来访问。类似地，根据众所周知的数据/信息传输和存储部件，包括电子邮件和协作数据/信息共享系统，这些数据/信息可以容易地在计算设备之间传输以用于存储和使用。

图7图示了用于处理在计算系统处从诸如个人计算机704、平板计算设备706或移动计算设备708的远程源接收的数据的系统的体系结构的一个方面，如上所述。在服务器设备702处显示的内容可以存储在不同的通信信道或其他存储类型中。例如，可以使用目录服务722、网络入口724、邮箱服务726、即时消息存储728或社交联网站点730来存储各种文档。统一消息传送应用720可以由与服务器设备702通信的客户端采用，和/或统一消息传送应用720可以被服务器设备702采用。服务器设备702可以通过网络715向和从客户端计算设备提供数据，诸如个人计算机704、平板计算设备706和/或移动计算设备708(例如，智能电话)。举例来说，以上关于图1-6描述的计算机系统可以被实施在个人计算机704、平板计算设备706和/或移动计算设备708(例如，智能电话)中。除了接收可用于在图形发起系统处预处理或在接收计算系统处后处理的图形数据之外，计算设备的这些实施例中的任意一个都可从存储库716获得内容。

图8图示了可以执行本文公开的一个或多个方面的示例性平板计算设备800。此外，本文描述的方面和功能可以在分布式系统(例如，基于云的计算系统)上操作，其中应用功能、存储器、数据存储和检索以及各种处理功能可以通过诸如互联网或内联网的分布式计算网络彼此远离地操作。用户界面和各种类型的信息可以经由机载计算设备显示器或经由与一个或多个计算设备相关联的远程显示单元来显示。例如，用户界面和各种类型的信息可以在墙面上显示和交互，用户界面和各种类型的信息被投影到墙面上。与可以实践本发明的实施例的多种计算系统的交互包括键击输入、触摸屏输入、语音或其他音频输入、手势输入，其中相关联的计算设备配备有用于捕获并解释用于控制计算设备的功能的用户手势等的检测(例如相机)功能。

例如，以上参考根据本公开的方面的方法、系统和计算机程序产品的框图和/或操作说明来描述本公开的各方面。框中记录的功能/动作可以不按在任意流程图中所示的顺序发生。例如，取决于所涉及的功能/动作，连续示出的两个框实际上可以基本上同时执行，或者框有时可以以相反的顺序执行。

本申请中提供的一个或多个方面的描述和说明不旨在以任意方式限制或限定要求保护的本公开的范围。本申请中提供的方面、示例和细节被认为足以传达拥有权并使其他人能够制作和使用要求保护的公开的最佳模式。所要求保护的公开不应被解释为限于本申请中提供的任意方面、示例或细节。无论是否组合地或分离地图示和描述，各种特征(结构的和方法的两者)旨在有选择地被包括或被省略以产生具有特定特征的集合实施例。已经被提供了本申请的描述和说明，本领域技术人员可以想到落入本申请中体现的总体发明构思的更宽泛方面的精神内的、不脱离要求保护的公开的更宽范围的变体、修改和备选方面。

Claims (15)

1.一种系统，包括：

至少一个处理器；以及

存储器，被耦合到所述至少一个处理器，所述存储器包括计算机可执行指令，所述计算机可执行指令在由所述至少一个处理器执行时执行用于配置语言理解模型的方法，所述方法包括：

在服务器设备处接收请求，所述请求包括与一个或多个语言理解模型相关联的信息；

基于所述信息，收集与所述一个或多个语言理解模型相关联的模式数据；

使用所收集的所述模式数据来生成通用模式；

使用所述通用模式来训练一个或多个语言理解模型；以及

提供用于查看经训练的所述一个或多个语言理解模型的界面。

2.根据权利要求1所述的系统，其中收集所述模式数据包括：

使用所述信息来生成一个或多个数据请求；

向一个或多个数据存储库发送所述一个或多个数据请求；以及

从所述一个或多个数据存储库接收与所述一个或多个数据请求相关联的模式数据。

3.根据权利要求2所述的系统，其中生成一个或多个数据请求包括：

在所述服务器设备上标识映射信息，所述映射信息指示一个或多个数据源与已知由所述一个或多个数据源可访问的模式数据之间的关系；以及

基于所述映射信息，生成针对由所述一个或多个数据源已知的所述模式数据的一个或多个特定数据请求。

4.根据权利要求3所述的系统，其中训练一个或多个语言理解模型包括向所述一个或多个语言理解模型提供以下项中的至少一项作为输入：所述通用模式、用于生成所述通用模式的数据、以及所接收的所述模式数据。

5.根据权利要求1所述的系统，其中生成所述通用模式包括：

通过一个或多个类别来组织所收集的所述模式数据；

将所组织的所述模式数据转换成所述模式数据的多维表示；

将所述多维表示聚类成通用模式元素；以及

将所聚类的所述通用模式元素映射到所述通用模式。

6.根据权利要求5所述的系统，其中转换所组织的所述模式数据包括将典型相关分析(CCA)应用于所组织的所述模式数据。

7.根据权利要求5所述的系统，其中聚类所述多维表示包括将k均值聚类算法应用于所述多维表示。

8.根据权利要求5所述的系统，其中聚类所述多维表示包括：

标识一个或多个多维表示中的一个或多个术语；

确定对应于所述一个或多个术语的通用术语；以及

指定所述通用术语作为通用模式元素。

9.根据权利要求1所述的系统，其中所述界面还提供经训练的所述一个或多个语言理解模型中的至少一个语言理解模型用于导航、选择和绑定。

10.根据权利要求9所述的系统，其中绑定经训练的所述一个或多个语言理解模型包括：

将经训练的所述一个或多个语言理解模型添加到绑定；以及

将用于自动地实现经训练的所述一个或多个语言理解模型的指令添加到所述绑定。

11.一种用于配置语言理解模型的方法，所述方法包括：

在服务器设备处接收请求，所述请求包括与一个或多个语言理解模型相关联的信息；

基于所述信息，收集与所述一个或多个语言理解模型相关联的模式数据；

使用所收集的所述模式数据来生成通用模式；

使用所述通用模式来训练一个或多个语言理解模型；以及

提供用于查看经训练的所述一个或多个语言理解模型的界面。

12.根据权利要求11所述的方法，其中训练一个或多个语言理解模型包括将所述输入的第一部分提供给第一语言理解模型，并且将所述输入的第二部分提供给第二语言理解模型。

13.根据权利要求12所述的方法，其中所述第一语言理解模型使用所述输入的所述第一部分来确定第一预测关系集合，并且所述第二语言理解模型使用所述输入的所述第二部分来确定第二预测关系集合。

14.根据权利要求11所述的方法，其中所述界面还提供经训练的所述一个或多个语言理解模型中的至少一个语言理解模型用于导航、选择和绑定，其中所述绑定包括：

将经训练的所述一个或多个语言理解模型添加到绑定；以及

将用于自动地实现经训练的所述一个或多个语言理解模型的指令添加到所述绑定。

15.一种存储计算机可执行指令的计算机可读介质，所述计算机可执行指令在被执行时使计算系统执行配置语言理解模型的方法，所述方法包括：

在服务器设备处接收请求，所述请求包括与一个或多个语言理解模型相关联的信息；

基于所述信息，收集与所述一个或多个语言理解模型相关联的模式数据，其中收集模式数据包括：

使用所述信息来生成一个或多个数据请求；

向一个或多个数据存储库发送所述一个或多个数据请求；以及

从一个或多个已知数据存储库接收与所述一个或多个数据请求相关联的模式数据；

使用所收集的所述模式数据来生成通用模式，其中生成所述通用模式包括：

将所收集的所述模式数据聚类成通用模式元素；以及

将所聚类的所述通用模式元素映射到所述通用模式；

使用所述通用模式来训练一个或多个语言理解模型；以及

提供用于绑定经训练的所述一个或多个语言理解模型的界面。