CN111492388A

CN111492388A - 用于确定可动作意图的ai系统

Info

Publication number: CN111492388A
Application number: CN201880082081.0A
Authority: CN
Inventors: 林居正; M·盖蒙; D·康; P·潘特尔; M·卡布撒; A·H·亚瓦达拉
Original assignee: Microsoft Technology Licensing LLC
Current assignee: Microsoft Technology Licensing LLC
Priority date: 2017-12-22
Filing date: 2018-12-13
Publication date: 2020-08-04
Also published as: US11003858B2; EP3711007A1; US20190197107A1; WO2019125875A1

Abstract

一种方法包括接收被寻址到收件人用户的电子邮件，使用重新参数化的递归神经网络模型处理接收的电子邮件以基于接收的电子邮件来标识动作，并且其中重新参数化的递归神经网络模型已经在用收件人对应动作注释的电子邮件数据集上被训练，并且在具有与电子邮件数据相似结构的未注释的会话数据上被重新参数化。

Description

用于确定可动作意图的AI系统

背景技术

尽管工作场所中出现了很多新的通信工具，但是电子邮件在很多组织中仍然是主要的(即使不是主导的)消息传递平台。每天都有很多人接收到数百个电子邮件和其他通信。及时响应或以其他方式处理每个电子邮件可能会消耗大量时间，从而影响其他工作职责。帮助人们管理和处理电子邮件可以提高他们的生产力。

发明内容

一种方法包括：接收被寻址到收件人用户的电子邮件；使用重新参数化的递归神经网络模型处理接收的电子邮件以基于接收的电子邮件来标识动作，并且其中重新参数化的递归神经网络模型已经在用收件人对应动作注释的电子邮件数据集上被训练，并且在具有与电子邮件数据相似结构的未注释的会话数据上被重新参数化。

一种机器可读存储设备具有用于由机器的处理器执行以引起处理器执行操作以执行生成模型的方法的指令。该方法包括：接收被寻址到收件人用户的通信；使用重新参数化的递归神经网络模型处理接收的通信以基于接收的电子邮件来标识动作，并且其中重新参数化的递归神经网络模型已经在用收件人对应动作注释的通信数据集上被训练，并且在具有与通信数据集数据相似结构的未注释的会话数据上被重新参数化。

一种系统包括一个或多个处理器以及耦合到该一个或多个处理器的存储设备，该存储设备上存储有用于引起一个或多个处理器执行意图识别操作的指令。该操作包括：接收被寻址到收件人用户的通信；使用重新参数化的递归神经网络模型处理接收的通信以基于接收的通信来标识动作，并且其中重新参数化的递归神经网络模型已经在来自第一域的用收件人对应动作注释的通信数据集上被训练，其中第一域与接收的通信相关，并且重新参数化的递归神经网络模型已经在来自第二域的具有与电子邮件数据相似结构的未注释的会话数据上被重新参数化。

一种训练递归神经网络(RNN)以用于响应于接收的电子邮件来标识动作的计算机实现的方法，该方法包括操作，该操作包括：初始化RNN的权重，在收件人动作注释的电子邮件的目标域集上训练RNN，以及在未注释的会话数据线程上重新参数化RNN。

附图说明

图1是示出根据示例实施例的响应于电子邮件通信而生成动作的计算机实现的方法的流程图。

图2是示出根据示例实施例的训练递归神经网络(RNN)的计算机实现的方法的流程图。

图3是根据示例实施例的响应于目标域通信的示例动作的表。

图4是根据示例实施例的来自附加域的数据的示例。

图5是根据示例实施例的用于来自各个域的通信的示例标签的表。

图6是根据示例实施例的关于来自各个域的通信的示例统计信息的表。

图7是根据示例实施例的处理线程化消息的框图。

图8是根据示例实施例的由单个RNN长短期存储器(LSTM)单元组成的部分计算图。

图9是根据示例实施例的用共享分量和域特定分量重新参数化的RNN LSTM单元的计算图。

图10是根据示例实施例的用于执行方法和算法的示例设备的电路系统的框图。

具体实施方式

在下面的描述中，参考形成其一部分的附图，并且在附图中通过图示的方式示出了可以实践的特定实施例。足够详细地描述了这些实施例以使本领域技术人员能够实践本发明，并且应当理解，可以利用其他实施例，并且可以在不脱离本发明的范围的情况下进行结构、逻辑和电气改变。因此，以下示例实施例的描述不应当被认为是限制性的，并且本发明的范围由所附权利要求书限定。

在一个实施例中，本文中描述的功能或算法可以用软件实现。该软件可以包括存储在计算机可读介质或计算机可读存储设备上的计算机可执行指令，诸如一个或多个非暂态存储器或其他类型的基于硬件的存储设备(本地的或联网的)。此外，这样的功能对应于模块，其可以是软件、硬件、固件或其任何组合。可以根据需要在一个或多个模块中执行多种功能，并且所描述的实施例仅是示例。软件可以在数字信号处理器、ASIC、微处理器、或者在诸如个人计算机、服务器或其他计算机系统等计算机系统上运行的其他类型的处理器上执行，从而将这样的计算机系统变成专门编程的机器。

功能可以被配置为使用例如软件、硬件、固件等来执行操作。例如，短语“被配置为”可以是指用于实现相关功能的硬件元件的逻辑电路结构。短语“被配置为”还可以是指用于实现固件或软件的相关功能的编码设计的硬件元件的逻辑电路结构。术语“模块”是指可以使用任何合适的硬件(例如，处理器等)、软件(例如，应用等)、固件、或硬件、软件和/或固件的任何组合来实现的结构元件。术语“逻辑”涵盖用于执行任务的任何功能。例如，流程图中示出的每个操作对应于用于执行该操作的逻辑。操作可以使用软件、硬件、固件等来执行。术语“组件”、“系统”等可以是指计算机相关实体、硬件、和执行软件、固件或其组合。组件可以是在处理器、对象、可执行文件、程序、函数、子例程、计算机、或软件和硬件的组合上运行的进程。术语“处理器”可以是指硬件组件，诸如计算机系统的处理单元。

此外，所要求保护的主题可以使用标准编程和工程技术产生用于控制计算设备实现所公开的主题的软件、固件、硬件或其任何组合而实现为方法、装置或制品。本文中使用的术语“制品”旨在涵盖从任何计算机可读存储设备或介质可访问的计算机程序。计算机可读存储介质可以包括但不限于磁存储设备，例如硬盘、软盘、磁条、光盘、压缩盘(CD)、数字多功能磁盘(DVD)、智能卡、闪存设备等。相反，计算机可读介质(即，不是存储介质)可以另外包括通信介质，诸如用于无线信号等的传输介质。

除了过滤器，大多数当前的自动电子邮件回复具有最小的智能，并且通常不基于原始电子邮件的内容来定制回复。例如，考虑能够在接收电子邮件时预测收件人的下一步操作的系统。该系统可以提供协助以完成该操作，例如以快速回复的形式，将任务添加到收件人的待办事项列表中，或者帮助收件人对另一系统采取措施。为了构建和训练这样的系统，可以使用电子邮件数据集，但是不幸的是，公共电子邮件数据集(诸如Klimt和Yang，2004年，以及Oard等人，2015年)未注释，并且可能太小而无法训练机器学习系统可靠地执行这样的动作。除了电子邮件回复，这样的公共电子邮件数据集还缺少有关收件人动作的直接信息/注释。更进一步，即使是这么小的数据库的注释也可能很费力。

在本发明主题的实施例中，用于动作的注释方案被应用于公共可用电子邮件的语料库，以用于在机器学习系统中使用，该机器学习系统处理电子邮件并且基于收件人意图生成动作。为了克服缺少足够的电子邮件训练数据来进行端到端训练，使用来自可以被称为辅助域的来源的其他数据。包含与电子邮件和收件人动作类似的结构的辅助域中的数据以有限的方式被注释，其中可能不包含动作，但对训练有用。使用域或任务不变知识来提高特定任务/域的性能的多任务和多域学习用于训练系统。这样的辅助域和任务与多任务和多域学习相结合可以帮助系统模型发现对话中的不变结构，从而改善主要数据和任务的分类器：电子邮件收件人动作分类。

更具体地，基于动作的注释方案用于相对于用户响应于接收到电子邮件而不是发件人意图发送电子邮件而采取或预期采取的动作来对电子邮件进行注释。由于电子邮件数据可能不够大而无法进行端到端训练，因此可以使用从其他任务和域中导出的其他语义和实用信息来丰富训练，而无需注解预期动作(例如，IRC(互联网中继聊天)和Reddit、以及来自其他域的线程化消息)。在一个实施例中，可以使用被称为用于多任务RNN重新参数化的递归注意力神经词袋模型(RAINBOW)的模型。

在自然语言处理中的先前工作通过使用共享表示空间来解决多域/多任务学习。总体模型架构通常与单域单任务设置保持不变；但是对所学习的表示重新参数化以考虑到来自其他数据和任务/域知识的知识。这种共享表示空间编码器在以前看不见的任务上表现不佳。

与将所有数据和描述编码到共享表示空间中相反，本发明主题的实施例共同跨不同域和任务来训练多个参数共享模型，而无需在网络中维持共享编码表示。

被设计用于工作场所电子邮件收件人动作的注释方案可以用于注释一组电子邮件以产生用于在训练中使用的注释域特定数据集。为多任务和多域学习创建一系列重新参数化的递归神经网络(RNN)模型。这样的模型对域不变特征进行编码，并且在没有足够的数据进行端到端学习的情况下，仍然为无监督学习环境中的任务界定提供有用的功能。重新参数化的长期短期记忆(LSTM)网络是递归神经网络，其可以用作RNN的隐藏层的构建组件或块。这样的LSTM网络利用一系列单元来对通信中的单词进行加权，从而在网络处理通信时记住或忘记单词。例如，主题的改变可能导致相对于正在处理的新单词，新主题的价值高于旧主题。换言之，遇到的下一单词更有可能与新主题相关，而与旧主题相关性较小。相同的概念适用于应当生成的可能任务。

与公共域适应变体相比，重新参数化的LSTM网络在测试数据上始终获取更好的可能性和整体准确性。从用共享参数权重实例化的网络中提取的表示在以前看不见的任务上表现良好。

图1是示出使用重新参数化的递归神经网络来响应于电子邮件通信而生成动作的方法100的流程图。方法100包括在操作110处接收通信，诸如被寻址到收件人用户的电子邮件。通信可以是电子邮件、文本消息或其他类型的通信，包括纸质备忘录或信件，其已经被扫描并且通过光学字符识别(OCR)以提供通信的单词的数字表示。操作120使用重新参数化的递归神经网络(RNN)模型来处理接收的通信以基于接收的电子邮件来标识动作。在操作130处生成动作。动作的标识可以包括简单地标识要采取的动作的类型，该动作的生成可以包括其他操作，包括与其他程序接口以生成响应性通信并且获取其他信息以添加或控制动作。

在一个实施例中，该动作可以包括具有在接收的电子邮件中请求的数据的电子邮件响应。网络可以标识一般动作，诸如通过电子邮件进行的响应，然后可以使用应用程序编程接口与电子邮件程序(诸如Outlook)交互，以回复接收的电子邮件或建议对接收的电子邮件的回复。电子邮件响应可以用在接收的电子邮件中请求的数据来填充。数据可以由搜索引擎提供，该搜索引擎可以处理在接收的电子邮件中标识的自然语言查询，诸如“何时完成Apollo项目”。该查询的结果可能只是“1月14日”。与电子邮件程序的其他交互可以包括使用通用应用程序编程接口来命令电子邮件程序发送消息。

在另一实施例中，该动作可以包括设置日历约会。网络可以标识时间、日期、位置、呼入信息和被邀请者中的一个或多个，并且与Outlook交互以基于这样的数据生成会议请求。动作的执行将发送会议请求。

可以以类似的方式执行其他动作，诸如对接收的电子邮件中的问题回复是或否，简单地确认收据，共享所请求的内容，等等。在一些实施例中，可以在执行之前经由用户输入来批准动作的执行，或者简单地响应于动作生成的完成而自动执行动作。

重新参数化的递归神经网络模型在带有收件人对应动作注解的电子邮件数据集上被训练，并且在具有与电子邮件数据相似结构的未注释的会话数据上被重新参数化。在一个实施例中，根据共享分量和域特定分量对模型进行参数化。在其他实施例中，该模型可以是LSTM模型。

在操作140处，可以直接进行动作而无需用户交互，也可以在具有用户交互的情况下进行动作，诸如用户选择通过键盘、触摸板或与实现方法100的设备交互的任何其他方式进行操作。

根据图2中以流程图形式表示的方法200执行RNN的训练。该方法开始于210。操作220初始化RNN神经元权重。在一些实施例中，权重可以被随机地初始化，或者可以被设置为范围例如在-1到+1之间的一个或多个选定值。在操作230处使用训练数据集执行RNN的训练。训练数据集包括用可能的动作注释的注释的电子邮件数据集、以及在结构上类似于电子邮件的其他数据。其他数据可以包括预测标签，诸如标识电子邮件线程的结束的结构相关标签、带有附件的消息、转向和Reddit线程的结束。换言之，标签表示电子邮件具有相同类型结构的其他数据的结构。电子邮件可能出现在结尾的电子邮件线程中，可能带有附件，并且电子邮件线程可能会轮流展示，其中不同的用户发送电子邮件和回复电子邮件，轮流或两次回复电子邮件而没有中间回复。下面提供有关注释和标签的更多详细信息。

在操作240处，通过使用未用于训练的训练数据的一部分来执行RNN的验证。训练数据的一部分被提交给经训练RNN以确定注释的动作是否是由RNN选择的动作。执行决策操作250以确定模型在训练过程200中到目前为止是否已经实现最高准确度。如果是，则在操作260处使用到目前为止的最佳参数来更新模型。如果否，或者在操作260处更新模型之后，在在决策操作270处检查方法200的迭代次数是否已经超过极限。如果否，则方法200返回操作220以再次初始化网络权重，如线280所示。如果已经超过迭代极限，则训练完成，并且方法200在290处停止。

在一个示例实施例中，注释和评估的电子邮件消息是Avocado数据集的一部分(Oard等人，2015年)，该数据集由电子邮件和附件构成，这些邮件和附件取自称为“Avocado”已经废弃的信息技术公司的279个帐户。电子邮件线程可以从收件人的邮箱中重构。在一个示例中，可以使用完整线程(包含所有回复的线程)和线性(每次跟进都是对前一电子邮件的回复)线程。

已知工作场所电子邮件是高度面向任务的。与互联网上的闲聊(无关紧要的讨论或琐碎的话题)相反，说话者的意图和对电子邮件的预期动作通常非常精确。用这样的预期动作对电子邮件进行注释可以更好地预测读者将响应于电子邮件或电子邮件线程而采取的动作。与注释发件人意图相比，注释收件人动作具有以下优点：首先，基于动作的注释不依赖于特定语音行为分类法。这种分类法的设计高度依赖于用例，并且发件人意图的定义可以是循环的。

即使在诸如电子邮件等单个目标域内，也存在几种不同的发件人意图分类法。专注于收件人的动作的语音动作不可知方案可以在各种情况下更好地进行概括。新的注释方案还具有较低的注入偏差风险，因为注释依赖于响应于电子邮件而执行的预期(或甚至观察到的)动作，而不是依赖注释者对发件人意图的直觉。最后，虽然可以依赖于注释者来进行动作注释，但是在一个实施例中使用的很多注释的动作转化为计算机上的非常特定的动作。因此，智能用户界面可以用于捕获并且提醒用户这样的电子邮件操作，从而允许用户批准动作的执行或允许在无需用户批准的情况下自动执行动作。

在图3中在表300处以表形式示出了一组示例动作。在该示例中，动作分为三大类，称为消息发送、软件交互和共享内容。注意，表300被用作示例，并且在其他实施例中，可能还有其他类别和动作可以用于注释通信。

消息发送：在很多情况下，收件人最有可能发出另一电子邮件，作为对发件人或其他人的回复。如表300所示，REPLY-YESNO、REPLY-ACK、REPLY-OTHER、INVESTIGATE、SEND-NEW-EMAIL是在同一线程或新线程上发出新电子邮件的动作。

软件交互：最可能的收件人动作是与诸如SETUP-APPOINTMENT和APPROVE-REQUEST等办公软件的交互。

共享内容：在很多情况下，最可能的动作是作为附件或通过其他方式共享文档。伞式动作SHARE-CONTENT用于捕获这些动作。

随后对预处理的电子邮件线程的子集进行注释。在一个实施例中，人们用作注释者以用表300中的一组动作中的动作来注释电子邮件(也称为消息或通信)。要求每个注释者想象他们是工作场所环境中的线程化电子邮件的收件人。尽管不是必需的，但对于注释者来说，在电子邮件所源自的类似工作环境中获取经验可能会有所帮助。对于每个消息，注释者读取线程中的先前消息，并且如果他们已经成为该消息的收件人，则用他们可以执行的最可能的动作(在表300中)进行注释。如果动作集中未定义最可能的动作，则注释者将用OTHER动作进行注释。

在一个示例中，对来自110个不同线程的总计399个电子邮件被注释。该示例中注释者的Cohen's Kappa为0:75。多个注释者之间的分歧可以通过多数表决来仲裁或选择。

所收集的注释的大小与其他基于语音行为的注释数据集相当。但是，与其他带有专家注释的数据集一样，该数据集不足以进行端到端训练。因此，训练通过从其他任务和域中导出的其他语义和实用信息来丰富，而没有预期动作的注释。

可以包括来自诸如IRC和Reddit等其他域的数据以进行多域学习。这样的数据的使用既可以增强训练的训练，又可以节省从目标域获取和注释其他通信线程的时间和费用。

IRC：Ubuntu对话语料库是来自Ubuntu的Internet Relay Chat技术支持通道的精选聊天记录集合(Lowe等人，2015年)。

Reddit：Reddit是由若干子Reddit组成的互联网讨论社区，每个子Reddit或多或少是与某个主题相关的讨论论坛。可以在连续两个月的时间里从子目录/政治中收集数据集。数据集中的每个条目均由帖子标题、可选的帖子正文和随附的评论树组成。可以通过从树中递归采样来收集线性线程。

来自附加域的数据的示例在图4的表400中示出。这些示例很可能引起与电子邮件数据中观察到的动作有关的动作。IRC聊天非常任务特定的，并且主要是关于技术帮助。可以看出，很多对话轮流都是从信息请求开始，然后是该信息的传递。表400中的一个示例包括信息请求：“有人可以向我解释一下如何使oss兼容性驱动程序自动在ubuntu中加载吗？”在响应中提供的信息是：“您应当尝试这些，apt src deb_URL_unstable/”。另一方面，Reddit数据集更加多样化，包括在r/politics中的讨论或多或少与对美国公共政策和政治的评论有关。需要收件人采取措施的消息很少见，因此了解用于获知要预测哪种措施的信息很少。

图5是表500，其示出了用于多任务学习的预测标签，该预测标签可以从来自目标域、电子邮件以及其他域(在这种情况下为IRC和Reddit)的数据中提取。电子邮件消息可以被标记为电子邮件线程的(E-T)结束，并且(E-A)该消息具有(多个)附件。IRC通信可以被标记为(I-T)，其对应于转弯，而Reddit通信可以被标记为(R-T)，其对应于Reddit线程的结束。

就说话人的意图而言，来自IRC和Reddit的消息不够精确。因此，收件人动作方案不能直接应用于这样的消息。但是，先前在互联网论坛和聊天室中对言语行为的研究表明，所有这些异类域(例如，信息请求和传递)存在共同的语音行为。来自这些域的更多数据将有助于识别这些语音行为，进而有助于识别最终的收件人行为。

在一个实施例中，数据集的一半可以用作训练数据，四分之一用作验证数据，其余的四分之一用作测试数据。在其他实施例中可以使用其他比例。

就所涉及的收件人动作而言，除了手动注释的Avocado数据的一小部分，数据集在很大程度上没有标签。但是，仍然可以通过机器执行的软件或由人从其元数据中提取有用的信息，诸如推断的线程结束标记(ET)或系统记录的事件，这些标记或事件可以用于为多任务学习设置公式化其他预测任务，如表500所示。这些多任务标签也可以用于评估下面进一步详细描述的多任务/域模型。

图6包括表600，表600示出了在示例训练数据中使用的会话数据的统计信息。第一列中示出了每个域中的线程数，第二列中示出了消息数，第三列中示出了线程中的电子邮件平均数，第四列中示出了每个消息中的平均单词数。在一个实施例中，每个消息可以被截断为256个单词，包括BOS和EOS符号。根据需要，每个线程将被截断为32条消息。进行截断以匹配Avocado数据集的大小，以便更快地训练和评估模型。

在一个实施例中，可以将线程化消息建模为两层体系：在较低级别，消息m包括单词的有序列表：m＝[w_{1：：：|m|}]。进而，线程x是消息的有序列表：x＝[m1...|x|]。假定每个消息线程来自特定域；并且因此是多对一映射f(x)＝d，其中d∈D是定义的所有域的集合。任务被定义为t∈T，其具有多对一映射g(t)＝d，d∈D。为了进行预测，将任务t的预测变量定义为h_t(x)：X→Y，它根据(有效)任务t上的线程x来预测顺序标签y＝[y₁：：：y_|x|]∈Y。线程x上的任务t的实值任务丢失被定义为

其中

是基本事实。

多任务损失l_MT被定义为针对单个(输出，基本事实)对

在相同域d下的任务{t_d}的任务损失之和

并且总损失

被定义为K_d个示例的总和。多域损耗L_MD被定义为D上的总损耗之和：

如图7中的框流程图所示，将递归注意力神经词袋模型(RAINBOW)用作线程化消息的基线模型700。电子邮件705是线程中的第一电子邮件，该线程中的连续电子邮件以706……709表示。如前所述，该线程中最多可以包含256个电子邮件，因此图7中代表256行。在其他实施例中，更少或更多行可以用于不同长度的线程。为了便于说明，只有第一行具有附图标记，但是后续行在线程中的连续电子邮件上以基本上相同的方式操作。

从高级的角度看，RAINBOW是具有两个编码器层的分层神经网络：较低层是神经词袋编码器710，其将每个消息m(原始通信文本705)编码到其消息嵌入b(m)715中。进而，高层线程编码器720经由学习的递归神经网络e_l...e_|x|＝f_RNN(b(m₁)...b(m_|x|))将独立编码的消息嵌入[b(m₁)...b(m_|x|)]转换为线程嵌入725。(由于f_RNN实际上对于不同长度的x有所不同，因此略有滥用注释。)RAINBOW具有三个主要组件：消息编码器710、线程编码器720和预测器730。

消息编码器b(m)710可以被实现为m中的{w}上的词袋模型。出于先前有关电子邮件意图建模的文字特征的激励，可以添加注意池层来挑选重要的关键字。然后，对平均的嵌入进行非线性变换：

其中

是学习的前馈网络，

是w和a的单词嵌入，

是(学习的)专心网络，其用于判断每个单词w对最终表示b(m)的贡献。

将消息嵌入传递给线程级编码器720LSTM上以产生线程嵌入向量：

[e₁...e_|x|]＝r(b(m₁)...b(m_|x|))

然后，将线程嵌入725传递给预测器层730，并且还传递给后续行，如735所示，以用于使用线程中的下一电子邮件来更新线程嵌入726。在一个实施例中，预测(生成的动作745)是在可能的标签上的分布。因此，预测变量h_t被设计为两层前馈网络p，它将线程嵌入映射到Vt上的分布，即任务t的标签集：h_t(e₁...e_|x|)＝[p(·|e₁)...p(·|e_|x|)]。伴随的损失自然地被定义为预测p(e₁)...p(e_|x|)与经验分布

之间的交叉熵

RAINBOW是深度平均网络对线程消息建模的扩展。它非常适合标记邮件属性的线程邮件，诸如在线聊天中的对话转弯标记和电子邮件中的线程结束检测。但是，以目前的形式，模型被训练为仅完成一项任务。当给出域外数据时，它也不会共同捕获这些不同域的共享动态。在各种实施例中，重新参数化的递归神经网络族容易适应多域多任务学习设置。

图8是由单个LSTM单元800组成的局部计算图。通常，递归神经网络采用一系列输入数据x 810，并且递归地应用非线性函数，以获取变换后的表示的序列h，如815所示。在该示例中，该变换以函数f_RNN表示，该函数由RNN参数θ^R在820处参数化为h＝f_RNN(x；θ^R)。对于LSTM模型，可以将θ^R820公式化为分别表示为825、826、827和828的输入、输出、遗忘和单元门参数[W_i；W_o；W_f；W_c]的级联向量。虚线830、831、832和833表示参数化。非参数化的函数表示为840、841、842和843。单元800的状态c表示为850，并且改变后的单元状态c'表示为855。通常，训练RNN的目标是找到最佳实值向量θ^^R，使得对于给定的损失函数L，

在多域学习的上下文中，类似于等式(1)参数化为：

有两个建模选择可用。每个任务t都可以DISJOINT地或使用TIED参数建模。DISJOINT方法每个任务t学习单独的参数集

因此，除了通过单词嵌入的正则化效果，其他域/任务的数据几乎不会影响任务的执行。

另一方面，TIED方法将所有域的参数绑定到单个θ^R，这已经成为多任务/域建模的流行选择，已发现，RNN在训练之后经常学习编码良好的共享表示以共同完成不同的任务。该网络似乎也可以推广到不同的域。但是，共享表示的价值取决于以下假定：所有域都是相似的，或者网络有能力同时捕获来自所有域的数据动态。

在图9中的参数共享LSTM单元900的计算图中示出了替代方法。不是对于所有域只有一组参数集θ^R，将θ^R重新参数化为共享分量

920和域特定分量

930的函数φ910。即：

并且目标是使关于

两者的损失最小化

在图8和9中分别示出了常规RNN和经修改以基于共享分量和域特定分量两者重新参数化θ^R的RNN之间的比较。重新参数化允许使用共享分量θ_s在不同域的数据上训练的网络之间共享参数，同时允许网络使用域特定参数θ_d来不同地处理来自每个域的数据。

函数φ的设计要求在模型灵活性与可概括性之间取得平衡。可以考虑通过不同函数φ(及其在本文中使用的缩写)重新参数化θ^R的以下不同变体：

加性(ADD)：将φ视为共享基数

和网络特定分量

的线性插值

其中

是学习的参数。在该公式中，学习ADD共享的

以及每个域的附加的域特定参数

u_d可以控制对最终参数的影响

程度。

DISJOINT和TIED都可以被看作是ADD的退化案例：当共享分量为零向量时，恢复DISJOINT：

并且其中u_d→-∞，

即TIED。

加法+乘法(ADDMUL)ADD在

与

之间没有非线性相互作用，它们对复合θ^R具有独立的影响。在ADDMUL中，在

中有两个分量：加法分量

和乘法分量

其在不显著增加参数数量的情况下引入了非线性：

其中

是Hadamard乘积，

与在ADD公式中学习的参数一样。

仿射(AFFINE)在该公式中，

被视为任务嵌入。将学习到的仿射变换W应用于任务嵌入并且将共享分量

相加：

其中W是学习的参数。

对等式(1)中定义的多域损耗的优化用梯度下降法来执行。为了更新参数，对每个域的一个线程{m_d|d∈d}进行采样并且使用Adam优化器优化网络参数，Adam优化器是一种基于低阶矩的自适应估计的基于一阶梯度的随机目标函数优化算法。在其他实施例中，可以使用其他优化器，诸如随机梯度下降、Adadelta、RMSPROP或Adagrad。

图10是根据示例实施例的计算机系统1000的框图，该计算机系统1000用于实现训练系统以标识诸如电子邮件等通信的收件人以及用于执行方法和算法的其他设备的预期动作。在各种实施例中并非需要使用所有组件。

计算机1000形式的一个示例计算设备可以包括处理单元1002、存储器1003、可移除存储装置1010和不可移除存储装置1012。尽管示例计算设备被示出和描述为计算机1000，但是该计算设备在不同实施例中可以采用不同形式。例如，计算设备可以替代地是智能电话、平板电脑、智能手表、智能存储设备(SSD)或其他计算设备，其包括与关于图10示出和描述的相同或相似的元件。诸如智能电话、平板电脑和智能手表等设备通常统称为移动设备或用户设备。此外，尽管将各种数据存储元件示出为计算机1000的一部分，但是该存储装置还可以或可以替代地包括经由网络可访问的基于云的存储装置，诸如互联网或基于服务器的存储装置。还应当注意，SSD可以包括解析器在其上运行的处理器，从而允许通过SSD与主存储器之间的I/O通道传输经过解析的过滤的数据。

存储器1003可以包括易失性存储器1014和非易失性存储器1008。计算机1000可以包括各种计算机可读介质，或者可以访问包括各种计算机可读介质的计算环境，该计算机可读介质诸如易失性存储器1014和非易失性存储器1008、可移除存储装置1010和不可移除存储装置1012。计算机存储装置包括随机存取存储器(RAM)、只读存储器(ROM)、可擦可编程只读存储器(EPROM)或电可擦可编程只读存储器(EEPROM)、闪存或其他存储器技术、光盘只读存储器(CD ROM)、数字多用途磁盘(DVD)或其他光盘存储装置、磁盒、磁带、磁盘存储装置或其他磁性存储设备、或者能够存储计算机可读指令的任何其他介质。

计算机1000可以包括或可以访问包括输入接口10010、输出接口1004和通信接口1016的计算环境。输出接口1004可以包括诸如触摸屏等显示设备，该显示设备也可以用作输入设备。输入接口1006可以包括以下中的一种或多种：触摸屏、触摸板、鼠标、键盘、相机、一个或多个设备特定按钮、集成在计算机1000内或经由有线或无线数据连接耦合到计算机1000的一个或多个传感器、以及其他输入设备。该计算机可以使用通信连接在联网环境中操作以连接到一个或多个远程计算机，诸如数据库服务器。远程计算机可以包括个人计算机(PC)、服务器、路由器、网络PC、对等设备或其他公共数据流网络交换机等。通信连接可以包括局域网(LAN)、广域网(WAN)、蜂窝网络、Wi-Fi、Bluetooth或其他网络。根据一个实施例，计算机1000的各种组件与系统总线1020连接。

存储在计算机可读介质上的计算机可读指令由计算机1000的处理单元1002可执行，诸如程序1018。在一些实施例中，程序1018包括在由处理单元1002执行时执行根据本文中包括的任何实施例的网络交换操作的软件。硬盘驱动器、CD-ROM和RAM是包括非暂态计算机可读介质(诸如存储设备)的物品的一些示例。术语“计算机可读介质”和“存储设备”不包括载波，因为载波被认为是暂态的。存储装置还可以包括网络存储装置，诸如存储区域网络(SAN)。计算机程序1018可以用于引起处理单元1002执行本文中描述的一种或多种方法或算法。

示例：

在示例1中，一种方法包括：接收被寻址到收件人用户的电子邮件；使用重新参数化的递归神经网络模型处理接收的所述电子邮件以基于接收的所述电子邮件来标识动作，以及其中所述重新参数化的递归神经网络模型已经：在用收件人对应动作注释的电子邮件数据集上被训练；以及在具有与电子邮件数据相似结构的未注释的会话数据上被重新参数化。

示例2包括示例1所述的方法，其中所述模型根据共享分量和域特定分量被重新参数化以提供多域多任务学习。

示例3包括先前示例中的任一项所述的方法，其中所述重新参数化功能将所述共享分量和所述域特定分量相加，其中域特定分量的权重对于每个域是不同的。

示例4包括先前示例中的任一项所述的方法，其中所述重新参数化功能将所述共享分量和所述域特定分量相加和相乘，其中域特定分量的权重对于用于相加的每个域以及单独的乘法分量是不同的以引入非线性。

示例5包括先前示例中的任一项所述的方法，还包括生成与标识的所述动作对应的一个或多个动作。

示例6包括先前示例中的任一项所述的方法，还包括响应于对至少生成的所述一个或多个动作的用户选择而执行生成的所述一个或多个动作中的至少一个动作。

示例7包括先前示例中的任一项所述的方法，其中生成的所述动作包括电子邮件响应，其中所述电子邮件响应的文本响应于接收的所述电子邮件中的标识的问题，并且其中执行生成的所述动作包括发送所述电子邮件响应。

示例8包括先前示例中的任一项所述的方法，其中生成的所述动作包括日历约会响应，其中所述日历约会的时间、日期和参与者是，所述日历约会响应于接收的所述电子邮件，并且其中执行生成的所述动作包括向所述参与者发送所述日历约会。

示例9包括先前示例中的任一项所述的方法，其中注释的所述电子邮件用选自类别组的所述注释中的一个或多个注释而被注释，所述类别组包括消息发送、软件交互和共享内容。

示例10包括先前示例中的任一项所述的方法，其中所述未注释的会话数据用与对应于类似于电子邮件结构的结构的线程的转弯和结束对应的标签而被标记。

示例11包括先前示例中的任一项所述的方法，其中通过使用递归注意力神经词袋模型(RAINBOW)作为基线模型对用收件人对应动作而被注释的电子邮件数据集进行编码来在注释的所述电子邮件数据集上训练所述重新参数化的递归神经网络模型，其中两个编码层包括：将每个电子邮件编码为消息嵌入；以及根据先前线程嵌入将每个线程编码为线程嵌入。

在示例12中，一种机器可读存储设备，具有用于由机器的处理器执行以引起所述处理器执行操作以执行生成模型的方法的指令。所述方法包括：接收被寻址到收件人用户的通信；使用重新参数化的递归神经网络模型处理接收的所述通信以基于接收的所述电子邮件来标识动作，以及其中所述重新参数化的递归神经网络模型已经：在用收件人对应动作注释的通信数据集上被训练，以及在具有与所述通信数据集数据相似结构的未注释的会话数据上被重新参数化。

示例13包括先前示例中的任一项所述的方法，其中所述模型根据共享分量和域特定分量被重新参数化以提供多域多任务学习。

示例14包括先前示例中的任一项所述的方法，其中所述重新参数化功能将所述共享分量和所述域特定分量相加，其中域特定分量的权重对于每个域是不同的。

示例15包括先前示例中的任一项所述的方法，其中所述重新参数化功能将所述共享分量和所述域特定分量相加和相乘，其中域特定分量的权重对于用于相加的每个域以及单独的乘法分量是不同的以引入非线性。

示例16包括先前示例中的任一项所述的方法，还包括生生成与标识的所述动作对应的一个或多个动作。

示例17包括先前示例中的任一项所述的方法，还包括响应于对至少生成的所述一个或多个动作的用户选择而执行生成的所述一个或多个动作中的至少一个动作。

示例18包括先前示例中的任一项所述的方法，其中生成的所述动作包括电子邮件响应，其中所述电子邮件响应的文本响应于接收的所述电子邮件中的标识的问题，并且其中执行生成的所述动作包括发送所述电子邮件响应。

示例19包括先前示例中的任一项所述的方法，其中生成的所述动作包括日历约会响应，其中所述日历约会的时间、日期和参与者响应于接收的所述通信，并且其中执行生成的所述动作包括向所述参与者发送所述日历约会。

示例20包括先前示例中的任一项所述的方法，其中注释的所述通信用选自类别组的所述注释中的一个或多个注释而被注释，所述类别组包括消息发送、软件交互和共享内容。

示例21包括先前示例中的任一项所述的方法，其中所述未注释的会话数据用与对应于类似于所述通信数据集的结构的线程的转弯和结束对应的标签而被标记。

示例22包括先前示例中的任一项所述的方法，其中通过使用递归注意力神经词袋模型(RAINBOW)作为基线模型对用收件人对应动作而被注释的电子邮件数据集进行编码来在注释的所述电子邮件数据集上训练所述重新参数化的递归神经网络模型，其中两个编码层包括：将每个电子邮件编码为消息嵌入；以及根据先前线程嵌入将每个线程编码为线程嵌入。

在示例23中，一种系统包括一个或多个处理器以及耦合到所述一个或多个处理器的存储设备，所述存储设备上存储有用于引起所述一个或多个处理器执行意图识别操作的指令。所述操作包括：接收被寻址到收件人用户的通信；使用重新参数化的递归神经网络模型处理接收的所述通信以基于接收的所述电子邮件来标识动作，并且其中所述重新参数化的递归神经网络模型已经在来自第一域的用收件人对应动作注释的通信数据集上被训练，其中所述第一域与接收的所述通信相关，并且所述重新参数化的递归神经网络模型已经在来自第二域的具有与电子邮件数据相似结构的未注释的会话数据上被重新参数化。

示例24包括先前示例中的任一项所述的方法，其中所述模型根据共享分量和域特定分量被重新参数化以提供多域多任务学习。

示例25包括先前示例中的任一项所述的方法，其中所述重新参数化功能将所述共享分量和所述域特定分量相加，其中域特定分量的权重对于每个域是不同的。

示例26包括先前示例中的任一项所述的方法，其中所述重新参数化功能将所述共享分量和所述域特定分量相加和相乘，其中域特定分量的权重对于用于相加的每个域以及单独的乘法分量是不同的以引入非线性。

示例27包括先前示例中的任一项所述的方法，还包括生成与标识的所述动作对应的一个或多个动作。

示例28包括先前示例中的任一项所述的方法，还包括响应于对至少生成的所述一个或多个动作的用户选择而执行生成的所述一个或多个动作中的至少一个动作。

示例29包括先前示例中的任一项所述的方法，其中生成的所述动作包括电子邮件响应，其中所述电子邮件响应的文本响应于接收的所述电子邮件中的标识的问题，并且其中执行生成的所述动作包括发送所述电子邮件响应。

示例31包括先前示例中的任一项所述的方法，其中生成的所述动作包括日历约会响应，其中所述日历约会的时间、日期和参与者响应于接收的所述通信，并且其中执行生成的所述动作包括向所述参与者发送所述日历约会。

示例32包括先前示例中的任一项所述的方法，其中注释的所述通信用选自类别组的所述注释中的一个或多个注释而被注释，所述类别组包括消息发送、软件交互和共享内容。

示例33包括先前示例中的任一项所述的方法，其中所述第二域的所述未注释的会话数据用与对应于类似于所述第一域的所述通信数据集的结构的线程的转弯和结束对应的标签而被标记。

示例34包括先前示例中的任一项所述的方法，其中通过使用递归注意力神经词袋模型(RAINBOW)作为基线模型对用收件人对应动作而被注释的所述第一域的电子邮件数据集进行编码来在注释的所述电子邮件数据集上训练所述重新参数化的递归神经网络模型，其中两个编码层包括：将每个电子邮件编码为消息嵌入；以及根据先前线程嵌入将每个线程编码为线程嵌入。

在示例35中，一种训练递归神经网络(RNN)以响应接收的电子邮件来标识动作的计算机实现的方法包括操作，所述操作包括：初始化RNN的权重，在收件人动作注释的电子邮件的目标域集上训练RNN，以及在未注释的会话数据线程上重新参数化所述RNN。

示例36包括先前示例中的任一项所述的方法，其中所述操作还包括：在动作注释的电子邮件的验证集上评估所述RNN以确定分类的准确性，以及重复根据权利要求1所述的方法，直到达到预定迭代次数。

示例37包括先前示例中的任一项所述的方法，其中所述操作还包括：如果所述确定的准确度是所述迭代中的最高准确度，则更新到目前为止的最佳参数。

尽管上面已经详细描述了一些实施例，但是其他修改也是可能的。例如，附图中描绘的逻辑流程不需要所示的特定顺序或顺序的顺序来实现期望的结果。可以提供其他步骤，或者可以从所描述的流程中去除步骤，并且可以将其他组件添加到所描述的系统中或从中移除。其他实施例可以在所附权利要求的范围内。

Claims

1.一种方法，包括：

接收被寻址到收件人用户的电子邮件；

使用重新参数化的递归神经网络模型处理接收的所述电子邮件以基于接收的所述电子邮件来标识动作；并且

其中所述重新参数化的递归神经网络模型已经：

在用收件人对应动作注释的电子邮件数据集上被训练；以及

在具有与电子邮件数据相似结构的未注释的会话数据上被重新参数化。

2.根据权利要求1所述的方法，其中所述模型根据共享分量和域特定分量被重新参数化以提供多域多任务学习。

3.根据权利要求2所述的方法，其中所述重新参数化功能将所述共享分量和所述域特定分量相加，其中域特定分量的权重对于每个域是不同的。

4.根据权利要求2所述的方法，其中所述重新参数化功能将所述共享分量和所述域特定分量相加和相乘，其中域特定分量的权重对于用于相加的每个域以及单独的乘法分量是不同的以引入非线性。

5.根据权利要求1至4中的任一项所述的方法，还包括生成与标识的所述动作对应的一个或多个动作。

6.根据权利要求5所述的方法，还包括响应于对至少生成的所述一个或多个动作中的用户选择而执行生成的所述一个或多个的动作中的至少一个动作。

7.根据权利要求6所述的方法，其中生成的所述动作包括电子邮件响应，其中所述电子邮件响应的文本响应于接收的所述电子邮件中的标识的问题，并且其中执行生成的所述动作包括发送所述电子邮件响应。

8.根据权利要求6所述的方法，其中生成的所述动作包括日历约会响应，其中所述日历约会的时间、日期和参与者是，所述日历约会响应于接收的所述电子邮件，并且其中执行生成的所述动作包括向所述参与者发送所述日历约会。

9.根据权利要求1至4中的任一项所述的方法，其中注释的所述电子邮件用选自类别组的所述注释中的一个或多个注释而被注释，所述类别组包括消息发送、软件交互和共享内容。

10.根据权利要求1至4中的任一项所述的方法，其中所述未注释的会话数据用与对应于类似于电子邮件结构的结构的线程的转弯和结束对应的标签而被标记。

11.根据权利要求1至4中的任一项所述的方法，其中通过使用递归注意力神经词袋模型(RAINBOW)作为基线模型对用收件人对应动作而被注释的电子邮件数据集进行编码来在注释的所述电子邮件数据集上训练所述重新参数化的递归神经网络模型，其中两个编码层包括：

将每个电子邮件编码为消息嵌入；以及

根据先前线程嵌入将每个线程编码为线程嵌入。

12.一种机器可读存储设备，具有用于由机器的处理器执行以引起所述处理器执行操作以执行生成模型的方法的指令，所述方法包括：

接收被寻址到收件人用户的通信；

使用重新参数化的递归神经网络模型处理接收的所述通信以基于接收的所述电子邮件来标识动作；以及

其中所述重新参数化的递归神经网络模型已经：

在用收件人对应动作注释的通信数据集上被训练；以及

在具有与所述通信数据集数据相似结构的未注释的会话数据上被重新参数化。

13.根据权利要求12所述的机器可读存储设备，其中所述模型根据共享分量和域特定分量被重新参数化以提供多域多任务学习，并且其中所述重新参数化功能将所述共享分量和所述域特定分量相加，其中域特定分量的权重对于每个域是不同的，并且所述重新参数化功能将所述共享分量和所述域特定分量相加和相乘，其中域特定分量的权重对于用于相加的每个域以及单独的乘法分量是不同的以引入非线性。

14.根据权利要求12至13中的任一项所述的机器可读存储设备，还包括：

生成与标识的所述动作对应的一个或多个动作；以及

响应于对至少生成的所述一个或多个动作的用户选择而执行生成的所述一个或多个动作中的至少一个动作。

15.一种训练递归神经网络(RNN)以用于响应于接收的电子邮件来标识动作的计算机实现的方法，所述方法包括操作，所述操作包括：

初始化所述RNN的权重；

在收件人动作注释的电子邮件的目标域集上训练所述RNN；以及

在未注释的会话数据线程上重新参数化所述RNN。