CN110506279B - 采用隐树注意力的神经机器翻译 - Google Patents

采用隐树注意力的神经机器翻译 Download PDF

Info

Publication number
CN110506279B
CN110506279B CN201880024708.7A CN201880024708A CN110506279B CN 110506279 B CN110506279 B CN 110506279B CN 201880024708 A CN201880024708 A CN 201880024708A CN 110506279 B CN110506279 B CN 110506279B
Authority
CN
China
Prior art keywords
encoder
phrase
attention
rnng
decoder
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880024708.7A
Other languages
English (en)
Other versions
CN110506279A (zh
Inventor
J·布拉德伯里
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shuo Power Co
Original Assignee
Shuo Power Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shuo Power Co filed Critical Shuo Power Co
Publication of CN110506279A publication Critical patent/CN110506279A/zh
Application granted granted Critical
Publication of CN110506279B publication Critical patent/CN110506279B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/40—Processing or translation of natural language
    • G06F40/58—Use of machine translation, e.g. for multi-lingual retrieval, for server-side translation for client devices or for real-time translation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/205—Parsing
    • G06F40/211—Syntactic parsing, e.g. based on context-free grammar [CFG] or unification grammars
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/205—Parsing
    • G06F40/216—Parsing using statistical methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/284—Lexical analysis, e.g. tokenisation or collocates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/40—Processing or translation of natural language
    • G06F40/42—Data-driven translation
    • G06F40/44—Statistical methods, e.g. probability models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/01—Dynamic search techniques; Heuristics; Dynamic trees; Branch-and-bound

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Machine Translation (AREA)

Abstract

我们介绍了一种用于机器翻译任务的注意力神经机器翻译模型，该模型实现了自然语言处理的长期目标，以利用语言的层次结构而无需先验注释。该模型包括具有新型注意力RNNG解码器的循环神经网络语法(RNNG)编码器，并应用策略梯度强化学习以在源序列和目标序列上诱导无监督树结构。当对没有明确分割或解析注释的字符级数据集进行训练时，模型学习似乎合理的分割和浅层解析，获得接近注意力基线的性能。

Description

采用隐树注意力的神经机器翻译
其他申请的交叉引用
本申请要求于2018年2月21日提交的美国专利申请No.15/901,722和2017年4月14日提交的美国临时专利申请No.62/485,856的优先权，其每一个的全部内容均通过引用并入本文。
引用
以下材料通过引用并入本文，如同在此完全阐述：
Chris Dyer，Miguel Ballesteros，Wang Ling，Austin Matthews和Noah ASmith。2016a。采用堆栈长短期记忆的基于转移的依赖性解析(Transition-baseddependency parsing with stack long short-term memory)。在EMNLP(“Dyer等人，2016a”)；
Chris Dyer，Adhiguna Kuncoro，Miguel Ballesteros和Noah Smith。2016b。循环神经网络语法(Recurrent neural network grammars)。在NAACL(“Dyer等人，2016b”)；
Adhiguna Kuncoro，Miguel Ballesteros，Lingpeng Kong，Chris Dyer，GrahamNeubig和Noah A.Smith。2017。循环神经网络语法语法学习关于语法的内容是什么？(Whatdo recurrent neural network grammars learn about syntax？)在EACL(“Kuncoro等人”)；
Junyoung Chung，Sungjin Ahn和Yoshua Bengio。2017。分层多尺度循环神经网络(Hierarchical multiscale recurrent neural networks)。在ICLR；
Akiko Eriguchi，Kazuma Hashimoto和Yoshimasa Tsuruoka。2016。树到序列注意力神经机器翻译(Tree-to-sequence attentional neural machine translation)。在ACL；以及
CS224D：NLP的深度学习(Deep Learning for NLP)，讲义：第一部分，第二部分，第三部分，第四部分和第五部分(“Socher等人”)。
所公开技术的领域
所公开的技术涉及人工智能型计算机和数字数据处理系统以及用于仿真智能的相应数据处理方法和产品(即，基于知识的系统、推理系统和知识获取系统)；并包括具有不确定性的用于推理的系统(例如，模糊逻辑系统)、自适应系统、机器学习系统和人工神经网络。所公开的技术使用深度神经网络(诸如长短期记忆(LSTM)网络)来进行自然语言处理任务。
背景技术
本节中讨论的主题不应仅仅因为在本节中提及而被认为是现有技术。类似地，不应将本节中提到的或与作为背景提供的主题相关的问题假定为先前已在现有技术中被认识到。本节中的主题仅表示不同的方法，这些方法本身也可以对应于所要求保护的技术的实现。
自然语言处理任务(如机器翻译)中开发语言层次结构的许多努力都利用了从人类注释的树库训练的自包含解析器系统的输出。第二种方法旨在共同学习手头的任务和语言层次结构的相关方面，从未注释的训练数据集诱导可以对应于或可以不对应于树库注释实践的解析树。
旨在利用语言层次结构的自然语言处理的大多数深度学习模型集成了外部解析器，可以规定神经网络的递归结构，或可以为预测自身结构的网络提供监督信号或训练数据。一些深度学习模型采用第二种方法，将层次结构视为潜变量，对基于图的条件随机字段应用推理、直通估计器或策略梯度强化学习，以解决基于梯度的学习不适用于具有离散的潜在状态的问题。
对于机器翻译的任务，句法通知模型已经在深度学习上下文内外显示出了希望，基于分层短语的模型经常优于传统模型，采用形态句法输入特征神经机器翻译模型得到增强，树结构化编码器和联合训练的解析器，每个解析器都优于纯顺序基线。
有机会实现自然语言处理的长期目标，以在没有先验注释的情况下利用语言的层次结构。可导致改进的自然语言处理。
附图的简要说明
图1示出了环境的一种实现，注意力神经机器翻译系统在所述环境中操作。
图2示出了消耗第一语言(例如，德语)的源序列的RNNG编码器的一种实现。
图3描绘了处理源序列的RNNG编码器的一种实现。
图4示出了发射第二语言(例如，英语)的目标序列的基于注意力的RNNG解码器的一种实现。
图5描绘了处理目标序列的基于注意力的RNNG解码器的一种实现。
图6是由基于注意力的RNNG解码器应用于处理目标序列的注意力的一个示例。
图7示出了由注意力神经机器翻译系统解析的基于注意力的短语结构的一种实现。
图8是由注意力神经机器翻译系统应用的注意力的可视化的一种实现。
图9示出了可用于实现注意力神经机器翻译系统的计算机系统的一种实现。
详细描述
呈现以下讨论以使得本领域技术人员能够制造和使用所公开的技术，并且在特定应用及其需求的背景下提供。对于本领域技术人员来说，对所公开的实现的各种修改是显而易见的，并且在不脱离所公开的技术的精神和范围的情况下，本文定义的一般原理可以应用于其他实现和应用。因此，所公开的技术不旨在限于所示的实现，而是符合与本文公开的原理和特征的最宽范围相一致。
介绍
我们引入了一种用于机器翻译任务的注意力神经机器翻译模型，该模型实现了自然语言处理的长期目标，以利用语言的层次结构而无需先验注释。该模型包括具有新型注意力RNNG解码器的循环神经网络语法(RNNG)编码器，并应用策略梯度强化学习以在源序列和目标序列上诱导(induce)无监督树结构。当对没有明确分割或解析注释的字符级数据集进行训练时，模型学习合理的分割和浅层解析，获得接近注意力基线的性能。
模型的编码器和解码器RNNG都是树形结构的神经网络，其在消耗或发出文本时预测它们自己的成分结构。编码器和解码器网络在字符级摄取文本时产生不受约束数量的树结构，允许模型发现并利用词内的结构。编码器和解码器RNNG的解析决策通过使用两个目标的加权和训练的随机策略来参数化：语言模型损失项和树注意力项，语言模型损失项奖励(reward)预测具有高可能性的下一个字符，树注意力项奖励编码器和解码器RNNG中的成分之间的一对一注意力对应关系。
我们在flickr30k数据集的德语-英语语言对上评估该模型，其中，它获得与强字符级基线类似的性能。对编码器和解码器RNNG产生的隐树(latent tree)的分析表明，该模型学习了合理的分割和浅解析，并且在摄取德语输入句子时构造的大多数短语级成分与生成英语输出时构建的成分有意义地对应。
环境
图1示出了注意力神经机器翻译系统102在其中操作的环境100的一种实现。系统102包括循环神经网络语法(RNNG)编码器112和基于注意力的RNNG解码器122，它们构建在循环神经网络(RNN)架构上。关于RNNG及其变体的其他细节，如仅堆叠循环神经网络语法(s-RNNG)，可以在Dyer等人，2016b和Kuncoro等人的文献中分别找到，其通过引用并入本文，如同在此完全阐述一样。关于RNN架构的其他细节，例如长短期记忆(LSTM)和门控递归单元(GRU)，可以在Socher等人的文献中找到，其通过引用并入本文，如同在此完全阐述一样。基于注意力的RNNG解码器122包括：参与者132。参与者132包括比较器142、指数归一化器152和凸组合器162。
系统102将第一语言(例如，德语)的源序列翻译成第二语言(例如，英语)的目标序列。系统102由训练器138在训练数据105上训练。训练数据105包括源序列115和目标序列118。训练器138包括教师强迫器(teacher forcer)148和强化学习器158。环境100还包括用于评估系统102的验证数据(未示出)。
在训练和部署之后，系统102经由在一个或更多个客户端165(例如，GoogleTranslate TM)上运行的web应用程序接收推断数据155。也就是说，系统102接收识别第一语言的源序列的翻译请求，并通过向一个或更多个客户端165发送第二语言的目标序列来实时响应翻译请求。
环境100的系统组件由在不同类型的计算设备上运行的软件实现。示例设备是工作站、服务器、计算集群、刀片服务器和服务器农场。一个或更多个网络125耦合环境100的系统组件，所有系统组件彼此通信(由实线双箭头线指示)。实际的通信路径可以是公共和/或专用网络上的点对点。通信可以在各种网络上发生，例如，专用网络、VPN、MPLS电路或因特网，并且可以使用适当的应用程序编程接口(API)和数据交换格式，例如，具象状态转移(REST)、JavaScript对象注释(JSON)、可扩展标记语言(XML)、简单对象访问协议(SOAP)、Java消息服务(JMS)和/或Java平台模块系统。所有通信都可以加密。通信通常经由诸如EDGE、3G、4G LTE、Wi-Fi和WiMAX之类的协议通过网络进行，诸如LAN(局域网)、WAN(广域网)、电话网(公共交换电话网(PSTN))、会话发起协议(SIP)、无线网络、点对点网络、星形网络、令牌环网络、集线器网络、互联网，包括移动互联网。此外，可以使用各种授权和认证技术，诸如用户名/密码、开放授权(OAuth)、Kerberos、SecureID、数字证书等来保护通信。
已经描述了环境100的系统组件，现在讨论转向RNNG编码器112及其处理。
RNNG编码器
如上所讨论的，编码器112和解码器122是彼此耦合的循环神经网络语法(RNNG)网络。在一个实现中，RNNG编码器112是仅堆栈RNNG(在Kuncoro等人的文献中描述)，并且RNNG解码器122是采用成分级注意力(例如，字符级注意力)增强的仅堆栈RNNG。
关于循环神经网络语法(RNNG)，RNNG是一种自上而下的基于转移的模型，其共同构建句子表示和解析树，用Stack LSTM(在Dyer等人，2016a中描述)表示解析器状态，并使用双向LSTM(Bi-LSTM)作为成分组合功能。
RNNG定义了字符串终结符(terminal)和短语结构非终结符上的联合概率分布。形式上，RNNG由三元组<N,Σ,Θ>定义，其中N表示非终结符集(NP(名词短语)、VP(动词短语)等)，Σ表示所有终结符集，以及Θ表示模型参数集。RNNG不是依靠手动设计的规则来构成更细粒度的短语表示，而是隐含地对通过短语组合(在Θ和神经网络架构中)传递的信息进行参数化，从而削弱了经典概率无上下文语法中的强独立性假设。
RNNG基于抽象状态机，类似于在基于转移的解析中使用的那些，其算法状态包括(i)部分完成的成分的堆栈，(ii)已生成的终结符的缓冲区，以及(iii)过去动作列表。为了生成句子x及其短语结构树y，RNNG对一系列动作进行采样以自上而下构建y。给定y，在监督训练期间使用了一个这样的序列a＝<a1,...,an>。RNNG的三个组件中的每一个都嵌入有LSTM，并且至少一个LSTM的隐藏状态用于预测当前时间步长的所有可行动作的softmax。
RNNG使用三种不同的动作：
·NT(非终结符)：其在堆栈上引入开放的非终结符，例如“(NP”)；
·GEN(生成)：其生成终结符并将其放在堆栈和缓冲区中；以及
·RED(减少)：其指示成分现已完成。包括当前成分(返回到最后开放的非终结符)的堆栈的元素被弹出，并且由双向LSTM(Bi-LSTM)执行组合函数(composition function)，从而产生单个明确的组合表示，其被推送到堆栈上。
在每个时间步长，模型对堆栈、缓冲器和过去的动作进行编码，每个组件都有一个单独的LSTM作为特征，用于定义要采取的下一个动作的分布(以完整的算法状态为条件)。RNNG的关键元素是组合函数，它将完整的成分或成分的部分和非终结符标签缩减或转换为堆栈上的单个显式元素。该函数使用Bi-LSTM计算新成分的向量表示。
由于RNNG是一种生成式模型，它试图最大化字符串和树的联合分布p(x,y)，其定义如下：
换句话说，p(x,y)被定义为局部概率的积，以过去的所有动作为条件。联合概率估计p(x,y)可以用于短语结构解析(找到argmaxy p(y|x))和语言建模(通过边缘化x的可能的解析集来找到p(x))两者。两个推理问题都可以使用重要性采样程序来解决(在Dyer等人，2016b和Kuncoro等人的文献中描述)。
在一个实现中，RNNG编码器112与Dyer等人，2016b的不同之处在于，它缺少用于不同短语类型的单独的新的非终结符令牌，因此不包括作为由Bi-LSTM实现的组合函数的输入的短语类型。相反，编码器的xi的值固定为常数xenc，而RNNG解码器122的的值通过下面参照图5描述的注意力程序确定。
如最初所述，RNNG使用具有三个级联的输入的单层tanh感知器来预测解析器转移：堆栈内容上的单向LSTM的最后状态，未解析令牌的反向缓冲器上的单向LSTM的最后状态，以及LSTM对过去转移的结果。使用Dyer等人，2016a中描述的Stack LSTM算法，可以使用每解析器转移最多一个LSTM步骤来计算所有这三个状态。
但是，这样的基线RNNG优于解析器转移仅以堆栈表示为条件的那个，即，仅堆栈RNNG(在Kuncoro等人的文献中描述)。在一些实现中，将我们的模型限制到这种仅堆栈情况允许使用语言模型损失来监督RNNG编码器112和RNNG解码器122，同时允许模型通过未解析的令牌的反向缓冲器访问单向LSTM的最后状态，使其成为预测下一个字符并获得零损失的有效方法。
以下关于图2、图3、图4和图5的讨论集中于在将德国源序列“Die hungrige Katzeweht”翻译成英语目标序列“The hungry cat meows”的背景下所公开的注意力机制。
图2示出了RNNG编码器112消耗200第一语言(例如，德语)的源序列的一种实现。图3描绘了RNNG编码器112处理300源序列的一种实现。
在图2中，示例性德国源序列是“Die hungrige Katze weht”。在所示实现中，RNNG编码器112采取六个NT(非终结符)动作。RNNG编码器112的每个NT动作被向量化、编码或嵌入为xenc。在一个实现中，xenc是常量或固定向量，其用作源序列的短语树结构的不同短语类型成分的公共嵌入。短语类型成分的示例包括名词短语(NP)、动词短语(VP)、介词短语(PP)和句子(S)。换句话说，根据该实现，在编码的不同时间步长，嵌入NT动作的向量的值在编码时间步长上保持固定为xenc并且不改变。跨编码时间步长的公共嵌入xenc的传播也在图3中示出。
RNNG编码器112在采取NT动作的“紧接在前”的状态或隐藏状态由表示。换句话说，/>表示在预测源序列的短语树结构的短语类型时(紧接在前)识别编码器状态的编码器树节点。在图3所示的实现中，示出了六个这样的隐藏状态或编码器树节点(例如，在编码时间步长t0,t1,t2,t8,t19,t29)，其中每个由所谓的编码器组合嵌入/>之一补充，其作为RNNG编码器112采取RED(减少)动作(例如，在编码时间步长t6,t17,t25,t27,t34,t35)的结果而产生。在一个实现中，在采取RED动作时，RNNG编码器112使用双向LSTM(Bi-LSTM)来编码返回到最后一个开放短语类型非终结符的源序列的短语树结构的当前令牌成分，而不编码开放短语类型成分xenc。Bi-LSTM的输出是编码器组合嵌入/>例如，在编码时间步长t6时，图3中的第一RED动作使得Bi-LSTM对德语单词“Die”中的字符令牌xD+i+e进行双向编码。双向编码产生编码器组合嵌入/>其在采取第三NT动作之前立即补充RNNG编码器112的隐藏状态/>
关于源序列的令牌，当RNNG编码器112采取GEN(生成)动作时，它们被消耗。在图3所示的实现中，令牌是基于字符的令牌嵌入xtokens。在一个实现中，可以使用实值(real-valued)向量来密集编码基于字符的令牌嵌入xtokens。在另一实现中，可以使用独热(one-hot)向量对基于字符的令牌嵌入xtokens进行稀疏编码。
关于图3中的输入/输出工作流程，RNNG编码器112以随机或预定的隐藏状态初始化。在每个编码时间步长，RNNG编码器112的隐藏状态(编码器状态)被馈送到编码器softmax层，其确定下一个动作是RED、GEN还是NT。当编码器softmax层响应于处理RNNG编码器112的当前隐藏状态而在当前编码时间步长处输出NT动作时，获得固定嵌入xenc并在下一个编码时间步长处作为输入馈送到RNNG编码器112，用于门控LSTM类型处理以产生下一个隐藏状态(在Socher等人的文献中描述)。
当编码器softmax层响应于处理RNNG编码器112的当前隐藏状态而在当前编码时间步长处输出RED动作时，通过Bi-LSTM的组合函数产生编码器组合嵌入并在下一个编码时间步长处作为输入馈送到RNNG编码器112，用于门控LSTM类型处理以产生下一个隐藏状态(在Socher等人的文献中描述)。Bi-LSTM的输入是当前短语结构的成分令牌的基于字符的令牌嵌入xtokens，以正向和反向方向馈送到Bi-LSTM而没有短语类型固定嵌入xenc。
当编码器softmax层响应于处理RNNG编码器112的当前隐藏状态而在当前编码时间步长处输出GEN动作时，生成基于字符的令牌xtoken，并在下一个编码时间步长处将其作为输入馈送到下一个RNNG编码器112，用于进行门控LSTM类型处理，以产生下一个隐藏状态(在Socher等人的文献中描述)。在一个实现中，当选择GEN动作时，RNNG编码器112通过单层词汇表softmax感知器传递当前编码器状态，给出下一个令牌是词汇表中的每个字符的概率。
已经描述了RNNG编码器112及其处理，现在讨论转向基于注意力的RNNG解码器122及其处理。
基于注意力的RNNG解码器
虽然RNNG编码器112使用单个令牌xenc来表示新的非终结符，但是RNNG解码器122表示堆栈上的新的非终结符，作为由编码器产生的所有非终结符树节点的短语表示的结构注意力加权的总和。在一个实现中，我们使用解码器堆栈表示与每个编码器节点/>处的堆栈表示之间的归一化点积(即，解码器堆栈LSTM的隐藏状态，多达并包括/>但不包括)作为与编码器节点对应的短语嵌入/>的加权和的系数：
编码器和解码器堆栈表示之间的点积是当前解码器状态与编码器状态(的左上下文)之间的结构相似性的度量。在特定的解码器非终结符内，该模型简化为普通的序列到序列转移。从相应的非终结符的编码器表示或这些表示的加权组合开始，解码器逐个发出子成分(非终结符和终结符)的翻译序列-仅在发射子非终结符时才应用注意力。
图4示出了基于注意力的RNNG解码器122发射400第二语言(例如，英语)的目标序列的一种实现。图5描绘了基于注意力的RNNG解码器122处理500目标序列的一种实现。
在图4中，RNNG解码器122发出的示例性英语目标序列是“The hungry catmeows”。在所示实现中，RNNG解码器122采取六个NT(非终结符)动作。RNNG解码器122的NT动作被向量化、编码或嵌入为其在本文中被称为用于目标序列的短语树结构的预测短语类型的“解码器嵌入”。解码器嵌入/>由参与者132实现的注意力机制确定(上面讨论并且还参考图5和图6进一步更详细讨论)。预测短语类型的示例包括名词短语(NP)、动词短语(VP)、介词短语(PP)和句子(S)。
在采取NT动作“紧接在前”的RNNG解码器122的状态或隐藏状态由表示。换句话说，/>表示在预测目标序列的短语树结构的短语类型时(紧接在前)识别解码器状态的解码器树节点。在图5中所示的实现中，示出了六个这样的隐藏状态或解码器树节点(例如，在解码时间步长t0,t1,t2,t8,t17,t25处)，其中的每一个由作为RNNG解码器122采取RED(减少)动作(例如，在解码时间步长t6,t15,t21,t23,t32,t33处)的结果产生的所谓的解码器组合嵌入之一补充。在一个实现中，在采取RED动作时，RNNG解码器122使用双向LSTM(Bi-LSTM)来编码目标序列的短语树结构的当前令牌成分，其返回到最后的开放短语类型非终结符，而没有编码开放短语类型成分/>Bi-LSTM的输出是解码器组合嵌入/>例如，在解码时间步长t6处，图5中的第一RED动作导致由Bi-LSTM双向编码英语单词“The”中的字符令牌xT +h+e。双向编码产生解码器组合嵌入/>其在采取第三NT动作之前立即补充RNNG解码器122的隐藏状态/>
关于目标序列的令牌，当RNNG解码器122采取GEN(生成)动作时，它们被发射。在图5所示的实现中，令牌是基于字符的令牌嵌入xtokens。在一个实现中，可以使用实值向量对基于字符的令牌嵌入xtokens进行密集编码。在另一实现中，可以使用独热向量对基于字符的令牌嵌入xtokens进行稀疏编码。
关于图5中的输入/输出工作流，RNNG解码器122以随机或预定的隐藏状态初始化。在一个实现中，源序列的最终或最后编码器组合嵌入(例如，/>)被用作针对目标序列的最初预测的短语类型(例如，/>)的解码器嵌入。也就是说，/>如图4和图5所示。在每个解码时间步长，RNNG解码器122的隐藏状态(解码器状态)被馈送到解码器softmax层，该解码器softmax层确定下一个动作是RED、GEN还是NT。当解码器softmax层响应于处理RNNG解码器122的当前隐藏状态而在当前解码时间步长输出NT动作时，解码器嵌入/>由参与者132实现的注意力机制确定，并在下一个解码时间步长处作为输入馈送到RNNG解码器122，用于进行门控LSTM类型处理，以产生下一个隐藏状态(在Socher等人的文献中描述)。
当解码器softmax层响应于处理RNNG解码器122的当前隐藏状态而在当前解码时间步长处输出RED动作时，通过Bi-LSTM的组合函数产生解码器组合嵌入并在下一个解码时间步长处作为输入馈送到RNNG解码器122，用于进行门控LSTM类型处理，以产生下一个隐藏状态(在Socher等人的文献中描述)。Bi-LSTM的输入是当前短语结构的成分令牌的基于字符的令牌嵌入xtokens，在没有短语类型解码器嵌入/>的情况下以正向和反向馈送到Bi-LSTM。在一个实现中，编码器和解码器共享公共Bi-LSTM，并且在另一实现中，它们使用单独的Bi-LSTM。
当解码器softmax层响应于处理RNNG解码器122的当前隐藏状态而在当前解码时间步长处输出GEN动作时，生成基于字符的令牌xtoken，并在下一个解码时间步长处将其作为输入馈送到RNNG解码器122，用于进行门控LSTM类型处理，以产生下一个隐藏状态(在Socher等人的文献中描述)。在一个实现中，当选择GEN动作时，RNNG解码器122通过一层词汇表softmax感知器传递当前解码器状态，给出下一个令牌是词汇表中的每个字符的概率。
注意力
图6是由基于注意力的RNNG解码器122应用的用于处理目标序列的注意力600的一个示例。如上所讨论的，RNNG解码器122包括参与者132。参与者132包括比较器142、指数归一化器152和凸组合器162。比较器142比较表示当前解码器状态的解码器树节点(例如，图6中的)与表示编码期间不同的编码器状态(例如，在图6中的/>)的编码器树节点。
比较器142可以使用内积、双线性函数和单层神经网络中的至少一个来执行比较。比较器142的比较可以测量源序列的短语树结构和目标序列的短语树结构之间的句法结构相似度。
比较器142的比较结果是所谓的注意力值。注意力值是非归一化标量(在图6中示出为λ1至λ6)。指数归一化器152(例如，softmax层)指数地归一化注意力值以产生注意力权重。注意力权重是正归一化标量，其加起来为统一(unity)(在图6中示出为α1至α6)。比较器142在源序列和目标序列的句法上最相似的短语树结构(例如，图6中和/>)之间的比较可以产生最高的注意力权重，即最接近于1(例如，图6中的α1)，因为德语中的“Die”一词在句法上与英语中的“The”最相似。在另一示例中，比较器142在源序列和目标序列的句法上最相似的短语树结构(例如，/>和/>)之间的比较可以产生最高的注意力权重，即最接近于1，因为德语中的“hungrige”一词是在句法上最类似于英语中的“hungry”一词，因为这两个词之前都有定冠词，并且都是名词短语的开头。
通过上面讨论的步骤(a)在数学上描述了比较和指数归一化。
凸组合器162使用指数归一化结果作为相应的注意力权重(例如，图6中的α1至α6)来计算或确定与编码器树节点(例如，图6中)相对应的编码器组合嵌入的加权和。换句话说，针对目标序列的每个短语树结构的预测短语类型(例如，在图5中的解码时间步长t3)的解码器嵌入(例如，图6中/>)是由注意力权重(例如，图6中的α1至α6)缩放的编码器组合嵌入(例如，图6中的/>)的凸组合。通过上面讨论的步骤(b)在数学上描绘凸组合。
已经描述了基于注意力的RNNG解码器122及其处理，现在讨论转向基于注意力600的短语结构解析。
基于注意力的短语结构解析
图7示出了注意力神经机器翻译系统102对基于注意力的短语结构解析700的一种实现。
在编码或解码期间的给定时间步长处，存在三种可能的转变(尽管可以禁止一种或更多种)：开始新的非终结符成分(NT)，预测和摄取终结符(GEN)，或结束当前的非终结符(REDUCE)。如果所选择的转移是NT，则RNNG将新的非终结符令牌添加到活动成分并开始新的非终结符成分。如果转移是GEN，则RNNG预测下一个令牌，并从光标位置处的上下文缓冲区添加地面实况下一个令牌。如果转移为REDUCE，则将活动非终结符的内容传递给组合函数，将新的非终结符令牌替换为组合的结果，并且Stack LSTM回滚到先前活动的成分。在所有三种情况下，Stack LSTM然后前进一步。
已经描述了基于注意力的短语结构解析700，现在讨论转向注意力神经机器翻译系统102的训练。
训练
我们将我们的模型表示为随机计算图，导致训练范例(由训练器138实现)，其结合了反向传播(其通过确定性节点提供精确梯度并且由教师强迫器148实现)和vanilla策略梯度(其通过随机节点提供用于梯度的蒙特卡罗估计并且由强化学习器158实现)。我们的模型中有几种训练信号。首先，当编码器或解码器选择GEN动作时，它通过一层softmax感知器传递当前堆栈状态，给出下一个令牌是词汇表中每个字符的概率。每个生成的令牌的语言模型损失Lk是分配给地面实况下一个令牌的负对数概率。另一个可区分的训练信号是覆盖损失Lc，它是注意力权重与一对一映射的理想偏差多少的度量。此惩罚(penalty)计算为三个MSE项的总和：
使用可微分损失的反向传播仅影响输出softmax感知器的权重。这些权重的总损失函数是所有Lk项和Lc的加权和：
另外还存在不可微分的奖励r，其使模型朝向或远离某些种类的树结构偏向(bias)。这里，负数对应于惩罚。当模型预测仅具有一个子成分的REDUCE(禁止具有零子成分的REDUCE)或者预测一行中的两个REDUCE或NT转移时，我们将树奖励指定为-1。这使模型偏向于一元分支，并降低了产生专门的左或右分支树结构的可能性。此外，对于除根之外的所有成分，我们基于其子项的大小和类型分配树奖励。如果n和t是非终结符和子终结符的数量，如果所有子项都是终结符，则奖励为4t，否则为9√n。像这样的奖励结构使模型偏向于在同一成分内自由混合终结符和非终结符，并且提供了在训练早期建立实质树结构的激励，因此模型不会陷入小范围局部最小值(trivial local minimal)。在编码器和解码器内，如果动作是REDUCE(或者为零)，则每个随机动作节点具有对应的树奖励rk，如果动作是GEN(或者为零)，则每个随机动作节点具有相应的语言模型损失Lk。我们从每个树奖励和额外的指数移动平均基线中减去指数移动平均基线-为词汇表中的每个字符z独立计算，因为我们希望减少字符频率的影响-来自语言模型损失。如果GEN(k)是动作1到k之间的GEN转移的数量，并且γ是衰减常数，则动作k的具有m∈{enc，dec}的最终奖励是：
这些奖励定义了梯度，每个随机节点(具有归一化动作概率和所选动作ak)在反向传播期间根据标准多项式得分函数估计(REINFORCE)，产生该梯度：
已经描述了注意力神经机器翻译系统102的训练，现在讨论转向注意力神经机器翻译系统102所应用的注意力的可视化800。
注意力可视化
图8是由注意力神经机器翻译系统102应用的注意力的可视化800的一种实现。示出了来自开发集的两个句子的注意力可视化。两个成分之间的注意力由阴影矩形表示，其在x轴和y轴上的投影分别覆盖编码器和解码器成分。
我们在flickr30k数据的德语-英语语言对上评估了我们的模型，flickr30k数据是WMT Multimodal Translation(WTM多模型翻译)共享任务的文本成分。来自OpenNMT项目的具有两层和384个隐藏单元的注意力序列到序列模型在字符级作为基线运行，获得具有贪婪推理的32.0测试BLEU。我们的模型，其具有相同的隐藏大小和贪婪推理，在移除重复的双字母后实现了28.5的测试BLEU。我们在PyTorch中实现了该模型，受益于其对动态和随机计算图的强大支持，并使用批大小10和Adam优化器进行训练，并在12个时期之后提前停止。字符嵌入和编码器的嵌入被初始化为随机的384维向量。γ的值和基线指数移动平均值的衰减常数均设为0.95。
翻译的随机选择包括在补充材料中，而两个注意力图显示在图8中。图8还示出了模型的常见异常状态，其中在解码相应解码器成分的标题词期间将注意短语编码器成分，而编码器成分的标题词在对应于整个短语的解码器成分的解码期间将被注意。另一种常见异常状态是翻译中重复的句子片段，这些片段可能是因为模型不能使将来的注意力直接取决于过去的注意力权重(“输入馈送”方法)而产生的。由于我们选择了仅使用堆栈的RNNG，因为具有堆栈和缓冲区输入的RNNG与语言模型损失不兼容，因此翻译质量也会受到影响。在编码期间，模型在句子的最开始处决定嵌入第一个字符的深度。但是对于仅堆栈的RNNG，它会随机做出这个决定，因为它无法使用包含整个句子的缓冲区表示。
已经描述了由注意力神经机器翻译系统102应用的注意力的可视化800的训练，现在讨论转向可以用于实现注意力神经机器翻译系统102的计算机系统900。
计算机系统
图9示出了可用于实现注意力神经机器翻译系统102的计算机系统900的一种实现。计算机系统900包括至少一个中央处理单元(CPU)972，其通过总线子系统955与多个外围设备通信。这些外围设备可以包括存储子系统910，其包括例如存储器设备和文件存储子系统936，用户接口输入设备939，用户接口输出设备976和网络接口子系统974。输入和输出设备允许用户与计算机系统900交互。网络接口子系统974提供到外部网络的接口，包括到其他计算机系统中相应接口设备的接口。注意力神经机器翻译系统102可以可通信地链接到存储子系统910和用户接口输入设备938。
用户接口输入设备938可包括键盘；指点设备，如鼠标、轨迹球、触摸板或图形输入板；扫描仪；包含在显示器中的触摸屏；音频输入设备，如语音识别系统和麦克风；以及其他类型的输入设备。通常，术语“输入设备”的使用旨在包括所有可能类型的设备和将信息输入计算机系统900的方式。
用户接口输出设备976可以包括显示子系统、打印机、传真机或非可视显示器(诸如音频输出设备)。显示子系统可包括LED显示器、阴极射线管(CRT)、平板装置(诸如液晶显示器(LCD))、投影装置或用于产生可见图像的一些其他机制。显示子系统还可以提供非可视显示，例如音频输出设备。通常，术语“输出设备”的使用旨在包括所有可能类型的设备和将信息从计算机系统900输出到用户或另一个机器或计算机系统的方式。
存储子系统910存储编程和数据构造，其提供本文描述的一些或所有模块和方法的功能。这些软件模块通常由深度学习处理器978执行。
深度学习处理器978可以是图形处理单元(GPU)或现场可编程门阵列(FPGA)。深度学习处理器978可以由深度学习云平台托管，诸如Google Cloud PlatformTM、XilinxTM和CirrascaleTM。深度学习处理器978的示例包括谷歌的Tensor处理单元(TPU)TM，机架式解决方案，如GX4Rackmount SeriesTM、GX9 Rackmount SeriesTM、NVIDIA DGX-1TM、微软的Stratix V FPGATM、Graphcore的智能处理器单元(IPU)TM、高通的采用Snapdragon处理器TM的Zeroth PlatformTM、NVIDIA的VoltaTM、NVIDIA的DRIVE PXTM、NVIDIA的JETSON TX1/TX2MODULETM、英特尔的NirvanaTM、Movidius VPUTM、Fujitsu DPITM、ARM的DynamicIQTM、IBMTrueNorthTM等。
存储子系统910中使用的存储器子系统922可以包括多个存储器，其包括用于在程序执行期间存储指令和数据的主随机存取存储器(RAM)932和其中存储固定指令的只读存储器(ROM)934。文件存储子系统936可以为程序和数据文件提供持久存储，并且可以包括硬盘驱动器、软盘驱动器以及相关联的可移除介质、CD-ROM驱动器、光盘驱动器或可移除介质盒。实现某些实现的功能的模块可以由文件存储子系统936存储在存储子系统910中，或者存储在处理器可访问的其他机器中。
总线子系统955提供用于使计算机系统900的各种组件和子系统按预期彼此通信的机制。虽然总线子系统955被示意性地示为单个总线，但是总线子系统的替代实现可以使用多个总线。
计算机系统900本身可以是各种类型，包括个人计算机、便携式计算机、工作站、计算机终端、网络计算机、电视、大型机、服务器农场，广泛分布的松散联网计算机组或任何其他数据处理系统或用户设备。由于计算机和网络的不断变化的性质，图9中描绘的计算机系统900的描述仅用作说明本发明优选实施例的目的的具体例子。计算机系统900的许多其他配置可能具有比图9中描绘的计算机系统更多或更少的组件。
提供前面的描述以使得能够制造和使用所公开的技术。对所公开的实现的各种修改将是显而易见的，并且在不脱离所公开的技术的精神和范围的情况下，本文定义的一般原理可以应用于其他实现和应用。因此，所公开的技术不旨在限于所示的实现，而是符合与本文公开的原理和特征的最宽范围相一致。所公开的技术的范围由所附权利要求限定。
特定实现
我们描述了用于将第一语言的源序列翻译成第二语言的目标序列的注意力神经机器翻译模型的系统和各种实现。实现的一个或更多个特征可以与基础实现组合。不相互排斥的实现被教导是可组合的。实现的一个或更多个特征可以与其他实现组合。本公开定期提醒用户这些选项。重复这些选项的一些实施方案的省略不应被视为限制前面部分中教导的组合-这些叙述通过引用结合到以下每个实现中。
我们介绍了一种在自然语言处理任务(如机器翻译)中利用无监督树结构的新方法。我们的实验表明，小规模机器学习数据集包含足够的训练信号来推断潜在的语言结构。在一些实现中，值函数基线可以代替指数移动平均值，纯粹强化学习可以代替教师强制，并且可以使用定向搜索来代替贪婪推理。所呈现的翻译异常状态的解决方案可以使用教师模型替换为变异推理，该教师模型可以看到缓冲区并且有助于训练仅堆栈的学生模型。
所公开的技术提出了一种注意力神经机器翻译系统，用于将第一语言的源序列翻译成第二语言的目标序列。注意力神经机器翻译系统在许多并行处理器上运行。
注意力神经机器翻译系统包括编码器。编码器可以是第一仅堆栈循环神经网络语法(s-RNNG)网络，其在许多并行处理器之一上运行。编码器对源序列的令牌和源序列的短语树结构进行编码。源序列的短语树结构中的至少一个包括：(i)编码器树节点，其在预测源序列的所述短语树结构的短语类型时表示编码器状态，以及(ii)编码器组合嵌入，其表示所述源序列的所述短语树结构的成分。
注意力神经机器翻译系统包括基于注意力的解码器。基于注意力的解码器可以是在许多并行处理器之一上运行的第二s-RNNG网络。基于注意力的解码器输出目标序列的令牌和目标序列的短语树结构。用于目标序列的每个短语树结构的预测短语类型的解码器嵌入是由注意力权重缩放的编码器组合嵌入的凸组合。
系统可以将表示当前解码器状态的解码器树节点与表示编码期间不同的编码器状态的编码器树节点进行比较。这是通过以下来实现的：(i)指数地归一化比较结果(所谓的注意力值)和(ii)使用指数归一化结果作为相应的注意力权重，计算对应于编码器树节点的编码器组合嵌入的加权和。
所公开的该系统实现和其他系统可选地包括以下特征中的一个或更多个。系统还可以包括结合所公开的方法描述的特征。为了简明起见，系统特征的替代组合不是单独列举的。对于每个法定类别的基本特征组，不重复适用于系统、方法和制品的特征。读者将理解本节中确定的特征如何容易地与其他法定类别中的基本特征相结合。
可以使用内积、双线性函数和单层神经网络中的至少一个来执行比较。该比较可以测量源序列的短语树结构与目标序列的短语树结构之间的句法结构相似度。源序列和目标序列的句法上最相似的短语树结构之间的比较可以产生最高的注意力权重。
令牌可以是基于字符的令牌。在一个实现中，可以使用实值向量对基于字符的令牌进行密集编码。在另一实现中，可以使用独热向量对基于字符的令牌进行稀疏编码。
系统可以使用固定向量作为源序列的短语树结构的不同短语类型成分的公共嵌入。
编码器组合嵌入可以编码一个或更多个基于字符的令牌成分，而不编码短语类型成分。
系统可以使用源序列的最终编码器组合嵌入作为用于最初预测的目标序列的短语类型的解码器嵌入。
系统可以使用策略梯度强化学习来诱导源序列和目标序列两者的无监督短语树结构。
编码器和基于注意力的解码器可以是长短期记忆(LSTM)网络。
编码器和基于注意力的解码器均可包括计算编码器和解码器组合嵌入的双向LSTM(Bi-LSTM)。
短语树结构可以是成分解析树结构。短语树结构可以是依赖性解析树结构。
其他实现可以包括存储可由处理器执行以执行上述系统的动作的指令的非暂时性计算机可读存储介质。用于其他实现的特定实现部分中讨论的每个特征同样适用于该实现。如上所述，这里不重复所有其他特征，并且应该通过引用视为重复。
所公开的技术提出了一种基于循环神经网络语法(RNNG)的机器翻译系统，用于将第一语言的源序列翻译成第二语言的目标序列。基于RNNG的机器翻译系统在许多并行处理器上运行。
基于RNNG的机器翻译系统包括RNGG编码器，其在众多并行处理器之一上运行。RNNG编码器通过将每个短语树结构的基于字符的令牌成分嵌入编码器组合向量中，来编码源序列的令牌和源序列的短语树结构。
基于RNNG的机器翻译系统包括基于注意力的RNGG解码器，其在众多并行处理器之一上运行。基于注意力的RNNG解码器输出目标序列的令牌和目标序列的由短语类型分类的短语树结构，其中向量表示通过注意编码器组合向量计算的短语类型，其注意力取决于当前的RNNG解码器状态和编码期间的RNNG编码器状态之间的比较。
用于其他实现的特定实现部分中讨论的每个特征同样适用于该实现。如上所述，这里不重复所有其他特征，并且应该通过引用视为重复。
系统可以通过使用多个目标函数的加权和训练的随机策略来参数化RNNG编码器和基于注意力的RNNG解码器的解析决策。目标函数可以是语言模型损失项，其奖励预测下一个基于字符的令牌具有高可能性。目标函数可以是树注意力项，其奖励RNNG编码器与基于注意力的RNNG解码器的成分之间的一对一注意力对应关系。
可以使用内积、双线性函数和单层神经网络中的至少一个来执行比较。该比较可以测量源序列的短语树结构与目标序列的短语树结构之间的句法结构相似度。源序列和目标序列的句法上最相似的短语树结构之间的比较可以产生最高的注意力权重。
其他实现可以包括非暂时性计算机可读存储介质，其存储可由处理器执行以执行上述系统的动作的指令。
所公开的技术提出了一种注意力神经机器翻译方法，该方法将第一语言的源序列翻译成第二语言的目标序列。
该方法包括使用循环神经网络语法(RNNG)编码器对源序列的令牌和源序列的短语树结构进行编码。源序列的短语树结构中的至少一个包括：(i)编码器树节点，其表示当预测源序列的所述短语树结构的短语类型时的编码器状态，以及(ii)编码器组合嵌入，其表示所述源序列的所述短语树结构的成分。
该方法包括使用基于注意力的RNNG解码器输出目标序列的令牌和目标序列的短语树结构。针对目标序列的每个短语树结构的预测短语类型的解码器嵌入是由注意力权重缩放的编码器组合嵌入的凸组合。
其他实现可以包括存储可由处理器执行以执行上述方法的指令的非暂时性计算机可读存储介质(CRM)。又一实现可以包括一种系统，该系统包括存储器和一个或更多个处理器，其可操作以执行存储在存储器中的指令，以执行上述方法。用于其他实现的特定实现部分中讨论的每个特征同样适用于该实现。如上所述，这里不重复所有其他特征，并且应该通过引用视为重复。
所公开的技术提出了一种基于循环神经网络语法(RNNG)的机器翻译方法，其将第一语言的源序列翻译成第二语言的目标序列。
该方法包括使用RNNG编码器通过将每个短语树结构的基于字符的令牌成分嵌入编码器组合向量中，来编码源序列的令牌和源序列的短语树结构。
该方法包括使用基于注意力的RNNG解码器来输出目标序列的令牌和目标序列的由短语类型分类的短语树结构，其中向量表示通过注意编码器组合向量计算的短语类型，注意力取决于当前的RNNG解码器状态与编码期间的RNNG编码器状态之间的比较。
其他实现可以包括存储可由处理器执行以执行上述方法的指令的非暂时性计算机可读存储介质(CRM)。又一实现可以包括一种系统，该系统包括存储器和一个或更多个处理器，其可操作以执行存储在存储器中的指令，以执行上述方法。用于其他实现的特定实现部分中讨论的每个特征同样适用于该实现。如上所述，这里不重复所有其他特征，并且应该通过引用视为重复。

Claims (48)

1.一种基于循环神经网络语法的机器翻译系统，用于将第一语言的源序列翻译成第二语言的目标序列，包括：
编码器，其编码所述源序列的令牌和所述源序列的短语树结构，其中所述源序列的所述令牌中的每个对应于来自所述源序列的字符，并且其中所述源序列的所述短语树结构中的至少一个包括：
编码器树节点，其在预测所述源序列的所述短语树结构的短语类型时表示编码器状态，以及
编码器组合嵌入，其表示所述源序列的所述短语树结构的成分；以及
基于注意力的解码器，其输出所述目标序列的令牌和所述目标序列的短语树结构，其中所述目标序列的每个所述短语树结构的预测短语类型的解码器嵌入是由注意力权重缩放的编码器组合嵌入的凸组合；
其中：
所述编码器使用组合函数将完整的成分或所述完整的成分的部分和非终结符标签转换为单个元素；和
所述编码器在编码时间步长上缺少用于不同短语类型的单独的非终结令牌并且不包括作为所述组合函数的输入的所述短语类型，使得与所述非终结令牌对应的值根据常数向量被固定。
2.如权利要求1所述的系统，其中所述编码器和所述基于注意力的解码器是长短期记忆(LSTM)网络。
3.如权利要求1所述的系统，其中所述编码器和所述基于注意力的解码器每个包括计算编码器组合嵌入和解码器组合嵌入的双向LSTM(Bi-LSTM)。
4.如权利要求1所述的系统，其中所述编码器和所述基于注意力的解码器是仅堆栈循环神经网络语法(s-RNNG)网络。
5.如权利要求1-4中任一项所述的系统，还被配置为：
使用所述源序列的最后编码器组合嵌入作为用于所述目标序列的最初预测的短语类型的解码器嵌入。
6.如权利要求1-4中任一项所述的系统，还被配置为：
使用策略梯度强化学习来诱导所述源序列和所述目标序列两者的无监督短语树结构。
7.如权利要求1-4中任一项所述的系统，其中所述短语树结构是成分解析树结构。
8.如权利要求1-4中任一项所述的系统，其中所述短语树结构是依赖性解析树结构。
9.如权利要求1-4中任一项所述的系统，还包括：
比较器装置，用于将表示当前解码器状态的解码器树节点与表示编码期间的不同编码器状态的编码器树节点进行比较；
归一化器，用于指数归一化所述比较的结果；以及
组合器装置，用于使用所述指数归一化的结果作为所述注意力权重来计算对应于所述编码器树节点的编码器组合嵌入的加权和。
10.如权利要求9所述的系统，其中使用内积、双线性函数和单层神经网络中的至少一个来执行所述比较。
11.如权利要求10所述的系统，其中所述比较测量所述源序列的所述短语树结构与所述目标序列的所述短语树结构之间的句法结构相似度。
12.如权利要求11所述的系统，其中所述源序列和所述目标序列的句法上最相似的短语树结构之间的比较产生最高的注意力权重。
13.如权利要求1-4中任一项所述的系统，其中所述令牌是基于字符的令牌。
14.如权利要求13所述的系统，其中使用实值向量对所述基于字符的令牌进行密集编码。
15.如权利要求13所述的系统，其中使用独热向量对所述基于字符的令牌进行稀疏编码。
16.如权利要求1-4中任一项所述的系统，其中所述源序列和所述目标序列两者的短语树结构包括一个或更多个基于字符的令牌成分和短语类型成分。
17.如权利要求16所述的系统，还被配置为使用固定向量作为所述源序列的所述短语树结构的不同短语类型成分的公共嵌入。
18.如权利要求16所述的系统，其中编码器组合嵌入编码一个或更多个基于字符的令牌成分，而不编码短语类型成分。
19.如权利要求1所述的系统，其中：
所述编码器是RNNG编码器，用于通过在编码器组合向量中嵌入每个短语树结构的基于字符的令牌成分，来编码所述源序列的所述令牌和所述源序列的所述短语树结构；以及
所述基于注意力的解码器是基于注意力的RNNG解码器，用于输出所述目标序列的所述令牌和所述目标序列的由短语类型分类的所述短语树结构，其中向量表示通过注意编码器组合向量计算的所述短语类型，所述注意力取决于当前的RNNG解码器状态和编码期间的RNNG编码器状态之间的比较。
20.如权利要求19所述的系统，其中使用内积、双线性函数和单层神经网络中的至少一个来执行所述比较。
21.如权利要求19-20中任一项所述的系统，其中所述比较测量所述源序列的所述短语树结构与所述目标序列的所述短语树结构之间的句法结构相似度。
22.如权利要求19-20中任一项所述的系统，其中所述源序列和所述目标序列的句法上最相似的短语树结构之间的比较产生最高的注意力权重。
23.如权利要求19-20中任一项所述的系统，还被配置为通过使用多个目标函数的加权和训练的随机策略来参数化所述RNNG编码器和所述基于注意力的RNNG解码器的解析决策。
24.如权利要求23所述的系统，其中目标函数是语言模型损失项，其奖励预测具有高可能性的下一个基于字符的令牌。
25.如权利要求23所述的系统，其中目标函数是树注意力项，其奖励所述RNNG编码器与所述基于注意力的RNNG解码器的成分之间的一对一注意力对应关系。
26.一种将第一语言的源序列翻译成第二语言的目标序列的注意力神经机器翻译方法，包括：
使用RNNG编码器编码所述源序列的令牌和所述源序列的短语树结构，其中所述源序列的所述令牌中的每个对应于来自所述源序列的字符，并且其中所述源序列的所述短语树结构中的至少一个包括：
编码器树节点，其在预测所述源序列的所述短语树结构的短语类型时表示编码器状态，以及
编码器组合嵌入，其表示所述源序列的所述短语树结构的成分；以及
使用RNNG解码器输出所述目标序列的令牌和所述目标序列的短语树结构，其中用于所述目标序列的每个所述短语树结构的预测短语类型的解码器嵌入是由注意力权重缩放的编码器组合嵌入的凸组合；
其中：
通过所述RNNG编码器输出所述令牌包括使用组合函数将完整的成分或所述完整的成分的部分和非终结符标签转换为单个元素；和
通过所述RNNG编码器编码所述令牌在编码时间步长上缺少用于不同短语类型的单独的非终结令牌并且不包括作为所述组合函数的输入的所述短语类型，使得与所述非终结令牌对应的值根据常量向量被固定。
27.如权利要求26所述的方法，还包括：
使用所述源序列的最终编码器组合嵌入作为用于所述目标序列的最初预测的短语类型的解码器嵌入。
28.如权利要求26所述的方法，还包括：
使用策略梯度强化学习来诱导所述源序列和所述目标序列两者的无监督短语树结构。
29.如权利要求26-28中任一项所述的方法，其中所述短语树结构是成分解析树结构。
30.如权利要求26-28中任一项所述的方法，其中所述短语树结构是依赖性解析树结构。
31.如权利要求26-28中任一项所述的方法，还包括：
将表示当前解码器状态的解码器树节点与表示编码期间的不同编码器状态的编码器树节点进行比较；
指数归一化所述比较的结果；以及
使用所述指数归一化的结果作为所述注意力权重，计算对应于所述编码器树节点的编码器组合嵌入的加权和。
32.如权利要求31所述的方法，其中使用内积、双线性函数和单层神经网络中的至少一个来执行所述比较。
33.如权利要求32所述的方法，其中所述比较测量所述源序列的所述短语树结构与所述目标序列的所述短语树结构之间的句法结构相似度。
34.如权利要求33所述的方法，其中所述源序列和目标序列的句法上最相似的短语树结构之间的比较产生最高的注意力权重。
35.如权利要求26-28中任一项所述的方法，其中所述令牌是基于字符的令牌。
36.如权利要求35所述的方法，其中使用实值向量对所述基于字符的令牌进行密集编码，或者使用独热向量对所述基于字符的令牌进行稀疏编码。
37.如权利要求26-28中任一项所述的方法，其中所述源序列和所述目标序列两者的短语树结构包括一个或更多个基于字符的令牌成分和短语类型成分。
38.如权利要求37所述的方法，还包括使用固定向量作为所述源序列的所述短语树结构的不同短语类型成分的公共嵌入。
39.如权利要求37所述的方法，其中编码器组合嵌入编码一个或更多个基于字符的令牌成分，而不编码短语类型成分。
40.如权利要求26所述的方法，还包括：
使用RNNG编码器以通过在编码器组合向量中嵌入每个短语树结构的基于字符的令牌成分，来编码所述源序列的所述令牌和所述源序列的短语树结构；以及
使用基于注意力的RNNG解码器输出所述目标序列的所述令牌和所述目标序列的由短语类型分类的短语树结构，其中向量表示通过注意编码器组合向量计算的短语类型，其中所述注意力取决于当前的RNNG解码器状态和编码期间的RNNG编码器状态之间的比较。
41.如权利要求40所述的方法，还包括使用内积、双线性函数和单层神经网络中的至少一个来执行比较。
42.如权利要求40-41中任一项所述的方法，其中所述比较测量所述源序列的所述短语树结构与所述目标序列的所述短语树结构之间的句法结构相似度。
43.如权利要求40-41中任一项所述的方法，其中所述源序列和所述目标序列的句法上最相似的短语树结构之间的比较产生最高的注意力权重。
44.如权利要求40-41中任一项所述的方法，还包括：通过使用多个目标函数的加权和训练的随机策略来参数化所述RNNG编码器和所述基于注意力的RNNG解码器的解析决策。
45.如权利要求40所述的方法，其中目标函数是语言模型损失项，其奖励预测具有高可能性的下一个基于字符的令牌。
46.如权利要求40所述的方法，其中目标函数是树注意力项，其奖励所述RNNG编码器与所述基于注意力的RNNG解码器的成分之间的一对一注意力对应关系。
47.一种非暂时性计算机可读介质，具有执行权利要求1-4中任一项所述的翻译系统的动作的计算机可执行指令。
48.一种非暂时性计算机可读介质，具有实现权利要求26-28中任一项所述的方法的计算机可执行指令。
CN201880024708.7A 2017-04-14 2018-04-11 采用隐树注意力的神经机器翻译 Active CN110506279B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201762485856P 2017-04-14 2017-04-14
US62/485,856 2017-04-14
US15/901,722 2018-02-21
US15/901,722 US10565318B2 (en) 2017-04-14 2018-02-21 Neural machine translation with latent tree attention
PCT/US2018/027040 WO2018191344A1 (en) 2017-04-14 2018-04-11 Neural machine translation with latent tree attention

Publications (2)

Publication Number Publication Date
CN110506279A CN110506279A (zh) 2019-11-26
CN110506279B true CN110506279B (zh) 2024-04-05

Family

ID=63790683

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880024708.7A Active CN110506279B (zh) 2017-04-14 2018-04-11 采用隐树注意力的神经机器翻译

Country Status (5)

Country Link
US (2) US10565318B2 (zh)
EP (1) EP3610419A1 (zh)
JP (2) JP6943975B2 (zh)
CN (1) CN110506279B (zh)
WO (1) WO2018191344A1 (zh)

Families Citing this family (140)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8977255B2 (en) 2007-04-03 2015-03-10 Apple Inc. Method and system for operating a multi-function portable electronic device using voice-activation
US8676904B2 (en) 2008-10-02 2014-03-18 Apple Inc. Electronic devices with voice command and contextual data processing capabilities
US10417037B2 (en) 2012-05-15 2019-09-17 Apple Inc. Systems and methods for integrating third party services with a digital assistant
DE112014000709B4 (de) 2013-02-07 2021-12-30 Apple Inc. Verfahren und vorrichtung zum betrieb eines sprachtriggers für einen digitalen assistenten
US9715875B2 (en) 2014-05-30 2017-07-25 Apple Inc. Reducing the need for manual start/end-pointing and trigger phrases
US10170123B2 (en) 2014-05-30 2019-01-01 Apple Inc. Intelligent assistant for home automation
US9338493B2 (en) 2014-06-30 2016-05-10 Apple Inc. Intelligent automated assistant for TV user interactions
US9858524B2 (en) * 2014-11-14 2018-01-02 Google Inc. Generating natural language descriptions of images
US9886953B2 (en) 2015-03-08 2018-02-06 Apple Inc. Virtual assistant activation
US10460227B2 (en) 2015-05-15 2019-10-29 Apple Inc. Virtual assistant in a communication session
US10747498B2 (en) 2015-09-08 2020-08-18 Apple Inc. Zero latency digital assistant
US10691473B2 (en) 2015-11-06 2020-06-23 Apple Inc. Intelligent automated assistant in a messaging environment
DK201670540A1 (en) 2016-06-11 2018-01-08 Apple Inc Application integration with a digital assistant
US10565305B2 (en) 2016-11-18 2020-02-18 Salesforce.Com, Inc. Adaptive attention model for image captioning
DK180048B1 (en) 2017-05-11 2020-02-04 Apple Inc. MAINTAINING THE DATA PROTECTION OF PERSONAL INFORMATION
DK179496B1 (en) 2017-05-12 2019-01-15 Apple Inc. USER-SPECIFIC Acoustic Models
DK201770427A1 (en) 2017-05-12 2018-12-20 Apple Inc. LOW-LATENCY INTELLIGENT AUTOMATED ASSISTANT
DK201770411A1 (en) 2017-05-15 2018-12-20 Apple Inc. MULTI-MODAL INTERFACES
US11386327B2 (en) 2017-05-18 2022-07-12 Salesforce.Com, Inc. Block-diagonal hessian-free optimization for recurrent and convolutional neural networks
US10817650B2 (en) 2017-05-19 2020-10-27 Salesforce.Com, Inc. Natural language processing using context specific word vectors
US11468286B2 (en) * 2017-05-30 2022-10-11 Leica Microsystems Cms Gmbh Prediction guided sequential data learning method
US10542270B2 (en) 2017-11-15 2020-01-21 Salesforce.Com, Inc. Dense video captioning
US11276002B2 (en) 2017-12-20 2022-03-15 Salesforce.Com, Inc. Hybrid training of deep networks
US10776581B2 (en) 2018-02-09 2020-09-15 Salesforce.Com, Inc. Multitask learning as question answering
US10929607B2 (en) 2018-02-22 2021-02-23 Salesforce.Com, Inc. Dialogue state tracking using a global-local encoder
US11227218B2 (en) 2018-02-22 2022-01-18 Salesforce.Com, Inc. Question answering from minimal context over documents
JP7170984B2 (ja) * 2018-03-02 2022-11-15 国立研究開発法人情報通信研究機構 疑似対訳データ生成装置、機械翻訳処理装置、および疑似対訳データ生成方法
US11106182B2 (en) 2018-03-16 2021-08-31 Salesforce.Com, Inc. Systems and methods for learning for domain adaptation
US10783875B2 (en) 2018-03-16 2020-09-22 Salesforce.Com, Inc. Unsupervised non-parallel speech domain adaptation using a multi-discriminator adversarial network
US10928918B2 (en) 2018-05-07 2021-02-23 Apple Inc. Raise to speak
US11145294B2 (en) 2018-05-07 2021-10-12 Apple Inc. Intelligent automated assistant for delivering content from user experiences
US10909157B2 (en) 2018-05-22 2021-02-02 Salesforce.Com, Inc. Abstraction of text summarization
DK180639B1 (en) 2018-06-01 2021-11-04 Apple Inc DISABILITY OF ATTENTION-ATTENTIVE VIRTUAL ASSISTANT
US11657322B2 (en) * 2018-08-30 2023-05-23 Nec Corporation Method and system for scalable multi-task learning with convex clustering
US10970486B2 (en) 2018-09-18 2021-04-06 Salesforce.Com, Inc. Using unstructured input to update heterogeneous data stores
US11436481B2 (en) 2018-09-18 2022-09-06 Salesforce.Com, Inc. Systems and methods for named entity recognition
US11087177B2 (en) 2018-09-27 2021-08-10 Salesforce.Com, Inc. Prediction-correction approach to zero shot learning
US11514915B2 (en) 2018-09-27 2022-11-29 Salesforce.Com, Inc. Global-to-local memory pointer networks for task-oriented dialogue
US11645509B2 (en) 2018-09-27 2023-05-09 Salesforce.Com, Inc. Continual neural network learning via explicit structure learning
US10872601B1 (en) * 2018-09-27 2020-12-22 Amazon Technologies, Inc. Natural language processing
US11029694B2 (en) 2018-09-27 2021-06-08 Salesforce.Com, Inc. Self-aware visual-textual co-grounded navigation agent
US11462215B2 (en) 2018-09-28 2022-10-04 Apple Inc. Multi-modal inputs for voice commands
US10902208B2 (en) * 2018-09-28 2021-01-26 International Business Machines Corporation Personalized interactive semantic parsing using a graph-to-sequence model
US20200133952A1 (en) * 2018-10-31 2020-04-30 International Business Machines Corporation Natural language generation system using graph-to-sequence model
CN109766745B (zh) * 2018-11-22 2022-12-13 四川大学 强化学习三态组合长短时记忆神经网络系统及训练和预测方法
CN109543199B (zh) * 2018-11-28 2022-06-10 腾讯科技（深圳）有限公司 一种文本翻译的方法以及相关装置
CN110162799B (zh) * 2018-11-28 2023-08-04 腾讯科技（深圳）有限公司 模型训练方法、机器翻译方法以及相关装置和设备
US11410641B2 (en) * 2018-11-28 2022-08-09 Google Llc Training and/or using a language selection model for automatically determining language for speech recognition of spoken utterance
US11210565B2 (en) * 2018-11-30 2021-12-28 Microsoft Technology Licensing, Llc Machine learning model with depth processing units
US11822897B2 (en) 2018-12-11 2023-11-21 Salesforce.Com, Inc. Systems and methods for structured text translation with tag alignment
US10963652B2 (en) 2018-12-11 2021-03-30 Salesforce.Com, Inc. Structured text translation
CN109783824B (zh) * 2018-12-17 2023-04-18 北京百度网讯科技有限公司 基于翻译模型的翻译方法、装置及存储介质
CN111368558B (zh) * 2018-12-25 2024-01-02 Tcl科技集团股份有限公司 基于神经网络的实时翻译方法、智能终端及存储介质
CN111476039B (zh) * 2019-01-04 2023-06-30 深圳永德利科技股份有限公司 智能车载系统的即时语言翻译方法及相关产品
US11922323B2 (en) 2019-01-17 2024-03-05 Salesforce, Inc. Meta-reinforcement learning gradient estimation with variance reduction
CN109829579B (zh) * 2019-01-22 2023-01-24 平安科技（深圳）有限公司 最短路线计算方法、装置、计算机设备和存储介质
CN113330457A (zh) * 2019-01-23 2021-08-31 谷歌有限责任公司 使用插入操作生成神经网络输出
US11568306B2 (en) 2019-02-25 2023-01-31 Salesforce.Com, Inc. Data privacy protected machine learning systems
US11003867B2 (en) 2019-03-04 2021-05-11 Salesforce.Com, Inc. Cross-lingual regularization for multilingual generalization
US11366969B2 (en) 2019-03-04 2022-06-21 Salesforce.Com, Inc. Leveraging language models for generating commonsense explanations
US11087092B2 (en) 2019-03-05 2021-08-10 Salesforce.Com, Inc. Agent persona grounded chit-chat generation framework
US11580445B2 (en) 2019-03-05 2023-02-14 Salesforce.Com, Inc. Efficient off-policy credit assignment
US11348573B2 (en) 2019-03-18 2022-05-31 Apple Inc. Multimodality in digital assistant systems
US10902289B2 (en) 2019-03-22 2021-01-26 Salesforce.Com, Inc. Two-stage online detection of action start in untrimmed videos
CN112148879B (zh) * 2019-04-16 2023-06-23 中森云链(成都)科技有限责任公司 一种自动给代码打数据结构标签的计算机可读存储介质
DK201970509A1 (en) 2019-05-06 2021-01-15 Apple Inc Spoken notifications
US11307752B2 (en) 2019-05-06 2022-04-19 Apple Inc. User configurable task triggers
US11487939B2 (en) * 2019-05-15 2022-11-01 Salesforce.Com, Inc. Systems and methods for unsupervised autoregressive text compression
US11620572B2 (en) 2019-05-16 2023-04-04 Salesforce.Com, Inc. Solving sparse reward tasks using self-balancing shaped rewards
US11562251B2 (en) 2019-05-16 2023-01-24 Salesforce.Com, Inc. Learning world graphs to accelerate hierarchical reinforcement learning
US11604965B2 (en) 2019-05-16 2023-03-14 Salesforce.Com, Inc. Private deep learning
US11687588B2 (en) 2019-05-21 2023-06-27 Salesforce.Com, Inc. Weakly supervised natural language localization networks for video proposal prediction based on a text query
US11140099B2 (en) 2019-05-21 2021-10-05 Apple Inc. Providing message response suggestions
US11775775B2 (en) 2019-05-21 2023-10-03 Salesforce.Com, Inc. Systems and methods for reading comprehension for a question answering task
US11669712B2 (en) 2019-05-21 2023-06-06 Salesforce.Com, Inc. Robustness evaluation via natural typos
US11657269B2 (en) 2019-05-23 2023-05-23 Salesforce.Com, Inc. Systems and methods for verification of discriminative models
US11227599B2 (en) 2019-06-01 2022-01-18 Apple Inc. Methods and user interfaces for voice-based control of electronic devices
CN110442878B (zh) * 2019-06-19 2023-07-21 腾讯科技（深圳）有限公司 翻译方法、机器翻译模型的训练方法、装置及存储介质
KR20220039791A (ko) * 2019-08-02 2022-03-29 플래그쉽 파이어니어링 이노베이션스 브이아이, 엘엘씨 기계 학습 안내된 폴리펩티드 설계
KR102205430B1 (ko) * 2019-08-05 2021-01-20 에스케이텔레콤 주식회사 인공 신경망을 이용한 학습 방법
US11615240B2 (en) 2019-08-15 2023-03-28 Salesforce.Com, Inc Systems and methods for a transformer network with tree-based attention for natural language processing
CN111488742B (zh) * 2019-08-19 2021-06-29 北京京东尚科信息技术有限公司 用于翻译的方法和装置
EP4022603A4 (en) * 2019-08-27 2023-08-23 Ushur, Inc. SYSTEM AND METHOD FOR EXTRACTING CUSTOMIZED INFORMATION IN NATURAL LANGUAGE TEXT
CN110705273B (zh) * 2019-09-02 2023-06-13 腾讯科技（深圳）有限公司 基于神经网络的信息处理方法及装置、介质和电子设备
CN110781674B (zh) * 2019-09-19 2023-10-27 北京小米智能科技有限公司 一种信息处理方法、装置、计算机设备及存储介质
US11599792B2 (en) 2019-09-24 2023-03-07 Salesforce.Com, Inc. System and method for learning with noisy labels as semi-supervised learning
US11568000B2 (en) 2019-09-24 2023-01-31 Salesforce.Com, Inc. System and method for automatic task-oriented dialog system
US11640527B2 (en) 2019-09-25 2023-05-02 Salesforce.Com, Inc. Near-zero-cost differentially private deep learning with teacher ensembles
US11520982B2 (en) * 2019-09-27 2022-12-06 Sap Se Generating corpus for training and validating machine learning model for natural language processing
US11341340B2 (en) * 2019-10-01 2022-05-24 Google Llc Neural machine translation adaptation
CN111008517A (zh) * 2019-10-30 2020-04-14 天津大学 一种基于张量分解技术的神经语言模型的压缩方法
US11620515B2 (en) 2019-11-07 2023-04-04 Salesforce.Com, Inc. Multi-task knowledge distillation for language model
US11347708B2 (en) 2019-11-11 2022-05-31 Salesforce.Com, Inc. System and method for unsupervised density based table structure identification
US11288438B2 (en) 2019-11-15 2022-03-29 Salesforce.Com, Inc. Bi-directional spatial-temporal reasoning for video-grounded dialogues
US11334766B2 (en) 2019-11-15 2022-05-17 Salesforce.Com, Inc. Noise-resistant object detection with noisy annotations
CN110929532B (zh) * 2019-11-21 2023-03-21 腾讯科技（深圳）有限公司 数据处理方法、装置、设备及存储介质
CN110879940B (zh) * 2019-11-21 2022-07-12 哈尔滨理工大学 一种基于深度神经网络的机器翻译方法及系统
CN111126079B (zh) * 2019-11-25 2023-11-07 北京小米智能科技有限公司 用于机器翻译的神经网络模型压缩方法、装置及存储介质
CN111027681B (zh) * 2019-12-09 2023-06-27 腾讯科技（深圳）有限公司 时序数据处理模型训练方法、数据处理方法、装置及存储介质
US11640505B2 (en) 2019-12-09 2023-05-02 Salesforce.Com, Inc. Systems and methods for explicit memory tracker with coarse-to-fine reasoning in conversational machine reading
US11416688B2 (en) 2019-12-09 2022-08-16 Salesforce.Com, Inc. Learning dialogue state tracking with limited labeled data
US11256754B2 (en) 2019-12-09 2022-02-22 Salesforce.Com, Inc. Systems and methods for generating natural language processing training samples with inflectional perturbations
US11573957B2 (en) 2019-12-09 2023-02-07 Salesforce.Com, Inc. Natural language processing engine for translating questions into executable database queries
US11487999B2 (en) 2019-12-09 2022-11-01 Salesforce.Com, Inc. Spatial-temporal reasoning through pretrained language models for video-grounded dialogues
CN111144110B (zh) * 2019-12-27 2024-06-04 科大讯飞股份有限公司 拼音标注方法、装置、服务器及存储介质
US11669745B2 (en) 2020-01-13 2023-06-06 Salesforce.Com, Inc. Proposal learning for semi-supervised object detection
US11562147B2 (en) 2020-01-23 2023-01-24 Salesforce.Com, Inc. Unified vision and dialogue transformer with BERT
US20210249104A1 (en) 2020-02-06 2021-08-12 Salesforce.Com, Inc. Systems and methods for language modeling of protein engineering
CN111310485B (zh) * 2020-03-12 2022-06-21 南京大学 机器翻译方法、装置及存储介质
US11263476B2 (en) 2020-03-19 2022-03-01 Salesforce.Com, Inc. Unsupervised representation learning with contrastive prototypes
CN111460832B (zh) * 2020-03-27 2023-11-24 北京百度网讯科技有限公司 对象编码的方法、装置、系统、设备及计算机存储介质
US11328731B2 (en) 2020-04-08 2022-05-10 Salesforce.Com, Inc. Phone-based sub-word units for end-to-end speech recognition
US11061543B1 (en) 2020-05-11 2021-07-13 Apple Inc. Providing relevant data items based on context
US11657229B2 (en) * 2020-05-19 2023-05-23 International Business Machines Corporation Using a joint distributional semantic system to correct redundant semantic verb frames
US11669699B2 (en) 2020-05-31 2023-06-06 Saleforce.com, inc. Systems and methods for composed variational natural language generation
US11720559B2 (en) 2020-06-02 2023-08-08 Salesforce.Com, Inc. Bridging textual and tabular data for cross domain text-to-query language semantic parsing with a pre-trained transformer language encoder and anchor text
US11586830B2 (en) 2020-06-03 2023-02-21 PM Labs, Inc. System and method for reinforcement learning based controlled natural language generation
US11748567B2 (en) * 2020-07-10 2023-09-05 Baidu Usa Llc Total correlation variational autoencoder strengthened with attentions for segmenting syntax and semantics
US11490204B2 (en) 2020-07-20 2022-11-01 Apple Inc. Multi-device audio adjustment coordination
US11438683B2 (en) 2020-07-21 2022-09-06 Apple Inc. User identification using headphones
US11625436B2 (en) 2020-08-14 2023-04-11 Salesforce.Com, Inc. Systems and methods for query autocompletion
CN111950302B (zh) * 2020-08-20 2023-11-10 上海携旅信息技术有限公司 基于知识蒸馏的机器翻译模型训练方法、装置、设备及介质
US11934952B2 (en) 2020-08-21 2024-03-19 Salesforce, Inc. Systems and methods for natural language processing using joint energy-based models
US11934781B2 (en) 2020-08-28 2024-03-19 Salesforce, Inc. Systems and methods for controllable text summarization
US11181988B1 (en) * 2020-08-31 2021-11-23 Apple Inc. Incorporating user feedback into text prediction models via joint reward planning
CN111950303B (zh) * 2020-10-19 2021-01-08 平安科技（深圳）有限公司 医疗文本翻译方法、装置及存储介质
US11829442B2 (en) 2020-11-16 2023-11-28 Salesforce.Com, Inc. Methods and systems for efficient batch active learning of a deep neural network
US11875141B2 (en) * 2020-11-20 2024-01-16 Infosys Limited System and method for training a neural machine translation model
CN112395892B (zh) * 2020-12-03 2022-03-18 内蒙古工业大学 基于指针生成网络实现占位符消歧的蒙汉机器翻译方法
US20220215185A1 (en) * 2021-01-04 2022-07-07 Armand Prieditis Method and system for facilitating sequence-to-sequence translation
CN112836485B (zh) * 2021-01-25 2023-09-19 中山大学 一种基于神经机器翻译的相似病历预测方法
CN112818661B (zh) * 2021-01-28 2021-10-08 中国科学院科技战略咨询研究院 一种专利技术关键词非监督提取方法
CN113298774B (zh) * 2021-05-20 2022-10-18 复旦大学 一种基于对偶条件相容神经网络的图像分割方法、装置
CN113392655A (zh) * 2021-06-08 2021-09-14 沈阳雅译网络技术有限公司 一种基于多分支网络结构加速翻译模型训练速度的方法
CN113423004B (zh) * 2021-08-23 2021-11-30 杭州一知智能科技有限公司 基于解耦译码的视频字幕生成方法和系统
CN113887610B (zh) * 2021-09-29 2024-02-02 内蒙古工业大学 基于交叉注意力蒸馏Transformer的花粉图像分类方法
US11966708B2 (en) * 2021-10-01 2024-04-23 International Business Machines Corporation Dynamic contraction and expansion of heuristic beam width based on predicted probabilities
US20230111052A1 (en) * 2021-10-13 2023-04-13 International Business Machines Corporation Self-learning annotations to generate rules to be utilized by rule-based system
US20230124296A1 (en) * 2021-10-18 2023-04-20 Samsung Electronics Co., Ltd. Method of natural language processing by performing semantic analysis using syntactic information, and an apparatus for the same
CN114399027A (zh) * 2022-01-04 2022-04-26 支付宝(杭州)信息技术有限公司 利用神经网络进行序列处理的方法及序列处理的装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6233545B1 (en) * 1997-05-01 2001-05-15 William E. Datig Universal machine translator of arbitrary languages utilizing epistemic moments
CN101398815A (zh) * 2008-06-13 2009-04-01 中国科学院计算技术研究所 一种机器翻译方法
CN105573994A (zh) * 2016-01-26 2016-05-11 沈阳雅译网络技术有限公司 基于句法骨架的统计机器翻译系统
CN106202059A (zh) * 2015-05-25 2016-12-07 松下电器（美国）知识产权公司 机器翻译方法以及机器翻译装置

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11113598B2 (en) 2015-06-01 2021-09-07 Salesforce.Com, Inc. Dynamic memory network
US20160350653A1 (en) 2015-06-01 2016-12-01 Salesforce.Com, Inc. Dynamic Memory Network
US20170140240A1 (en) 2015-07-27 2017-05-18 Salesforce.Com, Inc. Neural network combined image and text evaluator and classifier
US20170032280A1 (en) 2015-07-27 2017-02-02 Salesforce.Com, Inc. Engagement estimator
JP6450053B2 (ja) 2015-08-15 2019-01-09 セールスフォース ドット コム インコーポレイティッド ３ｄバッチ正規化を伴う三次元（３ｄ）畳み込み
US10565493B2 (en) 2016-09-22 2020-02-18 Salesforce.Com, Inc. Pointer sentinel mixture architecture
US20180096267A1 (en) 2016-09-30 2018-04-05 Salesforce.Com, Inc. Single model-based behavior predictions in an on-demand environment
US11222253B2 (en) 2016-11-03 2022-01-11 Salesforce.Com, Inc. Deep neural network model for processing data through multiple linguistic task hierarchies
US11080595B2 (en) 2016-11-04 2021-08-03 Salesforce.Com, Inc. Quasi-recurrent neural network based encoder-decoder model
US10963782B2 (en) 2016-11-04 2021-03-30 Salesforce.Com, Inc. Dynamic coattention network for question answering
US10565305B2 (en) 2016-11-18 2020-02-18 Salesforce.Com, Inc. Adaptive attention model for image captioning
US11354565B2 (en) 2017-03-15 2022-06-07 Salesforce.Com, Inc. Probability-based guider
US10474709B2 (en) 2017-04-14 2019-11-12 Salesforce.Com, Inc. Deep reinforced model for abstractive summarization
US10747761B2 (en) 2017-05-18 2020-08-18 Salesforce.Com, Inc. Neural network based translation of natural language queries to database queries
US11087211B2 (en) 2017-10-05 2021-08-10 Salesforce.Com, Inc. Convolutional neural network (CNN)-based suggestions for anomaly input
US11093816B2 (en) 2017-10-05 2021-08-17 Salesforce.Com, Inc. Convolutional neural network (CNN)-based anomaly detection
US20190130896A1 (en) 2017-10-26 2019-05-02 Salesforce.Com, Inc. Regularization Techniques for End-To-End Speech Recognition
US11928600B2 (en) 2017-10-27 2024-03-12 Salesforce, Inc. Sequence-to-sequence prediction using a neural network model
US11604956B2 (en) 2017-10-27 2023-03-14 Salesforce.Com, Inc. Sequence-to-sequence prediction using a neural network model
US11562287B2 (en) 2017-10-27 2023-01-24 Salesforce.Com, Inc. Hierarchical and interpretable skill acquisition in multi-task reinforcement learning
US11170287B2 (en) 2017-10-27 2021-11-09 Salesforce.Com, Inc. Generating dual sequence inferences using a neural network model
US10573295B2 (en) 2017-10-27 2020-02-25 Salesforce.Com, Inc. End-to-end speech recognition with policy learning
US10592767B2 (en) 2017-10-27 2020-03-17 Salesforce.Com, Inc. Interpretable counting in visual question answering
US10346721B2 (en) 2017-11-01 2019-07-09 Salesforce.Com, Inc. Training a neural network using augmented training datasets
US10542270B2 (en) 2017-11-15 2020-01-21 Salesforce.Com, Inc. Dense video captioning

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6233545B1 (en) * 1997-05-01 2001-05-15 William E. Datig Universal machine translator of arbitrary languages utilizing epistemic moments
CN101398815A (zh) * 2008-06-13 2009-04-01 中国科学院计算技术研究所 一种机器翻译方法
CN106202059A (zh) * 2015-05-25 2016-12-07 松下电器（美国）知识产权公司 机器翻译方法以及机器翻译装置
CN105573994A (zh) * 2016-01-26 2016-05-11 沈阳雅译网络技术有限公司 基于句法骨架的统计机器翻译系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Learning to parse and translate improves neural machine translation;Eriguchi A et al.;《arXiv》;第1-7页 *

Also Published As

Publication number Publication date
US20200117861A1 (en) 2020-04-16
US11520998B2 (en) 2022-12-06
JP2020518891A (ja) 2020-06-25
US10565318B2 (en) 2020-02-18
US20180300317A1 (en) 2018-10-18
WO2018191344A1 (en) 2018-10-18
EP3610419A1 (en) 2020-02-19
JP6943975B2 (ja) 2021-10-06
JP2021192298A (ja) 2021-12-16
CN110506279A (zh) 2019-11-26

Similar Documents

Publication Publication Date Title
CN110506279B (zh) 采用隐树注意力的神经机器翻译
JP7068296B2 (ja) 複数の言語タスク階層を通じてデータを処理するための深層ニューラルネットワークモデル
Fan et al. Bayesian attention modules
KR20230128492A (ko) 설명 가능 트랜스듀서 변환기
CN113268609B (zh) 基于知识图谱的对话内容推荐方法、装置、设备及介质
Pramanik et al. Text normalization using memory augmented neural networks
US11475225B2 (en) Method, system, electronic device and storage medium for clarification question generation
CN115885323A (zh) 对在图像中描绘的文本的翻译
Caglayan Multimodal machine translation
Agarla et al. Semi-supervised cross-lingual speech emotion recognition
CN116341564A (zh) 基于语义理解的问题推理方法和装置
US20240037335A1 (en) Methods, systems, and media for bi-modal generation of natural languages and neural architectures
Peng et al. Text steganalysis based on hierarchical supervised learning and dual attention mechanism
Zhang et al. A rapid combined model for automatic generating web UI codes
Tayur et al. Multi-ontology mapping generative adversarial network in internet of things for ontology alignment
CN118036577B (zh) 一种自然语言处理中的序列标注方法
Yadav et al. Unifying Architecture To Generate Descriptions: Features To Text
Hou et al. Document-Level Relation Extraction with Multi-Semantic Knowledge Interaction
BASNET Epidemiological Surveillance System using NLP
Shen et al. A TL_FLAT Model for Chinese Text Datasets of UAV Power Systems: Optimization and Performance
CN115705356A (zh) 问题解答方法及装置
Jim et al. Natural Language Processing Journal

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: California, USA

Applicant after: Shuo Power Co.

Address before: California, USA

Applicant before: SALESFORCE.COM, Inc.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant