CN110489766B - 基于编码归纳-解码推敲的汉-越低资源神经机器翻译方法 - Google Patents

基于编码归纳-解码推敲的汉-越低资源神经机器翻译方法 Download PDF

Info

Publication number
CN110489766B
CN110489766B CN201910676603.6A CN201910676603A CN110489766B CN 110489766 B CN110489766 B CN 110489766B CN 201910676603 A CN201910676603 A CN 201910676603A CN 110489766 B CN110489766 B CN 110489766B
Authority
CN
China
Prior art keywords
hidden state
sentence
decoding
induction
machine translation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910676603.6A
Other languages
English (en)
Other versions
CN110489766A (zh
Inventor
余正涛
张勇丙
郭军军
黄于欣
高盛祥
王振晗
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kunming University of Science and Technology
Original Assignee
Kunming University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kunming University of Science and Technology filed Critical Kunming University of Science and Technology
Priority to CN201910676603.6A priority Critical patent/CN110489766B/zh
Publication of CN110489766A publication Critical patent/CN110489766A/zh
Application granted granted Critical
Publication of CN110489766B publication Critical patent/CN110489766B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Machine Translation (AREA)

Abstract

本发明涉及基于编码归纳‑解码推敲的汉‑越低资源神经机器翻译方法，属于自然语言处理技术领域。本发明受人工翻译经验的启发，提出了一种“编码归纳‑解码推敲”框架的低资源神经机器翻译方法，本发明首先基于编码网络对源语言进行编码，并提出一种基于选择性门控的语义归纳方法，拟对源语言的语义进行理解和归纳；然后将源语言归纳后的语义信息用于目标语言解码推敲，拟实现目标语言的推敲解码。本发明针对当前汉‑越低资源机器翻译语料匮乏的现实情况，实现了编码器和解码器信息的充分利用，在提升汉‑越神经机器翻译的性能的基础上并保证了译文与原文的语义相似。

Description

基于编码归纳-解码推敲的汉-越低资源神经机器翻译方法
技术领域
本发明涉及基于编码归纳-解码推敲的汉-越低资源神经机器翻译方法，属于自然语言处理技术领域。
背景技术
近年来随着国际合作的日益增强，汉-越低资源机器翻译问题受到越来越广泛的关注，但是受历史种种原因的限制，相较于大语种而言，汉语-越南语高质量的平行句对较为缺乏，平行句对资源的缺乏严重限制了传统神经机器框架下的汉-越机器翻译性能。因此，非常有必要提出一种低资源神经机器翻译框架解决平行句对受限的汉-越机器翻译问题。
过去的十多年时间，随着LSTM、以及注意力机制(Attention)等方法的出现，在英汉、英法这样的大语种翻译任务中取得了非常优异的翻译效果，甚至翻译性能可以媲美人工翻译。然而，神经机器翻译的性能是基于大量的高质量双语平行语料，针对越南语、缅甸语这些低资源语种，很难获取大量质量较高的双语平行语料作为支持。因此，一部分学者开始在考虑运用半监督、回译(语料扩增)、无监督、模型修改、枢轴等方法来解决低资源神经机器翻译性能的问题。
发明内容
本发明提供了基于编码归纳-解码推敲的汉-越低资源神经机器翻译方法，以用于解决由于汉-越平行语料资源匮乏和编解码资源利用不充分造成的汉-越神经机器翻译性能不佳等问题。
本发明的技术方案是：基于编码归纳-解码推敲的汉-越低资源神经机器翻译方法，所述基于编码归纳-解码推敲的汉-越低资源神经机器翻译方法的具体步骤如下：
Step1、收集汉-越双语平行句对，并将汉-越平行语料分为训练集、验证集和测试集；
Step2、将不定长的句子序列作为神经网络输入，首先经过Bi-GRU生成源语言句子的隐藏输出，然后将输出的隐状态作为反向增强神经网络的输入；通过反向增强增强神经网络得出最后的每个时间步长对应的隐状态输出，此时的隐状态表示将作为编码归纳门控神经网络输入，以及解码端计算Attention时的输入；
Step3、在Step2的基础上，将反向增强神经网络的输出经过编码归纳门控神经网络，对编码端的句子语义信息进行归纳，得到编码端源句子的归纳信息；
Step4、在Step3的基础上，将编码端的归纳信息融入到解码端，在解码时不仅考虑解码端与编码端信息的对齐，而且考虑将编码端得到的的归纳信息作为输入，不断推敲输出最后的越南语句子。
作为本发明的优选方案，所述步骤Step1中，收集整理的汉-越平行句对是通过编写网络爬虫，将网络上爬取的双语平行句对进行过滤、去重操作，得到质量较好的汉-越平行句对。
作为本发明的优选方案，所述步骤Step2是将不定长的输入序列经过三层的Bi-GRU得到每个时刻和整个输入句子的隐状态，然后将隐状态作为输入通过反向增强神经网络生成新的隐状态表示。
作为本发明的优选方案，所述反向增强神经网络具体的计算公式如下：
Figure BDA0002143483150000021
Exi是源语言句子对应的词嵌入向量，
Figure BDA0002143483150000022
是句子的正向隐状态表示，
Figure BDA0002143483150000023
是在i-1时刻句子正向隐状态表示，
Figure BDA0002143483150000024
是在i-1时刻句子正向隐状态表示，h'i表示编码端每个时间步长对应的最后的隐状态表示，α表示正向的隐状态与整个句子隐状态表示s0的一个权重向量；
其中，将最后一个前向隐藏状态
Figure BDA0002143483150000025
和后向隐藏状态
Figure BDA0002143483150000026
拼接起来作为句子表示s0：
Figure BDA0002143483150000027
作为本发明的优选方案，所述步骤Step2中，反向增强神经网络通过改进当前的Bi-GRU的输出作为隐状态，将正向的隐状态作为基础，反向的隐状态作为语义信息增强。
作为本发明的优选方案，所述步骤Step3中，所述编码归纳门控神经网络会将反向增强神经网络的隐状态输出作为输入，将每个时刻对应的隐状态与整个句子隐状态信息计算相关度，然后再将相关度与隐状态加权求和得到最后的编码端归纳信息。
作为本发明的优选方案，所述步骤Step4中，生成的归纳信息通过神经网络融合到基于Attention机制的解码端进行解码，从而生成可靠的译文。
本发明的有益效果是：
1、本发明在低资源神经机器翻译任务上具有较好的性能；针对当前汉-越低资源机器翻译语料匮乏的现实情况，实现了编码器和解码器信息的充分利用，在提升汉-越神经机器翻译的性能的基础上并保证了译文与原文的语义相似；
2、神经机器翻译性能严重依赖于编码器的编码性能，而本发明提出的编码归纳子网络将会充分的利用有限的源语言信息；
3、本发明提出的解码推敲子网络将编码端的归纳信息融入到解码过程，从而实现了一种推敲过程，在保证翻译性能的基础上增强了源文与译文的语义相似度；
4、本发明编码归纳-解码推敲思路符合人工翻译的习惯，通过对源句子信息进行有效的归纳，然后利用已有的归纳信息进行翻译。
附图说明
图1为本发明中总的模型结构图；
图2为本发明中的反向增强门控网络结构示意图；
图3为本发明中的解码推敲网络结构示意图。
具体实施方式
实施例1：如图1-3所示，基于编码归纳-解码推敲的汉-越低资源神经机器翻译方法，所述基于编码归纳-解码推敲的汉-越低资源神经机器翻译方法的具体步骤如下：
Step1、收集汉-越双语平行句对，并将汉-越平行语料分为训练集、验证集和测试集；
Step2、反向增强神经网络：首先，将不定长的句子序列x＝{x1,x2,.........xn}作为神经网络输入，首先经过Bi-GRU生成源语言句子的隐藏输出(h1,h2,……hn)和s0，然后将Bi-GRU的输出作为反向增强神经网络的输入，通过反向增强增强神经网络得出最后的每个时间步长对应的隐状态输出(h1',h2',……hn')，此时的隐状态表示将作为编码归纳门控神经网络输入，以及解码端计算Attention时的输入；
Step3、编码归纳门控神经网络：在Step2的基础上，将反向增强神经网络每个时间步长对应的隐状态输出(h1',h2',……hn')和Bi-GRU输出的整个句子隐状态表示s0作为编码归纳门控神经网络的输入，从而生成新的编码端源语言整个句子的归纳信息表示hsum，hsum即为整个源语言句子的主要语义信息表示；
Step4、融合源语言归纳语义信息的解码器。针对Bahdanau等人工作中采用的RNN解码器，本发明提出了进一步的改进方法，在原有的解码器的输入序列中融入了编码器句子归纳的序列信息hsum，针对同一个句子表示序列，句子归纳语义信息hsum的值将会保持不变。解码端在进行解码时，将会参考编码端句子的归纳信息，从而完成一步步的解码推敲过程，进一步增强了解码时包含的外部隐状态信息，保证生成相对准确的译文输出序列y＝{y1,y2,……yn}。
作为本发明的优选方案，所述步骤Step1中，收集整理的汉-越平行句对是通过编写网络爬虫，将网络上爬取的双语平行句对进行过滤、去重操作，得到质量较好的汉-越平行句对。
作为本发明的优选方案，所述步骤Step2的具体步骤为：
Step2.1、反向增强神经网络就是将不定长的句子序列作为输入，首先经过Bi-GRU生成源语言句子对应的隐藏输出(h1,h2,……hn)和s0，然后将Bi-GRU的输出作为反向增强神经网络的输入，通过反向增强增强神经网络得出最后的每个时间步长对应的隐状态输出(h1',h2',……hn')。本发明提出的反向增强神经网络结构主要思想是考虑通过改进的隐状态输出，因为神经机器翻译性能严重依赖于编码器计算的隐状态表示，所以如果Bi-GRU隐状态计算是相互独立的，这就会造成编码端句子语义信息的丢失，在一定程度上将会影响翻译性能，尤其是针对低资源的神经机器翻译，将会严重影响翻译性能。因此，本发明考虑对Bi-GRU的隐状态输出进行改进，并提出了一种新的反向增强神经网络结构。
本发明采用反向增强网络将以Bi-GRU正向编码为基础，通过门控网络控制将反向编码的句子序列与前向的句子序列进行一个融合。简单来说就是运用反向序列对正向序列进行一个语义补充和增强。具体来说就是将GRU的神经元分成两个方向，一个用于正时间方向(正向状态)，另一个用于负时间方向(反向状态)。正向GRU从左往右依次读入输入序列，从而生成前向隐状态
Figure BDA0002143483150000041
反向GRU则是从右往左依次读入输入序列，生成反向隐状态表示
Figure BDA0002143483150000042
然后通过门控网络将反向句子表示与正向句子表示进行一个有效的融合，让反向句子表示对编码信息进行语义增强，保证编码端句子信息最大的保留。反向增强神经网络具体的计算公式如下：
Figure BDA0002143483150000051
Exi是源语言句子对应的词嵌入向量，
Figure BDA0002143483150000052
是句子的正向隐状态表示，
Figure BDA0002143483150000053
是在i-1时刻句子正向隐状态表示，
Figure BDA0002143483150000054
是在i-1时刻句子正向隐状态表示，h'i表示编码端每个时间步长对应的最后的隐状态表示，α表示正向的隐状态与整个句子隐状态表示s0的一个权重向量。
其中，将最后一个前向隐藏状态
Figure BDA0002143483150000055
和后向隐藏状态
Figure BDA0002143483150000056
拼接起来作为句子表示s0：
Figure BDA0002143483150000057
作为本发明的优选方案，所述步骤Step3的具体步骤为：
Step3.1、本发明提出了一个类似于摘要任务的归纳门控网络来对编码端的语义信息进行归纳。归纳门控网络就是对编码端句子生成一个较为有效的语义归纳信息，具体来说，它的输入包括反向增强神经网络计算的每个时间步长的隐状态表示hi′，以及整个句子的隐状态表示s0，然后用hi'与s0计算得出权重变量
Figure BDA0002143483150000058
最后将每个时间步长的隐状态hi'与权重α～i相乘累加求和源句的语义归纳信息hsum。
具体来说，反向增强神经网络生成的隐状态只是包含了每个时间步长对应的语义表征，还没有对隐状态信息进行归纳，所以需要计算一个权重变量
Figure BDA00021434831500000511
，并将计算的加权和作为编码端句子的归纳语义信息hsum，并将该信息作为解码器的一部分输入。它具体的计算公式如下所示：
Figure BDA0002143483150000059
Figure BDA00021434831500000510
表示当前时间步长对应的隐状态对整个句子语义信息占比情况，hsum表示编码端句子的归纳语义信息，hi'表示编码器生成的最新的隐状态序列表示。
作为本发明的优选方案，所述步骤Step4的具体步骤为：
Step4.1、具体来说，融合源语言归纳语义信息解码器的计算过程包括两部分，第一部分就是将编码器端归纳的语义信息与上下文向量序列进行融合，从而生成新的上下文向量序列；第二部分采用引入Attention机制的解码器结构，通过上述的包含归纳语义信息的上下文向量来辅助生成相应的译文，这在一定程度上将会提升低资源的语义信息的利用。
融合源端句子归纳语义信息的上下文向量表示包含源端句子归纳信息以及解码端与编码端句子对齐后的上下文向量，上下文向量为解码当前词所对应的文本语义表征，每一个ci会自动去计算出与当前所要输出的yt最合适的上下文信息，源端语义归纳信息表示为编码端对整个编码端句子的固定特征值。具体来说，用αti来衡量Encoder中第t阶段的ht和解码时第i阶段的相关性，最终解码端在第i阶段的输入的上下文信息ci就来自于所有ht与对应的所有αti的加权和。
Figure BDA0002143483150000061
在解码端的每一个时间步长，将当前词的词嵌入向量Exi-1、前一个时间状态上下文向量ci-1、编码端句子隐状态表示si-1，以及编码端语义摘要语义信息hsum作为输入，经过GRU生成新的句子隐状态表示si。
Figure BDA0002143483150000062
以上为解码端对应的计算过程，其中st表示解码端在t时刻的输出，yt-1表示t-1时刻的解码端输出，ct'表示t时刻融入编码端句子语义归纳信息的上下文向量表示。
解码推敲是基于Attention机制的解码端进行改进，主要融入了编码端的归纳信息并推敲输出最后译文信息。
本发明采用当前主流的机器翻译BLEU值作为翻译性能的评价指标，BLEU是一种文本评估算法，它是用来评估机器翻译跟专业人工翻译之间的对应关系，核心思想就是机器翻译越接近专业人工翻译，质量就越好，经过BLEU算法计算出来的得分来表示翻译效果的好坏，BLEU也是采用了N-gram的匹配规则，通过它能够算出比较译文和参考译文之间n组词的相似的一个占比。因此，本发明的实验分别计算1-gram、2-gram、3-gram以及4-gram的值来更好的评测翻译性能。
为了使本发明实验更加具有说服力，本发明选择基于Luong等人提出的神经机器翻译模型和transformer作为我们的基线模型，并且设置了RNN-Search基线模型的超参，其中训练步数设置为20，batch_size设置为64，神经网络单元选择GRU，emb_size和hidden_size都设置为512，并且attention机制设置为luong_gate。在解码端进行解码时，采用beam_search方式，并且设置beam_size大小为10。
针对基线模型，本发明对于训练的语料设置了截断长度，将句子长度大于80的进行截断处理，从而可以更加快速有效的训练模型，并且采用Byte Pair Encoding算法对词表进行压缩，将词表大小设置为40k，通过引入Byte Pair Encoding不仅可以对词表进行压缩，还可以有效的解决解码时候出现的未登录词问题，从而在一定程度上提升了翻译的性能。我们还进一步调整神经网络的层数来验证模型修改后的有效性，首先在编码器设置了普通的RNN-Search结构，然后分别设置神经网络的层数为2层以及3层，并且不断调整网络结构从而通过实验结果验证改进结构的有效性。
表1中展示了本发明提出的模型和基线模型在0.13M汉-越平行句对的翻译结果。显然，transformer模型在汉-越翻译任务中BLEU值高于RNN-Search模型0.95个BLEU值，这说明在机器翻译任务中transformer的性能非常优异。同时，本发明提出的模型BLEU均高于RNN-Search和transformer。具体来说，本发明的模型比RNN-Search高1.23个BLEU值，比transformer高0.28个BLEU，这表明本发明提出的模型在语料质量和数量不高的情况下性能已经超越了绝大多数针对大语种的神经机器翻译模型。
本发明提出的编码归纳-解码推敲的方法在低资源神经机器翻译任务上具有较好的性能，主要有以下几方面的原因：1、神经机器翻译性能严重依赖于编码器的编码性能，而我们提出的编码归纳子网络将会充分的利用有限的源语言信息；2、我们提出的解码推敲子网络将编码端的归纳信息融入到解码过程，从而实现了一种推敲过程，在保证翻译性能的基础上增强了源文与译文的语义相似度；3、编码归纳-解码推敲思路符合人工翻译的习惯，通过对源句子信息进行有效的归纳，然后利用已有的归纳信息进行翻译。
表1汉-越低资源翻译对照实验BLUE值
模型 汉-越数据集
RNN-Search 17.24
transformer 18.19
IEncoder-DDecoder(本发明) 18.47
上面结合附图对本发明的具体实施方式作了详细说明，但是本发明并不限于上述实施方式，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下作出各种变化。

Claims (7)

1.基于编码归纳-解码推敲的汉-越低资源神经机器翻译方法，其特征在于：
所述基于编码归纳-解码推敲的汉-越低资源神经机器翻译方法的具体步骤如下：
Step1、收集汉-越双语平行句对，并将汉-越平行语料分为训练集、验证集和测试集；
Step2、将不定长的句子序列作为神经网络输入，首先经过Bi-GRU生成源语言句子的隐藏输出，然后将输出的隐状态作为反向增强神经网络的输入；通过反向增强增强神经网络得出最后的每个时间步长对应的隐状态输出；
Step3、在Step2的基础上，将反向增强神经网络的输出经过编码归纳门控神经网络，对编码端的句子语义信息进行归纳，得到编码端源句子的归纳信息；
Step4、在Step3的基础上，将编码端的归纳信息融入到解码端，通过不断的推敲过程生成可靠的译文。
2.根据权利要求1所述的基于编码归纳-解码推敲的汉-越低资源神经机器翻译方法，其特征在于：所述步骤Step1中，收集整理的汉-越平行句对是通过编写网络爬虫，将网络上爬取的双语平行句对进行过滤、去重操作，得到质量较好的汉-越平行句对。
3.根据权利要求1所述的基于编码归纳-解码推敲的汉-越低资源神经机器翻译方法，其特征在于：所述步骤Step2是将不定长的输入序列经过三层的Bi-GRU得到每个时刻和整个输入句子的隐状态，然后将隐状态作为输入通过反向增强神经网络生成新的隐状态表示。
4.根据权利要求1所述的基于编码归纳-解码推敲的汉-越低资源神经机器翻译方法，其特征在于：所述反向增强神经网络具体的计算公式如下：
Figure FDA0002489719240000011
Exi是源语言句子对应的词嵌入向量，
Figure FDA0002489719240000012
是在i时刻句子的正向隐状态表示，
Figure FDA0002489719240000013
是在i-1时刻句子正向隐状态表示，
Figure FDA0002489719240000014
是在i+1时刻句子正向隐状态表示，h'i表示编码端每个时间步长对应的最后的隐状态表示，α表示正向的隐状态对应整个句子隐状态表示s0的一个权重向量；
其中，将最后一个前向隐藏状态
Figure FDA0002489719240000015
和后向隐藏状态
Figure FDA0002489719240000016
拼接起来作为整个句子隐状态表示s0：
Figure FDA0002489719240000021
5.根据权利要求3所述的基于编码归纳-解码推敲的汉-越低资源神经机器翻译方法，其特征在于：所述步骤Step2中，反向增强神经网络通过改进当前的Bi-GRU的输出作为隐状态，将正向的隐状态作为基础，反向的隐状态作为语义信息增强。
6.根据权利要求1所述的基于编码归纳-解码推敲的汉-越低资源神经机器翻译方法，其特征在于：所述步骤Step3中，所述编码归纳门控神经网络会将反向增强神经网络的隐状态输出作为输入，将每个时刻对应的隐状态与整个句子隐状态信息计算相关度，然后再将相关度与隐状态加权求和得到最后的编码端归纳信息。
7.根据权利要求1所述的基于编码归纳-解码推敲的汉-越低资源神经机器翻译方法，其特征在于：所述步骤Step4中，生成的归纳信息通过神经网络融合到基于Attention机制的解码端进行解码，从而生成可靠的译文。
CN201910676603.6A 2019-07-25 2019-07-25 基于编码归纳-解码推敲的汉-越低资源神经机器翻译方法 Active CN110489766B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910676603.6A CN110489766B (zh) 2019-07-25 2019-07-25 基于编码归纳-解码推敲的汉-越低资源神经机器翻译方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910676603.6A CN110489766B (zh) 2019-07-25 2019-07-25 基于编码归纳-解码推敲的汉-越低资源神经机器翻译方法

Publications (2)

Publication Number Publication Date
CN110489766A CN110489766A (zh) 2019-11-22
CN110489766B true CN110489766B (zh) 2020-07-10

Family

ID=68548271

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910676603.6A Active CN110489766B (zh) 2019-07-25 2019-07-25 基于编码归纳-解码推敲的汉-越低资源神经机器翻译方法

Country Status (1)

Country Link
CN (1) CN110489766B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111581986A (zh) * 2020-05-13 2020-08-25 识因智能科技(北京)有限公司 一种基于动态推敲网络的自然语言生成方法
CN113392656A (zh) * 2021-06-18 2021-09-14 电子科技大学 一种融合推敲网络和字符编码的神经机器翻译方法
CN114385178A (zh) * 2021-12-14 2022-04-22 厦门大学 基于抽象语法树结构信息增强的代码生成方法
CN114676708B (zh) * 2022-03-24 2024-04-23 昆明理工大学 基于多策略原型生成的低资源神经机器翻译方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11113480B2 (en) * 2016-09-26 2021-09-07 Google Llc Neural machine translation systems
CN107967262B (zh) * 2017-11-02 2018-10-30 内蒙古工业大学 一种神经网络蒙汉机器翻译方法
CN108932232A (zh) * 2018-05-07 2018-12-04 内蒙古工业大学 一种基于lstm神经网络的蒙汉互译方法
CN108920468B (zh) * 2018-05-07 2019-05-14 内蒙古工业大学 一种基于强化学习的蒙汉双语种互译方法
CN109508462B (zh) * 2018-10-25 2020-07-17 内蒙古工业大学 一种基于编码器-解码器的神经网络蒙汉机器翻译方法
CN109598002A (zh) * 2018-11-15 2019-04-09 重庆邮电大学 基于双向循环神经网络的神经机器翻译方法和系统
CN109933808B (zh) * 2019-01-31 2022-11-22 沈阳雅译网络技术有限公司 一种基于动态配置解码的神经机器翻译方法

Also Published As

Publication number Publication date
CN110489766A (zh) 2019-11-22

Similar Documents

Publication Publication Date Title
CN110489766B (zh) 基于编码归纳-解码推敲的汉-越低资源神经机器翻译方法
CN110489555B (zh) 一种结合类词信息的语言模型预训练方法
CN110717334B (zh) 基于bert模型和双通道注意力的文本情感分析方法
Zhou et al. Paraphrase generation: A survey of the state of the art
CN112287688B (zh) 融合预训练语言模型及结构特征的英-缅双语平行句对抽取方法及装置
CN110472238B (zh) 基于层级交互注意力的文本摘要方法
CN110348016A (zh) 基于句子关联注意力机制的文本摘要生成方法
CN107967262A (zh) 一种神经网络蒙汉机器翻译方法
CN111160050A (zh) 一种基于上下文记忆网络的篇章级神经机器翻译方法
CN110472252B (zh) 基于迁移学习的汉越神经机器翻译的方法
CN113743133B (zh) 融合词粒度概率映射信息的汉越跨语言摘要方法
CN108415906B (zh) 基于领域自动识别篇章机器翻译方法、机器翻译系统
CN107391501A (zh) 一种基于词预测的神经机器翻译方法
CN110688862A (zh) 一种基于迁移学习的蒙汉互译方法
CN110427616A (zh) 一种基于深度学习的文本情感分析方法
CN112818698B (zh) 一种基于双通道模型的细粒度的用户评论情感分析方法
CN111666756A (zh) 一种基于主题融合的序列模型文本摘要生成方法
CN114332519A (zh) 一种基于外部三元组和抽象关系的图像描述生成方法
CN114564953A (zh) 一种基于多种词嵌入融合与注意力机制的情感目标抽取模型
CN112380882B (zh) 一种具有误差修正功能的蒙汉神经机器翻译方法
CN112287687A (zh) 基于案件属性感知的案件倾向性抽取式摘要方法
CN111274826A (zh) 一种基于语义信息融合的低频词翻译方法
CN114548090B (zh) 基于卷积神经网络和改进级联标注的快速关系抽取方法
CN115659172A (zh) 基于关键信息掩码与拷贝的生成式文本摘要方法
CN113901791B (zh) 低资源条件下融合多策略数据增强的依存句法分析方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant