CN113204978A - 一种机器翻译增强训练方法及系统 - Google Patents

一种机器翻译增强训练方法及系统 Download PDF

Info

Publication number
CN113204978A
CN113204978A CN202110523435.4A CN202110523435A CN113204978A CN 113204978 A CN113204978 A CN 113204978A CN 202110523435 A CN202110523435 A CN 202110523435A CN 113204978 A CN113204978 A CN 113204978A
Authority
CN
China
Prior art keywords
sentence
source
sub
target
enhancement
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110523435.4A
Other languages
English (en)
Other versions
CN113204978B (zh
Inventor
张为泰
宋彦
刘俊华
魏思
刘聪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Science and Technology of China USTC
Original Assignee
University of Science and Technology of China USTC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Science and Technology of China USTC filed Critical University of Science and Technology of China USTC
Priority to CN202110523435.4A priority Critical patent/CN113204978B/zh
Publication of CN113204978A publication Critical patent/CN113204978A/zh
Application granted granted Critical
Publication of CN113204978B publication Critical patent/CN113204978B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/40—Processing or translation of natural language
    • G06F40/58—Use of machine translation, e.g. for multi-lingual retrieval, for server-side translation for client devices or for real-time translation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/205—Parsing
    • G06F40/211—Syntactic parsing, e.g. based on context-free grammar [CFG] or unification grammars
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/205—Parsing
    • G06F40/216—Parsing using statistical methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/284—Lexical analysis, e.g. tokenisation or collocates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Machine Translation (AREA)

Abstract

本发明涉及一种机器翻译增强训练方法及系统，其方法包括：S1：获取训练数据，训练数据包括：源端句子和目标端句子；S2：分别使用源端句子和目标端句子训练源端语言模型和目标端语言模型；S3：随机选择源端句子中子词，并根据源端句子构造移位后的句子，输入源端语言模型，对移位后的句子中对应的子词进行预测，根据预测结果进行加权求和，实现对源端句子的增强；S4：根据源端句子和目标端句子的注意力权重分布，并根据源端句子中子词替换目标端句子中对应子词，利用语言模型和神经机器翻译模型联合预测结果，以实现对目标端句子的增强。本发明通过对平行训练数据进行加噪和增强，从而提升低资源条件下神经机器翻译模型的训练效果和鲁棒性。

Description

一种机器翻译增强训练方法及系统
技术领域
本发明涉及自然语言处理和机器翻译领域，具体涉及一种机器翻译增强训练方法及系统。
背景技术
机器翻译是利用计算机将一种自然语言(源语言)转换为另一种自然语言(目标语言)的过程。经历了数十年的发展与进步，机器翻译从基于规则的方法到基于统计的方法，再到当前基于神经网络的机器翻译系统通过将源语言文字信息进行编码，再通过编码信息，递归地解码出目标语言文字，使得机器翻译能力得到极大的提升。但是目前机器翻译能力还没有达到专业译员的翻译水平，无法在实际多场景应用中完全替代人工翻译。而传统的语言服务行业采用人工翻译+校审的方式，过于依赖译员的翻译能力；同时在翻译、校审等过程中，存在着效率低下、成本高昂、人力浪费等问题，已逐渐无法满足迅速增长的翻译需求。
基于深度学习的神经网络机器翻译方法，在中英等资源丰富的语种上效果已达到接近人类翻译水平。但深度学习算法依赖海量训练数据，同时对训练数据的质量要求较高。而全世界目前现存超过5000种语言，绝大部分语言不具有或具有极少量的平行句对可供机器翻译进行训练，因此这些低资源语种的机器翻译效果较差。
为了解决上述问题，可采用机器翻译增强训练方法用于训练数据资源不足的场景，以提升因为数据稀缺导致机器翻译模型性能或鲁棒性差的问题。当前机器翻译增强训练一般包括两类技术方法：一是在数据方面进行加噪训练，根据实际应用场景可能出现的情况，人工设计规则对原始的训练数据进行加噪，例如对源句子中的单词或字符进行随机增加、随机删除或随机替换等，或根据键盘中字母间距离，将源句子中字母随机替换为在键盘中距离更近的字母，或根据同义词表、词嵌入表示等将句子中的单词替换为同义词或近义词，以达到数据增强的目的；二是在模型方面，采用如对抗训练、变分自编码器等技术，提升模型的鲁棒性。
但现有的增强训练方法依然存在着比较明显的缺点：一是数据增强方法一般由工程师人工确定规则并生成伪造的数据，并加入模型训练中。但规则是有限的，但语言是多样性的，这些具有规则特征的伪造数据无法提升模型对未知问题的鲁棒性，且替换方法可能破坏源-目标句子语义间的一致性，或源句子的流畅性。二是如对抗训练、变分自编码器等技术，在机器翻译或自然语言处理领域还没有得到充分的验证和实践检验，模型训练过程中存在着不稳定的情况，实际应用可靠性较弱。
发明内容
为了解决上述技术问题，本发明提供一种机器翻译增强训练方法及系统，通过基于语言模型和机器翻译模型的预测、注意力匹配机制方法，对平行训练数据进行加噪和增强，从而提升低资源条件下机器翻译模型的训练效果和鲁棒性。
本发明技术解决方案为：一种机器翻译增强训练方法，包括：
步骤S1：获取训练数据，所述训练数据包括：源端句子和目标端句子；
步骤S2：分别使用所述源端句子和所述目标端句子训练源端语言模型和目标端语言模型；
步骤S3：随机选择所述源端句子中子词，并根据所述源端句子构造移位后的句子，输入所述源端语言模型，对所述移位后的句子中对应的所述子词进行预测，根据预测结果进行加权求和，实现对所述源端句子的增强；
步骤S4：根据所述源端句子和所述目标端句子的注意力权重分布，并根据所述源端句子中子词替换目标端句子中对应子词，利用所述语言模型和神经机器翻译模型联合预测结果，以实现对所述目标端句子的增强。
本发明与现有技术相比，具有以下优点：
本发明提供的方法针对性地提出了一种新的机器翻译增强训练方法，分别对源端句子和目标端句子进行动态增强，以达到增强训练的目的，提升模型的性能和鲁棒性。本发明提供的机器翻译增强训练方法能够保证增强后的数据在流畅性和语义匹配性上更好，减少现有数据增强技术带来的噪声问题。
附图说明
图1为本发明实施例中一种机器翻译增强训练方法的流程图；
图2为本发明实施例中一种机器翻译增强训练方法中步骤S3：随机选择源端句子中子词，并根据源端句子构造移位后的句子，输入源端语言模型，对移位后的句子中对应的子词进行预测，根据预测结果进行加权求和，实现对源端句子的增强的流程图；
图3为本发明实施例中语言模型和神经机器翻译模型的结构示意图；
图4为本发明实施例中一种机器翻译增强训练方法中步骤S4：根据源端句子和目标端句子的注意力权重分布，并根据源端句子中子词替换目标端句子中对应子词，利用语言模型和神经机器翻译模型联合预测结果，以实现对目标端句子的增强的流程图；
图5为本发明实施例中一种机器翻译增强训练系统的结构框图。
具体实施方式
本发明提供了一种机器翻译增强训练方法，分别对源端句子和目标端句子进行动态增强，以达到增强训练的目的，提升模型的性能和鲁棒性。
为了使本发明的目的、技术方案及优点更加清楚，以下通过具体实施，并结合附图，对本发明进一步详细说明。
实施例一
如图1所示，本发明实施例提供的一种机器翻译增强训练方法，包括下述步骤：
步骤S1：获取训练数据，训练数据包括：源端句子和目标端句子；
步骤S2：分别使用源端句子和目标端句子训练源端语言模型和目标端语言模型；
步骤S3：随机选择源端句子中子词，并根据源端句子构造移位后的句子，输入源端语言模型，对移位后的句子中对应的子词进行预测，根据预测结果进行加权求和，实现对源端句子的增强；
步骤S4：根据源端句子和目标端句子的注意力权重分布，并根据源端句子中子词替换目标端句子中对应子词，利用语言模型和神经机器翻译模型联合预测结果，以实现对目标端句子的增强。
在一个实施例中，上述步骤S1：获取训练数据，训练数据包括：源端句子和目标端句子，具体包括：
对语言模型和神经机器翻译模型进行训练之前，为其收集训练数据。用于语言模型训练的源端句子和目标端句子，一般可通过互联网等途径获得；用于神经机器翻译模型训练的平行句对，一般可通过人工标注、互联网获取等途径构建。在数据处理时，语言模型训练数据和翻译模型训练数据需要采用相同的处理方式，以便于后续步骤在词表上保持一致。
在一个实施例中，上述步骤S2：分别使用源端句子和目标端句子训练源端语言模型和目标端语言模型，具体包括：
语言模型的训练是为了在后续的机器翻译增强训练中，通过语言模型的预测来选中需要修改的位置和子词。本发明对于语言模型的选择不做限制，本发明实施例采用基于LSTM的语言模型进行训练，并能够实现对下一个词预测即可。本步骤需要利用步骤S1中的源端句子和目标端句子，同时对源端语言的语言模型和目标端的语言模型进行训练。
如图2所示，在一个实施例中，上述步骤S3：随机选择源端句子中子词，并根据源端句子构造移位后的句子，输入源端语言模型，对移位后的句子中对应的子词进行预测，根据预测结果进行加权求和，实现对源端句子的增强，具体包括：
步骤S31：按照预设概率，在源端句子中随机选择至少一个子词；
对训练中的某对源端句子和目标端句子，按预设的概率随机在源端句子中选择至少一个个位置的子词，此概率根据具体实验结果确定，本发明实施例中概率选择为p＝15％。举例来说，如图3所示，本次源端句子中的x1和x3两个位置的子词被随机选中，在后续步骤将要被替换。
步骤S32：将源端句子平移，构造移位后的句子；
对于源端句子的平移位数以及平移的方向，可根据实际情况决定，本发明实施例将源端句子向右平移一位后，得到图3中所示移位后的句子。
步骤S33：将移位后的句子输入源端语言模型，得到子词的向量表示，如下述公式(1)所示；
Figure BDA0003064891380000041
其中，xi为子词；p|V|是预先设定的词表向量；pj(xi)是xi在词表向量中第j个词的概率；p(xi)是所述移位后的句子中对xi的向量表示；
在本步骤中，移位后的句子输入源端语言模型，根据预先设定的词表向量，通过公式(1)计算后，分别得到每个子词位置下一个词在词表维度上的概率分布，构成该子词的向量表示。举例来说，如图3所示，p(x1)是移位后的句子中对x1位置下一个词的预测结果的向量表示，即p(x1)是一个词表维的向量。同理，可得到p(x3)。
步骤S34：根据子词的向量表示，利用公式(2)，计算子词的软性预测向量；
Figure BDA0003064891380000042
其中，Ej是词表向量的第j个词的词嵌入矩阵；
在本步骤中，以pj(xi)为权重，利用公式(2)，对所有词表向量的词嵌入矩阵E进行加权求和。
步骤S35：根据以下公式(3)～(4)，从词表中选择出替换xi的新子词xi′；
Figure BDA0003064891380000043
Figure BDA0003064891380000051
其中，VtopN是指根据语言模型概率筛选得到的与xi最相似的前N个子词；sim是计算向量相似度函数；argmax求使得sim函数值最大的参数xi，即x′i；
Figure BDA00030648913800000513
是对e(xi)的梯度向量；y是目标端句子，x是源端句子，θ为神经机器翻译模型中所有的参数；
在本发明实施例中，采用向量间的余弦相似度进行计算，利用上述公式将计算得到与当前xi在梯度方向上差别最大但依然具有一定相似度的x′i。
步骤S36：根据xi′可得到其硬性预测向量
Figure BDA0003064891380000052
步骤S37：将子词xi的软性预测向量
Figure BDA0003064891380000053
和新子词xi′的硬性预测向量
Figure BDA0003064891380000054
进行平均，最终得到xi的新子词表示
Figure BDA0003064891380000055
从而实现对源端句子的增强。
通过语言模型预测，可以利用上文信息对当前位置所有可能的词进行预测，同时通过结合软性预测向量和硬性预测向量对当前位置进行增强。既能保障源端句子的语义完整性、流畅性，梯度向量的引进也保证了最终的增强是对当前翻译模型训练最有效的。
在一个实施例中，上述步骤S4：根据源端句子和目标端句子的注意力权重分布，并根据源端句子中子词替换目标端句子中对应子词，利用语言模型和神经机器翻译模型联合预测结果，以实现对目标端句子的增强，具体包括：
步骤S41：计算源端句子中子词xi与目标端句子中每个词的注意力权重，选择目标端句子中对应的子词yi；
本步骤中注意力权重的计算可通过神经机器翻译模型，或词对齐模型进行训练和计算得到，此处不再赘述。
步骤S42：根据语言模型，得到目标端句子中子词向量p(yi)、软性预测向量
Figure BDA0003064891380000056
和硬性预测向量
Figure BDA0003064891380000057
与上述步骤在源端句子使用语言模型进行预测相同，在目标端句子同样使用语言模型先进行预测，得到每个子词位置下一个词在词表维度上的向量表示p(yi)、软性预测向量
Figure BDA0003064891380000058
和硬性预测向量
Figure BDA0003064891380000059
具体细节可参考步骤S3，此处不再赘述。
步骤S43：根据子词向量，利用神经机器翻译模型，计算目标端句子中子词的软性预测向量
Figure BDA00030648913800000510
以及对应的新子词yi′的硬性预测向量
Figure BDA00030648913800000511
本步骤中，计算目标端句子中子词的软性预测向量以及对应的新子词的硬性预测向量与上述步骤相同，所不同的是使用神经机器翻译模型进行预测，具体细节此处不再赘述。
步骤S44：利用下述公式(5)，计算最终yi新的子词表示
Figure BDA00030648913800000512
从而实现对目标端句子的增强；
Figure BDA0003064891380000061
其中，w1、w2、w3和w4为模型参数。
步骤S45：利用下述公式(6)，对训练中的参数进行更新：
Figure BDA0003064891380000062
其中，Lclean(θmt)是数据增强前的神经机器翻译模型训练Loss函数，Lnew(θmt)是基于数据增强后得到的训练Loss函数，
Figure BDA0003064891380000063
和
Figure BDA0003064891380000064
分别是源端和目标端语言模型的训练Loss函数。
在模型训练过程中，本方法实施例所使用的语言模型参数会同时更新；而且会将增强前的神经机器翻译模型和增强后的神经机器翻译模型同时计算Loss函数，用于参数的更新。
本发明提供的方法针对性地提出了一种新的机器翻译增强训练方法，分别对源端句子和目标端句子进行动态增强，以达到增强训练的目的，提升模型的性能和鲁棒性。本发明提供的机器翻译增强训练方法能够保证增强后的数据在流畅性和语义匹配性上更好，减少现有数据增强技术带来的噪声问题。
实施例二
如图5所示，本发明实施例提供了一种机器翻译增强训练系统，包括下述模块：
训练数据采集模块51，用于获取训练数据；
训练源端和目标端语言模型模块52，用于分别使用所述源端句子和所述目标端句子训练源端语言模型和目标端语言模型；
源端句子增强模块53，用于随机选择所述源端句子中子词，并根据所述源端句子构造移位后的句子，输入所述源端语言模型，对所述移位后的句子中对应的所述子词进行预测，根据预测结果进行加权求和，实现对所述源端句子的增强；
目标端句子增强模块54，用于根据所述源端句子和所述目标端句子的注意力权重分布，并根据所述源端句子中子词替换目标端句子中对应子词，利用所述语言模型和神经机器翻译模型联合预测结果，以实现对所述目标端句子的增强。
提供以上实施例仅仅是为了描述本发明的目的，而并非要限制本发明的范围。本发明的范围由所附权利要求限定。不脱离本发明的精神和原理而做出的各种等同替换和修改，均应涵盖在本发明的范围之内。

Claims (4)

1.一种机器翻译增强训练方法，其特征在于，包括：
步骤S1：获取训练数据，所述训练数据包括：源端句子和目标端句子；
步骤S2：分别使用所述源端句子和所述目标端句子训练源端语言模型和目标端语言模型；
步骤S3：随机选择所述源端句子中子词，并根据所述源端句子构造移位后的句子，输入所述源端语言模型，对所述移位后的句子中对应的所述子词进行预测，根据预测结果进行加权求和，实现对所述源端句子的增强；
步骤S4：根据所述源端句子和所述目标端句子的注意力权重分布，并根据所述源端句子中子词替换目标端句子中对应子词，利用所述语言模型和神经机器翻译模型联合预测结果，以实现对所述目标端句子的增强。
2.根据权利要求1所述的机器翻译增强训练方法，其特征在于，所述步骤S3：随机选择所述源端句子中子词，并根据所述源端句子构造移位后的句子，输入所述源端语言模型，对所述移位后的句子中对应的所述子词进行预测，根据预测结果进行加权求和，实现对源端句子的增强，具体包括：
步骤S31：按照预设概率，在所述源端句子中随机选择至少一个子词；
步骤S32：将所述源端句子平移，构造移位后的句子；
步骤S33：将所述移位后的句子输入所述源端语言模型，得到所述子词的向量表示，如下述公式(1)所示；
Figure FDA0003064891370000011
其中，xi为所述子词；p|V|是预先设定的词表向量；pj(xi)是xi在所述词表向量中第j个词的概率；p(xi)是所述移位后的句子中对xi的向量表示；
步骤S34：根据所述子词的向量表示，利用公式(2)，计算所述子词的软性预测向量；
Figure FDA0003064891370000012
其中，Ej是所述词表向量的第j个词的词嵌入矩阵；
步骤S35：根据以下公式(3)～(4),从所述词表中选择出替换xi的新子词xi′；
Figure FDA0003064891370000013
Figure FDA0003064891370000014
其中，VtopN是指根据所述语言模型概率筛选得到的与xi最相似的前N个子词；sim是计算向量相似度函数；argmax求使得sim函数值最大的参数xi，即x′i；
Figure FDA00030648913700000212
是对e(xi)的梯度向量；y是所述目标端句子，x是所述源端句子，θ为所述神经机器翻译模型中所有的参数；
步骤S36：根据xi′可得到其硬性预测向量
Figure FDA0003064891370000021
步骤S37：将所述子词xi的软性预测向量
Figure FDA0003064891370000022
和所述新子词xi′的硬性预测向量
Figure FDA0003064891370000023
进行平均，最终得到xi的新子词表示
Figure FDA00030648913700000213
从而实现对所述源端句子的增强。
3.根据权利要求1所述的机器翻译增强训练方法，其特征在于，所述步骤S4：根据所述源端句子和所述目标端句子的注意力权重分布，并根据所述源端句子中子词替换目标端句子中对应子词，利用所述语言模型和神经机器翻译模型联合预测结果，以实现对所述目标端句子的增强，具体包括：
步骤S41：计算所述源端句子中所述子词xi与所述目标端句子中每个词的注意力权重，选择所述目标端句子中对应的子词yi；
步骤S42：根据所述语言模型，得到所述目标端句子中所述子词向量p(yi)、软性预测向量
Figure FDA0003064891370000024
和硬性预测向量
Figure FDA0003064891370000025
步骤S43：根据所述子词向量，利用所述神经机器翻译模型，计算所述目标端句子中所述子词的软性预测向量
Figure FDA0003064891370000026
以及对应的新子词yi′的硬性预测向量
Figure FDA0003064891370000027
步骤S44：利用下述公式(5)，计算最终yi新的子词表示
Figure FDA00030648913700000214
从而实现对所述目标端句子的增强；
Figure FDA0003064891370000028
其中，w1、w2、w3和w4为模型参数；
步骤S45：利用下述公式(6)，对训练中的参数进行更新：
Figure FDA0003064891370000029
其中，Lclean(θmt)是数据增强前的所述神经机器翻译模型训练Loss函数，Lnew(θmt)是基于数据增强后得到的训练Loss函数，
Figure FDA00030648913700000210
和
Figure FDA00030648913700000211
分别是所述源端和目标端语言模型的训练Loss函数。
4.一种机器翻译增强训练系统，其特征在于，包括下述模块：
训练数据采集模块，用于获取训练数据；
训练源端和目标端语言模型模块，用于分别使用所述源端句子和所述目标端句子训练源端语言模型和目标端语言模型；
源端句子增强模块，用于随机选择所述源端句子中子词，并根据所述源端句子构造移位后的句子，输入所述源端语言模型，对所述移位后的句子中对应的所述子词进行预测，根据预测结果进行加权求和，实现对所述源端句子的增强；
目标端句子增强模块，用于根据所述源端句子和所述目标端句子的注意力权重分布，并根据所述源端句子中子词替换目标端句子中对应子词，利用所述语言模型和神经机器翻译模型联合预测结果，以实现对所述目标端句子的增强。
CN202110523435.4A 2021-05-13 2021-05-13 一种机器翻译增强训练方法及系统 Active CN113204978B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110523435.4A CN113204978B (zh) 2021-05-13 2021-05-13 一种机器翻译增强训练方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110523435.4A CN113204978B (zh) 2021-05-13 2021-05-13 一种机器翻译增强训练方法及系统

Publications (2)

Publication Number Publication Date
CN113204978A true CN113204978A (zh) 2021-08-03
CN113204978B CN113204978B (zh) 2024-04-02

Family

ID=77031088

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110523435.4A Active CN113204978B (zh) 2021-05-13 2021-05-13 一种机器翻译增强训练方法及系统

Country Status (1)

Country Link
CN (1) CN113204978B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113657122A (zh) * 2021-09-07 2021-11-16 内蒙古工业大学 一种融合迁移学习的伪平行语料库的蒙汉机器翻译方法
CN114154519A (zh) * 2022-02-08 2022-03-08 北京大学 基于加权标签平滑的神经机器翻译模型训练方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190129947A1 (en) * 2017-10-26 2019-05-02 Electronics And Telecommunications Research Institute Neural machine translation method and apparatus
CN111178094A (zh) * 2019-12-20 2020-05-19 沈阳雅译网络技术有限公司 一种基于预训练的稀缺资源神经机器翻译训练方法
CN111401079A (zh) * 2018-12-14 2020-07-10 波音公司 神经网络机器翻译模型的训练方法、装置及存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190129947A1 (en) * 2017-10-26 2019-05-02 Electronics And Telecommunications Research Institute Neural machine translation method and apparatus
CN111401079A (zh) * 2018-12-14 2020-07-10 波音公司 神经网络机器翻译模型的训练方法、装置及存储介质
CN111178094A (zh) * 2019-12-20 2020-05-19 沈阳雅译网络技术有限公司 一种基于预训练的稀缺资源神经机器翻译训练方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
蔡子龙;杨明明;熊德意;: "基于数据增强技术的神经机器翻译", 中文信息学报, no. 07 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113657122A (zh) * 2021-09-07 2021-11-16 内蒙古工业大学 一种融合迁移学习的伪平行语料库的蒙汉机器翻译方法
CN113657122B (zh) * 2021-09-07 2023-12-15 内蒙古工业大学 一种融合迁移学习的伪平行语料库的蒙汉机器翻译方法
CN114154519A (zh) * 2022-02-08 2022-03-08 北京大学 基于加权标签平滑的神经机器翻译模型训练方法
CN114154519B (zh) * 2022-02-08 2022-04-26 北京大学 基于加权标签平滑的神经机器翻译模型训练方法

Also Published As

Publication number Publication date
CN113204978B (zh) 2024-04-02

Similar Documents

Publication Publication Date Title
CN107967262A (zh) 一种神经网络蒙汉机器翻译方法
Zhang et al. Deep Neural Networks in Machine Translation: An Overview.
CN111178094B (zh) 一种基于预训练的稀缺资源神经机器翻译训练方法
CN110688862A (zh) 一种基于迁移学习的蒙汉互译方法
CN114757182A (zh) 一种改进训练方式的bert短文本情感分析方法
CN110084297B (zh) 一种面向小样本的影像语义对齐系统
CN113204978B (zh) 一种机器翻译增强训练方法及系统
WO2022088570A1 (zh) 译文后编译方法、装置、电子设备和存储介质
CN112257460B (zh) 基于枢轴的汉越联合训练神经机器翻译方法
CN115759119B (zh) 一种金融文本情感分析方法、系统、介质和设备
CN111814493B (zh) 机器翻译方法、装置、电子设备和存储介质
CN112926345A (zh) 基于数据增强训练的多特征融合神经机器翻译检错方法
CN108763230B (zh) 利用外部信息的神经机器翻译方法
CN115114940A (zh) 一种基于课程化预训练的机器翻译风格的迁移方法和系统
CN115757695A (zh) 一种日志语言模型训练方法及系统
CN113408307B (zh) 一种基于翻译模板的神经机器翻译方法
CN114595700A (zh) 融合零代词与篇章信息的汉越神经机器翻译方法
Vashistha et al. Active learning for neural machine translation
Shi et al. Adding Visual Information to Improve Multimodal Machine Translation for Low‐Resource Language
CN116414988A (zh) 基于依赖关系增强的图卷积方面级情感分类方法及系统
CN115017924B (zh) 跨语际语言翻译的神经机器翻译模型构建及其翻译方法
CN115906854A (zh) 一种基于多级对抗的跨语言命名实体识别模型训练方法
CN114492317A (zh) 一种基于上下文衔接手段遮蔽框架系统
CN113673259A (zh) 基于数据增强的低资源神经机器翻译方法及系统
CN115034239B (zh) 基于降噪原型序列的汉越神经机器翻译方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant