CN110674648A - 基于迭代式双向迁移的神经网络机器翻译模型 - Google Patents

基于迭代式双向迁移的神经网络机器翻译模型 Download PDF

Info

Publication number
CN110674648A
CN110674648A CN201910933203.9A CN201910933203A CN110674648A CN 110674648 A CN110674648 A CN 110674648A CN 201910933203 A CN201910933203 A CN 201910933203A CN 110674648 A CN110674648 A CN 110674648A
Authority
CN
China
Prior art keywords
field
model
machine translation
migration
source
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910933203.9A
Other languages
English (en)
Other versions
CN110674648B (zh
Inventor
苏劲松
曾嘉莉
罗斌
尹永竞
王安特
辛春蕾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xiamen University
Original Assignee
Xiamen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xiamen University filed Critical Xiamen University
Priority to CN201910933203.9A priority Critical patent/CN110674648B/zh
Publication of CN110674648A publication Critical patent/CN110674648A/zh
Application granted granted Critical
Publication of CN110674648B publication Critical patent/CN110674648B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Machine Translation (AREA)

Abstract

基于迭代式双向迁移的神经网络机器翻译模型，涉及自然语言处理。通过建立源领域和目标领域之间的多次双向迁移，利用双方的有效交互和相关知识的有益流动，不断完善不同领域的模型能力，从而达到更佳的翻译效果。由一对一的领域迁移推广到多对一的领域迁移，并提出了多对一的领域迁移中，不同源领域到目标领域的迁移顺序问题的有效解决方案，使模型能够更充分地利用多领域的语料资源。训练过程利用知识蒸馏的方法来更有效地指导模型的收敛，避免了灾难性遗忘和知识稀疏问题，实现两个领域翻译模型的“双赢”。

Description

基于迭代式双向迁移的神经网络机器翻译模型
技术领域
本发明涉及自然语言处理，尤其是涉及低资源领域的基于迭代式双向迁移的神经网络机器翻译模型。
背景技术
自然语言处理是计算机学科人工智能的一个重要研究方向。它研究如何使得人与计算机之间能够使用自然语言进行有效通信，是一门融语言学、计算机科学、数学于一体的学科。
其中，神经机器翻译是一个不容忽视的重要任务。近年来，神经机器翻译引起了学术界和工业界的广泛关注。神经网络机器翻译模型能取得良好的性能得益于大规模的、高质量的双语平行训练语料，在实际运用中，各个领域的双语训练语料规模大小不一，如新闻领域，由于来源广泛，产量多，所以能够轻易获取大规模的双语训练语料，但其他领域，如论文、小说等，其大规模、高质量的训练语料通常难以获取，需耗费大量的人力物力。领域迁移正是缓解这个问题的有效方法。
目前，基于领域迁移的神经网络机器翻译的相关工作主要分为两部分：1、一对一的领域迁移，如图1。即将包含大规模语料的源领域的信息迁移到目标领域，以提升目标领域机器翻译模型的性能。代表工作有模型微调(Fine-tuning)[1][2]，基于混合数据的模型微调(Mixed Fine-tuning)[3]，权重区分(Cost Weighting)[4]，以及句子挑选(DataSelection)[5][6]；特别地，一对一的领域迁移也可推广到多对一的情况，如图3，即混合其他领域数据辅助训练目标领域翻译模型。2、多领域的神经网络机器翻译模型。即利用所有领域的数据组成的混合领域数据，共同训练建模一个统一的、面向多个领域机器翻译任务的神经网络机器翻译模型[7][8][9][10][11][12]。
如何充分探索大规模源领域的双语语料库中的有效信息，来提升特定低资源领域的神经网络机器翻译模型的性能。现有的解决方案存在以下两个问题：1)现有的领域迁移模型大多只关注单向的，即源领域到目标领域的单向迁移，没有目标领域到源领域的反馈途径，缺少两者的交互；2)领域之间由于文本风格和使用环境的不同，其领域信息间的差距也不同。对于源领域和目标领域差距较大的，如新闻领域迁移到小说领域，这种强制的一次性迁移是无效的，甚至可能导致目标领域的性能降低，产生“负迁移”；3)在问题2)的基础上，当存在多个大规模语料的源领域时，如何区分不同源领域的迁移强度，是一个亟待解决的问题。
因此，如何建模源领域和目标领域的反馈机制，充分挖掘源领域的双语语料库中对目标领域的神经网络机器翻译模型有效的翻译信息，仍是一个值得研究的问题。
参考文献:
[1]Minh-Thang Luong and Christopher D Manning.2015.Stanford neuralmachine translation systems for spoken language domains.In Proc.of IWSLT2015.
[2]Barret Zoph,Deniz Yuret,Jonathan May,and KevinKnight.2016.Transfer learning for low-resource neural machinetranslation.Proc.of EMNLP 2016.
[3]Chenhui Chu,Raj Dabre,and Sadao Kurohashi.2017.An empiricalcomparison of domain adaptation methods for neural machine translation.
[4]Boxing Chen,Colin Cherry,George Foster,and Samuel Larkin.2017.Costweighting for neural machine translation domain adaptation.In Proc.of WMT2018.
[5]Rui Wang,Andrew Finch,Masao Utiyama,and EiichiroSumita.2017a.Sentence embedding for neural machine translation domainadaptation.In Proc.of ACL 2017.
[6]Xuan Zhang,Pamela Shapiro,Gaurav Kumar,Paul McNamee,MarineCarpuat,and Kevin Duh.2019a.Curriculum learning for domain adaptation inneural machine translation.In Proc.of NAACL 2019.
[7]Catherine Kobus,Josep Crego,and Jean Senellart.2016.Domain controlfor neural machine translation.CoRR abs/1612.06140.
[8]Sander Tars and Mark Fishel.2018.Multi-domain neural machinetranslation.CoRR abs/1805.02282.
[9]M.Amin Farajian,Marco Turchi,Matteo Negri,and MarcelloFederico.2017.Multi-domain neural machine translation through unsupervisedadaptation.In Proc.of WMT 2017.
[10]Reid Pryzant,Denny Britz,and Q Le.2017.Effective domain mixingfor neural machine translation.In Proc.of WMT 2017.
[11]Jiali Zeng,Jinsong Su,Huating Wen,Yang Liu,Jun Xie,Yongjing Yin,and Jianqiang Zhao.2018.Multi-domain neural machine translation with word-level domain context discrimination.In Proc.of EMNLP 2018.
[12]Ankur Bapna and Orhan Firat.2019.Non-parametric adaptation forneural machine translation.In Proc.of NAACL 2019.
发明内容
本发明的目的在于针对低资源领域的神经网络机器翻译的领域迁移方法存在的上述缺陷，提供通过双向、多轮迭代的领域迁移的方式，利用源领域和目标领域的之间的充分交互和反馈，实现两个领域翻译模型的“双赢”，同时可避免灾难性遗忘和知识稀疏等问题的一种基于迭代式双向迁移的神经网络机器翻译模型。
本发明包括以下步骤：
1)利用源领域的训练语料训练得到一个面向源领域的翻译任务的神经网络机器翻译模型，即源领域机器翻译模型，并利用目标领域的训练语料训练得到一个面向目标领域的翻译任务的神经网络机器翻译模型，即目标领域机器翻译模型，并以此作为最初的两个领域的最优模型；
2)利用源领域的双语语料训练集训练当前的目标领域机器翻译模型，在最优的源领域机器翻译模型的指导下，利用知识蒸馏的方法，从目标领域迁移得到新的源领域机器翻译模型；
3)利用目标领域的双语语料训练集训练步骤2)中得到的源领域机器翻译模型，在最优的目标领域机器翻译模型的指导下，利用知识蒸馏的方法，从源领域迁移得到新的目标领域机器翻译模型；
4)利用源领域的开发集验证步骤2)中得到的源领域机器翻译模型，若性能有所提升，则将其作为源领域的最优模型用于后续迁移过程的训练指导；利用目标领域的开发集验证步骤3)中得到的目标领域机器翻译模型，若性能有所提升，则将其作为目标领域的最优模型用于后续迁移过程的训练指导；
5)重复步骤2)～4)直到迭代次数达到预设最大迭代次数K；
6)当推广到多对一的领域迁移情境下，步骤2)～4)中涉及到迁移顺序问题，按照领域相关程度，由低到高逐个与目标领域进行双向迁移。
在步骤6)中，当推广到多对一的领域迁移情境下，考虑到多领域迁移时领域之间的相关性，将源领域依次迁移到目标领域，通过有效衡量源领域与目标领域领域之间的相关性，按照相关性由低到高的顺序逐个进行领域迁移，从而权衡目标领域受其他领域的影响程度，得到最优模型。
现有的单向、单次的领域迁移方法不足以充分利用多领域的共享知识，而本发明充分考虑了领域迁移过程中领域之间的紧密联系和迁移过程难以控制的问题，与传统的单向一次迁移不同，本发明通过双向、多轮迭代的领域迁移的方式，利用领域双向多次迭代的方法，源领域和目标领域的之间充分交互和反馈，使模型充分学习到了领域之间的共通性，实现两个领域翻译模型的“双赢”。迭代过程中，利用知识蒸馏的方法，通过将当前训练步骤中的目标(源)领域最优参数作为“老师”，指导目标(源)领域模型的收敛方向，优化训练过程；配合最优参数指导训练，避免由于误差导致性能的不可控衰减问题。在推广到多对一的领域迁移问题时，本发明按照源领域与目标领域的领域相关性，由低到高逐个进行双向的领域迁移过程，通过权衡各源领域对目标领域影响的权重，使模型从中最大程度地获取翻译知识。
本发明模型结构明确、思路清晰，可以提高模型对不同领域共享信息的利用程度，使之更好地作用于机器翻译任务。除此之外，本发明并不受限于具体的翻译模型结构，因此，有着更广泛的应用范围，并为其他任务提供了领域迁移的有效参考方案。
附图说明
图1为传统的单次单向领域迁移模型框架。
图2为一对一双向迭代迁移的模型框架。
图3为传统的多领域集成模型框架。
图4为多对一迭代迁移的模型框架。
具体实施方式
以下实施例将结合附图对本发明作进一步的说明。
本发明通过建立源领域和目标领域之间的多次双向迁移，利用双方的有效交互和相关知识的有益流动，不断完善不同领域的模型能力，从而达到更佳的翻译效果。与此同时，本发明成功地由一对一的领域迁移(一个源领域的信息迁移到一个目标领域的神经网络翻译模型，如图2)推广到多对一的领域迁移(多个源领域的信息迁移到一个目标领域的神经网络机器翻译模型，如图4)，并提出了多对一的领域迁移中，不同源领域到目标领域的迁移顺序问题的有效解决方案，使模型能够更充分地利用多领域的语料资源。除此之外，训练过程利用知识蒸馏的方法来更有效地指导模型的收敛，避免了灾难性遗忘和知识稀疏问题。
本发明包括以下步骤：
1)利用源领域的训练语料训练得到一个面向源领域的翻译任务的神经网络机器翻译模型，即源领域机器翻译模型，并利用目标领域的训练语料训练得到一个面向目标领域的翻译任务的神经网络机器翻译模型，即目标领域机器翻译模型，并以此作为最初的两个领域的最优模型；
2)利用源领域的双语语料训练集训练当前的目标领域机器翻译模型，在最优的源领域机器翻译模型的指导下，利用知识蒸馏的方法，从目标领域迁移得到新的源领域机器翻译模型(即图2中从右向左的迁移过程)；
3)利用目标领域的双语语料训练集训练步骤2)中得到的源领域机器翻译模型，在最优的目标领域机器翻译模型的指导下，利用知识蒸馏的方法，从源领域迁移得到新的目标领域机器翻译模型(即图2中自左向右的迁移过程)；
4)利用源领域的开发集验证步骤2)中得到的源领域机器翻译模型，若性能有所提升，则将其作为源领域的最优模型用于后续迁移过程的训练指导；利用目标领域的开发集验证步骤3)中得到的目标领域机器翻译模型，若性能有所提升，则将其作为目标领域的最优模型用于后续迁移过程的训练指导；
5)重复步骤2)～4)直到迭代次数达到预设最大迭代次数K；
6)当推广到多对一的领域迁移情境下，步骤2)～4)中涉及到迁移顺序问题，按照领域相关程度，由低到高逐个与目标领域进行双向迁移，如图4。
本发明具体实施方式如下：
模型初始化，独立训练源领域和目标领域的语言模型，并分别作为最初的最优模型。
一对一迭代迁移，将目标领域迁移到源领域，然后以类似方式将源领域迁移到目标领域。
多对一迭代迁移，按照源领域与目标领域的相关度升序依次进行一对一迭代迁移。
以下给出关键步骤的实现细节：
1)模型初始化
对于各个领域，利用各自语料库进行独立训练，以训练得到的模型(源语言机器翻译模型和一或多个目标语言机器翻译模型)分别作为最优的初始模型。
目标函数如下：
Figure BDA0002220882340000051
Figure BDA0002220882340000052
其中，
Figure BDA0002220882340000053
表示目标领域(in-domain)，表示源领域(out-domain)。Din为目标语料库，Dout为源语料库，(x，y)表示语料库中的训练样本，即源语言与目标语言对。
Figure BDA0002220882340000055
为目标领域模型参数，
Figure BDA0002220882340000056
为源领域模型参数。
设目标领域最优模型参数为
Figure BDA0002220882340000057
源领域最优模型参数为
Figure BDA0002220882340000058
2)一对一迭代迁移
初始化模型后，迭代模型从目标领域到源领域、从源领域到目标领域的迁移过程，直到达到最大迭代次数K。
如图2，以第k次迭代为例。首先利用源领域的双语语料训练集训练当前的目标领域机器翻译模型，从目标领域迁移得到新的源领域机器翻译模型。过程如下：
Figure BDA0002220882340000061
此时，若新模型优于源领域最优模型(在验证集上，新模型的效果更佳)，则更新源领域最优参数
Figure BDA0002220882340000062
类似地，从源领域到目标领域的迁移的第k次迭代过程如下：
若新模型优于目标领域最优模型，则更新目标领域最优参数
Figure BDA0002220882340000064
对于目标函数的设计，在考虑翻译正确性的同时，引入知识蒸馏的思想，用最优模型指导模型收敛，利用KL散度衡量模型与当前步骤最优模型预测结果的差异，从而优化模型结果：
3)多对一迭代迁移
从一对一迭代迁移推广到多对一迭代迁移时，各个源领域迁移到目标领域的方法与上述一对一迁移相同(如图4)，但涉及到模型迁移的顺序问题。直觉上，领域越相关的模型，学习的价值越高。因此，首先衡量各个源领域与目标领域的相关程度，再根据领域相关度由小到大的顺序对多个源领域依次进行一对一迭代迁移，使模型能够从中最大程度地获取翻译知识，避免最有价值的知识在不断迁移的过程中被遗忘。
领域相关度衡量方法为A-distance([13]Yaroslav Ganin,Evgeniya Ustinova,Hana Ajakan,Pascal Germain,Hugo Larochelle,Franc，ois Laviolette,MarioMarchand,and Victor S.Lempitsky.2015.Domain-adversarial training of neuralnetworks.Machine Learning Research,17.[14]Reid Pryzant,Denny Britz,and QLe.2017.Effective domain mixing for neural machine translation.In Proc.of WMT2017)：
Figure BDA0002220882340000066
其中，∈代表线性词袋SVM分类器的生成误差。根据
Figure BDA0002220882340000067
值大小，即源领域训练语料库到目标领域语料库的距离大小，由小到大排序得到
Figure BDA0002220882340000068
作为迁移顺序，依次在目标领域模型和源领域模型之间执行双向知识迁移，共迭代K次。
本发明提供一种基于迭代式双向迁移的神经网络机器翻译模型。该方法通过建立源领域和目标领域之间的多次双向迁移，利用双方的有效交互和相关知识的有益流动，不断完善不同领域的模型能力，从而达到更佳的翻译效果。与此同时，本发明成功地由一对一的领域迁移(一个源领域的信息迁移到一个目标领域的神经网络翻译模型)推广到多对一的领域迁移(多个源领域的信息迁移到一个目标领域的神经网络机器翻译模型)，并提出了多对一的领域迁移中，不同源领域到目标领域的迁移顺序问题的有效解决方案，使模型能够更充分地利用多领域的语料资源。除此之外，训练过程利用知识蒸馏的方法来更有效地指导模型的收敛，避免了灾难性遗忘和知识稀疏问题。本发明模型结构明确、思路清晰，可以提高模型对不同领域共享信息的利用程度，使之更好地作用于机器翻译任务。除此之外，该方法并不受限于具体的翻译模型结构，因此有着更广泛的应用范围，并为其他任务提供了领域迁移的有效参考方案。

Claims (2)

1.基于迭代式双向迁移的神经网络机器翻译模型，其特征在于包括以下步骤：
1)利用源领域的训练语料训练得到一个面向源领域的翻译任务的神经网络机器翻译模型，即源领域机器翻译模型，并利用目标领域的训练语料训练得到一个面向目标领域的翻译任务的神经网络机器翻译模型，即目标领域机器翻译模型，并以此作为最初的两个领域的最优模型；
2)利用源领域的双语语料训练集训练当前的目标领域机器翻译模型，在最优的源领域机器翻译模型的指导下，利用知识蒸馏的方法，从目标领域迁移得到新的源领域机器翻译模型；
3)利用目标领域的双语语料训练集训练步骤2)中得到的源领域机器翻译模型，在最优的目标领域机器翻译模型的指导下，利用知识蒸馏的方法，从源领域迁移得到新的目标领域机器翻译模型；
4)利用源领域的开发集验证步骤2)中得到的源领域机器翻译模型，若性能有所提升，则将其作为源领域的最优模型用于后续迁移过程的训练指导；利用目标领域的开发集验证步骤3)中得到的目标领域机器翻译模型，若性能有所提升，则将其作为目标领域的最优模型用于后续迁移过程的训练指导；
5)重复步骤2)～4)直到迭代次数达到预设最大迭代次数K；
6)当推广到多对一的领域迁移情境下，步骤2)～4)中涉及到迁移顺序问题，按照领域相关程度，由低到高逐个与目标领域进行双向迁移。
2.如权利要求1所述基于迭代式双向迁移的神经网络机器翻译模型，其特征在于在步骤6)中，当推广到多对一的领域迁移情境下，考虑到多领域迁移时领域之间的相关性，将源领域依次迁移到目标领域，通过有效衡量源领域与目标领域领域之间的相关性，按照相关性由低到高的顺序逐个进行领域迁移，从而权衡目标领域受其他领域的影响程度，得到最优模型。
CN201910933203.9A 2019-09-29 2019-09-29 基于迭代式双向迁移的神经网络机器翻译模型 Expired - Fee Related CN110674648B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910933203.9A CN110674648B (zh) 2019-09-29 2019-09-29 基于迭代式双向迁移的神经网络机器翻译模型

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910933203.9A CN110674648B (zh) 2019-09-29 2019-09-29 基于迭代式双向迁移的神经网络机器翻译模型

Publications (2)

Publication Number Publication Date
CN110674648A true CN110674648A (zh) 2020-01-10
CN110674648B CN110674648B (zh) 2021-04-27

Family

ID=69080234

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910933203.9A Expired - Fee Related CN110674648B (zh) 2019-09-29 2019-09-29 基于迭代式双向迁移的神经网络机器翻译模型

Country Status (1)

Country Link
CN (1) CN110674648B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113591460A (zh) * 2021-07-02 2021-11-02 中译语通科技股份有限公司 一种基于迭代知识迁移的机器翻译风格迁移性能提升方法

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5708812A (en) * 1996-01-18 1998-01-13 Microsoft Corporation Method and apparatus for Migrating from a source domain network controller to a target domain network controller
CN103544507A (zh) * 2013-10-15 2014-01-29 中国矿业大学 一种基于成对约束判别分析-非负稀疏散度的高光谱数据降维方法
CN107038159A (zh) * 2017-03-09 2017-08-11 清华大学 一种基于无监督领域自适应的神经网络机器翻译方法
CN107247989A (zh) * 2017-06-15 2017-10-13 北京图森未来科技有限公司 一种神经网络训练方法及装置
CN107341146A (zh) * 2017-06-23 2017-11-10 上海交通大学 基于语义槽内部结构的可迁移口语语义解析系统及其实现方法
US9892361B2 (en) * 2015-01-21 2018-02-13 Siemens Healthcare Gmbh Method and system for cross-domain synthesis of medical images using contextual deep network
CN108549907A (zh) * 2018-04-11 2018-09-18 武汉大学 一种基于多源迁移学习的数据校验方法
CN108829684A (zh) * 2018-05-07 2018-11-16 内蒙古工业大学 一种基于迁移学习策略的蒙汉神经机器翻译方法
CN109597993A (zh) * 2018-11-30 2019-04-09 深圳前海微众银行股份有限公司 语句分析处理方法、装置、设备以及计算机可读存储介质
CN109902798A (zh) * 2018-05-31 2019-06-18 华为技术有限公司 深度神经网络的训练方法和装置
CN109918510A (zh) * 2019-03-26 2019-06-21 中国科学技术大学 跨领域关键词提取方法
CN110008338A (zh) * 2019-03-04 2019-07-12 华南理工大学 一种融合gan和迁移学习的电商评价情感分析方法
CN110210468A (zh) * 2019-05-29 2019-09-06 电子科技大学 一种基于卷积神经网络特征融合迁移的文字识别方法

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5708812A (en) * 1996-01-18 1998-01-13 Microsoft Corporation Method and apparatus for Migrating from a source domain network controller to a target domain network controller
CN103544507A (zh) * 2013-10-15 2014-01-29 中国矿业大学 一种基于成对约束判别分析-非负稀疏散度的高光谱数据降维方法
US9892361B2 (en) * 2015-01-21 2018-02-13 Siemens Healthcare Gmbh Method and system for cross-domain synthesis of medical images using contextual deep network
CN107038159A (zh) * 2017-03-09 2017-08-11 清华大学 一种基于无监督领域自适应的神经网络机器翻译方法
CN107247989A (zh) * 2017-06-15 2017-10-13 北京图森未来科技有限公司 一种神经网络训练方法及装置
CN107341146A (zh) * 2017-06-23 2017-11-10 上海交通大学 基于语义槽内部结构的可迁移口语语义解析系统及其实现方法
CN108549907A (zh) * 2018-04-11 2018-09-18 武汉大学 一种基于多源迁移学习的数据校验方法
CN108829684A (zh) * 2018-05-07 2018-11-16 内蒙古工业大学 一种基于迁移学习策略的蒙汉神经机器翻译方法
CN109902798A (zh) * 2018-05-31 2019-06-18 华为技术有限公司 深度神经网络的训练方法和装置
CN109597993A (zh) * 2018-11-30 2019-04-09 深圳前海微众银行股份有限公司 语句分析处理方法、装置、设备以及计算机可读存储介质
CN110008338A (zh) * 2019-03-04 2019-07-12 华南理工大学 一种融合gan和迁移学习的电商评价情感分析方法
CN109918510A (zh) * 2019-03-26 2019-06-21 中国科学技术大学 跨领域关键词提取方法
CN110210468A (zh) * 2019-05-29 2019-09-06 电子科技大学 一种基于卷积神经网络特征融合迁移的文字识别方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
BARRET ZOPH 等: "Transfer Learning for Low-Resource Neural Machine Translation", 《HTTPS://ARXIV.ORGABS1604.02201》 *
YIJUNWANG 等: "Dual Transfer Learning for Neural Machine Translation", 《HTTP://WWW.AAI.ORG》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113591460A (zh) * 2021-07-02 2021-11-02 中译语通科技股份有限公司 一种基于迭代知识迁移的机器翻译风格迁移性能提升方法

Also Published As

Publication number Publication date
CN110674648B (zh) 2021-04-27

Similar Documents

Publication Publication Date Title
Choe et al. A neural grammatical error correction system built on better pre-training and sequential transfer learning
CN106407211B (zh) 对实体词的语义关系进行分类的方法和装置
Bérard et al. MultiVec: a multilingual and multilevel representation learning toolkit for NLP
CN107220220A (zh) 用于文本处理的电子设备和方法
CN109582799A (zh) 知识样本数据集的确定方法、装置及电子设备
CN111291274A (zh) 一种物品推荐方法、装置、设备及计算机可读存储介质
Massart et al. Curvature of the manifold of fixed-rank positive-semidefinite matrices endowed with the Bures–Wasserstein metric
CN111144124A (zh) 机器学习模型的训练方法、意图识别方法及相关装置、设备
US10796107B2 (en) Unified embeddings for translation
CN108694176B (zh) 文档情感分析的方法、装置、电子设备和可读存储介质
CN110674648B (zh) 基于迭代式双向迁移的神经网络机器翻译模型
Li et al. PSDVec: A toolbox for incremental and scalable word embedding
CN110795934B (zh) 语句分析模型的训练方法及装置、语句分析方法及装置
CN114565808A (zh) 一种面向无监督视觉表示的双动量对比学习方法
CN111651994A (zh) 一种信息抽取方法、装置、电子设备和存储介质
CN117454884B (zh) 历史人物信息纠错方法、系统、电子设备和存储介质
Kawara et al. Preordering encoding on transformer for translation
Zheng et al. Learn from model beyond fine-tuning: A survey
CN113761924A (zh) 一种命名实体模型的训练方法、装置、设备及存储介质
Peterson Calculus for Cognitive Scientists
CN113779199B (zh) 用于文档和摘要的一致性检测的方法、设备、装置和介质
Wang et al. Knowledge base question answering system based on knowledge graph representation learning
CN111177370B (zh) 一种自然语言处理的算法
Zheng Clustering algorithm in English language learning pattern matching under big data framework
Welekar et al. Best bound population-based local search for memetic algorithm in view of character recognition

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20210427

Termination date: 20210929

CF01 Termination of patent right due to non-payment of annual fee