CN111553154B - 一种基于扰动对抗训练的跨语言词向量构建方法 - Google Patents
一种基于扰动对抗训练的跨语言词向量构建方法 Download PDFInfo
- Publication number
- CN111553154B CN111553154B CN202010350333.2A CN202010350333A CN111553154B CN 111553154 B CN111553154 B CN 111553154B CN 202010350333 A CN202010350333 A CN 202010350333A CN 111553154 B CN111553154 B CN 111553154B
- Authority
- CN
- China
- Prior art keywords
- word vector
- language
- source language
- cross
- vector
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 239000013598 vector Substances 0.000 title claims abstract description 199
- 238000012549 training Methods 0.000 title claims abstract description 30
- 238000010276 construction Methods 0.000 title claims abstract description 10
- 238000000034 method Methods 0.000 claims abstract description 25
- 239000011159 matrix material Substances 0.000 claims abstract description 22
- 238000013507 mapping Methods 0.000 claims abstract description 7
- 230000006870 function Effects 0.000 claims description 24
- 238000009826 distribution Methods 0.000 claims description 17
- 238000013528 artificial neural network Methods 0.000 claims description 14
- 239000002356 single layer Substances 0.000 claims description 8
- 239000010410 layer Substances 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 6
- 230000009977 dual effect Effects 0.000 claims description 5
- 239000011541 reaction mixture Substances 0.000 claims description 5
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 238000010801 machine learning Methods 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 239000004576 sand Substances 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/279—Recognition of textual entities
- G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- General Engineering & Computer Science (AREA)
- Biomedical Technology (AREA)
- Evolutionary Computation (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Data Mining & Analysis (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Machine Translation (AREA)
Abstract
本发明公开了一种基于扰动对抗训练的跨语言词向量构建方法,其步骤包括:首先构建源语言和目标语言的词向量并对其进行归一化;然后分别构建双判断器对抗网络和扰动重构网络;再利用归一化后的源语言和目标语言词向量对双判断器对抗网络和扰动重构网络进行分步协同训练;最后从训练完成的双判断器对抗网络中提取跨语言映射矩阵,为源语言和目标语言构建跨语言词向量。本发明能通过训练扰动的源语言词向量来有效地提高低频词的跨语言词向量的质量,从而能获取质量更高的跨语言词向量。
Description
技术领域
本发明属于自然语言处理技术领域,具体来说是一种基于扰动对抗训练的跨语言词向量构建方法。
背景技术
在互联网的发展中,一个重要的问题就是:如何将人类的自然语言转化为计算机可以理解的数据表示,使之更好地服务于人类。该问题通常的解决办法是将现实世界中的单个词语转变为一个低维实数向量,称为词向量。
对于单个语言来说,词向量的质量依赖于训练数据集的大小,即用于训练词向量的数据资源越丰富,训练到的词向量也就越可靠,基于该词向量的机器学习模型也就越实用。但是丰富的数据资源对于某些小语种语言来说是不容易获得的,其获取方法也往往需要以昂贵的人力和物力为代价。为了解决这个问题,学者们提出了跨语言词向量。跨语言词向量将数据知识从资源丰富的语言迁移到资源匮乏的语言上,使得小语种语言在数据资源匮乏的条件下也可以获得有效的词向量,从而为小语种语言建立可靠的机器学习模型。
目前,生成对抗网络(Generative Adversarial networks,GANs)已经被成功地运用于跨语言词向量的构建,其核心思想在于将源语言和目标语言的词向量看作两个分布,借助对抗训练的思想对齐这两个向量分布。虽然这种分布间的对齐很有效,但是却无法准确地对齐低频词间的向量分布,即无法为源语言的低频词构建可靠的跨语言词向量。然而,不可靠的低频词跨语言词向量会妨碍计算机对于人类自然语言的理解,进而降低相关机器学习模型的实用性。因此,提高低频词的跨语言词向量质量是一件亟待解决的任务。而目前看来,如何提高低频词跨语言词向量的质量还没有得到相关的研究。
发明内容
本发明为克服现有技术的不足,提出一种基于扰动对抗训练的跨语言词向量构建方法,以期能通过训练扰动的源语言词向量来有效地提高低频词的跨语言词向量的质量,从而能获取质量更高的跨语言词向量。
本发明为达到上述发明目的,采用如下技术方案:
本发明一种基于扰动对抗训练的跨语言词向量构建方法的特点是按如下步骤进行:
步骤一:获取源语言语料库中的源语言语料并进行向量化处理,得到源语言词向量;
获取目标语言语料库中的目标语言并进行向量化处理,得到目标语言词向量;
对所述源语言词向量和目标语言词向量分别进行归一化,得到归一化后的源语言词向量S和归一化后的目标语言词向量T;
步骤二:根据所述归一化后的源语言词向量S构建扰动的源语言词向量Sp;
由所述扰动的源语言词向量Sp、所述归一化后的源语言词向量S和归一化后的目标语言词向量T组成训练词向量集合;
步骤三:根据所述训练词向量集合,构建由生成器G、跨语言判断器D和扰动判断器C构成的双判断器对抗网络;
步骤四:根据所述扰动的源语言词向量Sp和归一化后的源语言词向量S,构建由一个单层全连接的神经网络构成的扰动重构网络R;
步骤五:分步协同训练所述双判断器对抗网络和所述扰动重构网络R,得到训练后的双判断器对抗网络和训练后的扰动重构网络;
步骤六:提取所述训练后的双判断器对抗网络中生成器G′的参数权值矩阵W,并作为跨语言映射矩阵;
将所述跨语言映射矩阵与归一化后的源语言词向量S进行点积操作,得到映射后的源语言词向量SW;
由所述映射后的源语言词向量SW与归一化后的目标语言词向量T共同构成最终的跨语言词向量。
本发明所述的跨语言词向量构建方法的特点也在于:所述步骤二中,利用式(1)构建扰动的源语言词向量Sp:
Sp=S·ε,ε~N(1,0.52) (1)
式(1)中,ε为一个随机数,N表示正态分布。
所述生成器G的输入为归一化后的源语言词向量S和扰动的源语言词向量Sp,输出分别为扰动的源语言中间向量G(Sp)和源语言中间向量G(S);
所述跨语言判断器D由一个单隐层前馈神经网络构成,其输入为归一化后的目标语言词向量T或源语言中间向量G(S),跨语言判别器D的输出为归一化后的目标语言词向量T的概率值D(T)或源语言中间向量G(S)的概率值D(G(S));
所述扰动判断器C由一个单隐层前馈神经网络构成,其输入为扰动的源语言中间向量G(Sp)和源语言中间向量G(S),其对应的输出分别为扰动的源语言中间向量词G(Sp)的拟合wasserstein距离C(G(Sp))和源语言中间向量G(S)的拟合wasserstein距离C(G(S))。
所述步骤四中的扰动重构网络R由一个单层全连接神经网络构成,其权重的初始值为所述正交矩阵O的转置矩阵;
所述扰动重构网络R的输入为扰动的源语言中间向量G(Sp)和源语言中间向量G(S),输出分别为扰动的源语言重构向量R(G(Sp))和源语言重构向量R(G(S))。
所述步骤五中的分步协同训练是基于adam梯度下降算法对所述双判断器对抗网络和扰动重构网络R进行迭代训练;并在每一次迭代过程中,通过优化扰动判断器C的损失函数LC来更新生成器G和扰动判断器C的网络参数,每k次迭代过程中再通过优化跨语言的损失函数Lcross和跨语言判断器D的损失函数LD来更新生成器G、跨语言判断器D和扰动重构网络R的网络参数。
所述扰动判断器C的损失函数LC如式(2)所示:
式(3)中,ω是一个在[0,1]区间的随机数;
式(2)中,dw为扰动的源语言中间向量G(Sp)与源语言中间向量G(S)之间的拟合Wasserstein距离之差,并有:
所述跨语言的损失函数Lcross如式(5)所示:
Lcross=LG+LR+dw (5)
式(5)中,LG为生成器G的损失函数,并有:
LG=-log(D(G(S)))+dw (6)
式(5)中,LR为扰动重构网络R的损失函数,并有:
LR=-cos(S,R(G(S)))-cos(Sp,R(G(Sp))) (7)
式(7)中,cos(·)表示余弦相似值。
所述跨语言判断器的损失函数LD如式(8)所示:
LD=-log(D(T))-log(1-D(G(S))) (8)。
与现有技术相比,本发明的有益效果在于:
1、本发明利用对源语言词向量和目标语言词向量的扰动对抗训练,有效地改善了低频词的跨语言词向量,从而整体性地提高了跨语言词向量的质量。
2、本发明为源语言词向量构建了扰动的词向量以此来抵消由低频词向量带来的分布扰动,强化了低频词的分布稳定性;
3、本发明通过训练扰动判断器和扰动重构网络来保留扰动后的词向量中潜层的语义信息,巩固了源语言词向量的分布信息。
4、本发明使用跨语言判断器实现了源语言和目标语言向量空间在分布层面的对齐,从而可以在不使用任何平行数据的情况下构建跨语言词向量。
附图说明
图1为本发明方法流程图;
图2为本发明模型框架图。
具体实施方式
本实施例中,如图1所示,一种基于扰动对抗训练的跨语言词向量学习方法是按如下步骤进行:
步骤一:获取源语言语料库中的源语言语料并进行向量化处理,得到源语言词向量;
获取目标语言语料库中的目标语言并进行向量化处理,得到目标语言词向量;
对源语言词向量和目标语言词向量分别进行归一化,得到归一化后的源语言词向量S和归一化后的目标语言词向量T;
步骤二:根据归一化后的源语言词向量S,利用式(1)构建扰动的源语言词向量Sp:
Sp=S·ε,ε~N(1,0.52) (1)
式(1)中,ε为一个随机数,N表示正态分布。
然后将扰动的源语言词向量Sp、归一化后的源语言词向量S和归一化后的目标语言词向量T作为训练词向量集合。
步骤三:如图2所示,根据步骤二的训练词向量集合,构建双判断器对抗网络,其由生成器G、跨语言判断器D和扰动判断器C构成。
生成器G的输入为归一化后的源语言词向量S和扰动的源语言词向量Sp,输出分别为扰动的源语言中间向量G(Sp)和源语言中间向量G(S)。
跨语言判断器D由一个单隐层前馈神经网络构成,其输入为归一化后的目标语言词向量T或源语言中间向量G(S),输出为归一化后的目标语言词向量T的概率值D(T)或源语言中间向量G(S)的概率值D(G(S))。
扰动判断器C由一个单隐层前馈神经网络构成,其输入为扰动的源语言中间向量G(Sp)和源语言中间向量G(S),其对应的输出分别为扰动的源语言中间向量词G(Sp)的拟合wasserstein距离C(G(Sp))和源语言中间向量G(S)的拟合wasserstein距离C(G(S))。
步骤四:根据扰动的源语言词向量Sp和归一化后的源语言词向量S,构建扰动重构网络。该扰动重构网络R是由一个单层全连接的神经网络构成,其权重的初始值为生成器初始权值矩阵O的转置矩阵。它的输入为扰动的源语言中间向量G(Sp)和源语言中间向量G(S),其对应的输出分别为扰动的源语言重构向量R(G(Sp))和源语言重构向量R(G(S))。
步骤五:分步协同训练双判断器对抗网络和扰动重构网络R,得到训练后的双判断器对抗网络和训练后的扰动重构网络;
跨语言判断器D与生成器G组成二元零和博弈对抗训练,即生成器生成的源语言中间向量G(S)要尽可能地与归一化后的目标语言词向量相似,使得跨语言判断器无法将他们区分开。因此,跨语言判断器的损失函数LD为:
LD=-log(D(T))-log(1-D(G(S))) (1)
此外,扰动判断器C与生成器G构成基于Wasserstein距离的最大最小对抗训练,即生成器的目的是近似地最小化G(Sp)和G(S)之间拟合Wasserstein距离之差,该拟合Wasserstein距离之差为:
扰动判断器C的损失函数LC为:
生成器的目的是既要生成类似于目标语言词向量的中间向量,还要使得生成的中间向量G(Sp)和G(Sp)之间的拟合Wasserstein距离之差最小。因此,生成器的损失函数LG为:
LG=-log(D(G(S)))+dw (4)
扰动重构网络C旨在最小化R(G(Sp))和R(G(S))与其对应的输入Sp和S之间的重构误差,则其损失函数LR为:
LR=-cos(S,R(G(S)))-cos(Sp,R(G(Sp))) (5)
式(5)中,cos(·)表示余弦相似值。
综上所述,跨语言的损失函数Lcross被定义为:
Lcross=LG+LR+dw (6)
最后,基于adam梯度下降算法对双判断器对抗网络和扰动重构网络进行迭代训练。每一次迭代通过优化扰动判断器的损失函数LC更新生成器和扰动判断器的网络参数,每k=10次迭代通过优化跨语言的损失函数Lcross和跨语言判断器的损失函数LD更新生成器、跨语言判断器和扰动重构网络的网络参数,从而得到训练后的双判断器对抗网络和训练后的扰动重构网络;
步骤六:提取训练后的双判断器对抗网络的生成器的参数权值矩阵W,并作为从源语言到目标语言的跨语言映射矩阵,将其与归一化后的源语言词向量S进行点积操作,得到映射后的源语言词向量SW,则映射后的源语言词向量SW与归一化后的目标语言词向量T共同构成了所学习的跨语言词向量。
本发明为了验证该方法可以提高低频词的跨语言词向量的质量,选用了跨语言词向量的常用评估任务,即双语言字典生成任务来量化跨语言词向量的质量。双语言字典生成任务首先根据生成的跨语言词向量合成双语言字典,再将这个合成的字典与标准的字典进行比较,获得该合成字典的准确率。该准确率越高代表跨语言词向量的质量越高。
实验:将本发明的方法中扰动的源语言词向量替换为归一化后的源语言向量,其余部分不变定义为无扰动的方法。表1展示了本发明的方法与无扰动的方法在德语-英语和法语-英语上合成字典的准确率。
表1
由表1可知,本发明的方法同时提高低频词和高频词的跨语言词向量质量,从而提高了所有词的跨语言词向量的质量。
Claims (7)
1.一种基于扰动对抗训练的跨语言词向量构建方法,其特征是按如下步骤进行:
步骤一:获取源语言语料库中的源语言语料并进行向量化处理,得到源语言词向量;
获取目标语言语料库中的目标语言并进行向量化处理,得到目标语言词向量;
对所述源语言词向量和目标语言词向量分别进行归一化,得到归一化后的源语言词向量S和归一化后的目标语言词向量T;
步骤二:根据所述归一化后的源语言词向量S构建扰动的源语言词向量Sp;
由所述扰动的源语言词向量Sp、所述归一化后的源语言词向量S和归一化后的目标语言词向量T组成训练词向量集合;
步骤三:根据所述训练词向量集合,构建由生成器G、跨语言判断器D和扰动判断器C构成的双判断器对抗网络;
所述生成器G的输入为归一化后的源语言词向量S和扰动的源语言词向量Sp,输出分别为扰动的源语言中间向量G(Sp)和源语言中间向量G(S);
所述跨语言判断器D由一个单隐层前馈神经网络构成,其输入为归一化后的目标语言词向量T或源语言中间向量G(S),跨语言判别器D的输出为归一化后的目标语言词向量T的概率值D(T)或源语言中间向量G(S)的概率值D(G(S));
所述扰动判断器C由一个单隐层前馈神经网络构成,其输入为扰动的源语言中间向量G(Sp)和源语言中间向量G(S),其对应的输出分别为扰动的源语言中间向量词G(Sp)的拟合wasserstein距离C(G(Sp))和源语言中间向量G(S)的拟合wasserstein距离C(G(S));
步骤四:根据所述扰动的源语言词向量Sp和归一化后的源语言词向量S,构建由一个单层全连接的神经网络构成的扰动重构网络R;
步骤五:分步协同训练所述双判断器对抗网络和所述扰动重构网络R,得到训练后的双判断器对抗网络和训练后的扰动重构网络;
步骤六:提取所述训练后的双判断器对抗网络中生成器G′的参数权值矩阵W,并作为跨语言映射矩阵;
将所述跨语言映射矩阵与归一化后的源语言词向量S进行点积操作,得到映射后的源语言词向量SW;
由所述映射后的源语言词向量SW与归一化后的目标语言词向量T共同构成最终的跨语言词向量。
2.根据权利要求1所述的跨语言词向量构建方法,其特征在于:所述步骤二中,利用式(1)构建扰动的源语言词向量Sp:
Sp=S·ε,ε~N(1,0.52) (1)
式(1)中,ε为一个随机数,N表示正态分布。
3.根据权利要求1所述的跨语言词向量构建方法,其特征在于:所述步骤四中的扰动重构网络R由一个单层全连接神经网络构成,其权重的初始值为所述正交矩阵O的转置矩阵;
所述扰动重构网络R的输入为扰动的源语言中间向量G(Sp)和源语言中间向量G(S),输出分别为扰动的源语言重构向量R(G(Sp))和源语言重构向量R(G(S))。
4.根据权利要求1所述的跨语言词向量构建方法,其特征在于:所述步骤五中的分步协同训练是基于adam梯度下降算法对所述双判断器对抗网络和扰动重构网络R进行迭代训练;并在每一次迭代过程中,通过优化扰动判断器C的损失函数LC来更新生成器G和扰动判断器C的网络参数,每k次迭代过程中再通过优化跨语言的损失函数Lcross和跨语言判断器D的损失函数LD来更新生成器G、跨语言判断器D和扰动重构网络R的网络参数。
6.根据权利要求5所述的跨语言词向量构建方法,其特征在于:所述跨语言的损失函数Lcross如式(5)所示:
Lcross=LG+LR+dw (5)
式(5)中,LG为生成器G的损失函数,并有:
LG=-log(D(G(S)))+dw (6)
式(5)中,LR为扰动重构网络R的损失函数,并有:
LR=-cos(S,R(G(S)))-cos(Sp,R(G(Sp))) (7)
式(7)中,cos(·)表示余弦相似值。
7.根据权利要求1所述的跨语言词向量构建方法,其特征在于:所述跨语言判断器的损失函数LD如式(8)所示:
LD=-log(D(T))-log(1-D(G(S))) (8)。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010350333.2A CN111553154B (zh) | 2020-04-28 | 2020-04-28 | 一种基于扰动对抗训练的跨语言词向量构建方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010350333.2A CN111553154B (zh) | 2020-04-28 | 2020-04-28 | 一种基于扰动对抗训练的跨语言词向量构建方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111553154A CN111553154A (zh) | 2020-08-18 |
CN111553154B true CN111553154B (zh) | 2023-04-07 |
Family
ID=72000406
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010350333.2A Active CN111553154B (zh) | 2020-04-28 | 2020-04-28 | 一种基于扰动对抗训练的跨语言词向量构建方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111553154B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113157865B (zh) * | 2021-04-25 | 2023-06-23 | 平安科技(深圳)有限公司 | 跨语言词向量生成方法、装置、电子设备及存储介质 |
CN113919368B (zh) * | 2021-10-11 | 2024-05-24 | 北京大学 | 一种基于多语言建模的低资源对话生成方法及系统 |
CN114860920B (zh) * | 2022-04-20 | 2024-09-13 | 内蒙古工业大学 | 一种基于异构图的单语言主题摘要生成方法 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110297903A (zh) * | 2019-06-11 | 2019-10-01 | 昆明理工大学 | 一种基于不对等语料的跨语言词嵌入方法 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106484682B (zh) * | 2015-08-25 | 2019-06-25 | 阿里巴巴集团控股有限公司 | 基于统计的机器翻译方法、装置及电子设备 |
US11514096B2 (en) * | 2015-09-01 | 2022-11-29 | Panjiva, Inc. | Natural language processing for entity resolution |
-
2020
- 2020-04-28 CN CN202010350333.2A patent/CN111553154B/zh active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110297903A (zh) * | 2019-06-11 | 2019-10-01 | 昆明理工大学 | 一种基于不对等语料的跨语言词嵌入方法 |
Non-Patent Citations (1)
Title |
---|
基于点关联测度矩阵分解的中英跨语言词嵌入方法;于东等;《中文信息学报》;20170115(第01期);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN111553154A (zh) | 2020-08-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111553154B (zh) | 一种基于扰动对抗训练的跨语言词向量构建方法 | |
CN108763504B (zh) | 一种基于强化双通道序列学习的对话回复生成方法及系统 | |
Feng et al. | Topic-to-essay generation with neural networks. | |
Xu et al. | Stacked acoustic-and-textual encoding: Integrating the pre-trained models into speech translation encoders | |
CN110069790B (zh) | 一种通过译文回译对照原文的机器翻译系统及方法 | |
CN108804611B (zh) | 一种基于自我评论序列学习的对话回复生成方法及系统 | |
CN108475262A (zh) | 用于文本处理的电子设备和方法 | |
CN113140019B (zh) | 一种基于融合弥补生成对抗网络的文本生成图像的方法 | |
CN108932232A (zh) | 一种基于lstm神经网络的蒙汉互译方法 | |
CN115329785B (zh) | 融入音素特征的英-泰-老多语言神经机器翻译方法及装置 | |
Gu et al. | Response generation with context-aware prompt learning | |
Meng et al. | WeChat neural machine translation systems for WMT20 | |
Zhao et al. | Synchronously improving multi-user English translation ability by using AI | |
CN113657125B (zh) | 一种基于知识图谱的蒙汉非自回归机器翻译方法 | |
CN112765996B (zh) | 基于强化学习和机器翻译质量评估的中朝机器翻译方法 | |
CN113591460A (zh) | 一种基于迭代知识迁移的机器翻译风格迁移性能提升方法 | |
Riou et al. | Online adaptation of an attention-based neural network for natural language generation | |
CN115860015B (zh) | 一种基于翻译记忆的转写文本翻译方法和计算机设备 | |
Zhang | A study on the intelligent translation model for English incorporating neural network migration learning | |
Chen et al. | Reinforced zero-shot cross-lingual neural headline generation | |
CN114880527A (zh) | 一种基于多预测任务的多模态知识图谱表示方法 | |
Li | Construction of a multimodal poetry translation corpus based on AdaBoost model | |
Liang et al. | Matrix-transformation based low-rank adaptation (mtlora): A brain-inspired method for parameter-efficient fine-tuning | |
CN118395998B (zh) | 基于分化适配器的汉老泰多语言神经机器翻译方法 | |
Ayana et al. | Reinforced Zero-Shot Cross-Lingual Neural Headline Generation |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |