CN111553154A - 一种基于扰动对抗训练的跨语言词向量构建方法 - Google Patents

一种基于扰动对抗训练的跨语言词向量构建方法 Download PDF

Info

Publication number
CN111553154A
CN111553154A CN202010350333.2A CN202010350333A CN111553154A CN 111553154 A CN111553154 A CN 111553154A CN 202010350333 A CN202010350333 A CN 202010350333A CN 111553154 A CN111553154 A CN 111553154A
Authority
CN
China
Prior art keywords
word vector
source language
language
cross
vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010350333.2A
Other languages
English (en)
Other versions
CN111553154B (zh
Inventor
张玉红
李玉玲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hefei University of Technology
Original Assignee
Hefei University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hefei University of Technology filed Critical Hefei University of Technology
Priority to CN202010350333.2A priority Critical patent/CN111553154B/zh
Publication of CN111553154A publication Critical patent/CN111553154A/zh
Application granted granted Critical
Publication of CN111553154B publication Critical patent/CN111553154B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Machine Translation (AREA)

Abstract

本发明公开了一种基于扰动对抗训练的跨语言词向量构建方法，其步骤包括：首先构建源语言和目标语言的词向量并对其进行归一化；然后分别构建双判断器对抗网络和扰动重构网络；再利用归一化后的源语言和目标语言词向量对双判断器对抗网络和扰动重构网络进行分步协同训练；最后从训练完成的双判断器对抗网络中提取跨语言映射矩阵，为源语言和目标语言构建跨语言词向量。本发明能通过训练扰动的源语言词向量来有效地提高低频词的跨语言词向量的质量，从而能获取质量更高的跨语言词向量。

Description

一种基于扰动对抗训练的跨语言词向量构建方法
技术领域
本发明属于自然语言处理技术领域，具体来说是一种基于扰动对抗训练的跨语言词向量构建方法。
背景技术
在互联网的发展中，一个重要的问题就是：如何将人类的自然语言转化为计算机可以理解的数据表示，使之更好地服务于人类。该问题通常的解决办法是将现实世界中的单个词语转变为一个低维实数向量，称为词向量。
对于单个语言来说，词向量的质量依赖于训练数据集的大小，即用于训练词向量的数据资源越丰富，训练到的词向量也就越可靠，基于该词向量的机器学习模型也就越实用。但是丰富的数据资源对于某些小语种语言来说是不容易获得的，其获取方法也往往需要以昂贵的人力和物力为代价。为了解决这个问题，学者们提出了跨语言词向量。跨语言词向量将数据知识从资源丰富的语言迁移到资源匮乏的语言上，使得小语种语言在数据资源匮乏的条件下也可以获得有效的词向量，从而为小语种语言建立可靠的机器学习模型。
目前，生成对抗网络(Generative Adversarial networks，GANs)已经被成功地运用于跨语言词向量的构建，其核心思想在于将源语言和目标语言的词向量看作两个分布，借助对抗训练的思想对齐这两个向量分布。虽然这种分布间的对齐很有效，但是却无法准确地对齐低频词间的向量分布，即无法为源语言的低频词构建可靠的跨语言词向量。然而，不可靠的低频词跨语言词向量会妨碍计算机对于人类自然语言的理解，进而降低相关机器学习模型的实用性。因此，提高低频词的跨语言词向量质量是一件亟待解决的任务。而目前看来，如何提高低频词跨语言词向量的质量还没有得到相关的研究。
发明内容
本发明为克服现有技术的不足，提出一种基于扰动对抗训练的跨语言词向量构建方法，以期能通过训练扰动的源语言词向量来有效地提高低频词的跨语言词向量的质量，从而能获取质量更高的跨语言词向量。
本发明为达到上述发明目的，采用如下技术方案：
本发明一种基于扰动对抗训练的跨语言词向量构建方法的特点是按如下步骤进行：
步骤一：获取源语言语料库中的源语言语料并进行向量化处理，得到源语言词向量；
获取目标语言语料库中的目标语言并进行向量化处理，得到目标语言词向量；
对所述源语言词向量和目标语言词向量分别进行归一化，得到归一化后的源语言词向量S和归一化后的目标语言词向量T；
步骤二：根据所述归一化后的源语言词向量S构建扰动的源语言词向量Sp；
由所述扰动的源语言词向量Sp、所述归一化后的源语言词向量S和归一化后的目标语言词向量T组成训练词向量集合；
步骤三：根据所述训练词向量集合，构建由生成器G、跨语言判断器D和扰动判断器C构成的双判断器对抗网络；
步骤四：根据所述扰动的源语言词向量Sp和归一化后的源语言词向量S，构建由一个单层全连接的神经网络构成的扰动重构网络R；
步骤五：分步协同训练所述双判断器对抗网络和所述扰动重构网络R，得到训练后的双判断器对抗网络和训练后的扰动重构网络；
步骤六：提取所述训练后的双判断器对抗网络中生成器G′的参数权值矩阵W，并作为跨语言映射矩阵；
将所述跨语言映射矩阵与归一化后的源语言词向量S进行点积操作，得到映射后的源语言词向量SW；
由所述映射后的源语言词向量SW与归一化后的目标语言词向量T共同构成最终的跨语言词向量。
本发明所述的跨语言词向量构建方法的特点也在于：所述步骤二中，利用式(1)构建扰动的源语言词向量Sp：
Sp＝S·ε，ε～N(1,0.52) (1)
式(1)中，ε为一个随机数，N表示正态分布。
所述步骤三中的生成器G是由一个单层全连接神经网络构成，其权值的初始值为一个正交矩阵
Figure BDA0002471608510000021
其中，d代表源语言词向量的维度，
Figure BDA0002471608510000022
为实数集合；
所述生成器G的输入为归一化后的源语言词向量S和扰动的源语言词向量Sp，输出分别为扰动的源语言中间向量G(Sp)和源语言中间向量G(S)；
所述跨语言判断器D由一个单隐层前馈神经网络构成，其输入为归一化后的目标语言词向量T或源语言中间向量G(S)，跨语言判别器D的输出为归一化后的目标语言词向量T的概率值D(T)或源语言中间向量G(S)的概率值D(G(S))；
所述扰动判断器C由一个单隐层前馈神经网络构成，其输入为扰动的源语言中间向量G(Sp)和源语言中间向量G(S)，其对应的输出分别为扰动的源语言中间向量词G(Sp)的拟合wasserstein距离C(G(Sp))和源语言中间向量G(S)的拟合wasserstein距离C(G(S))。
所述步骤四中的扰动重构网络R由一个单层全连接神经网络构成，其权重的初始值为所述正交矩阵O的转置矩阵；
所述扰动重构网络R的输入为扰动的源语言中间向量G(Sp)和源语言中间向量G(S)，输出分别为扰动的源语言重构向量R(G(Sp))和源语言重构向量R(G(S))。
所述步骤五中的分步协同训练是基于adam梯度下降算法对所述双判断器对抗网络和扰动重构网络R进行迭代训练；并在每一次迭代过程中，通过优化扰动判断器C的损失函数LC来更新生成器G和扰动判断器C的网络参数，每k次迭代过程中再通过优化跨语言的损失函数Lcross和跨语言判断器D的损失函数LD来更新生成器G、跨语言判断器D和扰动重构网络R的网络参数。
所述扰动判断器C的损失函数LC如式(2)所示：
Figure BDA0002471608510000031
式(2)中，λ为惩罚系数，
Figure BDA0002471608510000032
为位于扰动的源语言中间向量G(Sp)和源语言中间向量G(Sp)中间区域的向量，并有：
Figure BDA0002471608510000033
式(3)中，ω是一个在[0,1]区间的随机数；
式(2)中，
Figure BDA0002471608510000034
表示对所述中间区域的向量
Figure BDA0002471608510000035
的梯度；
式(2)中，dw为扰动的源语言中间向量G(Sp)与源语言中间向量G(S)之间的拟合Wasserstein距离之差，并有：
Figure BDA0002471608510000036
式(4)中，
Figure BDA0002471608510000037
表示数学期望，
Figure BDA0002471608510000038
表示扰动的源语言词向量Sp的分布，
Figure BDA0002471608510000039
表示归一化后的源语言词向量S的分布。
所述跨语言的损失函数Lcross如式(5)所示：
Lcross＝LG+LR+dw (5)
式(5)中，LG为生成器G的损失函数，并有：
LG＝-log(D(G(S)))+dw (6)
式(5)中，LR为扰动重构网络R的损失函数，并有：
LR＝-cos(S,R(G(S)))-cos(Sp,R(G(Sp))) (7)
式(7)中，cos(·)表示余弦相似值。
所述跨语言判断器的损失函数LD如式(8)所示：
LD＝-log(D(T))-log(1-D(G(S))) (8)。
与现有技术相比，本发明的有益效果在于：
1、本发明利用对源语言词向量和目标语言词向量的扰动对抗训练，有效地改善了低频词的跨语言词向量，从而整体性地提高了跨语言词向量的质量。
2、本发明为源语言词向量构建了扰动的词向量以此来抵消由低频词向量带来的分布扰动，强化了低频词的分布稳定性；
3、本发明通过训练扰动判断器和扰动重构网络来保留扰动后的词向量中潜层的语义信息，巩固了源语言词向量的分布信息。
4、本发明使用跨语言判断器实现了源语言和目标语言向量空间在分布层面的对齐，从而可以在不使用任何平行数据的情况下构建跨语言词向量。
附图说明
图1为本发明方法流程图；
图2为本发明模型框架图。
具体实施方式
本实施例中，如图1所示，一种基于扰动对抗训练的跨语言词向量学习方法是按如下步骤进行：
步骤一：获取源语言语料库中的源语言语料并进行向量化处理，得到源语言词向量；
获取目标语言语料库中的目标语言并进行向量化处理，得到目标语言词向量；
对源语言词向量和目标语言词向量分别进行归一化，得到归一化后的源语言词向量S和归一化后的目标语言词向量T；
步骤二:根据归一化后的源语言词向量S，利用式(1)构建扰动的源语言词向量Sp：
Sp＝S·ε，ε～N(1,0.52) (1)
式(1)中，ε为一个随机数，N表示正态分布。
然后将扰动的源语言词向量Sp、归一化后的源语言词向量S和归一化后的目标语言词向量T作为训练词向量集合。
步骤三：如图2所示，根据步骤二的训练词向量集合，构建双判断器对抗网络，其由生成器G、跨语言判断器D和扰动判断器C构成。
其中，生成器G是由一个单层全连接神经网络构成，其权值的初始值为一个正交矩阵
Figure BDA0002471608510000051
其中，d代表源语言词向量的维度，
Figure BDA0002471608510000052
为实数集合。
生成器G的输入为归一化后的源语言词向量S和扰动的源语言词向量Sp，输出分别为扰动的源语言中间向量G(Sp)和源语言中间向量G(S)。
跨语言判断器D由一个单隐层前馈神经网络构成，其输入为归一化后的目标语言词向量T或源语言中间向量G(S)，输出为归一化后的目标语言词向量T的概率值D(T)或源语言中间向量G(S)的概率值D(G(S))。
扰动判断器C由一个单隐层前馈神经网络构成，其输入为扰动的源语言中间向量G(Sp)和源语言中间向量G(S)，其对应的输出分别为扰动的源语言中间向量词G(Sp)的拟合wasserstein距离C(G(Sp))和源语言中间向量G(S)的拟合wasserstein距离C(G(S))。
步骤四：根据扰动的源语言词向量Sp和归一化后的源语言词向量S，构建扰动重构网络。该扰动重构网络R是由一个单层全连接的神经网络构成，其权重的初始值为生成器初始权值矩阵O的转置矩阵。它的输入为扰动的源语言中间向量G(Sp)和源语言中间向量G(S)，其对应的输出分别为扰动的源语言重构向量R(G(Sp))和源语言重构向量R(G(S))。
步骤五：分步协同训练双判断器对抗网络和扰动重构网络R，得到训练后的双判断器对抗网络和训练后的扰动重构网络；
跨语言判断器D与生成器G组成二元零和博弈对抗训练，即生成器生成的源语言中间向量G(S)要尽可能地与归一化后的目标语言词向量相似，使得跨语言判断器无法将他们区分开。因此，跨语言判断器的损失函数LD为：
LD＝-log(D(T))-log(1-D(G(S))) (1)
此外，扰动判断器C与生成器G构成基于Wasserstein距离的最大最小对抗训练，即生成器的目的是近似地最小化G(Sp)和G(S)之间拟合Wasserstein距离之差，该拟合Wasserstein距离之差为：
Figure BDA0002471608510000061
式(2)中，
Figure BDA0002471608510000062
表示数学期望，
Figure BDA0002471608510000063
表示扰动的源语言词向量的分布，
Figure BDA0002471608510000064
表示归一化后的源语言词向量的分布。
扰动判断器C的损失函数LC为：
Figure BDA0002471608510000065
式(3)中，λ为惩罚系数，推荐取值为10，
Figure BDA0002471608510000066
为位于扰动的源语言中间向量G(Sp)和源语言中间向量G(Sp)中间区域的向量，并有
Figure BDA0002471608510000067
其中，ω是一个在[0,1]区间的随机数，
Figure BDA0002471608510000068
表示对中间区域的向量
Figure BDA0002471608510000069
的梯度。
生成器的目的是既要生成类似于目标语言词向量的中间向量，还要使得生成的中间向量G(Sp)和G(Sp)之间的拟合Wasserstein距离之差最小。因此，生成器的损失函数LG为：
LG＝-log(D(G(S)))+dw (4)
扰动重构网络C旨在最小化R(G(Sp))和R(G(S))与其对应的输入Sp和S之间的重构误差，则其损失函数LR为：
LR＝-cos(S,R(G(S)))-cos(Sp,R(G(Sp))) (5)
式(5)中，cos(·)表示余弦相似值。
综上所述，跨语言的损失函数Lcross被定义为：
Lcross＝LG+LR+dw (6)
最后，基于adam梯度下降算法对双判断器对抗网络和扰动重构网络进行迭代训练。每一次迭代通过优化扰动判断器的损失函数LC更新生成器和扰动判断器的网络参数，每k＝10次迭代通过优化跨语言的损失函数Lcross和跨语言判断器的损失函数LD更新生成器、跨语言判断器和扰动重构网络的网络参数，从而得到训练后的双判断器对抗网络和训练后的扰动重构网络；
步骤六：提取训练后的双判断器对抗网络的生成器的参数权值矩阵W，并作为从源语言到目标语言的跨语言映射矩阵，将其与归一化后的源语言词向量S进行点积操作，得到映射后的源语言词向量SW，则映射后的源语言词向量SW与归一化后的目标语言词向量T共同构成了所学习的跨语言词向量。
本发明为了验证该方法可以提高低频词的跨语言词向量的质量，选用了跨语言词向量的常用评估任务，即双语言字典生成任务来量化跨语言词向量的质量。双语言字典生成任务首先根据生成的跨语言词向量合成双语言字典，再将这个合成的字典与标准的字典进行比较，获得该合成字典的准确率。该准确率越高代表跨语言词向量的质量越高。
实验：将本发明的方法中扰动的源语言词向量替换为归一化后的源语言向量，其余部分不变定义为无扰动的方法。表1展示了本发明的方法与无扰动的方法在德语-英语和法语-英语上合成字典的准确率。
表1
Figure BDA0002471608510000071
由表1可知，本发明的方法同时提高低频词和高频词的跨语言词向量质量，从而提高了所有词的跨语言词向量的质量。

Claims (8)

1.一种基于扰动对抗训练的跨语言词向量构建方法，其特征是按如下步骤进行：
步骤一：获取源语言语料库中的源语言语料并进行向量化处理，得到源语言词向量；
获取目标语言语料库中的目标语言并进行向量化处理，得到目标语言词向量；
对所述源语言词向量和目标语言词向量分别进行归一化，得到归一化后的源语言词向量S和归一化后的目标语言词向量T；
步骤二：根据所述归一化后的源语言词向量S构建扰动的源语言词向量Sp；
由所述扰动的源语言词向量Sp、所述归一化后的源语言词向量S和归一化后的目标语言词向量T组成训练词向量集合；
步骤三：根据所述训练词向量集合，构建由生成器G、跨语言判断器D和扰动判断器C构成的双判断器对抗网络；
步骤四：根据所述扰动的源语言词向量Sp和归一化后的源语言词向量S，构建由一个单层全连接的神经网络构成的扰动重构网络R；
步骤五：分步协同训练所述双判断器对抗网络和所述扰动重构网络R，得到训练后的双判断器对抗网络和训练后的扰动重构网络；
步骤六：提取所述训练后的双判断器对抗网络中生成器G′的参数权值矩阵W，并作为跨语言映射矩阵；
将所述跨语言映射矩阵与归一化后的源语言词向量S进行点积操作，得到映射后的源语言词向量SW；
由所述映射后的源语言词向量SW与归一化后的目标语言词向量T共同构成最终的跨语言词向量。
2.根据权利要求1所述的跨语言词向量构建方法，其特征在于：所述步骤二中，利用式(1)构建扰动的源语言词向量Sp：
Sp＝S·ε，ε～N(1,0.52) (1)
式(1)中，ε为一个随机数，N表示正态分布。
3.根据权利要求1所述的跨语言词向量构建方法，其特征在于：所述步骤三中的生成器G是由一个单层全连接神经网络构成，其权值的初始值为一个正交矩阵
Figure FDA0002471608500000011
其中，d代表源语言词向量的维度，
Figure FDA0002471608500000012
为实数集合；
所述生成器G的输入为归一化后的源语言词向量S和扰动的源语言词向量Sp，输出分别为扰动的源语言中间向量G(Sp)和源语言中间向量G(S)；
所述跨语言判断器D由一个单隐层前馈神经网络构成，其输入为归一化后的目标语言词向量T或源语言中间向量G(S)，跨语言判别器D的输出为归一化后的目标语言词向量T的概率值D(T)或源语言中间向量G(S)的概率值D(G(S))；
所述扰动判断器C由一个单隐层前馈神经网络构成，其输入为扰动的源语言中间向量G(Sp)和源语言中间向量G(S)，其对应的输出分别为扰动的源语言中间向量词G(Sp)的拟合wasserstein距离C(G(Sp))和源语言中间向量G(S)的拟合wasserstein距离C(G(S))。
4.根据权利要求3所述的跨语言词向量构建方法，其特征在于：所述步骤四中的扰动重构网络R由一个单层全连接神经网络构成，其权重的初始值为所述正交矩阵O的转置矩阵；
所述扰动重构网络R的输入为扰动的源语言中间向量G(Sp)和源语言中间向量G(S)，输出分别为扰动的源语言重构向量R(G(Sp))和源语言重构向量R(G(S))。
5.根据权利要求1所述的跨语言词向量构建方法，其特征在于：所述步骤五中的分步协同训练是基于adam梯度下降算法对所述双判断器对抗网络和扰动重构网络R进行迭代训练；并在每一次迭代过程中，通过优化扰动判断器C的损失函数LC来更新生成器G和扰动判断器C的网络参数，每k次迭代过程中再通过优化跨语言的损失函数Lcross和跨语言判断器D的损失函数LD来更新生成器G、跨语言判断器D和扰动重构网络R的网络参数。
6.根据权利要求5所述的跨语言词向量构建方法，其特征在于：所述扰动判断器C的损失函数LC如式(2)所示：
Figure FDA0002471608500000021
式(2)中，λ为惩罚系数，
Figure FDA0002471608500000022
为位于扰动的源语言中间向量G(Sp)和源语言中间向量G(Sp)中间区域的向量，并有：
Figure FDA0002471608500000023
式(3)中，ω是一个在[0,1]区间的随机数；
式(2)中，
Figure FDA0002471608500000024
表示对所述中间区域的向量
Figure FDA0002471608500000025
的梯度；
式(2)中，dw为扰动的源语言中间向量G(Sp)与源语言中间向量G(S)之间的拟合Wasserstein距离之差，并有：
Figure FDA0002471608500000031
式(4)中，
Figure FDA0002471608500000032
表示数学期望，
Figure FDA0002471608500000033
表示扰动的源语言词向量Sp的分布，
Figure FDA0002471608500000034
表示归一化后的源语言词向量S的分布。
7.根据权利要求6所述的跨语言词向量构建方法，其特征在于：所述跨语言的损失函数Lcross如式(5)所示：
Lcross＝LG+LR+dw (5)
式(5)中，LG为生成器G的损失函数，并有：
LG＝-log(D(G(S)))+dw (6)
式(5)中，LR为扰动重构网络R的损失函数，并有：
LR＝-cos(S,R(G(S)))-cos(Sp,R(G(Sp))) (7)
式(7)中，cos(·)表示余弦相似值。
8.根据权利要求3所述的跨语言词向量构建方法，其特征在于：所述跨语言判断器的损失函数LD如式(8)所示：
LD＝-log(D(T))-log(1-D(G(S))) (8)。
CN202010350333.2A 2020-04-28 2020-04-28 一种基于扰动对抗训练的跨语言词向量构建方法 Active CN111553154B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010350333.2A CN111553154B (zh) 2020-04-28 2020-04-28 一种基于扰动对抗训练的跨语言词向量构建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010350333.2A CN111553154B (zh) 2020-04-28 2020-04-28 一种基于扰动对抗训练的跨语言词向量构建方法

Publications (2)

Publication Number Publication Date
CN111553154A true CN111553154A (zh) 2020-08-18
CN111553154B CN111553154B (zh) 2023-04-07

Family

ID=72000406

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010350333.2A Active CN111553154B (zh) 2020-04-28 2020-04-28 一种基于扰动对抗训练的跨语言词向量构建方法

Country Status (1)

Country Link
CN (1) CN111553154B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113157865A (zh) * 2021-04-25 2021-07-23 平安科技（深圳）有限公司 跨语言词向量生成方法、装置、电子设备及存储介质
CN113919368A (zh) * 2021-10-11 2022-01-11 北京大学 一种基于多语言建模的低资源对话生成方法及系统
CN114860920A (zh) * 2022-04-20 2022-08-05 内蒙古工业大学 一种基于异构图的单语言主题摘要生成方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170060854A1 (en) * 2015-08-25 2017-03-02 Alibaba Group Holding Limited Statistics-based machine translation method, apparatus and electronic device
US20170091320A1 (en) * 2015-09-01 2017-03-30 Panjiva, Inc. Natural language processing for entity resolution
CN110297903A (zh) * 2019-06-11 2019-10-01 昆明理工大学 一种基于不对等语料的跨语言词嵌入方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170060854A1 (en) * 2015-08-25 2017-03-02 Alibaba Group Holding Limited Statistics-based machine translation method, apparatus and electronic device
US20170091320A1 (en) * 2015-09-01 2017-03-30 Panjiva, Inc. Natural language processing for entity resolution
CN110297903A (zh) * 2019-06-11 2019-10-01 昆明理工大学 一种基于不对等语料的跨语言词嵌入方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
于东等: "基于点关联测度矩阵分解的中英跨语言词嵌入方法", 《中文信息学报》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113157865A (zh) * 2021-04-25 2021-07-23 平安科技（深圳）有限公司 跨语言词向量生成方法、装置、电子设备及存储介质
CN113157865B (zh) * 2021-04-25 2023-06-23 平安科技（深圳）有限公司 跨语言词向量生成方法、装置、电子设备及存储介质
CN113919368A (zh) * 2021-10-11 2022-01-11 北京大学 一种基于多语言建模的低资源对话生成方法及系统
CN113919368B (zh) * 2021-10-11 2024-05-24 北京大学 一种基于多语言建模的低资源对话生成方法及系统
CN114860920A (zh) * 2022-04-20 2022-08-05 内蒙古工业大学 一种基于异构图的单语言主题摘要生成方法

Also Published As

Publication number Publication date
CN111553154B (zh) 2023-04-07

Similar Documents

Publication Publication Date Title
CN111553154B (zh) 一种基于扰动对抗训练的跨语言词向量构建方法
CN108763504B (zh) 一种基于强化双通道序列学习的对话回复生成方法及系统
CN109359294B (zh) 一种基于神经机器翻译的古汉语翻译方法
CN108804611B (zh) 一种基于自我评论序列学习的对话回复生成方法及系统
CN110069790B (zh) 一种通过译文回译对照原文的机器翻译系统及方法
CN102662931B (zh) 一种基于协同神经网络的语义角色标注方法
CN110046252B (zh) 一种基于注意力机制神经网络与知识图谱的医疗文本分级方法
CN108829756B (zh) 一种利用分层注意力上下文网络解决多轮视频问答的方法
CN115329785B (zh) 融入音素特征的英-泰-老多语言神经机器翻译方法及装置
CN116226378A (zh) 一种基于深度学习的文本生成方法
CN114781651A (zh) 基于对比学习的小样本学习鲁棒性提升方法
CN113657125B (zh) 一种基于知识图谱的蒙汉非自回归机器翻译方法
CN112765996B (zh) 基于强化学习和机器翻译质量评估的中朝机器翻译方法
CN113010655A (zh) 一种机器阅读理解的回答与干扰项生成方法、装置
CN115860015B (zh) 一种基于翻译记忆的转写文本翻译方法和计算机设备
CN115204143B (zh) 一种基于prompt的文本相似度计算方法及系统
CN115422321B (zh) 一种知识图谱复杂逻辑推理方法、组件和知识图谱的查询检索方法
CN113378574B (zh) 一种基于kgann的命名实体识别方法
Zhang The neteasegames system for voice conversion challenge 2020 with vector-quantization variational autoencoder and wavenet
Chen et al. Reinforced zero-shot cross-lingual neural headline generation
CN113408267A (zh) 一种基于预训练模型的词对齐性能提升方法
Dinarelli et al. Concept segmentation and labeling for conversational speech
CN116090440B (zh) 基于反馈的口语文本转换方法、装置及电子设备
Ayana et al. Reinforced Zero-Shot Cross-Lingual Neural Headline Generation
Dong et al. Correlational Neural Network Based Feature Adaptation in L2 Mispronunciation Detection

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant