CN113705678B - 利用词屏蔽数据增强与对抗学习的特定目标情感分析方法 - Google Patents

利用词屏蔽数据增强与对抗学习的特定目标情感分析方法 Download PDF

Info

Publication number
CN113705678B
CN113705678B CN202110999220.XA CN202110999220A CN113705678B CN 113705678 B CN113705678 B CN 113705678B CN 202110999220 A CN202110999220 A CN 202110999220A CN 113705678 B CN113705678 B CN 113705678B
Authority
CN
China
Prior art keywords
sample
representing
word
challenge
countermeasure
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110999220.XA
Other languages
English (en)
Other versions
CN113705678A (zh
Inventor
刘小洋
代尚宏
张梦瑶
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing University of Technology
Original Assignee
Chongqing University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing University of Technology filed Critical Chongqing University of Technology
Priority to CN202110999220.XA priority Critical patent/CN113705678B/zh
Publication of CN113705678A publication Critical patent/CN113705678A/zh
Application granted granted Critical
Publication of CN113705678B publication Critical patent/CN113705678B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/253—Grammatical analysis; Style critique
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/284—Lexical analysis, e.g. tokenisation or collocates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Machine Translation (AREA)

Abstract

本发明提出了一种利用词屏蔽数据增强与对抗学习的特定目标情感分析方法，包括以下步骤：S1，运用屏蔽目标实体的方式对句子进行同义词替换和随机插入单词生成有效的样本并与原始样本进行融合，从而实现词屏蔽数据增强；S2，构建了基于BERT‑BASE的对抗学习特定目标情感分类模型，运用干净样本和对抗样本一起训练情感分类模型，使模型具有对抗防御的功能；S3，分别将原始样本和数据增强后的样本进行对抗学习。本发明采用了数据增强与对抗训练，具有较强鲁棒性，能够取得更优的结果。

Description

利用词屏蔽数据增强与对抗学习的特定目标情感分析方法
技术领域
本发明涉及自然语言处理领域，尤其涉及一种利用词屏蔽数据增强与对抗学习的特定目标情感分析方法。
背景技术
随着社交媒体(Microblog、Twitter、Facebook等)的快速发展，情感分析变成了一项极其重要的任务。特定目标情感分析(Aspect-based Sentiment Analysis,ABSA)是文本分类领域的基础任务，目的是利用深度学习及自然语言处理(Natural LanguageProcessing,NLP)技术分析在线社交网络文本数据细粒度情感倾向，方便用户对在线社交网络评论数据特定实体(Aspect)隐藏的情感极性(Sentiment Polarity)和态度(Attitude)有明确的认识。一个句子中包含一个或多个实体，每个实体的情感极性各不相同，例如，给出一条评论“Great food but the service was dreadful！”，实体“food”的情感极性为“positive”，而实体“service”的情感极性为“negative”。相比句子级别情感分析，ABSA能够为用户展示更加精确细粒度实体的情感关键信息。
情感分析任务采用机器学习、深度学习取得了显著成功。例如，Kiritchenko等采用机器学习方法构建了人工特征提取模型，将提取的特征通过支持向量机(SupportVector Machine,SVM)训练情感分类模型，但是人工提取特征繁琐、效率低。为了解决人工提取特征的繁琐性，采用深度学习方法自动提取更复杂的深层次特征。例如，Li等采用自适应递归神经网络，对句子中不同的目标变换依存树，得到多个不同的特征组合函数从而利用神经网络训练模型。由于句子具有序列性，许多模型采用长短期记忆网络(Long Short-Term Memory,LSTM)来提取句子长期依赖关系信息，Tang等采用两个LSTM对特定目标实体上下文特征向量拼接得到情感分类模型，但是可能会丢失长距离词的情感信息。为了能够获取文本长距离特征信息，Bahdanau等首次将注意力机制运用到自然语言处理中，随后许多研究者将注意力机制引入到情感分析任务中。Wang等利用LSTM和注意力加权获得句子表示向量，Tang等将注意力机制中加入特征词与目标实体相对距离信息，并利用多注意力得到最后的实体表示。Chen等构造RAM(Recurrent Attention on Memory)结构捕获上下文语义信息以及将注意力集中，通过多注意力机制融合了长难句中的重要特征。
由于循环神经网络(Recurrent Neural Network,RNN)并行度不高，Vaswani等设计了Transformer结构，完全抛弃了RNN结构思想提高了并行度，采用自注意力和多头注意力机制，并且加入了位置嵌入信息帮助模型理解语言的顺序，更能够捕获长距离依赖关系特征信息。Devlin等用Transformer结构中的Encoder部分，设计了双向编码器表示(Bidirectional Encoder Representations from Transformers,BERT)，该结构在文本分类任务上展现了优越的结果，同时在ABSA任务上较其他模型有显著提升。
然而，深度学习模型容易受到对抗样本(Adversarial Examples)的攻击，从图1可看出模型在ABSA任务上受到对抗样本攻击后的识别效果。最近研究表明对抗样本训练可以构造健壮的神经网络模型提高模型的鲁棒性。对抗学习过程是从输入样本中，通过梯度产生较小扰动的对抗样本，将对抗样本输入模型中继续学习。在自然语言处理领域中，传统的文本对抗样本是通过对单词或者句子进行扰动，例如，Eger等选择每个字符的近邻字符进行形近字替换，Jin等采用基于贪心词方法替换原始词。有对抗攻击就会有对抗防御，例如，Goodfellow等提出快速梯度法(Fast Gradient Method,FGM)对抗训练在文本分类任务上优于其他基线方法。
上述研究中还未将数据增强与对抗训练运用到ABSA任务中，并且都是从模型入手提升效果。针对目前公开ABSA数据集较少，很难使模型有足够的泛化能力和模型鲁棒性以及模型效率。
发明内容
本发明旨在至少解决现有技术中存在的技术问题，特别创新地提出了一种利用词屏蔽数据增强与对抗学习的特定目标情感分析方法。
为了实现本发明的上述目的，本发明提供了一种利用词屏蔽数据增强与对抗学习的特定目标情感分析方法，包括以下步骤：
S1，构建了基于BERT-BASE的对抗学习特定目标情感分类模型，将样本数据输入模型，运用干净样本和对抗样本一起训练情感分类模型；
S2，最终得到特定目标情感分析结果，使模型具有对抗防御的功能。
所述样本数据包括：运用屏蔽目标实体的方式对句子进行同义词替换和/或随机插入单词生成有效的样本并与原始样本进行融合，从而实现词屏蔽数据增强。
进一步地，还包括步骤：
S3，分别将原始样本和数据增强后的样本进行对抗学习，通过评价指标进行评价；所述评价指标包括：Accuracy和/或F1值。
进一步地，同义词替换的计算方法为：
Figure BDA0003235073710000031
其中，SSr表示同义词替换后的数据；
FSR(·)表示同义词替换数据增强函数；
SIn表示原始语料库的输入；
Figure BDA0003235073710000032
是一条原始样本的第i个单词；
aspect表示特定目标实体；
Rep(·)表示单词替换函数；
Figure BDA0003235073710000033
表示需要替换的第id个单词；
idSr表示单词替换的位置；
Figure BDA0003235073710000041
表示根据第i个单词
Figure BDA0003235073710000042
在Wordnet库中随机寻找num1个同义词；
！＝表示不等于。
进一步地，随机插入单词的计算方法为：
Figure BDA0003235073710000043
其中，SRi表示随机插入后的数据；
FRI(·)表示随机插入数据增强函数；
Insert(·)表示在第id个的单词后面插入单词；
Figure BDA0003235073710000044
表示需要插入的第id个单词；
idRI表示在句子中要插入单词的前一个位置；
Ran(Wordnet,num)表示在Wordnet库中随机寻找num2个单词。
进一步地，所述S1包括：
将数据增强后的
Figure BDA0003235073710000045
作为干净样本，
Figure BDA0003235073710000046
对于干净样本的每个batch，首先使用干净样本产生词嵌入层的对抗扰动radv，从而生成对抗样本；Adv-BERT模型进行对抗样本的每个batch训练，使用BERT进行干净样本的每个batch训练。
进一步地，所述干净样本的每个batch训练的损失函数计算如下：
Figure BDA0003235073710000047
其中Lclean(·)表示干净样本的损失函数，Nbatch表示一个batch的大小，θ表示神经网络参数，p(yi|Ei,aspecti；θ)表示一个batch中第i个样本的情感预测概率函数；
对抗样本每个batch的损失函数计算如下：
Figure BDA0003235073710000048
其中Ladv(·)表示对抗样本的损失函数，Nbatch表示一个batch的大小，θ表示神经网络参数，p(yi|Eadv(i),aspecti；θ)表示第i个对抗样本情感预测函数。
进一步地，还包括：
最小化干净样本和对抗样本的每个batch的损失函数：
Figure BDA0003235073710000051
其中L(·)表示模型损失函数，
Figure BDA0003235073710000052
表示当损失函数取得最小时，模型参数θ的取值，Lclean(θ)表示干净样本每个batch损失函数，Ladv(θ)表示对抗样本每个batch的损失函数。
进一步地，所述BERT模型的隐藏层采用采用高斯误差线性单元作为激活函数：
Figure BDA0003235073710000053
其中gelu(·)表示高斯误差线性单元，θ表示神经网络参数，tanh为双曲正切函数。
进一步地，所述对抗学习包括：
将对抗学习应用在ABSA任务中，在模型的嵌入层增加对抗扰动，在一个句子中目标实体aspect的情感为y的概率为p(y|SBertIn,aspect)，因此模型的嵌入层增加对抗扰动后的损失函数如下：
-logp(y|Ew+radv,aspect；θ)          (1)
其中
Figure BDA0003235073710000054
p(y|Ew+radv,aspect；θ)表示添加对抗扰动radv的情感预测概率，radv表示对抗扰动，r表示对输入的一个对抗扰动，α表示扰动缩放因子，||·||表示范数，arg min表示使目标函数最小时的r变量，然后让这个r值赋值给radv，
Figure BDA0003235073710000055
表示添加扰动r后的预测概率。
进一步地，所述对抗学习还包括：
使用快梯度下降法寻找对抗扰动，在神经网络中可以用反向传播计算对抗扰动，然后将对抗扰动与原始嵌入层的词向量相加得到对抗样本，对抗扰动radv计算如下：
Figure BDA0003235073710000056
其中
Figure BDA0003235073710000061
Figure BDA0003235073710000062
因此ABSA的对抗样本损失函数如下：
Figure BDA0003235073710000063
其中对抗样本Eadv表示如下：
Figure BDA0003235073710000064
其中α表示对抗扰动缩放因子，gw表示模型中词嵌入层的梯度，||·||2表示二范数；▽表示梯度算子，Ew表示干净样本的词嵌入张量，
Figure BDA0003235073710000065
表示干净样本情感预测概率，aspect表示特定目标实体，
Figure BDA0003235073710000066
表示神经网络分类器当前参数的常量集；λi(.)表示求矩阵的特征值，gw H表示gw的共轭转置；N表示样本总数，p(yi|Eadv(i),aspecti；θ)表示第i个对抗样本预测概率，yi表示第i个样本的真实标签，Eadv(i)表示第i个对抗样本的嵌入层张量，aspecti表示第i个特定目标实体，θ表示神经网络参数；
radv表示对抗扰动，Eseg表示干净样本的词嵌入张量，Epos表示干净样本的位置嵌入张量，
Figure BDA0003235073710000067
表示张量相加，
Figure BDA0003235073710000068
表示一个样本第1个词的词嵌入，
Figure BDA0003235073710000069
一个样本对应第1个词嵌入的对抗扰动，
Figure BDA00032350737100000610
表示一个样本第2个词的词嵌入，
Figure BDA00032350737100000611
一个样本对应第2个词嵌入的对抗扰动，
Figure BDA00032350737100000612
表示一个样本第i+1个词的词嵌入，
Figure BDA00032350737100000613
一个样本对应第i+1个词嵌入的对抗扰动，
Figure BDA00032350737100000614
表示一个样本第n个词的词嵌入，
Figure BDA00032350737100000615
一个样本对应第n个词嵌入的对抗扰动，
Figure BDA00032350737100000616
表示一个样本第n+1个词的词嵌入，
Figure BDA00032350737100000617
一个样本对应第n+1个词嵌入的对抗扰动。
综上所述，由于采用了上述技术方案，本发明的优势有：提出的一种对抗训练方法，即对模型的词嵌入层进行细微的对抗扰动，提高了特定目标情感分析模型的性能，且能更加快速得到特定目标情感分析结果；且对抗样本训练提高了模型的鲁棒性。
本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：
图1是现有技术的深度学习模型对抗攻击情感识别的示意图。
图2是本发明WMDE-AL模型网络结构示意图。
图3是本发明不同大小α下的对抗训练Accuracy的示意图。
图4是本发明不同大小α的对抗训练评价指标增长幅度的示意图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。
1.相关工作
ABSA也称细粒度情感分析，一直以来是国内外的研究热点。该任务主要工作为确定每个句子中特定目标实体的情感分类，尽管目前研究采用深度学习方法已经取得表现较好的结果，但是存在训练数据少导致泛化能力弱，模型的准确性和鲁棒性不能兼得等问题。
传统的深度学习方法是采用复杂的神经网络结构提取特征，针对文本分类问题，采用递归神经网络(Recursive Neural Network,RNN)，循环神经网络(RNN)，长短期记忆网络(LSTM)等能够获取上下文特性信息，但是这些传统的神经网络都未考虑特定目标实体。为了将特定目标实体加入到特征编码中，Tang等提出TD-LSTM将目标实体的上文和下文分别用两个LSTM进行编码，以便将目标实体考虑到特征编码中。Wang等提出利用注意力机制获取LSTM编码后的目标实体重要信息。Chen等提出RAM利用多注意力机制捕获长难句中的目标实体特征信息，解决了上下文注意力分散的问题。但是这些模型没有考虑句法约束和远距离单词依赖问题，导致错误判断目标实体情感。Zhang等提出AS-GCN在句子依存树上建立图卷积神经网络来获取句法信息和单词依存。Karimi等提出BERT对抗训练体系结构，使用对抗训练微调BERT模型，提升神经网络泛化能力。
对抗学习是指利用对抗样本训练神经网络从而达到对抗防御。Goodfellow等借助图像分类对抗训练方法，提出FGM对LSTM模型的嵌入层对抗扰动，得到对抗样本进行对抗训练，但是对抗扰动梯度没有受到约束。Sato等提出iAdvT-Text对抗学习方法在词嵌入层上生成对抗样本，根据词嵌入层的距离来约束梯度的改变方向，最后通过对抗学习提升模型的泛化能力。Li等提出一种细粒度虚拟对抗训练方法，引入字符水平级对抗扰动改进对抗训练的初始化，并且通过字符水平级标准化强制约束扰动大小，解决了扰动约束问题。为了克服生成的对抗样本语义不一致和语言不流畅，Li等提出BERT-ATTACK对抗样本生成器，首先查找输入序列容易受到攻击的单词，再通过BERT生成易攻击单词的替代词，利用BERT能捕获上下文语义的优点，生成流畅且合理的对抗样本。以上研究可以提升模型鲁棒性，但是缺少利用对抗训练来提升模型准确性的研究。Xie等提出AdvProp对抗训练方法，在图像分类任务中使用对抗样本和干净样本共同训练来解决特征分配不均匀的问题，验证了图像对抗样本可以提升分类准确性。
文本数据增强思想来源于图像领域，但是与图像数据增强做法不同，数据增强应用于当数据集较小时防止网络过拟合。NLP任务中常用的数据增强方式有回译、同义词替换、句子缩写等，最近研究表明文本数据增强可以提升NLP任务的性能。例如，Zhu等提出根据可答问题、原文和答案来自动生成相关的不可答问题，进而作为一种数据增强的方法来提升阅读理解系统的表现。除了在阅读理解中进行数据增强外，文本分类中也需要数据增强。Wei等提出同义词替换、随机插入、随机交换、随机删除四种数据增强技术，这四种方法只对原文进行修改，并未对数据标签进行更改。如果修改后的语义发生了改变，那么就是无效数据。
2.提出的方法
本发明专利公式以及模型中使用的符号定义如表1所示。本发明专利所提出的融合词屏蔽数据增强与对抗学习模型(Word-masking Data Enhancement and AdversarialLearning,WMDE-AL)框架图如图2所示。WMDE-AL借鉴了简单的文本数据增强方法和文本对抗训练训练，通过改进简单的数据增强方法从而增强特定目标语料库。
表1模型中所有符号的定义
Figure BDA0003235073710000091
Figure BDA0003235073710000101
图2中包括词屏蔽数据增强(Word-masking Data Enhancement,WMDE)和对抗学习(Adversarial Learning,AL)两个模块。(1)WMDE模块将原始语料库样本SIn通过屏蔽aspect进行同义词替换(约束条件：保持语句流畅，语义不改变)、随机插入(约束条件：保持句子结构不变)的方法进行数据增强，然后将生成的数据和原始数据合并在一起得到BERT的输入SBertIn；(2)AL模块结合BERT模型和Adv-BERT模型同时学习了干净样本和对抗样本的特征，弥补样本特征分布不均匀的问题。
3.1ABSA对抗学习
对抗学习在分类问题中是一种提高模型鲁棒性的方法，目标是在原始数据中加入对抗扰动，以最小化最大误差分类优化参数θ。将对抗学习应用在ABSA任务中，在模型的嵌入层增加对抗扰动，假设在一个句子中目标实体aspect的情感为y的概率为p(y|SBertIn,aspect)，因此模型的嵌入层增加对抗扰动后的损失函数如下：
-log p(y|Ew+radv,aspect；θ)             (1)
其中
Figure BDA0003235073710000102
其中p(y|Ew+radv,aspect；θ)表示添加对抗扰动radv的情感预测概率，Ew表示干净样本的词嵌入张量，radv表示对抗扰动，aspect表示特定目标实体，θ表示神经网络参数，r表示对输入的一个对抗扰动，α表示扰动缩放因子，||·||表示范数，arg min表示使目标函数最小时的r变量，然后让这个r值赋值给radv，
Figure BDA0003235073710000111
表示添加扰动r后的预测概率；公式(2)的主要含义是随机对样本添加一个扰动，使损失函数的相反数最小，也就是在最大化损失函数的情况寻找最后的扰动变量radv。
为了解决上面最小化问题，试图寻找最坏的样本干扰最小化损失函数，使用快梯度下降法寻找对抗扰动，在神经网络中可以用反向传播计算对抗扰动，然后将对抗扰动与原始嵌入层的词向量相加得到对抗样本，通过神经网络中的反向传播来计算对抗扰动radv，计算过程如下：
Figure BDA0003235073710000112
其中
Figure BDA0003235073710000113
Figure BDA0003235073710000114
因此ABSA的对抗样本损失函数如下：
Figure BDA0003235073710000115
其中对抗样本Eadv表示如下：
Figure BDA0003235073710000116
其中α表示对抗扰动缩放因子，gw表示模型中词嵌入层的梯度，||·||2表示二范数；▽表示梯度算子，Ew表示干净样本的词嵌入张量，
Figure BDA0003235073710000117
表示干净样本情感预测概率，aspect表示特定目标实体，
Figure BDA0003235073710000118
表示神经网络分类器当前参数的常量集；λi(.)表示求矩阵的特征值，gw H表示gw的共轭转置；N表示样本总数，p(yi|Eadv(i),aspecti；θ)表示第i个对抗样本预测概率，yi表示第i个样本的真实标签，Eadv(i)表示第i个对抗样本的嵌入层张量，aspecti表示第i个特定目标实体，θ表示神经网络参数；
radv表示对抗扰动，Eseg表示干净样本的词嵌入张量，Epos表示干净样本的位置嵌入张量，
Figure BDA0003235073710000121
表示张量相加，
Figure BDA0003235073710000122
表示一个样本第1个词的词嵌入，
Figure BDA0003235073710000123
一个样本对应第1个词嵌入的对抗扰动，
Figure BDA0003235073710000124
表示一个样本第2个词的词嵌入，
Figure BDA0003235073710000125
一个样本对应第2个词嵌入的对抗扰动，
Figure BDA0003235073710000126
表示一个样本第i+1个词的词嵌入，
Figure BDA0003235073710000127
一个样本对应第i+1个词嵌入的对抗扰动，
Figure BDA0003235073710000128
表示一个样本第n个词的词嵌入，
Figure BDA0003235073710000129
一个样本对应第n个词嵌入的对抗扰动，
Figure BDA00032350737100001210
表示一个样本第n+1个词的词嵌入，
Figure BDA00032350737100001211
一个样本对应第n+1个词嵌入的对抗扰动。
通过上述的对抗训练方法，可以得到对抗样本的损失函数，和对抗样本特征分布即将对抗样本通过模型提取的特征，探究干净样本和对抗样本联合特征分布是否能提升模型鲁棒性和准确性，并探究如何提取有效特征是本发明专利的主要工作。接下来将介绍如何借助Adv-BERT解决特征分布不均匀的问题。
3.2提出的WMDE-AL模型
对于小数据集，数据增强是一种最简单的提升特征多样化策略，因此使用同义词替换和随机插入进行数据增强，为了保持句子中目标实体不发生改变，采取WMDE方法进行数据增强，增强后的样本统计如表2所示。
FSR(·)计算公式如下：
Figure BDA00032350737100001212
其中SSr表示同义词替换后的数据，FSR(·)表示同义词替换数据增强函数，SIn表示原始语料库的输入，
Figure BDA00032350737100001213
是一条原始样本的第i个单词，aspect表示特定目标实体，Rep(·)单词替换函数，
Figure BDA00032350737100001214
表示需要替换的第id个单词，idSr表示单词替换的位置，
Figure BDA00032350737100001215
表示根据第i个单词
Figure BDA00032350737100001216
在Wordnet库中随机寻找num1个同义词；！＝表示不等于。
FRI(·)计算公式如下：
Figure BDA0003235073710000131
其中SRi表示随机插入后的数据，FRI(·)表示随机插入数据增强函数，Insert(·)表示在第id个的单词后面插入单词，
Figure BDA0003235073710000132
表示需要插入的底id个单词，idRI表示在句子中要插入单词的前一个位置，Ran(Wordnet,num)表示在Wordnet中随机寻找num2个单词。
表2数据增强后的样本统计
Figure BDA0003235073710000133
将数据增强后的
Figure BDA0003235073710000134
作为干净样本，
Figure BDA0003235073710000135
对于干净样本的每个batch，首先使用干净样本产生词嵌入层的对抗扰动radv，从而生成对抗样本，再利用Adv-BERT进行对抗样本训练。使用BERT进行干净样本的每个batch训练，Adv-BERT进行对抗样本的每个batch训练。其中干净样本每个batch损失函数计算如下：
Figure BDA0003235073710000136
其中Lclean(·)表示干净样本的损失函数，Nbatch表示一个batch的大小，p(yi|Ei,aspecti；θ)表示一个batch中第i个样本的情感预测概率函数，yi表示第i个样本的真实标签，Ei表示第i个干净样本的嵌入层张量，aspecti表示第i个干净样本特定目标实体，θ表示神经网络参数，
对抗样本每个batch的损失函数计算如下：
Figure BDA0003235073710000137
其中Ladv(·)表示对抗样本的损失函数，Nbatch表示一个batch的大小，θ表示神经网络参数，p(yi|Eadv(i),aspecti；θ)表示第i个对抗样本情感预测函数，yi表示第i个样本的真实标签，Eadv(i)表示第i个对抗样本的嵌入层张量，aspecti表示第i个干净样本特定目标实体，θ表示神经网络参数；
最后最小化两个样本每个batch的损失函数：
Figure BDA0003235073710000141
其中L(·)表示模型损失函数，
Figure BDA0003235073710000142
表示当损失函数取得最小时，模型参数θ的取值，Lclean(θ)表示干净样本每个batch损失函数，Ladv(θ)表示对抗样本每个batch的损失函数；
本发明专利实验选取BERT-BASE的特定目标情感分类作为基线，将分别进行单独使用数据增强方式、单独使用对抗学习方式、数据增强的对抗学习方式实验，与BERT-BASE基准模型进行比较，由于BERT模型的嵌入层有三个向量，分别为词嵌入(WordEmbeddings)、段嵌入(Segment Embeddings)、位置嵌入(Position Embeddings)。实验中只针对词嵌入进行对抗攻击，从而生成词嵌入对抗样本，其余两个嵌入不发生改变。WMDE-AL算法1所示：
Figure BDA0003235073710000143
Figure BDA0003235073710000151
算法1中包括WMDE和AL两个函数，WMDE中描述了文本词屏蔽数据增强算法过程，AL中描述了ABSA对抗学习过程。
4.实验结果分析
4.1实验准备
(1)数据集：本发明专利实验使用SemEval2014中Laptop和Restaurant两个数据集，特定目标实体有积极、中性、消极、冲突四种情感极性，由于冲突极性所占比例较小，借鉴了其他研究者们去除冲突极性语料的方法进行预处理，各数据集三种情感极性数量统计如表2所示。数据集使用Pytorch-Transformers工具中的BertTokenizer进行分词，使用NLTK工具中的Wordnet同义词库进行数据增强。
(2)对抗攻击：本发明专利使用FGM作为对抗攻击方法，选取不同大小的α进行FGM攻击，使用FGM对BERT模型的词嵌入层进行对抗扰动生成对抗样本，再通过Adv-BERT进行对抗样本训练。
(3)基准模型：本发明专利使用BERT-BASE(L＝12,H＝768,A＝12,TotalParameters＝110M)作为ABSA基准模型，其中L表示网络隐藏层个数(Numbers of HiddenLayers)，H表示网络隐藏层大小(Hidden Size)，A表示自注意力头个数(Numbers of Self-Attention Heads)。BERT模型隐藏层的激活函数采用高斯误差线性单元(Gaussian ErrorLinear Units,gelu)，计算公式如下：
Figure BDA0003235073710000152
其中gelu(·)表示高斯误差线性单元，θ表示神经网络参数，tanh表示双曲正切函数；
(4)实验环境以及超参数设置：本发明专利实验使用GPU(GeForce RTX 3090)，24G显存，PyTorch 1.8.1框架实现。超参数设置如表3所示。
表3实验超参数统计表
参数 Value
批次(batch)大小 16
学习率 2e-5
对抗扰动缩放因子α α∈[0.01,0.09]
L2正则化 0.01
Dropout率 0.1
初始化器 xavier_uniform_
优化器 adam
训练次数 5
最大序列长度 128
4.2结果分析
为了验证提出的WMDE方法有效性，实验分别对Laptop和Restaurant数据集进行数据增强，将每个句子进行屏蔽特定目标词的同义词替换、随机插入单词生成两条增强数据，然后合并原始数据输入BERT-BASE模型中进行特定目标情感分类，表5中给出了WMDE方法与其他模型性能比较，以及与BERT-BASE基准模型的性能比较。当基准模型为BERT-BASE时，Laptop数据集WMDE增强后情感分类准确率为79.00％，相比原始数据训练准确率76.65％提升了2.35％。同样的，Restaurant数据集WMDE增强后情感分类准确率为84.38％，相比原始数据训练准确率84.02％提升了0.36％。实验结果表明，针对Laptop和Restaurant方面级情感分类数据集进行WMDE数据增强生成新的训练数据能够有效提升模型，Laptop小数据集提升效果较好。
通过上述实验结果对比，在WMDE方法中，通过词屏蔽方法进行同义词替换，保持aspect不变并且替换词性相同，保证生成语句流畅，语义不发生改变。随机插入单词时，采用插入副词的方式，保证生成语句与原语句的含义和句法结构不改变，在最后样本融合时将新样本与原始样本进行相似度计算。因此WMDE方法的作用是在不改变原始数据含义和句法结构的前提下，通过原始数据生成更精确的增强样本，使模型能够学习更多的有效特征。在实验过程中，分别验证了同义词替换和随机插入算法对模型特征学习的有效性，最后结合两种增强方式，结果表明结合两种增强方式效果最优。
将数据增强样本和原始样本进行融合作为模型的输入样本，分别在Laptop和Restaurant数据集上使用扰动系数范围从0.01到0.09，增加步长为0.01。利用本发明专利提出的WMDE-AL模型设置不同大小的扰动系数α与BERT-BASE模型对比实验的Accuracy如图3所示，其中图3中(a)子图表示Laptop数据集不同大小α下的对抗训练Accuracy的示意图，图3中(b)子图表示Restaurant数据集不同大小α下的对抗训练Accuracy的示意图，；图3中每个子图包括BERT-BASE、BERT-WMDE、BERT-AL、BERT-WMDE-AL四种方法的性能。基于BERT-BASE使用不同大小的α对抗训练评价指标增长幅度如图4所示，其中雷达图的刻度表示对抗扰动α的大小，图4中(a)子图表示Laptop数据集Accuracy和F1值的增长情况，根据该子图可以得出WMDE-AL方法增长幅度高于AL方法；图4中(b)子图表示Restaurant数据集Accuracy和F1值的增长情况，根据该子图可以得出WMDE-AL方法增长幅度略低于AL方法。对于Laptop数据集而言，使用BERT-AL训练方式，当α＝0.02时，准确率达到最大值79.94％，比使用BERT-BASE训练方式提升3.29％；使用BERT-WMDE-AL训练方式，当α＝0.01时，准确率达到最大值80.88％，比使用BERT-BASE、BERT-WMDE训练方式分别提升4.23％、1.88％，加入词屏蔽数据增强对抗训练的准确率较未加入词屏蔽数据增强对抗训练准确率提升0.94％。对于Restaurant数据集而言，使用BERT-AL训练方式，当α＝0.08时，准确率达到最大值85.71％，比使用BERT-BASE训练方式提升1.69％；使用BERT-WMDE-AL训练方式，当α＝0.02时，准确率达到最大值85.27％，比使用BERT-BASE、BERT-WMDE训练方式分别提升1.25％、0.89％，加入词屏蔽数据增强对抗训练的准确率较未加入词屏蔽数据增强对抗训练准确率降低0.44％。通过对抗训练实验结果表明，同样对于小数据集而言，WMDE-AL性能较好，并且与基准模型相比有明显的提升。但是对于稍大数据集则是直接使用AL方法的性能略优于WMDE-AL方法的性能。由以上结果分析可以得出，AL方法和WMDE-AL方法都能有效提升样本特征多样性，利用对抗样本提升文本表示的质量，从而提升特定目标情感分类的性能。
表4数据增强BERT-BASE对抗训练的Accuracy值
Figure BDA0003235073710000181
4.3模型对比
模型性能对比包括：(1)本发明专利提出的WMDE、AL、WMDE-AL三种方法与BERT-BASE的性能进行比较，同时通过将这三种方法进行比较；(2)与当前在Laptop和Restaurant数据集上表现较好的模型进行比较。评价指标为Accuracy和F1值，基准模型性能如表5所示，可以得出：
(1)TD-LSTM(Tang et al.2016)采用深度学习模型提取特征，在Laptop和Restaurant数据集上准确率分别为71.83％和78.00％。深度学习特定目标情感分类模型解决了机器学习解决了繁琐的人工特征提取问题，并且深度学习模型的性能大多数优于最好的机器学习性能。
(2)MemNet(Tang et al.2016)采用线性组合对多注意力进行结合，提取目标实体特征信息，从而达到提升特定目标情感分类性能，其准确率分别为72.20％和81.00％。
(3)RAM(Chen et al.2017)采用GRU网络结构组合多注意力权重，以非线性方式组合不同注意力情感特征向量，其准确率分别为74.49％和80.23％。
(4)MGAN(Fan et el.2018)采用细粒度和粗粒度的注意力捕获目标实体和句子之间的词级交互关系，然后进行特定目标情感分类，其准确率分别为75.39％和81.25％。
(5)RepWalk(Zheng et al.2020)采用基于语法树的随机复制游走，捕获句子信息的上下文特征，有效地利用句法结构来改善句子表示，其准确率分别为78.20％和83.80％。
(6)BERT-PT(Xu et al.2019)采用大规模特定目标领域语料库重新训练上下文信息BERT模型，提高最终任务单词表示的质量，其准确率分别为78.07％和84.95％。
表5 Laptop和Restaurant数据集上特定目标情感分类模型总体性能比较
Figure BDA0003235073710000191
表5中，#表示本发明专利的实验结果，*表示其参考文献的中的实验结果“-”表示未记录，其余数据表示来自原始文献。
为了评估本发明专利提出的方法在特定目标情感分析任务上的性能，采用BERT-BASE作为对抗训练的目标模型，分别做了下述三个对比实验：(1)首先验证了WMDE生成新语料的有效性，通过五次WMDE实验，选取最优结果作为实验结果，在Laptop和Restaurant数据集上的准确率分别为79.00％和84.38％；(2)验证原始数据集进行AL的有效性，利用干净样本和对抗样本进行对抗训练，其准确率分别为79.94％和85.71％，比BERT-PT模型准确率分别高1.87％和0.76％；(3)验证通过AL生成新的训练样本以及融合原始样本进行对抗训练，即本发明专利提出的WMDE-AL方法，其准确率分别为80.88％和85.27％，比BERT-PT模型准确率分别高2.81％和0.32％。
5结论
词屏蔽数据增强和对抗学习的特定目标情感分析模型，旨在提高干净样本特征分布多样性以及利用对抗训练提升BERT-BASE情感分类性能。在Laptop和Restaurant数据集上实验结果表明，BERT-BASE添加WMDE、AL、WMDE-AL后比基于BERT-BASE特定目标情感分析有显著的提高，其中AL、WMDE-AL方法优于当前处于先进水平的BERT-PT模型。主要结论如下：(1)通过同义词替换和随机插入单词对特定目标领域语料库进行词屏蔽数据增强，保持句子语义和语法结构不改变并屏蔽实体单词不被替换，有效地对该领域数据集进行数据增强；(2)分别对原数据和数据增强后的数据进行对抗学习，利用干净样本和对抗样本提升特定目标情感分类辨识度，达到对抗防御的目的。
尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。

Claims (3)

1.一种利用词屏蔽数据增强与对抗学习的特定目标情感分析方法，其特征在于，包括以下步骤：
S1，构建了基于BERT-BASE的对抗学习特定目标情感分类模型，将原始样本数据输入模型，运用干净样本和对抗样本一起训练情感分类模型：
将数据增强后的DaOut作为干净样本，DaOut＝SSr∪SRi，SSr为同义词替换后的数据，SRi为随机插入后的数据；对于干净样本的每个batch，首先使用干净样本产生词嵌入层的对抗扰动radv，从而生成对抗样本；Adv-BERT模型进行对抗样本的每个batch训练，使用BERT模型进行干净样本的每个batch训练；
所述对抗学习包括：将对抗学习应用在ABSA任务中，在模型的嵌入层增加对抗扰动，在一个句子中目标实体aspect的情感为y的概率为p(y|SBertIn,aspect)，SBertIn表示BERT模型的输入，因此模型的嵌入层增加对抗扰动后的损失函数如下：
-logp(y|Ew+radv,aspect；θ)          (1)
其中
Figure FDA0004151354210000011
p(y|Ew+radv,aspect；θ)表示添加对抗扰动radv的情感预测概率，radv表示对抗扰动，r表示对输入的一个对抗扰动，α表示扰动缩放因子，||·||表示范数，argmin表示使目标函数最小时的r变量，然后让这个r值赋值给radv，
Figure FDA0004151354210000012
表示添加扰动r后的预测概率，Ew表示干净样本的词嵌入张量，θ表示神经网络参数，
Figure FDA0004151354210000013
表示神经网络分类器当前参数的常量集；
S2，最终得到特定目标情感分析结果；
所述干净样本的每个batch训练的损失函数计算如下：
Figure FDA0004151354210000014
其中Lclean(·)表示干净样本的损失函数，Nbatch表示一个batch的大小，θ表示神经网络参数，p(yi|Ei,aspecti；θ)表示一个batch中第i个样本的情感预测概率函数，yi表示第i个样本的真实标签，Ei表示第i个干净样本的嵌入层张量，aspecti表示第i个样本的特定目标实体；
对抗样本每个batch的损失函数计算如下：
Figure FDA0004151354210000021
其中Ladv(·)表示对抗样本的损失函数，Nbatch表示一个batch的大小，θ表示神经网络参数，p(yi|Eadv(i),aspecti；θ)表示第i个对抗样本情感预测函数，Eadv(i)表示第i个对抗样本的嵌入层张量；
所述BERT模型的隐藏层采用采用高斯误差线性单元作为激活函数：
Figure FDA0004151354210000022
其中gelu(·)表示高斯误差线性单元，θ表示神经网络参数，tanh为双曲正切函数。
2.根据权利要求1所述的一种利用词屏蔽数据增强与对抗学习的特定目标情感分析方法，其特征在于，还包括：
最小化干净样本和对抗样本的每个batch的损失函数：
Figure FDA0004151354210000023
其中L(·)表示模型损失函数，
Figure FDA0004151354210000024
表示当损失函数取得最小时，模型参数θ的取值，Lclean(θ)表示干净样本每个batch损失函数，Ladv(θ)表示对抗样本每个batch的损失函数。
3.根据权利要求1所述的一种利用词屏蔽数据增强与对抗学习的特定目标情感分析方法，其特征在于，所述对抗学习还包括：
使用快梯度下降法寻找对抗扰动，在神经网络中可以用反向传播计算对抗扰动，然后将对抗扰动与原始嵌入层的词向量相加得到对抗样本，对抗扰动radv计算如下：
Figure FDA0004151354210000025
其中
Figure FDA0004151354210000031
Figure FDA0004151354210000032
因此ABSA的对抗样本损失函数如下：
Figure FDA0004151354210000033
其中对抗样本Eadv表示如下：
Figure FDA0004151354210000034
其中α表示对抗扰动缩放因子，gw表示模型中词嵌入层的梯度，||·||2表示二范数；
Figure FDA00041513542100000318
表示梯度算子，Ew表示干净样本的词嵌入张量，
Figure FDA0004151354210000035
表示干净样本情感预测概率，aspect表示特定目标实体，
Figure FDA0004151354210000036
表示神经网络分类器当前参数的常量集；λi(.)表示求矩阵的特征值，gw H表示gw的共轭转置；N表示样本总数，p(yi|Eadv(i),aspecti；θ)表示第i个对抗样本预测概率，yi表示第i个样本的真实标签，Eadv(i)表示第i个对抗样本的嵌入层张量，aspecti表示第i个特定目标实体，θ表示神经网络参数；
radv表示对抗扰动，Eseg表示干净样本的词嵌入张量，Epos表示干净样本的位置嵌入张量，
Figure FDA0004151354210000037
表示张量相加，
Figure FDA0004151354210000038
表示一个样本第1个词的词嵌入，
Figure FDA0004151354210000039
一个样本对应第1个词嵌入的对抗扰动，
Figure FDA00041513542100000310
表示一个样本第2个词的词嵌入，
Figure FDA00041513542100000311
一个样本对应第2个词嵌入的对抗扰动，
Figure FDA00041513542100000312
表示一个样本第i+1个词的词嵌入，
Figure FDA00041513542100000313
一个样本对应第i+1个词嵌入的对抗扰动，
Figure FDA00041513542100000314
表示一个样本第n个词的词嵌入，
Figure FDA00041513542100000315
一个样本对应第n个词嵌入的对抗扰动，
Figure FDA00041513542100000316
表示一个样本第n+1个词的词嵌入，
Figure FDA00041513542100000317
一个样本对应第n+1个词嵌入的对抗扰动。
CN202110999220.XA 2021-08-28 2021-08-28 利用词屏蔽数据增强与对抗学习的特定目标情感分析方法 Active CN113705678B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110999220.XA CN113705678B (zh) 2021-08-28 2021-08-28 利用词屏蔽数据增强与对抗学习的特定目标情感分析方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110999220.XA CN113705678B (zh) 2021-08-28 2021-08-28 利用词屏蔽数据增强与对抗学习的特定目标情感分析方法

Publications (2)

Publication Number Publication Date
CN113705678A CN113705678A (zh) 2021-11-26
CN113705678B true CN113705678B (zh) 2023-04-28

Family

ID=78656335

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110999220.XA Active CN113705678B (zh) 2021-08-28 2021-08-28 利用词屏蔽数据增强与对抗学习的特定目标情感分析方法

Country Status (1)

Country Link
CN (1) CN113705678B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114780693A (zh) * 2022-03-25 2022-07-22 昆明理工大学 一种基于对抗学习的深度迁移问句分类方法
CN115392259B (zh) * 2022-10-27 2023-04-07 暨南大学 一种基于对抗训练融合bert的微博文本情感分析方法及系统
CN116610770B (zh) * 2023-04-26 2024-02-27 火眼金睛数据服务(雄安)有限公司 一种基于大数据的司法领域类案推送方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111324744A (zh) * 2020-02-17 2020-06-23 中山大学 一种基于目标情感分析数据集的数据增强方法
CN111400486A (zh) * 2020-03-13 2020-07-10 重庆大学 一种文本摘要自动生成系统及方法
CN111859978A (zh) * 2020-06-11 2020-10-30 南京邮电大学 一种基于深度学习的情感文本生成方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108764937A (zh) * 2018-05-02 2018-11-06 开源物联网（广州）有限公司 可迭代智能客服系统
CN110532377B (zh) * 2019-05-13 2021-09-14 南京大学 一种基于对抗训练和对抗学习网络的半监督文本分类方法
CN112101042A (zh) * 2020-09-14 2020-12-18 平安科技（深圳）有限公司 文本情绪识别方法、装置、终端设备和存储介质
CN113239189A (zh) * 2021-04-22 2021-08-10 北京物资学院 一种文本情感领域分类的方法及系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111324744A (zh) * 2020-02-17 2020-06-23 中山大学 一种基于目标情感分析数据集的数据增强方法
CN111400486A (zh) * 2020-03-13 2020-07-10 重庆大学 一种文本摘要自动生成系统及方法
CN111859978A (zh) * 2020-06-11 2020-10-30 南京邮电大学 一种基于深度学习的情感文本生成方法

Also Published As

Publication number Publication date
CN113705678A (zh) 2021-11-26

Similar Documents

Publication Publication Date Title
CN113705678B (zh) 利用词屏蔽数据增强与对抗学习的特定目标情感分析方法
Cai et al. Generative adversarial network based heterogeneous bibliographic network representation for personalized citation recommendation
CN113723075B (zh) 融合词屏蔽数据增强与对抗学习的特定目标情感分析方法
Kant et al. Practical text classification with large pre-trained language models
Xia et al. Xgpt: Cross-modal generative pre-training for image captioning
CN109299342A (zh) 一种基于循环生成式对抗网络的跨模态检索方法
Zhuo et al. Segment-level sequence modeling using gated recursive semi-markov conditional random fields
CN110750645A (zh) 基于对抗训练的跨领域虚假评论识别方法
Ye et al. Texthoaxer: Budgeted hard-label adversarial attacks on text
CN111488524A (zh) 一种面向注意力的语义敏感的标签推荐方法
Zhang et al. Multifeature named entity recognition in information security based on adversarial learning
Zhou et al. Robust reading comprehension with linguistic constraints via posterior regularization
Liu et al. Few-shot short-text classification with language representations and centroid similarity
Kitada et al. Making attention mechanisms more robust and interpretable with virtual adversarial training
Song et al. Recovering generalization via pre-training-like knowledge distillation for out-of-distribution visual question answering
CN113723076A (zh) 基于词屏蔽数据增强与对抗学习的特定目标情感分析方法
Kim et al. Multi-Domain Knowledge Distillation via Uncertainty-Matching for End-to-End ASR Models.
Hayet et al. Invernet: An inversion attack framework to infer fine-tuning datasets through word embeddings
Wu et al. Boundaryface: A mining framework with noise label self-correction for face recognition
Cai et al. Learning entity representation for named entity disambiguation
CN115309898A (zh) 基于知识增强bert的字粒度中文语义近似对抗样本生成方法
Lin et al. A probabilistic contrastive framework for semi-supervised learning
Li et al. Textual Adversarial Attacks on Named Entity Recognition in a Hard Label Black Box Setting
CN116629387B (zh) 一种用于训练缺失条件下的文本处理方法及处理系统
Xu The Dilemma and Prospects of Deep Learning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant