CN115758159B - 基于混合对比学习和生成式数据增强的零样本文本立场检测方法 - Google Patents
基于混合对比学习和生成式数据增强的零样本文本立场检测方法 Download PDFInfo
- Publication number
- CN115758159B CN115758159B CN202211517007.1A CN202211517007A CN115758159B CN 115758159 B CN115758159 B CN 115758159B CN 202211517007 A CN202211517007 A CN 202211517007A CN 115758159 B CN115758159 B CN 115758159B
- Authority
- CN
- China
- Prior art keywords
- text
- sample
- data
- discriminator
- network model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 48
- 238000012549 training Methods 0.000 claims abstract description 57
- 238000000034 method Methods 0.000 claims abstract description 24
- 238000012360 testing method Methods 0.000 claims abstract description 17
- 230000008569 process Effects 0.000 claims abstract description 10
- 230000006870 function Effects 0.000 claims description 37
- 102100033814 Alanine aminotransferase 2 Human genes 0.000 claims description 10
- 101710096000 Alanine aminotransferase 2 Proteins 0.000 claims description 10
- 238000012545 processing Methods 0.000 claims description 9
- 238000013507 mapping Methods 0.000 claims description 7
- 238000003860 storage Methods 0.000 claims description 7
- 239000002131 composite material Substances 0.000 claims description 3
- 230000008485 antagonism Effects 0.000 claims description 2
- 239000011159 matrix material Substances 0.000 claims description 2
- 238000003058 natural language processing Methods 0.000 abstract description 2
- 238000013473 artificial intelligence Methods 0.000 abstract 1
- 230000000694 effects Effects 0.000 description 5
- 238000011160 research Methods 0.000 description 4
- 238000013459 approach Methods 0.000 description 3
- 230000008451 emotion Effects 0.000 description 3
- 238000012216 screening Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000001143 conditioned effect Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 102100040653 Tryptophan 2,3-dioxygenase Human genes 0.000 description 1
- 101710136122 Tryptophan 2,3-dioxygenase Proteins 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000013434 data augmentation Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000005180 public health Effects 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Machine Translation (AREA)
- Image Analysis (AREA)
Abstract
基于混合对比学习和生成式数据增强的零样本文本立场检测方法，本发明涉及零样本文本立场检测方法。本发明的目的是为了解决在结构化数据生成文本上，现有模型对表格数据进行建模时，没有考虑数据之间的内在隐含关系，导致文本生成准确率低的问题。过程为：一、获取可见类样本数据和不可见类样本数据；可见类样本数据和不可见类样本数据均为带标签数据；可见类样本数据和不可见类样本数据的目标不同；可见类样本数据作为训练集；不可见类样本数据作为测试集；训练集和测试集包括目标、立场、真实文本；二、建立GDA‑CL模型，模型包括：文本生成层、对比学习层、立场分类层。本发明用于人工智能、自然语言处理、文本生成技术领域。
Description
技术领域
本发明属于新闻、医疗、军事、农业实体识别领域，具体涉及零样本文本立场检测方法。
背景技术
随着在社交媒体网站、新闻门户网站和论坛等渠道广泛流行，人们可以自由方便地发表言论，这些观点和意见深刻且真实的反映着关乎民众利益的民众生活社会生产、关系民众情感意志的主观社会政治态度，对于民意调查，市场趋势分析，推荐系统，给以用户个性化推荐，公共卫生监测，信息检索，谣言检测等研究领域具有重要的意义。同时从自然语言文本中自动获取语义信息一直都是一个重要的研究问题并且具有许多实际应用领域，可以解决诸如情感分析、讽刺、争议、反言、谣言、假新闻检测和论点挖掘等满足实际需求的问题。近年来，在文本立场检测研究领域，预训练语言模型(例如BERT、GPT、XLNet、RoBERTa、ALBERT、T5和ERNIE)的使用显著提升了自然语言处理任务的表现，但由于大部分研究针对于特定目标的单目标文本立场检测或者针对于两个相关目标的跨目标文本立场检测，这些研究往往需要为特定目标提供大量的标注数据来微调预训练模型，而在实际应用场景中很难获得大量的特定目标的标注数据。那么，为了贴合社会媒体中复杂应用场景的需求，如何解决零样本场景下文本立场检测任务，成为了摆在我们前面的不可逾越的重大研究课题。
以往的立场检测研究主要集中在针对特定目标的立场检测，其中设定为训练阶段和推理阶段使用相同的目标集。随后在进一步的研究中，一个类似于零样本文本立场检测的任务是跨目标立场检测，其中分类器的学习任务是根据对已知目标的训练来适应看不见但相关的目标。现有的跨目标立场检测研究通常使用基于注意力的模型或基于图神经网络的模型来学习一个投影，旨在将与目标相关的立场特征从特定的训练目标转移到适应相关的测试目标上实现领域迁移。与跨目标立场检测不同，零样本立场检测的目标是自动识别以前未看到的目标的立场，这是对模型推广到现实场景中新兴目标的能力的一个更准确的评估。
为了处理零样本立场检测，提出了一个大规模的专家注释的推特立场检测数据集，其中每个测试目标对训练集都是未知的。Allaway和McKeown创建了一个零样本立场检测数据集，涵盖了广泛目标的大量标注数据，并提出了一个基于目标聚类分组的注意力模型，通过使用广义地主题表示来隐式地捕获目标之间的关系。将一个特定目标的立场检测数据集SemT6应用于零样本立场检测，并应用了对抗学习来提取零样本立场检测中的不同目标间的不变特征。此外，为了同时利用不同目标之间关系的结构级和语义级信息，提出了一种基于BERT的基于常识性知识图谱的图卷积网络模型来处理零样本立场检测任务。
零样本学习的目标是通过共享的语义空间将模型从可见类转移到不可见类，在共享的语义空间中，存在可见类和不可见类的语义描述。早期的零样本学习主要通过在嵌入空间中搜索最近的语义描述符来实现传统的零样本学习。基于嵌入的方法的主要目标是使用通过投影函数将特征和语义属性映射到一个公共的嵌入空间，该投影函数是使用深度网络学习的。共同的嵌入空间可以是视觉特征空间、语义空间或重新学习的中介空间，并且大多数基于嵌入的方法都直接使用语义空间作为公共嵌入空间。在训练期间，目标是使用来自已知类的数据学习从特征空间到语义空间的投影函数。由于神经网络可以用作函数逼近器，因此投影函数自然可以选用深度网络来学习。在测试阶段，将未知类图像特征输入到前面训练好的网络里，获得相应的语义嵌入。然后在语义属性空间中进行最近邻搜索，以找到与网络输出最接近的匹配项。最后，将与最接近的语义嵌入相对应的标签预测为输入特征的输出标签。
基于嵌入的方法的主要缺点是它们存在偏差和域移位的问题。这意味着，由于投影函数是在训练期间仅使用已知类学习得来的，因此它将偏向于将已知类标签作为输出进行预测。另外，也不能保证学习的投影函数会在测试时正确地将未知类图像特征正确地映射到相应的语义空间。这是由于一个事实，即深度网络仅在训练过程中学会了将已知类的图像特征映射到语义空间，并且可能无法在测试时对新颖的未知类正确地执行相同的操作。为了克服这个缺点，有必要让零样本分类器在已知类和未知类的所有数据域上训练。由此引出基于生成模型的方法。生成方法旨在为未知类使用语义属性生成训练样本，一般是用一个条件生成模型来实现的，该条件生成对抗模型合成以特定类的语义属性为条件的样本，常用的特征生成模型有变分自编码器(VAE)和生成对抗网络(GAN)。一些工作通过生成模型来为未知类生成训练数据，通过扩充目标领域的数据，零样本分类器可以在已知类和未知类的所有样本上被训练。我们的工作也是基于这种方法。
发明内容
本发明目的是为了解决目前的文本立场测方法并不适用于零样本的场景从而导致分类效果差的问题，而提出了基于混合对比学习和生成式数据增强的零样本文本立场检测方法。
基于混合对比学习和生成式数据增强的零样本文本立场检测方法具体过程为：
步骤一、获取可见类样本数据和不可见类样本数据；
可见类样本数据和不可见类样本数据均为带标签数据；
可见类样本数据和不可见类样本数据的目标不同；
可见类样本数据作为训练集；
不可见类样本数据作为测试集；
训练集和测试集包括目标、立场、真实文本x；
步骤二、建立GDA-CL模型，GDA-CL模型包括：文本生成层、对比学习层、立场分类层；
文本生成层用于将训练集中真实文本x的目标和立场输入对抗生成网络模型，对抗生成网络模型输出合成文本，获得预训练好的对抗生成网络模型；
将训练集中真实文本x的目标和立场输入预训练好的对抗生成网络模型，输出合成文本，将合成文本成到训练数据中，生成新的训练数据集；
对比学习层采用基于RoBERTa的序列编码器E和投影函数H，用于将文本映射到不同维度，通过实例级和类别级对比学习共同优化文本表示，获得训练好的对抗生成网络模型；
对于实例级，我们利用实例级对比损失来迫使生成的文本更接近具有相同立场标签的真实文本，而类别级对比损失对与真实样本标签相同的文本给出更高的分数；
将测试集输入训练好的对抗生成网络模型，若输出结果满足要求，获得最终训练好的对抗生成网络模型；若输出结果不满足要求，继续训练对抗生成网络模型，直至满足要求；
将目标和随机立场输入最终训练好的对抗生成网络模型，输出文本，将输出文本输入立场分类层获得待测文本xi的立场标签yi。
基于混合对比学习和生成式数据增强的零样本文本立场检测系统用于执行基于混合对比学习和生成式数据增强的零样本文本立场检测方法。
一种存储介质，所述存储介质中存储有至少一条指令，所述至少一条指令由处理器加载并执行以实现基于混合对比学习和生成式数据增强的零样本文本立场检测方法。
本发明的有益效果为：
本发明提出了基于文本生成和混合对比学习的神经网络模型GDA-CL，将基于对抗生成网络的数据增强和立场分类网络结合到一个统一的框架中。GDA-CL模型包含一种生成式数据扩充方法，生成包含测试数据目标和立场的训练样本，通过对比学习将真实样本和生成的合成样本映射到同一嵌入空间，然后基于扩充后的数据进行最终分类。本发明提出的GDA-CL是第一个结合生成式数据增强的模型，也是第一个融合混合对比学习的模型，本发明大大缓解了标签的长尾问题，更适用于现实中标注数据稀少的场景，同时提高了立场分类的效果。根据目标和立场合成不可见类样本，通过对比学习将真实样本和生成的合成样本映射到同一嵌入空间，然后基于扩充后的数据进行最终分类。
附图说明
图1为GDA-CL模型的结构图，Unlabeled target data为未标记的目标数据，labeled source data为标记的数据，Discriminator为鉴别器，Reward为奖励，Update D为更新，Replay Buffer为生成器，Generator为文本生成器，Encoder为编码器，SyntheticText为合成文本，F为鉴别网络，Update G with PPO为更新生成器。
具体实施方式
具体实施方式一：本实施方式基于混合对比学习和生成式数据增强的零样本文本立场检测方法具体过程为：
步骤一、获取可见类样本数据和不可见类样本数据；
可见类样本数据和不可见类样本数据均为带标签数据；
可见类样本数据和不可见类样本数据的目标不同；
可见类样本数据作为训练集；
不可见类样本数据作为测试集；
训练集和测试集包括目标、立场、真实文本x；
比如：同意张三的观点；其中“同意”为立场，“张三”为目标，“同意张三的观点”为文本，文本和目标作为GDA-CL模型输入，立场作为GDA-CL模型输出；
步骤二、建立GDA-CL模型，GDA-CL模型包括：文本生成层、对比学习层、立场分类层；
所述GDA-CL为Generative DataAugmentation frameworkwith ContrastiveLearning；
文本生成层用于将训练集中真实文本x的目标和立场输入对抗生成网络模型，对抗生成网络模型输出合成文本，获得预训练好的对抗生成网络模型；
将训练集中真实文本x的目标和立场输入预训练好的对抗生成网络模型，输出合成文本，将合成文本成到训练数据中，生成新的训练数据集；
对比学习层采用基于RoBERTa的序列编码器E和投影函数H，用于将文本映射到不同维度，通过实例级和类别级对比学习共同优化文本表示，获得训练好的对抗生成网络模型；
对于实例级，我们利用实例级对比损失来迫使生成的文本更接近具有相同立场标签的真实文本，而类别级对比损失对与真实样本标签相同的文本给出更高的分数；
将测试集输入训练好的对抗生成网络模型，若输出结果满足要求，获得最终训练好的对抗生成网络模型；若输出结果不满足要求，继续训练对抗生成网络模型，直至满足要求；
将目标和随机立场输入最终训练好的对抗生成网络模型，输出文本，将输出文本输入立场分类层获得待测文本xi的立场标签yi。
具体实施方式二：本实施方式与具体实施方式一不同的是，所述文本生成层用于将训练集中真实文本x的目标和立场输入对抗生成网络模型，对抗生成网络模型输出合成文本，获得预训练好的对抗生成网络模型；
将训练集中真实文本x的目标和立场输入预训练好的对抗生成网络模型，输出合成文本，将合成文本成到训练数据中，生成新的训练数据集；
具体过程为：
所述对抗生成网络模型包括生成器和鉴别器；
所述生成器Gθ为文本生成器GPT-2；
所述鉴别器Dφ为Roberta；
将训练集中真实文本x的目标和立场输入文本生成器GPT-2，文本生成器GPT-2输出合成文本
其中，条件a为属性描述，为真实文本x的目标和立场；Gθ为文本生成器GPT-2，为文本生成器GPT-2输出合成文本；
将文本生成器GPT-2输出合成文本和真实文本x输入鉴别器Dφ，鉴别器Dφ输出真实文本x的置信度得分pr和合成文本/>的置信度得分pg；
所述鉴别器Dφ输出真实文本x的置信度得分0＜pr＜1；
所述鉴别器Dφ输出合成文本的置信度得分0＜pg＜1；
基于鉴别器Dφ输出的合成文本的置信度得分pg获得稀疏奖励Ry；
在生成器的训练过程中，动作空间是整个词表，所以我们使用模仿重放算法来保证稳定性。这里，我们为replay buffer设置一个比率λ控制真实样本x和合成样本的比例。在buffer中，由于鉴别器Dφ一直在不断优化，分数估计将非常嘈杂，可能会导致生成器Gθ变化太大。为了解决这个问题，我们选择使用简单有效的最近策略优化(PPO)而不是信赖域策略优化(TRPO)来确保/>不会远离/>
生成器损失函数为：
其中，y1:T是生成器输出文本序列，T是序列长度，∈是裁剪因子，是奖励信号Ry规范化(/>取值/>)后的奖励，clip是裁剪函数(使1-∈≤r(θ)≤1+∈)；r(θ)是当前生成器输出值和上一次生成器输出值得比值；
鉴别器损失为：
基于鉴别器Dφ输出合成文本的置信度得分pg计算交叉熵损失，将交叉熵损失作为鉴别器的损失函数，鉴别器为生成器提供奖励信号Ry；
同时，Roberta作为鉴别器Dφ来区分真实样本x和合成样本
在生成器和鉴别器同时满足以下目标函数对抗生成网络模型达到鞍点时，获得预训练好的对抗生成网络模型：
其中，为鉴别器Dφ期望，/>为生成器期望；/>为把x、/>输入鉴别器，Dφ(x,Gθ(a))为把x、Gθ(a)输入鉴别器；
将训练集中真实文本x的目标和立场输入预训练好的对抗生成网络模型，输出合成文本，将合成文本集成到训练数据中，生成新的训练数据集。
其它步骤及参数与具体实施方式一相同。
具体实施方式三：本实施方式与具体实施方式一或二不同的是，所述对比学习层采用基于RoBERTa的序列编码器E和投影函数H，用于将文本映射到不同维度，通过实例级和类别级对比学习共同优化文本表示，获得训练好的对抗生成网络模型；
对于实例级，我们利用实例级对比损失来迫使生成的文本更接近具有相同立场标签的真实文本，而类别级对比损失对与真实样本标签相同的文本给出更高的分数；
具体过程为：
步骤二二一、将每个真实文本x输入编码器E编码得到相应的表示hi，然后进一步输入到投影函数H中得到表示zi；
步骤二二二、在实例级对比学习中，我们根据不同的立场标签将样本分为正样本和负样本；
对于每个zi来说，选择与zi具有相同立场标签的为正样本z+，而负样本的立场标签与z不同；具体来说，实例级对比损失计算如下：
Sins(zi,z+)＝exp(zi*z+/τe)
其中，Lins(zi,z+)为实例级正样本对比损失；τe＞0是实例级对比学习的温度系数；*是乘号；zk为第k个真实文本对应的表示；Sins(zi,z+)为实例级处理；Sins(zi,zk)为实例级处理；K为真实文本个数；
步骤二二三、根据类别级对比学习中属性描述a的异同，将属性描述a分为正样本和负样本；引入一个鉴别网络F(hi,a)来计算嵌入h和属性描述a之间的相关分数：
类别级对比损失定义如下:
Scls(hi,a+)＝exp(F(hi,a+)/τs)
其中，τs＞0是类别级对比学习的温度系数；a+代表与属性描述a具有相同属性标签的正样本；Scls(hi,a+)为类别级处理；Lcls(hi,a+)类别级正样本对比损失；Scls(hi,as)为类别级处理；as为第s个属性描述，S为属性描述个数；
步骤二二四、将实例级对比损失Lins和类级对比损失Lcls整合到对抗生成网络模型中；
为了训练鉴别器，直接将对比损失和分类损失结合起来；
L′D＝LD+Lins(x,t)+Lcls(x,t,y)
所述LD为鉴别器的损失函数；L′D为鉴别器的损失函数；x为文本，t为目标，y为立场标签；
将L′D作为鉴别器新的损失函数，对生成器损失函数中奖励信号进行更新，获得生成器新的损失函数；
步骤二二五、在生成器和鉴别器同时满足以下目标函数对抗生成网络模型达到鞍点时，获得训练好的对抗生成网络模型：
其中，为鉴别器Dφ期望，/>为生成器期望。
其它步骤及参数与具体实施方式一或二相同。
具体实施方式四：本实施方式与具体实施方式一至三之一不同的是，所述步骤二二一中将每个真实文本x输入编码器E编码得到相应的表示hi，然后进一步输入到投影函数H中得到表示zi；表达式为：
zi＝H(hi)＝H(E(x))
其中，zi为第i个每个真实文本对应的表示。
其它步骤及参数与具体实施方式一至三之一相同。
具体实施方式五：本实施方式与具体实施方式一至四之一不同的是，所述步骤二二三中鉴别网络F(hi,a)为线性层，F(hi,a)代表将hi,a输入线性层的输出。
其它步骤及参数与具体实施方式一至四之一相同。
具体实施方式六：本实施方式与具体实施方式一至五之一不同的是，所述步骤二二四中对生成器损失函数中奖励信号进行更新，更新方式如下：
其中，为更新后的奖励信号。
其它步骤及参数与具体实施方式一至五之一相同。
具体实施方式七：本实施方式与具体实施方式一至六之一不同的是，所述将目标和随机立场输入最终训练好的对抗生成网络模型，输出文本，将输出文本输入立场分类层获得待测文本xi的立场标签yi：具体过程为：
通过分类器获得待测文本xi的立场标签yi：
yi＝W1(W2xi+b1)+b2
其中，y是作为输出的文本立场标签，W1、W2是权重矩阵，b1,b2是偏差。
其它步骤及参数与具体实施方式一至六之一相同。
具体实施方式八：本实施方式与具体实施方式一至七之一不同的是，所述立场分类层由基于BERT的文本编码器和一个多层感知机(MLP)构成。
其它步骤及参数与具体实施方式一至七之一相同。
具体实施方式九：本实施方式基于混合对比学习和生成式数据增强的零样本文本立场检测系统，其特征在于，所述系统用于执行具体实施方式一至具体实施方式八之一所述的基于混合对比学习和生成式数据增强的零样本文本立场检测方法。
具体实施方式十：本实施方式为一种存储介质，所述存储介质中存储有至少一条指令，所述至少一条指令由处理器加载并执行以实现所述的基于混合对比学习和生成式数据增强的零样本文本立场检测方法。
应当理解，包括本发明描述的任何方法对应的可以被提供为计算机程序产品、软件或计算机化方法，其可以包括其上存储有指令的非暂时性机器可读介质，所述指令可以用于编程计算机系统，或其他电子装置。存储介质可以包括但不限于磁存储介质，光存储介质；磁光存储介质包括：只读存储器ROM、随机存取存储器RAM、可擦除可编程存储器(例如，EPROM和EEPROM)以及闪存层；或者适合于存储电子指令的其他类型的介质。
实施例一：
为了解决目前的新闻、医疗、军事、农业文本立场测方法并不适用于零样本的场景从而导致新闻、医疗、军事、农业文本分类效果差的问题，而提出基于混合对比学习和生成式数据增强的零样本文本立场检测方法。
本实施方式中，由于生成器模型是在可见目标的标记数据上训练的，所以生成的新闻、医疗、军事、农业文本xg可能包含一些与不可见目标无关的噪声，将所有生成的数据Dg直接应用于训练分类器C可能导致预测结果偏差。因此对生成的样本进行数据筛选，并用过滤后的数据集训练分类器。
数据筛选的目的是在生成的文本xg中选择保留更多与目标t和标签y相关的信息的数据。我们把Gθ以属性描述a为条件得到的生成概率作为生成文本的置信度得分。为了消除不同文本长度的影响，我们使用所有文本xg所有词的平均对数概率作为得分s：
给定K×N个生成的文本，我们根据得分对它们进行排序，并将前N个概率最高的样本保留为Dg。训练数据集Dtrain由两部分组成：不可见类数据筛选后的生成样本集Dg和原始训练集Ds。通过引导训练数据集，使用预先训练的语言模型TLM作为分类模型，然后通过最小化交叉熵损失来微调模型。
本发明提出了一种生成式数据增强模型，通过对抗训练和对比学习为未知目标生成高质量的训练数据，以提高零样本立场检测的性能。在两个公开的大规模数据集SemT6和VAST上将GDA-CL与众多基线方法进行了对比试验。实验结果表明，该模型明显优于现有方法。与标准的BERT模型相比，文本生成和对比学习相结合的GDA-CL将F1得分提高了4.4％以上。此外，本发明还将GDA-CL与TOAD(零样本文本立场检测领域的SOTA方法)进行了比较。在F1评分上平均比TOAD高2.6％。
本发明还可有其它多种实施例，在不背离本发明精神及其实质的情况下，本领域技术人员当可根据本发明作出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。
Claims (10)
1.基于混合对比学习和生成式数据增强的零样本文本立场检测方法，其特征在于：所述方法具体过程为：
步骤一、获取可见类样本数据和不可见类样本数据；
可见类样本数据和不可见类样本数据均为带标签数据；
可见类样本数据和不可见类样本数据的目标不同；
可见类样本数据作为训练集；
不可见类样本数据作为测试集；
训练集和测试集包括目标、立场、真实文本x；
步骤二、建立GDA-CL模型，GDA-CL模型包括：文本生成层、对比学习层、立场分类层；
文本生成层用于将训练集中真实文本x的目标和立场输入对抗生成网络模型，对抗生成网络模型输出合成文本，获得预训练好的对抗生成网络模型；
将训练集中真实文本x的目标和立场输入预训练好的对抗生成网络模型，输出合成文本，将合成文本集成到训练数据中，生成新的训练数据集；
对比学习层采用基于RoBERTa的序列编码器E和投影函数H，用于将文本映射到不同维度，通过实例级和类别级对比学习共同优化文本表示，获得训练好的对抗生成网络模型；
将测试集输入训练好的对抗生成网络模型，若输出结果满足要求，获得最终训练好的对抗生成网络模型；若输出结果不满足要求，继续训练对抗生成网络模型，直至满足要求；
将目标和随机立场输入最终训练好的对抗生成网络模型，输出文本，将输出文本输入立场分类层获得待测文本xi的立场标签yi。
2.根据权利要求1所述的基于混合对比学习和生成式数据增强的零样本文本立场检测方法，其特征在于：所述文本生成层用于将训练集中真实文本x的目标和立场输入对抗生成网络模型，对抗生成网络模型输出合成文本，获得预训练好的对抗生成网络模型；
将训练集中真实文本x的目标和立场输入预训练好的对抗生成网络模型，输出合成文本，将合成文本集成到训练数据中，生成新的训练数据集；
具体过程为：
所述对抗生成网络模型包括生成器和鉴别器；
所述生成器Gθ为文本生成器GPT-2；
所述鉴别器Dφ为Roberta；
将训练集中真实文本x的目标和立场输入文本生成器GPT-2，文本生成器GPT-2输出合成文本
其中，条件a为属性描述，为真实文本x的目标和立场；Gθ为文本生成器GPT-2，为文本生成器GPT-2输出合成文本；
将文本生成器GPT-2输出合成文本和真实文本x输入鉴别器Dφ，鉴别器Dφ输出真实文本x的置信度得分pr和合成文本/>的置信度得分pg；
所述鉴别器Dφ输出真实文本x的置信度得分0<pr<1；
所述鉴别器Dφ输出合成文本的置信度得分0<pg<1；
基于鉴别器Dφ输出的合成文本的置信度得分pg获得稀疏奖励Ry；
生成器损失函数为：
其中，y1:T是生成器输出文本序列，T是序列长度，ò是裁剪因子，是奖励信号Ry规范化后的奖励，clip是裁剪函数；r(θ)是当前生成器输出值和上一次生成器输出值得比值；
鉴别器损失为：
基于鉴别器Dφ输出合成文本的置信度得分pg计算交叉熵损失，将交叉熵损失作为鉴别器的损失函数，鉴别器为生成器提供奖励信号Ry；
同时，Roberta作为鉴别器Dφ来区分真实样本x和合成样本
在生成器和鉴别器同时满足以下目标函数对抗生成网络模型达到鞍点时，获得预训练好的对抗生成网络模型：
其中，为鉴别器Dφ期望，/>为生成器期望；/>为把x、/>输入鉴别器，Dφ(x,Gθ(a))为把x、Gθ(a)输入鉴别器；
将训练集中真实文本x的目标和立场输入预训练好的对抗生成网络模型，输出合成文本，将合成文本集成到训练数据中，生成新的训练数据集。
3.根据权利要求2所述的基于混合对比学习和生成式数据增强的零样本文本立场检测方法，其特征在于：所述对比学习层采用基于RoBERTa的序列编码器E和投影函数H，用于将文本映射到不同维度，通过实例级和类别级对比学习共同优化文本表示，获得训练好的对抗生成网络模型；
具体过程为：
步骤二二一、将每个真实文本x输入编码器E编码得到相应的嵌入hi，然后进一步输入到投影函数H中得到表示zi；
步骤二二二、在实例级对比学习中，根据不同的立场标签将样本分为正样本和负样本；
对于每个zi来说，选择与zi具有相同立场标签的为正样本z+，而负样本的立场标签与zi不同；具体来说，实例级对比损失计算如下：
Sins(zi,z+)＝exp(zi*z+/τe)
其中，Lins(zi,z+)为实例级正样本对比损失；τe>0是实例级对比学习的温度系数；*是乘号；zk为第k个真实文本对应的表示；Sins(zi,z+)为实例级处理；Sins(zi,zk)为实例级处理；K为真实文本个数；
步骤二二三、根据属性描述a的异同，将属性描述a分为正样本和负样本；引入一个鉴别网络F(hi,a)来计算嵌入hi和属性描述a之间的相关分数：
类别级对比损失定义如下:
Scls(hi,a+)＝exp(F(hi,a+)/τs)
其中，τs>0是类别级对比学习的温度系数；a+代表与属性描述a具有相同属性标签的正样本；Scls(hi,a+)为类别级处理；Lcls(hi,a+)类别级正样本对比损失；Scls(hi,as)为类别级处理；as为第s个属性描述，S为属性描述个数；
步骤二二四、将实例级对比损失Lins和类级对比损失Lcls整合到对抗生成网络模型中；
为了训练鉴别器，直接将对比损失和分类损失结合起来；
L′D＝LD+Lins(x,t)+Lcls(x,t,y)
所述LD为鉴别器的损失函数；L′D为鉴别器新的损失函数；x为真实文本，t为目标，y为立场标签；
将L′D作为鉴别器新的损失函数，对生成器损失函数中奖励信号进行更新，获得生成器新的损失函数；
步骤二二五、在生成器和鉴别器同时满足以下目标函数对抗生成网络模型达到鞍点时，获得训练好的对抗生成网络模型：
其中，为鉴别器Dφ期望，/>为生成器期望。
4.根据权利要求3所述的基于混合对比学习和生成式数据增强的零样本文本立场检测方法，其特征在于：所述步骤二二一中将每个真实文本x输入编码器E编码得到相应的嵌入hi，然后进一步输入到投影函数H中得到表示zi；表达式为：
zi＝H(hi)＝H(E(x))
其中，zi为第i个每个真实文本对应的表示。
5.根据权利要求4所述的基于混合对比学习和生成式数据增强的零样本文本立场检测方法，其特征在于：所述步骤二二三中鉴别网络F(hi,a)为线性层，F(hi,a)代表将hi,a输入线性层的输出。
6.根据权利要求5所述的基于混合对比学习和生成式数据增强的零样本文本立场检测方法，其特征在于：所述步骤二二四中对生成器损失函数中奖励信号进行更新，更新方式如下：
其中，为更新后的奖励信号。
7.根据权利要求6所述的基于混合对比学习和生成式数据增强的零样本文本立场检测方法，其特征在于：所述将目标和随机立场输入最终训练好的对抗生成网络模型，输出文本，将输出文本输入立场分类层获得待测文本xi的立场标签yi：具体过程为：
通过分类器获得待测文本xi的立场标签yi：
yi＝W1(W2xi+b1)+b2
其中，y是作为输出的文本立场标签，W1、W2是权重矩阵，b1,b2是偏差。
8.根据权利要求7所述的基于混合对比学习和生成式数据增强的零样本文本立场检测方法，其特征在于：所述立场分类层由基于BERT的文本编码器和一个多层感知机构成。
9.基于混合对比学习和生成式数据增强的零样本文本立场检测系统，其特征在于：所述系统用于执行权利要求1至权利要求8之一所述的基于混合对比学习和生成式数据增强的零样本文本立场检测方法。
10.一种存储介质，其特征在于，所述存储介质中存储有至少一条指令，所述至少一条指令由处理器加载并执行以实现如权利要求1至权利要求8之一所述的基于混合对比学习和生成式数据增强的零样本文本立场检测方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211517007.1A CN115758159B (zh) | 2022-11-29 | 2022-11-29 | 基于混合对比学习和生成式数据增强的零样本文本立场检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211517007.1A CN115758159B (zh) | 2022-11-29 | 2022-11-29 | 基于混合对比学习和生成式数据增强的零样本文本立场检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115758159A CN115758159A (zh) | 2023-03-07 |
| CN115758159B true CN115758159B (zh) | 2023-07-21 |
Family
ID=85341528
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211517007.1A Active CN115758159B (zh) | 2022-11-29 | 2022-11-29 | 基于混合对比学习和生成式数据增强的零样本文本立场检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115758159B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115880698B (zh) * | 2023-03-08 | 2023-05-16 | 南昌航空大学 | 基于微博发帖内容与社交行为特征的抑郁情绪识别方法 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109598279A (zh) * | 2018-09-27 | 2019-04-09 | 天津大学 | 基于自编码对抗生成网络的零样本学习方法 |
| CN112766386A (zh) * | 2021-01-25 | 2021-05-07 | 大连理工大学 | 一种基于多输入多输出融合网络的广义零样本学习方法 |
| CN113222002A (zh) * | 2021-05-07 | 2021-08-06 | 西安交通大学 | 一种基于生成式鉴别性对比优化的零样本分类方法 |
| CN114037879A (zh) * | 2021-10-22 | 2022-02-11 | 北京工业大学 | 一种面向零样本识别的字典学习方法及装置 |
| CN114187493A (zh) * | 2021-12-08 | 2022-03-15 | 大连理工大学 | 一种基于生成对抗网络的零样本学习算法 |
| CN114386534A (zh) * | 2022-01-29 | 2022-04-22 | 安徽农业大学 | 一种基于变分自编码器和对抗生成网络的图像增广模型训练方法及图像分类方法 |
| CN115331004A (zh) * | 2022-07-27 | 2022-11-11 | 北京航空航天大学 | 一种基于有意义学习的零样本语义分割方法及装置 |
-
2022
- 2022-11-29 CN CN202211517007.1A patent/CN115758159B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109598279A (zh) * | 2018-09-27 | 2019-04-09 | 天津大学 | 基于自编码对抗生成网络的零样本学习方法 |
| CN112766386A (zh) * | 2021-01-25 | 2021-05-07 | 大连理工大学 | 一种基于多输入多输出融合网络的广义零样本学习方法 |
| CN113222002A (zh) * | 2021-05-07 | 2021-08-06 | 西安交通大学 | 一种基于生成式鉴别性对比优化的零样本分类方法 |
| CN114037879A (zh) * | 2021-10-22 | 2022-02-11 | 北京工业大学 | 一种面向零样本识别的字典学习方法及装置 |
| CN114187493A (zh) * | 2021-12-08 | 2022-03-15 | 大连理工大学 | 一种基于生成对抗网络的零样本学习算法 |
| CN114386534A (zh) * | 2022-01-29 | 2022-04-22 | 安徽农业大学 | 一种基于变分自编码器和对抗生成网络的图像增广模型训练方法及图像分类方法 |
| CN115331004A (zh) * | 2022-07-27 | 2022-11-11 | 北京航空航天大学 | 一种基于有意义学习的零样本语义分割方法及装置 |
Non-Patent Citations (3)
| Title |
|---|
| Contrastive Embedding for Generalized Zero-Shot Learning;Zongyan Han et al;《arXiv:2103.16173v1》;第1-11页 * |
| Zero-shot stance detection based on cross-domain feature enhancement by contrastive learning;Xuechen Zhao et al;《patarXiv: 2210.03380v1》;第1-9页 * |
| 基于去冗余特征和语义关系约束的零样本属性识别;张桂梅等;《模式识别与人工智能》;第第34卷卷(第第9期期);第809-823页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115758159A (zh) | 2023-03-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110866140B (zh) | 图像特征提取模型训练方法、图像搜索方法及计算机设备 | |
| Huang et al. | Instance-aware image and sentence matching with selective multimodal lstm | |
| CN109271539B (zh) | 一种基于深度学习的图像自动标注方法及装置 | |
| CN112966074A (zh) | 一种情感分析方法、装置、电子设备以及存储介质 | |
| CN113297369B (zh) | 基于知识图谱子图检索的智能问答系统 | |
| Plummer et al. | Revisiting image-language networks for open-ended phrase detection | |
| CN112085120B (zh) | 多媒体数据的处理方法、装置、电子设备及存储介质 | |
| CN116992007B (zh) | 基于问题意图理解的限定问答系统 | |
| CN116935170B (zh) | 视频处理模型的处理方法、装置、计算机设备和存储介质 | |
| CN115758159B (zh) | 基于混合对比学习和生成式数据增强的零样本文本立场检测方法 | |
| CN116975350A (zh) | 图文检索方法、装置、设备及存储介质 | |
| CN113934835B (zh) | 结合关键词和语义理解表征的检索式回复对话方法及系统 | |
| CN117437461A (zh) | 一种面向开放世界的图像描述生成方法 | |
| CN117453949A (zh) | 一种视频定位方法以及装置 | |
| CN117150069A (zh) | 基于全局与局部语义对比学习的跨模态检索方法及系统 | |
| CN117216617A (zh) | 文本分类模型训练方法、装置、计算机设备和存储介质 | |
| CN116485943A (zh) | 图像生成方法、电子设备及存储介质 | |
| Liang et al. | AMEMD-FSL: fuse attention mechanism and earth mover’s distance metric network to deep learning for few-shot image recognition | |
| CN117746441B (zh) | 一种视觉语言理解方法、装置、设备及可读存储介质 | |
| CN117556275B (zh) | 相关度模型数据处理方法、装置、计算机设备和存储介质 | |
| CN117765450B (zh) | 一种视频语言理解方法、装置、设备及可读存储介质 | |
| CN113792703B (zh) | 一种基于Co-Attention深度模块化网络的图像问答方法及装置 | |
| Zhou et al. | Increasing naturalness of human–machine dialogue: The users’ choices inference of options in machine-raised questions | |
| Bhalekar et al. | Review on latest approaches used in Natural Language Processing for generation of Image Captioning | |
| Huang | Application Analysis of Music Video Retrieval Technology Based on Dynamic Programming in Piano Performance Teaching |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |