CN115860009B - 一种引入辅助样本进行对比学习的句子嵌入方法及系统 - Google Patents

一种引入辅助样本进行对比学习的句子嵌入方法及系统 Download PDF

Info

Publication number
CN115860009B
CN115860009B CN202310166215.XA CN202310166215A CN115860009B CN 115860009 B CN115860009 B CN 115860009B CN 202310166215 A CN202310166215 A CN 202310166215A CN 115860009 B CN115860009 B CN 115860009B
Authority
CN
China
Prior art keywords
sample
samples
sentence
neutral
introducing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310166215.XA
Other languages
English (en)
Other versions
CN115860009A (zh
Inventor
韩中元
张智杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Foshan University
Original Assignee
Foshan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Foshan University filed Critical Foshan University
Priority to CN202310166215.XA priority Critical patent/CN115860009B/zh
Publication of CN115860009A publication Critical patent/CN115860009A/zh
Application granted granted Critical
Publication of CN115860009B publication Critical patent/CN115860009B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Machine Translation (AREA)
  • Electrically Operated Instructional Devices (AREA)

Abstract

本发明提供了一种引入辅助样本进行对比学习的句子嵌入方法及系统,CLVNS包括如下两个部分即构建中性样本的部分和引入中性样本进行学习的部分;首先,随机扰乱原始输入的token embedding空间分布,再利用虚拟标签进行梯度下降,从而构造一种有效的中性样本;然后,将对比损失与排序损失相结合进行联合训练,采用对比损失使得一个样本更接近其中性样本;排序损失被重新定义,以将一个样本和它的负样本分开;由此,能够较好的提高句向量的泛化性,从而生成更好的句子表征。

Description

一种引入辅助样本进行对比学习的句子嵌入方法及系统
技术领域
本发明属于机器学习领域,具体涉及一种引入辅助样本进行对比学习的句子嵌入方法及系统。
背景技术
近年来,基于bert的预训练语言模型在有监督任务下取得了较好的性能,而不经过微调的句子嵌入被证明质量较低。生成良好的句子嵌入对于提高下游任务的性能至关重要,特别是在大规模的语义相似度比较中。为此,有研究者们提出SimCSE,一种对比学习框架,在无监督的情况下,能够生成良好的句向量。具体做法是将句子本身作为正样本,同个batch内的其他样本作为负样本。但是,这种将自身作为正样本的做法,终究缺乏一定的泛化性能。
发明内容
本发明的目的在于提出一种引入辅助样本进行对比学习的句子嵌入方法及系统,以解决现有技术中所存在的一个或多个技术问题,至少提供一种有益的选择或创造条件。
CLVNS(Contrastive Learning with Virtual Neutral Samples)为一种无监督句子表征方法,通过引入中性样本来进行对比学习。类中性样本能够增加句子表示的泛化性,从而得到更好的句子表征。首先,随机扰乱原始输入的token embedding空间分布,再利用虚拟标签进行梯度下降,从而构造一种有效的中性样本;然后,将对比损失与排序损失相结合进行联合训练,采用对比损失使得一个样本更接近其中性样本;排序损失被重新定义,以将一个样本和它的负样本分开。CLVNS利用中性样本优化句子表示,使模型几乎不依赖于构建正样本。在评估了CLVNS在标准语义文本相似(STS)任务中的性能后,实验结果表明,CLVNS的性能优于一系列有竞争力的基线。
本发明提供了一种引入辅助样本进行对比学习的句子嵌入方法及系统,其中,CLVNS包括如下两个部分即构建中性样本的部分和引入中性样本进行学习的部分,具体为:首先,随机扰乱原始输入的token embedding空间分布,再利用虚拟标签进行梯度下降,从而构造一种有效的中性样本;然后,将对比损失与排序损失相结合进行联合训练,采用对比损失使得一个样本更接近其中性样本;排序损失被重新定义,以将一个样本和它的负样本分开。
为了实现上述目的,根据本发明的一方面,提供一种引入辅助样本进行对比学习的句子嵌入方法,所述一种引入辅助样本进行对比学习的句子嵌入方法中包括模型CLVNS,所述CLVNS包括如下两个部分即构建中性样本的部分和引入中性样本进行学习的部分。
进一步地,所述CLVNS使用原生编码器生成与SimCSE相同的样本,其中,所述样本包括正样本和负样本,其中还包括虚拟编码器,所述虚拟编码器是指用于生成中性样本的编码器。
进一步地,在所述构建中性样本的部分中,使用了一种特殊的无监督句子表征:
在所述一种特殊的无监督句子表征任务中,目标为检测两个句子的语义是否相关,利用对比学习构造正样本和负样本时,其标签为0或1,当标签为1时,两个句子表达同一个语义,当标签为0时,代表两个句子语义毫不相关;
在所述一种引入辅助样本进行对比学习的句子嵌入方法中还使用了一种特殊的虚拟训练,所述一种特殊的虚拟训练的方法具体为:设立虚拟标签0.5,为使两个句子的语义能够仅有一点相关,从而构造中性样本,如此构造中性样本的过程称为虚拟训练;在所述一种特殊的虚拟训练的过程中,将输入层的token embedding取出,添加均匀分布随机数,扰乱原有的空间分布,再与原token embedding进行相似度计算,并利用MSE损失进行梯度下降,使其相似度与虚拟标签的一致性在概率上最大化,经过一轮梯度下降后,更新后的token embedding即为中性样本对应的token embedding,其最后输出的CLS即为中性样本的句向量。
进一步地,在所述引入中性样本进行学习的部分中,CLVNS模型由联合损失L进行训练,所述联合损失L的计算公式为:L=LRC+LAux*γ,
其中,以LAux表示排序损失,排序损失将一个样本和其负样本推开,以所述LRC作为训练的主要任务;
以LAux表示附加损失,附加损失将一个样本和其中性样本的距离拉近,以所述LAux为训练的附加任务,γ为权重系数;
LAux的计算公式为:
Figure GDA0004160859080000021
其中,N表示batch size的大小,i和j表示样本id,A表示集合{(0,2),(1,2),(2,0),(2,1)},以(a,β)表示从A集合中取出的四种情况,即为样本选取;h表示句向量,h0和h1表示由原生编码器生成的正样本,h2表示中性样本,τ表示温度系数,sim(,)表示余弦相似度函数,公式中log函数里面的分子的自然常数e的指数里面的带有上标α、β以及下标i、j的两个h变量之间通过相似度sim获取的相似度(ha i,hβ j)表示的是,第i个样本衍生出的四种情况,通过上标的α和β来表示α和β的组合为(α,β)∈{(0,2),(1,2),(2,0),(2,1)}的情况,分母中同理i和j的下标表示样本的id(即序号);所述附加任务利用三种样本,计算每个句子样本与(3N-1)个其他样本的相似度,计算同一批内两个句向量之间(即h表示的句向量之间)的余弦相似度形成相似度矩阵;
LRank(LRank也可记作LRC)的计算公式为:
Figure GDA0004160859080000031
其中,作为所述标签,h上面可以同时有0和1,是表达两组(0,1)的排列组合,即2*2=4种排列,h也可以仅有0或1的上标则表示上面(0,1)的排列组合中其中选取的一种组合,上标的0、1还可以表示排列组合中对h的具体数值的抽样并且编号,即是说抽样出来两个变量h的具体数值分别标号上0、1然后进行排列组合以方便计算相似度的数值;
将句子本身作为正样本,同批内的其他样本作为负样本,设置一个超参数λ来选择特定的样本对参与训练,通过同一批内的两个句向量计算余弦相似度,形成相似度矩阵。
其中,未定义具体数值的变量可以使用预设的阈值进行调控以方便实施中的参数优化,(例如上述各系数、阈值、权重等)这样有利于进行对照实验中对神经网络模型进行调参,因为本方法需要对辅助样本的采样进行多次的重复的调控来调整神经网络模型,以此加快操作流程。
本发明还提供了一种引入辅助样本进行对比学习的句子嵌入系统,所述一种引入辅助样本进行对比学习的句子嵌入系统包括:处理器、存储器及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现所述一种引入辅助样本进行对比学习的句子嵌入方法中的步骤,所述一种引入辅助样本进行对比学习的句子嵌入系统可以运行于桌上型计算机、笔记本电脑、掌上电脑及云端数据中心等计算设备中,可运行的系统可包括,但不仅限于,处理器、存储器、服务器集群。
本发明的有益效果为:本发明提供了一种引入辅助样本进行对比学习的句子嵌入方法及系统,CLVNS包括如下两个部分即构建中性样本的部分和引入中性样本进行学习的部分;首先,随机扰乱原始输入的token embedding空间分布,再利用虚拟标签进行梯度下降,从而构造一种有效的中性样本;然后,将对比损失与排序损失相结合进行联合训练,采用对比损失使得一个样本更接近其中性样本;排序损失被重新定义,以将一个样本和它的负样本分开;由此,能够较好的提高句向量的泛化性,从而生成更好的句子表征。
附图说明
通过对结合附图所示出的实施方式进行详细说明,本发明的上述以及其他特征将更加明显,本发明附图中相同的参考标号表示相同或相似的元素,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图,在附图中:
图1所示为附加任务中利用三种样本计算每个句子样本与(3N-1)个其他样本的相似度的示意图;
图2所示为将句子本身作为正样本而同批内的其他样本作为负样本并设置一个超参数来选择特定的样本对参与训练的示意图;
图3所示为实验结果数据结果对比表。
图4所示为展示了对比损失、排序损失和辅助损失三者之间不同组合的对比表。
图5所示为将不加中性样本情况下的性能与利用均匀分布和正态分布所生成的随机数来作为另外两种中性样本来和本发明所述方法进行对比的对比表。
具体实施方式
以下将结合实施例和附图对本发明的构思、具体结构及产生的技术效果进行清楚、完整的描述,以充分地理解本发明的目的、方案和效果。需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。
在本发明的描述中,若干的含义是一个或者多个,多个的含义是两个以上,大于、小于、超过等理解为不包括本数,以上、以下、以内等理解为包括本数。如果有描述到第一、第二只是用于区分技术特征为目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量或者隐含指明所指示的技术特征的先后关系。
一种引入辅助样本进行对比学习的句子嵌入方法,所述一种引入辅助样本进行对比学习的句子嵌入方法中包括模型CLVNS,所述CLVNS包括如下两个部分即构建中性样本的部分和引入中性样本进行学习的部分,其中使用原生编码器生成与SimCSE相同的样本,包括正样本和负样本,虚拟编码器是指用于生成中性样本的编码器。
进一步地,所述CLVNS使用原生编码器生成与SimCSE相同的样本,其中,所述样本包括正样本和负样本,其中还包括虚拟编码器,所述虚拟编码器是指用于生成中性样本的编码器。
进一步地,在所述构建中性样本的部分中,使用了一种特殊的无监督句子表征:
在所述一种特殊的无监督句子表征任务中,目标为检测两个句子的语义是否相关,利用对比学习构造正样本和负样本时,其标签为0或1,当标签为1时,两个句子表达同一个语义,当标签为0时,代表两个句子语义毫不相关;
在所述一种引入辅助样本进行对比学习的句子嵌入方法中还使用了一种特殊的虚拟训练,所述一种特殊的虚拟训练的方法具体为:设立虚拟标签0.5,为使两个句子的语义能够仅有一点相关,从而构造中性样本,该过程称为虚拟训练;在所述一种特殊的虚拟训练的过程中,将输入层的token embedding取出,添加均匀分布随机数,扰乱原有的空间分布,再与原token embedding进行相似度计算,并利用MSE损失进行梯度下降,使其相似度与虚拟标签的一致性在概率上最大化,经过一轮梯度下降后,更新后的token embedding即为中性样本对应的token embedding,其最后输出的CLS即为中性样本的句向量。
进一步地,在所述引入中性样本进行学习的部分中,CLVNS模型由联合损失L进行训练,所述联合损失L的计算公式为:
Figure GDA0004160859080000051
其中,以LAux表示排序损失,排序损失将一个样本和其负样本推开,以所述LRC作为训练的主要任务;
以LAux表示附加损失,附加损失将一个样本和其中性样本的距离拉近,以所述LAux为训练的附加任务,γ为权重系数;
LAux的计算公式为:
Figure GDA0004160859080000052
其中,N表示batch size的大小,i和j表示样本id,A表示集合{(0,2),(1,2),(2,0),(2,1)},以(a,β)表示从A集合中取出的四种情况,即为样本选取;h表示句向量,h0和h1表示由原生编码器生成的正样本,h2表示中性样本,τ表示温度系数,sim(,)表示余弦相似度函数,公式中log函数里面的分子的自然常数e的指数里面的带有上标α、β以及下标i、j的两个h变量之间通过相似度sim获取的相似度(ha i,hβ j)表示的是,第i个样本衍生出的四种情况,通过上标的α和β来表示α和β的组合为(α,β)∈{(0,2),(1,2),(2,0),(2,1)}的情况,分母中同理i和j的下标表示样本的id(即序号);所述附加任务利用三种样本,计算每个句子样本与(3N-1)个其他样本的相似度,计算同一批内两个句向量之间(即h表示的句向量之间)的余弦相似度形成相似度矩阵;
LRank(两者等同,LRank也可记作LRC)的计算公式为:
Figure GDA0004160859080000061
将句子本身作为正样本,同批内的其他样本作为负样本,如图1-2所示的2N×2N大小的LRC的相似度矩阵,设置一个超参数λ来选择特定的样本对参与训练,通过同一批内的两个句向量计算余弦相似度,形成相似度矩阵,图1-2中矩阵的填色区域表示为计算损失时所选取的样本。
本发明提供了在具体实施方式中的实验数据:
实验配置:
对于无监督任务,本发明还使用了由SimCSE开源存储库提供的100万个维基百科英语句子的语料库;
本发明使用公开的Senteval评价工具在7个语义文本语义相似度任务上评估本发明的模型,任务包括STS 2012-2016,STS Benchmark和SICK-Relatedness.评价指标为斯皮尔曼相关系数;
在实验中,为了更好的与基线SimCSE对比,本发明遵从SimCSE的设置。本发明同样使用BERTbase和RoBERTbase作为句子的编码器。
实验结果:
本发明将模型的性能与一系列有竞争力的基线做对比,包括SimCSE,IS-BERT,CMLM,DeCLUTR,CT-BERT,SG-OPT和一些后处理方法,例如BERT-flow和BERT-whitening,还有一些最原始的基线,例如averaged GloVe embeddings和averaged first and lastlayer BERT embeddings;
在图3中,展示了实验结果,不同句子表示模型(各种句子表示模型的名字及对应项目列在图3所述表的最左边“Model”一列)在各STS任务(包括各项斯皮尔曼相关性测试,Spearman’s correlation)上的表现,可以看到本发明的模型CLVNS在BERTbase和RoBERTbase上的表现都优于无监督SimCSE,其中图上第一行在“Model”往后的多个以“STS”开头的实验项目表示的是STSbenchmark数据集,所述STSbenchmark数据集是在文本相似度任务上的数据集,所述STSbenchmark数据集里面包括STS12,STS13,STS14,STS15,STS16,STS-B,SICK-R等数据集,从STS12至STS16分别为SemEval比赛2012至2016年的数据集,STS-B和SICK-R也是SemEval比赛数据集,STS-B-dev是STS-B中包括的一组可用于进行测试的数据可以用来测试本发明提供的方法及系统,“Model”一列里面使用的各模型也在STSbenchmark数据集的论文里面有公开(参考文献:[1]Cer D,Diab M,Agirre E,et al.SemEval-2017Task 1:Semantic Textual Similarity Multilingual and Cross-lingual Focused Evaluation[J].2017.;[2]Zhu T,Man L.System description of Semantic Textual Similarity(STS)in the SemEval-2012(Task 6)[C]//Joint Conference on Lexical&Computational Semantics.Association for Computational Linguistics,2013.;[3]Agirre E,Banea C,Cer D,et al.SemEval-2016 Task 1:Semantic Textual Similarity,Monolingual and Cross-Lingual Evaluation[C]//International Workshop onSemantic Evaluation.2016.)。
损失消融:
如图4所示展示了对比损失、排序损失和辅助损失三者之间不同组合的比较,其中LCL表示SimCSE中的对比损失,LRank表示本文所提出的排序损失,LAux表示本文提出的辅助损失。
可以观察到,当只有辅助损失时,效果很差。由于辅助任务也将正样本往中性样本的方向上拉,这有助于提高模型识别正样本对的泛化能力,但也对正样本有一定的负面影响。另外,就负样本而言,负样本会被推得更远,这是本发明想要的积极影响。
为了减轻中性样本的负面影响,同时保留中性样本的积极影响,分别进行了LRank和LCL的实验。结果从图4可看到单独使用时,LRank和LCL有着同样的效果;附加上LAux时,LRank被证实更能够减轻中性样本所带来的负面影响且更多的保留其带来的正面影响。
中性样本:
为了证明增益效果是由中性样本所产生,本发明测试了不加中性样本情况下的性能。而且,本发明利用均匀分布和正态分布所生成的随机数来作为另外两种中性样本,将它们与本发明的方法进行对比,结果如图5所示,证明本发明所述中性样本所带来的增益已经优于现有技术。
可以看出,添加本发明所述方法所构建的中性样本,效果会发生显著变化,用其他随机数构造的中性样本也远不如本发明所述方法的分数优秀。其中,未定义具体数值的变量可使用预设的阈值进行调控以方便实施中的参数优化,如图3-5的测试数据可见,可有利于进行对照实验中对神经网络模型进行调参。因此,本发明所述方法提出的虚拟训练能够生成一种与现有模型相比性能更为领先的中性样本,更有利于在互联网工业生产实践中对社交网络、通信软件的文本数据的数据概率的学习和更新,提供智能化的服务。
所述一种引入辅助样本进行对比学习的句子嵌入系统运行于桌上型计算机、笔记本电脑、掌上电脑或云端数据中心的任一计算设备中,所述计算设备包括:处理器、存储器及存储在所述存储器中并在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现所述一种引入辅助样本进行对比学习的句子嵌入方法中的步骤,可运行的系统可包括,但不仅限于,处理器、存储器、服务器集群。
本发明的实施例提供的一种引入辅助样本进行对比学习的句子嵌入系统,该实施例的一种引入辅助样本进行对比学习的句子嵌入系统包括:处理器、存储器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述一种引入辅助样本进行对比学习的句子嵌入方法实施例中的步骤。
其中,优选地,本发明中所有未定义的变量,若未有明确定义,均可为人工设置的阈值。
所述一种引入辅助样本进行对比学习的句子嵌入系统可以运行于桌上型计算机、笔记本电脑、掌上电脑及云端数据中心等计算设备中。所述一种引入辅助样本进行对比学习的句子嵌入系统包括,但不仅限于,处理器、存储器。本领域技术人员可以理解,所述例子仅仅是一种引入辅助样本进行对比学习的句子嵌入方法及系统的示例,并不构成对一种引入辅助样本进行对比学习的句子嵌入方法及系统的限定,可以包括比例子更多或更少的部件,或者组合某些部件,或者不同的部件,例如所述一种引入辅助样本进行对比学习的句子嵌入系统还可以包括输入输出设备、网络接入设备、总线等。
所称处理器可以是中央处理单元(Central Processing Unit,CPU),还可以是其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立元器件门电路或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等,所述处理器是所述一种引入辅助样本进行对比学习的句子嵌入系统的控制中心,利用各种接口和线路连接整个一种引入辅助样本进行对比学习的句子嵌入系统的各个分区域。
所述存储器可用于存储所述计算机程序和/或模块,所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块,以及调用存储在存储器内的数据,实现所述一种引入辅助样本进行对比学习的句子嵌入方法及系统的各种功能。所述存储器可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外,存储器可以包括高速随机存取存储器,还可以包括非易失性存储器,例如硬盘、内存、插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
本发明提供了一种引入辅助样本进行对比学习的句子嵌入方法及系统,CLVNS包括如下两个部分即构建中性样本的部分和引入中性样本进行学习的部分;首先,随机扰乱原始输入的token embedding空间分布,再利用虚拟标签进行梯度下降,从而构造一种有效的中性样本;然后,将对比损失与排序损失相结合进行联合训练,采用对比损失使得一个样本更接近其中性样本;排序损失被重新定义,以将一个样本和它的负样本分开;由此,能够较好的提高句向量的泛化性,从而生成更好的句子表征。
尽管本发明的描述已经相当详尽且特别对几个所述实施例进行了描述,但其并非旨在局限于任何这些细节或实施例或任何特殊实施例,从而有效地涵盖本发明的预定范围。此外,上文以发明人可预见的实施例对本发明进行描述,其目的是为了提供有用的描述,而那些目前尚未预见的对本发明的非实质性改动仍可代表本发明的等效改动。

Claims (3)

1.一种引入辅助样本进行对比学习的句子嵌入方法,其特征在于,所述一种引入辅助样本进行对比学习的句子嵌入方法中包括模型CLVNS,所述CLVNS包括如下两个部分即构建中性样本的部分和引入中性样本进行学习的部分;
所述CLVNS使用原生编码器生成与SimCSE相同的样本,所述样本包括正样本和负样本,所述CLVNS中还包括虚拟编码器,所述虚拟编码器是指用于生成中性样本的编码器;
在所述构建中性样本的部分中,使用了一种特殊的无监督句子表征:
在一种特殊的无监督句子表征任务中,目标为检测两个句子的语义是否相关,利用对比学习构造正样本和负样本时,其标签为0或1,当标签为1时,两个句子表达同一个语义,当标签为0时,代表两个句子语义毫不相关;
在所述一种引入辅助样本进行对比学习的句子嵌入方法中还使用了一种特殊的虚拟训练,所述一种特殊的虚拟训练的方法具体为:设立虚拟标签0.5,为使两个句子的语义能够仅有一点相关,从而构造中性样本,如此构造中性样本的过程称为虚拟训练;在所述一种特殊的虚拟训练的过程中,将输入层的token embedding取出,添加均匀分布随机数,扰乱原有的空间分布,再与原token embedding进行相似度计算,并利用MSE损失进行梯度下降,使其相似度与虚拟标签的一致性在概率上最大化,经过一轮梯度下降后,更新后的tokenembedding即为中性样本对应的token embedding,其最后输出的CLS即为中性样本的句向量。
2.根据权利要求1所述的一种引入辅助样本进行对比学习的句子嵌入方法,其特征在于,在所述引入中性样本进行学习的部分中,CLVNS模型由联合损失L进行训练,所述联合损失L的计算公式为:
Figure FDA0004160859050000011
其中,以LAux表示排序损失,排序损失将一个样本和其负样本推开,以所述LRC作为训练的主要任务;
以LAux表示附加损失,附加损失将一个样本和其中性样本的距离拉近,以所述LAux为训练的附加任务,γ为权重系数;
LAux的计算公式为:
Figure FDA0004160859050000021
其中,N表示batch size的大小,i和j表示样本id,A表示集合{(0,2),(1,2),(2,0),(2,1)},以(a,β)表示从A集合中取出的四种情况,即为样本选取;h表示句向量,h0和h1表示由原生编码器生成的正样本,h2表示中性样本,τ表示温度系数,sim(,)表示余弦相似度函数;所述附加任务利用三种样本,计算每个句子样本与(3N-1)个其他样本的相似度,计算同一批内两个句向量之间的余弦相似度形成相似度矩阵;
LRC的计算公式为:
Figure FDA0004160859050000022
将句子本身作为正样本,同批内的其他样本作为负样本,设置一个超参数λ来选择特定的样本对参与训练,通过同一批内的两个句向量计算余弦相似度,形成相似度矩阵。
3.一种引入辅助样本进行对比学习的句子嵌入系统,其特征在于,所述一种引入辅助样本进行对比学习的句子嵌入系统运行于桌上型计算机、笔记本电脑或云端数据中心的任一计算设备中,所述计算设备包括:处理器、存储器及存储在所述存储器中并在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如权利要求1至2中任一项所述的一种引入辅助样本进行对比学习的句子嵌入方法中的步骤。
CN202310166215.XA 2023-02-27 2023-02-27 一种引入辅助样本进行对比学习的句子嵌入方法及系统 Active CN115860009B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310166215.XA CN115860009B (zh) 2023-02-27 2023-02-27 一种引入辅助样本进行对比学习的句子嵌入方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310166215.XA CN115860009B (zh) 2023-02-27 2023-02-27 一种引入辅助样本进行对比学习的句子嵌入方法及系统

Publications (2)

Publication Number Publication Date
CN115860009A CN115860009A (zh) 2023-03-28
CN115860009B true CN115860009B (zh) 2023-05-16

Family

ID=85658960

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310166215.XA Active CN115860009B (zh) 2023-02-27 2023-02-27 一种引入辅助样本进行对比学习的句子嵌入方法及系统

Country Status (1)

Country Link
CN (1) CN115860009B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117272979B (zh) * 2023-11-23 2024-02-09 合肥工业大学 一种无监督句子表示方法、装置、计算机设备及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114781651A (zh) * 2022-05-23 2022-07-22 清华大学深圳国际研究生院 基于对比学习的小样本学习鲁棒性提升方法
CN115544179A (zh) * 2022-10-14 2022-12-30 重庆大学 一种基于提示与对比学习的极少样本关系提取方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112598163B (zh) * 2020-12-08 2022-11-22 国网河北省电力有限公司电力科学研究院 一种基于对比学习和度量学习的接地网不开挖腐蚀预测模型
CN113076738A (zh) * 2021-04-09 2021-07-06 北京智谱华章科技有限公司 Gnn编码器及基于图上下文学习的异常点检测方法
JP2022180064A (ja) * 2021-05-24 2022-12-06 キヤノンメディカルシステムズ株式会社 機械学習装置、機械学習方法、機械学習プログラム及び推論装置
US11893347B2 (en) * 2021-06-01 2024-02-06 Sap Se Contrastive meta-learning for zero-shot learning
CN114724043B (zh) * 2022-06-08 2022-09-02 南京理工大学 基于对比学习的自编码器异常检测方法
CN115062602B (zh) * 2022-08-17 2022-11-11 杭州火石数智科技有限公司 对比学习的样本构造方法、装置及计算机设备

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114781651A (zh) * 2022-05-23 2022-07-22 清华大学深圳国际研究生院 基于对比学习的小样本学习鲁棒性提升方法
CN115544179A (zh) * 2022-10-14 2022-12-30 重庆大学 一种基于提示与对比学习的极少样本关系提取方法

Also Published As

Publication number Publication date
CN115860009A (zh) 2023-03-28

Similar Documents

Publication Publication Date Title
CN109344236B (zh) 一种基于多种特征的问题相似度计算方法
CN111444320B (zh) 文本检索方法、装置、计算机设备和存储介质
CN109117483B (zh) 神经网络机器翻译模型的训练方法及装置
CN109840287A (zh) 一种基于神经网络的跨模态信息检索方法和装置
CN109325229B (zh) 一种利用语义信息计算文本相似度的方法
CN110287309B (zh) 快速提取文本摘要的方法
JP5744228B2 (ja) インターネットにおける有害情報の遮断方法と装置
CN111061861B (zh) 一种基于XLNet的文本摘要自动生成方法
JP7309798B2 (ja) 対話意図の認識方法及び装置、電子機器並びに記憶媒体
WO2020004136A1 (ja) 質問応答装置及びコンピュータプログラム
CN110569354B (zh) 弹幕情感分析方法及装置
CN109117474B (zh) 语句相似度的计算方法、装置及存储介质
JP2022050379A (ja) 意味検索方法、装置、電子機器、記憶媒体およびコンピュータプログラム
US20150169539A1 (en) Adjusting Time Dependent Terminology in a Question and Answer System
CN115860009B (zh) 一种引入辅助样本进行对比学习的句子嵌入方法及系统
US10055404B2 (en) Translation apparatus
CN111428490A (zh) 一种利用语言模型的指代消解弱监督学习方法
CN109508460A (zh) 基于主题聚类的无监督作文跑题检测方法及系统
Ki et al. KoTAB: Korean template-based arithmetic solver with BERT
CN110991193B (zh) 一种基于OpenKiWi的翻译矩阵模型选择系统
CN112434134A (zh) 搜索模型训练方法、装置、终端设备及存储介质
CN112328735A (zh) 热点话题确定方法、装置及终端设备
CN111241271B (zh) 文本情感分类方法、装置及电子设备
JP6127778B2 (ja) モデル学習方法、モデル学習プログラム及びモデル学習装置
CN111325015A (zh) 一种基于语义分析的文档查重方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant