CN116484851A - 基于变异字符检测的预训练模型训练方法及装置 - Google Patents
基于变异字符检测的预训练模型训练方法及装置 Download PDFInfo
- Publication number
- CN116484851A CN116484851A CN202310332029.9A CN202310332029A CN116484851A CN 116484851 A CN116484851 A CN 116484851A CN 202310332029 A CN202310332029 A CN 202310332029A CN 116484851 A CN116484851 A CN 116484851A
- Authority
- CN
- China
- Prior art keywords
- sentence
- training
- input
- loss
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012549 training Methods 0.000 title claims abstract description 140
- 238000000034 method Methods 0.000 title claims abstract description 62
- 238000001514 detection method Methods 0.000 title claims abstract description 45
- 239000013598 vector Substances 0.000 claims abstract description 117
- 238000012512 characterization method Methods 0.000 claims abstract description 19
- 230000006870 function Effects 0.000 claims abstract description 19
- 238000004590 computer program Methods 0.000 claims description 18
- 230000000873 masking effect Effects 0.000 claims description 15
- 230000008569 process Effects 0.000 claims description 12
- 210000002569 neuron Anatomy 0.000 claims description 7
- 238000012545 processing Methods 0.000 claims description 5
- 238000010276 construction Methods 0.000 claims description 4
- 238000005516 engineering process Methods 0.000 claims description 4
- 238000003058 natural language processing Methods 0.000 description 10
- 230000007246 mechanism Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 230000035772 mutation Effects 0.000 description 2
- 101100042271 Mus musculus Sema3b gene Proteins 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/279—Recognition of textual entities
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/10—Text processing
- G06F40/194—Calculation of difference between files
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Machine Translation (AREA)
Abstract
本申请提供一种基于变异字符检测的预训练模型训练方法及装置。该方法包括：获取原始句子的数据集，随机选取一个原始句子作为输入句子，构造输入句子的正例句子；将正样本和负样本输入到对比学习损失函数中训练，得到训练后的对比学习损失；生成输入句子的掩码序列，将掩码序列输入到生成器中，得到掩码序列对应的生成序列；将输入句子的句向量与生成序列的句向量拼接，将拼接后的句向量输入到判别器中进行训练，得到训练后的句子差异损失；基于对比学习损失和句子差异损失生成新的损失，利用新的损失对变异字符检测的句子相似度表征模型进行训练。本申请提升预训练模型的准确性，提升模型的泛化能力和灵活性，从而保证检索结果的精度和可靠。
Description
技术领域
本申请涉及计算机技术领域，尤其涉及一种基于变异字符检测的预训练模型训练方法及装置。
背景技术
近年来，自然语言处理(NLP)领域中的预训练模型已经取得了显著的成功。特别是，基于Transformer模型的BERT和GPT-3等超大规模预训练模型，在各种NLP任务中表现出色。受NLP中Transformer模型的启发，计算机视觉分析任务也开始借鉴Transformer模型的思想和方法。在搜索引擎领域，预训练模型可以极大地提高检索任务的性能，提供有用的语义信息和更多的背景信息，从而使搜索结果更加准确。
然而，使用预训练模型在搜索引擎中也存在一些挑战。主要问题包括：模型可能过拟合，学习到训练数据中的噪声，降低模型的准确性；搜索文本的局部细微差别可能被忽略，导致搜索结果不准确，降低模型的泛化能力和灵活性。另外，预训练模型(比如BERT)在检索任务中存在一定的问题，用句子相似度分类任务训练的BERT模型在检索的时候倾向在文本中搜索特定的词和句子整体语义，难以考虑文本的细节区别，从而导致检索结果精度和可靠性下降。
发明内容
有鉴于此，本申请实施例提供了一种基于变异字符检测的预训练模型训练方法及装置，以解决现有技术存在的预训练模型的准确性降低，泛化能力和灵活性较差，导致检索结果精度和可靠性下降的问题。
本申请实施例的第一方面，提供了一种基于变异字符检测的预训练模型训练方法，包括：获取原始句子的数据集，随机选取一个原始句子作为输入句子，构造输入句子的正例句子；将输入句子的句向量与正例句子的句向量作为正样本，将输入句子的句向量与其他句子的句向量作为负样本，将正样本和负样本输入到对比学习损失函数中训练，得到训练后的对比学习损失；对输入句子进行随机掩码，生成输入句子的掩码序列，将掩码序列输入到生成器中，得到掩码序列对应的生成序列；将输入句子的句向量与生成序列的句向量拼接，将拼接后的句向量输入到判别器中进行训练，得到训练后的句子差异损失，句子差异损失用于表征输入句子的句向量与生成序列的句向量之间的差异；基于对比学习损失和句子差异损失生成新的损失，利用新的损失对变异字符检测的句子相似度表征模型进行训练。
本申请实施例的第二方面，提供了一种基于变异字符检测的预训练模型训练装置，包括：构造模块，被配置为获取原始句子的数据集，随机选取一个原始句子作为输入句子，构造输入句子的正例句子；第一训练模块，被配置为将输入句子的句向量与正例句子的句向量作为正样本，将输入句子的句向量与其他句子的句向量作为负样本，将正样本和负样本输入到对比学习损失函数中训练，得到训练后的对比学习损失；生成模块，被配置为对输入句子进行随机掩码，生成输入句子的掩码序列，将掩码序列输入到生成器中，得到掩码序列对应的生成序列；第二训练模块，被配置为将输入句子的句向量与生成序列的句向量拼接，将拼接后的句向量输入到判别器中进行训练，得到训练后的句子差异损失，句子差异损失用于表征输入句子的句向量与生成序列的句向量之间的差异；第三训练模块，被配置为基于对比学习损失和句子差异损失生成新的损失，利用新的损失对变异字符检测的句子相似度表征模型进行训练。
本申请实施例的第三方面，提供了一种电子设备，包括存储器，处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行程序时实现上述方法的步骤。
本申请实施例的第四方面，提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，该计算机程序被处理器执行时实现上述方法的步骤。
本申请实施例采用的上述至少一个技术方案能够达到以下有益效果：
通过获取原始句子的数据集，随机选取一个原始句子作为输入句子，构造输入句子的正例句子；将输入句子的句向量与正例句子的句向量作为正样本，将输入句子的句向量与其他句子的句向量作为负样本，将正样本和负样本输入到对比学习损失函数中训练，得到训练后的对比学习损失；对输入句子进行随机掩码，生成输入句子的掩码序列，将掩码序列输入到生成器中，得到掩码序列对应的生成序列；将输入句子的句向量与生成序列的句向量拼接，将拼接后的句向量输入到判别器中进行训练，得到训练后的句子差异损失，句子差异损失用于表征输入句子的句向量与生成序列的句向量之间的差异；基于对比学习损失和句子差异损失生成新的损失，利用新的损失对变异字符检测的句子相似度表征模型进行训练。本申请提升预训练模型的准确性，提升模型的泛化能力和灵活性，从而保证检索结果的精度和可靠性。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1是本申请实施例提供的基于变异字符检测的预训练模型训练方法的流程示意图；
图2是本申请实施例提供的基于变异字符检测的预训练模型训练装置的结构示意图；
图3是本申请实施例提供的电子设备的结构示意图。
具体实施方式
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。
如背景技术所述，近年来，自然语言任务非常依赖预训练模型。Transformer模型在NLP领域获得了巨大的成功，以此为内核的超大规模预训练模型BERT、GPT-3在NLP各个任务中都大放异彩，令人瞩目。NLP中Transformer的启发，计算机视觉分析任务也尝试借鉴了Transformer模型的思想和方法，对数据进行预训练。
在搜索引擎中，也有Transformer模型的影子，使用预训练模型可以极大地提高检索任务的性能，它们可以提供有用的语义信息，以及有关搜索项目的更多背景信息，从而使搜索结果更加准确。此外，预训练模型可以帮助模型更快地收敛，从而节省时间。
但是，使用预训练模型也存在一些挑战。首先，预训练模型可能会导致模型过拟合，因为它们参数量巨大，很可能会学习到训练数据中的噪声，从而降低模型的准确性。此外，预训练模型可能会忽略搜索文本的局部细微差别，从而导致搜索结果不准确。
当前检索任务使用的预训练模型是BERT(Bidirectional Encoder Representations from Transformers)，该预训练模型由Google AI研究小组提出，是基于Transformer架构的双向语言模型，可以被用于自然语言处理(NLP)任务的预训练。
BERT的主要构成是一个Transformer编码器，它可以捕捉句子中的双向语义关系。Transformer编码器是一种基于注意力机制的深度神经网络架构，它可以捕捉句子中的依赖关系，从而更好地理解句子的语义。BERT的预训练方式比传统的词嵌入(wordembedding)和语言模型(language model)更加先进，可以用于许多NLP任务，比如问答(question answering)、语义相似度(sema ntic similarity)、句子分类(sentenceclassification)。
但是，BERT在检索任务中存在一定的问题，用句子相似度分类任务训练的BERT模型在检索的时候倾向在文本中搜索特定的词和句子整体语义，难以考虑文本的细节区别，从而导致检索结果精度和可靠性下降。
有鉴于此，本申请实施例为解决上述问题，提供了一种基于变异字符检测的预训练模型训练方法，通过获取原始句子的数据集，随机选取一个原始句子作为输入句子，构造输入句子的正例句子。将输入句子的句向量与正例句子的句向量作为正样本，将输入句子的句向量与其他句子的句向量作为负样本。将正样本和负样本输入到对比学习损失函数中训练，得到训练后的对比学习损失。对输入句子进行随机掩码，生成输入句子的掩码序列。将掩码序列输入到生成器中，得到掩码序列对应的生成序列。将输入句子的句向量与生成序列的句向量拼接，将拼接后的句向量输入到判别器中进行训练。得到训练后的句子差异损失，该损失用于表征输入句子的句向量与生成序列的句向量之间的差异。基于对比学习损失和句子差异损失生成新的损失。利用新的损失对变异字符检测的句子相似度表征模型进行训练。
可见，本申请技术方案通过在预训练模练过程中新增变异字符检测任务，提升了模型的准确度和鲁棒性。这种方法克服了现有BERT模型在检索任务中存在的问题，例如，难以考虑文本的细节区别，从而导致检索结果精度和可靠性下降。通过对比学习损失和句子差异损失的结合，本申请的方法能够更好地捕捉输入句子与生成序列之间的差异，从而提高检索任务的准确性和鲁棒性。
下面结合附图以及具体实施例对本申请技术方案的内容进行详细描述。
图1是本申请实施例提供的基于变异字符检测的预训练模型训练方法的流程示意图。图1的基于变异字符检测的预训练模型训练方法可以由服务器执行。如图1所示，该基于变异字符检测的预训练模型训练方法具体可以包括：
S101，获取原始句子的数据集，随机选取一个原始句子作为输入句子，构造输入句子的正例句子；
S102，将输入句子的句向量与正例句子的句向量作为正样本，将输入句子的句向量与其他句子的句向量作为负样本，将正样本和负样本输入到对比学习损失函数中训练，得到训练后的对比学习损失；
S103，对输入句子进行随机掩码，生成输入句子的掩码序列，将掩码序列输入到生成器中，得到掩码序列对应的生成序列；
S104，将输入句子的句向量与生成序列的句向量拼接，将拼接后的句向量输入到判别器中进行训练，得到训练后的句子差异损失，句子差异损失用于表征输入句子的句向量与生成序列的句向量之间的差异；
S105，基于对比学习损失和句子差异损失生成新的损失，利用新的损失对变异字符检测的句子相似度表征模型进行训练。
具体地，本申请实施例提出了一种基于变异字符检测(DiffCSE)的预训练模型。通过使用基于dropout、masks机制的增强作为不敏感转换学习对比学习损失和基于MLM语言模型进行词语替换的方法作为变异检测任务，侦测原始句子与编辑句子之间的差异，共同优化句向量表征。
进一步地，本申请基于变异字符检测的预训练模型包括一个标准的SimCSE模型(即对比学习模型)和一个带条件的句子差异预测模型。标准的SimCSE模型是一种无监督的句子表示学习方法，它通过对比学习训练一个编码器，使得相似的句子具有相似的向量表示。
在一些实施例中，构造输入句子的正例句子，包括：利用正则化技术在每次迭代训练过程中随机丢弃一部分神经元，将被丢弃的神经元的输出设置为0，其中，正则化技术用于构造输入句子的正例句子。
具体地，本申请实施例利用dropout机制来构造输入句子的正例句子。在神经网络训练过程中，dropout可以认为是一种正则化技术，用于防止过拟合。它的作用是在每次迭代训练过程中随机“丢弃”一部分神经元(即将它们的输出设置为0)，从而让网络变得更加稀疏，增强泛化能力。通过dropout机制
进一步地，给定一个输入句子x用于作为训练模型的输入句子。通过dropout机制构造一个正例x+，在SimCSE模型中，使用dropout机制创建一个与输入句子x相似但略有不同的正例x+，将其他句子的表征句向量视为负样本。即将输入句子与正例句作为正样本，原始句子与其他句子之间为负样本。
在一些实施例中，在将正样本和负样本输入到对比学习损失函数中训练之前，该方法还包括：将输入句子作为BERT编码器的输入，利用BERT编码器输出输入句子的句向量，利用词嵌入方法或者语言模型获取正例句子及其他句子的句向量。
具体地，BERT编码器用于将输入句子编码为向量表示，用公式表示为：h＝f(x)，也就是说，使用BERT编码器获取原始句子的句向量。SimCSE模型的训练目标是使得输入句子x和正例句子x+的向量表示尽可能接近(具有高余弦相似度)，而与负样本的向量表示尽可能远离(具有低余弦相似度)。因此，将SimCSE模型的对比学习损失函数表示为：
其中，Lcontrast表示对比学习损失，N表示训练输入的句子数量，sim(.,.)表示余弦相似度，τ表示温度参数。
根据本申请实施例提供的技术方案，给定一个输入句子x，SimCSE模型通过dropout机制构造一个正例句子x+，使用BERT编码器获取输入句子x的句向量h＝f(x)。SimCSE模型通过对比学习，训练一个编码器，使得相似的句子具有相似的向量表示。模型的训练目标是使输入句子x和正例句子x+之间的向量表示具有高余弦相似度，而与负样本的向量表示具有低余弦相似度。
在一些实施例中，将掩码序列输入到生成器中，得到掩码序列对应的生成序列，包括：使用预训练的句子差异预测模型的生成器对掩码序列进行处理，通过掩码序列生成输入句子中被掩盖的词汇，得到新的生成序列，其中，生成器采用MLM预训练语言模型。
具体地，本申请实施例使用masks机制生成输入句子的掩码序列，在自然语言处理任务中，masks通常用于遮盖(掩盖)输入序列中的某些部分，以便让模型关注其他部分。例如，在BERT模型的预训练阶段，masks被用于随机遮盖一些词，让模型根据上下文来预测这些被遮盖的词。使用MLM预训练语言模型作为生成器，生成器通过掩码序列x'生成被掩盖的词汇，得到新的句子x″(即生成序列)。
进一步地，带条件的句子差异预测模型采用预训练的ELECTRA模型架构，它包含生成器和判别器。生成器负责生成可能的词汇，判别器负责判断生成的词汇是否是原始句子中的真实词汇。在实际应用中，给定一个长度为T的句子，x＝[x1,x2,...,xT]，生成一个随机掩码序列m＝[m1,m2,...,mT]，其中mt∈[0,1]。使用MLM预训练语言模型作为生成器G，通过掩码序列x′来生成句子中被掩掉的token，获取生成序列x″。然后使用判别器D进行替换token检测，也就是预测哪些token是被替换的，其训练目标是降低被编辑句子中每个词的替换预测的分类问题的交叉熵的平均值，表示为Loss_disc。
在一些实施例中，将输入句子的句向量与生成序列的句向量拼接，将拼接后的句向量输入到判别器中进行训练，得到训练后的句子差异损失，包括：将输入句子的句向量放置在生成序列的句向量的前面，以便将输入句子的句向量与生成序列的句向量拼接，利用拼接后的句向量对预训练的句子差异预测模型的判别器进行训练，训练目标为降低被编辑句子中每个词的替换预测的分类问题的交叉熵的平均值。
具体地，为了使判别器D的损失可以传播的编码器f中，将输入句子的句向量h拼接到判别器D的输入中(x″的输入文本经过词嵌入映射后，获得一系列embedding向量，将句子编码器的句向量h放到整个句子开头，使得整个输入多了一个embedding后继续后面的训练过程)，辅助进行变异检测任务，这样做可以鼓励编码器f使h信息量足够大，从而使判别器D能够区分x和x″之间的微小差别。也就是说，本申请实施例为了让编码器的损失传播到判别器D，将编码器输出的句向量h添加到判别器D的输入中。这样做可以鼓励编码器f使h信息量足够大，使判别器D能够区分输入句子x与生成序列x″之间的微小差别。
进一步地，本申请实施例基于MLM(掩码语言模型)进行词语替换。MLM是BERT预训练模型的关键组成部分，在MLM任务中，模型的输入文本中的一部分词汇被随机替换为特殊的掩码符号(如"[MASK]")。模型的目标是根据剩余未被掩盖的上下文来预测这些被掩盖的词汇。通过这种方式，模型可以学习到文本中的语义和语法信息。也就是说，通过随机掩盖输入文本中的一部分词汇，让模型关注其他未被掩盖的部分，并尝试预测被掩盖的词汇。这样，模型能够更好地理解文本的语义和语法结构。
在一些实施例中，基于对比学习损失和句子差异损失生成新的损失，利用新的损失对变异字符检测的句子相似度表征模型进行训练，包括：将对比学习损失与句子差异损失通过权重进行计算得到新的损失，在训练变异字符检测的句子相似度表征模型时，固定生成器的参数，利用新的损失来优化BERT编码器以及判别器的参数；对变异字符检测的句子相似度表征模型训练完成后，将训练后的判别器丢弃，使用训练后的BERT编码器提取句子嵌入，以用于对下游任务进行评价或推理。
具体地，当训练变异字符检测的句子相似度表征模型(即DiffCSE模型)时，本申请实施例将固定生成器G的参数，只有句子编码器f和鉴别器D得到优化。训练结束后，丢弃鉴别器D，只使用句子编码器f提取句子嵌入对下游任务进行评价或推理。最终将两个loss通过权重λ将其结合：Loss＝Lcontrast+λLoss_disc，训练直到模型收敛，就得到了一个更良好的句子相似度表征模型。也就是说，本申请实施例在训练DiffCSE模型时，通过固定生成器G参数，只优化句子编码器f和判别器D的参数，在训练结束后，丢弃判别器D，仅使用句子编码器f提取句子嵌入进行评估或推理。
本申请基于变异字符检测的预训练模型有很多优势，通过检测任务识别文本中的变异字符，可以更好地理解文本的意思，捕捉文本的精细语义特征，提高模型的准确性；同时，从不同的语言中都可以学习变异字符的特征，对不同的文本类型和语言都适用，因此，可以更好地应用于多种语言的文本分析任务，模型的泛化能力和灵活性有效提升。另外，本申请的预训练模型可以更好地对句子精细语义结构建模，模型对精细语义差别更加敏感。本申请的预训练模型是基于自监督的变异字符进行检测，无需人工标注，有效降低标注成本。
需要说明的是，本申请实施例中的句子编码器除了可以使用BERT编码器外，还可以使用RoBERTa(Robustly Optimized BERT Pretraining)、ALBERT(A Lite BERT forSelf-supervised Learning of Language Representations)、ELECTRA(EfficientlyLearning an Encoder that Classifies Token Replacements)、T5(Text-To-TextTransfer Transformer)、XLM(Cross-lingual Language Model Pretraining)等其他预训练模型的编码器进行替换。
根据本申请实施例提供的技术方案，本申请提高了预训练模型的准确度和鲁棒性。基于变异字符检测的训练方法可以帮助模型捕捉文本中的局部细微差别，从而避免搜索结果不准确的问题。本申请通过引入变异字符检测任务，可以减小预训练模型学习到训练数据中噪声的可能性，从而降低过拟合风险。本申请利用对比学习损失和句子差异损失的结合，可以帮助模型更快地收敛，从而节省训练时间。本申请的预训练模型不仅适用于搜索引擎领域，还可以广泛应用于自然语言处理、计算机视觉等相关领域，提高各类任务的性能。
下述为本申请装置实施例，可以用于执行本申请方法实施例。对于本申请装置实施例中未披露的细节，请参照本申请方法实施例。
图2是本申请实施例提供的基于变异字符检测的预训练模型训练装置的结构示意图。如图2所示，该基于变异字符检测的预训练模型训练装置包括：
构造模块201，被配置为获取原始句子的数据集，随机选取一个原始句子作为输入句子，构造输入句子的正例句子；
第一训练模块202，被配置为将输入句子的句向量与正例句子的句向量作为正样本，将输入句子的句向量与其他句子的句向量作为负样本，将正样本和负样本输入到对比学习损失函数中训练，得到训练后的对比学习损失；
生成模块203，被配置为对输入句子进行随机掩码，生成输入句子的掩码序列，将掩码序列输入到生成器中，得到掩码序列对应的生成序列；
第二训练模块204，被配置为将输入句子的句向量与生成序列的句向量拼接，将拼接后的句向量输入到判别器中进行训练，得到训练后的句子差异损失，句子差异损失用于表征输入句子的句向量与生成序列的句向量之间的差异；
第三训练模块205，被配置为基于对比学习损失和句子差异损失生成新的损失，利用新的损失对变异字符检测的句子相似度表征模型进行训练。
在一些实施例中，图2的构造模块201利用正则化技术在每次迭代训练过程中随机丢弃一部分神经元，将被丢弃的神经元的输出设置为0，其中，正则化技术用于构造输入句子的正例句子。
在一些实施例中，图2的第一训练模块202在将正样本和负样本输入到对比学习损失函数中训练之前，将输入句子作为BERT编码器的输入，利用BERT编码器输出输入句子的句向量，利用词嵌入方法或者语言模型获取正例句子及其他句子的句向量。
在一些实施例中，图2的第一训练模块202将对比学习损失函数表示为：
其中，Lcontrast表示对比学习损失，N表示训练输入的句子数量，sim(.,.)表示余弦相似度，τ表示温度参数。
在一些实施例中，图2的生成模块203使用预训练的句子差异预测模型的生成器对掩码序列进行处理，通过掩码序列生成输入句子中被掩盖的词汇，得到新的生成序列，其中，生成器采用MLM预训练语言模型。
在一些实施例中，图2的第二训练模块204将输入句子的句向量放置在生成序列的句向量的前面，以便将输入句子的句向量与生成序列的句向量拼接，利用拼接后的句向量对预训练的句子差异预测模型的判别器进行训练，训练目标为降低被编辑句子中每个词的替换预测的分类问题的交叉熵的平均值。
在一些实施例中，图2的第三训练模块205将对比学习损失与句子差异损失通过权重进行计算得到新的损失，在训练变异字符检测的句子相似度表征模型时，固定生成器的参数，利用新的损失来优化BERT编码器以及判别器的参数；对变异字符检测的句子相似度表征模型训练完成后，将训练后的判别器丢弃，使用训练后的BERT编码器提取句子嵌入，以用于对下游任务进行评价或推理。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。
图3是本申请实施例提供的电子设备3的结构示意图。如图3所示，该实施例的电子设备3包括：处理器301、存储器302以及存储在该存储器302中并且可以在处理器301上运行的计算机程序303。处理器301执行计算机程序303时实现上述各个方法实施例中的步骤。或者，处理器301执行计算机程序303时实现上述各装置实施例中各模块/单元的功能。
示例性地，计算机程序303可以被分割成一个或多个模块/单元，一个或多个模块/单元被存储在存储器302中，并由处理器301执行，以完成本申请。一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述计算机程序303在电子设备3中的执行过程。
电子设备3可以是桌上型计算机、笔记本、掌上电脑及云端服务器等电子设备。电子设备3可以包括但不仅限于处理器301和存储器302。本领域技术人员可以理解，图3仅仅是电子设备3的示例，并不构成对电子设备3的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如，电子设备还可以包括输入输出设备、网络接入设备、总线等。
处理器301可以是中央处理单元(Central Processing Unit，CPU)，也可以是其它通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其它可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
存储器302可以是电子设备3的内部存储单元，例如，电子设备3的硬盘或内存。存储器302也可以是电子设备3的外部存储设备，例如，电子设备3上配备的插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)等。进一步地，存储器302还可以既包括电子设备3的内部存储单元也包括外部存储设备。存储器302用于存储计算机程序以及电子设备所需的其它程序和数据。存储器302还可以用于暂时地存储已经输出或者将要输出的数据。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
在本申请所提供的实施例中，应该理解到，所揭露的装置/计算机设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/计算机设备实施例仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，计算机程序可以存储在计算机可读存储介质中，该计算机程序在被处理器执行时，可以实现上述各个方法实施例的步骤。计算机程序可以包括计算机程序代码，计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读介质可以包括：能够携带计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、电载波信号、电信信号以及软件分发介质等。需要说明的是，计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如，在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。
Claims (10)
1.一种基于变异字符检测的预训练模型训练方法，其特征在于，包括：
获取原始句子的数据集，随机选取一个原始句子作为输入句子，构造输入句子的正例句子；
将输入句子的句向量与正例句子的句向量作为正样本，将输入句子的句向量与其他句子的句向量作为负样本，将所述正样本和负样本输入到对比学习损失函数中训练，得到训练后的对比学习损失；
对所述输入句子进行随机掩码，生成所述输入句子的掩码序列，将所述掩码序列输入到生成器中，得到所述掩码序列对应的生成序列；
将所述输入句子的句向量与所述生成序列的句向量拼接，将拼接后的句向量输入到判别器中进行训练，得到训练后的句子差异损失，所述句子差异损失用于表征所述输入句子的句向量与所述生成序列的句向量之间的差异；
基于所述对比学习损失和所述句子差异损失生成新的损失，利用所述新的损失对变异字符检测的句子相似度表征模型进行训练。
2.根据权利要求1所述的方法，其特征在于，所述构造输入句子的正例句子，包括：
利用正则化技术在每次迭代训练过程中随机丢弃一部分神经元，将被丢弃的神经元的输出设置为0，其中，所述正则化技术用于构造所述输入句子的正例句子。
3.根据权利要求1所述的方法，其特征在于，在所述将所述正样本和负样本输入到对比学习损失函数中训练之前，所述方法还包括：
将所述输入句子作为BERT编码器的输入，利用所述BERT编码器输出所述输入句子的句向量，利用词嵌入方法或者语言模型获取所述正例句子及所述其他句子的句向量。
4.根据权利要求1所述的方法，其特征在于，将所述对比学习损失函数表示为：
其中，Lcontrast表示对比学习损失，N表示训练输入的句子数量，sim(.,.)表示余弦相似度，τ表示温度参数。
5.根据权利要求1所述的方法，其特征在于，所述将所述掩码序列输入到生成器中，得到所述掩码序列对应的生成序列，包括：
使用预训练的句子差异预测模型的生成器对所述掩码序列进行处理，通过所述掩码序列生成所述输入句子中被掩盖的词汇，得到新的生成序列，其中，所述生成器采用MLM预训练语言模型。
6.根据权利要求1所述的方法，其特征在于，所述将所述输入句子的句向量与所述生成序列的句向量拼接，将拼接后的句向量输入到判别器中进行训练，得到训练后的句子差异损失，包括：
将所述输入句子的句向量放置在所述生成序列的句向量的前面，以便将所述输入句子的句向量与所述生成序列的句向量拼接，利用所述拼接后的句向量对预训练的句子差异预测模型的判别器进行训练，训练目标为降低被编辑句子中每个词的替换预测的分类问题的交叉熵的平均值。
7.根据权利要求1所述的方法，其特征在于，所述基于所述对比学习损失和所述句子差异损失生成新的损失，利用所述新的损失对变异字符检测的句子相似度表征模型进行训练，包括：
将所述对比学习损失与所述句子差异损失通过权重进行计算得到新的损失，在训练所述变异字符检测的句子相似度表征模型时，固定所述生成器的参数，利用所述新的损失来优化BERT编码器以及所述判别器的参数；
对所述变异字符检测的句子相似度表征模型训练完成后，将训练后的判别器丢弃，使用训练后的BERT编码器提取句子嵌入，以用于对下游任务进行评价或推理。
8.一种基于变异字符检测的预训练模型训练装置，其特征在于，包括：
构造模块，被配置为获取原始句子的数据集，随机选取一个原始句子作为输入句子，构造输入句子的正例句子；
第一训练模块，被配置为将输入句子的句向量与正例句子的句向量作为正样本，将输入句子的句向量与其他句子的句向量作为负样本，将所述正样本和负样本输入到对比学习损失函数中训练，得到训练后的对比学习损失；
生成模块，被配置为对所述输入句子进行随机掩码，生成所述输入句子的掩码序列，将所述掩码序列输入到生成器中，得到所述掩码序列对应的生成序列；
第二训练模块，被配置为将所述输入句子的句向量与所述生成序列的句向量拼接，将拼接后的句向量输入到判别器中进行训练，得到训练后的句子差异损失，所述句子差异损失用于表征所述输入句子的句向量与所述生成序列的句向量之间的差异；
第三训练模块，被配置为基于所述对比学习损失和所述句子差异损失生成新的损失，利用所述新的损失对变异字符检测的句子相似度表征模型进行训练。
9.一种电子设备，包括存储器，处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如权利要求1至7中任一项所述的方法。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310332029.9A CN116484851A (zh) | 2023-03-30 | 2023-03-30 | 基于变异字符检测的预训练模型训练方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310332029.9A CN116484851A (zh) | 2023-03-30 | 2023-03-30 | 基于变异字符检测的预训练模型训练方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116484851A true CN116484851A (zh) | 2023-07-25 |
Family
ID=87222336
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310332029.9A Pending CN116484851A (zh) | 2023-03-30 | 2023-03-30 | 基于变异字符检测的预训练模型训练方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116484851A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116663516A (zh) * | 2023-07-28 | 2023-08-29 | 深圳须弥云图空间科技有限公司 | 表格机器学习模型训练方法、装置、电子设备及存储介质 |
-
2023
- 2023-03-30 CN CN202310332029.9A patent/CN116484851A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116663516A (zh) * | 2023-07-28 | 2023-08-29 | 深圳须弥云图空间科技有限公司 | 表格机器学习模型训练方法、装置、电子设备及存储介质 |
| CN116663516B (zh) * | 2023-07-28 | 2024-02-20 | 深圳须弥云图空间科技有限公司 | 表格机器学习模型训练方法、装置、电子设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109992782B (zh) | 法律文书命名实体识别方法、装置及计算机设备 | |
| CN110135457B (zh) | 基于自编码器融合文档信息的事件触发词抽取方法及系统 | |
| Logeswaran et al. | Sentence ordering and coherence modeling using recurrent neural networks | |
| CN111738003B (zh) | 命名实体识别模型训练方法、命名实体识别方法和介质 | |
| CN112800776B (zh) | 双向gru关系抽取数据处理方法、系统、终端、介质 | |
| CN111966812B (zh) | 一种基于动态词向量的自动问答方法和存储介质 | |
| Savci et al. | Comparison of pre-trained language models in terms of carbon emissions, time and accuracy in multi-label text classification using AutoML | |
| CN116542297A (zh) | 基于文本数据训练生成对抗网络的方法及装置 | |
| CN111695335A (zh) | 一种智能面试方法、装置及终端设备 | |
| CN116484851A (zh) | 基于变异字符检测的预训练模型训练方法及装置 | |
| CN113469338B (zh) | 模型训练方法、模型训练装置、终端设备及存储介质 | |
| CN114742069A (zh) | 一种代码相似度检测方法及装置 | |
| CN113705207A (zh) | 语法错误识别方法及装置 | |
| CN115129826B (zh) | 电力领域模型预训练方法、精调方法、装置及设备 | |
| CN116821339A (zh) | 滥用语言检测方法、装置及存储介质 | |
| CN115759254A (zh) | 基于知识增强生成式语言模型的问答方法、系统及介质 | |
| CN115221284A (zh) | 文本相似度的计算方法、装置、电子设备及存储介质 | |
| CN113177406B (zh) | 文本处理方法、装置、电子设备和计算机可读介质 | |
| CN114218921A (zh) | 一种优化bert的问题语义匹配方法 | |
| CN114238649A (zh) | 一种常识概念增强的语言模型预训练方法 | |
| Hung et al. | Application of Adaptive Neural Network Algorithm Model in English Text Analysis | |
| Liang et al. | Named Entity Recognition Method Based on BERT-whitening and Dynamic Fusion Model | |
| Zhu | English Lexical Analysis System of Machine Translation Based on Simple Recurrent Neural Network | |
| Bensghaier et al. | Investigating the Use of Different Recurrent Neural Networks for Natural Language Inference in Arabic | |
| CN117591666B (zh) | 针对桥梁管养文档的摘要抽取方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |