CN113505601A - 一种正负样本对构造方法、装置、计算机设备及存储介质 - Google Patents
一种正负样本对构造方法、装置、计算机设备及存储介质 Download PDFInfo
- Publication number
- CN113505601A CN113505601A CN202110773336.1A CN202110773336A CN113505601A CN 113505601 A CN113505601 A CN 113505601A CN 202110773336 A CN202110773336 A CN 202110773336A CN 113505601 A CN113505601 A CN 113505601A
- Authority
- CN
- China
- Prior art keywords
- positive
- sample
- text data
- negative sample
- negative
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/30—Semantic analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/3331—Query processing
- G06F16/334—Query execution
- G06F16/3344—Query execution using natural language analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Computation (AREA)
- Evolutionary Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Databases & Information Systems (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- General Health & Medical Sciences (AREA)
- Machine Translation (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请实施例属于自然语言处理技术领域，涉及一种正负样本对构造方法、装置、计算机设备及存储介质。此外，本申请还涉及区块链技术，用户的目标正负样本对可存储于区块链中。本申请利用预训练模型的隐含层中自带的随机失活功能作为构造样本对的增广方式，由于隐含层的增广方式是将部分权重或输出随机归零，从而有效解决传统的转译、删除、插入、调换等增广方式容易引入负面噪声的问题，使得构造得到的样本对仍然保留有原始待增广文本的语义特征，其相似的样本分布十分接近并且样本的分布比较均匀，同时，为下游任务提供更加优质的句向量。
Description
技术领域
本申请涉及自然语言处理技术领域，尤其涉及一种正负样本对构造方法、装置、计算机设备及存储介质。
背景技术
在自然语言处理领域中，学习到一种通用的句向量表示方法是一项基础但十分重要的任务。一方面，优秀的句向量表示方法可以表征每个句子的语义。另一方面，提取到重要语义特征的句向量可以更好的为下游任务，如文本分类、文本生成、语义相似度计算等，提供训练数据，提升任务性能。在自然语言处理中，句向量转换模型应用十分广泛，其重要性不言而喻。
应用最广泛的获取词向量的方式是利用预训练好的模型CLS或者句子序列维度做Meanpooling得到的句子的特征向量，这些方式会导致模型出现各向异性，也就是说模型训练过程中词向量各维度特征表示不一致，获得的句向量也无法直接比较。
现有一种解决上述词向量各维度特征表示不一致，获得的句向量也无法直接比较的句向量表示方法，即采用对比学习的方式在语义表示空间中拉近相似的语句，推开不相似的语句来实现。
然而，申请人发现传统的采用对比学习的句向量表示方法普遍不智能，由于目前的在句向量表示的对比学习方法中常见的句子增广的方式是转译、删除、插入、调换等，但这些都是离散的操作，难以把控并且容易引入负面噪声，因此模型很难通过对比学习从这些样本中捕捉到语义信息，由此可见，传统的采用对比学习的句向量表示方法存在无法学习样本其真实语义信息的问题。
发明内容
本申请实施例的目的在于提出一种正负样本对构造方法、装置、计算机设备及存储介质，以解决传统的采用对比学习的句向量表示方法存在无法学习样本其真实语义信息的问题。
为了解决上述技术问题，本申请实施例提供一种正负样本对构造方法，采用了如下所述的技术方案：
在进行模型对比学习训练时，接收携带有待训练的编码器模型的样本获取请求；
读取文本数据库，在所述文本数据库中获取待增广文本数据；
根据所述待增广文本数据构造初始正负样本对；
根据所述编码器模型中隐含层的随机失活功能对所述初始正负样本对进行前向传播操作，得到离散均匀的目标正负样本对。
为了解决上述技术问题，本申请实施例还提供一种正负样本对构造装置，采用了如下所述的技术方案：
请求获取模块，用于在进行模型对比学习训练时，接收携带有待训练的编码器模型的样本获取请求；
数据获取模块，用于读取文本数据库，在所述文本数据库中获取待增广文本数据；
初始样本构建模块，用于根据所述待增广文本数据构造初始正负样本对；
目标样本获取模块，用于根据所述编码器模型中隐含层的随机失活功能对所述初始正负样本对进行前向传播操作，得到离散均匀的目标正负样本对。
为了解决上述技术问题，本申请实施例还提供一种计算机设备，采用了如下所述的技术方案：
包括存储器和处理器，所述存储器中存储有计算机可读指令，所述处理器执行所述计算机可读指令时实现如上所述的正负样本对构造方法的步骤。
为了解决上述技术问题，本申请实施例还提供一种计算机可读存储介质，采用了如下所述的技术方案：
所述计算机可读存储介质上存储有计算机可读指令，所述计算机可读指令被处理器执行时实现如上所述的正负样本对构造方法的步骤。
与现有技术相比，本申请实施例主要有以下有益效果：
本申请提供了一种正负样本对构造方法，包括：在进行模型对比学习训练时，接收携带有待训练的编码器模型的样本获取请求；读取文本数据库，在所述文本数据库中获取待增广文本数据；根据所述待增广文本数据构造初始正负样本对；根据所述编码器模型中隐含层的随机失活功能对所述初始正负样本对进行前向传播操作，得到离散均匀的目标正负样本对。本申请利用预训练模型的隐含层中自带的随机失活功能作为构造样本对的增广方式，由于隐含层的增广方式是将部分权重或输出随机归零，从而有效解决传统的转译、删除、插入、调换等增广方式容易引入负面噪声的问题，使得构造得到的样本对仍然保留有原始待增广文本的语义特征，其相似的样本分布十分接近并且样本的分布比较均匀，同时，为下游任务提供更加优质的句向量。
附图说明
为了更清楚地说明本申请中的方案，下面将对本申请实施例描述中所需要使用的附图作一个简单介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例一提供的正负样本对构造方法的实现流程图；
图2是本申请实施例一提供的应用于建立预测模型的正负样本对构造方法的一种具体实施方式的流程图；
图3是本申请实施例一提供的应用于有监督任务正负样本对构造过程的示意图；
图4是本申请实施例一提供的应用于建立描述模型的正负样本对构造方法的一种具体实施方式的流程图；
图5是本申请实施例一提供的应用于无监督任务正负样本对构造过程的示意图；
图6是本申请实施例二提供的正负样本对构造装置的结构示意图：
图7是本申请实施例二提供的应用于建立预测模型的正负样本对构造装置的一种具体实施方式的结构示意图；
图8是根据本申请的计算机设备的一个实施例的结构示意图。
具体实施方式
除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同；本文中在申请的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本申请；本申请的说明书和权利要求书及上述附图说明中的术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含。本申请的说明书和权利要求书或上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
为了使本技术领域的人员更好地理解本申请方案，下面将结合附图，对本申请实施例中的技术方案进行清楚、完整地描述。
如图1所示，示出了本申请实施例一提供的正负样本对构造方法的实现流程图，为了便于说明，仅示出与本申请相关的部分。
上述的正负样本对构造方法，包括以下步骤：
步骤S101：在进行模型对比学习训练时，接收携带有待训练的编码器模型的样本获取请求。
在本申请实施例中，对比学习(Contrastive Learning)是一种为ML模型描述相似和不同事务的任务的方法。利用这种方法，可以训练机器学习模型来区分相似和不同的图像。对比学习的内部工作可以表述为一个分数函数，它是权衡两个特征之间相似度的一个尺度。
步骤S102：读取文本数据库，在文本数据库中获取待增广文本数据。
在本申请实施例中，文本数据库主要用于存储上述待增广文本数据，其中，该待增广文本数据可以是适用于无监督学习的未经标注文本数据，该待增广文本数据还可以是适用于有监督学习的有标注文本数据，在实际应用中，可根据上述待训练的编码器模型的学习目标选择对应的待增广文本数据。
步骤S103：根据待增广文本数据构造初始正负样本对。
在本申请实施例中，构造初始正负样本对指的是将存在关联关系的文本数据作为同一正样本组，将与上述正样本组不存在关联关系的文本数据作为负样本，整合上述正样本组以及上述负样本即可得到上述初始正负样本对。其中，当待增广文本数据为未经标注的文本数据时，由于其文本数据之间均不存在关联关系，因此，将同一文本数据作为未标注正样本组中的未标注正样本，而将与该未标注正样本不同的文本数据作为未标注负样本。
步骤S104根据编码器模型中隐含层的随机失活功能对初始正负样本对进行前向传播操作，得到离散均匀的目标正负样本对。
在本申请实施例中，随机失活(dropout)是对具有深度结构的人工神经网络进行优化的方法，在学习过程中通过将隐含层的部分权重或输出随机归零，降低节点间的相互依赖性(co-dependence)从而实现神经网络的正则化(regularization)，降低其结构风险(structural risk)。
在本申请实施例中，前向传播(Forward Propagation)指的是通过对一层的结点以及对应的连接权值进行加权和运算，结果加上一个偏置项，然后通过一个非线性函数(即激活函数)，如ReLu，sigmoid等函数，得到的结果就是下一层结点的输出。从第一层(输入层)开始不断的通过这种方法一层层的运算，最后得到输出层结果。
在本申请实施例中，提供了一种正负样本对构造方法，包括：在进行模型对比学习训练时，接收携带有待训练的编码器模型的样本获取请求；读取文本数据库，在文本数据库中获取待增广文本数据；根据待增广文本数据构造初始正负样本对；根据编码器模型中隐含层的随机失活功能对初始正负样本对进行前向传播操作，得到离散均匀的目标正负样本对。本申请利用预训练模型的隐含层中自带的随机失活功能作为构造样本对的增广方式，由于隐含层的增广方式是将部分权重或输出随机归零，从而有效解决传统的转译、删除、插入、调换等增广方式容易引入负面噪声的问题，使得构造得到的样本对仍然保留有原始待增广文本的语义特征，其相似的样本分布十分接近并且样本的分布比较均匀，同时，为下游任务提供更加优质的句向量。
继续参阅图2，示出了本申请实施例一提供的应用于建立预测模型的正负样本对构造方法的一种具体实施方式的流程图，为了便于说明，仅示出与本申请相关的部分。
在本实施例的一些可选的实现方式中，上述步骤S102具体包括：步骤S201；步骤S103具体包括：步骤S202、步骤S203、步骤S204以及步骤S205。
步骤S201：若待训练的编码器模型的学习目标为建立预测模型时，则在文本数据库中获取有标注文本数据，并将有标注文本数据作为待增广文本数据。
在本申请实施例中，机器学习模型基本分为有监督学习和无监督学习两类，其中，有监督学习是用于建立预测模型，因为预测模型对于“学什么”和“怎么学”有清晰的指导，所以训练一个预测模型的过程称为有监督学习；无监督学习则是用于建立描述模型，即没有一个学习的目标，训练描述性模型的过程。
在本申请实施例中，可根据上述待训练的编码器模型的学习类型确认是否为建立预测模型，具体的，可根据上述待训练的编码器模型的输出层的特征进行区分，当输出层为确定数值、分类结果等明确性目标时，可确认为建立预测模型，当上述输出层为聚类、模式识别等，可确认问建立描述模型。
在本申请实施例中，当学习目标为建立预测模型时，需要将携带有标注信息的文本数据作为该待训练的编码器模型的训练数据，因此，在获取待增广文本数据时，需要获取有标注的文本数据。
在本申请实施例中，有标注文本数据指的是标注有语句之间的关联关系的文本数据，该关联关系主要用于向待训练的编码器模型提供学习方向，其中，关联关系可以是蕴含关系，也可以是冲突关系。
步骤S202：在有标注文本数据中提取第一待学习语句，并将第一待学习语句作为第一预测正样本。
在本申请实施例中，第一待学习语句指的是有标注文本数据中的任一语句，该语句作为适用于训练预测模型的正样本中的原始原本数据，即上述第一预测正样本。
步骤S203：在有标注文本数据中提取与第一待学习语句存在蕴含关系的语句作为第二预测正样本。
步骤S204：在有标注文本数据中提取与第一待学习语句存在冲突关系的语句作为预测负样本。
步骤S205：结合第一预测正样本、第二预测正样本以及预测负样本，得到初始正负样本对。
在本申请实施例中，参考图3，示出了本申请实施例一提供的应用于有监督任务正负样本对构造过程的示意图，将每一个语句表示为si，将与其有蕴含关系的语句作为正样本
与其有冲突关系的语句和其他句子作为负样本
由
构成上述初始正负样本对。
在本申请实施例的一些可选的实现方式中，有标注文本数据由斯坦福自然语言推理语料(SNLL,Stanford Natural Language Inference)以及多体裁自然语言推理语料(MNLI,Multi-Genre Natural Language Inference)组成的自然语言推理数据集。
在本申请实施例的一些可选的实现方式中，在上述步骤S205之后，还包括下述步骤：
根据预测损失函数对待训练的编码器模型进行预测模型训练，预测损失函数表示为：
其中，E表示所述第一预测正样本；E+表示所述第二预测正样本；E-表示所述预测负样本；i、j分别表示样本集合中的样本序号；N表示所述样本集合中的样本对总数；r为起到放缩大小作用的超参数。
在实际应用中，若样本集合的样本对为
那么该样本集合中的样本对总数则为n，当待训练的编码器模型在训练
这一样本对时，会在该样本集合的其余样本对中选择任一一组样本对
(n≠1)作为上述预测损失函数中的
和
以进行该预测模型训练。
继续参阅图4，示出了本申请实施例一提供的应用于建立描述模型的正负样本对构造方法的一种具体实施方式的流程图，为了便于说明，仅示出与本申请相关的部分。
在本实施例的一些可选的实现方式中，上述步骤S102具体包括：步骤S401；步骤S103具体包括：步骤S402、步骤S403以及步骤S404。
步骤S401：若待训练的编码器模型的学习目标为建立描述模型时，则在文本数据库中获取无标注文本数据，并将无标注文本数据作为待增广文本数据。
步骤S402：在无标注文本数据中提取第二待学习语句，并将第二待学习语句作为第一描述正样本以及第二描述正样本。
在本申请实施例中，第二待学习语句指的是无标注文本数据中的任一语句，该语句作为适用于训练描述模型的正样本中的原始原本数据，即上述第一描述正样本。
在本申请实施例中，由于无标注文本数据其语句之间不能确认是否相似，因此，在构建正样本时，先将同一语句作为适用于训练描述模型的两个正样本，由于两个正样本之间的语义特征完全一致，可通过后续的前向传播操作进行增广，以形成语句不一并具备一定蕴含关系的正样本。
步骤S403：在午标准文本数据中提取与第二待学习语句不一致的语句作为描述负样本。
步骤S404：结合第一描述正样本、第二描述正样本以及描述负样本，得到初始正负样本对。
在本申请实施例中，参考图5，示出了本申请实施例一提供的应用于无监督任务正负样本对构造过程的示意图，将使用同一个句子得到的两个句向量作为一个正样本对
另外选取不同的句子通过编码器模型得到的句向量
作为负样本。将
作为对比学习中的初始正负样本对。
在本申请实施例的一些可选的实现方式中，在上述步骤S404之后，还包括下述步骤：
根据描述损失函数对待训练的编码器模型进行描述模型训练，描述损失函数表示为：
其中，Em表示所述第一描述正样本；Em′表示所述第二描述正样本；Em″表示所述描述负样本；i、j分别表示样本集合中的样本序号；N表示所述样本集合中的样本对总数；r为起到放缩大小作用的超参数。
在实际应用中，若样本集合的样本对为
那么该样本集合中的样本对总数则为n，当待训练的编码器模型在训练
这一样本对时，会在该样本集合的其余样本对中选择任一一组样本对
(n≠1)中的
作为上述描述损失函数中的
以进行该预测模型训练。
综上，本申请提供了一种正负样本对构造方法，包括：在进行模型对比学习训练时，接收携带有待训练的编码器模型的样本获取请求；读取文本数据库，在文本数据库中获取待增广文本数据；根据待增广文本数据构造初始正负样本对；根据编码器模型中隐含层的随机失活功能对初始正负样本对进行前向传播操作，得到离散均匀的目标正负样本对。本申请利用预训练模型的隐含层中自带的随机失活功能作为构造样本对的增广方式，由于隐含层的增广方式是将部分权重或输出随机归零，从而有效解决传统的转译、删除、插入、调换等增广方式容易引入负面噪声的问题，使得构造得到的样本对仍然保留有原始待增广文本的语义特征，其相似的样本分布十分接近并且样本的分布比较均匀，同时，为下游任务提供更加优质的句向量。同时，本申请还可以根据待训练的编码器模型的学习目标确认模型学习的类型，并基于不同的类型构造与之匹配的样本，从而适用于自然语言处理中的无监督或者有监督任务，极大提高本申请的兼容性。
需要强调的是，为进一步保证上述目标正负样本对对的私密和安全性，上述目标正负样本对对还可以存储于一区块链的节点中。
本申请所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。
本申请可用于众多通用或专用的计算机系统环境或配置中。例如：个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器系统、基于微处理器的系统、置顶盒、可编程的消费电子设备、网络PC、小型计算机、大型计算机、包括以上任何系统或设备的分布式计算环境等等。本申请可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本申请，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机可读指令来指令相关的硬件来完成，该计算机可读指令可存储于一计算机可读取存储介质中，该计算机可读指令在执行时，可包括如上述各方法的实施例的流程。其中，前述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)等非易失性存储介质，或随机存储记忆体(Random Access Memory，RAM)等。
应该理解的是，虽然附图的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，其可以以其他的顺序执行。而且，附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，其执行顺序也不必然是依次进行，而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
实施例二
进一步参考图6，作为对上述图1所示方法的实现，本申请提供了一种正负样本对构造装置的一个实施例，该装置实施例与图1所示的方法实施例相对应，该装置具体可以应用于各种电子设备中。
如图6所示，本实施例的正负样本对构造装置100包括：请求获取模块110、数据获取模块120、初始样本构建模块130以及目标样本获取模块140。
其中：
请求获取模块110，用于在进行模型对比学习训练时，接收携带有待训练的编码器模型的样本获取请求；
数据获取模块120，用于读取文本数据库，在文本数据库中获取待增广文本数据；
初始样本构建模块130，用于根据待增广文本数据构造初始正负样本对；
目标样本获取模块140，用于根据编码器模型中隐含层的随机失活功能对初始正负样本对进行前向传播操作，得到离散均匀的目标正负样本对。
在本申请实施例中，对比学习(Contrastive Learning)是一种为ML模型描述相似和不同事务的任务的方法。利用这种方法，可以训练机器学习模型来区分相似和不同的图像。对比学习的内部工作可以表述为一个分数函数，它是权衡两个特征之间相似度的一个尺度。
在本申请实施例中，文本数据库主要用于存储上述待增广文本数据，其中，该待增广文本数据可以是适用于无监督学习的未经标注文本数据，该待增广文本数据还可以是适用于有监督学习的有标注文本数据，在实际应用中，可根据上述待训练的编码器模型的学习目标选择对应的待增广文本数据。
在本申请实施例中，构造初始正负样本对指的是将存在关联关系的文本数据作为同一正样本组，将与上述正样本组不存在关联关系的文本数据作为负样本，整合上述正样本组以及上述负样本即可得到上述初始正负样本对。其中，当待增广文本数据为未经标注的文本数据时，由于其文本数据之间均不存在关联关系，因此，将同一文本数据作为未标注正样本组中的未标注正样本，而将与该未标注正样本不同的文本数据作为未标注负样本。
在本申请实施例中，随机失活(dropout)是对具有深度结构的人工神经网络进行优化的方法，在学习过程中通过将隐含层的部分权重或输出随机归零，降低节点间的相互依赖性(co-dependence)从而实现神经网络的正则化(regularization)，降低其结构风险(structural risk)。
在本申请实施例中，前向传播(Forward Propagation)指的是通过对一层的结点以及对应的连接权值进行加权和运算，结果加上一个偏置项，然后通过一个非线性函数(即激活函数)，如ReLu，sigmoid等函数，得到的结果就是下一层结点的输出。从第一层(输入层)开始不断的通过这种方法一层层的运算，最后得到输出层结果。
在本申请实施例中，提供了一种正负样本对构造方法，包括：在进行模型对比学习训练时，接收携带有待训练的编码器模型的样本获取请求；读取文本数据库，在文本数据库中获取待增广文本数据；根据待增广文本数据构造初始正负样本对；根据编码器模型中隐含层的随机失活功能对初始正负样本对进行前向传播操作，得到离散均匀的目标正负样本对。
在本申请实施例中，提供了一种正负样本对构造装置，包括：请求获取模块110，用于在进行模型对比学习训练时，接收携带有待训练的编码器模型的样本获取请求；数据获取模块120，用于读取文本数据库，在文本数据库中获取待增广文本数据；初始样本构建模块130，用于根据待增广文本数据构造初始正负样本对；目标样本获取模块140，用于根据编码器模型中隐含层的随机失活功能对初始正负样本对进行前向传播操作，得到离散均匀的目标正负样本对。本申请利用预训练模型的隐含层中自带的随机失活功能作为构造样本对的增广方式，由于隐含层的增广方式是将部分权重或输出随机归零，从而有效解决传统的转译、删除、插入、调换等增广方式容易引入负面噪声的问题，使得构造得到的样本对仍然保留有原始待增广文本的语义特征，其相似的样本分布十分接近并且样本的分布比较均匀，同时，为下游任务提供更加优质的句向量。
继续参阅图7，示出了本申请实施例二提供的应用于建立预测模型的正负样本对构造装置的一种具体实施方式的结构示意图，为了便于说明，仅示出与本申请相关的部分。
在本实施例的一些可选的实现方式中，上述数据获取模块120包括：第一数据获取子模块121；初始样本构建模块130包括：第一正样本获取子模块131、第二正样本获取子模块132、预测负样本获取子模块133以及第一初始样本获取子模块134。其中：
第一数据获取子模块121，用于若待训练的编码器模型的学习目标为建立预测模型时，则在文本数据库中获取有标注文本数据，并将有标注文本数据作为待增广文本数据；
第一正样本获取子模块131，用于在有标注文本数据中提取第一待学习语句，并将第一待学习语句作为第一预测正样本；
第二正样本获取子模块132，用于在有标注文本数据中提取与第一待学习语句存在蕴含关系的语句作为第二预测正样本；
预测负样本获取子模块133，用于在有标注文本数据中提取与第一待学习语句存在冲突关系的语句作为预测负样本；
第一初始样本获取子模块134，用于结合第一预测正样本、第二预测正样本以及预测负样本，得到初始正负样本对。
在本申请实施例中，机器学习模型基本分为有监督学习和无监督学习两类，其中，有监督学习是用于建立预测模型，因为预测模型对于“学什么”和“怎么学”有清晰的指导，所以训练一个预测模型的过程称为有监督学习；无监督学习则是用于建立描述模型，即没有一个学习的目标，训练描述性模型的过程。
在本申请实施例中，可根据上述待训练的编码器模型的学习类型确认是否为建立预测模型，具体的，可根据上述待训练的编码器模型的输出层的特征进行区分，当输出层为确定数值、分类结果等明确性目标时，可确认为建立预测模型，当上述输出层为聚类、模式识别等，可确认问建立描述模型。
在本申请实施例中，当学习目标为建立预测模型时，需要将携带有标注信息的文本数据作为该待训练的编码器模型的训练数据，因此，在获取待增广文本数据时，需要获取有标注的文本数据。
在本申请实施例中，有标注文本数据指的是标注有语句之间的关联关系的文本数据，该关联关系主要用于向待训练的编码器模型提供学习方向，其中，关联关系可以是蕴含关系，也可以是冲突关系。
在本申请实施例中，第一待学习语句指的是有标注文本数据中的任一语句，该语句作为适用于训练预测模型的正样本中的原始原本数据，即上述第一预测正样本。
在本申请实施例中，参考图3，示出了本申请实施例一提供的应用于有监督任务正负样本对构造过程的示意图，将每一个语句表示为si，将与其有蕴含关系的语句作为正样本
与其有冲突关系的语句和其他句子作为负样本
由
构成上述初始正负样本对。
在本申请实施例的一些可选的实现方式中，有标注文本数据由斯坦福自然语言推理语料(SNLL,Stanford Natural Language Inference)以及多体裁自然语言推理语料(MNLI,Multi-Genre Natural Language Inference)组成的自然语言推理数据集。
在本申请实施例的一些可选的实现方式中，根据预测损失函数对待训练的编码器模型进行预测模型训练，预测损失函数表示为：
其中，E表示所述第一预测正样本；E+表示所述第二预测正样本；E-表示所述预测负样本；i、j分别表示样本集合中的样本序号；N表示所述样本集合中的样本对总数；r为起到放缩大小作用的超参数。
在实际应用中，若样本集合的样本对为
那么该样本集合中的样本对总数则为n，当待训练的编码器模型在训练
这一样本对时，会在该样本集合的其余样本对中选择任一一组样本对
(n≠1)作为上述预测损失函数中的
和
以进行该预测模型训练。
在本申请实施例的一些可选的实现方式中，上述数据获取模块120包括：第二数据获取子模块；初始样本构建模块130包括：第三正样本获取子模块、描述负样本获取子模块以及第二初始样本获取子模块。其中：
第二数据获取子模块，用于若待训练的编码器模型的学习目标为建立描述模型时，则在文本数据库中获取无标注文本数据，并将无标注文本数据作为待增广文本数据；
第三正样本获取子模块，用于在无标注文本数据中提取第二待学习语句，并将第二待学习语句作为第一描述正样本以及第二描述正样本；
描述负样本获取子模块，用于在午标准文本数据中提取与第二待学习语句不一致的语句作为描述负样本；
第二初始样本获取子模块，用于结合第一描述正样本、第二描述正样本以及描述负样本，得到初始正负样本对。
在本申请实施例中，第二待学习语句指的是无标注文本数据中的任一语句，该语句作为适用于训练描述模型的正样本中的原始原本数据，即上述第一描述正样本。
在本申请实施例中，由于无标注文本数据其语句之间不能确认是否相似，因此，在构建正样本时，先将同一语句作为适用于训练描述模型的两个正样本，由于两个正样本之间的语义特征完全一致，可通过后续的前向传播操作进行增广，以形成语句不一并具备一定蕴含关系的正样本。
在本申请实施例中，参考图5，示出了本申请实施例一提供的应用于无监督任务正负样本对构造过程的示意图，将使用同一个句子得到的两个句向量作为一个正样本对
另外选取不同的句子通过编码器模型得到的句向量
作为负样本。将
作为对比学习中的初始正负样本对。
在本申请实施例的一些可选的实现方式中，根据描述损失函数对待训练的编码器模型进行描述模型训练，描述损失函数表示为：
其中，Em表示所述第一描述正样本；Em′表示所述第二描述正样本；Em″表示所述描述负样本；i、j分别表示样本集合中的样本序号；N表示所述样本集合中的样本对总数；r为起到放缩大小作用的超参数。
在实际应用中，若样本集合的样本对为
那么该样本集合中的样本对总数则为n，当待训练的编码器模型在训练
这一样本对时，会在该样本集合的其余样本对中选择任一一组样本对
(n≠1)中的
作为上述描述损失函数中的
以进行该预测模型训练。
综上，本申请提供了一种正负样本对构造装置，包括：请求获取模块110，用于在进行模型对比学习训练时，接收携带有待训练的编码器模型的样本获取请求；数据获取模块120，用于读取文本数据库，在文本数据库中获取待增广文本数据；初始样本构建模块130，用于根据待增广文本数据构造初始正负样本对；目标样本获取模块140，用于根据编码器模型中隐含层的随机失活功能对初始正负样本对进行前向传播操作，得到离散均匀的目标正负样本对。本申请利用预训练模型的隐含层中自带的随机失活功能作为构造样本对的增广方式，由于隐含层的增广方式是将部分权重或输出随机归零，从而有效解决传统的转译、删除、插入、调换等增广方式容易引入负面噪声的问题，使得构造得到的样本对仍然保留有原始待增广文本的语义特征，其相似的样本分布十分接近并且样本的分布比较均匀，同时，为下游任务提供更加优质的句向量。同时，本申请还可以根据待训练的编码器模型的学习目标确认模型学习的类型，并基于不同的类型构造与之匹配的样本，从而适用于自然语言处理中的无监督或者有监督任务，极大提高本申请的兼容性。
为解决上述技术问题，本申请实施例还提供计算机设备。具体请参阅图8，图8为本实施例计算机设备基本结构框图。
所述计算机设备200包括通过系统总线相互通信连接存储器210、处理器220、网络接口230。需要指出的是，图中仅示出了具有组件210-230的计算机设备200，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。其中，本技术领域技术人员可以理解，这里的计算机设备是一种能够按照事先设定或存储的指令，自动进行数值计算和/或信息处理的设备，其硬件包括但不限于微处理器、专用集成电路(Application Specific Integrated Circuit，ASIC)、可编程门阵列(Field－Programmable Gate Array，FPGA)、数字处理器(Digital Signal Processor，DSP)、嵌入式设备等。
所述计算机设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述计算机设备可以与用户通过键盘、鼠标、遥控器、触摸板或声控设备等方式进行人机交互。
所述存储器210至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。在一些实施例中，所述存储器210可以是所述计算机设备200的内部存储单元，例如该计算机设备200的硬盘或内存。在另一些实施例中，所述存储器210也可以是所述计算机设备200的外部存储设备，例如该计算机设备200上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。当然，所述存储器210还可以既包括所述计算机设备200的内部存储单元也包括其外部存储设备。本实施例中，所述存储器210通常用于存储安装于所述计算机设备200的操作系统和各类应用软件，例如正负样本对构造方法的计算机可读指令等。此外，所述存储器210还可以用于暂时地存储已经输出或者将要输出的各类数据。
所述处理器220在一些实施例中可以是中央处理器(Central Processing Unit，CPU)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器220通常用于控制所述计算机设备200的总体操作。本实施例中，所述处理器220用于运行所述存储器210中存储的计算机可读指令或者处理数据，例如运行所述正负样本对构造方法的计算机可读指令。
所述网络接口230可包括无线网络接口或有线网络接口，该网络接口230通常用于在所述计算机设备200与其他电子设备之间建立通信连接。
本申请提供的计算机设备，本申请利用预训练模型的隐含层中自带的随机失活功能作为构造样本对的增广方式，由于隐含层的增广方式是将部分权重或输出随机归零，从而有效解决传统的转译、删除、插入、调换等增广方式容易引入负面噪声的问题，使得构造得到的样本对仍然保留有原始待增广文本的语义特征，其相似的样本分布十分接近并且样本的分布比较均匀，同时，为下游任务提供更加优质的句向量。
本申请还提供了另一种实施方式，即提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可读指令，所述计算机可读指令可被至少一个处理器执行，以使所述至少一个处理器执行如上述的正负样本对构造方法的步骤。
本申请提供的计算机可读存储介质，本申请利用预训练模型的隐含层中自带的随机失活功能作为构造样本对的增广方式，由于隐含层的增广方式是将部分权重或输出随机归零，从而有效解决传统的转译、删除、插入、调换等增广方式容易引入负面噪声的问题，使得构造得到的样本对仍然保留有原始待增广文本的语义特征，其相似的样本分布十分接近并且样本的分布比较均匀，同时，为下游任务提供更加优质的句向量。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本申请各个实施例所述的方法。
显然，以上所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例，附图中给出了本申请的较佳实施例，但并不限制本申请的专利范围。本申请可以以许多不同的形式来实现，相反地，提供这些实施例的目的是使对本申请的公开内容的理解更加透彻全面。尽管参照前述实施例对本申请进行了详细的说明，对于本领域的技术人员来而言，其依然可以对前述各具体实施方式所记载的技术方案进行修改，或者对其中部分技术特征进行等效替换。凡是利用本申请说明书及附图内容所做的等效结构，直接或间接运用在其他相关的技术领域，均同理在本申请专利保护范围之内。
Claims (10)
1.一种正负样本对构造方法，其特征在于，所述方法包括下述步骤：
在进行模型对比学习训练时，接收携带有待训练的编码器模型的样本获取请求；
读取文本数据库，在所述文本数据库中获取待增广文本数据；
根据所述待增广文本数据构造初始正负样本对；
根据所述编码器模型中隐含层的随机失活功能对所述初始正负样本对进行前向传播操作，得到离散均匀的目标正负样本对。
2.根据权利要求1所述的正负样本对构造方法，其特征在于，所述读取文本数据库，在所述文本数据库中获取待增广文本数据的步骤，具体包括下述步骤：
若所述待训练的编码器模型的学习目标为建立预测模型时，则在所述文本数据库中获取有标注文本数据，并将所述有标注文本数据作为所述待增广文本数据；
所述根据所述待增广文本数据构造初始正负样本对的步骤，具体包括下述步骤：
在所述有标注文本数据中提取第一待学习语句，并将所述第一待学习语句作为第一预测正样本；
在所述有标注文本数据中提取与所述第一待学习语句存在蕴含关系的语句作为第二预测正样本；
在所述有标注文本数据中提取与所述第一待学习语句存在冲突关系的语句作为预测负样本；
结合所述第一预测正样本、所述第二预测正样本以及所述预测负样本，得到所述初始正负样本对。
3.根据权利要求2所述的正负样本对构造方法，其特征在于，所述有标注文本数据由斯坦福自然语言推理语料以及多体裁自然语言推理语料组成的自然语言推理数据集。
4.根据权利要求2所述的正负样本对构造方法，其特征在于，在所述结合所述第一预测正样本、所述第二预测正样本以及所述预测负样本，得到所述初始正负样本对的步骤之后，还包括下述步骤：
根据预测损失函数对所述待训练的编码器模型进行预测模型训练，所述预测损失函数表示为：
其中，E表示所述第一预测正样本；E+表示所述第二预测正样本；E-表示所述预测负样本；i、j分别表示样本集合中的样本序号；N表示所述样本集合中的样本对总数；r为起到放缩大小作用的超参数。
5.根据权利要求1所述的正负样本对构造方法，其特征在于，所述读取文本数据库，在所述文本数据库中获取待增广文本数据的步骤，具体包括下述步骤：
若所述所述待训练的编码器模型的学习目标为建立描述模型时，则在所述文本数据库中获取无标注文本数据，并将所述无标注文本数据作为所述待增广文本数据；
所述根据所述待增广文本数据构造初始正负样本对的步骤，具体包括下述步骤：
在所述无标注文本数据中提取第二待学习语句，并将所述第二待学习语句作为第一描述正样本以及第二描述正样本；
在所述午标准文本数据中提取与所述第二待学习语句不一致的语句作为描述负样本；
结合所述第一描述正样本、所述第二描述正样本以及所述描述负样本，得到所述初始正负样本对。
6.根据权利要求5所述的正负样本对构造方法，其特征在于，在结合所述第一描述正样本、所述第二描述正样本以及所述描述负样本，得到所述初始正负样本对的步骤之后，还包括下述步骤：
根据描述损失函数对所述待训练的编码器模型进行描述模型训练，所述描述损失函数表示为：
其中，Em表示所述第一描述正样本；Em′表示所述第二描述正样本；Em″表示所述描述负样本；i、j分别表示样本集合中的样本序号；N表示所述样本集合中的样本对总数；r为超参数。
7.一种正负样本对构造装置，其特征在于，所述装置包括：
请求获取模块，用于在进行模型对比学习训练时，接收携带有待训练的编码器模型的样本获取请求；
数据获取模块，用于读取文本数据库，在所述文本数据库中获取待增广文本数据；
初始样本构建模块，用于根据所述待增广文本数据构造初始正负样本对；
目标样本获取模块，用于根据所述编码器模型中隐含层的随机失活功能对所述初始正负样本对进行前向传播操作，得到离散均匀的目标正负样本对。
8.根据权利要求7所述的正负样本对构造装置，其特征在于，所述数据获取模块包括：第一数据获取子模块；所述初始样本构建模块包括：第一正样本获取子模块、第二正样本获取子模块、预测负样本获取子模块以及第一初始样本获取子模块，其中：
第一数据获取子模块，用于若所述待训练的编码器模型的学习目标为建立预测模型时，则在所述文本数据库中获取有标注文本数据，并将所述有标注文本数据作为所述待增广文本数据；
第一正样本获取子模块，用于在所述有标注文本数据中提取第一待学习语句，并将所述第一待学习语句作为第一预测正样本；
第二正样本获取子模块，用于在所述有标注文本数据中提取与所述第一待学习语句存在蕴含关系的语句作为第二预测正样本；
预测负样本获取子模块，用于在所述有标注文本数据中提取与所述第一待学习语句存在冲突关系的语句作为预测负样本；
第一初始样本获取子模块，用于结合所述第一预测正样本、所述第二预测正样本以及所述预测负样本，得到所述初始正负样本对。
9.一种计算机设备，其特征在于，包括存储器和处理器，所述存储器中存储有计算机可读指令，所述处理器执行所述计算机可读指令时实现如权利要求1至6中任一项所述的正负样本对构造方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机可读指令，所述计算机可读指令被处理器执行时实现如权利要求1至6中任一项所述的正负样本对构造方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110773336.1A CN113505601A (zh) | 2021-07-08 | 2021-07-08 | 一种正负样本对构造方法、装置、计算机设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110773336.1A CN113505601A (zh) | 2021-07-08 | 2021-07-08 | 一种正负样本对构造方法、装置、计算机设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113505601A true CN113505601A (zh) | 2021-10-15 |
Family
ID=78012121
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110773336.1A Pending CN113505601A (zh) | 2021-07-08 | 2021-07-08 | 一种正负样本对构造方法、装置、计算机设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113505601A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113902569A (zh) * | 2021-10-30 | 2022-01-07 | 平安科技（深圳）有限公司 | 数字资产中的绿色资产的占比的识别方法及相关产品 |
| CN113902568A (zh) * | 2021-10-30 | 2022-01-07 | 平安科技（深圳）有限公司 | 绿色资产的占比的识别方法及相关产品 |
| CN115062607A (zh) * | 2022-08-17 | 2022-09-16 | 杭州火石数智科技有限公司 | 对比学习的样本构造方法、装置、计算机设备及存储介质 |
| CN115115972A (zh) * | 2022-05-25 | 2022-09-27 | 腾讯科技（深圳）有限公司 | 视频处理方法、装置、计算机设备、介质及程序产品 |
-
2021
- 2021-07-08 CN CN202110773336.1A patent/CN113505601A/zh active Pending
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113902569A (zh) * | 2021-10-30 | 2022-01-07 | 平安科技（深圳）有限公司 | 数字资产中的绿色资产的占比的识别方法及相关产品 |
| CN113902568A (zh) * | 2021-10-30 | 2022-01-07 | 平安科技（深圳）有限公司 | 绿色资产的占比的识别方法及相关产品 |
| CN115115972A (zh) * | 2022-05-25 | 2022-09-27 | 腾讯科技（深圳）有限公司 | 视频处理方法、装置、计算机设备、介质及程序产品 |
| CN115062607A (zh) * | 2022-08-17 | 2022-09-16 | 杭州火石数智科技有限公司 | 对比学习的样本构造方法、装置、计算机设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111444340B (zh) | 文本分类方法、装置、设备及存储介质 | |
| CN113505601A (zh) | 一种正负样本对构造方法、装置、计算机设备及存储介质 | |
| CN112231569B (zh) | 新闻推荐方法、装置、计算机设备及存储介质 | |
| CN113987169A (zh) | 基于语义块的文本摘要生成方法、装置、设备及存储介质 | |
| CN112084779B (zh) | 用于语义识别的实体获取方法、装置、设备及存储介质 | |
| CN114357117A (zh) | 事务信息查询方法、装置、计算机设备及存储介质 | |
| CN112863683A (zh) | 基于人工智能的病历质控方法、装置、计算机设备及存储介质 | |
| CN113707299A (zh) | 基于问诊会话的辅助诊断方法、装置及计算机设备 | |
| CN112085091B (zh) | 基于人工智能的短文本匹配方法、装置、设备及存储介质 | |
| CN113657105A (zh) | 基于词汇增强的医学实体抽取方法、装置、设备及介质 | |
| CN112860919A (zh) | 基于生成模型的数据标注方法、装置、设备及存储介质 | |
| CN115438149A (zh) | 一种端到端模型训练方法、装置、计算机设备及存储介质 | |
| CN112528654A (zh) | 自然语言处理方法、装置及电子设备 | |
| CN112417887A (zh) | 敏感词句识别模型处理方法、及其相关设备 | |
| CN113723077B (zh) | 基于双向表征模型的句向量生成方法、装置及计算机设备 | |
| CN114117048A (zh) | 一种文本分类的方法、装置、计算机设备及存储介质 | |
| CN115730237A (zh) | 垃圾邮件检测方法、装置、计算机设备及存储介质 | |
| US11880664B2 (en) | Identifying and transforming text difficult to understand by user | |
| CN113704466B (zh) | 基于迭代网络的文本多标签分类方法、装置及电子设备 | |
| CN115238077A (zh) | 基于人工智能的文本分析方法、装置、设备及存储介质 | |
| CN113505595A (zh) | 文本短语抽取方法、装置、计算机设备及存储介质 | |
| CN114328894A (zh) | 文档处理方法、装置、电子设备及介质 | |
| CN114091452A (zh) | 一种基于适配器的迁移学习方法、装置、设备及存储介质 | |
| CN113657104A (zh) | 文本抽取方法、装置、计算机设备及存储介质 | |
| CN112949320A (zh) | 基于条件随机场的序列标注方法、装置、设备及介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |