CN110309874B - 负样本筛选模型训练方法、数据筛选方法和数据匹配方法 - Google Patents
负样本筛选模型训练方法、数据筛选方法和数据匹配方法 Download PDFInfo
- Publication number
- CN110309874B CN110309874B CN201910573254.5A CN201910573254A CN110309874B CN 110309874 B CN110309874 B CN 110309874B CN 201910573254 A CN201910573254 A CN 201910573254A CN 110309874 B CN110309874 B CN 110309874B
- Authority
- CN
- China
- Prior art keywords
- sample
- negative
- pairs
- model
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012216 screening Methods 0.000 title claims abstract description 269
- 238000012549 training Methods 0.000 title claims abstract description 165
- 238000000034 method Methods 0.000 title claims abstract description 98
- 230000006870 function Effects 0.000 claims description 58
- 239000013598 vector Substances 0.000 claims description 47
- 230000008569 process Effects 0.000 claims description 22
- 230000015654 memory Effects 0.000 claims description 21
- 238000006243 chemical reaction Methods 0.000 claims description 16
- 238000012360 testing method Methods 0.000 claims description 16
- 238000004590 computer program Methods 0.000 claims description 12
- 238000002372 labelling Methods 0.000 claims description 10
- 230000009466 transformation Effects 0.000 claims description 4
- 238000012163 sequencing technique Methods 0.000 claims 2
- 238000010586 diagram Methods 0.000 description 17
- 230000000694 effects Effects 0.000 description 15
- 230000009471 action Effects 0.000 description 4
- 238000010801 machine learning Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000007787 long-term memory Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
Abstract
本说明书实施例提供一种负样本筛选模型训练方法、数据筛选方法和数据匹配方法。在一个实施例中，一种负样本筛选模型训练方法，包括：将多组正样本对输入待训练负样本筛选模型，得到每组正样本对中的第一样本与其他各组正样本对中的第二样本的相似度预测结果；将每组正样本对中的第一样本，和该组正样本对中第一样本的相似度预测结果满足预定筛选条件的第二样本，选为负样本对；根据每组负样本对的相似度预测结果，调整待训练负样本筛选模型的模型参数；将多组正样本对作为调整后的待训练负样本筛选模型的输入，以对待训练负样本筛选模型进行迭代训练，得到目标负样本筛选模型。
Description
技术领域
本说明书一个或多个实施例涉及计算机技术领域，尤其涉及一种负样本筛选模型训练方法、数据筛选方法和数据匹配方法。
背景技术
随着科学技术的发展，基于样本集训练深度学习模型，已广泛地应用在各个领域。在收集样本集时，在点击类数据和反馈类数据中，用户只给了正的反馈，但是没点击并不代表是“负”的反馈。在这种情况下，用户会收集很多正样本。但是只有正样本没有负样本，无法训练模型，所以需要人为的构造负样本。
目前大部分均是随机的选取负样本，为了提高模型的训练效果，需要提供更可靠的方案来筛选质量更高的负样本。
发明内容
本说明书一个或多个实施例提供一种负样本筛选模型的训练方法，通过利用训练的负样本筛选模型筛选负样本，提高了负样本的质量。
本说明书一个或多个实施例提供的技术方案如下：
第一方面，提供一种负样本筛选模型的训练方法，包括：
确定多组正样本对，每组正样本对包括第一样本和第二样本；
将多组正样本对输入待训练负样本筛选模型，得到每组正样本对的相似度预测结果，以及每组正样本对中的第一样本与其他各组正样本对中的第二样本的相似度预测结果；
将每组正样本对中的第一样本，和该组正样本对中第一样本的相似度预测结果满足预定筛选条件的第二样本，选为负样本对；
根据每组正样本对的相似度预测结果和每组负样本对的相似度预测结果，确定待训练负样本筛选模型的损失函数，并根据待训练负样本筛选模型的损失函数调整待训练负样本筛选模型的模型参数；
将多组正样本对作为调整后的待训练负样本筛选模型的输入，以对待训练负样本筛选模型进行迭代训练，直至满足预设训练条件，将训练后的负样本筛选模型作为目标负样本筛选模型。
第二方面，提供一种样本数据的筛选方法，包括：
获取待筛选样本数据；
将待筛选样本数据输入利用本说明书实施例提供的负样本筛选模型的训练方法训练得到的目标负样本筛选模型中，得到与待筛选样本数据相关的多组负样本对。
第三方面，提供一种数据匹配方法，包括：
获取多组待匹配的数据对；
将每组待匹配的数据对输入已训练的数据匹配模型，得到每组待匹配的数据对中两个数据之间的相似度；
其中，数据匹配模型是基于多组正样本对和多组负样本对训练得到的，多组负样本对是将多组正样本对输入通过本说明书实施例提供的负样本筛选模型的训练方法训练得到的目标负样本筛选模型得到的。
第四方面，提供一种负样本筛选模型的训练装置，包括：
样本对确定模块，用于确定多组正样本对，每组正样本对包括第一样本和第二样本；
相似度预测模块，用于将多组正样本对输入待训练负样本筛选模型，得到每组正样本对的相似度预测结果，以及每组正样本对中的第一样本与其他各组正样本对中的第二样本的相似度预测结果；
负样本对选取模块，用于将每组正样本对中的第一样本，和该组正样本对中第一样本的相似度预测结果满足预定筛选条件的第二样本，选为负样本对；
模型参数调整模块，用于根据每组正样本对的相似度预测结果和每组负样本对的相似度预测结果，确定待训练负样本筛选模型的损失函数，并根据待训练负样本筛选模型的损失函数调整待训练负样本筛选模型的模型参数；
目标模型确定模块，用于将多组正样本对作为调整后的待训练负样本筛选模型的输入，以对待训练负样本筛选模型进行迭代训练，直至满足预设训练条件，将训练后的负样本筛选模型作为目标负样本筛选模型。
第五方面，提供一种样本数据的筛选装置，包括：
样本数据获取模块，用于获取待筛选样本数据；
筛选模块，用于将待筛选样本数据输入利用本说明书实施例提供的负样本筛选模型的训练方法训练得到的目标负样本筛选模型中，得到与待筛选样本数据相关的多组负样本对。
第六方面，提供一种数据匹配装置，包括：
数据对获取模块，用于获取多组待匹配的数据对；
匹配模块，用于将每组待匹配的数据对输入已训练的数据匹配模型，得到每组待匹配的数据对中两个数据之间的相似度；
其中，数据匹配模型是基于多组正样本对和多组负样本对训练得到的，多组负样本对是将多组正样本对输入通过本说明书实施例提供的负样本筛选模型的训练方法训练得到的目标负样本筛选模型得到的。
第七方面，提供一种负样本筛选模型的训练设备，包括：处理器以及存储有计算机程序指令的存储器；
处理器执行计算机程序指令时实现本说明书实施例提供的负样本筛选模型的训练方法。
第八方面，提供一种样本数据的筛选设备，包括：处理器以及存储有计算机程序指令的存储器；
处理器执行计算机程序指令时实现本说明书实施例提供的样本数据的筛选方法。
第九方面，提供一种数据匹配设备，包括：处理器以及存储有计算机程序指令的存储器；
处理器执行计算机程序指令时实现本说明书实施例提供的数据匹配方法。
根据本说明书实施例中的负样本筛选模型训练方法，基于每组正样本对中的第一样本与其他各组正样本对中的第二样本的相似度预测结果，利用预定筛选条件可以从多组正样本对中筛选出多组负样本对，并利用筛选出的每组负样本对的相似度预测结果和每组正样本对的相似度预测结果反过来调整待训练负样本筛选模型的模型参数，形成一个闭环，不断提高负样本筛选模型的训练效果，从而能够使训练得到的目标负样本筛选模型可以筛选出质量更高的负样本对。
附图说明
为了更清楚地说明本说明书一个或多个实施例的技术方案，下面将对本说明书一个或多个实施例中所需要使用的附图作简单地介绍，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本说明书一个实施例提供的数据匹配系统的结构示意图；
图2为本说明书一个实施例提供的负样本筛选模型训练方法的流程示意图；
图3为本说明书一个实施例提供的选取负样本对的示意图；
图4为本说明书一个实施例提供的负样本筛选模型和数据匹配模型共享向量转换模型的示意图；
图5为本说明书一个实施例提供的负样本筛选模型和数据匹配模型不共享向量转换模型的示意图；
图6为本说明书一个实施例提供的样本数据筛选方法的流程示意图；
图7为本说明书一个实施例提供的数据匹配方法的流程示意图；
图8为本说明书一个实施例提供的负样本筛选模型训练装置的结构示意图；
图9为本说明书一个实施例提供的样本数据筛选装置的结构示意图；
图10为本说明书一个实施例提供的数据匹配装置的结构示意图；
图11为本说明书一个实施例的负样本筛选模型训练设备的示例性硬件架构示意图；
图12为本说明书一个实施例的样本数据筛选设备的示例性硬件架构示意图；
图13为本说明书一个实施例的数据匹配设备的示例性硬件架构示意图。
具体实施方式
下面将详细描述本说明书的各个方面的特征和示例性实施例，为了使本说明书的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本说明书进行进一步详细描述。应理解，此处所描述的具体实施例仅被配置为解释本说明书，并不被配置为限定本说明书。对于本领域技术人员来说，本说明书可以在不需要这些具体细节中的一些细节的情况下实施。下面对实施例的描述仅仅是为了通过示出本说明书的示例来提供对本说明书更好的理解。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
图1示出本说明书一个或多个实施例提供的数据匹配系统的结构示意图。如图1所示，该系统包括终端110和服务器120。
在本说明书一个或多个实施例中，终端110可以是笔记本电脑、智能手机、平板电脑或个人计算机等电子设备。服务器120可以是一种高性能的电子计算器，可以响应于终端110发送的服务请求处理数据。终端110和服务器120之间可以通过网络进行通信。
在本说明书的一个或多个实施例中，文本分类、文本匹配、信息检索、智能客服问答或智能翻译等场景均可以是上述数据匹配系统的应用场景。作为一个示例，数据匹配模型可以为短文本匹配模型(Enhanced LSTM for Natural Language Inference，ESIM)。
在本说明书一个或多个实施例中，用户可以利用终端110输入待匹配数据。终端110利用网络将用户输入的待匹配数据发送至服务器120。服务器120将待匹配数据分别与预存数据库中的每个数据分别组成一组数据对。
然后，服务器120将每组数据对均输入数据匹配模型，以得到每组数据对中两个数据之间的相似度。服务器120可以将相似度满足预设条件的数据对中属于数据库的数据发送至终端110，以展示给用户，使用户获取其需要的信息。
为了更精确地向用户提供其需要的信息，则需要数据匹配模型能够精确地计算数据对中两个数据之间的相似度，即需要得到训练效果较好的数据匹配模型。样本数据在数据匹配模型的训练中起着重要的作用。无论训练何种机器学习模型，都需要正样本数据和负样本数据。输入给待训练的机器学习模型的样本数据的质量直接决定着机器学习模型训练效果的好坏。目前在收集样本集时，对于负样本数据大多是随机进行选取，负样本数据的质量较低，进而降低了对机器学习模型的训练效果。因此需要提供更可靠的方案来筛选质量更高的负样本。
基于此，本说明书一个或多个实施例提供一种负样本筛选模型训练方法，通过该训练方法可以训练得到可靠的目标负样本筛选模型，利用该目标负样本筛选模型可以筛选出质量更高的负样本，以提供给数据匹配模型进行训练，进而提高数据匹配模型的训练效果。
图2示出本说明书实施例提供的负样本筛选模型训练方法的流程示意图。如图2所示，本说明书实施例提供的负样本筛选模型训练方法包括以下步骤：
S210，确定多组正样本对，每组正样本对包括第一样本和第二样本。
S220，将多组正样本对输入待训练负样本筛选模型，得到每组正样本对的相似度预测结果，以及每组正样本对中的第一样本与其他各组正样本对中的第二样本的相似度预测结果。
S230，将每组正样本对中的第一样本，和该组正样本对中第一样本的相似度预测结果满足预定筛选条件的第二样本，选为负样本对。
S240，根据每组正样本对的相似度预测结果和每组负样本对的相似度预测结果，确定待训练负样本筛选模型的损失函数，并根据待训练负样本筛选模型的损失函数调整待训练负样本筛选模型的模型参数。
S250，判断是否满足预设训练条件，若满足，则执行步骤S260；若不满足，则将步骤S220中的待训练负样本筛选模型更新为调整后的待训练负样本筛选模型，并执行步骤S220，即将多组样本对作为更新后的待训练负样本筛选模型的输入，以对待训练负样本筛选模型进行迭代训练。
S260，将训练后的负样本筛选模型作为目标负样本筛选模型。
在本说明书一个或多个实施例中，基于每组正样本对中的第一样本与其他各组正样本对中的第二样本的相似度预测结果，利用预定筛选条件可以从多组正样本对中筛选出多组负样本对，并利用筛选出的每组负样本对的相似度预测结果和每组正样本对的相似度预测结果反过来调整待训练负样本筛选模型的模型参数，形成一个闭环，不断提高负样本筛选模型的训练效果，从而能够使训练得到的目标负样本筛选模型可以筛选出质量更高的负样本对。
在本说明书一个或多个实施例中，正样本对为人工标注的相匹配的一对样本。在训练负样本筛选模型之前，可以利用人工收集多组正样本对，并为每组正样本对的相似度进行预先标注。作为一个示例，每组正样本对的相似度标注结果均为1。
在本说明书一个或多个实施例中，除了需要对每组正样本对进行标注，也需要标注由位于不同组正样本对中的第一样本和第二样本所组成的样本对，该类样本对的相似度标注结果可以是0。
在本说明书一个或多个实施例中，在步骤S110中，可以从人工建立的包括多组正样本对的数据库中确定多组已标注的正样本对。
在首次迭代过程中，即第一次执行步骤S220时，待训练负样本筛选模型为初始负样本筛选模型。在之后的迭代过程中，待训练负样本筛选模型则为上一次迭代过程结束之后得到的负样本筛选模型。
在本说明书一个或多个实施例中，初始负样本筛选模型可以具有计算相似度功能的卷积神经网络模型、循环神经网络模型、马尔科夫模型或长短期记忆网络模型等模型。
在本说明书一个实施例中，图3示出一个训练集，该训练集包括5组正样本对。每一行中的两个样本表示一组正样本对。第一列样本集中包括每组正样本对中的第一样本。第二列样本集包括每组正样本对中的第二样本。
在本说明书一个或多个实施例中，为了将样本数据处理成计算机可以理解的向量数据。对于每组正样本对，应先确定该组样本对中的第一样本对应的向量和第二样本对应的向量。
在本说明书一个实施例中，可以预先使用向量转换模型，根据样本的特征将样本中的特征信息映射到高维向量空间，得到与该样本对应的向量。作为一个示例，向量转换模型可以为神经网络模型。
在本说明书实施例中，对于任意一个第一样本和任意一个第二样本，待训练负样本筛选模型基于该第一样本对应的向量和该第二样本对应的向量，以及预设的用于确定两个不同样本向量之间相似度的相似度算法，可以计算出该第一样本和该第二样本之间的相似度预测结果。
继续参见图3，作为一个示例，对于第一组正样本对中的第一样本而言，该第一样本与第二组正样本对中的第二样本的相似度预测值为0.3，该第一样本与第三组正样本对中的第二样本的相似度预测值为0.9，该第一样本与第四组正样本对中的第二样本的相似度预测值为0.6，该第一样本与第五组正样本对中的第二样本的相似度预测值为0.5。
在本说明书实施例中，在S220中，若将图3中的5组正样本对输入待训练的负样本筛选模型，即可以得到每组正样本对的相似度预测结果，以及每组正样本对中的第一样本与其他各组正样本对中的第二样本的相似度预测结果。
在本说明书实施例中，在S230中，为了提高对负样本筛选模型的训练难度，促进负样本筛选模型的表达能力。对于每组正样本对中的第一样本，预定筛选条件包括位于该组正样本对中第一样本对应的相似度排名结果的前n名。其中，相似度排名结果包括该组正样本对中的第一样本与其他各组正样本对中第二样本的相似度预测结果从高到低排序的结果。其中，n大于等于1。
在本说明书的一个或多个实施例中，参见图3，对于第一组正样本对而言，从第二列样本集中剔除第一组正样本对中的第二样本之后，将第一组正样本对中的第一样本与其他组正样本对中的第二样本的相似度预测值按照从高到低进行排序，并将排名结果中前n名相似度预测值对应的第二样本作为该第一样本对应的n个负样本。将第一组正样本对中的第一样本与其对应的每个负样本均选成一组负样本对。
在本说明书的一个具体示例中，第一组正样本对的第一样本对应的相似度排名结果为：第一名0.9，第二名0.6，第三名0.5，第四名0.3。若n＝2，则第三组正样本对中的第二样本和第四组正样本对中的第二样本为该第一样本对应的负样本。第一组正样本对中第一样本和第三组正样本对中的第二样本被选为一组负样本对，该组负样本对的相似度预测结果为0.9。第一组正样本对中第一样本和第四组正样本对中的第二样本被选为一组负样本对，该组负样本对的相似度预测结果为0.6。
也就是说，负样本对的相似度预测结果也就是该负样本对中包括的第一样本和第二样本之间的相似度预测结果。
基于上述类似的方法，也可以获取其他组正样本对中的第一样本所对应的负样本。对于每组正样本对中的第一样本，将该组正样本对中的第一样本，和该组正样本对中第一样本的相似度预测结果满足预定筛选条件的第二样本，选为负样本对。
在本说明书的实施例中，对于每组正样本对，该组正样本对的预测结果是该组正样本对包括的第一样本和第二样本之间的相似度预测值。
在本说明书的一个或多个实施例中，通过将第一样本对应的相似度排名结果中的前n名所对应的第二样本，作为该第一样本的负样本，增加了负样本筛选模型训练的难度，从而进一步提高负样本筛选模型的筛选能力。
在本说明书的一个或多个实施例中，损失函数(Loss Function)可以用于估计模型训练的结果与模型训练的目标之间的差距，即负样本筛选模型的相似度误差。例如，模型训练的结果是每次训练的负样本筛选模型得到的相似度预测结果，而模型训练的目标是输入的样本对的相似度标注结果。
在一个实施例中，可以根据损失函数对应的梯度，调整负样本筛选模型参数，对负样本筛选模型中的模型参数进行调整。
在一个实施例中，负样本筛选模型中的模型参数的初始值可以是一个随机参数或用户根据经验设定的一个参数值。
在本说明书一个或多个实施例中，在负样本筛选模型的训练过程中，利用梯度下降算法，确定损失函数对应的梯度，并根据损失函数对应的梯度，调整负样本筛选模型参数。作为一个示例，梯度下降算法可以包括基于梯度下降算法的反向传播算法、Adam优化算法等。
在一些实施例中，梯度本身是一个向量，可以称之为梯度向量，梯度向量可以为负样本筛选模型的训练过程指明调整模型参数的方向，沿着该梯度向量的方向，根据梯度向量的大小调整负样本筛选模型参数，可以保证每次对负样本筛选模型训练的结果更接近于模型训练的目标。
在本说明书的一个或多个实施例中，当调整完待训练负样本筛选模型的模型参数之后，判断是否满足预设训练条件。
在本说明书的一个实施例中，预设训练条件包括迭代次数达到预设次数阈值。
在本说明书的另一个实施例中，预设训练条件包括待训练负样本筛选模型的损失函数与上一次迭代过程中确定的损失函数之间的差值不超过预设差值阈值。也就是说待训练的负样本筛选模型的损失函数与上一次迭代过程中计算的损失函数较为接近，则可以认为训练出的负样本筛选模型的性能已达到最佳。
在本说明书的一个或多个实施例中，可以根据实际需求灵活设置预设训练条件以得到满足需求的负样本筛选模型。
在本说明书的一个或多个实施例中，负样本筛选模型的训练还可以和数据匹配模型的训练相结合。
在本说明书的一个实施例中，可以利用待训练的负样本筛选模型输出的多组正样本对和多组负样本对，训练数据匹配模型。也就是说，将待训练的负样本筛选模型输出的多组正样本对和多组负样本对，提供给数据匹配模型进行训练。
在本说明书一个或多个实施例中，当将待训练负样本筛选模型输出的多组正样本对和多组负样本对输入待训练数据匹配模型之后，则待训练数据匹配模型可以重新计算出每组正样本对的相似度预测结果和每组负样本对的相似度预测结果。
基于待训练数据匹配模型重新计算出每组正样本对的相似度预测结果、每组负样本对的相似度预测结果、每组正样本对的相似度标注结果和每组负样本对的相似度标注结果，可以确定待训练数据匹配模型的损失函数。基于待训练数据匹配模型的损失函数可以更新待训练数据匹配模型的模型参数，以训练数据匹配模型。
在本说明书的一个或多个实施例中，基于待训练数据匹配模型的损失函数和对应的训练负样本筛选模型的损失函数，可以调整待训练负样本筛选模型的训练次数。其中，对应的待训练负样本筛选模型的损失函数是指提供给待训练数据匹配模型本次训练数据的待训练负样本筛选模型的损失函数。
在本说明书的一个或多个实施例中，若将负样本筛选模型的训练和数据匹配模型的训练相结合，即将负样本筛选模型的输出作为数据匹配模型训练时的输入，则结合训练的最终的损失函数为待训练负样本筛选模型的损失函数和待训练数据匹配模型的损失函数的和。
通过对最终的损失函数反向求导，可以判断出在两个模型结合训练的过程中，两个模型中哪个模型的损失函数更大。对于两个模型中损失函数更大的模型，则在两个模型结合训练的时候对该模型的惩罚越大，也就是更多的训练损失函数更大的模型。作为一个示例，可以增加对损失函数更大的模型的训练次数。
在本说明书的一个示例中，若待训练负样本筛选模型的损失函数比较大，则说明此时待训练负样本筛选模型的筛选能力较差，筛选的负样本对的质量还需要再提高，则此时在两个模型结合训练的过程中应更多的关注负样本筛选模型的训练。作为一个示例，可以增加负样本筛选模型训练的次数。
在本说明书的另一个示例中，若待数据匹配模型的损失函数比较大，此时相对来说，负样本筛选模型筛选负样本对的能力较高，筛选出来的负样本很难，此时在两个模型结合训练的过程中应更多的关注数据匹配模型的训练。作为一个示例，可以增加数据匹配模型的训练次数，相对减少负样本筛选模型的训练次数。
在本说明书一个或多个实施例中，将负样本筛选模型的训练和数据匹配模型的训练相结合，可以互相促进对方的训练效果。
在本说明书一个或多个实施例中，在将负样本筛选模型的训练和数据匹配模型的训练相结合的过程中，负样本筛选模型的预设训练条件包括经训练的数据匹配模型的准确率大于预设阈值。
在本说明书的一个实施例中，经训练的数据匹配模型的准确率是基于测试样本的标注结果和测试样本的数据匹配结果得到的。测试样本的数据匹配结果是将测试样本输入经训练的数据匹配模型得到的输出结果。
换句话说，若数据匹配模型的准确率达到预设阈值，则说明数据匹配模型的训练效果很好，从而说明负样本筛选模型提供了质量很好的负样本对和正样本对，进而说明负样本筛选模型的训练效果也比较好。因此，可以将数据匹配模型的准确率大于预设阈值作为负样本筛选模型的预设训练条件。
需要说明的是，无论是负样本筛选模型还是数据匹配模型，在该模型对输入数据进行相似度预测之前，均需要将输入数据转换为计算机可以处理的向量数据。因此，无论是负样本筛选模型还是数据匹配模型均需要利用向量转换模型将各自的输入数据转换为对应的向量。
在本说明书一些实施例中，参见图4，在将负样本筛选模型的训练和数据匹配模型的训练相结合的过程中，负样本筛选模型的损失函数为loss1，数据匹配模型的损失函数为loss2，最终的损失函数Sum为loss1+loss2。负样本筛选模型和数据匹配模型可以共享第一向量转换模型。图4中的点划线框内的实线框表示输入数据，点划线框内的虚线框表示向量数据。点划线框内的实线框与点划线框内的虚线框之间的带有箭头的实线代表通过第一向量转换模型，负样本筛选模型的输入数据或数据匹配模型的输入数据转换为对应的向量。
其中，共享的第一向量转换模型用于将负样本筛选模型的输入数据转换为对应的向量，还用于将数据匹配模型的输入数据转换为对应的向量。
在本说明书的一个或多个实施例中，负样本筛选模型和数据匹配模型共享向量转换模型，可以降低两者结合训练时的复杂程度，提高数据处理速度，加快训练速度。
在本说明书的一个或多个实施例中，参见图5，与图4不同的之处在于，负样本筛选模型和数据匹配模型不共享向量转换模型。其中，图5中左边的点划线框内的实线框表示负样本筛选模型的输入数据，左边的点划线框内的虚线框表示该输入数据对应的向量数据。左边的点划线框内的实线框与点划线框内的虚线框之间的带有箭头的实线代表通过第二向量转换模型，负样本筛选模型的输入数据转换为对应的向量。
图5中右边的点划线框内的实线框表示数据匹配模型的输入数据，右边的点划线框内的虚线框表示该输入数据对应的向量数据。右边的点划线框内的实线框与点划线框内的虚线框之间的带有箭头的线代表通过第二向量转换模型，数据匹配模型的输入数据转换为对应的向量。
在本说明书实施例中，通过将负样本筛选模型的训练和数据匹配模型的训练相结合，形成了一个闭环训练，相互促进对方的训练效果。
本说明书实施例还提供一种样本数据筛选方法，该方法可使用上述任一实施例的目标负样本筛选模型对样本数据进行筛选。
图6是本说明书一个实施例提供的样本数据筛选方法600的流程示意图。如图6所示，本说明书实施例提供的样本数据筛选方法包括：
S610，获取待筛选样本数据。
在本说明书的一个或多个实施例中，待筛选样本数据包括多组待筛选正样本对。
S620，将待筛选样本数据输入目标负样本筛选模型中，得到与待筛选样本数据相关的多组负样本对。
在本说明书一个或多个实施例中，通过利用目标负样本筛选模型，可以从待筛选样本数据中筛选出质量更高的负样本对。通过利用筛选出的质量高的负样本对训练数据匹配模型，可以提高数据匹配模型的训练效果。
在本说明书的一个或多个实施例中，若待筛选样本数据包括多组待筛选正样本对，每组待筛选正样本对包括第三样本和第四样本，则对于每组待筛选正样本对中的第三样本，将该第三样本与其他各组待筛选正样本对中的第四样本的相似度预测值从高到低进行排序，得到该第三样本的相似度排名结果。
然后，选取排名结果中前n名相似度预测值对应的第四样本作为该第三样本对应的n个负样本。其中，n大于等于1。对于每组待筛选正样本对中的第三样本，将该第三样本与其对应的n个负样本中的每个负样本分别选为一个负样本对，以得到与待筛选样本数据相关的多组负样本对。
在本说明书的一个或多个实施例中，通过将与第一样本相似度较高的第二样本与该第一样本构成负样本对，可以提高筛选出的负样本对的质量。
本说明书实施例还提供一种数据匹配方法，该方法可使用上述任一实施例的数据匹配模型计算数据对中两个数据的相似度。
图7是本说明书一个实施例提供的数据匹配方法700的流程示意图。如图7所示，本说明书实施例提供的数据匹配方法包括：
S710，获取多组待匹配的数据对。
S720，将每组待匹配的数据对输入已训练的数据匹配模型，得到每组待匹配的数据对中两个数据之间的相似度。
其中，数据匹配模型是基于多组正样本对和多组负样本对训练得到的，多组负样本对是将多组正样本对输入上述任一实施例中的目标负样本筛选模型得到的。
在本说明书的一个或多个实施例中，多组待匹配的数据对可以为多组待匹配的文本对，数据匹配模型为ESIM。
在本说明书的一个或多个实施例中，由于训练数据匹配模型的数据是目标负样本筛选模型筛选出来的，因此数据匹配模型的训练效果较好，即提高了对待匹配数据对的相似度预测的准确性。
与上述实施例提供的负样本筛选模型训练方法相对应，本说明书的一种实施例还提供一种负样本筛选模型训练装置。图8是本说明书实施例提供的负样本筛选模型训练装置800的结构示意图。如图8所示，本说明书实施例提供的负样本筛选模型训练装置包括：
样本对确定模块810，用于确定多组正样本对，每组正样本对包括第一样本和第二样本。
相似度预测模块820，用于将多组正样本对输入待训练负样本筛选模型，得到每组正样本对的相似度预测结果，以及每组正样本对中的第一样本与其他各组正样本对中的第二样本的相似度预测结果。
负样本对选取模块830，用于将每组正样本对中的第一样本，和该组正样本对中第一样本的相似度预测结果满足预定筛选条件的第二样本，选为负样本对。
模型参数调整模块840，用于根据每组正样本对的相似度预测结果和每组负样本对的相似度预测结果，确定待训练负样本筛选模型的损失函数，并根据待训练负样本筛选模型的损失函数调整待训练负样本筛选模型的模型参数。
目标模型确定模块850，用于将多组正样本对作为调整后的待训练负样本筛选模型的输入，以对待训练负样本筛选模型进行迭代训练，直至满足预设训练条件，将训练后的负样本筛选模型作为目标负样本筛选模型。
在本说明书的一个或多个实施例中，对于每组正样本对中的第一样本，预定筛选条件包括：位于该组正样本对中第一样本对应的相似度排名结果的前n名。
其中，相似度排名结果包括：该组正样本对中的第一样本与其他各组正样本对中第二样本的相似度预测结果从高到低排序的结果；其中，n大于等于1。
在本说明书的一个或多个实施例中，预设训练条件包括：
迭代次数达到预设次数阈值；或，
待训练负样本筛选模型的损失函数与上一次迭代过程中确定的损失函数之间的差值不超过预设差值阈值。
在本说明书的一个或多个实施例中，负样本筛选装置还包括：
样本提供模块，用于将多组正样本对和多组负样本对，提供给待训练数据匹配模型。
损失函数确定模块，用于确定待训练数据匹配模型的损失函数。
训练次数调整模块，用于基于待训练数据匹配模型的损失函数和对应的待训练负样本筛选模型的损失函数，调整待训练负样本筛选模型的训练次数。
在本说明书的一个或多个实施例中，预设训练条件包括经训练的数据匹配模型的准确率大于预设阈值。其中，经训练的数据匹配模型的准确率是基于测试样本的标注结果和测试样本的数据匹配结果得到的，测试样本的数据匹配结果是将测试样本输入经训练的数据匹配模型得到的输出结果。
在本说明书一个或多个实施例中，基于每组正样本对中的第一样本与其他各组正样本对中的第二样本的相似度预测结果，利用预定筛选条件可以从多组正样本对中筛选出多组负样本对，并利用筛选出的每组负样本对的相似度预测结果和每组正样本对的相似度预测结果反过来调整待训练负样本筛选模型的模型参数，形成一个闭环，不断提高负样本筛选模型的训练效果，从而能够使训练得到的目标负样本筛选模型可以筛选出质量更高的负样本对。
根据本说明书实施例的负样本筛选模型训练装置的其他细节与以上结合图2至图3描述的根据本说明书实施例的负样本筛选模型训练方法类似，在此不再赘述。
与上述实施例提供的样本数据筛选方法相对应，本说明书的一种实施例还提供一种样本数据筛选装置。图9是本说明书实施例提供的样本数据筛选装置900的结构示意图。如图9所示，本说明书实施例提供的样本数据筛选装置包括：
样本数据获取模块910，用于获取待筛选样本数据。
筛选模块920，用于将待筛选样本数据输入利用上述实施例中的目标负样本筛选模型中，得到与待筛选样本数据相关的多组负样本对。
在本说明书的一个或多个实施例中待筛选样本数据包括多组待筛选正样本对，每组待筛选正样本对包括第三样本和第四样本。
其中，筛选模块920具体用于对于每组待筛选正样本对中的第三样本，将该第三样本与其他各组待筛选正样本对中的第四样本的相似度预测值从高到低进行排序，选取排名结果中前n名相似度预测值对应的第四样本作为该第三样本对应的n个负样本；其中，n大于等于1。
筛选模块920具体用于对于每组待筛选正样本对中的第三样本，将该第三样本与其对应的n个负样本中的每个负样本分别作为一个负样本对，以得到与待筛选样本数据相关的多组负样本对。
在本说明书的一个或多个实施例中，负样本筛选模型和数据匹配模型共享向量转换模型。向量转换模型用于将负样本筛选模型的第一输入数据转换为对应的向量，还用于将数据匹配模型的第二输入数据转换为对应的向量。
在本说明书一个或多个实施例中，通过利用目标负样本筛选模型，可以从待筛选样本数据中筛选出质量更高的负样本对。通过利用筛选出的质量高的负样本对训练数据匹配模型，可以提高数据匹配模型的训练效果。
根据本说明书实施例的样本数据筛选装置的其他细节与以上结合图6描述的根据本说明书实施例的样本数据筛选方法类似，在此不再赘述。
与上述实施例提供的数据匹配方法相对应，本说明书的一种实施例还提供一种数据匹配装置。图10是本说明书实施例提供的数据匹配装置1000的结构示意图。如图10所示，本说明书实施例提供的数据匹配装置包括：
数据对获取模块1010，用于获取多组待匹配的数据对。
匹配模块1020，用于将每组待匹配的数据对输入已训练的数据匹配模型，得到每组待匹配的数据对中两个数据之间的相似度。
其中，数据匹配模型是基于多组正样本对和多组负样本对训练得到的，多组负样本对是将多组正样本对输入上述实施例中的目标负样本筛选模型得到的。
在本说明书的一个或多个实施例中，由于训练数据匹配模型的数据是目标负样本筛选模型筛选出来的，因此数据匹配模型的训练效果较好，即提高了对待匹配数据对的相似度预测的准确性。
根据本说明书实施例的负样本筛选装置的其他细节与以上结合图7描述的根据本说明书实施例的负样本筛选方法类似，在此不再赘述。
结合图2、图3和图8描述的根据本说明书实施例的负样本筛选模型训练方法和装置可以由负样本筛选模型训练设备来实现。图11是示出根据说明书实施例的负样本筛选模型训练设备的硬件结构1100示意图。
如图11所示，负样本筛选模型训练设备1100包括输入设备1101、输入接口1102、中央处理器1103、存储器1104、输出接口1105、以及输出设备1106。其中，输入接口1102、中央处理器1103、存储器1104、以及输出接口1105通过总线1110相互连接，输入设备1101和输出设备1106分别通过输入接口1102和输出接口1105与总线1110连接，进而与负样本筛选模型训练设备1100的其他组件连接。
具体地，输入设备1101接收来自外部的输入信息，并通过输入接口1102将输入信息传送到中央处理器1103；中央处理器1103基于存储器1104中存储的计算机可执行指令对输入信息进行处理以生成输出信息，将输出信息临时或者永久地存储在存储器1104中，然后通过输出接口1105将输出信息传送到输出设备1106；输出设备1106将输出信息输出到负样本筛选模型训练设备1100的外部供用户使用。
也就是说，图11所示的负样本筛选模型训练设备也可以被实现为包括：存储有计算机可执行指令的存储器；以及处理器，该处理器在执行计算机可执行指令时可以实现结合图2至图3描述的负样本筛选模型训练方法和装置。
结合图6和图9描述的根据本说明书实施例的样本数据筛选训练方法和装置可以由样本数据筛选训练设备来实现。图12是示出根据说明书实施例的样本数据筛选训练设备的硬件结构1200示意图。
如图12所示，样本数据筛选训练设备1200包括输入设备1201、输入接口1202、中央处理器1203、存储器1204、输出接口1205、以及输出设备1206。其中，输入接口1202、中央处理器1203、存储器1204、以及输出接口1205通过总线1210相互连接，输入设备1201和输出设备1206分别通过输入接口1202和输出接口1205与总线1210连接，进而与样本数据筛选训练设备1200的其他组件连接。
具体地，输入设备1201接收来自外部的输入信息，并通过输入接口1202将输入信息传送到中央处理器1203；中央处理器1203基于存储器1204中存储的计算机可执行指令对输入信息进行处理以生成输出信息，将输出信息临时或者永久地存储在存储器1204中，然后通过输出接口1205将输出信息传送到输出设备1206；输出设备1206将输出信息输出到样本数据筛选训练设备1200的外部供用户使用。
也就是说，图12所示的样本数据筛选训练设备也可以被实现为包括：存储有计算机可执行指令的存储器；以及处理器，该处理器在执行计算机可执行指令时可以实现结合图6描述的样本数据筛选训练方法和装置。
结合图7和图10描述的根据本说明书实施例的数据匹配训练方法和装置可以由数据匹配训练设备来实现。图13是示出根据说明书实施例的数据匹配训练设备的硬件结构1300示意图。
如图13所示，数据匹配训练设备1300包括输入设备1301、输入接口1302、中央处理器1303、存储器1304、输出接口1305、以及输出设备1306。其中，输入接口1302、中央处理器1303、存储器1304、以及输出接口1305通过总线1310相互连接，输入设备1301和输出设备1306分别通过输入接口1302和输出接口1305与总线1310连接，进而与数据匹配训练设备1300的其他组件连接。
具体地，输入设备1301接收来自外部的输入信息，并通过输入接口1302将输入信息传送到中央处理器1303；中央处理器1303基于存储器1304中存储的计算机可执行指令对输入信息进行处理以生成输出信息，将输出信息临时或者永久地存储在存储器1304中，然后通过输出接口1305将输出信息传送到输出设备1306；输出设备1306将输出信息输出到数据匹配训练设备1300的外部供用户使用。
也就是说，图13所示的数据匹配训练设备也可以被实现为包括：存储有计算机可执行指令的存储器；以及处理器，该处理器在执行计算机可执行指令时可以实现结合图7描述的数据匹配训练方法和装置。
上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
以上，仅为本说明书的具体实施方式，所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的系统、模块和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。应理解，本说明书的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本说明书揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本说明书的保护范围之内。
Claims (21)
1.一种负样本筛选模型的训练方法，其特征在于，所述方法包括：
确定多组正样本对，每组正样本对包括第一样本和第二样本；
将所述多组正样本对输入待训练负样本筛选模型，得到每组正样本对的相似度预测结果，以及每组正样本对中的第一样本与其他各组正样本对中的第二样本的相似度预测结果；
将每组正样本对中的第一样本，和该组正样本对中第一样本的相似度预测结果满足预定筛选条件的第二样本，选为负样本对；
根据每组正样本对的相似度预测结果和每组负样本对的相似度预测结果，确定所述待训练负样本筛选模型的损失函数，并根据所述待训练负样本筛选模型的损失函数调整所述待训练负样本筛选模型的模型参数；
将所述多组正样本对作为调整后的待训练负样本筛选模型的输入，以对待训练负样本筛选模型进行迭代训练，直至满足预设训练条件，将训练后的负样本筛选模型作为目标负样本筛选模型，所述正样本对和所述负样本对均为文本对。
2.根据权利要求1所述的方法，其特征在于，对于每组正样本对中的第一样本，所述预定筛选条件包括：位于该组正样本对中第一样本对应的相似度排名结果的前n名；
其中，所述相似度排名结果包括：该组正样本对中的第一样本与其他各组正样本对中第二样本的相似度预测结果从高到低排序的结果；其中，n大于等于1。
3.根据权利要求1所述的方法，其特征在于，所述预设训练条件包括：
迭代次数达到预设次数阈值；或，
待训练负样本筛选模型的损失函数与上一次迭代过程中确定的损失函数之间的差值不超过预设差值阈值。
4.根据权利要求1所述的方法，其特征在于，所述方法还包括：
将所述多组正样本对和多组所述负样本对，提供给待训练数据匹配模型；
确定所述待训练数据匹配模型的损失函数；
基于所述待训练数据匹配模型的损失函数和对应的所述待训练负样本筛选模型的损失函数，调整所述待训练负样本筛选模型的训练次数。
5.根据权利要求4所述的方法，其特征在于，所述预设训练条件包括经训练的数据匹配模型的准确率大于预设阈值；
其中，所述经训练的数据匹配模型的准确率是基于测试样本的标注结果和所述测试样本的数据匹配结果得到的，所述测试样本的数据匹配结果是将所述测试样本输入所述经训练的数据匹配模型得到的输出结果。
6.一种样本数据的筛选方法，其特征在于，所述方法包括：
获取待筛选样本数据，所述待筛选样本数据为文本对；
将所述待筛选样本数据输入利用权利要求1-5任意一项所述的负样本筛选模型的训练方法训练得到的所述目标负样本筛选模型中，得到与所述待筛选样本数据相关的多组负样本对。
7.根据权利要求6所述的筛选方法，其特征在于，所述待筛选样本数据包括多组待筛选正样本对，每组待筛选正样本对包括第三样本和第四样本；
其中，对于每组待筛选正样本对中的第三样本，将该第三样本与其他各组待筛选正样本对中的第四样本的相似度预测值从高到低进行排序，选取排名结果中前n名相似度预测值对应的第四样本作为该第三样本对应的n个负样本；其中，n大于等于1；
对于每组待筛选正样本对中的第三样本，将该第三样本与其对应的n个负样本中的每个负样本分别作为一个负样本对，以得到与所述待筛选样本数据相关的多组负样本对。
8.一种数据匹配方法，其特征在于，所述方法包括：
获取多组待匹配的数据对，所述多组待匹配的数据对为多组待匹配的文本对；
将每组待匹配的数据对输入已训练的数据匹配模型，得到每组待匹配的数据对中两个数据之间的相似度，所述数据匹配模型为短文本匹配模型；
其中，所述数据匹配模型是基于多组正样本对和多组负样本对训练得到的，所述多组负样本对是将所述多组正样本对输入通过权利要求1-5任意一项所述的负样本筛选模型的训练方法训练得到的所述目标负样本筛选模型得到的。
9.根据权利要求8所述的方法，其特征在于，所述负样本筛选模型和所述数据匹配模型共享向量转换模型；
所述向量转换模型用于将所述负样本筛选模型的第一输入数据转换为对应的向量，还用于将所述数据匹配模型的第二输入数据转换为对应的向量。
10.一种负样本筛选模型的训练装置，其特征在于，所述装置包括：
样本对确定模块，用于确定多组正样本对，每组正样本对包括第一样本和第二样本；
相似度预测模块，用于将所述多组正样本对输入待训练负样本筛选模型，得到每组正样本对的相似度预测结果，以及每组正样本对中的第一样本与其他各组正样本对中的第二样本的相似度预测结果；
负样本对选取模块，用于将每组正样本对中的第一样本，和该组正样本对中第一样本的相似度预测结果满足预定筛选条件的第二样本，选为负样本对；
模型参数调整模块，用于根据每组正样本对的相似度预测结果和每组负样本对的相似度预测结果，确定所述待训练负样本筛选模型的损失函数，并根据所述待训练负样本筛选模型的损失函数调整所述待训练负样本筛选模型的模型参数；
目标模型确定模块，用于将所述多组正样本对作为调整后的待训练负样本筛选模型的输入，以对待训练负样本筛选模型进行迭代训练，直至满足预设训练条件，将训练后的负样本筛选模型作为目标负样本筛选模型，所述正样本对和所述负样本对均为文本对。
11.根据权利要求10所述的装置，其特征在于，对于每组正样本对中的第一样本，所述预定筛选条件包括：位于该组正样本对中第一样本对应的相似度排名结果的前n名；
其中，所述相似度排名结果包括：该组正样本对中的第一样本与其他各组正样本对中第二样本的相似度预测结果从高到低排序的结果；其中，n大于等于1。
12.根据权利要求10所述的装置，其特征在于，所述预设训练条件包括：
迭代次数达到预设次数阈值；或，
待训练负样本筛选模型的损失函数与上一次迭代过程中确定的损失函数之间的差值不超过预设差值阈值。
13.根据权利要求10所述的方法，其特征在于，所述装置还包括：
样本提供模块，用于将所述多组正样本对和多组所述负样本对，提供给待训练数据匹配模型；
损失函数确定模块，用于确定所述待训练数据匹配模型的损失函数；
训练次数调整模块，用于基于所述待训练数据匹配模型的损失函数和对应的所述待训练负样本筛选模型的损失函数，调整所述待训练负样本筛选模型的训练次数。
14.根据权利要求13所述的方法，其特征在于，所述预设训练条件包括经训练的数据匹配模型的准确率大于预设阈值；
其中，所述经训练的数据匹配模型的准确率是基于测试样本的标注结果和所述测试样本的数据匹配结果得到的，所述测试样本的数据匹配结果是将所述测试样本输入所述经训练的数据匹配模型得到的输出结果。
15.一种样本数据的筛选装置，其特征在于，所述装置包括：
样本数据获取模块，用于获取待筛选样本数据，所述待筛选样本数据为文本对；
筛选模块，用于将所述待筛选样本数据输入利用权利要求1-5任意一项所述的负样本筛选模型的训练方法训练得到的所述目标负样本筛选模型中，得到与所述待筛选样本数据相关的多组负样本对。
16.根据权利要求15所述的装置，其特征在于，所述待筛选样本数据包括多组待筛选正样本对，每组待筛选正样本对包括第三样本和第四样本；
其中，所述筛选模块用于对于每组待筛选正样本对中的第三样本，将该第三样本与其他各组待筛选正样本对中的第四样本的相似度预测值从高到低进行排序，选取排名结果中前n名相似度预测值对应的第四样本作为该第三样本对应的n个负样本；其中，n大于等于1；
所述筛选模块用于对于每组待筛选正样本对中的第三样本，将该第三样本与其对应的n个负样本中的每个负样本分别作为一个负样本对，以得到与所述待筛选样本数据相关的多组负样本对。
17.一种数据匹配装置，其特征在于，所述装置包括：
数据对获取模块，用于获取多组待匹配的数据对，所述多组待匹配的数据对为多组待匹配的文本对；
匹配模块，用于将每组待匹配的数据对输入已训练的数据匹配模型，得到每组待匹配的数据对中两个数据之间的相似度，所述数据匹配模型为短文本匹配模型；
其中，所述数据匹配模型是基于多组正样本对和多组负样本对训练得到的，所述多组负样本对是将所述多组正样本对输入通过权利要求1-5任意一项所述的负样本筛选模型的训练方法训练得到的所述目标负样本筛选模型得到的。
18.根据权利要求17所述的装置，其特征在于，所述负样本筛选模型和所述数据匹配模型共享向量转换模型；
所述向量转换模型用于将所述负样本筛选模型的第一输入数据转换为对应的向量，还用于将所述数据匹配模型的第二输入数据转换为对应的向量。
19.一种负样本筛选模型的训练设备，其特征在于，所述设备包括：处理器以及存储有计算机程序指令的存储器；
所述处理器执行所述计算机程序指令时实现如权利要求1-5任意一项所述的负样本筛选模型的训练方法。
20.一种样本数据的筛选设备，其特征在于，所述设备包括：处理器以及存储有计算机程序指令的存储器；
所述处理器执行所述计算机程序指令时实现如权利要求6-7任意一项所述的样本数据的筛选方法。
21.一种数据匹配设备，其特征在于，所述设备包括：处理器以及存储有计算机程序指令的存储器；
所述处理器执行所述计算机程序指令时实现如权利要求8-9任意一项所述的数据匹配方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910573254.5A CN110309874B (zh) | 2019-06-28 | 2019-06-28 | 负样本筛选模型训练方法、数据筛选方法和数据匹配方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910573254.5A CN110309874B (zh) | 2019-06-28 | 2019-06-28 | 负样本筛选模型训练方法、数据筛选方法和数据匹配方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110309874A CN110309874A (zh) | 2019-10-08 |
| CN110309874B true CN110309874B (zh) | 2024-02-06 |
Family
ID=68077841
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910573254.5A Active CN110309874B (zh) | 2019-06-28 | 2019-06-28 | 负样本筛选模型训练方法、数据筛选方法和数据匹配方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110309874B (zh) |
Families Citing this family (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112860884A (zh) * | 2019-11-12 | 2021-05-28 | 马上消费金融股份有限公司 | 分类模型的训练和信息识别方法、装置、设备及存储介质 |
| CN111143203B (zh) * | 2019-12-13 | 2022-04-22 | 支付宝(杭州)信息技术有限公司 | 机器学习、隐私代码确定方法、装置及电子设备 |
| CN111460091B (zh) * | 2020-03-09 | 2023-10-27 | 杭州麦歌算法科技有限公司 | 医学短文本数据负样例采样方法及医学诊断标准术语映射模型训练方法 |
| CN113538075A (zh) * | 2020-04-14 | 2021-10-22 | 阿里巴巴集团控股有限公司 | 数据的处理方法、模型的训练方法、装置和设备 |
| CN111831855B (zh) * | 2020-07-20 | 2022-09-27 | 北京字节跳动网络技术有限公司 | 用于匹配视频的方法、装置、电子设备和介质 |
| CN112929386B (zh) * | 2020-08-08 | 2022-06-28 | 重庆华唐云树科技有限公司 | 基于人工智能和异常识别的模型训练方法、系统及平台 |
| CN112465799A (zh) * | 2020-12-09 | 2021-03-09 | 南京甄视智能科技有限公司 | 目标检测器的优化以及目标检测 |
| CN112668664B (zh) * | 2021-01-06 | 2022-11-15 | 安徽迪科数金科技有限公司 | 一种基于智能语音的话术训练方法 |
| CN113821623A (zh) * | 2021-09-29 | 2021-12-21 | 平安普惠企业管理有限公司 | 模型训练方法、装置、设备与存储介质 |
| CN115239025B (zh) * | 2022-09-21 | 2023-02-03 | 荣耀终端有限公司 | 一种支付预测方法及电子设备 |
| CN115545121A (zh) * | 2022-11-25 | 2022-12-30 | 北京红棉小冰科技有限公司 | 一种模型训练方法及装置 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109214436A (zh) * | 2018-08-22 | 2019-01-15 | 阿里巴巴集团控股有限公司 | 一种针对目标场景的预测模型训练方法及装置 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3619680B1 (en) * | 2017-05-05 | 2022-01-05 | Beijing Didi Infinity Technology And Development Co., Ltd. | System and method for image re-orientation |
-
2019
- 2019-06-28 CN CN201910573254.5A patent/CN110309874B/zh active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109214436A (zh) * | 2018-08-22 | 2019-01-15 | 阿里巴巴集团控股有限公司 | 一种针对目标场景的预测模型训练方法及装置 |
Non-Patent Citations (1)
| Title |
|---|
| 基于正样本和未标记样本的遥感图像分类方法;裔阳;周绍光;赵鹏飞;胡屹群;;计算机工程与应用(04);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110309874A (zh) | 2019-10-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110309874B (zh) | 负样本筛选模型训练方法、数据筛选方法和数据匹配方法 | |
| CN107423442B (zh) | 基于用户画像行为分析的应用推荐方法及系统，储存介质及计算机设备 | |
| EP3567498A1 (en) | Method and device for question response | |
| Liang et al. | A fast and accurate online sequential learning algorithm for feedforward networks | |
| WO2021089013A1 (zh) | 空间图卷积网络的训练方法、电子设备及存储介质 | |
| CN106844788B (zh) | 一种图书馆智能搜索排序方法及系统 | |
| CN110717099A (zh) | 一种推荐影片的方法及终端 | |
| CN109558898B (zh) | 一种基于深度神经网络的高置信度的多选择学习方法 | |
| CN116363452B (zh) | 任务模型训练方法以及装置 | |
| CN113505883A (zh) | 一种神经网络训练方法以及装置 | |
| CN113592060A (zh) | 一种神经网络优化方法以及装置 | |
| Yu et al. | Landmark regularization: Ranking guided super-net training in neural architecture search | |
| CN109934845B (zh) | 基于自注意力网络的时序行为捕捉框生成方法及装置 | |
| CN115018170A (zh) | 一种短期风电功率预测方法、装置、设备及存储介质 | |
| CN115879508A (zh) | 一种数据处理方法及相关装置 | |
| CN116910357A (zh) | 一种数据处理方法及相关装置 | |
| CN109815474B (zh) | 一种词序列向量确定方法、装置、服务器及存储介质 | |
| CN112115268B (zh) | 基于特征编码器的训练方法及装置、分类方法及装置 | |
| CN114625969A (zh) | 一种基于交互近邻会话的推荐方法 | |
| CN115496175A (zh) | 新建边缘节点接入评估方法、装置、终端设备及产品 | |
| Jo et al. | How Much a Model be Trained by Passive Learning Before Active Learning? | |
| CN117520818A (zh) | 一种电力指纹识别方法、装置、电子设备及存储介质 | |
| CN117440501A (zh) | 定位模型训练方法、装置、定位方法及装置 | |
| CN117952227A (zh) | 模型处理方法、电子设备及存储设备 | |
| CN117056596A (zh) | 会话推荐方法、系统、终端设备及介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 40015577 Country of ref document: HK |
|
| TA01 | Transfer of patent application right | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20200916 Address after: Grand Cayman Islands Applicant after: Innovative advanced technology Co.,Ltd. Address before: Grand Cayman Islands Applicant before: Advanced innovation technology Co.,Ltd. Effective date of registration: 20200916 Address after: Grand Cayman Islands Applicant after: Advanced innovation technology Co.,Ltd. Address before: Grand Cayman Islands Applicant before: Alibaba Group Holding Ltd. |
|
| CB02 | Change of applicant information | ||
| CB02 | Change of applicant information |
Address after: Cayman Enterprise Centre, 27 Hospital Road, George Town, Grand Cayman Islands Applicant after: Innovative advanced technology Co.,Ltd. Address before: Grand Cayman Islands Applicant before: Innovative advanced technology Co.,Ltd. |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |