CN114912513A - 一种模型训练的方法、识别信息的方法及装置 - Google Patents

一种模型训练的方法、识别信息的方法及装置 Download PDF

Info

Publication number
CN114912513A
CN114912513A CN202210424790.0A CN202210424790A CN114912513A CN 114912513 A CN114912513 A CN 114912513A CN 202210424790 A CN202210424790 A CN 202210424790A CN 114912513 A CN114912513 A CN 114912513A
Authority
CN
China
Prior art keywords
verification
sample
verification sample
training
confidence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202210424790.0A
Other languages
English (en)
Inventor
马放
任磊
张辰
王金刚
武威
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Sankuai Online Technology Co Ltd
Original Assignee
Beijing Sankuai Online Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Sankuai Online Technology Co Ltd filed Critical Beijing Sankuai Online Technology Co Ltd
Priority to CN202210424790.0A priority Critical patent/CN114912513A/zh
Publication of CN114912513A publication Critical patent/CN114912513A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Electrically Operated Instructional Devices (AREA)

Abstract

本说明书公开了一种模型训练的方法、识别信息的方法及装置，首先，获取验证集。其次，将每个验证样本输入到训练后的预测模型中，预测每个验证样本对应的预测结果。而后，针对验证集中的每个验证样本，根据该验证样本对应的预测结果与该验证样本对应的标签之间的偏差，确定该验证样本对应的标签为正确标签的置信度。然后，根据每个验证样本对应的置信度，从验证集中去除置信度小于设定置信度的验证样本，得到优化后的验证集。最后，根据优化后的验证集，对训练后的预测模型进行验证。本方法可以根据优化后的验证集，对训练后的预测模型进行验证，判断预测模型的模型性能的强弱，以更新预测模型的模型参数，提高预测模型的预测结果的准确率。

Description

一种模型训练的方法、识别信息的方法及装置
技术领域
本说明书涉及计算机技术领域，尤其涉及一种模型训练的方法、识别信息的方法及装置。
背景技术
目前，在预测模型训练的过程中，许多大规模数据集是通过搜索引擎或网络爬虫进行获取的，这些数据集中存在训练样本的标签出现错误的情况。但是，预测模型仍然会学习这些具有错误标签的训练样本，预测模型会过度拟合这些具有错误标签的训练样本，导致预测模型的预测结果的准确率较低。
因此，如何能够提高预测模型的预测结果的准确率，则是一个亟待解决的问题。
发明内容
本说明书提供一种模型训练的方法及装置，以部分的解决现有技术存在的上述问题。
本说明书采用下述技术方案：
本说明书提供了一种模型训练的方法，包括：
获取验证集；
将所述验证集中包含的每个验证样本输入到训练后的预测模型中，预测所述验证集中的每个验证样本对应的预测结果；
针对所述验证集中的每个验证样本，根据该验证样本对应的预测结果与该验证样本对应的标签之间的偏差，确定该验证样本对应的标签为正确标签的置信度，作为该验证样本对应的置信度；
根据每个验证样本对应的置信度，从所述验证集中去除置信度小于设定置信度的验证样本，得到优化后的验证集；
根据所述优化后的验证集，对所述训练后的预测模型进行验证。
可选地，训练预测模型，具体包括：
获取训练集；
将所述训练集中包含的每个训练样本输入到待训练的预测模型中，预测所述训练集中的每个训练样本对应的预测结果；
针对所述训练集中的每个训练样本，根据所述训练集中的每个训练样本对应的预测结果，确定所述训练集中的每个训练样本对应的损失，以最小化该训练样本对应的损失为优化目标，对预测模型进行训练。
可选地，针对所述验证集中的每个验证样本，根据该验证样本对应的预测结果与该验证样本对应的标签之间的偏差，确定该验证样本对应的标签为正确标签的置信度，作为该验证样本对应的置信度，具体包括：
针对所述验证集中的每个验证样本，将该验证样本对应的预测结果与该验证样本对应的标签之间的偏差输入到预先训练的分类模型中，确定该验证样本对应的标签为正确标签的置信度，作为该验证样本对应的置信度。
可选地，根据所述优化后的验证集，对所述训练后的预测模型进行验证，具体包括：
根据所述训练后的预测模型确定出的所述优化后的验证集中每个验证样本对应的预测结果，以及所述优化后的验证集中的每个验证样本对应的标签，确定所述训练后的预测模型对应的预测准确率；
针对所述优化后的验证集中的每个验证样本，根据该验证样本对应的预测结果与该验证样本对应的标签之间的偏差，确定该验证样本对应的标签为正确标签的置信度，作为优化后的验证集中的该验证样本对应的置信度；
根据所述优化后的验证集中的每个验证样本对应的置信度，确定所述优化后的验证集对应的综合置信度；
根据所述优化后的验证集对应的综合置信度，以及所述训练后的预测模型对应的预测准确率，对所述训练后的预测模型进行验证。
可选地，将所述验证集中包含的每个验证样本输入到训练后的预测模型中，预测所述验证集中的每个验证样本对应的预测结果，具体包括：
针对每轮训练，将上一轮对应的验证集中包含的每个验证样本输入该轮训练后的预测模型中，预测上一轮对应的验证集中的每个验证样本对应的预测结果；
针对所述验证集中的每个验证样本，根据该验证样本对应的预测结果与该验证样本对应的标签之间的偏差，确定该验证样本对应的标签为正确标签的置信度，作为该验证样本对应的置信度，具体包括：
针对上一轮对应的验证集中的每个验证样本，根据该验证样本对应的预测结果与该验证样本对应的标签之间的偏差，确定该验证样本对应的标签为正确标签的置信度，作为上一轮对应的验证集中的该验证样本对应的置信度；
根据每个验证样本对应的置信度，从所述验证集中去除置信度小于设定置信度的验证样本，得到优化后的验证集，具体包括：
根据上一轮对应的验证集中的每个验证样本对应的置信度，从上一轮对应的验证集中去除置信度小于设定置信度的验证样本，得到该轮优化后的验证集；
根据所述优化后的验证集，对所述训练后的预测模型进行验证，具体包括：
根据该轮优化后的验证集，对该轮训练后的预测模型进行验证。
可选地，针对所述验证集中包含的每个验证样本，该验证样本中包含有历史评论数据；
将所述验证集中包含的每个验证样本输入到训练后的预测模型中，预测所述验证集中的每个验证样本对应的预测结果，具体包括：
将所述验证集中包含的每个验证样本输入到训练后的预测模型中，预测所述验证集中的每个验证样本对应的评价值，所述评价值用于表征用户对业务对象的评价情况；
针对所述验证集中的每个验证样本，根据该验证样本对应的预测结果与该验证样本对应的标签之间的偏差，确定该验证样本对应的标签为正确标签的置信度，作为该验证样本对应的置信度，具体包括：
针对所述验证集中的每个验证样本，根据该验证样本对应的评价值与该验证样本对应的标签之间的偏差，确定该验证样本对应的标签为正确标签的置信度，作为该验证样本对应的置信度。
可选地，在将所述验证集中包含的每个验证样本中的历史评论数据输入到训练后的预测模型之前，所述方法还包括：
针对所述验证集中包含的每个验证样本，从该验证样本中的历史评论数据拆分出各词组，并根据历史评论数据，将各词组进行排序，得到词组序列；
对所述词组序列进行处理，得到指定长度的词组序列，并根据所述指定长度的词组序列，构建标准验证样本；
将所述验证集中包含的每个验证样本输入到训练后的预测模型中，预测所述验证集中的每个验证样本对应的预测结果，具体包括：
将所述标准验证样本输入到训练后的预测模型中，预测所述标准验证样本对应的评价值。
可选地，对所述词组序列进行处理，得到指定长度的词组序列，具体包括：
若确定所述词组序列的长度大于指定长度，将所述词组序列中超出指定长度的部分词组删除，得到指定长度的词组序列；
若确定所述词组序列的长度小于指定长度，在所述词组序列的末尾填充预设的词组，得到指定长度的词组序列。
本说明书提供了一种识别信息的方法，包括：
获取各评论数据；
将各评论数据输入到训练后的预测模型中，预测各评论数据的评价值，所述预测模型是通过上述模型训练的方法训练得到的，所述评价值用于表征用户对业务对象的评价情况；
根据各评论数据的评价值，向用户展示评论数据。
本说明书提供了一种模型训练的装置，包括：
获取模块，用于获取验证集；
预测模块，用于将所述验证集中包含的每个验证样本输入到训练后的预测模型中，预测所述验证集中的每个验证样本对应的预测结果；
确定模块，用于针对所述验证集中的每个验证样本，根据该验证样本对应的预测结果与该验证样本对应的标签之间的偏差，确定该验证样本对应的标签为正确标签的置信度，作为该验证样本对应的置信度；
去除模块，用于根据每个验证样本对应的置信度，从所述验证集中去除置信度小于设定置信度的验证样本，得到优化后的验证集；
验证模块，用于根据所述优化后的验证集，对所述训练后的预测模型进行验证。
本说明书提供了一种识别信息的装置，包括：
获取模块，用于获取各评论数据；
预测模块，用于将各评论数据输入到训练后的预测模型中，预测各评论数据的评价值，所述预测模型是通过上述模型训练的方法训练得到的，所述评价值用于表征用户对业务对象的评价情况；
展示模块，用于根据各评论数据的评价值，向用户展示评论数据。
本说明书提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述模型训练的方法或识别信息的方法。
本说明书提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述模型训练的方法或识别信息的方法。
本说明书采用的上述至少一个技术方案能够达到以下有益效果：
在本说明书提供的模型训练的方法中，首先，获取验证集。其次，将验证集中包含的每个验证样本输入到训练后的预测模型中，预测验证集中的每个验证样本对应的预测结果。而后，针对验证集中的每个验证样本，根据该验证样本对应的预测结果与该验证样本对应的标签之间的偏差，确定该验证样本对应的标签为正确标签的置信度，作为该验证样本对应的置信度。然后，根据每个验证样本对应的置信度，从验证集中去除置信度小于设定置信度的验证样本，得到优化后的验证集。最后，根据优化后的验证集，对训练后的预测模型进行验证。
从上述方法中可以看出，本方法可以根据每个验证样本对应的置信度，从验证集中去除置信度小于设定置信度的验证样本，得到优化后的验证集。并根据优化后的验证集，对训练后的预测模型进行验证，判断训练后的预测模型的模型性能的强弱，以更新预测模型的模型参数，提高预测模型的预测结果的准确率。
附图说明
此处所说明的附图用来提供对本说明书的进一步理解，构成本说明书的一部分，本说明书的示意性实施例及其说明用于解释本说明书，并不构成对本说明书的不当限定。在附图中：
图1为本说明书中一种模型训练的方法的流程示意图；
图2为本说明书实施例提供的预测模型的训练过程的示意图；
图3为本说明书中一种识别信息的方法的流程示意图；
图4为本说明书提供的一种模型训练的装置的结构示意图；
图5为本说明书提供的一种识别信息的装置的结构示意图；
图6为本说明书提供的一种对应于图1的电子设备的示意图。
具体实施方式
为使本说明书的目的、技术方案和优点更加清楚，下面将结合本说明书具体实施例及相应的附图对本说明书技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本说明书一部分实施例，而不是全部的实施例。基于本说明书中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本说明书保护的范围。
以下结合附图，详细说明本说明书各实施例提供的技术方案。
图1为本说明书中一种模型训练的方法的流程示意图，包括以下步骤：
S100：获取验证集。
本说明书中模型训练的执行主体可以是服务器，也可以是诸如台式电脑、笔记本电脑等电子设备。为了便于描述，下面仅以服务器为执行主体，对本说明书提供的模型训练的方法进行说明。
在本说明书实施例中，服务器可以通过搜索引擎、网络爬虫等方法，获取数据集。这里提到的数据集包含有具有错误标签的训练样本。
进一步的，服务器可以获取验证集。
具体的，服务器可以从数据集中随机选取部分训练样本，作为验证集。同样的，这里提到的验证集中包含有具有错误标签的验证样本。
在本说明书实施例中，服务器可以在获取到包含有具有错误标签的训练样本的数据集之后，通过人工标注、人工纠错等方法，得到不包含有具有错误标签的训练样本的标准训练集以及测试集。
在实际应用中，数据集中包含的历史评论数据中不同的评论文本对应有不同的文本长度，服务器需要对不同文本长度的评论文本进行处理，使得输入预测模型中的不同评论文本具有相同的文本长度，避免文本长度这一维度数据在预测过程中对预测模型造成干扰。
在本说明书实施例中，服务器可以针对验证集中包含的每个验证样本，从该验证样本中的历史评论数据拆分出各词组，并根据历史评论数据，将各词组进行排序，得到词组序列。这里提到的词组可以是指字或词。
其次，服务器可以对词组序列进行处理，得到指定长度的词组序列，并根据指定长度的词组序列，构建标准验证样本。
最后，服务器可以将标准验证样本输入到训练后的预测模型中，预测标准验证样本对应的评价值，以在后续过程中对预测模型进行训练。
具体的，若确定词组序列的长度大于指定长度，将词组序列中超出指定长度的部分词组删除，得到指定长度的词组序列。
若确定词组序列的长度小于指定长度，在词组序列的末尾填充预设的词组，得到指定长度的词组序列。
同样的，服务器可以从数据集中随机选取部分训练样本，作为训练集。服务器也可以针对所述训练集中包含的每个训练样本，从该训练样本中的历史评论数据拆分出各词组，并根据历史评论数据，将各词组进行排序，得到词组序列。其次，服务器可以对词组序列进行处理，得到指定长度的词组序列，并根据指定长度的词组序列，构建标准训练样本。
在本说明书实施例中，服务器可以获取不包含有具有错误标签的训练样本的测试集。服务器也可以针对所述测试集中包含的每个测试样本，从该测试样本中的历史评论数据拆分出各词组，并根据历史评论数据，将各词组进行排序，得到词组序列。其次，服务器可以对词组序列进行处理，得到指定长度的词组序列，并根据指定长度的词组序列，构建标准测试样本。
S102：将所述验证集中包含的每个验证样本输入到训练后的预测模型中，预测所述验证集中的每个验证样本对应的预测结果。
在本说明书实施例中，服务器可以将验证集中包含的每个验证样本输入到训练后的预测模型中，预测验证集中的每个验证样本对应的预测结果。
在本说明书实施例中，服务器在将验证集中包含的每个验证样本输入到训练后的预测模型之前，需要先通过训练集对预测模型进行训练。
具体的，服务器可以获取训练集。这里提到的训练集可以是指包含有标签为错误标签的训练样本的训练集。
其次，服务器可以将训练集中包含的每个训练样本输入到待训练的预测模型中，预测训练集中的每个训练样本对应的预测结果。
最后，服务器可以针对训练集中的每个训练样本，根据训练集中的每个训练样本对应的预测结果，确定训练集中的每个训练样本对应的损失，以最小化该训练样本对应的损失为优化目标，对预测模型进行训练。具体公式如下所示。
Figure BDA0003608063180000091
在上述公式中，ej可以用于表示第j个训练样本的标签，fj(x)可以用于表示第j个训练样本的预测结果，q可以用于表示超参数，范围是(0，1]。
其中，若q的值趋近于1时，Lossq(f(x),ej)＝1-fj(x)，也就是在通过包含有标签为错误标签的训练样本，训练预测模型时的平均绝对误差(Mean Absolute Error，MAE)。
若q的值趋近于0时，由洛必达法则可得，Lossq(f(x),ej)＝-fj(x)qlog(fj(x))，由于q的值趋近于0，fj(x)q的值趋近于1，则Lossq(f(x),ej)＝-log(fj(x))。也就是在通过包含有标签为错误标签的训练样本，训练预测模型时的交叉熵损失(Cross Entropy，CE)。
从上述公式中可以看出，服务器可以通过调整q的值，调整预测模型在训练过程中的训练目标。
其中，预测模型可以包含四层网络：第一全连接层、线性整流函数(ReLU)激活函数层、随机丢弃层(dropout层)以及第二全连接层。服务器可以将经过第二全连接层的输出，输入软最大化标准化层(softmax层)，以得到预测结果。这里提到的随机丢弃层可以是指在每轮训练中，通过忽略一半的特征检测器(让一半的隐层节点值为0)，可以明显地减少过拟合现象。这种方式可以减少特征检测器(隐层节点)间的相互作用，特征检测器的相互作用是指某些特征检测器需要依赖其他特征检测器才能发挥作用。
在实际应用中，在通过包含有错误标签的训练集对预测模型进行训练的前期，标签为错误标签的训练样本对应的损失，通常大于标签为正确标签的训练样本对应的损失，这会导致预测模型倾向于更快的降低标签为错误标签的训练样本对应的损失，使得预测模型的预测结果的准确性降低。基于此，服务器可以先通过标签为正确标签的训练集对预测模型进行短期的训练，使得预测模型具有一个较好的模型参数的初始值。
在本说明书实施例中，服务器可以获取不包含有标签为错误标签的训练样本的训练集。不包含有标签为错误标签的训练样本的训练集的应用领域以及标签类别数量，与包含有标签为错误标签的训练样本的训练集的应用领域以及标签类别数量相同。
其次，服务器可以将不包含有标签为错误标签的训练样本的训练集中包含的每个训练样本输入到待训练的预测模型中，预测训练集中的每个训练样本对应的预测结果。
最后，针对不包含有标签为错误标签的训练样本的训练集中的每个训练样本，以最小化该训练样本对应的预测结果与该训练样本对应的标签之间的偏差为优化目标，对预测模型进行训练。具体公式如下：
Figure BDA0003608063180000101
在上述公式中，Θ可以用于表示优化参数集合。θ可以用于表示优化参数，服务器可以针对优化参数集合中的每个优化参数，确定出可以有效避免预测模型在训练过程中过拟合的优化参数。λ可以用于表示正则化常数，是通过专家经验确定出的。N可以用于表示训练样本的数量,C可以用于表示标签的类别数量。yic可以用于表示训练样本的标签，标签取值为0或1，若第i个训练样本的类别等于c，标签取值为1，若第i个训练样本的类别不等于c，标签取值为0。pic可以用于表示预测模型预测出的第i个训练样本的类别属于c的概率结果。从上述公式中可以看出，服务器可以通过短期的有监督模型训练，充分利用不包含标签为错误标签的训练样本的训练集，为预测模型的模型参数提供一个较好的初始化值，对后期在包含有标签为错误标签的训练样本的训练集上进行训练，起到了正确标签知识正则作用。
S104：针对所述验证集中的每个验证样本，根据该验证样本对应的预测结果与该验证样本对应的标签之间的偏差，确定该验证样本对应的标签为正确标签的置信度，作为该验证样本对应的置信度。
在实际应用中，将验证集中包含的每个验证样本输入到训练后的预测模型中，确定出的标签为错误标签的验证样本对应的损失，通常大于标签为正确标签的验证样本对应的损失。基于此，服务器可以根据各验证样本对应的损失，确定出各个验证样本对应的标签为正确标签的置信度，以基于各个验证样本对应的标签为正确标签的置信度，得到优化后的验证集。
在本说明书实施例中，服务器可以针对验证集中的每个验证样本，根据该验证样本对应的预测结果与该验证样本对应的标签之间的偏差，确定该验证样本对应的标签为正确标签的置信度，作为该验证样本对应的置信度。
具体的，服务器可以针对所述验证集中的每个验证样本，将该验证样本对应的预测结果与该验证样本对应的标签之间的偏差输入到预先训练的分类模型中，确定该验证样本对应的标签为正确标签的置信度，作为该验证样本对应的置信度。
在本说明书实施例中，服务器在将该验证样本对应的预测结果与该验证样本对应的标签之间的偏差输入到预先训练的分类模型之前，需要对分类模型进行训练。
在本说明书实施例中，服务器可以获取分类训练集，所述分类训练集中的分类样本包含有验证样本对应的预测结果与验证样本对应的标签之间的偏差。分类样本的标签为验证样本的标签为正确标签或验证样本的标签为错误标签。若验证样本的标签为正确标签，则分类样本的标签为1。若验证样本的标签为错误标签，则分类样本的标签为0。
其次，服务器可以将分类训练集中包含的每个分类样本输入到待训练的分类模型中，预测分类训练集中包含的每个分类样本对应的验证样本的标签为正确标签的置信度。
最后，服务器可以以最小化分类训练集中包含的每个分类样本对应的验证样本的标签为正确标签的置信度与分类样本对应的标签之间的偏差为优化目标，对分类模型进行训练。具体公式如下所示。
Figure BDA0003608063180000121
在上述公式中，
Figure BDA0003608063180000122
可以用于表示分类样本的标签，标签取值为0或1，若第i个分类样本的类别等于c，标签取值为1，若第i个分类样本的类别不等于c，标签取值为0。
Figure BDA0003608063180000123
可以用于表示分类模型预测出的第i个分类样本的类别属于c的概率。xi可以用于表示第i个分类样本。θ可以用于表示分类模型的模型参数。
在本说明书实施例中，针对验证集中包含的每个验证样本，该验证样本中包含有历史评论数据。服务器可以将验证集中包含的每个验证样本中的历史评论数据输入到训练后的预测模型中，预测验证集中的每个验证样本对应的评价值。这里提到的评价值用于表征用户对业务对象的评价情况，例如，用户的评价越好，评价值越高，用户的评价越差，评价值越低
然后，服务器可以针对验证集中的每个验证样本，根据该验证样本对应的评价值与该验证样本对应的标签之间的偏差，确定该验证样本对应的标签为正确标签的置信度，作为该验证样本对应的置信度。
S106：根据每个验证样本对应的置信度，从所述验证集中去除置信度小于设定置信度的验证样本，得到优化后的验证集。
在实际应用中，在训练集中存在标签为错误标签的训练样本的场景下，通常在训练集上采用各种策略提高预测模型在训练集中标签为错误标签的训练样本的场景下的准确性。但是，由于验证集与训练集都是从数据集中以一定比例分割出来的。也就是说，验证集与训练集中都具有标签为错误标签的训练样本。
目前，训练预测模型的方法只关注于训练阶段，忽略了验证集中同样存在标签为错误标签的验证样本，并且，验证集中的标签为错误标签的验证样本的分布与训练集中的标签为错误标签的训练样本的分布是相同的。而在具有相同的标签为错误标签的验证样本分布的验证集上挑选的预测模型可能已经对标签为错误标签的训练样本过拟合，导致无法选取出最优的预测模型。因此，服务器可以从验证集中去除标签为错误标签的验证样本，以使得通过优化后的验证样本的验证集，挑选出最优的预测模型。
在本说明书实施例中，服务器可以根据每个验证样本对应的置信度，从验证集中去除置信度小于设定置信度的验证样本，得到优化后的验证集。
其中，服务器识别出标签为错误标签的验证样本的方法可以有多种，例如，服务器可以将各个验证样本对应的置信度小于设定阈值的验证样本，作为标签为错误标签的的验证样本。再例如，服务器可以将各个验证样本对应的置信度从小到大进行排序，将排序靠前的设定数量的验证样本作为标签为错误标签的验证样本。
S108：根据所述优化后的验证集，对所述训练后的预测模型进行验证。
在本说明书实施例中，服务器可以根据优化后的验证集，对训练后的预测模型进行验证。
在本说明书实施例中，服务器可以根据训练后的预测模型确定出的优化后的验证集中每个验证样本对应的预测结果，以及优化后的验证集中的每个验证样本对应的标签，确定训练后的预测模型对应的预测准确率。
具体的，服务器可以将优化后的验证集中包含的每个验证样本输入到训练后的预测模型中，预测优化后的验证集中的每个验证样本对应的预测结果。
其次，服务器可以根据优化后的验证集中的每个验证样本对应的预测结果以及优化后的验证集中的每个验证样本对应的标签，确定训练后的预测模型对应的预测准确率。例如，优化后的验证集中包含有100个验证样本，若100个验证样本对应的预测结果中，有90个验证样本对应的预测结果预测正确，则训练后的预测模型对应的预测准确率为90％。
当然，服务器确定预测准确率的方法可以有多种。例如，正确预测的正样本数占所有预测为正样本的数量的比值。再例如，正确预测的正样本数占真实的正样本数的比值。
而后，服务器可以针对优化后的验证集中的每个验证样本，根据该验证样本对应的预测结果与该验证样本对应的标签之间的偏差，确定该验证样本对应的标签为正确标签的置信度，作为优化后的验证集中的该验证样本对应的置信度。
然后，服务器可以根据优化后的验证集中的每个验证样本对应的置信度，确定所述优化后的验证集对应的综合置信度。具体公式如下所示：
Figure BDA0003608063180000141
Figure BDA0003608063180000142
在上述公式中，C可以用于表示标签的类别数量。yic可以用于表示第i个验证样本的标签，标签取值为0或1，若第i个验证样本的类别等于c，标签取值为1，若第i个验证样本的类别不等于c，标签取值为0。pic可以用于表示第i个验证样本的标签为正确标签的概率。其中，第i个验证样本的标签为正确标签的置信度越小，H(y)的值越大，每个验证样本对应的权重也就越小。第i个验证样本的标签为正确标签的置信度越大，H(y)的值越小，每个验证样本对应的权重也就越大。
接下来，服务器可以根据每个验证样本对应的权重，确定优化后的验证集对应的综合置信度。
最后，服务器可以根据优化后的验证集对应的综合置信度，以及训练后的预测模型对应的预测准确率，对训练后的预测模型进行验证。具体公式如下所示：
Figure BDA0003608063180000151
在上述公式中，Accuracy可以用于表征准确率评价指标，正确预测的样本数占总预测样本数的比值，不考虑预测的样本的标签。
Figure BDA0003608063180000152
可以用于表征综合置信度。Reweighted_Accuracy可以用于表征预测模型的模型评分。
进一步的，服务器可以通过多种方式对训练后的预测模型进行验证。具体公式如下所示：
Figure BDA0003608063180000153
在上述公式中，F1是F1值评价指标，要参考precision和recall两个指标。Precision可以用于表示标签为正确标签的验证样本预测正确的数量占所有预测出的标签为正确标签的验证样本的数量的比值。也就是说，所有预测出的标签为正确标签的验证样本中有多少是真正的标签为正确标签的验证样本。Recall可以用于表示标签为正确标签的验证样本预测正确的数量占标签为正确标签的验证样本的数量的比值，也就是从这些样本中能够正确的确定出多少个标签为正确标签的验证样本。Reweighted_F1可以用于表征预测模型的模型评分。
在实际应用中，使用包含有标签为错误标签的训练样本的训练集，来训练预测模型，可能出现预测模型过度拟合包含有标签为错误标签的训练样本的训练集的情况，导致标签为错误标签的训练样本的损失较低。基于此，优化后的验证集中可能还包含有部分标签为错误标签的验证样本。因此，服务器可以确定对验证集进行多轮优化，以此使得确定出的预测模型的模型评分更加准确。
在本说明书实施例中，服务器可以针对每轮训练，将上一轮对应的验证集中包含的每个验证样本输入该轮训练后的预测模型中，预测上一轮对应的验证集中的每个验证样本对应的预测结果。
其次，服务器可以针对上一轮对应的验证集中的每个验证样本，根据该验证样本对应的预测结果与该验证样本对应的标签之间的偏差，确定该验证样本对应的标签为正确标签的置信度，作为上一轮对应的验证集中的该验证样本对应的置信度。
而后，服务器可以根据上一轮对应的验证集中的每个验证样本对应的置信度，从上一轮对应的验证集中去除置信度小于设定置信度的验证样本，得到该轮优化后的验证集。
最后，服务器可以根据该轮优化后的验证集，对该轮训练后的预测模型进行验证。
需要说明的是，服务器可以在验证集上选取出模型评分最高的预测模型后，对预测模型进行评价测试。首先，服务器可以获取不包含有标签为错误标签的训练样本的测试集，然后，服务器可以将测试集输入到在验证集上选取出模型评分最高的预测模型中进行测试。使用预测准确率accuracy和F1值作为评价指标。
在本说明书实施例中，预测模型的训练过程，具体如图2所示。
图2为本说明书实施例提供的预测模型的训练过程的示意图。
在图2中，服务器可以先获取不包含有标签为错误标签的训练样本的训练集。其次，服务器可以将不包含有标签为错误标签的训练样本的训练集输入到待训练的预测模型中，预测不包含有标签为错误标签的训练样本的训练集中的每个训练样本对应的预测结果。最后，针对不包含有标签为错误标签的训练样本的训练集中的每个训练样本，以最小化在该训练样本对应的预测结果与该训练样本对应的标签之间的偏差为优化目标，对预测模型进行短期的监督训练。
进一步的，服务器可以将包含有标签为错误标签的训练样本的训练集输入到短期训练后的预测模型中，预测包含有标签为错误标签的训练样本的训练集中的每个训练样本对应的预测结果。针对包含有标签为错误标签的训练样本的训练集中的每个训练样本，根据所述训练集中的每个训练样本对应的预测结果，确定所述训练集中的每个训练样本对应的损失，以最小化该训练样本对应的损失为优化目标，对短期训练后的预测模型进行训练。
针对每轮训练，若确定预测模型达到验证条件，将上一轮对应的验证集输入到该轮训练后的预测模型中，预测上一轮训练对应的验证集中的每个验证样本对应的预测结果。这里提到的验证条件可以是指训练轮次达到设定轮次，也可以是指预测模型的模型参数的变化量小于设定变化量。
服务器可以根据上一轮训练对应的验证集中的每个验证样本对应的预测结果，以及上一轮训练对应的验证集中的每个验证样本对应的标签，确定上一轮训练对应的验证集中的每个验证样本对应的置信度。
服务器可以根据上一轮对应的验证集中的每个验证样本对应的置信度，从上一轮对应的验证集中去除置信度小于设定置信度的验证样本，得到该轮优化后的验证集。
服务器可以将该轮优化后的验证集输入到该轮训练后的预测模型中，确定该轮优化后的验证集中的每个验证样本对应的预测结果。
根据该轮优化后的验证集中的每个验证样本对应的预测结果，以及该轮优化后的验证集中的每个验证样本对应的标签，确定该轮训练后的预测模型对应的预测准确率。
根据该轮优化后的验证集中的每个验证样本对应的置信度，确定该轮优化后的验证集对应的综合置信度。
根据该轮优化后的验证集对应的综合置信度，以及该轮训练后的预测模型对应的预测准确率，确定该轮训练后的预测模型对应的模型评分。
若该轮训练后的预测模型对应的模型评分大于各历史轮次的预测模型对应的模型评分，根据该轮训练后的预测模型对应的模型参数，对预测模型进行更新。
若确定预测模型达到测试条件，将测试集输入到预测模型中，确定预测模型的预测准确率。这里提到的测试条件可以是指训练轮次达到设定轮次，也可以是指预测模型的模型参数对应的模型评分的变化量小于设定变化量。
从上述过程中可以看出，本方法可以根据每个验证样本对应的置信度，从验证集中去除置信度小于设定置信度的验证样本，得到优化后的验证集。并根据优化后的验证集，对训练后的预测模型进行验证，判断训练后的预测模型的模型性能的强弱，以更新预测模型的模型参数，提高预测模型的预测结果的准确率。
本说明书实施例在预测模型训练完成后，可以通过训练后的预测模型进行识别信息，如图3所示。
图3为本说明书实施例提供的识别信息的方法的流程示意图，具体包括：
S300：获取各评论数据。
S302：将各评论数据输入到训练后的预测模型中，预测各评论数据的评价值，所述预测模型是通过上述模型训练的方法训练得到的。
S304：根据各评论数据的评价值，向用户展示评论数据。
在本说明书实施例中，服务器可以获取各评论数据。其次，服务器可以将各评论数据输入到训练后的预测模型中，预测各评论数据的评价值。最后，服务器可以根据各评论数据的评价值，向用户展示评论数据。这里提到的评价值用于表征用户对业务对象的评价情况，例如，用户的评价越好，评价值越高，用户的评价越差，评价值越低。
以上为本说明书的一个或多个实施例提供的模型训练的方法，基于同样的思路，本说明书还提供了相应的模型训练的装置，如图4所示。
图4为本说明书提供的一种模型训练的装置的结构示意图，包括：
获取模块400，用于获取验证集；
预测模块402，用于将所述验证集中包含的每个验证样本输入到训练后的预测模型中，预测所述验证集中的每个验证样本对应的预测结果；
确定模块404，用于针对所述验证集中的每个验证样本，根据该验证样本对应的预测结果与该验证样本对应的标签之间的偏差，确定该验证样本对应的标签为正确标签的置信度，作为该验证样本对应的置信度；
去除模块406，用于根据每个验证样本对应的置信度，从所述验证集中去除置信度小于设定置信度的验证样本，得到优化后的验证集；
验证模块408，用于根据所述优化后的验证集，对所述训练后的预测模型进行验证。
可选地，所述预测模块402具体用于，获取训练集，将所述训练集中包含的每个训练样本输入到待训练的预测模型中，预测所述训练集中的每个训练样本对应的预测结果，针对所述训练集中的每个训练样本，根据所述训练集中的每个训练样本对应的预测结果，确定所述训练集中的每个训练样本对应的损失，以最小化该训练样本对应的损失为优化目标，对预测模型进行训练。
可选地，所述确定模块404具体用于，针对所述验证集中的每个验证样本，将该验证样本对应的预测结果与该验证样本对应的标签之间的偏差输入到预先训练的分类模型中，确定该验证样本对应的标签为正确标签的置信度，作为该验证样本对应的置信度。
可选地，所述验证模块408具体用于，根据所述训练后的预测模型确定出的所述优化后的验证集中每个验证样本对应的预测结果，以及所述优化后的验证集中的每个验证样本对应的标签，确定所述训练后的预测模型对应的预测准确率，针对所述优化后的验证集中的每个验证样本，根据该验证样本对应的预测结果与该验证样本对应的标签之间的偏差，确定该验证样本对应的标签为正确标签的置信度，作为优化后的验证集中的该验证样本对应的置信度，根据所述优化后的验证集中的每个验证样本对应的置信度，确定所述优化后的验证集对应的综合置信度，根据所述优化后的验证集对应的综合置信度，以及所述训练后的预测模型对应的预测准确率，对所述训练后的预测模型进行验证。
可选地，所述预测模块402具体用于，针对每轮训练，将上一轮对应的验证集中包含的每个验证样本输入该轮训练后的预测模型中，预测上一轮对应的验证集中的每个验证样本对应的预测结果，针对上一轮对应的验证集中的每个验证样本，根据该验证样本对应的预测结果与该验证样本对应的标签之间的偏差，确定该验证样本对应的标签为正确标签的置信度，作为上一轮对应的验证集中的该验证样本对应的置信度，根据上一轮对应的验证集中的每个验证样本对应的置信度，从上一轮对应的验证集中去除置信度小于设定置信度的验证样本，得到该轮优化后的验证集，根据该轮优化后的验证集，对该轮训练后的预测模型进行验证。
可选地，针对所述验证集中包含的每个验证样本，该验证样本中包含有历史评论数据；
所述预测模块402具体用于，将所述验证集中包含的每个验证样本输入到训练后的预测模型中，预测所述验证集中的每个验证样本对应的评价值，所述评价值用于表征用户对业务对象的评价情况，针对所述验证集中的每个验证样本，根据该验证样本对应的评价值与该验证样本对应的标签之间的偏差，确定该验证样本对应的标签为正确标签的置信度，作为该验证样本对应的置信度。
可选地，所述预测模块402具体用于，针对所述验证集中包含的每个验证样本，从该验证样本中的历史评论数据拆分出各词组，并根据历史评论数据，将各词组进行排序，得到词组序列，对所述词组序列进行处理，得到指定长度的词组序列，并根据所述指定长度的词组序列，构建标准验证样本，将所述标准验证样本输入到训练后的预测模型中，预测所述标准验证样本对应的评价值。
可选地，所述预测模块402具体用于，若确定所述词组序列的长度大于指定长度，将所述词组序列中超出指定长度的部分词组删除，得到指定长度的词组序列，若确定所述词组序列的长度小于指定长度，在所述词组序列的末尾填充预设的词组，得到指定长度的词组序列。
图5为本说明书实施例提供的识别信息的装置的结构示意图，具体包括：
获取模块500，用于获取各评论数据；
预测模块502，用于将各评论数据输入到训练后的预测模型中，预测各评论数据的评价值，所述预测模型是通过上述模型训练的方法训练得到的，所述评价值用于表征用户对业务对象的评价情况；
展示模块504，用于根据各评论数据的评价值，向用户展示评论数据。
本说明书还提供了一种计算机可读存储介质，该存储介质存储有计算机程序，计算机程序可用于执行上述图1提供的模型训练的方法或上述图3提供的识别信息的方法。
本说明书还提供了图6所示的一种对应于图1的电子设备的示意结构图。如图6所述，在硬件层面，该电子设备包括处理器、内部总线、网络接口、内存以及非易失性存储器，当然还可能包括其他业务所需要的硬件。处理器从非易失性存储器中读取对应的计算机程序到内存中然后运行，以实现上述图1所述的模型训练的方法或上述图3提供的识别信息的方法。当然，除了软件实现方式之外，本说明书并不排除其他实现方式，比如逻辑器件抑或软硬件结合的方式等等，也就是说以下处理流程的执行主体并不限定于各个逻辑单元，也可以是硬件或逻辑器件。
需要说明的是，本申请中所有获取信号、信息或数据的动作都是在遵照所在地国家相应的数据保护法规政策的前提下，并获得由相应装置所有者给予授权的情况下进行的。
在20世纪90年代，对于一个技术的改进可以很明显地区分是硬件上的改进(例如，对二极管、晶体管、开关等电路结构的改进)还是软件上的改进(对于方法流程的改进)。然而，随着技术的发展，当今的很多方法流程的改进已经可以视为硬件电路结构的直接改进。设计人员几乎都通过将改进的方法流程编程到硬件电路中来得到相应的硬件电路结构。因此，不能说一个方法流程的改进就不能用硬件实体模块来实现。例如，可编程逻辑器件(Programmable Logic Device,PLD)(例如现场可编程门阵列(Field Programmable GateArray，FPGA))就是这样一种集成电路，其逻辑功能由用户对器件编程来确定。由设计人员自行编程来把一个数字系统“集成”在一片PLD上，而不需要请芯片制造厂商来设计和制作专用的集成电路芯片。而且，如今，取代手工地制作集成电路芯片，这种编程也多半改用“逻辑编译器(logic compiler)”软件来实现，它与程序开发撰写时所用的软件编译器相类似，而要编译之前的原始代码也得用特定的编程语言来撰写，此称之为硬件描述语言(Hardware Description Language，HDL)，而HDL也并非仅有一种，而是有许多种，如ABEL(Advanced Boolean Expression Language)、AHDL(Altera Hardware DescriptionLanguage)、Confluence、CUPL(Cornell University Programming Language)、HDCal、JHDL(Java Hardware Description Language)、Lava、Lola、MyHDL、PALASM、RHDL(RubyHardware Description Language)等，目前最普遍使用的是VHDL(Very-High-SpeedIntegrated Circuit Hardware Description Language)与Verilog。本领域技术人员也应该清楚，只需要将方法流程用上述几种硬件描述语言稍作逻辑编程并编程到集成电路中，就可以很容易得到实现该逻辑方法流程的硬件电路。
控制器可以按任何适当的方式实现，例如，控制器可以采取例如微处理器或处理器以及存储可由该(微)处理器执行的计算机可读程序代码(例如软件或固件)的计算机可读介质、逻辑门、开关、专用集成电路(Application Specific Integrated Circuit，ASIC)、可编程逻辑控制器和嵌入微控制器的形式，控制器的例子包括但不限于以下微控制器：ARC 625D、Atmel AT91SAM、Microchip PIC18F26K20以及Silicone Labs C8051F320，存储器控制器还可以被实现为存储器的控制逻辑的一部分。本领域技术人员也知道，除了以纯计算机可读程序代码方式实现控制器以外，完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至，可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。
为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本说明书时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
本领域内的技术人员应明白，本说明书的实施例可提供为方法、系统、或计算机程序产品。因此，本说明书可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本说明书可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本说明书是参照根据本说明书实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白，本说明书的实施例可提供为方法、系统或计算机程序产品。因此，本说明书可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本说明书可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本说明书可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本说明书，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本说明书的实施例而已，并不用于限制本说明书。对于本领域技术人员来说，本说明书可以有各种更改和变化。凡在本说明书的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本说明书的权利要求范围之内。

Claims (13)

1.一种模型训练的方法，其特征在于，包括：
获取验证集；
将所述验证集中包含的每个验证样本输入到训练后的预测模型中，预测所述验证集中的每个验证样本对应的预测结果；
针对所述验证集中的每个验证样本，根据该验证样本对应的预测结果与该验证样本对应的标签之间的偏差，确定该验证样本对应的标签为正确标签的置信度，作为该验证样本对应的置信度；
根据每个验证样本对应的置信度，从所述验证集中去除置信度小于设定置信度的验证样本，得到优化后的验证集；
根据所述优化后的验证集，对所述训练后的预测模型进行验证。
2.如权利要求1所述的方法，其特征在于，训练预测模型，具体包括：
获取训练集；
将所述训练集中包含的每个训练样本输入到待训练的预测模型中，预测所述训练集中的每个训练样本对应的预测结果；
针对所述训练集中的每个训练样本，根据所述训练集中的每个训练样本对应的预测结果，确定所述训练集中的每个训练样本对应的损失，以最小化该训练样本对应的损失为优化目标，对预测模型进行训练。
3.如权利要求1所述的方法，其特征在于，针对所述验证集中的每个验证样本，根据该验证样本对应的预测结果与该验证样本对应的标签之间的偏差，确定该验证样本对应的标签为正确标签的置信度，作为该验证样本对应的置信度，具体包括：
针对所述验证集中的每个验证样本，将该验证样本对应的预测结果与该验证样本对应的标签之间的偏差输入到预先训练的分类模型中，确定该验证样本对应的标签为正确标签的置信度，作为该验证样本对应的置信度。
4.如权利要求1所述的方法，其特征在于，根据所述优化后的验证集，对所述训练后的预测模型进行验证，具体包括：
根据所述训练后的预测模型确定出的所述优化后的验证集中每个验证样本对应的预测结果，以及所述优化后的验证集中的每个验证样本对应的标签，确定所述训练后的预测模型对应的预测准确率；
针对所述优化后的验证集中的每个验证样本，根据该验证样本对应的预测结果与该验证样本对应的标签之间的偏差，确定该验证样本对应的标签为正确标签的置信度，作为优化后的验证集中的该验证样本对应的置信度；
根据所述优化后的验证集中的每个验证样本对应的置信度，确定所述优化后的验证集对应的综合置信度；
根据所述优化后的验证集对应的综合置信度，以及所述训练后的预测模型对应的预测准确率，对所述训练后的预测模型进行验证。
5.如权利要求1所述的方法，其特征在于，将所述验证集中包含的每个验证样本输入到训练后的预测模型中，预测所述验证集中的每个验证样本对应的预测结果，具体包括：
针对每轮训练，将上一轮对应的验证集中包含的每个验证样本输入该轮训练后的预测模型中，预测上一轮对应的验证集中的每个验证样本对应的预测结果；
针对所述验证集中的每个验证样本，根据该验证样本对应的预测结果与该验证样本对应的标签之间的偏差，确定该验证样本对应的标签为正确标签的置信度，作为该验证样本对应的置信度，具体包括：
针对上一轮对应的验证集中的每个验证样本，根据该验证样本对应的预测结果与该验证样本对应的标签之间的偏差，确定该验证样本对应的标签为正确标签的置信度，作为上一轮对应的验证集中的该验证样本对应的置信度；
根据每个验证样本对应的置信度，从所述验证集中去除置信度小于设定置信度的验证样本，得到优化后的验证集，具体包括：
根据上一轮对应的验证集中的每个验证样本对应的置信度，从上一轮对应的验证集中去除置信度小于设定置信度的验证样本，得到该轮优化后的验证集；
根据所述优化后的验证集，对所述训练后的预测模型进行验证，具体包括：
根据该轮优化后的验证集，对该轮训练后的预测模型进行验证。
6.如权利要求1～5任一项所述的方法，其特征在于，针对所述验证集中包含的每个验证样本，该验证样本中包含有历史评论数据；
将所述验证集中包含的每个验证样本输入到训练后的预测模型中，预测所述验证集中的每个验证样本对应的预测结果，具体包括：
将所述验证集中包含的每个验证样本输入到训练后的预测模型中，预测所述验证集中的每个验证样本对应的评价值，所述评价值用于表征用户对业务对象的评价情况；
针对所述验证集中的每个验证样本，根据该验证样本对应的预测结果与该验证样本对应的标签之间的偏差，确定该验证样本对应的标签为正确标签的置信度，作为该验证样本对应的置信度，具体包括：
针对所述验证集中的每个验证样本，根据该验证样本对应的评价值与该验证样本对应的标签之间的偏差，确定该验证样本对应的标签为正确标签的置信度，作为该验证样本对应的置信度。
7.如权利要求6所述的方法，其特征在于，在将所述验证集中包含的每个验证样本中的历史评论数据输入到训练后的预测模型之前，所述方法还包括：
针对所述验证集中包含的每个验证样本，从该验证样本中的历史评论数据拆分出各词组，并根据历史评论数据，将各词组进行排序，得到词组序列；
对所述词组序列进行处理，得到指定长度的词组序列，并根据所述指定长度的词组序列，构建标准验证样本；
将所述验证集中包含的每个验证样本输入到训练后的预测模型中，预测所述验证集中的每个验证样本对应的预测结果，具体包括：
将所述标准验证样本输入到训练后的预测模型中，预测所述标准验证样本对应的评价值。
8.如权利要求7所述的方法，其特征在于，对所述词组序列进行处理，得到指定长度的词组序列，具体包括：
若确定所述词组序列的长度大于指定长度，将所述词组序列中超出指定长度的部分词组删除，得到指定长度的词组序列；
若确定所述词组序列的长度小于指定长度，在所述词组序列的末尾填充预设的词组，得到指定长度的词组序列。
9.一种识别信息的方法，其特征在于，包括：
获取各评论数据；
将各评论数据输入到训练后的预测模型中，预测各评论数据的评价值，所述预测模型是通过上述权利要求6～8任一项所述的方法训练得到的，所述评价值用于表征用户对业务对象的评价情况；
根据各评论数据的评价值，向用户展示评论数据。
10.一种模型训练的装置，其特征在于，包括：
获取模块，用于获取验证集；
预测模块，用于将所述验证集中包含的每个验证样本输入到训练后的预测模型中，预测所述验证集中的每个验证样本对应的预测结果；
确定模块，用于针对所述验证集中的每个验证样本，根据该验证样本对应的预测结果与该验证样本对应的标签之间的偏差，确定该验证样本对应的标签为正确标签的置信度，作为该验证样本对应的置信度；
去除模块，用于根据每个验证样本对应的置信度，从所述验证集中去除置信度小于设定置信度的验证样本，得到优化后的验证集；
验证模块，用于根据所述优化后的验证集，对所述训练后的预测模型进行验证。
11.一种识别信息的装置，其特征在于，包括：
获取模块，用于获取各评论数据；
预测模块，用于将各评论数据输入到训练后的预测模型中，预测各评论数据的评价值，所述预测模型是通过上述权利要求6～8任一项所述的方法训练得到的，所述评价值用于表征用户对业务对象的评价情况；
展示模块，用于根据各评论数据的评价值，向用户展示评论数据。
12.一种计算机可读存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述权利要求1～9任一项所述的方法。
13.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现上述权利要求1～9任一项所述的方法。
CN202210424790.0A 2022-04-21 2022-04-21 一种模型训练的方法、识别信息的方法及装置 Withdrawn CN114912513A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210424790.0A CN114912513A (zh) 2022-04-21 2022-04-21 一种模型训练的方法、识别信息的方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210424790.0A CN114912513A (zh) 2022-04-21 2022-04-21 一种模型训练的方法、识别信息的方法及装置

Publications (1)

Publication Number Publication Date
CN114912513A true CN114912513A (zh) 2022-08-16

Family

ID=82765340

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210424790.0A Withdrawn CN114912513A (zh) 2022-04-21 2022-04-21 一种模型训练的方法、识别信息的方法及装置

Country Status (1)

Country Link
CN (1) CN114912513A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024060852A1 (zh) * 2022-09-20 2024-03-28 支付宝(杭州)信息技术有限公司 一种模型的所有权验证方法、装置、存储介质及电子设备

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024060852A1 (zh) * 2022-09-20 2024-03-28 支付宝(杭州)信息技术有限公司 一种模型的所有权验证方法、装置、存储介质及电子设备

Similar Documents

Publication Publication Date Title
CN111881973A (zh) 一种样本选择方法、装置、存储介质及电子设备
CN116227474B (zh) 一种对抗文本的生成方法、装置、存储介质及电子设备
CN113344098A (zh) 一种模型训练方法及装置
CN114997472A (zh) 一种模型训练的方法、业务风控的方法及装置
CN113887227A (zh) 一种模型训练与实体识别方法及装置
CN112417093A (zh) 一种模型训练的方法及装置
CN114912513A (zh) 一种模型训练的方法、识别信息的方法及装置
CN116151355B (zh) 一种模型训练和业务执行的方法、装置、介质及设备
CN117390192A (zh) 文本分类方法、装置、设备和计算机可读存储介质
CN112948449A (zh) 一种信息推荐的方法及装置
CN116127316A (zh) 模型的训练方法、文本摘要生成方法及相关设备
CN116028626A (zh) 文本匹配方法、装置、存储介质以及电子设备
CN116227467A (zh) 模型的训练方法、文本处理方法及装置
CN115129885A (zh) 实体链指方法、装置、设备及存储介质
CN112579774A (zh) 模型训练方法、模型训练装置及终端设备
CN111061869A (zh) 一种基于TextRank的应用偏好文本分类方法
CN116186272B (zh) 一种联合训练方法、装置、存储介质及电子设备
CN117574981B (zh) 一种信息分析模型的训练方法及信息分析方法
CN115017899B (zh) 一种缩略语生成方法、装置、设备及存储介质
CN117034942B (zh) 一种命名实体识别方法、装置、设备及可读存储介质
CN117573849B (zh) 一种知识图谱多跳问答方法、装置、设备及存储介质
CN116127984A (zh) 文本处理方法、装置、电子设备及存储介质
CN117540825A (zh) 基于强化学习的预训练模型的构建方法及装置和电子设备
CN117493550A (zh) 文本分类模型的训练方法、文本分类方法及装置
CN114860871A (zh) 一种模型训练和信息搜索的方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20220816

WW01 Invention patent application withdrawn after publication