CN113762401A - 自适应分类任务阈值调整方法、装置、设备及存储介质 - Google Patents

自适应分类任务阈值调整方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN113762401A
CN113762401A CN202111071024.2A CN202111071024A CN113762401A CN 113762401 A CN113762401 A CN 113762401A CN 202111071024 A CN202111071024 A CN 202111071024A CN 113762401 A CN113762401 A CN 113762401A
Authority
CN
China
Prior art keywords
confidence
classification result
classification
test sample
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111071024.2A
Other languages
English (en)
Inventor
刘濂
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Vipshop Guangzhou Software Co Ltd
Original Assignee
Vipshop Guangzhou Software Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Vipshop Guangzhou Software Co Ltd filed Critical Vipshop Guangzhou Software Co Ltd
Priority to CN202111071024.2A priority Critical patent/CN113762401A/zh
Publication of CN113762401A publication Critical patent/CN113762401A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请公开了一种自适应分类任务阈值调整方法、装置、设备及存储介质，本申请根据测试样本集数据分布与训练样本集数据分布具有相似性的特点，利用测试样本集对训练后的神经网络模型进行置信度阈值的调整，首先获取测试样本集，将所述测试样本集输入到训练后的神经网络分类模型，从而得到神经网络分类模型输出的预测分类结果以及所述预测分类结果对应的置信度，进一步地，基于所述预测分类结果与测试样本标签可以确定出错误分类结果及其置信度，通过对该错误分类结果的置信度的分析，无需通过人工介入，不依赖人的观测和分析，从而调整该神经网络模型的置信度阈值，得到一个合适的置信度阈值来提高神经网络模型预测结果的可靠性。

Description

自适应分类任务阈值调整方法、装置、设备及存储介质
技术领域
本申请涉及机器学习技术领域，更具体的说，是涉及自适应分类任务阈值调整方法、装置、设备及存储介质。
背景技术
在机器学习技术领域，使用完成训练的神经网络模型进行分类任务是比较常见的。神经网络(Neural Networks,NN)是由大量的、简单的处理单元广泛地互相连接而形成的复杂网络系统。在工业级分类任务中，如使用训练后的神经网络分类模型可以给指定的商品打上对应的属性标签。神经网络分类模型的置信度可以反映模型预测结果正确的可能性，可用于判断模型预测结果的可靠性。对此，为了提高神经网络分类模型输出的预测分类结果的准确率，需要对神经网络分类模型设置比较合适的置信度阈值，将置信度不符合置信度阈值范围的模型预测分类结果过滤掉，不输出置信度不符合置信度阈值范围的模型预测分类结果，从而提高神经网络模型输出的预测分类结果的准确度。
现有的分类任务置信度阈值的设置方法，需要人工的介入，由人根据神经网络分类模型在预测数据上的表现，分析模型预测输出的结果是否接近实际期望输出的结果，然后通过人工手动调整神经网络分类模型的置信度阈值。这个人工调整置信度阈值的过程比较繁琐，并且依赖于人对分类结果的观察和分析程度以及自身的经验知识来设置出一个比较合适的置信度阈值，这种方法下设定的置信度阈值可能会出现较大的误差，使模型输出的分类结果的精确度不稳定。
发明内容
鉴于上述问题，提出了本申请以便提供自适应分类任务阈值调整方案，以自适应调整出合适的置信度阈值，从而提高神经网络分类模型的预测分类结果的准确率。具体方案如下：
一种自适应分类任务阈值调整方法，包括：
获取测试样本集及训练样本集；
将所述测试样本集输入神经网络分类模型，得到神经网络分类模型输出的预测分类结果及所述预测分类结果的置信度；所述神经网络分类模型由所述训练样本集训练得到；
基于所述预测分类结果及测试样本标签，确定错误分类结果及所述错误分类结果的置信度；
根据所述错误分类结果的置信度，调整所述神经网络分类模型的置信度阈值。
可选的，基于所述预测分类结果及测试样本标签，确定错误分类结果及所述错误分类结果的置信度，包括：
判断所述测试样本集中每一测试样本对应的预测分类结果是否与所述测试样本的标签一致，若不一致，则将所述测试样本对应的预测分类结果确定为错误分类结果；
获取所述测试样本对应的预测分类结果的置信度，得到所述错误分类结果的置信度。
可选的，根据所述错误分类结果的置信度，调整所述神经网络分类模型的置信度阈值，包括：
根据所述错误分类结果的个数及所述错误分类结果的置信度，确定所述错误分类结果的置信度指标，所述置信度指标用于衡量所述错误分类结果的置信度整体水平；
将所述错误分类结果的置信度指标作为置信度阈值，对所述神经网络分类模型进行更新。
可选的，根据所述错误分类结果的个数及所述错误分类结果的置信度，确定所述错误分类结果的置信度指标，包括：
统计所述错误分类结果的个数；
计算所述错误分类结果的置信度之和；
将所述置信度之和除以所述错误分类结果的个数，得到置信度平均值；
将所述置信度平均值作为所述错误分类结果的置信度指标。
可选的，所述获取测试样本集及训练样本集，包括：
获取样本数据；
将所述样本数据按照比例划分为训练样本集、测试样本集。
一种自适应分类任务阈值调整装置，包括：
数据获取单元，用于获取测试样本集及训练样本集；
预测分类结果获取单元，用于将所述测试样本集输入神经网络分类模型，得到神经网络分类模型输出的预测分类结果及所述预测分类结果的置信度；所述神经网络分类模型由所述训练样本集训练得到；
错误分类结果获取单元，用于基于所述预测分类结果及测试样本标签，确定错误分类结果及所述错误分类结果的置信度；
置信度阈值确定单元，用于根据所述错误分类结果的置信度，调整所述神经网分类络模型的置信度阈值。
可选的，所述错误分类结果获取单元包括：
判断单元，用于判断所述测试样本集中每一测试样本对应的预测分类结果是否与所述测试样本的标签一致，若不一致，则将所述测试样本对应的预测分类结果确定为错误分类结果；
错误分类结果置信度确定单元，用于获取所述测试样本对应的预测分类结果的置信度，得到所述错误分类结果的置信度。
可选的，所述置信度阈值确定单元包括：
置信度指标确定单元，用于根据所述错误分类结果的个数及所述错误分类结果的置信度，确定所述错误分类结果的置信度指标，所述置信度指标用于衡量所述错误分类结果的置信度整体水平；
置信度阈值更新单元，用于将所述错误分类结果的置信度指标作为置信度阈值，对所述神经网络分类模型进行更新。
一种自适应分类任务阈值调整设备，包括：存储器和处理器；
所述存储器，用于存储程序；
所述处理器，用于执行所述程序，实现如上述自适应分类任务阈值调整方法的各个步骤。
一种存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现如上述自适应分类任务阈值调整方法的各个步骤。
借由上述技术方案，本申请根据测试样本集数据分布与训练样本集数据分布具有相似性的特点，利用测试样本集对训练后的神经网络模型进行置信度阈值的调整，首先获取测试样本集，将所述测试样本集输入到训练后的神经网络分类模型，从而得到神经网络分类模型输出的预测分类结果以及所述预测分类结果对应的置信度，进一步地，基于所述预测分类结果与测试样本标签可以确定出错误分类结果及其置信度，通过对该错误分类结果的置信度的分析，无需通过人工介入，不依赖人的观测和分析，从而调整该神经网络模型的置信度阈值，得到一个合适的置信度阈值来提高神经网络模型预测结果的可靠性。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本申请实施例提供的自适应分类任务阈值调整方法的一流程示意图；
图2为本申请实施例提供的一种自适应分类任务阈值调整装置结构示意图；
图3为本申请实施例提供的自适应分类任务阈值调整设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请提供了一种自适应分类任务阈值调整方案，可以适用于解决各类神经网络分类模型的置信度阈值调整任务，例如激活函数为Sigmoid的二分类模型、激活函数为Softmax的多分类模型等。
接下来，结合图1所述，本申请的自适应分类任务阈值调整方法可以包括如下步骤：
步骤S100，获取测试样本集及训练样本集。
具体地，训练样本可以为已知类别的样本，训练样本可用于多次训练一神经网络分类模型。训练样本的选择可以直接关系神经网络分类模型的精度，是神经网络分类模型的关键。因此，训练样本集的数据集合需要大量的历史记录的数据，训练样本集越大，训练出来的神经网络分类模型越可靠。另外，测试样本集可用于验证训练后的神经网络分类模型的性能，可以在测试样本集上执行神经网络分类模型，生成预测结果，进一步地根据预测结果计算评估指标，评估分类模型的性能。
步骤S110，将测试样本集输入神经网络分类模型，得到预测分类结果及其置信度。
具体地，可以将所述测试样本集输入神经网络分类模型，得到神经网络分类模型输出的预测分类结果及所述预测分类结果的置信度，可以理解的是的，所述神经网络分类模型可以由所述训练样本集训练得到。在本申请实施例中，本申请的自适应分类任务阈值调整方法利用测试样本集上的数据分布和实际预测时的待预测集上的数据分布的相似性，通过神经网络分类模型在测试样本集上的预测结果来计算实际预测时的置信度阈值。
步骤S120，基于预测分类结果及测试样本标签，确定错误分类结果及其置信度。
具体地，基于上述步骤S110得到的预测分类结果，与测试样本标签可以确定错误分类结果以及错误分类结果的置信度。预测分类结果可以为一个集合，在这个预测分类结果集合中，有的分类结果可能错误的，可以将每一测试样本标签与每一预测分类结果进行对比，确定神经网络分类模型输出的分类结果是否正确，从而确定出错误分类的集合。
测试样本标签可以为测试样本集中标注的分类标签，可以用于区分每个测试样本的不同类别。在神经网络分类模型的推理过程中，模型输出的分类结果的分类正确率与模型预测结果的置信度成正相关关系。
步骤S130，根据错误分类结果的置信度，调整神经网络分类模型的置信度阈值。
具体地，可以根据错误分类结果的置信度，调整神经网络分类模型的置信度阈值，从而提升神经网络分类模型输出结果的正确率。对于每一个样本，神经网络分类模型所输出的分类结果的置信度越高，则可以代表该分类结果越可信。本申请实施例中，因为考虑到通过错误分类结果的置信度设置分类模型的置信度阈值，可以过滤掉大部分错误的分类结果，本申请可以通过错误分类结果的置信度调整神经网络分类模型置信度阈值。
借由上述技术方案，本申请根据测试样本集数据分布与训练样本集数据分布具有相似性的特点，利用测试样本集对训练后的神经网络模型进行置信度阈值的调整，首先获取测试样本集，将所述测试样本集输入到训练后的神经网络分类模型，从而得到神经网络分类模型输出的预测分类结果以及所述预测分类结果对应的置信度，进一步地，基于所述预测分类结果与测试样本标签可以确定出错误分类结果及其置信度，通过对该错误分类结果的置信度的分析，无需通过人工介入，不依赖人的观测和分析，从而调整该神经网络模型的置信度阈值，得到一个合适的置信度阈值来提高神经网络模型预测结果的可靠性。
在本申请的一些实施例中，对于获取的测试样本集及训练样本集需要在数据分布相同的样本数据中获取，具体地，可以获取来自同一记录集中的历史数据作为样本数据，进一步地将所述样本数据集按照一定的比较划分为训练样本集、测试样本集。通常可以将样本数据的2/3作为训练样本集，剩余的部分作为测试样本集，当然，划分的比例还可以按照实际需要调整。
在本申请的一些实施例中，对上述步骤S120基于预测分类结果及测试样本标签，确定错误分类结果及其置信度的过程进行详细介绍。该过程可以包括以下步骤：
S1，判断所述测试样本集中每一测试样本对应的预测分类结果是否与所述测试样本的标签一致，若不一致，则将所述测试样本对应的预测分类结果确定为错误分类结果。
具体地，利用神经网络分类模型在测试样本集A上做分类任务，可以得到测试样本集A中每一测试样本i对应的预测分类结果
Figure BDA0003260280820000071
每一测试样本i的预测分类结果可以通过函数Argmax求取，可以表示为
Figure BDA0003260280820000072
其中F代表神经网络分类模型，可以是激活函数为Softmax的多分类模型，也可以是激活函数为Sigmoid的二分类模型。
判断测试样本集A中每一测试样本i对应的预测分类结果
Figure BDA0003260280820000073
与测试样本i的标签是否一致，如果不一致，则将所述测试样本i对应的预测分类结果
Figure BDA0003260280820000074
确定为错误分类结果，从而得到一组错误分类集合S，可以用
Figure BDA0003260280820000075
表示任一错误分类结果。
S2，获取所述测试样本对应的预测分类结果的置信度，得到所述错误分类结果的置信度。
具体地，在上述步骤S1中可以确定一组错误分类集合S，进一步地可以分别获取错误分类集合S中每一错误分类结果的置信度。在本申请实施例中，可以用
Figure BDA0003260280820000076
表示错误分类的测试样本i的置信度。
在本申请的一些实施例中，可以对上述步骤S130根据错误分类结果的置信度，调整神经网络分类模型的置信度阈值的过程进行详细介绍，该过程可以包括以下步骤：
S1，根据所述错误分类结果的个数及所述错误分类结果的置信度，确定所述错误分类结果的置信度指标。
具体地，可以根据错误分类集合S的分类结果的个数以及每一个错误分类结果的置信度
Figure BDA0003260280820000077
确定置信度指标，该置信度指标可以用于衡量错误分类结果的置信度整体水平。置信度指标可以是各个错误分类结果置信度的平均值，也可以是各个错误分类结果置信度的方差等，在本申请实施例中，以错误分类的置信度平均值作为置信度指标进行举例说明。首先统计错误分类结果的个数，可以用n表示，计算这n个错误分类结果的置信度之和，进步一地用置信度之和除以错误分类结果的个数n，可以得到置信度平均值，可以将该置信度平均值作为错误分类结果的置信度指标。置信度指标的公式可以表示为
Figure BDA0003260280820000081
其中，T可以表示置信度指标，
Figure BDA0003260280820000082
可以表示每一个错误分类结果的置信度，n可以表示错误分类结果的个数。
Figure BDA0003260280820000083
可以表示错误分类集合S中所有错误分类结果的置信度之和。
S2，将所述错误分类结果的置信度指标作为置信度阈值，对所述神经网络分类模型进行更新。
具体地，在上述步骤S1可以得到置信度指标，可以将该置信度指标作为置信度阈值，进一步地对神经网络分类模型进行参数更新。从而可以得到一个合适置信度阈值的神经网络分类模型，可以为后续的预测过程提供一个可靠的神经网络分类模型。
下面对本申请实施例提供的自适应分类任务阈值调整装置进行描述，下文描述的自适应分类任务阈值调整装置与上文描述的自适应分类任务阈值调整方法可相互对应参照。
参见图2，图2为本申请实施例公开的一种自适应分类任务阈值调整装置结构示意图。
如图2所示，该装置可以包括：
数据获取单元11，用于获取测试样本集及训练样本集；
预测分类结果获取单元12，用于将所述测试样本集输入神经网络分类模型，得到神经网络分类模型输出的预测分类结果及所述预测分类结果的置信度；所述神经网络分类模型由所述训练样本集训练得到；
错误分类结果获取单元13，用于基于所述预测分类结果及测试样本标签，确定错误分类结果及所述错误分类结果的置信度；
置信度阈值确定单元14，用于根据所述错误分类结果的置信度，调整所述神经网分类络模型的置信度阈值。
可选的，上述错误分类结果获取单元13可以包括：
判断单元，用于判断所述测试样本集中每一测试样本对应的预测分类结果是否与所述测试样本的标签一致，若不一致，则将所述测试样本对应的预测分类结果确定为错误分类结果；
错误分类结果置信度确定单元，用于获取所述测试样本对应的预测分类结果的置信度，得到所述错误分类结果的置信度。
可选的，上述置信度阈值确定单元14可以包括：
置信度指标确定单元，用于根据所述错误分类结果的个数及所述错误分类结果的置信度，确定所述错误分类结果的置信度指标，所述置信度指标用于衡量所述错误分类结果的置信度整体水平；
置信度阈值更新单元，用于将所述错误分类结果的置信度指标作为置信度阈值，对所述神经网络分类模型进行更新。
可选的，置信度指标确定单元可以包括：
统计单元，用于统计所述错误分类结果的个数；
置信度求和单元，用于计算所述错误分类结果的置信度之和；
平均值获取单元，用于将所述置信度之和除以所述错误分类结果的个数，得到置信度平均值；
赋值单元，用于将所述置信度平均值作为所述错误分类结果的置信度指标。
可选的，上述数据获取单元11可以包括：
样本数据获取单元，用于获取样本数据；
数据集合划分单元，用于将所述样本数据按照比例划分为训练样本集、测试样本集。
本申请实施例提供的自适应分类任务阈值调整装置可应用于自适应分类任务阈值调整设备。可选的，图3示出了自适应分类任务阈值调整设备的硬件结构框图，参照图3，自适应分类任务阈值调整设备的硬件结构可以包括：至少一个处理器1，至少一个通信接口2，至少一个存储器3和至少一个通信总线4；
在本申请实施例中，处理器1、通信接口2、存储器3、通信总线4的数量为至少一个，且处理器1、通信接口2、存储器3通过通信总线4完成相互间的通信；
处理器1可能是一个中央处理器CPU，或者是特定集成电路ASIC(ApplicationSpecific Integrated Circuit)，或者是被配置成实施本发明实施例的一个或多个集成电路等；
存储器3可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatilememory)等，例如至少一个磁盘存储器；
其中，存储器存储有程序，处理器可调用存储器存储的程序，所述程序用于：
获取测试样本集及训练样本集；
将所述测试样本集输入神经网络分类模型，得到神经网络分类模型输出的预测分类结果及所述预测分类结果的置信度；所述神经网络分类模型由所述训练样本集训练得到；
基于所述预测分类结果及测试样本标签，确定错误分类结果及所述错误分类结果的置信度；
根据所述错误分类结果的置信度，调整所述神经网分类络模型的置信度阈值。
可选的，所述程序的细化功能和扩展功能可参照上文描述。
本申请实施例还提供一种存储介质，该存储介质可存储有适于处理器执行的程序，所述程序用于：
获取测试样本集及训练样本集；
将所述测试样本集输入神经网络分类模型，得到神经网络分类模型输出的预测分类结果及所述预测分类结果的置信度；所述神经网络分类模型由所述训练样本集训练得到；
基于所述预测分类结果及测试样本标签，确定错误分类结果及所述错误分类结果的置信度；
根据所述错误分类结果的置信度，调整所述神经网分类络模型的置信度阈值。
可选的，所述程序的细化功能和扩展功能可参照上文描述。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间可以根据需要进行组合，且相同相似部分互相参见即可。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种自适应分类任务阈值调整方法，其特征在于，包括：
获取测试样本集及训练样本集；
将所述测试样本集输入神经网络分类模型，得到神经网络分类模型输出的预测分类结果及所述预测分类结果的置信度；所述神经网络分类模型由所述训练样本集训练得到；
基于所述预测分类结果及测试样本标签，确定错误分类结果及所述错误分类结果的置信度；
根据所述错误分类结果的置信度，调整所述神经网络分类模型的置信度阈值。
2.根据权利要求1所述的方法，其特征在于，基于所述预测分类结果及测试样本标签，确定错误分类结果及所述错误分类结果的置信度，包括：
判断所述测试样本集中每一测试样本对应的预测分类结果是否与所述测试样本的标签一致，若不一致，则将所述测试样本对应的预测分类结果确定为错误分类结果；
获取所述测试样本对应的预测分类结果的置信度，得到所述错误分类结果的置信度。
3.根据权利要求1所述的方法，其特征在于，根据所述错误分类结果的置信度，调整所述神经网络分类模型的置信度阈值，包括：
根据所述错误分类结果的个数及所述错误分类结果的置信度，确定所述错误分类结果的置信度指标，所述置信度指标用于衡量所述错误分类结果的置信度整体水平；
将所述错误分类结果的置信度指标作为置信度阈值，对所述神经网络分类模型进行更新。
4.根据权利要求3所述的方法，其特征在于，根据所述错误分类结果的个数及所述错误分类结果的置信度，确定所述错误分类结果的置信度指标，包括：
统计所述错误分类结果的个数；
计算所述错误分类结果的置信度之和；
将所述置信度之和除以所述错误分类结果的个数，得到置信度平均值；
将所述置信度平均值作为所述错误分类结果的置信度指标。
5.根据权利要求1所述的方法，其特征在于，所述获取测试样本集及训练样本集，包括：
获取样本数据；
将所述样本数据按照比例划分为训练样本集、测试样本集。
6.自适应分类任务阈值调整装置，其特征在于，包括：
数据获取单元，用于获取测试样本集及训练样本集；
预测分类结果获取单元，用于将所述测试样本集输入神经网络分类模型，得到神经网络分类模型输出的预测分类结果及所述预测分类结果的置信度；所述神经网络分类模型由所述训练样本集训练得到；
错误分类结果获取单元，用于基于所述预测分类结果及测试样本标签，确定错误分类结果及所述错误分类结果的置信度；
置信度阈值确定单元，用于根据所述错误分类结果的置信度，调整所述神经网络分类模型的置信度阈值。
7.根据权利要求6所述的装置，其特征在于，所述错误分类结果获取单元包括：
判断单元，用于判断所述测试样本集中每一测试样本对应的预测分类结果是否与所述测试样本的标签一致，若不一致，则将所述测试样本对应的预测分类结果确定为错误分类结果；
错误分类结果置信度确定单元，用于获取所述测试样本对应的预测分类结果的置信度，得到所述错误分类结果的置信度。
8.根据权利要求6所述的装置，其特征在于，所述置信度阈值确定单元包括：
置信度指标确定单元，用于根据所述错误分类结果的个数及所述错误分类结果的置信度，确定所述错误分类结果的置信度指标，所述置信度指标用于衡量所述错误分类结果的置信度整体水平；
置信度阈值更新单元，用于将所述错误分类结果的置信度指标作为置信度阈值，对所述神经网络分类模型进行更新。
9.一种自适应分类任务阈值调整设备，其特征在于，包括：存储器和处理器；
所述存储器，用于存储程序；
所述处理器，用于执行所述程序，实现如权利要求1～5中任一项所述的自适应分类任务阈值调整方法的各个步骤。
10.一种存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，实现如权利要求1～5中任一项所述的自适应分类任务阈值调整方法的各个步骤。
CN202111071024.2A 2021-09-13 2021-09-13 自适应分类任务阈值调整方法、装置、设备及存储介质 Pending CN113762401A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111071024.2A CN113762401A (zh) 2021-09-13 2021-09-13 自适应分类任务阈值调整方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111071024.2A CN113762401A (zh) 2021-09-13 2021-09-13 自适应分类任务阈值调整方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN113762401A true CN113762401A (zh) 2021-12-07

Family

ID=78795315

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111071024.2A Pending CN113762401A (zh) 2021-09-13 2021-09-13 自适应分类任务阈值调整方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN113762401A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114301821A (zh) * 2021-12-28 2022-04-08 合肥磐稳检测技术有限公司 模组测试方法、装置、终端及计算机可读存储介质
CN116028849A (zh) * 2022-12-30 2023-04-28 西安重装智慧矿山工程技术有限公司 基于深度自编码网络的乳化液泵故障诊断方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114301821A (zh) * 2021-12-28 2022-04-08 合肥磐稳检测技术有限公司 模组测试方法、装置、终端及计算机可读存储介质
CN116028849A (zh) * 2022-12-30 2023-04-28 西安重装智慧矿山工程技术有限公司 基于深度自编码网络的乳化液泵故障诊断方法
CN116028849B (zh) * 2022-12-30 2024-05-14 西安重装智慧矿山工程技术有限公司 基于深度自编码网络的乳化液泵故障诊断方法

Similar Documents

Publication Publication Date Title
JP6807909B2 (ja) データ評価方法、装置、機器及び読み取り可能な記憶媒体
CN112258093A (zh) 风险等级的数据处理方法及装置、存储介质、电子设备
CN113762401A (zh) 自适应分类任务阈值调整方法、装置、设备及存储介质
WO2019041439A1 (zh) 核保难度预测的方法、装置、计算机设备及存储介质
CN106651574A (zh) 一种个人信用评估方法及装置
CN109726655A (zh) 基于情绪识别的客服服务评价方法、装置、介质及设备
CN109784528A (zh) 基于时间序列和支持向量回归的水质预测方法及装置
CN109002810A (zh) 模型评价方法、雷达信号识别方法及对应装置
CN117540826A (zh) 机器学习模型的优化方法、装置、电子设备及存储介质
CN115934490A (zh) 服务器性能预测模型训练方法、装置、设备及存储介质
CN116774986A (zh) 软件开发工作量自动评估方法、装置、存储介质及处理器
CN114186646A (zh) 区块链异常交易识别方法及装置、存储介质及电子设备
CN112015861A (zh) 基于用户历史行为分析的智能试卷算法
CN114912549B (zh) 风险交易识别模型的训练方法、风险交易识别方法和装置
CN106682229A (zh) 一种面向数据分类的特征权重确定方法及装置
CN114996389B (zh) 一种标注类别一致性检验方法、存储介质及电子设备
CN113393023B (zh) 模具质量评估方法、装置、设备及存储介质
CN116956171A (zh) 基于ai模型的分类方法、装置、设备及存储介质
CN114020905A (zh) 一种文本分类外分布样本检测方法、装置、介质及设备
CN111353553A (zh) 清洗错误标注数据的方法、装置、计算机设备及存储介质
US7634450B2 (en) System and method for determining difficulty measures for training cases used in developing a solution to a problem
CN116630677A (zh) 一种图像分类模型的训练方法、装置、计算机设备及介质
CN117929655B (zh) 一种气味强度检测方法、装置、设备、存储介质及车辆
CN118211171B (zh) 一种基于知识图谱的目标路径挖掘方法
CN114418024B (zh) 学历预测方法、系统、终端设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination