CN110688273B - 分类模型的监控方法、装置、终端以及计算机存储介质 - Google Patents

Abstract

本申请公开了一种分类模型的监控方法、监控装置、监控终端以及计算机存储介质，监控方法包括：将待分类数据输入所述分类模型并经所述模型分类处理后获得包含分类预测结果的已分类数据；对所述已分类数据进行抽样，获取到抽样的分类数据及所述抽样的分类数据的分类预测结果；获取到所述抽样的分类数据的分类正确结果；通过所述抽样的分类数据的分类预测结果和所述分类正确结果计算得到所述抽样的已分类数据的基本指标数据；基于所述基本指标数据生成所述分类模型的监控报表。通过上述方式，能够对投入使用后的分类模型的质量性能进行监管。

Description

分类模型的监控方法、装置、终端以及计算机存储介质

技术领域

本申请涉及模型应用技术领域，特别是涉及一种分类模型的监控方法、装置、终端以及计算机存储介质。

背景技术

现实生活中为，为了解决一些实际问题，通常会根据需要建立模型，如分类模型，这些模型在初始建立的时候，会通过很多测试数据对其进行训练，得到各项指标参数，在测试合格后投入到市场应用。

一般情况下，一旦模型被投入实际应用后，不会再对该模型的性能进行监测，模型的实际质量得不到监管。

发明内容

本申请主要解决的技术问题是提供一种分类模型的监控方法、装置、终端以及计算机存储介质，能够对投入使用后的分类模型的性能进行监管。

为解决上述技术问题，本申请采用的第一个技术方案是：提供一种分类模型的监控方法，包括：将待分类数据输入所述分类模型并经所述模型分类处理后获得包含分类预测结果的已分类数据；对所述已分类数据进行抽样，获取到抽样的分类数据及所述抽样的分类数据的分类预测结果；获取到所述抽样的分类数据的分类正确结果；通过所述抽样的分类数据的分类预测结果和所述分类正确结果计算得到所述抽样的已分类数据的基本指标数据；基于所述基本指标数据生成所述分类模型的监控报表。

其中，通过抽样的分类数据的分类预测结果和分类正确结果计算得到抽样的已待分类数据的基本指标数据的步骤之后还包括：判断基本指标数据是否符合预设条件；如果基本指标数据不符合预设条件，对分类模型的模型进行训练，获取到训练后的模型参数。

其中，如果基本指标数据不符合预设条件，对分类模型进行训练，获取到训练后的模型参数的步骤具体包括：如果基本指标不符合预设条件，将抽样的部分已分类数据，以及训练分类模型的部分原始数据输入所述分类模型进行训练；获得训练后的模型参数，形成新版本的分类模型。

其中，获得训练后的模型参数，形成新版本的分类模型的步骤之后包括：分别获取新旧版本的分类模型对待分类数据的分类预测结果；将待分类数据、新旧版本的分类模型对应的分类预测结果、分类时间，分类模型的版本、模型参数标记存储到数据库中。

其中，基于基本指标数据生成监控报表的步骤包括：获取预测结果数据所占分类模型的各个类别的分类比例，并将分类比例显示在监控报表中；判断分类比例是否超过对应类别的设定范围；如果比例超过对应类别的设定范围，对分类比例进行特殊标记，并形成报表发送至监控对象。

其中，将待分类数据输入所述分类模型并经过所述模型分类处理后获得包含分类预测结果的已分类数据的步骤之前还包括的步骤之前还包括：建立分类模型的模型原型；通过抽样出原始数据的一部分对模型原型进行训练，得到分类模型的模型参数，建立分类模型；根据所述抽样出的原始数据的另一部分计算获得分类模型的基本指标数据；将原始数据、基本指标数据、模型参数以及分类模型的版本存储到数据库中。

其中，对所述已分类数据进行抽样的步骤具体包括：对已分类数据进行抽样，将抽样的分类数据发送至监控对象，并将抽样的分类数据及其对应的分类预测结果添加到标注表中；获得抽样的分类数据的分类正确结果的步骤具体包括：接收监测对象发送的抽样的分类数据的分类正确结果，并将分类正确结果存储到标注表中；通过待分类数据的分类预测结果和分类正确结果获得待分类数据的基本指标数据的步骤具体包括：从标注表中获取分类预测结果以及分类正确结果，并根据分类预测结果和分类正确结果计算得到分类数据的基本指标数据。

为解决上述技术问题，本申请采用的第二个技术方案是：提供一种分类模型的监控装置，监控装置包括分类模块、抽样模块、正确结果获取模块、指标计算模块以及发送模块；

所述分类模块用于将待分类数据输入所述分类模型并将所述模型分类处理后获得包含分类预测结果的已分类数据；所述抽样模块用于对所述分类数据进行抽样，获取到抽样的分类数据及所述抽样的分类数据的分类预测结果；所述正确结果获取模块用于获取到所述抽样的分类数据的分类正确结果；所述指标计算模块用于通过所述抽样的分类数据的分类预测结果和所述分类正确结果计算得到所述抽样的已分类数据的基本指标数据；所述报表生成模块用于基于所述基本指标数据生成所述分类模型的监控报表。

其中，监测终端还包括优化模块，所述优化模块用于判断基本指标数据是否符合预设条件；如果基本指标数据不符合预设条件，对分类模型进行训练，获取到训练后的模型参数。

其中，优化模块具体用于在基本指标不符合预设条件，将抽样的部分已分类数据以及训练分类模型的部分原始数据输入所述分类模型进行训练；获得训练后的模型参数，形成新版本的分类模型。

其中，预测结果获取模块还用于分别获取新旧版本的所述分类模型对待分类数据的分类预测结果，还用于将待分类数据、新旧版本的分类模型对应的版本、模型参数、分类预测结果、分类时间存储到数据库中。

其中，所述报表生成模块还用于获取预测结果数据所占分类模型的各个类别的分类比例，并将分类比例显示在监控报表中，还用于判断分类比例是否超过对应类别的设定范围；还用于在分类比例超过对应类别的设定范围，对分类比例进行特殊标记，并形成报表发送至监控对象。

其中，监测系统还包括模型建立模块，所述模型建立模块用于在分类模块将将待分类数据输入所述分类模型并将所述模型分类处理后获得包含分类预测结果的已分类数据之前建立分类模型的模型原型；通过抽样出原始数据的一部分对所述模型原型进行训练，得到所述分类模型的模型参数，建立所述分类模型；根据所述抽样出的原始数据的另一部分计算所述分类模型的基本指标数据；将所述原始数据、所述基本指标数据、所述模型参数以及所述分类模型的版本存储到数据库中。

其中，所述抽样模块具体对所述已分类数据进行抽样，将抽样的分类数据发送至监控对象，并将抽样的分类数据及其对应的分类预测结果添加到标注表中；所述正确结果获取单元具体用于接收所述监测对象发送的抽样的所述分类数据的分类正确结果，并将所述分类正确结果存储到所述标注表中；所述指标获取模块具体用于从所述标注表获取所述分类预测结果以及所述分类正确结果，并根据所述分类预测结果和所述分类正确结果计算得到所述抽样的已分类数据的所述基本指标数据。

为解决上述技术问题，本申请采用的第三个技术方案是：提供一种分类模型的监控终端，包括相互耦接的处理器和人机交互控制电路，述处理器用于与人机交互控制电路相配合实现如上述任一实施方式的分类模型的监控方法。

为解决上述技术问题，本申请采用的第三个技术方案是：提供一种计算机存储介质，计算机存储介质上存储有程序数据，程序数据被处理器执行时实现上述任一项的分类模型的监控方法。

相对于现有技术，本申请的有益效果是：本实施方式中，将待分类数据输入分类模型，经该分类模型处理后，获取包含分类预测结果的分类数据，进一步地对该已分类数据进行抽样，获取到抽样的分类数据的分类预测结果，并进一步获取到已抽样的分类数据的分类正确结果，并通过分类预测结果和分类正确结果计算得到抽样的待分类数据的基本指标数据，并建立监控报表，能够很直观的对投入使用后的分类模型的质量进行监测。

附图说明

图1是本申请分类模型的监控方法一实施例的流程示意图；

图2是图1中监控方法一具体实施方式的示意图；

图3是本申请分类模型的监控方法另一实施方式的流程示意图；

图4是本申请分类模型的监控装置一实施方式的结构示意图；

图5是本申请分类模型的监控装置另一实施方式的结构示意图；

图6是本申请分类模型的监控装置再一实施方式的结构示意图；

图7是本申请分类模型的监控终端一实施方式的结构示意图；

图8是本申请计算机存储介质一实施例的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，均属于本申请保护的范围。

模型是机器学习中的概念，是指处理多元特征输入值的算法。在监督式机器学习中，模型可以理解为多元函数映射关系，这种模型是基于大量已知的输入输出样本集合，训练得到函数关系的调控系数，最终运用于实际使用场景中进行结果预测。

分类模型是将一组输入特征值如待分类数据输入模型，在有限个结果集合如分类类别中选出一个概率最大的结果。本实施方式提供的分类模型的监控方法能够在分类模型投入使用后继续对分类模型进行监测。

如图1所示，图1是本申请分类模型的监控方法一实施方式的流程示意图。为了使本实施方式的监控方法的流程更加清晰，结合图2中的数据处理方式示意图理解图1中的监控方法。具体地，参阅图1，本实施方式的分类模型的监控方法包括：

步骤101：将待分类数据输入所述分类模型并经所述分类模型分类处理后获得包含分类预测结果的已分类数据。

本实施方式中监测的分类模型为投入使用后的分类模型。

该分类模型在投入使用之前，终端先进行数据库搭建，搭建的数据库包括模型表、模型调用记录表、标注表、模型指标表及通用配置表。其中，模型表用于存储分类模型的版本、模型参数等数据；模型调用记录表用于存储待分类数据输入各版本分类模型处理后获得的包含分类预测结果的已分类数据；标注表用于存储抽样的分类数据及其分类预测结果和分类正确结果，模型指标表用于存储各个版本分类模型的基本指标数据；通用配置表用于存储各个版本的分类模型的通用参数以及其他数据等。

终端根据所需功能先建立该分类模型的模型原型，该模型原型可根据先设定函数如包括多个模型参数的方程来建立。通过抽样出的部分原始数据对模型原型进行训练，反向推算，获得原始版本的分类模型的模型参数。并将该原始模型及其版本、模型参数保存到模型表中。

优选地，为了保证该分类模型的质量，在确定上述模型参数后，进一步地对该分类模型的模型参数进行测试。在具体的实施方式中，可根据抽样出的原始数据的一部分例如80％对该模型原型进行训练，再通过抽样出的原始数据的另一部分例如剩余的20％的原始数据对该模型参数进行质量检测。

在一个具体的实施方式中，通过计算该模型原型的多个基础指标来确定该模型原型是否可以投入使用。该基础指标包括准确率、精确率、召回率、FI值中至少一种。其中该准确率为正确预测数与预测总数的比值；精确率为正确被预测为某一个分类的数量与被预测为此分类的总数量的比值；召回率为正确被预测为某一个分类的数量与被预测集合中此分类实际的总数量的比值；F1值为精确率和召回率的调和平均数。

在本实施方式中，可根据监测的上述基础指标进一步地对原始模型再进行训练优化，得到包含优化后的模型参数的新版本的模型或对模型原型进行微调后再训练形成新版本的分类模型，并将新版本的分类模型的模型参数存储到模型表中。当分类模型的每一基础指标都达到预设条件时，该分类模型就可投入使用。

步骤102：对所述已分类数据进行抽样，获取到抽样的分类数据及所述抽样的分类数据的分类预测结果。

在一个具体实施例中，为了实现对分类模型质量的监测，达到预设周期后，对已分类的数据进行抽样，抽样的数量可根据该周期内实际分类的数据选取预定数量的数据，如从模型调用记录表中抽样该周期内的10000条已分类数据，即从该模型调用表中获取分类前的待分类数据以及分类模型对上述待分类数据进行分类后的分类预测结果。

步骤103：获取到抽样的分类数据的分类正确结果。

进一步地为了得到预设周期内的基础指标数据，需要获知抽样的已分类数据实际的分类正确结果，即分类前的待分类数据的分类正确结果。在一个优选的实施方式中，可通过将该抽样的分类数据即分类前的待分类数据发送至监控对象如专门监管模型的业务人员，通过业务人员来标注正确的分类正确结果，发送方式可通过邮件、信息或其他方式。

业务人员对该抽样的分类的数据进行实际判断，得到分类正确结果，并将分类正确结果返回至终端，对应地终端接收该分类正确结果。

本实施方式中，如，终端将抽样的10000条包含分类预测结果的已分类数据添加到标注表中。在接收到该监控对象如业务人员发送的分类正确结果后，将该分类正确结果也存储到上述标注表中。

步骤104：通过抽样的分类数据的分类预测结果和分类正确结果计算得到已分类数据的基本指标数据。

进一步地，终端得到抽样的分类数据的分类预测结果和分类正确结果后，通过上述分类预测结果和分类正确结果计算当前版本的分类模型对应分类数据的基本指标数据。

在一个具体的实施方式中，从标注表中获取抽样的分类数据的分类预测结果以及分类正确结果，通过终端的程序模块计算分类数据的准确率、精确率、召回率、FI值。

将抽样的包含分类预测结果和分类前的待分类数据的已分类数据以及该已分类数据对应的分类准确结果存储到标注表中，可作为后续分类模型或其他版本分类模型的进行再训练的训练数据，实现分类模型不同版本之间的迭代优化，进一步提高分类模型的质量。

105：基于所述基本指标数据生成分类模型的监控报表。

为了更加直观的得到上述分类模型的质量。本实施方式中，基于抽样的分类数据及其分类预测结果、分类正确结果、分类预测结果相对于分类正确结果的基本指标数据建立该分类模型的监控报表。

为了实现多维度监测，本实施方式的监控报表还包括分类模型对已分类数据进行分类的分类时间以及该分类模型的对应的版本。

如下表1所示，表1为监测报表的一示意表。其中，model为该分类模型的名称，ver为模型版本，date为分类时间，accuracy为准确率，precision为精确率，recall为召回率，F1为F1值。

表1

分类比例是每个分类的比例值，也可以作为判断分类模型质量是否合格的一个指标。如表1中的distribution1、distribution2、distribution3分别为某一个分类的分类比例，通过判断分类比例的范围是否合理可间接反映出对应分类模型的质量。也可以通过分类比例为后续对已分类数据本身的分析提供参考依据。例如，分类模型对某一类的信息如网络舆情信息进行分类，正常情况下，分类类别是有限的，不同分类类别所占的分类比例也具有一定的范围。如网络舆情信息可以分为正面评论、负面评论以及中性评论三个类别。可通过人为的对该设定范围进行限定，该预定范围可根据业务人员的经验来确定。如正常情况下，中性评论占大比例，可设置为40％～80％，正面评论为10％～40％，负面评论为10％～40％等。可通过预测结果中各个类别的分类比例来判断当前获取到的舆情信息的客观度和可信度。

具体地，先获取抽样的已分类数据包含的分类预测结果中各个分类类别的分类比例，并将每一项分类比例均与对应的设定范围进行比较，如判断舆情信息的中性评论的分类比例是否在40％～80％，正面评论的分类比例是否在10％～40％，负面评论分类比例是否为10％～40％，如中性评论的比例为60％，正面评论的分类比例为25％，负面评论的分类比例为15％时，当前分类比例均在正常范围内。如果其中一项或两项的分类比例不在设定范围内，则将该超出设定范围的分类类型的分类比例在监控报表中进行特殊标注，如通过特殊颜色标注等，并将该监控报表发送给监控对象如业务人员，以提醒业务人员注意该分类类别的分类比例出现异常。该业务人员可根据该提醒确定是否重新获取舆情信息，或是否需要对当前版本的分类模型进行再训练或微调后再训练。

如果当前所有的分类类型的分类比例均不在正常范围内，为了确定出现上述情况的原因为分类模型的质量问题还是分类数据本身的分布问题，进一步地将本次分类的各个类别的分类比例，与预先存储在数据库中的相同版本的分类模型在其他时间周期内的分类比例进行比较，如果相同分类类别之间的分类比例的差值均大于一定范围，可确定为本周期内的分类数据的分布趋势发生变化，而非分类模型本身的问题。如果相同分类类别之间的分类比例的差值并非全部大于一定范围，可能是分类模型或其模型参数出现波动，将上述每一个分类类别及其对应的分类比例添加到监控报表中，并将该监测报表发送给监控对象如业务人员，以提醒该业务人员确定是否需要对当前版本的分类模型进行再训练或微调后再训练，在此不做限定。除通过分类比例进行预警提醒并反映在监控报表中外，还可以通过对当前版本的抽样的已分类数据的准确率、精确率、召回率及FI值分别与预先存储在数据库中的相同版本的分类模型在其他时间周期内的对应准确率、精确率、召回率及FI值进行阈值判断后，确定对不在阈值范围内的分类模型进行预警提醒并反映在监测报表中。

通过对分类比例、准确率、精确率、召回率及FI值的获取和显示，不仅能够很直观的监测到分类模型输出的分类预测结果所占各个分类类型的分类比例，也能反映各个分类模型的准确率、精确率、召回率及FI值，为后续对已分类数据本身的分析提供参考依据，也为监控对象如业务人员对分类模型的分类质量提供监测参考依据。

区别于现有技术，本实施方式中，将待分类数据输入分类模型，经分类模型处理后，获取包含分类预测结果的已分类数据，进一步地对已分类数据进行抽样，获取到抽样的分类数据及其分类预测结果，并获取到抽样的分类数据的分类正确结果，通过抽样的分类数据的分类预测结果和分类正确结果计算得到抽样的分类数据的基本指标数据，建立监控报表。通过该监控报表直观的反映了分类模型的质量，方便对投入使用后的分类模型的质量进行监测。

并且，在监测报表中进一步记载抽样时间以及分类模型的版本，能够进一步地实现对分类模型从分类时间、模型版本、分类预测结果以及分类正确结果之间的多维监控，为后续对分类模型的调优提供参考。

由于实际应用中的数据往往具有随机性，原始模型的参数在长时间运用中也可能存在波动，原始的模型参数可能不再适用，如上述实施方式中分类比例忽然出现部分超过设定范围的情况。此时需要根据监测结果实时进行更新。

参阅图3，图3是本申请分类模型的监控方法另一实施方式的流程示意图。本实施方式的分类模型的监控方法包括如下步骤：

步骤301：将待分类数据输入所述分类模型并经所述分类模型分类处理后获得包含分类预测结果的已分类数据。

步骤302：对所述已分类数据进行抽样，获取到抽样的分类数据及所述抽样的分类数据的分类预测结果。

步骤303：获取到抽样的分类数据的分类正确结果。

步骤304：通过抽样的分类数据的分类预测结果和分类正确结果计算得到抽样的已分类数据的基本指标数据。

步骤305：基于所述基本指标数据生成分类模型的监控报表。

步骤306：判断基本指标数据是否符合预设条件。

步骤307：如果所述基本指标数据不符合所述预设条件，对所述分类模型进行训练，获取到训练后的模型参数。

具体地，对当前版本的抽样的已分类数据的准确率、精确率、召回率、FI值及分类比例分别进行阈值判断，判断是否存在不符合设定条件的基本指标数据。如果存在，进一步地对当前版本模型再进行训练优化，得到包含优化后的模型参数的新版本的模型或对模型原型进行微调后再训练形成新版本的分类模型，并将新版本的分类模型的模型参数存储到模型表中。

在一个优选的实施方式中，如果存在不符合设定条件的基本指标数据，可以在该监控报表中进行特殊标注，如通过特殊颜色进行标注。

在一个具体的实施方式中，为了保证该分类模型的时效性，通过将抽样的部分已分类数据以及训练分类模型的部分原始数据输入到当前版本的分类模型，对该分类模型进行训练，通过迭代优化的方式，形成新版本的分类模型。

进一步的，为了保证新版本的分类模型的质量，还需要对该新版本的分类模型进行测试，在本实施方式中，通过从标注表中取出抽样的另一部分分类数据及其分类正确结果，对新版本的分类模型的基本指标参数进行检测，如果分类模型的每一项基本指标参数都满足其预设条件，则本次训练后的分类模型可以投入到后面的使用中。

在另一个实施方式中，也可以定期地对分类模型进行更新，如以一个月为周期，将抽样的部分已分类数据以及训练分类模型的部分原始数据输入所述分类模型进行训练，得到新版本的分类模型，再通过从标注表中取出抽样的另一部分分类数据及其分类正确结果对基础指标参数进行检测，在此不做限定。

进一步地，得到多个版本的分类模型后，在后续的使用中，分别通过每一个版本的分类模型对后续的待分类数据进行分类，在一个优选地的实施方式中，可选择版本最新的设定数量的分类模型对该待分类数据进行分类，如通过最新5个版本的分类模型并行对相同的待分类数据进行分类处理，得到5组对应的分类预测结果。对应地终端分别获取新旧分类模型对待分类数据的分类预测结果，并将已分类的分类数据、新旧版本对应的分类预测结果、分类时间、分类模型的版本、模型参数均标记存储到数据库中，并形成监测报表，使监控对象能够一目了然的获知同一个版本的分类模型在不同时期的分类质量、不同版本的分类模型在相同时期的分类质量之间的对比情况，实现多维度监测，以选择出最理想的分类模型。

如表2所示，表2中为5个版本的分类模型对相同的待分类数据进行分类后对应的基本指标数据以及分类比例对比的示意表。其中，model为该分类模型的名称，ver为模型版本，date为分类时间，accuracy为准确率，precision为精确率，recall为召回率，F1为F1值。distribution1、distribution2、distribution3分别为不同分类类别的分类比例。在本实施方式中，该三种分类类别的分类比例之和为1。

表2

需要说明的是，在后续使用分类模型时，虽然通过多个版本的分类模型同时对相同的待分类数据进行分类，但是实际的输出只有一个，优选地，一般选择最新版本分类模型的分类预测结果作为本次分类模型的输出。

另外，步骤301～305与步骤101～105相同，具体请参阅图1～2及其相关文字描述，再次不再赘述。

区别于现有技术，本实施方式中，将待分类数据输入分类模型，经该分类模型处理后，获取包含分类预测结果的分类数据，进一步地对已分类数据进行抽样，获取到抽样的分类数据的分类预测结果，并进一步获取到分类正确结果，通过抽样的分类数据的分类预测结果和分类正确结果计算得到抽样的待分类数据的基本指标数据，并建立监控报表，能够很直观的对投入使用后的分类模型的质量进行监测。

区别于上述任一实施方式，本实施方式中对实际应用中的分类模型不断进行迭代优化，并将每一个版本分类模型在每一个时期已分类数据的基本指标参数进行记录，形成监测报表，使监控对象能够一目了然的获知同一个版本的分类模型在不同时期的分类质量、不同版本的分类模型在相同时期的分类质量之间的对比情况，实现多维度监测，能够选择最理想的分类模型。

参阅图4，图4是本申请分类模型的监测装置一实施方式的结构示意图。监控装置包括分类模块401、抽样模块402、正确结果获取模块403、指标计算模块404以及报表生成模块405。

在上述分类模型投入使用后，对投入使用后的分类模型进行监测。进一步地如图4所示。

分类模块401用于将待分类数据输入所述分类模型并经所述模型分类处理后获得包含分类预测结果的已分类数据。

抽样模块402用于对所述已分类数据进行抽样，获取到抽样的分类数据及所述抽样的分类数据的分类预测结果。

在一个具体实施例中，为了实现对分类模型质量的监测，达到预设周期后，抽样模块402对已分类的数据进行抽样，抽样的数量可根据该周期内实际分类的数据选取预定数量的数据，如从模型调用记录表中抽样该周期内的10000条已分类数据，即从该模型调用表中获取分类前的待分类数据以及分类模型对上述待分类数据进行分类后的分类预测结果。

正确结果获取模块403用于获取到抽样的分类数据的分类正确结果。

进一步地为了得到预设周期内的基础指标数据，需要获知抽样的已分类数据实际的分类正确结果。在一个优选的实施方式中，可通过将该抽样的分类数据发送至监控对象如专门监管模型的业务人员，通过业务人员来标注正确的分类正确结果，发送方式可通过邮件、信息或其他方式。

业务人员对该抽样的已分类的数据进行实际判断，得到分类正确结果，并将抽样的已分类的数据的分类正确结果返回至终端，对应地正确结果获取模块403接收该分类正确结果。

指标计算模块404用于通过抽样的分类数据的分类预测结果和分类正确结果计算得到已分类数据的基本指标数据。

在一个具体的实施方式中，指标计算模块404从标注表中获取抽样的分类数据的分类预测结果以及分类正确结果，计算分类数据的准确率、精确率、召回率、FI值。

将抽样的包含分类预测结果和分类前的待分类数据的已分类数据以及该已分类数据对应的分类准确结果存储到标注表中，可作为后续分类模型或其他版本分类模型的进行再训练的训练数据，实现分类模型不同版本之间的迭代优化，进一步提高分类模型的质量。

报表生成模块406用于基于所述基本指标数据生成分类模型的监控报表。

为了更加直观的得到上述分类模型的质量。本实施方式中，报表生成模块406将抽样的分类数据及其分类预测结果、分类正确结果、分类预测结果相对于分类正确结果的基本指标数据建立该分类模型的监控报表。

为了实现多维度监测，本实施方式的监控报表还包括分类模型对已分类数据进行分类的分类时间以及该分类模型的对应的版本。

需要说明的是，分类模型在投入使用之前，需要先建立该分类模型。为了清楚说明该模型的建立过程，在另一个实施方式中，监控装置还包括模型建立模块506。

模型建立模块506用于先进行数据库搭建，搭建的数据库包括模型表、模型调用记录表、标注表、模型指标表及通用配置表。其中，模型表用于存储分类模型的版本、模型参数等数据；模型调用记录表用于存储待分类数据输入各版本分类模型处理后获得的包含分类预测结果的已分类数据；标注表用于存储抽样的已分类数据及其分类预测结果和分类正确结果，模型指标表用于存储各个版本分类模型的基本指标数据；通用配置表用于存储各个版本的分类模型的通用参数以及其他数据等。

模型建立模块506根据所需功能先建立该分类模型的模型原型，该模型原型可根据先设定函数如包括多个模型参数的方程来建立。通过抽样的部分原始数据对模型原型进行训练，反向推算，获得原始版本的分类模型的模型参数。并将该原始模型及其版本、模型参数保存到模型表中。

优选地，为了保证该分类模型的质量，在训练单元确定上述模型参数后，进一步地对该分类模型的模型参数进行测试。在具体的实施方式中，可根据抽样出的原始数据的一部分如80％对该模型原型进行训练，再通过抽样出的原始数据的另一部分例如剩余的20％的原始数据对该模型参数进行质量检测。

在本实施方式中，可根据监测的准确率、精确率、召回率、FI值中至少一种的基础指标地对原始模型再进行训练优化，得到包含优化后的模型参数的新版本的模型或对模型原型进行微调后再训练形成新版本的分类模型，并将新版本的分类模型的模型参数存储到模型表中。当分类模型的每一上述基础指标都达到各自的设定条件时，该达到要求的分类模型就可投入使用。

为了实现多维度监测，本实施方式的监控报表还包括分类模型对已分类数据进行分类的分类时间以及该分类模型的版本。

分类比例是每个分类的比例值，也可以作为判断分类模型质量是否合格的一个指标。

为了确定该分类模型的质量，报表生成模块406还用于先获取抽样的已分类数据的分类预测结果中各个分类类别的分类比例，如果其中一项或两项的分类比例不在设定范围内，则将该超出设定范围的分类类型的分类比例在监控报表中进行特殊标注，如通过特殊颜色标注等，并将该监控报表发送给监控对象如业务人员，以提醒业务人员注意。

如果当前所有的分类类型的分类比例均不在正常范围内，为了确定是否为分类模型的质量问题，报表生成模块506将本次分类的各个类型的分类比例，与预先存储在数据库中的相同版本的分类模型在其他时间周期对分类数据进行分类得到的分类比例进行比较，如果相同分类类别之间的分类比例的差值均大于一定范围，可确定为本周期内的待分类数据的分布趋势发生变化，而非分类模型本身的问题。如果相同分类类别之间的分类比例的差值并非全部大于一定范围，可能是分类模型或其模型参数出现波动，将上述每一个分类类型及其对应的分类比例添加到监控报表中，并将该监测报表发送给监控对象如业务人员，以提醒该业务人员确定是否需要对当前版本的分类模型进行再训练或微调后再训练，在此不做限定。

报表生成模块406除通过分类比例进行预警提醒并反映在监控报表中外，还可以通过对获取到的当前版本的抽样的已分类数据的准确率、精确率、召回率及FI值分别与预先存储在数据库中的相同版本的分类模型在其他时间周期内的对应准确率、精确率、召回率及FI值进行阈值判断后，确定对不在阈值范围内的分类模型进行预警提醒并反映在监测报表中。

通过对分类比例、准确率、精确率、召回率及FI值的获取和显示，不仅能够很直观的监测到预定时间周期内各个分类类型的分布情况，也能反映各个分类模型在预定时间周期内的准确率、精确率、召回率及FI值，为后续对已分类数据本身的分析提供参考依据，也为监控对象如业务人员对分类模型的分类质量提供监测参考依据。

进一步地，如图6所示，图6为本实施方式的分类模型的监测装置另一实施方式的结构示意图。

本实施方式与上一个实施方式的区别在于，本实施方式的监测系统还包括优化模块607。

优化模块607用于判断基本指标数据是否符合预设条件；如果基本指标数据不符合预设条件，对分类模型进行训练，获取到训练后的模型参数。

具体地，优化模块607对当前版本的抽样的已分类数据的准确率、精确率、召回率、FI值及分类比例分别进行阈值判断，判断是否存在不符合设定条件的基本指标数据。如果存在，进一步地对当前版本模型再进行训练优化，得到包含优化后的模型参数的新版本的模型或对模型原型进行微调后再训练形成新版本的分类模型，并将新版本的分类模型的模型参数存储到模型表中。

在一个具体的实施方式中，为了保证该分类模型的时效性，通过将抽样的部分已分类数据以及训练分类模型的部分原始数据输入到当前版本的分类模型，对该分类模型进行训练，通过迭代优化的方式，形成新版本的分类模型。

进一步的，为了保证新版本的分类模型的质量，模型建立模块607对该新版本的分类模型进行测试，在本实施方式中，通过从标注表中取出抽样的另一部分分类数据及其分类正确结果，对新版本的分类模型的基本指标参数进行检测，如果分类模型的每一项基本指标参数都满足其预设条件，则本次训练后的分类模型可以投入到后面的使用中。

在另一个实施方式中，优化模块607也可以定期地对分类模型进行更新，如以一个月为周期，将抽样的部分已分类数据以及训练分类模型的部分原始数据输入所述分类模型进行训练，得到新版本的分类模型，再通过从标注表中取出抽样的另一部分分类数据及其分类正确结果对基础指标参数进行检测，在此不做限定。

进一步地，得到多个版本的分类模型后，在后续的使用中，分类模型分别通过每一个版本的分类模型对后续的待分类数据进行分类，在一个优选地的实施方式中，可选择版本最新的设定数量的分类模型对该待分类数据进行分类，如通过最新5个版本的分类模型并行对相同的待分类数据进行分类处理，得到5组对应的分类预测结果。对应地抽样模块602分别获取新旧分类模型的分类预测结果，并将上述待分类数据、新旧版本的分类模型对应的分类预测结果、分类时间、分类模型的版本、模型参数均标记存储到数据库中。

区别于现有技术，本实施方式中对实际应用中的分类模型不断进行迭代优化，并将每一个版本分类模型在每一个时期对已分类数据的基本指标参数进行记录，形成监测报表，使监控对象能够一目了然的获知同一个版本的分类模型在不同时期的分类质量、不同版本的分类模型在相同时期的分类质量之间的对比情况，实现多维度监测，能够选择最理想的分类模型。

参阅图7，图7是本申请分类模型的监控终端一实施方式的结构示意图。本实施方式的获取终端70包括相互耦接的处理器701和人机交互控制电路702。该人机交互控制电路702用于接收用户或监测对象指令。

处理器701用于配合该人机交互控制电路702实现上述任一实施方式的分类模型的监控方法。

请参与图8，本申请还提供一种存储装置的实施例的结构示意图。本实施例中，该存储装置80存储有处理器可运行的计算机指令81，该计算机指令81用于执行上述实施例中的方法。

该存储装置80具体可以为U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory，)、磁碟或者光盘等可以存储计算机指令的介质，或者也可以为存储有该计算机指令的服务器，该服务器可将存储的计算机指令发送给其他设备运行，或者也可以自运行该存储的计算机指令。

在本申请所提供的几个实施例中，应该理解到，所揭露的方法和装置，可以通过其它的方式实现。例如，以上所描述的装置实施方式仅仅是示意性的，例如，单元或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施方式方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本申请各个实施方式方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅为本申请的实施方式，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (9)

1.一种分类模型的监控方法，其特征在于，所述监控方法包括：

将待分类数据输入所述分类模型并经所述分类模型分类处理后获得包含分类预测结果的已分类数据；

对所述已分类数据进行抽样，获取到抽样的分类数据及所述抽样的分类数据的分类预测结果；

获取到所述抽样的分类数据的分类正确结果；

通过所述抽样的分类数据的分类预测结果和所述分类正确结果计算得到抽样的已分类数据的基本指标数据；

基于所述基本指标数据生成所述分类模型的监控报表；

其中，所述对所述已分类数据进行抽样，获取到抽样的分类数据及所述抽样的分类数据的分类预测结果的步骤具体包括：

对所述已分类数据进行抽样，将抽样的分类数据发送至监控对象，并将抽样的分类数据及其对应的分类预测结果添加到标注表中；

所述获取到所述抽样的分类数据的分类正确结果的步骤具体包括：

接收所述监控对象发送的抽样的所述分类数据的分类正确结果，并将所述分类正确结果存储到所述标注表中；

所述通过所述抽样的分类数据的分类预测结果和所述分类正确结果计算得到抽样的已分类数据的基本指标数据的步骤具体包括：

从所述标注表获取所述分类预测结果以及所述分类正确结果，并根据所述分类预测结果和所述分类正确结果计算得到所述抽样的已分类数据的所述基本指标数据。

2.根据权利要求1所述的监控方法，其特征在于，所述通过所述抽样的分类数据的分类预测结果和所述分类正确结果计算得到抽样的已分类数据的基本指标数据的步骤之后还包括：

判断所述基本指标数据是否符合预设条件；

如果所述基本指标数据不符合所述预设条件，对所述分类模型进行训练，获取到训练后的模型参数。

3.根据权利要求2所述的监控方法，其特征在于，所述如果所述基本指标数据不符合所述预设条件，对所述分类模型的进行训练，获取到训练后的模型参数的步骤具体包括：

如果所述基本指标不符合所述预设条件，将抽样的部分已分类数据以及训练所述分类模型的部分原始数据输入所述分类模型对所述分类模型进行训练；

获得训练后的模型参数，形成新版本的分类模型。

4.根据权利要求3所述的监控方法，其特征在于，所述获得训练后的模型参数，形成新版本的分类模型的步骤之后包括：

分别获取新旧版本的所述分类模型对待分类数据的分类预测结果；

将所述待分类数据、所述新旧版本的所述分类模型对应的所述分类预测结果、分类时间、分类模型的版本、模型参数、存储到数据库中。

5.根据权利要求1所述的监控方法，其特征在于，所述基于所述基本指标数据生成监控报表的步骤包括：

获取所述预测结果数据所占所述分类模型的各个类别的分类比例，并将所述分类比例显示在所述监控报表中；

判断所述分类比例是否超过对应类别的设定范围；

如果所述分类比例超过对应类别的设定范围，对所述分类比例进行特殊标记，并形成报表发送至监控对象。

6.根据权利要求1所述的监控方法，其特征在于，所述将待分类数据输入所述分类模型并经过所述分类模型分类处理后获得包含分类预测结果的已分类数据的步骤之前还包括：

建立所述分类模型的模型原型；

通过抽样出原始数据的一部分对所述模型原型进行训练，得到所述分类模型的模型参数，建立所述分类模型；

根据所述抽样出的原始数据的另一部分计算所述分类模型的基本指标数据；

将所述原始数据、所述基本指标数据、所述模型参数以及所述分类模型的版本存储到数据库中。

7.一种分类模型的监控装置，其特征在于，所述监控装置包括分类模块、抽样模块，预测结果获取模块、正确结果获取模块、指标计算模块以及报表生成模块，

所述分类模块用于将待分类数据输入所述分类模型并将所述模型分类处理后获得包含分类预测结果的已分类数据；

所述抽样模块用于对所述已分类数据进行抽样，获取到抽样的分类数据及所述抽样的分类数据的分类预测结果；

所述正确结果获取模块用于获取到所述抽样的分类数据的分类正确结果；

所述指标计算模块用于通过所述抽样的分类数据的分类预测结果和所述分类正确结果计算得到抽样的已分类数据的基本指标数据；

所述报表生成模块用于基于所述基本指标数据生成所述分类模型的监控报表；

其中，所述抽样模块具体用于对所述已分类数据进行抽样，将抽样的分类数据发送至监控对象，并将抽样的分类数据及其对应的分类预测结果添加到标注表中；

所述正确结果获取模块具体用于接收所述监控对象发送的抽样的所述分类数据的分类正确结果，并将所述分类正确结果存储到所述标注表中；

所述指标计算模块具体用于从所述标注表获取所述分类预测结果以及所述分类正确结果，并根据所述分类预测结果和所述分类正确结果计算得到所述抽样的已分类数据的所述基本指标数据。

8.一种分类模型的监控终端，其特征在于，所述监控终端包括：

相互耦接的处理器和人机交互控制电路，所述处理器用于与所述人机交互控制电路相配合实现如权利要求1-6任一项所述的分类模型的监控方法。

9.一种计算机存储介质，其特征在于，所述计算机存储介质上存储有程序数据，所述程序数据被处理器执行时实现如权利要求1-6任一项所述的分类模型的监控方法。

Images