CN109636243A - 模型故障检测方法、装置、计算机设备以及存储介质 - Google Patents

Abstract

本申请涉及机架运维的软件监控领域，具体涉及一种模型故障检测方法、装置、计算机设备和存储介质。方法包括：获取待评价模型的稳定性指标和正确性指标和所述待评价模型中模型变量的稳定性指标和正确性指标；根据待评价模型和所述模型变量的稳定性指标和正确性指标与预设模糊判断矩阵，获得模型评分；获取模型评分权重参数；根据所述模型评分与所述模型评分权重参数获取模型综合评分，当模型综合评分低于预设阈值时，判定模型出现故障。本申请的模型评价通过综合考虑模型的稳定性与正确性、变量的稳定性与正确性等多种参数获取模型总体健康度的评分。同时基于该综合评价体系输出模型健康度综合评价结果，进而判断模型是否处于正常状态。

Description

模型故障检测方法、装置、计算机设备以及存储介质

技术领域

本申请涉及计算机技术领域，特别是涉及一种模型故障检测方法、装置、计算机设备以及存储介质。

背景技术

模型是指通过主观意识借助实体或者虚拟表现构成客观阐述形态结构的一种表达目的的物件(物件并不等于物体，不局限于实体与虚拟、不限于平面与立体)。对研究的实体进行必要的简化，并用适当的变现形式或规则把它的主要特征描述出来。所得到的系统模仿品称之为模型。

而线上模型主要包括了机器学习模型以及统计模型，业内对线上模型运行状态的评估主要是通过周期性的观察模型评分与变量分布，计算PSI(population stabilityindex)指标，当PSI大于某一阈值时，认为不稳定，或者周期性的利用新样本计算模型以及变量的KS(Kolmogorov-Smirnov，模型风险区分能力评分)，当KS低于某一阈值时，认为失效。但是上述方法缺乏综合的健康度评价指标，而是从模型以及变量的PSI、KS独立进行指标计算，无法综合各方因素回答模型的健康度到底如何。

发明内容

基于此，有必要针对上述技术问题，提供一种可以综合各种因素对模型故障进行检测的模型故障检测方法、装置、计算机设备以及存储介质。

一种模型故障检测方法，所述方法包括：

获取待评价模型的稳定性指标和正确性指标和所述待评价模型中模型变量的稳定性指标和正确性指标；

根据待评价模型和所述模型变量的稳定性指标和正确性指标与预设模糊判断矩阵，获得模型评分，所述模型评分包括模型稳定性评分、模型正确性评分、变量稳定性评分以及变量正确性评分；

获取模型评分权重参数，所述模型评分权重参数包括模型稳定性评分的权重参数、模型正确性评分的权重参数、变量稳定性评分的权重参数、变量正确性评分的权重参数；

根据所述模型评分与所述模型评分权重参数获取所述待评价模型的模型综合评分，当模型综合评分低于预设模型综合评分阈值时，判定所述待评价模型出现故障。

在其中一个实施例中，所述根据待评价模型和所述模型变量的稳定性指标和正确性指标与预设模糊判断矩阵，获得模型评分之前还包括：

获取模型变量以及所述模型变量的权重参数；

根据所述模型变量以及所述模型变量的权重参数建立预设模糊判断矩阵。

在其中一个实施例中，所述获取模型变量以及所述模型变量的权重参数具体包括：

获取模型变量，对所述模型变量进行两两比较，获取模型变量在所述待评价模型中的贡献度；

根据专家经验法对所述模型变量进行分析，获得模型变量的专家评分；

根据所述贡献度以及所述专家评分确定模型变量的权重参数。

在其中一个实施例中，所述根据待评价模型的稳定性指标和正确性指标和所述模型变量的稳定性指标和正确性指标与预设模糊判断矩阵，获得模型评分具体包括：

根据待评价模型的稳定性指标和正确性指标和所述模型变量的稳定性指标和正确性指标构建成对比较矩阵；

获取所述成对比较矩阵与所述模糊判断矩阵的层次单排序权向量；

根据所述层次单排序权向量计算层次总排序权向量；

根据所述层次总排序权向量确定模型评分。

在其中一个实施例中，所述获取所述成对比较矩阵与所述模糊判断矩阵的层次单排序权向量之后还包括：

获取一致性指标、随机一致性指标以及层次一致性比率，根据所述一致性指标、所述随机一致性指标以及所述层次一致性比率对所述层次单排序权向量进行一致性检验，当检验不通过时，根据检验结果更新成对比较矩阵，计算更新后的所述成对比较矩阵与所述模糊判断矩阵的层次单排序权向量。

在其中一个实施例中，所述根据所述层次单排序权向量计算层次总排序权向量之后还包括：

获取总排序一致性比率，根据所述总排序一次性比率对所述总排序权向量进行一致性检验，当检验不通过时，根据检验结果更新成对比较矩阵，计算更新后的所述成对比较矩阵与所述模糊判断矩阵的层次单排序权向量。

一种模型故障检测装置，所述装置包括：

模型参数获取模块，用于获取待评价模型的稳定性指标和正确性指标和所述待评价模型中模型变量的稳定性指标和正确性指标；

模型评分获取模块，用于根据待评价模型和所述模型变量的稳定性指标和正确性指标与预设模糊判断矩阵，获得模型评分，所述模型评分包括模型稳定性评分、模型正确性评分、变量稳定性评分以及变量正确性评分；

权重参数获取模块，获取模型评分权重参数，所述模型评分权重参数包括模型稳定性评分的权重参数、模型正确性评分的权重参数、变量稳定性评分的权重参数、变量正确性评分的权重参数；

综合评分模块，用于根据所述模型评分与模型评分权重参数获取模型综合评分，当模型综合评分低于预设阈值时，判定模型出现故障。

在其中一个实施例中，还包括矩阵建立模块，用于：

获取模型变量以及所述模型变量的权重参数；

根据所述模型变量以及所述模型变量的权重参数建立预设模糊判断矩阵。

一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：

获取待评价模型的稳定性指标和正确性指标和所述待评价模型中模型变量的稳定性指标和正确性指标；

根据待评价模型和所述模型变量的稳定性指标和正确性指标与预设模糊判断矩阵，获得模型评分，所述模型评分包括模型稳定性评分、模型正确性评分、变量稳定性评分以及变量正确性评分；

获取模型评分权重参数，所述模型评分权重参数包括模型稳定性评分的权重参数、模型正确性评分的权重参数、变量稳定性评分的权重参数、变量正确性评分的权重参数；

根据所述模型评分与所述模型评分权重参数获取所述待评价模型的模型综合评分，当模型综合评分低于预设模型综合评分阈值时，判定所述待评价模型出现故障。

一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：

获取待评价模型的稳定性指标和正确性指标和所述待评价模型中模型变量的稳定性指标和正确性指标；

根据待评价模型和所述模型变量的稳定性指标和正确性指标与预设模糊判断矩阵，获得模型评分，所述模型评分包括模型稳定性评分、模型正确性评分、变量稳定性评分以及变量正确性评分；

获取模型评分权重参数，所述模型评分权重参数包括模型稳定性评分的权重参数、模型正确性评分的权重参数、变量稳定性评分的权重参数、变量正确性评分的权重参数；

根据所述模型评分与所述模型评分权重参数获取所述待评价模型的模型综合评分，当模型综合评分低于预设模型综合评分阈值时，判定所述待评价模型出现故障。

上述模型故障检测方法、装置、计算机设备以及存储介质，首先获取待评价模型的稳定性指标和正确性指标和待评价模型中模型变量的稳定性指标和正确性指标；并根据预设模糊判断矩阵结合上述稳定性指标和正确性指标，获得模型评分；而后获取模型评分权重参数；根据模型评分与模型评分权重参数获取模型综合评分，当模型综合评分低于预设阈值时，判定模型出现故障。本申请基于模糊层次分析法，通过综合考虑模型的稳定性与正确性、变量的稳定性与正确性等多种参数，并综合各参数的权重获取模型总体健康度的评分。同时可以基于该综合评价体系输出模型健康度综合评价结果，进而判断模型是否处于正常状态。

附图说明

图1为一个实施例中模型故障检测方法的流程示意图；

图2为一个实施例中模型故障检测方法的流程示意图；

图3为一个实施例中图2中步骤S320子步骤的流程示意图；

图4为一个实施例中模型故障检测方法的流程示意图；

图5为一个实施例中模型故障检测装置的结构框图；

图6为一个实施例中计算机设备的内部结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

本申请提供的模型故障检测方法，基于FAHP(fuzzy analytic hierarchyprocess，模糊层次分析法)建立，用于对已上线的模型的运行状态进行评价，具体可以通过计算机程序对本申请的模型评价估计方法进行实现，计算机程序可以加载于终端上，终端可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑。

如图1所示，在其中一个实施例中，本申请的模型故障检测方法，具体包括以下步骤：

S200，获取待评价模型的稳定性指标和正确性指标和待评价模型中模型变量的稳定性指标和正确性指标。

待评价模型是指等待被评价的模型，这里的模型具体包括了神经网络模型和统计回归模型等，该等待被评价的模型为已上线即已在使用的模型，评价主要是指对模型的运行状态进行评价。模型变量是指待评价模型中的变量。稳定度指标具体可以是PSI，PSI是指群体稳定性指标，即是对模型以及模型中变量的稳定性的评分。PSI＝sum((实际占比-预期占比)*ln(实际占比/预期占比))。比如对于一个逻辑回归模型，预测时会有个类概率输出p。在测试数据集上的输出设定为p1，将它从小到大排序后将数据集分为等宽分组的10等分(每组样本数一定)，计算每等分组的最大最小预测的类概率值。当使用这个模型去对新的样本进行预测，预测结果叫p2，利用刚才在测试数据集上得到的10等分每等分的上下界。按p2将新样本划分为不一定想等的10分。实际占比就是新样本通过p2落在p1划分出来的每等分界限内的占比，预期占比就是测试数据集上各等分样本的占比。如果模型更稳定，那么在新的数据上预测所得类概率应该更建模分布一致，这样落在建模数据集所得的类概率所划分的等分区间上的样本占比应该和建模时一样，否则说明模型变化，一般来自预测变量结构变化。一般认为PSI小于0.1时候模型稳定性很高，0.1-0.2一般，需要进一步研究，大于0.2模型稳定性差，建议修复。正确性指标具体可以包括KS，KS用于对模型风险区分能力进行评估，即KS是对模型以及模型中变量准确性进行评分，指标衡量的是好坏样本累计分部之间的差值。好坏样本累计差异越大，KS指标越大，那么模型的风险区分能力越强。

首先需要获取的待评价模型和待评价模型中模型变量的稳定性指标和正确性指标。

S400，根据待评价模型的稳定性指标和正确性指标和模型变量的稳定性指标和正确性指标与预设模糊判断矩阵，获得模型评分，模型评分包括模型稳定性评分、模型正确性评分、变量稳定性评分以及变量正确性评分。

模糊矩阵用来表示模糊关系的矩阵，预设模糊矩阵为包含了模型与模型中变量模糊关系的矩阵。模型稳定性评分是模型整体的稳定性的评分，模型正确性评分为模型整体的正确性的评分，变量稳定性评分是指模型中变量总体的稳定性的评分，变量正确性评分为模型中变量总体的正确性评分，其中，稳定性评分与PSI有关，正确性评分与KS有关。

在获得待评价模型和待评价模型中模型变量的稳定性指标和正确性指标。根据这些数据与预设的模糊判断矩阵，得到模型指标层的健康度指标，即模型稳定性评分、模型正确性评分、变量稳定性评分以及变量正确性评分这四个评分。

S600，获取模型评分权重参数，模型评分权重参数包括模型稳定性评分的权重参数、模型正确性评分的权重参数、变量稳定性评分的权重参数、变量正确性评分的权重参数。

权重参数是指上述的模型稳定性评分、模型正确性评分、变量稳定性评分以及变量正确性评分在待评价线上模型整体的健康度所占的占比，即相对的重要性存在区别，有的模型需要稳定性较强，有的模型需要正确性较强，有的模型需要变量稳定。所以对于不同的待评价模型，模型稳定性评分、模型正确性评分、变量稳定性评分以及变量正确性评分这四个评分所占的权重不同。

S800，根据模型评分与模型评分权重参数获取待评价模型的模型综合评分，当模型综合评分低于预设模型综合评分阈值时，判定待评价模型出现故障。

根据S400中所得到的模型稳定性评分、模型正确性评分、变量稳定性评分以及变量正确性评分以及S600中他们分别对应的权重参数，可以计算得到模型的综合评分。具体可以类似于S400步骤，可以根据模型评分权重参数建立评分模糊判断矩阵，根据所获得的模型稳定性评分、模型正确性评分、变量稳定性评分以及变量正确性评分四个评分以及评分模糊判断矩阵来确定模型综合评分。，当模型综合评分低于预设的模型安全阈值时，即可以判断该待评价线上模型出现故障。

上述模型故障检测方法，首先获取待评价模型的稳定性指标和正确性指标和待评价模型中模型变量的稳定性指标和正确性指标；并根据预设模糊判断矩阵结合上述稳定性指标和正确性指标，获得模型评分；而后获取模型评分权重参数；根据模型评分与模型评分权重参数获取模型综合评分，当模型综合评分低于预设阈值时，判定模型出现故障。本申请基于模糊层次分析法，通过综合考虑模型的稳定性与正确性、变量的稳定性与正确性等多种参数，并综合各参数的权重获取模型总体健康度的评分。同时可以基于该综合评价体系输出模型健康度综合评价结果，进而判断模型是否处于正常状态。

如图2所示，在其中一个实施例中，S400之前还包括：

S320，获取模型变量以及模型变量的权重参数；

S340，根据模型变量以及模型变量的权重参数建立预设模糊判断矩阵。

对于一个确定的待评价模型，可能存在多个变量，而不同的变量对模型的影响也是不相同的，所以需要根据待评价模型中变量与其对应的权重参数建立模糊判断矩阵。通过建立模糊判断矩阵，可以方便的对模型的评分进行求取。在其中一个实施例中，还需要对模糊判断矩阵进行一致性检验，当检验通过时，将该模糊判断矩阵作为预设模糊判断矩阵，未通过时需要重新建立模糊判断矩阵。

如图3所示，在其中一个实施例中，S320具体包括：

S321，获取模型变量，对模型变量进行两两比较，获取模型变量在待评价模型中的贡献度。

可以通过santy的成对矩比较矩阵标度方法实现，若模型变量A相对模型变量B同样重要，则标度为1；若模型变量A相对模型变量B稍重要，则标度为3；若模型变量A相对模型变量B明显重要，则标度为5；若模型变量A相对模型变量B强烈重要，则标度为7；若模型变量A相对模型变量B极端重要，则标度为9；而2、4、6、8则是相邻判断的中间值。若模型变量A相对模型变量B标度为3，则模型变量B相对模型变量A的重要性之比为1/3。通过对模型变量的两两比较，可以获得不同模型变量间相对的重要性。继而确定各模型变量在待评价模型中的贡献度。

S323，根据专家经验法对模型变量进行分析，获得模型变量的专家评分。

通过熟悉该问题的专家的专家经验对该待评价模型的模型变量进行分析，获得各个模型变量的专家评分。

S325，根据贡献度以及专家评分确定模型变量的权重参数。

根据上述获得的模型变量对待评价模型相对的贡献度以及专家经验给出的专家评分来确定模型中变量的权重参数。

在其中一个实施例中，将通过一致性检验的模糊判断矩阵作为预设模糊判断矩阵。在建立模糊判断矩阵的过程中综合参考专家经验以及多个不同变量相对的权重来建立模糊判断矩阵，能有效对模型评分中的待评价模型中变量稳定性评分、变量正确性评分进行计算。

在其中一个实施例中，S400具体包括：根据待评价模型的稳定性指标和正确性指标和模型变量的稳定性指标和正确性指标构建成对比较矩阵；获取成对比较矩阵与模糊判断矩阵的层次单排序权向量；根据层次单排序权向量计算层次总排序权向量；根据层次总排序权向量确定模型评分。在其中一个实施例中，获取成对比较矩阵与模糊判断矩阵的层次单排序权向量之后还包括：获取一致性指标、随机一致性指标以及层次一致性比率，根据一致性指标、随机一致性指标以及层次一致性比率对层次单排序权向量进行一致性检验，当检验不通过时，根据检验结果更新成对比较矩阵，计算更新后的成对比较矩阵与模糊判断矩阵的层次单排序权向量。在其中一个实施例中，根据层次单排序权向量计算层次总排序权向量之后还包括：获取总排序一致性比率，根据总排序一次性比率对总排序权向量进行一致性检验，当检验不通过时，根据检验结果更新成对比较矩阵，计算更新后的成对比较矩阵与模糊判断矩阵的层次单排序权向量。

首先根据所获得的待评价模型的稳定性指标和正确性指标和所述模型变量的稳定性指标和正确性指标构建成对比较矩阵。而分别根据成对比较矩阵与模糊判断矩阵获得成对比较矩阵的各个层次单排序权向量，而后根据一致性指标、随机一致性指标以及一致性比率对所获得的单排序权向量进行一致性检验。当通过后获得层次单排序权向量，当不通过时则需要重新构建矩阵，并重新计算权向量。最后通过所获得层次单排序权向量构建层次总排序权向量，并对根据层次总排序权向量中的各个权值确定四个模型评分。

在其中一个实施例中，S200具体包括：

获取预设周期内待评价模型和待评价模型中模型变量的稳定性指标和正确性指标。

预设周期可以根据模型以及模型实际的运行情况进行选择。如对于稳定性与正确性要求较高的线上模型可以设置一个较短的周期，对于稳定性与正确性要求更低的线上模型可以则可以设置一个相对更长的周期。通过周期性地分别计算模型的PSI和KS以及模型中各变量的PSI和KS有利于对模型运行情况的长时间监控，同时可以通过设置模型评价周期可以减小数据量，有利于数据的收集。

如图4所示，在其中一个实施例中，S800之后还包括：

S900，根据模型评分以及模型综合评分生成故障分析报告。

在模型出现故障后，根据本申请模型评分系统建立的模型评分系统将会根据模型的评分生成故障分析报告并将其上传，以供模型维护人员能根据故障分析报告获取模型的故障信息。故障分析报告具体可以包括模型整体评分、变量稳定性评分、变量正确性评分、模型稳定性评分、模型正确性评分以及稳定性指标和正确性指标出现异常的变量及其对应的PSI以及KS值。模型维护人员可以根据故障分析报告对故障迅速定位，以便模型维护人员能迅速对模型故障进行排除。

在其中一个实施例中，S200之前，还包括：

根据待评价模型设置模型综合评分阈值。

对于不同的模型，可以设置不同的综合评分阈值，有的模型对稳定性和正确性要求更高，就设置相对更高的综合评分阈值，而要求更低的则设置相对更低的综合评分阈值。还可以通过建立模型评价指标体系，并设置综合评分能有效地发出模型故障报警。在其中一个实施例中，可以设置模型中变量评分的阈值，并在模型故障报告中对异常变量进行着重标注。

在其中一个具体的实施例中，本申请的模型故障检测方法，具体包括以下步骤：建立模型评价指标体系，模型评价指标体系包括模型评分综合阈值。获取模型变量，对模型变量进行两两比较，获取模型变量在待评价模型中的贡献度。根据专家经验法对模型变量进行分析，获得模型变量的专家评分。根据贡献度以及专家评分确定模型变量的权重参数。根据模型变量的权重参数建立预设模糊判断矩阵。按照预设周期分别计算模型的稳定性指标和正确性指标和模型变量的稳定性指标和正确性指标。根据待评价模型的稳定性指标和正确性指标和模型变量的稳定性指标和正确性指标与预设模糊判断矩阵，获得模型评分，模型评分包括模型稳定性评分、模型正确性评分、变量稳定性评分、变量正确性评分。获取模型评分权重参数，模型评分权重参数包括模型稳定性评分的权重参数、模型正确性评分的权重参数、变量稳定性评分的权重参数、变量正确性评分的权重参数。根据模型评分与模型评分权重参数获取模型综合评分，当模型综合评分低于预设阈值时，判定模型出现故障。根据模型评分以及模型综合评分生成故障分析报告。

在其中一个具体的实施例中，本申请的模型故障检测方法，具体用于对一个正在运行的逻辑回归模型进行评价，该逻辑回归模型包含3个变量，具体包括以下步骤：建立逻辑回归模型评价指标体系，根据该逻辑回归模型以及模型中3个变量以及逻辑回归模型的输出要求获得逻辑回归模型的总体健康度评分阈值，当评分低于总评分阈值时，判定模型不健康。而后获取该逻辑回归模型的三个变量，通过对模型变量进行两两比较，获取模型变量在待评价模型中的贡献度，根据专家经验法对三个模型变量进行分析，分别获得三个模型变量的专家评分。而后分别根据上述确定的三个变量相对的贡献度以及模型变量的专家评分确定模型变量的权重参数。并根据模型变量的权重参数建立预设模糊判断矩阵。按照预设周期分别计算模型的稳定性指标和正确性指标和模型变量的稳定性指标和正确性指标。根据待评价模型的稳定性指标和正确性指标和模型变量的稳定性指标和正确性指标与预设模糊判断矩阵，获得模型评分，模型评分包括模型稳定性评分、模型正确性评分、变量稳定性评分、变量正确性评分。获取模型评分权重参数，模型评分权重参数包括模型稳定性评分的权重参数、模型正确性评分的权重参数、变量稳定性评分的权重参数、变量正确性评分的权重参数。根据模型评分与模型评分权重参数获取模型综合评分，当模型综合评分低于预设阈值时，判定模型出现故障。根据模型评分以及模型综合评分生成故障分析报告。当负责该模型的故障检修人员获得生成的故障分析报告时，判断该模型出现故障，并可以基于该报告中模型的总体评分以及模型中各个变量分别的评分判断模型是总体出现了故障或者是模型的三个变量中的某个变量或者某几个出现异常。

应该理解的是，虽然图1-4的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1-4中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

如图5所示，一种模型故障检测装置，装置包括：

模型参数获取模块200，用于获取待评价模型的稳定性指标和正确性指标和待评价模型中模型变量的稳定性指标和正确性指标；

模型评分获取模块400，用于根据待评价模型的稳定性指标和正确性指标和模型变量的稳定性指标和正确性指标与预设模糊判断矩阵，获得模型评分，模型评分包括模型稳定性评分、模型正确性评分、变量稳定性评分、变量正确性评分；

权重参数获取模块600，获取模型评分权重参数，模型评分权重参数包括模型稳定性评分的权重参数、模型正确性评分的权重参数、变量稳定性评分的权重参数、变量正确性评分的权重参数；

综合评分模块800，用于根据模型评分与模型评分权重参数获取待评价模型的模型综合评分，当模型综合评分低于预设模型综合评分阈值时，判定待评价模型出现故障。

在其中一个实施例中，还包括：矩阵建立模块，用于获取模型变量以及模型变量的权重参数，根据模型变量以及模型变量的权重参数建立模糊判断矩阵。

在其中一个实施例中，矩阵建立模块具体用于：获取模型变量，对模型变量进行两两比较，获取模型变量在待评价模型中的贡献度；根据专家经验法对模型变量进行分析，获得模型变量的专家评分；根据贡献度以及专家评分确定模型变量的权重参数；根据模型变量的权重参数建立预设模糊判断矩阵。

在其中一个实施例中，模型评分获取模块400具体用于：根据待评价模型的稳定性指标和正确性指标和模型变量的稳定性指标和正确性指标构建成对比较矩阵；获取成对比较矩阵与模糊判断矩阵的层次单排序权向量；根据层次单排序权向量计算层次总排序权向量；根据层次总排序权向量确定模型评分。

在其中一个实施例中，模型评分获取模块400还用于：获取一致性指标、随机一致性指标以及层次一致性比率，根据一致性指标、随机一致性指标以及层次一致性比率对层次单排序权向量进行一致性检验，当检验不通过时，根据检验结果更新成对比较矩阵，计算更新后的成对比较矩阵与模糊判断矩阵的层次单排序权向量。

在其中一个实施例中，模型评分获取模块400还用于：获取总排序一致性比率，根据总排序一次性比率对总排序权向量进行一致性检验，当检验不通过时，根据检验结果更新成对比较矩阵，计算更新后的成对比较矩阵与模糊判断矩阵的层次单排序权向量。

在其中一个实施例中，模型参数获取模块200具体用于：获取预设周期内所述待评价模型的稳定性指标和正确性指标和所述待评价模型中模型变量的稳定性指标和正确性指标。

在其中一个实施例中，还包括报告生成模块，用于根据模型评分以及模型综合评分生成故障分析报告。

在其中一个实施例中，评价体系建立模块，具体用于根据待评价模型设置模型综合评分阈值。

关于模型故障检测装置的具体限定可以参见上文中对于模型故障检测方法的限定，在此不再赘述。上述模型故障检测装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图6所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种模型故障检测方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。

本领域技术人员可以理解，图6中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：

获取待评价模型的稳定性指标和正确性指标和待评价模型中模型变量的稳定性指标和正确性指标；

根据待评价模型的稳定性指标和正确性指标和模型变量的稳定性指标和正确性指标与预设模糊判断矩阵，获得模型评分，模型评分包括模型稳定性评分、模型正确性评分、变量稳定性评分、变量正确性评分；

获取模型评分权重参数，模型评分权重参数包括模型稳定性评分的权重参数、模型正确性评分的权重参数、变量稳定性评分的权重参数、变量正确性评分的权重参数；

根据模型评分与模型评分权重参数获取待评价模型的模型综合评分，当模型综合评分低于预设模型综合评分阈值时，判定待评价模型出现故障。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：获取模型变量以及模型变量的权重参数，根据模型变量以及模型变量的权重参数建立预设模糊判断矩阵。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：获取模型变量，对模型变量进行两两比较，获取模型变量在待评价模型中的贡献度；根据专家经验法对模型变量进行分析，获得模型变量的专家评分；根据贡献度以及专家评分确定模型变量的权重参数；根据模型变量的权重参数建立预设模糊判断矩阵。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：根据待评价模型的稳定性指标和正确性指标和模型变量的稳定性指标和正确性指标构建成对比较矩阵；获取成对比较矩阵与模糊判断矩阵的层次单排序权向量；根据层次单排序权向量计算层次总排序权向量；根据层次总排序权向量确定模型评分。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：获取一致性指标、随机一致性指标以及层次一致性比率，根据一致性指标、随机一致性指标以及层次一致性比率对层次单排序权向量进行一致性检验，当检验不通过时，根据检验结果更新成对比较矩阵，计算更新后的成对比较矩阵与模糊判断矩阵的层次单排序权向量。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：获取总排序一致性比率，根据总排序一次性比率对总排序权向量进行一致性检验，当检验不通过时，根据检验结果更新成对比较矩阵，计算更新后的成对比较矩阵与模糊判断矩阵的层次单排序权向量。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：获取预设周期内所述待评价模型的稳定性指标和正确性指标和所述待评价模型中模型变量的稳定性指标和正确性指标。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：根据模型评分以及模型综合评分生成故障分析报告。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：根据待评价模型设置模型综合评分阈值。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：

获取待评价模型的稳定性指标和正确性指标和待评价模型中模型变量的稳定性指标和正确性指标；

根据待评价模型的稳定性指标和正确性指标和模型变量的稳定性指标和正确性指标与预设模糊判断矩阵，获得模型评分，模型评分包括模型稳定性评分、模型正确性评分、变量稳定性评分、变量正确性评分；

获取模型评分权重参数，模型评分权重参数包括模型稳定性评分的权重参数、模型正确性评分的权重参数、变量稳定性评分的权重参数、变量正确性评分的权重参数；

根据模型评分与模型评分权重参数获取待评价模型的模型综合评分，当模型综合评分低于预设模型综合评分阈值时，判定待评价模型出现故障。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：获取模型变量以及模型变量的权重参数，根据模型变量以及模型变量的权重参数建立预设模糊判断矩阵。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：获取模型变量，对模型变量进行两两比较，获取模型变量在待评价模型中的贡献度；根据专家经验法对模型变量进行分析，获得模型变量的专家评分；根据贡献度以及专家评分确定模型变量的权重参数；根据模型变量的权重参数建立预设模糊判断矩阵。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：根据待评价模型的稳定性指标和正确性指标和模型变量的稳定性指标和正确性指标构建成对比较矩阵；获取成对比较矩阵与模糊判断矩阵的层次单排序权向量；根据层次单排序权向量计算层次总排序权向量；根据层次总排序权向量确定模型评分。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：获取一致性指标、随机一致性指标以及层次一致性比率，根据一致性指标、随机一致性指标以及层次一致性比率对层次单排序权向量进行一致性检验，当检验不通过时，根据检验结果更新成对比较矩阵，计算更新后的成对比较矩阵与模糊判断矩阵的层次单排序权向量。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：获取总排序一致性比率，根据总排序一次性比率对总排序权向量进行一致性检验，当检验不通过时，根据检验结果更新成对比较矩阵，计算更新后的成对比较矩阵与模糊判断矩阵的层次单排序权向量。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：获取预设周期内所述待评价模型的稳定性指标和正确性指标和所述待评价模型中模型变量的稳定性指标和正确性指标。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：根据模型评分以及模型综合评分生成故障分析报告。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：根据待评价模型设置模型综合评分阈值。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种模型故障检测方法，所述方法包括：

获取待评价模型的稳定性指标和正确性指标和所述待评价模型中模型变量的稳定性指标和正确性指标；

根据待评价模型的稳定性指标和正确性指标和所述模型变量的稳定性指标和正确性指标与预设模糊判断矩阵，获得模型评分；

获取模型评分权重参数；

根据所述模型评分与所述模型评分权重参数获取所述待评价模型的模型综合评分，当模型综合评分低于预设模型综合评分阈值时，判定所述待评价模型出现故障。

2.根据权利要求1所述的方法，其特征在于，所述根据待评价模型的稳定性指标和正确性指标和所述模型变量的稳定性指标和正确性指标与预设模糊判断矩阵，获得模型评分之前还包括：

获取模型变量以及所述模型变量的权重参数；

根据所述模型变量以及所述模型变量的权重参数建立预设模糊判断矩阵。

3.根据权利要求2所述的方法，其特征在于，所述获取模型变量以及所述模型变量的权重参数具体包括：

获取模型变量，对所述模型变量进行两两比较，获取模型变量在所述待评价模型中的变量贡献度；

根据专家经验法对所述模型变量进行分析，获得模型变量的变量专家评分；

根据所述变量贡献度以及所述变量专家评分确定模型变量的权重参数。

4.根据权利要求1所述的方法，其特征在于，所述根据待评价模型的稳定性指标和正确性指标和所述模型变量的稳定性指标和正确性指标与预设模糊判断矩阵，获得模型评分具体包括：

根据待评价模型的稳定性指标和正确性指标和所述模型变量的稳定性指标和正确性指标构建成对比较矩阵；

获取所述成对比较矩阵与所述模糊判断矩阵的层次单排序权向量；

根据所述层次单排序权向量计算层次总排序权向量；

根据所述层次总排序权向量确定模型评分。

5.根据权利要求4所述的方法，其特征在于，所述获取所述成对比较矩阵与所述模糊判断矩阵的层次单排序权向量之后还包括：

获取一致性指标、随机一致性指标以及层次一致性比率，根据所述一致性指标、所述随机一致性指标以及所述层次一致性比率对所述层次单排序权向量进行一致性检验，当检验不通过时，根据检验结果更新成对比较矩阵，计算更新后的所述成对比较矩阵与所述模糊判断矩阵的层次单排序权向量。

6.根据权利要求4所述的方法，其特征在于，所述根据所述层次单排序权向量计算层次总排序权向量之后还包括：

获取总排序一致性比率，根据所述总排序一次性比率对所述总排序权向量进行一致性检验，当检验不通过时，根据检验结果更新成对比较矩阵，计算更新后的所述成对比较矩阵与所述模糊判断矩阵的层次单排序权向量。

7.一种模型故障检测装置，其特征在于，所述装置包括：

模型参数获取模块，用于获取待评价模型的稳定性指标和正确性指标和所述待评价模型中模型变量的稳定性指标和正确性指标；

模型评分获取模块，用于根据待评价模型和所述模型变量的稳定性指标和正确性指标与预设模糊判断矩阵，获得模型评分；

权重参数获取模块，获取模型评分权重参数；

综合评分模块，用于根据所述模型评分与所述模型评分权重参数获取所述待评价模型的模型综合评分，当模型综合评分低于预设模型综合评分阈值时，判定所述待评价模型出现故障。

8.根据权利要求7所述的装置，其特征在于，还包括矩阵建立模块，用于：

获取模型变量以及所述模型变量的权重参数；

根据所述模型变量以及所述模型变量的权重参数建立预设模糊判断矩阵。

9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至6至中任一项所述方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。