CN116627781A - 目标模型验证方法以及装置 - Google Patents

目标模型验证方法以及装置 Download PDF

Info

Publication number
CN116627781A
CN116627781A CN202310491937.2A CN202310491937A CN116627781A CN 116627781 A CN116627781 A CN 116627781A CN 202310491937 A CN202310491937 A CN 202310491937A CN 116627781 A CN116627781 A CN 116627781A
Authority
CN
China
Prior art keywords
sample
index
sample set
target
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310491937.2A
Other languages
English (en)
Inventor
李越杰
胡男
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang eCommerce Bank Co Ltd
Original Assignee
Zhejiang eCommerce Bank Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang eCommerce Bank Co Ltd filed Critical Zhejiang eCommerce Bank Co Ltd
Priority to CN202310491937.2A priority Critical patent/CN116627781A/zh
Publication of CN116627781A publication Critical patent/CN116627781A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3409—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment for performance assessment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Molecular Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Quality & Reliability (AREA)
  • Computer Hardware Design (AREA)
  • Medical Informatics (AREA)
  • Image Analysis (AREA)

Abstract

本说明书实施例提供目标模型验证方法以及装置，其中该方法包括：确定针对目标模型的至少两个样本集，其中，各样本集中包括训练样本以及所述训练样本对应的样本标签；根据所述各样本集中包括的训练样本、以及所述训练样本对应的样本标签，确定所述各样本集的特征重要性指标、信息量指标以及模型验证指标；根据所述各样本集的特征重要性指标、信息量指标以及模型验证指标，结合所述模型验证指标对应的稳定性规则，验证所述目标模型的稳定性。具体的，该目标模型验证方法通过各样本集的特征重要性指标、信息量指标以及模型验证指标之间的关系，来准确验证目标模型的稳定性，以便后续可以基于该目标模型的稳定性评估结果对其进行优化以及调整。

Description

目标模型验证方法以及装置
技术领域
本说明书实施例涉及计算机技术领域，特别涉及一种目标模型验证方法。
背景技术
目前，深度学习算法模型在多个领域具有重要的应用价值，例如应用在信贷领域对用户的信用情况进行分析，以保证放贷的安全性。但是，一般深度学习算法模型的深度学习计算过程大多为黑盒状态，计算过程的不可解释性导致进行算法应用质量保障时，应该引入更多手段来保证在不同场景下深度学习算法模型的性能和状态是稳定的；那么如何对深度学习算法模型进行稳定性评估，以便后续可以基于稳定性评估结果对其进行优化以及调整，成为当前急需解决的技术问题。
发明内容
有鉴于此，本说明书实施例提供了一种目标模型验证方法。本说明书一个或者多个实施例同时涉及一种目标模型验证装置，一种计算设备，一种计算机可读存储介质以及一种计算机程序，以解决现有技术中存在的技术缺陷。
根据本说明书实施例的第一方面，提供了一种目标模型验证方法，包括：
确定针对目标模型的至少两个样本集，其中，各样本集中包括训练样本以及所述训练样本对应的样本标签；
根据所述各样本集中包括的训练样本、以及所述训练样本对应的样本标签，确定所述各样本集的特征重要性指标、信息量指标以及模型验证指标；
根据所述各样本集的特征重要性指标、信息量指标以及模型验证指标，结合所述模型验证指标对应的稳定性规则，验证所述目标模型的稳定性。
根据本说明书实施例的第二方面，提供了一种目标模型验证装置，包括：
样本集确定模块，被配置为确定针对目标模型的至少两个样本集，其中，各样本集中包括训练样本以及所述训练样本对应的样本标签；
指标确定模块，被配置为根据所述各样本集中包括的训练样本、以及所述训练样本对应的样本标签，确定所述各样本集的特征重要性指标、信息量指标以及模型验证指标；
模型验证模块，被配置为根据所述各样本集的特征重要性指标、信息量指标以及模型验证指标，结合所述模型验证指标对应的稳定性规则，验证所述目标模型的稳定性。
根据本说明书实施例的第三方面，提供了一种计算设备，包括：
存储器和处理器；
所述存储器用于存储计算机可执行指令，所述处理器用于执行所述计算机可执行指令，该计算机可执行指令被处理器执行时实现上述目标模型验证方法的步骤。
根据本说明书实施例的第四方面，提供了一种计算机可读存储介质，其存储有计算机可执行指令，该指令被处理器执行时实现上述目标模型验证方法的步骤。
根据本说明书实施例的第五方面，提供了一种计算机程序，其中，当所述计算机程序在计算机中执行时，令计算机执行上述目标模型验证方法的步骤。
本说明书一个实施例实现了一种目标模型验证方法，包括：确定针对目标模型的至少两个样本集，其中，各样本集中包括训练样本以及所述训练样本对应的样本标签；根据所述各样本集中包括的训练样本、以及所述训练样本对应的样本标签，确定所述各样本集的特征重要性指标、信息量指标以及模型验证指标；根据所述各样本集的特征重要性指标、信息量指标以及模型验证指标，结合所述模型验证指标对应的稳定性规则，验证所述目标模型的稳定性。具体的，该目标模型验证方法通过各样本集的特征重要性指标、信息量指标以及模型验证指标之间的关系，来准确验证目标模型的稳定性，以便后续可以基于该目标模型的稳定性评估结果对其进行优化以及调整。
附图说明
图1是本说明书一个实施例提供的一种目标模型验证方法的具体场景示意图；
图2是本说明书一个实施例提供的一种目标模型验证方法的流程图；
图3是本说明书一个实施例提供的一种目标模型验证方法中各样本集的特征重要性指标的具体实现示意图；
图4是本说明书一个实施例提供的一种目标模型验证方法中各样本集的信息量指标的具体实现示意图；
图5是本说明书一个实施例提供的一种目标模型验证装置的结构示意图；
图6是本说明书一个实施例提供的一种计算设备的结构框图。
具体实施方式
在下面的描述中阐述了很多具体细节以便于充分理解本说明书。但是本说明书能够以很多不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本说明书内涵的情况下做类似推广，因此本说明书不受下面公开的具体实施的限制。
在本说明书一个或多个实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本说明书一个或多个实施例。在本说明书一个或多个实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本说明书一个或多个实施例中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解，尽管在本说明书一个或多个实施例中可能采用术语第一、第二等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本说明书一个或多个实施例范围的情况下，第一也可以被称为第二，类似地，第二也可以被称为第一。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
此外，需要说明的是，本说明书一个或多个实施例所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)，均为经用户授权或者经过各方充分授权的信息和数据，并且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准，并提供有相应的操作入口，供用户选择授权或者拒绝。
首先，对本说明书一个或多个实施例涉及的名词术语进行解释。
样本信息量：样本特征对于聚类模型的增益。
特征重要性：样本特征对于模型得分计算的权重。
蜕变工程：通过蜕变关系验证深度学习算法模型的计算节点是否正确。
KS：(Kolmogorov-Smirnov)统计量：是信用评分和其他很多学科中常见的统计量，在金融风控领域中，KS常用于衡量模型对正负样本的区分度。区分度越大，说明模型的风险排序能力(ranking ability)越强。通常来说，值越大，模型区分正负样本的能力越强，一般0.3以上，说明模型的效果比较好。
PSI：(Population Stability Index)即为群体稳定性指标，用于衡量测试样本和建模样本分数间数据分布差异性，是模型稳定性的常见指标。
现有技术中，蜕变工程是针对可解释的机器学习模型提出的模型质量解决方案。
具体的，对于机器学习模型来说(以树模型为例)，对每个计算节点的计算过程是有预期的，如线性计算节点过程为y＝kx+b。可以通过构建测试集进行节点验证，如针对线性计算的节点可以通过线性拟合的方式观察拟合的直线是否符合预期。
但是，蜕变工程对于深度学习算法模型来说存在节点不透明的问题，即无法获取需要的蜕变关系。深度学习算法模型通常包含多个隐藏层，每个隐藏层的参数优化通常通过梯度下降的方式自动优化，因此缺少每个节点的计算预期信息，无法采取蜕变工程进行深度学习算法模型的合理性以及稳定性验证。
基于此，在本说明书中，提供了一种目标模型验证方法。本说明书一个或者多个实施例同时涉及一种目标模型验证装置，一种计算设备，一种计算机可读存储介质以及一种计算机程序，在下面的实施例中逐一进行详细说明。
参见图1，图1示出了根据本说明书一个实施例提供的一种目标模型验证方法的具体场景示意图。
图1中客户端102、服务端104；其中，客户端102可以理解为待进行任意深度学习算法模型的模型合理性以及稳定性验证的端侧等；服务端104可以理解为用于对客户端102发送的深度学习算法模型进行合理性以及稳定性验证的物理服务器或者云服务器等。
具体的，客户端102将待进行验证的深度学习算法模型、以及与该模型对应的训练样本发送至服务端104，服务端104从与该模型对应的训练样本中，确定至少两个或两个以上的样本集，如三个样本集；然后计算每个样本集的样本信息量(如图1中信息量1、信息量2、信息量3)、模型特征重要性(即根据图1中的原始样本特征以及掩码样本特征计算获得)，再根据训练样本的样本标签、原始样本特征以及掩码样本特征计算获得KS，同时根据原始样本特征以及掩码样本特征PSI，最后根据每个样本集的样本信息量、模型特征重要性、KS、PSI，结合KS或者PSI的稳定性规则对深度学习算法模型进行规则校验，确定该深度学习算法模型的合理性以及稳定性。
本说明书实施例提供的目标模型验证方法，通过挖掘模型得分效果与样本信息量、模型特征重要性之间存在的关系，通过校验模型得分效果与样本信息量、模型特征重要性之间的关系来准确校验模型的合理性和稳定性。
参见图2，图2示出了根据本说明书一个实施例提供的一种目标模型验证方法的流程图，具体包括以下步骤。
步骤202：确定针对目标模型的至少两个样本集，其中，各样本集中包括训练样本以及所述训练样本对应的样本标签。
其中，目标模型可以理解为深度学习算法模型，例如信用预测模型、用户分类模型等；具体的，目标模型不同，其对应的样本集中的训练样本以及训练样本对应的样本标签也不同，例如，目标模型为信用预测模型的情况下，该目标模型的至少两个样本集可以理解为至少两个信用样本集，且各信用样本集中包括的训练样本为样本用户，而每个训练样本对应的样本标签，则可以理解为每个样本用户对应的信用得分；而目标模型为用户分类模型的情况下，该目标模型的至少两个样本集可以理解为至少两个用户样本集，且各样本集中包括的训练样本以及训练样本对应的样本标签，则可以理解为样本用户，以及样本用户对应的用户类别。当然，实际应用中，目标模型可以为任意一种深度学习算法模型，本说明书实施例中，为了便于理解，以下实施例均以目标模型为信用预测模型为例进行详细介绍。
那么，在目标模型为信用预测模型的情况下，确定针对目标模型的至少两个样本集，其中，各样本集中包括训练样本以及所述训练样本对应的样本标签；则可以理解为，确定针对信用预测模型的至少两个样本集，而每个样本集中包括样本用户以及样本用户对应的样本标签：信用得分。
具体实施时，客户端会将针对该目标模型的所有训练样本均发送至服务端，那么服务端在接收到针对该目标模型的所有训练样本的情况下，可以从所有的训练样本中进行提取，提取至少两个样本集，用于进行后续的目标模型验证，其中，该至少两个样本集中的训练样本数量相同。
步骤204：根据所述各样本集中包括的训练样本、以及所述训练样本对应的样本标签，确定所述各样本集的特征重要性指标、信息量指标以及模型验证指标。
具体的，在确定了针对目标模型的至少两个样本集的情况下，即可根据各样本集中包括的训练样本、每个训练样本对应的样本标签，确定各样本集的特征重要性指标、信息量指标以及模型验证指标。
本说明书一个或多个实施例中，所述模型验证指标包括模型区分度指标、和/或群体稳定性指标；
相应地，所述根据所述各样本集中包括的训练样本、以及所述训练样本对应的样本标签，确定所述各样本集的特征重要性指标、信息量指标以及模型验证指标，包括：
根据所述各样本集中包括的训练样本，确定所述各样本集的特征重要性指标；
根据所述各样本集中包括的训练样本，确定所述各样本集的信息量指标；
根据所述各样本集中包括的训练样本、以及所述训练样本对应的样本标签，确定所述各样本集的模型区分度指标；和/或
根据所述各样本集中包括的训练样本，确定所述各样本集的群体稳定性指标。
其中，模型区分度指标可以理解为KS，群体稳定性指标可以理解为PSI。
具体的，特征重要性指标、信息量指标、群体稳定性指标，仅根据各样本集中包括的训练样本即可进行计算，而模型区分度指标不仅需要各样本集中包括的训练样本，还需要每个训练样本对应的样本标签进行计算；因此，根据所述各样本集中包括的训练样本、以及所述训练样本对应的样本标签，确定所述各样本集的特征重要性指标、信息量指标以及模型验证指标；即可以理解为，根据各样本集中包括的训练样本，确定各样本集的特征重要性指标、信息量指标、群体稳定性指标；根据各样本集中包括的训练样本，以及每个训练样本对应的样本标签，确定各样本集的模型区分度指标。
本说明书实施例提供的目标模型验证方法，通过各样本集包括的训练样本、或者各样本集包括的训练样本以及每个训练样本对应的样本标签，计算获得特征重要性指标、信息量指标、群体稳定性指标、模型区分度指标，后续即可根据上述几个指标结合模型的稳定性规则，对目标模型进行准确的稳定性校验。
为了验证各样本集中训练样本的每个样本特征，对于目标模型的重要性，可以通过对各样本集中训练样本的原始样本特征依次掩码的方式，通过原始样本特征以及掩码样本特征，计算各样本集的特征重要性指标。具体实现方式如下所述：
所述根据所述各样本集中包括的训练样本，确定所述各样本集的特征重要性指标，包括：
确定目标样本集、以及所述目标样本集中包括的训练样本，其中，所述目标样本集为所述各样本集中的任意一个样本集；
确定所述训练样本的原始样本特征，并对所述原始样本特征进行掩码处理，获得所述训练样本的掩码样本特征；
将所述训练样本的原始样本特征、以及所述训练样本的掩码样本特征，分别输入所述目标模型，获得与所述原始样本特征对应的原始预测结果、与所述掩码特征对应的掩码预测结果；
根据所述原始预测结果以及所述掩码预测结果，确定所述目标样本集的特征重要性指标；
根据确定所述目标样本集的特征重要性指标的步骤，确定其他样本集的特征重要性指标，其中，所述其他样本集为所述各样本集中、除所述目标样本集的样本集。
例如，至少两个样本集包括样本集1、样本集2、样本集3，那么目标样本集则可以为样本集1、样本集2或者样本集3；为了便于理解，以下实施例中，均以目标样本集为样本集1为例，对目标样本集的特征重要性指标进行详细介绍，而样本集2和样本集3的特征重要性指标的具体实现方式，均可以参见对样本集1的特征重要性指标的具体实现步骤。
若目标样本集为样本集1，该样本集1中包括三个训练样本，例如样本用户1、样本用户2、样本用户3；那么，确定所述训练样本的原始样本特征，并对所述原始样本特征进行掩码处理，获得所述训练样本的掩码样本特征，即可以理解为，分别确定样本用户1的原始样本特征、样本用户2的原始样本特征、样本用户3的原始样本特征，并对这三个原始样本特征进行掩码处理，获得该样本用户1的掩码样本特征、样本用户2的掩码样本特征、样本用户3的掩码样本特征。
沿用上例，将所述训练样本的原始样本特征、以及所述训练样本的掩码样本特征，分别输入所述目标模型，获得与所述原始样本特征对应的原始预测结果、与所述掩码特征对应的掩码预测结果，则可以理解为：将样本用户1、样本用户2、样本用户3的原始样本特征、掩码样本特征，分别输入目标模型，分别获得与样本用户1、样本用户2、样本用户3的原始样本特征对应的原始预测结果、与样本用户1、样本用户2、样本用户3的掩码样本特征对应的掩码预测结果。
那么，根据所述原始预测结果以及所述掩码预测结果，确定所述目标样本集的特征重要性指标，即可以理解为，根据样本用户1的原始预测结果、样本用户2的原始预测结果、样本用户3的原始预测结果、样本用户1的掩码预测结果、样本用户2的掩码预测结果、样本用户3的掩码预测结果，确定样本集1的特征重要性指标。
例如，将样本用户1的原始预测结果与样本用户1的掩码预测结果的差值，作为样本用户1的特征重要性指标，将样本用户2的原始预测结果与样本用2的掩码预测结果的差值，作为样本用户2的特征重要性指标，将样本用户3的原始预测结果与样本用户3的掩码预测结果的差值，作为样本用户3的特征重要性指标；然后将样本用户1的特征重要性指标、样本用户2的特征重要性指标、样本用户3的特征重要性指标相加之后，取平均值作为其样本集1的特征重要性指标。
而在确定样本集1的特征重要性指标之后，即可根据确定样本集1的特征重要性指标的步骤，确定样本集2和样本集3的特征重要性指标，例如将样本集2或样本集3确定为目标样本集，继续执行确定目标样本集中包括的训练样本的原始样本特征，并对所述原始样本特征进行掩码处理，获得所述训练样本的掩码样本特征的步骤，直至获得至少两个样本集中每个样本集的特征重要性指标。
结合上述举例可知，每个样本集中可能会包括多个训练样本，那么在训练样本为两个或两个以上的情况下，是需要获取每个训练样本对应的掩码样本特征，进行后续的样本集的特征重要性指标计算，以保证对应的样本集的特征重要性指标的准确性；具体实现方式如下所述：
所述训练样本包括至少两个，
相应地，所述确定所述训练样本的原始样本特征，并对所述原始样本特征进行掩码处理，获得所述训练样本的掩码样本特征，包括：
确定目标训练样本的原始样本特征，其中，所述目标训练样本为所述至少两个训练样本中的任意一个训练样本；
对所述原始样本特征进行掩码处理，获得所述目标训练样本的掩码样本特征；
根据获得所述目标训练样本的掩码样本特征的步骤，确定其他训练样本的掩码样本特征，其中，所述其他训练样本为所述至少两个训练样本中、除所述目标训练样本的训练样本。
仍沿用上例，若样本集1、样本集2、样本集3中均包括两个训练样本：训练样本1、训练样本2；那么在目标样本集为样本集1的情况下，该样本集1中的目标训练样本则可以理解为训练样本1或者训练样本2。为了便于理解，以目标训练样本为样本集1中的训练样本1为例。
确定目标训练样本的原始样本特征，则可以理解为确定样本集1中的训练样本1的原始样本特征，如姓名、职业等样本特征；那么，对所述原始样本特征进行掩码处理，获得所述目标训练样本的掩码样本特征，则可以理解为，对训练样本1的原始样本特征进行掩码处理，获得训练样本1的掩码样本特征；而在确定训练样本1的掩码样本特征之后，即可根据确定训练样本1的掩码样本特征的步骤，确定训练样本2的掩码样本特征；例如可以确定出样本集1中训练样本2的掩码样本特征、样本集2中训练样本1的掩码样本特征以及训练样本1的掩码样本特征、样本集3中训练样本1的掩码样本特征以及训练样本1的掩码样本特征；后续即可根据这些掩码样本特征与原始样本特征结合，进行每个样本集的特征重要性指标的计算。
而在实际应用中，由于每个训练样本的样本特征也包括两个或两个以上，因此，在获取目标训练样本的掩码样本特征时，也需要依次对目标训练样本的每一列样本特征进行掩码，获得其对应的掩码样本特征，通过此种方式确定每个目标训练样本的每个样本特征相对于目标模型的特征重要性指标，从而保证整个样本集的特征重要性指标的准确性。
具体实施时，每次的掩码处理，均是针对每个样本集中所有训练样本对应的同一列原始样本特征实现的，如样本集1中包括训练样本1、训练样本2，训练样本1、训练样本2的原始样本特征均包括姓名、职业样本特征，那么每次掩码则是针对训练样本1以及训练样本2的姓名列样本特征、或者职业列样本特征。即每次掩码处理，对目标训练样本的原始样本特征、以及与其对应的其他目标训练样本的原始样本特征的掩码处理，均是针对同一个原始样本特征的处理。
那么，当一个样本集中的训练样本包括多个原始样本特征的情况下，则需要依次对每个原始样本特征进行掩码，获得掩码样本特征，然后根据该次的原始样本特征与掩码样本特征，计算出该次每个训练样本的特征重要性指标，以此类推，计算出每次进行掩码获得的每个训练样本的特征重要性指标；然后将这些特征重要性指标进行相加求平均，获得目标模型的特征重要性指标。
本说明书一个或多个实施例中，在获得了每个目标训练样本的掩码样本特征，以及与其对应的其他训练样本的掩码样本特征之后，即可获得与每个目标训练样本的原始样本特征对应的第一原始预测结果、与其对应的其他训练样本的原始样本特征对应的第二原始预测结果、与每个目标训练样本的掩码特征对应的第一掩码预测结果、与其对应的其他训练样本的掩码特征对应的第二掩码预测结果；最后根据该第一原始预测结果、第二原始预测结果、第一掩码预测结果、第二掩码预测结果，计算目标样本集的特征重要性指标。具体实现方式如下所述：
所述将所述训练样本的原始样本特征、以及所述训练样本的掩码样本特征，分别输入所述目标模型，获得与所述原始样本特征对应的原始预测结果、与所述掩码特征对应的掩码预测结果，包括：
将所述目标训练样本的原始样本特征、所述目标训练样本的掩码样本特征、所述其他训练样本的原始样本特征、所述其他训练样本的掩码样本特征，分别输入所述目标模型，
获得与所述目标训练样本的原始样本特征对应的第一原始预测结果、与所述其他训练样本的原始样本特征对应的第二原始预测结果、与所述目标训练样本的掩码特征对应的第一掩码预测结果、与所述其他训练样本的掩码特征对应的第二掩码预测结果；
相应地，所述根据所述原始预测结果以及所述掩码预测结果，确定所述目标样本集的特征重要性指标，包括：
根据所述第一原始预测结果、所述第二原始预测结果、所述第一掩码预测结果、所述第二掩码预测结果，确定所述目标样本集的特征重要性指标。
参见图3，图3示出了本说明书一个实施例提供的一种目标模型验证方法中各样本集的特征重要性指标的具体实现示意图。
沿用上例，以样本集1为例。如图3所述，样本集1中包括5个训练样本，每个训练样本包括3个原始样本特征。
具体实现时，每次获取一个特征列，对其进行掩码，如图3中的第一个特征列进行掩码，获得掩码样本特征；然后将原始样本特征以及掩码样本特征分别输入目标模型，获得与每个训练样本的原始样本特征对应的原始预测结果、与每个训练样本的掩码样本特征对应的掩码预测结果；然后根据每个训练样本的原始预测结果、掩码预测结果的差值，计算获得每个训练样本的特征重要性指标；再将所有训练样本的特征重要性指标进行相加求平均，获得本次掩码的特征列对应的特征重要性指标，通过此方法依次对其他特征列进行掩码，获得其对应的特征重要性指标，最终将所有的特征重要性指标进行相加求平均，获得该样本集1的特征重要性指标。
实际应用中，每个特征列对应的差值越大，则说明该特征对于目标模型越重要，反之，则不重要；并且每次掩码注意需要让各指标掩码对原指标的影响在同一维度内，避免特征列差值不准确。
而在确定各样本集的特征重要性指标的同时，也可以根据信息量计算模型，快速且准确的获得各样本集的信息量指标。具体实现方式如下所述：
所述根据所述各样本集中包括的训练样本，确定所述各样本集的信息量指标，包括：
将所述各样本集中包括的训练样本，分别输入信息量计算模型，获得所述各样本集的信息量指标。
其中，该信息量计算模型包括但不限于高斯混合模型。
沿用上例，以对样本集1的信息量指标计算为例，将样本集1的训练样本，输入信息量计算模型，如高斯混合模型；在高斯混合模型进行样本聚类，对高斯混合模型进行参数估计，通过模型参数计算样本集1中训练样本的认知不确定性(即聚类的难度)和偶然不确定性(即聚类后的离散程度)；最后通过这两种不确定性计算该样本集1的信息量指标。
参见图4，图4示出了本说明书一个实施例提供的一种目标模型验证方法中各样本集的信息量指标的具体实现示意图。
如图4所示，至少两个样本集包括样本集1、样本集2、样本集3；分别将样本集1、样本集2、样本集3输入信息量计算模型，获得样本集1对应的信息量指标1、样本集2对应的信息量指标2、样本集3对应的信息量指标3。
同时，本说明书一个或多个实施例中，还需要根据各样本集中包括的训练样本、以及训练样本对应的样本标签，确定各样本集的模型区分度指标。具体实现方式如下所述：
所述根据所述各样本集中包括的训练样本、以及所述训练样本对应的样本标签，确定所述各样本集的模型区分度指标，包括：
确定目标样本集、所述目标样本集中包括的训练样本、以及所述训练样本对应的样本标签，其中，所述目标样本集为所述各样本集中的任意一个样本集；
确定所述训练样本的原始样本特征，并对所述原始样本特征进行掩码处理，获得所述训练样本的掩码样本特征；
将所述训练样本的原始样本特征、以及所述训练样本的掩码样本特征，分别输入所述目标模型，获得与所述原始样本特征对应的原始预测结果、与所述掩码特征对应的掩码预测结果；
根据所述原始预测结果、所述掩码预测结果、所述训练样本对应的样本标签，确定所述原始样本特征的原始模型区分度指标、以及所述掩码样本特征的掩码模型区分度指标；
根据所述原始模型区分度指标、以及所述掩码模型区分度指标，确定所述目标样本集的模型区分度指标；
根据确定所述目标样本集的模型区分度指标的步骤，确定其他样本集的模型区分度指标，其中，所述其他样本集为所述各样本集中、除所述目标样本集的样本集。
其中，目标样本集、目标样本集中训练样本的掩码样本特征、原始预测结果、掩码预测结果的详细介绍，可以参见上述对于各样本集的特征重要性指标中的详细描述，在此不再赘述。
在确定原始预测结果、掩码预测结果、训练样本对应的样本标签之后，即可根据原始预测结果、训练样本对应的样本标签，确定原始样本特征的原始模型区分度指标；根据掩码预测结果、训练样本对应的样本标签，确定掩码样本特征的掩码模型区分度指标；最后根据原始模型区分度指标、以及掩码模型区分度指标的差值，确定目标样本集的模型区分度指标。而其他样本集的模型区分度指标的计算方式，与该目标样本集的模型区分度指标的处理方式相同，在此不再赘述。
实际应用中，模型区分度指标可以理解为KS，计算KS的时候，需要使用样本标签，KS公式KS＝max(TPR-FPR)；其中，TPR为真正例率(True Positive Rate)，表示正样本被正确分类的比例；FPR为假正例率(False Positive Rate)，表示负样本被错误分类为正样本的比例。在计算KS值时，需要先对样本进行排序，按照目标模型输出的概率值(即原始预测结果或者掩码预测结果)从小到大排序，然后按照概率值从小到大依次调整分类阈值，计算每个阈值对应的TPR和FPR，最后求出最大的TPR-FPR值即为KS值。
那么，原始样本特征以及掩码样本特征均基于此种方式计算出KS值，然后通过其差值确定目标样本集的KS值；而在训练样本包括多个特征列的情况下，与上述计算特征重要性指标相同，将多个KS值相加求平均，即可以快速获得每个样本集的模型区分度指标。
同时，也会根据各样本集中包括的训练样本，确定各样本集的群体稳定性指标。具体实现方式如下所述：
所述根据所述各样本集中包括的训练样本，确定所述各样本集的群体稳定性指标，包括：
确定目标样本集、以及所述目标样本集中包括的训练样本，其中，所述目标样本集为所述各样本集中的任意一个样本集；
确定所述训练样本的原始样本特征，并对所述原始样本特征进行掩码处理，获得所述训练样本的掩码样本特征；
将所述训练样本的原始样本特征、以及所述训练样本的掩码样本特征，分别输入所述目标模型，获得与所述原始样本特征对应的原始预测结果、与所述掩码特征对应的掩码预测结果；
根据所述原始预测结果以及所述掩码预测结果，确定所述目标样本集的群体稳定性指标；
根据确定所述目标样本集的群体稳定性指标的步骤，确定其他样本集的群体稳定性指标，其中，所述其他样本集为所述各样本集中、除所述目标样本集的样本集。
其中，目标样本集、目标样本集中训练样本的掩码样本特征、原始预测结果、掩码预测结果的详细介绍，可以参见上述对于各样本集的特征重要性指标中的详细描述，在此不再赘述。
具体的，在群体稳定性指标为PSI的情况下，通过以下计算公式进行群体稳定性指标的计算：
psi＝sum((实际占比-预期占比)*ln(实际占比/预期占比))
1.划分分档。将目标模型输出概率划分为N个区间。
2.样本数据分层，即根据原始预测结果或者掩码预测结果进行数据分层。
3.计算分层PSI。计算各区间的(实际占比预期占比)(实际占比预期占比)PSIi＝(实际占比-预期占比)×ln(实际占比预期占比)，再进行求和，即可得总体PSI。
其中，预期可以理解为未遮盖(即未掩码)的样本集的得分分布，实际可以理解为遮盖特征(即掩码)后样本集的得分分布。
通过该计算方式，根据原始预测结果以及掩码预测结果，确定每个样本集的群体稳定性指标。
步骤206：根据所述各样本集的特征重要性指标、信息量指标以及模型验证指标，结合所述模型验证指标对应的稳定性规则，验证所述目标模型的稳定性。
具体的，在计算获得各样本集的特征重要性指标、信息量指标以及模型验证指标的情况下，即可根据上述指标结合模型验证指标对应的稳定性规则，验证目标模型的稳定性。具体实现方式如下所述：
所述根据所述各样本集的特征重要性指标、信息量指标以及模型验证指标，结合所述模型验证指标对应的稳定性规则，验证所述目标模型的稳定性，还包括：
根据所述各样本集的特征重要性指标、信息量指标以及模型区分度指标，结合所述模型区分度指标对应的稳定性规则，验证所述目标模型的稳定性；
根据所述各样本集的特征重要性指标、信息量指标以及群体稳定性指标，结合所述群体稳定性指标对应的稳定性规则，验证所述目标模型的稳定性；或者
根据所述各样本集的特征重要性指标、信息量指标、模型区分度指标以及群体稳定性指标，结合所述模型区分度指标对应的稳定性规则、所述群体稳定性指标对应的稳定性规则，验证所述目标模型的稳定性。
其中，模型区分度指标对应的稳定性规则包括：样本集的信息量指标越接近，KS值越接近、遮盖特征的重要性(特征重要性指标)越高，KS越低；群体稳定性指标对应的稳定性规则包括：样本集的信息量指标越接近，PSI值越接近、遮盖特征的重要性越高(特征重要性指标)，PSI值越高。
沿用上例，若信息量指标1与信息量指标2的数值接近，信息量指标1与信息量指标3的数值不接近；此时，样本集1的KS与样本集2的KS的数值接近，样本集1的KS与样本集3的KS的数值不接近，则可以说明业务算法模型合理性以及稳定性良好。即通过上述指标对应的稳定性规则，即可快速的验证目标模型的稳定性。
当然，实际应用中，在深度学习算法模型不同的情况下，也可以适应性的添加与其对应的自定义规则，例如两阶段的深度模型可能存在部分得分分布非线性情况，那么也可以根据该情况，添加相应的稳定性验证规则。
本说明书一个或多个实施例中，针对多个稳定性规则(如针对KS的稳定性规则、针对PSI的稳定性规则等)，在常见情况下应该是都需要满足才认为目标模型是稳定的，因为不同的稳定性规则，是从不同的角度(业务或者模型结构)上设计，因此只有所有的稳定性规则都满足，目标模型在不同的视角上才都是稳定可以长期使用的。
本说明书一个或多个实施例中，不仅可以通过上述方式验证目标模型的稳定性，还可以在确定了各样本集的特征重要性指标、信息量指标以及模型验证指标之后，通过各样本集的特征重要性指标、模型验证指标计算，各样本集的模型稳定性指标，后续也可根据各样本集的模型稳定性指标，验证目标模型的稳定性。具体实现方式如下所述：
所述确定所述各样本集的特征重要性指标、信息量指标以及模型验证指标之后，还包括：
根据所述各样本集的特征重要性指标、模型验证指标，确定所述各样本集的模型稳定性指标；
根据所述各样本集的模型稳定性指标，验证所述目标模型的稳定性。
具体的，各样本集的稳定性指标通过如下计算公式计算：
PSI＝∑(重要性_指标i-KS_指标i)*ln(重要性_指标i/KS_指标i)
其中，重要性_指标可以理解为特征重要性指标，KS_指标可以理解为模型区分度指标。
那么，在通过上述计算公式计算获得各样本集的模型稳定性指标之后，将各样本集的模型稳定性指标相加求平均后，即可获得最终的模型稳定性指标，然后将该模型稳定性指标与预设稳定性阈值进行比较，在该模型稳定性指标大于等于预设稳定性阈值的情况下，确定该目标模型的稳定性较优。
本说明书实施例提供的一种目标模型验证方法，包括：确定针对目标模型的至少两个样本集，其中，各样本集中包括训练样本以及所述训练样本对应的样本标签；根据所述各样本集中包括的训练样本、以及所述训练样本对应的样本标签，确定所述各样本集的特征重要性指标、信息量指标以及模型验证指标；根据所述各样本集的特征重要性指标、信息量指标以及模型验证指标，结合所述模型验证指标对应的稳定性规则，验证所述目标模型的稳定性。具体的，该目标模型验证方法通过各样本集的特征重要性指标、信息量指标以及模型验证指标之间的关系，来准确验证目标模型的稳定性，以便后续可以基于该目标模型的稳定性评估结果对其进行优化以及调整。
与上述方法实施例相对应，本说明书还提供了目标模型验证装置实施例，图5示出了本说明书一个实施例提供的一种目标模型验证装置的结构示意图。如图5所示，该装置包括：
样本集确定模块502，被配置为确定针对目标模型的至少两个样本集，其中，各样本集中包括训练样本以及所述训练样本对应的样本标签；
指标确定模块504，被配置为根据所述各样本集中包括的训练样本、以及所述训练样本对应的样本标签，确定所述各样本集的特征重要性指标、信息量指标以及模型验证指标；
模型验证模块506，被配置为根据所述各样本集的特征重要性指标、信息量指标以及模型验证指标，结合所述模型验证指标对应的稳定性规则，验证所述目标模型的稳定性。
可选地，所述模型验证指标包括模型区分度指标、和/或群体稳定性指标；
相应地，所述指标确定模块504，进一步被配置为：
根据所述各样本集中包括的训练样本，确定所述各样本集的特征重要性指标；
根据所述各样本集中包括的训练样本，确定所述各样本集的信息量指标；
根据所述各样本集中包括的训练样本、以及所述训练样本对应的样本标签，确定所述各样本集的模型区分度指标；和/或
根据所述各样本集中包括的训练样本，确定所述各样本集的群体稳定性指标。
可选地，所述指标确定模块504，进一步被配置为：
确定目标样本集、以及所述目标样本集中包括的训练样本，其中，所述目标样本集为所述各样本集中的任意一个样本集；
确定所述训练样本的原始样本特征，并对所述原始样本特征进行掩码处理，获得所述训练样本的掩码样本特征；
将所述训练样本的原始样本特征、以及所述训练样本的掩码样本特征，分别输入所述目标模型，获得与所述原始样本特征对应的原始预测结果、与所述掩码特征对应的掩码预测结果；
根据所述原始预测结果以及所述掩码预测结果，确定所述目标样本集的特征重要性指标；
根据确定所述目标样本集的特征重要性指标的步骤，确定其他样本集的特征重要性指标，其中，所述其他样本集为所述各样本集中、除所述目标样本集的样本集。
可选地，所述训练样本包括至少两个，
相应地，所述指标确定模块504，进一步被配置为：
确定目标训练样本的原始样本特征，其中，所述目标训练样本为所述至少两个训练样本中的任意一个训练样本；
对所述原始样本特征进行掩码处理，获得所述目标训练样本的掩码样本特征；
根据获得所述目标训练样本的掩码样本特征的步骤，确定其他训练样本的掩码样本特征，其中，所述其他训练样本为所述至少两个训练样本中、除所述目标训练样本的训练样本。
可选地，所述指标确定模块504，进一步被配置为：
将所述目标训练样本的原始样本特征、所述目标训练样本的掩码样本特征、所述其他训练样本的原始样本特征、所述其他训练样本的掩码样本特征，分别输入所述目标模型，
获得与所述目标训练样本的原始样本特征对应的第一原始预测结果、与所述其他训练样本的原始样本特征对应的第二原始预测结果、与所述目标训练样本的掩码特征对应的第一掩码预测结果、与所述其他训练样本的掩码特征对应的第二掩码预测结果；
相应地，所述指标确定模块504，进一步被配置为：
根据所述第一原始预测结果、所述第二原始预测结果、所述第一掩码预测结果、所述第二掩码预测结果，确定所述目标样本集的特征重要性指标。
可选地，所述指标确定模块504，进一步被配置为：
将所述各样本集中包括的训练样本，分别输入信息量计算模型，获得所述各样本集的信息量指标。
可选地，所述指标确定模块504，进一步被配置为：
确定目标样本集、所述目标样本集中包括的训练样本、以及所述训练样本对应的样本标签，其中，所述目标样本集为所述各样本集中的任意一个样本集；
确定所述训练样本的原始样本特征，并对所述原始样本特征进行掩码处理，获得所述训练样本的掩码样本特征；
将所述训练样本的原始样本特征、以及所述训练样本的掩码样本特征，分别输入所述目标模型，获得与所述原始样本特征对应的原始预测结果、与所述掩码特征对应的掩码预测结果；
根据所述原始预测结果、所述掩码预测结果、所述训练样本对应的样本标签，确定所述原始样本特征的原始模型区分度指标、以及所述掩码样本特征的掩码模型区分度指标；
根据所述原始模型区分度指标、以及所述掩码模型区分度指标，确定所述目标样本集的模型区分度指标；
根据确定所述目标样本集的模型区分度指标的步骤，确定其他样本集的模型区分度指标，其中，所述其他样本集为所述各样本集中、除所述目标样本集的样本集。
可选地，所述指标确定模块504，进一步被配置为：
确定目标样本集、以及所述目标样本集中包括的训练样本，其中，所述目标样本集为所述各样本集中的任意一个样本集；
确定所述训练样本的原始样本特征，并对所述原始样本特征进行掩码处理，获得所述训练样本的掩码样本特征；
将所述训练样本的原始样本特征、以及所述训练样本的掩码样本特征，分别输入所述目标模型，获得与所述原始样本特征对应的原始预测结果、与所述掩码特征对应的掩码预测结果；
根据所述原始预测结果以及所述掩码预测结果，确定所述目标样本集的群体稳定性指标；
根据确定所述目标样本集的群体稳定性指标的步骤，确定其他样本集的群体稳定性指标，其中，所述其他样本集为所述各样本集中、除所述目标样本集的样本集。
可选地，所述模型验证模块506，进一步被配置为：
根据所述各样本集的特征重要性指标、信息量指标以及模型区分度指标，结合所述模型区分度指标对应的稳定性规则，验证所述目标模型的稳定性；
根据所述各样本集的特征重要性指标、信息量指标以及群体稳定性指标，结合所述群体稳定性指标对应的稳定性规则，验证所述目标模型的稳定性；或者
根据所述各样本集的特征重要性指标、信息量指标、模型区分度指标以及群体稳定性指标，结合所述模型区分度指标对应的稳定性规则、所述群体稳定性指标对应的稳定性规则，验证所述目标模型的稳定性。
可选地，所述装置之后，还包括：
第二模型验证模块，被配置为：
根据所述各样本集的特征重要性指标、模型验证指标，确定所述各样本集的模型稳定性指标；
根据所述各样本集的模型稳定性指标，验证所述目标模型的稳定性。
可选地，所述目标模型为信用预测模型。
本说明书实施例提供的一种目标模型验证装置，通过各样本集的特征重要性指标、信息量指标以及模型验证指标之间的关系，来准确验证目标模型的稳定性，以便后续可以基于该目标模型的稳定性评估结果对其进行优化以及调整。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于目标模型验证装置而言，由于其基本相似于目标模型验证方法实施例，所以描述的比较简单，相关之处参见目标模型验证方法实施例的部分说明即可。
图6示出了根据本说明书一个实施例提供的一种计算设备600的结构框图。该计算设备600的部件包括但不限于存储器610和处理器620。处理器620与存储器610通过总线630相连接，数据库650用于保存数据。
计算设备600还包括接入设备640，接入设备640使得计算设备600能够经由一个或多个网络660通信。这些网络的示例包括公用交换电话网(PSTN，Public SwitchedTelephone Network)、局域网(LAN，Local Area Network)、广域网(WAN，Wide AreaNetwork)、个域网(PAN，Personal Area Network)或诸如因特网的通信网络的组合。接入设备640可以包括有线或无线的任何类型的网络接口(例如，网络接口卡(NIC，networkinterface controller))中的一个或多个，诸如IEEE802.11无线局域网(WLAN，WirelessLocal Area Network)无线接口、全球微波互联接入(Wi-MAX，WorldwideInteroperability for Microwave Access)接口、以太网接口、通用串行总线(USB，Universal Serial Bus)接口、蜂窝网络接口、蓝牙接口、近场通信(NFC，Near FieldCommunication)接口，等等。
在本说明书的一个实施例中，计算设备600的上述部件以及图6中未示出的其他部件也可以彼此相连接，例如通过总线。应当理解，图6所示的计算设备结构框图仅仅是出于示例的目的，而不是对本说明书范围的限制。本领域技术人员可以根据需要，增添或替换其他部件。
计算设备600可以是任何类型的静止或移动计算设备，包括移动计算机或移动计算设备(例如，平板计算机、个人数字助理、膝上型计算机、笔记本计算机、上网本等)、移动电话(例如，智能手机)、可佩戴的计算设备(例如，智能手表、智能眼镜等)或其他类型的移动设备，或者诸如台式计算机或个人计算机(PC，Personal Computer)的静止计算设备。计算设备600还可以是移动式或静止式的服务器。
其中，处理器620用于执行如下计算机可执行指令，该计算机可执行指令被处理器执行时实现上述目标模型验证方法的步骤。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于计算设备实施例而言，由于其基本相似于目标模型验证方法实施例，所以描述的比较简单，相关之处参见目标模型验证方法实施例的部分说明即可。
本说明书一实施例还提供一种计算机可读存储介质，其存储有计算机可执行指令，该计算机可执行指令被处理器执行时实现上述目标模型验证方法的步骤。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于计算机可读存储介质实施例而言，由于其基本相似于目标模型验证方法实施例，所以描述的比较简单，相关之处参见目标模型验证方法实施例的部分说明即可。
本说明书一实施例还提供一种计算机程序，其中，当所述计算机程序在计算机中执行时，令计算机执行上述目标模型验证方法的步骤。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于计算机程序实施例而言，由于其基本相似于目标模型验证方法实施例，所以描述的比较简单，相关之处参见目标模型验证方法实施例的部分说明即可。
上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
所述计算机指令包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
需要说明的是，上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定都是本说明书实施例所必须的。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其它实施例的相关描述。
以上公开的本说明书优选实施例只是用于帮助阐述本说明书。可选实施例并没有详尽叙述所有的细节，也不限制该发明仅为所述的具体实施方式。显然，根据本说明书实施例的内容，可作很多的修改和变化。本说明书选取并具体描述这些实施例，是为了更好地解释本说明书实施例的原理和实际应用，从而使所属技术领域技术人员能很好地理解和利用本说明书。本说明书仅受权利要求书及其全部范围和等效物的限制。

Claims (14)

1.一种目标模型验证方法，包括：
确定针对目标模型的至少两个样本集，其中，各样本集中包括训练样本以及所述训练样本对应的样本标签；
根据所述各样本集中包括的训练样本、以及所述训练样本对应的样本标签，确定所述各样本集的特征重要性指标、信息量指标以及模型验证指标；
根据所述各样本集的特征重要性指标、信息量指标以及模型验证指标，结合所述模型验证指标对应的稳定性规则，验证所述目标模型的稳定性。
2.根据权利要求1所述的目标模型验证方法，所述模型验证指标包括模型区分度指标、和/或群体稳定性指标；
相应地，所述根据所述各样本集中包括的训练样本、以及所述训练样本对应的样本标签，确定所述各样本集的特征重要性指标、信息量指标以及模型验证指标，包括：
根据所述各样本集中包括的训练样本，确定所述各样本集的特征重要性指标；
根据所述各样本集中包括的训练样本，确定所述各样本集的信息量指标；
根据所述各样本集中包括的训练样本、以及所述训练样本对应的样本标签，确定所述各样本集的模型区分度指标；和/或
根据所述各样本集中包括的训练样本，确定所述各样本集的群体稳定性指标。
3.根据权利要求2所述的目标模型验证方法，所述根据所述各样本集中包括的训练样本，确定所述各样本集的特征重要性指标，包括：
确定目标样本集、以及所述目标样本集中包括的训练样本，其中，所述目标样本集为所述各样本集中的任意一个样本集；
确定所述训练样本的原始样本特征，并对所述原始样本特征进行掩码处理，获得所述训练样本的掩码样本特征；
将所述训练样本的原始样本特征、以及所述训练样本的掩码样本特征，分别输入所述目标模型，获得与所述原始样本特征对应的原始预测结果、与所述掩码特征对应的掩码预测结果；
根据所述原始预测结果以及所述掩码预测结果，确定所述目标样本集的特征重要性指标；
根据确定所述目标样本集的特征重要性指标的步骤，确定其他样本集的特征重要性指标，其中，所述其他样本集为所述各样本集中、除所述目标样本集的样本集。
4.根据权利要求3所述的目标模型验证方法，所述训练样本包括至少两个，
相应地，所述确定所述训练样本的原始样本特征，并对所述原始样本特征进行掩码处理，获得所述训练样本的掩码样本特征，包括：
确定目标训练样本的原始样本特征，其中，所述目标训练样本为所述至少两个训练样本中的任意一个训练样本；
对所述原始样本特征进行掩码处理，获得所述目标训练样本的掩码样本特征；
根据获得所述目标训练样本的掩码样本特征的步骤，确定其他训练样本的掩码样本特征，其中，所述其他训练样本为所述至少两个训练样本中、除所述目标训练样本的训练样本。
5.根据权利要求4所述的目标模型验证方法，所述将所述训练样本的原始样本特征、以及所述训练样本的掩码样本特征，分别输入所述目标模型，获得与所述原始样本特征对应的原始预测结果、与所述掩码特征对应的掩码预测结果，包括：
将所述目标训练样本的原始样本特征、所述目标训练样本的掩码样本特征、所述其他训练样本的原始样本特征、所述其他训练样本的掩码样本特征，分别输入所述目标模型，
获得与所述目标训练样本的原始样本特征对应的第一原始预测结果、与所述其他训练样本的原始样本特征对应的第二原始预测结果、与所述目标训练样本的掩码特征对应的第一掩码预测结果、与所述其他训练样本的掩码特征对应的第二掩码预测结果；
相应地，所述根据所述原始预测结果以及所述掩码预测结果，确定所述目标样本集的特征重要性指标，包括：
根据所述第一原始预测结果、所述第二原始预测结果、所述第一掩码预测结果、所述第二掩码预测结果，确定所述目标样本集的特征重要性指标。
6.根据权利要求2所述的目标模型验证方法，所述根据所述各样本集中包括的训练样本，确定所述各样本集的信息量指标，包括：
将所述各样本集中包括的训练样本，分别输入信息量计算模型，获得所述各样本集的信息量指标。
7.根据权利要求2所述的目标模型验证方法，所述根据所述各样本集中包括的训练样本、以及所述训练样本对应的样本标签，确定所述各样本集的模型区分度指标，包括：
确定目标样本集、所述目标样本集中包括的训练样本、以及所述训练样本对应的样本标签，其中，所述目标样本集为所述各样本集中的任意一个样本集；
确定所述训练样本的原始样本特征，并对所述原始样本特征进行掩码处理，获得所述训练样本的掩码样本特征；
将所述训练样本的原始样本特征、以及所述训练样本的掩码样本特征，分别输入所述目标模型，获得与所述原始样本特征对应的原始预测结果、与所述掩码特征对应的掩码预测结果；
根据所述原始预测结果、所述掩码预测结果、所述训练样本对应的样本标签，确定所述原始样本特征的原始模型区分度指标、以及所述掩码样本特征的掩码模型区分度指标；
根据所述原始模型区分度指标、以及所述掩码模型区分度指标，确定所述目标样本集的模型区分度指标；
根据确定所述目标样本集的模型区分度指标的步骤，确定其他样本集的模型区分度指标，其中，所述其他样本集为所述各样本集中、除所述目标样本集的样本集。
8.根据权利要求2所述的目标模型验证方法，所述根据所述各样本集中包括的训练样本，确定所述各样本集的群体稳定性指标，包括：
确定目标样本集、以及所述目标样本集中包括的训练样本，其中，所述目标样本集为所述各样本集中的任意一个样本集；
确定所述训练样本的原始样本特征，并对所述原始样本特征进行掩码处理，获得所述训练样本的掩码样本特征；
将所述训练样本的原始样本特征、以及所述训练样本的掩码样本特征，分别输入所述目标模型，获得与所述原始样本特征对应的原始预测结果、与所述掩码特征对应的掩码预测结果；
根据所述原始预测结果以及所述掩码预测结果，确定所述目标样本集的群体稳定性指标；
根据确定所述目标样本集的群体稳定性指标的步骤，确定其他样本集的群体稳定性指标，其中，所述其他样本集为所述各样本集中、除所述目标样本集的样本集。
9.根据权利要求2所述的目标模型验证方法，所述根据所述各样本集的特征重要性指标、信息量指标以及模型验证指标，结合所述模型验证指标对应的稳定性规则，验证所述目标模型的稳定性，还包括：
根据所述各样本集的特征重要性指标、信息量指标以及模型区分度指标，结合所述模型区分度指标对应的稳定性规则，验证所述目标模型的稳定性；
根据所述各样本集的特征重要性指标、信息量指标以及群体稳定性指标，结合所述群体稳定性指标对应的稳定性规则，验证所述目标模型的稳定性；或者
根据所述各样本集的特征重要性指标、信息量指标、模型区分度指标以及群体稳定性指标，结合所述模型区分度指标对应的稳定性规则、所述群体稳定性指标对应的稳定性规则，验证所述目标模型的稳定性。
10.根据权利要求2或7所述的目标模型验证方法，所述确定所述各样本集的特征重要性指标、信息量指标以及模型验证指标之后，还包括：
根据所述各样本集的特征重要性指标、模型验证指标，确定所述各样本集的模型稳定性指标；
根据所述各样本集的模型稳定性指标，验证所述目标模型的稳定性。
11.根据权利要求1所述的目标模型验证方法，所述目标模型为信用预测模型。
12.一种目标模型验证装置，包括：
样本集确定模块，被配置为确定针对目标模型的至少两个样本集，其中，各样本集中包括训练样本以及所述训练样本对应的样本标签；
指标确定模块，被配置为根据所述各样本集中包括的训练样本、以及所述训练样本对应的样本标签，确定所述各样本集的特征重要性指标、信息量指标以及模型验证指标；
模型验证模块，被配置为根据所述各样本集的特征重要性指标、信息量指标以及模型验证指标，结合所述模型验证指标对应的稳定性规则，验证所述目标模型的稳定性。
13.一种计算设备，包括：
存储器和处理器；
所述存储器用于存储计算机可执行指令，所述处理器用于执行所述计算机可执行指令，该计算机可执行指令被处理器执行时实现权利要求1至11任意一项所述目标模型验证方法的步骤。
14.一种计算机可读存储介质，其存储有计算机可执行指令，该计算机可执行指令被处理器执行时实现权利要求1至11任意一项所述目标模型验证方法的步骤。
CN202310491937.2A 2023-05-04 2023-05-04 目标模型验证方法以及装置 Pending CN116627781A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310491937.2A CN116627781A (zh) 2023-05-04 2023-05-04 目标模型验证方法以及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310491937.2A CN116627781A (zh) 2023-05-04 2023-05-04 目标模型验证方法以及装置

Publications (1)

Publication Number Publication Date
CN116627781A true CN116627781A (zh) 2023-08-22

Family

ID=87620346

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310491937.2A Pending CN116627781A (zh) 2023-05-04 2023-05-04 目标模型验证方法以及装置

Country Status (1)

Country Link
CN (1) CN116627781A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117112445A (zh) * 2023-10-07 2023-11-24 太平金融科技服务（上海）有限公司 一种机器学习模型稳定性检测方法、装置、设备及介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117112445A (zh) * 2023-10-07 2023-11-24 太平金融科技服务（上海）有限公司 一种机器学习模型稳定性检测方法、装置、设备及介质
CN117112445B (zh) * 2023-10-07 2024-01-16 太平金融科技服务（上海）有限公司 一种机器学习模型稳定性检测方法、装置、设备及介质

Similar Documents

Publication Publication Date Title
EP3678072A1 (en) Model integration method and device
CN112950231A (zh) 一种基于XGBoost算法的异常用户识别方法、设备及计算机可读存储介质
CN115982765A (zh) 数据脱敏方法、装置、设备及计算机可读存储介质
CN110619535B (zh) 一种数据处理方法及其装置
CN111311030B (zh) 基于影响因素检测的用户信用风险预测方法及装置
CN116627781A (zh) 目标模型验证方法以及装置
KR20180041727A (ko) 신용점수 모델 훈련 방법，신용 점수 계산 방법，장치 및 서버
CN111797320A (zh) 数据处理方法、装置、设备及存储介质
CN117235238B (zh) 问答方法、装置、存储介质及计算机设备
CN116861358A (zh) 基于bp神经网络与多源数据融合的计算思维评测方法
CN111144430A (zh) 基于遗传算法的养卡号码识别方法及装置
CN113393023B (zh) 模具质量评估方法、装置、设备及存储介质
CN114861163A (zh) 异常帐号的识别方法、装置、设备、存储介质及程序产品
CN112214675B (zh) 用户购机的确定方法、装置、设备及计算机存储介质
CN110570301B (zh) 风险识别方法、装置、设备及介质
CN114399224A (zh) 数据处理方法、装置、设备、介质及产品
CN113822464A (zh) 用户信息的处理方法及装置、电子设备、存储介质
CN115438885A (zh) 业务异常波动的检测方法、装置、设备及存储介质
CN112308294A (zh) 违约概率预测方法及装置
CN110765303A (zh) 一种更新数据库的方法及系统
CN111241297A (zh) 一种基于标签传播算法的图谱数据处理方法及装置
CN117094817B (zh) 一种信用风险控制智能预测方法及系统
CN115329968B (zh) 确定量子机器学习算法公平性的方法、系统和电子设备
CN116911313B (zh) 一种语义漂移文本的识别方法及装置
CN115374898B (zh) 神经网络测试方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination