CN112907364A - 一种风控分析模型的评估方法及装置 - Google Patents

Abstract

本申请提供的风控分析模型的评估方法及装置，针对原始风控分析模型进行部分参数调整得到实验风控分析模型。获取实验风控分析模型输出的实验模型结果，进一步分析实验模型结果得到实验结果指标；以及，获取非实验风控分析模型输出的参照模型结果，进一步分析参照模型结果得到参照结果指标。然后，基于T‑test单独立样本公式，根据参照结果指标和实验结果指标计算得到该实验结果指标的置信度，进而根据该指标的置信度确定实验风控分析模型的分析效果。这种参考结果指标的置信度评估模型分析结果可信度的方式，能够确定出实验模型的分析结果更准确。

Description

一种风控分析模型的评估方法及装置

技术领域

本发明属于计算机技术领域，尤其涉及一种风控分析模型的评估方法及装置。

背景技术

风控系统主要通过对各个维度的数据进行分析整合，形成风控分析模型，为业务安全提供参考依据，例如，通过信贷风控系统中的风控分析模型审核某个用户(如，企业或个人)的授信、用信、交易等申请是否满足相应的申请条件，即，该用户的上述申请是否允许。又如，在网络安全领域，通过相应的风控分析模型能够分析出潜在的影响网络安全的网络事件。

随着风控业务的改变，需要风控系统的研发人员对现有的风控分析策略进行调整，得到最精准的风控分析模型，最终提升业务安全性。目前的风控分析模型的调整过程通常是先将原有风控分析模型中某些参数或某些分析策略进行调整，得到多个不同的风控分析模型，然后对每个风控分析模型进行实验，根据实验结果对每个风控分析模型的效果进行评估。

相关技术中，将部分样本数据(即，实验样本数据)输入实验的风控分析模型进行分析得到相应的指标结果，同时，将另一部分样本数据(即，参照样本数据)输入非实验的风控分析模型进行分析得到相应的指标结果，然后，通过对比实验模型和非实验模型得到的指标结果评估实验的风控分析模型的效果，最终选出效果最优的模型作为最终投入使用的模型实际应用时，实验样本数据相对于参照样本数据的数量很小，仅通过简单对比指标结果的方式，无法说明当前的评估结果是否可信。

发明内容

有鉴于此，本发明的目的在于提供一种风控分析模型的评估方法及装置，以解决现有的模型评估方法不准确的技术问题，具体的技术方案如下：

第一方面，本发明提供了一种风控分析模型的评估方法，包括：

获取所述实验风控分析模型分析实验样本数据得到的实验模型结果，并分析所述实验模型结果得到实验结果指标，其中，所述实验风控分析模型由非实验风控分析模型调整得到；

获取所述非实验风控分析模型分析所述参照样本数据得到的参照模型结果，并分析所述参照模型结果得到参照结果指标；

针对任一所述实验结果指标，基于T-test单独立样本公式，根据所述实验结果指标的信息及参照结果指标的信息，计算得到所述实验结果指标的置信度；

根据各个实验结果指标对应的置信度确定所述实验风控分析模型的分析结果的可信度。

在第一方面一种可能的实现方式中，所述针对任一所述实验结果指标，基于T-test单独立样本公式，根据所述实验结果指标的信息及参照结果指标的信息，计算得到所述实验结果指标的置信度，包括：

针对每个所述实验结果指标，执行以下步骤：

确定所述实验结果指标的类型，所述类型包括离散型指标或连续型指标；

当所述实验结果指标为离散型指标时，根据所述实验结果指标的数值及所述实验样本数据的数量，以及对应的所述非实验结果指标的数值及所述非实参照样本数据的数量，按照离散型指标对应的T-test单独立样本公式，计算得到所述实验结果指标的置信度；

当所述实验结果指标为连续型指标时，根据所述实验结果指标的数值、所述数值平方和及所述实验样本数据的数量，以及，对应的所述非实验结果指标的数值、数值平方和及所述参照样本数据的数量，按照连续型指标对应的T-test单独立样本公式，计算得到所述实验结果指标的置信度。

在第一方面另一种可能的实现方式中，所述根据各个实验结果指标对应的置信度确定所述实验风控分析模型的分析结果的可信度，包括：

当各个所述实验结果指标的置信度均大于或等于第一阈值时，确定所述实验风控分析模型的分析结果可信。

在第一方面又一种可能的实现方式中，所述方法还包括：

获取各个所述实验结果指标对应的指标给定值；

基于所述T-test单独立样本公式，反向推导计算得到使所述实验风控分析模型的实验结果指标达到相应的指标给定值所需的最小实验样本数量。

在第一方面再一种可能的实现方式中，所述基于所述T-test单独立样本公式，反向推导计算得到使所述实验风控分析模型的实验结果指标达到相应的指标给定值所需的最小实验样本数量，包括：

针对所述实验风控分析模型的任一实验结果指标，执行以下步骤：

根据所述实验结果指标期望值、提升比例、接受正确假设的概率、拒绝错误假设的概率、样本比例，利用基于T-test单独立样本公式得到的与所述实验结果指标的类型相匹配的样本数量计算公式，计算得到所述实验结果指标的置信度大于或等于所述预设置信度所对应的最小实验样本数量。

第二方面，本发明还提供了一种风控分析模型的评估装置，包括：

实验结果获取模块，用于获取所述实验风控分析模型分析实验样本数据得到的实验模型结果；

实验指标获取模块，用于分析所述实验模型结果得到实验结果指标，其中，所述实验风控分析模型由非实验风控分析模型调整得到；

参照结果获取模块，用于获取所述非实验风控分析模型分析所述参照样本数据得到的参照模型结果；

参照指标获取模块，用于分析所述参照模型结果得到参照结果指标；

指标置信度计算模块，用于针对任一所述实验结果指标，基于T-test单独立样本公式，根据所述实验结果指标的信息及参照结果指标的信息，计算得到所述实验结果指标的置信度；

实验结果可信度确定模块，用于根据各个实验结果指标对应的置信度确定所述实验风控分析模型的分析结果的可信度。

在第二方面的一种可能的实现方式中，所述指标置信度计算模块，包括：

指标类型确定子模块，用于确定所述实验结果指标的类型，所述类型包括离散型指标或连续型指标；

第一置信度计算子模块，用于当所述实验结果指标为离散型指标时，根据所述实验结果指标的数值及所述实验样本数据的数量，以及对应的所述非实验结果指标的数值及所述非实参照样本数据的数量，按照离散型指标对应的T-test单独立样本公式，计算得到所述实验结果指标的置信度；

第二置信度计算子模块，用于当所述实验结果指标为连续型指标时，根据所述实验结果指标的数值、所述数值平方和及所述实验样本数据的数量，以及，对应的所述非实验结果指标的数值、数值平方和及所述参照样本数据的数量，按照连续型指标对应的T-test单独立样本公式，计算得到所述实验结果指标的置信度。

在第二方面的另一种可能的实现方式中，所述装置还包括：

指标给定值获取模块，用于获取各个所述实验结果指标对应的指标给定值；

最小样本数量确定模块，用于基于所述T-test单独立样本公式，反向推导计算得到使所述实验风控分析模型的实验结果指标达到相应的指标给定值所需的最小实验样本数量。

第三方面，本发明还提供了一种电子设备，包括：存储器和处理器；

所述存储器内存储有程序，所述处理器调用所述存储器内的程序以执行第一方面任一项所述的风控分析模型的评估方法。

第四方面，本发明还提供了一种计算机可读的存储介质，其上存储有程序，其特征在于，所述程序被处理器加载并执行时实现第一方面任一项所述的风控分析模型的评估方法。

本实施例提供的风控分析模型的评估方法，针对原始风控分析模型进行部分参数调整得到实验风控分析模型。获取实验风控分析模型输出的实验模型结果，进一步分析实验模型结果得到实验结果指标；以及，获取非实验风控分析模型输出的参照模型结果，进一步分析参照模型结果得到参照结果指标。然后，基于T-test单独立样本公式，根据参照结果指标和实验结果指标计算得到该实验结果指标的置信度，进而根据该指标的置信度确定实验风控分析模型的分析效果。该方案在计算出两个分析模型的指标后，根据T-test单独立样本公式计算得到实验模型得到的分析结果的置信度，如果分析结果的置信度越高表明该分析结果越可信，这种参考结果指标的置信度评估模型分析结果可信度的方式，能够确定出实验模型的分析结果更准确。进一步，可以根据实验风控分析模型的输出的准确率，确定出分析效果最优的实验风控分析模型作为最终的风控分析模型。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出了本申请实施例提供的一种风控分析模型的评估方法流程图；

图2示出了本申请实施例提供的一种计算实验结果指标的置信度过程的流程图；

图3示出了本申请实施例提供的另一种风控分析模型的评估方法流程图；

图4示出了本申请实施例提供的一种风控分析模型的评估装置结构示意图；

图5示出了本申请实施例提供的一种指标置信度计算模块的结构示意图；

图6示出了本申请实施例提供的另一种风控分析模型的评估装置的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参见图1，示出了本申请实施例提供的一种风控分析模型的评估方法流程图，该方法应用于离线分析实验风控分析模型得到的分析效果的可信度。

如图1所示，该方法主要包括以下步骤：

S110，获取实验风控分析模型分析实验样本数据得到的实验模型结果，并分析实验模型结果得到实验结果指标。

实验风控分析模型是指对原风控分析模型中的部分参数或策略进行调整得到的调整后的风控分析模型，进而将调整后的风控分析模型与原风控分析模型进行对照实验，以判定调整后的风控分析模型的分析效果。

将样本数据划分为实验样本数据和参照样本数据，例如，在信贷风控分析应用场景中，样本数据可以是信贷风控事件流水数据，可以基于全量样本数据随机确定出实验样本数据和参照样本数据。

将实验样本数据输入实验风控分析模型中进行分析，输出实验模型结果。

在一种可能的实现方式中，实验风控分析模型输出的数据中包含实验标志字段，该字段用于表征该数据被分配给哪个实验模型进行评估实验。

分析实验模型结果得到相应的实验结果指标，例如，在信贷风控应用场景中，结合全量借据数据，计算每个实验样本数据授信之后的表现情况，如，授信是否通过、授信七日后的余额、本金借据数据信息，后续通过这些信息计算相应的指标，如授信通过率、用信率和户均余额等。当然，不同的应用场景所对应的指标不同。

S120，获取非实验风控分析模型分析所述参照样本数据得到的参照模型结果，并分析所述参照模型结果得到参照结果指标。

本文的非实验风控分析模型即作为参照组的原风控分析模型。

将参照样本数据输入非实验分析模型中进行分析，输出参照模型结果。进一步对参照模型结果进行分析，得到参照结果指标。

S130，针对任一实验结果指标，基于T-test单独立样本公式，根据实验结果指标的信息及参照结果指标的信息，计算得到实验结果指标的置信度。

在本申请的一个实施例中，如图2所示，S130的过程可以包括以下步骤：

S131，确定实验结果指标的类型；所述类型包括离散型指标或连续型指标。

指标包括离散型指标和连续型指标，例如，离散型是指只能用自然数或整数单位计算，如授信通过率、用信率等；连续型是指在一定区间内可以任意取值，如户均余额。

S132，当实验结果指标为离散型指标时，根据实验结果指标的数值及实验样本数据的数量，以及对应的非实验结果指标的数值及非实参照样本数据的数量，按照离散型指标对应的T-test单独立样本公式，计算得到实验结果指标的置信度。

在本申请的一个实施例中，针对离散型指标，结合T-test单独立样本公式计算当前风控模型针对该风险指标的置信度的公式如下：

公式1中，pTest：实验风险指标；如实验样本数据的授信通过率。

pCtrl：非实验风险指标；如非该实验样本数据的授信通过率。

nTest：指标对应的实验数量；如实验样本数据中申请授信的数量。

nCtrl：指标对应的参照样本数据的数量；如参照样本数据中申请授信的数量。

NORMSDIST()：返回标准正态累积分布函数，即平均值为0，标准偏差为1。

S133，当实验结果指标为连续型指标时，根据实验结果指标的数值、数值平方和及实验样本数据的数量，以及，对应的非实验结果指标的数值、数值平方和及参照样本数据的数量，按照连续型指标对应的T-test单独立样本公式，计算得到实验结果指标的置信度。

在本申请的另一个实施例中，针对连续型指标，结合T-test单独立样本公式计算当前风控模型针对该风险指标的置信度的公式如下：

公式2中，pTest：实验样本数据的指标；如实验样本数据的户均余额。

pCtrl：参照样本数据指标；如参照样本数据的户均余额。

pTest²：实验样本数据指标的分子值的平方和；如每个实验样本数据的余额的平方和。

pCtrl²：非改实验样本数据指标的分子值的平方和；如每个非该实验样本数据的余额的平方和。

nTest：指标对应的实验样本数据数量；如实验样本数据中授信通过的数量。

nCtrl：指标对应的参照样本数据数量。如参照样本数据中授信通过的数据。

NORMSDIST()：返回标准正态累积分布函数，即平均值为0，标准偏差为1。

利用上述公式1和公式2可以计算得到实验风控分析模型及非实验风控分析模型所涉及的所有指标的置信度。

S140，根据各个实验结果指标对应的置信度确定实验风控分析模型的分析结果的可信度。

指标的置信度越高，则该模型的效果越好，反之，置信度越低，则该模型的效果越差。

计算出实验风控分析模型对应的各个指标的置信度之后，根据各个指标的置信度就能确定该信贷风控模型的效果。在一个实施例中，当各个实验结果指标的置信度均大于或等于某个置信度阈值时，确定实验风控分析模型的分析结果可信。

本实施例提供的风控分析模型的评估方法，针对原始风控分析模型进行部分参数调整得到实验风控分析模型。获取实验风控分析模型输出的实验模型结果，进一步分析实验模型结果得到实验结果指标；以及，获取非实验风控分析模型输出的参照模型结果，进一步分析参照模型结果得到参照结果指标。然后，基于T-test单独立样本公式，根据参照结果指标和实验结果指标计算得到该实验结果指标的置信度，进而根据该指标的置信度确定实验风控分析模型的分析效果。该方案在计算出两个分析模型的指标后，根据T-test单独立样本公式计算得到实验模型得到的分析结果的置信度，如果分析结果的置信度越高表明该分析结果越可信，这种参考结果指标的置信度评估模型分析结果可信度的方式，能够确定出实验模型的分析结果更准确。进一步，可以根据实验风控分析模型的输出的准确率，确定出分析效果最优的实验风控分析模型作为最终的风控分析模型。

请参见图3，示出了本申请实施例提供的另一种风控分析模型的评估方法流程图，本实施例在对实验风控分析模型的实验结果进行实验对照分析之前，利用T-test理论反向推导得到实验风控分析模型的评估实验所需的最小样本数量，以便在后续的模型实验阶段对实验样本数据的大小实现精准控制。

如图3所示，该方法包括以下步骤：

S210，获取各个实验结果指标对应的指标给定值。

指标给定值可以由用户设定，例如，在信贷风控应用场景中，用户可以设定实验结果指标的期望值，如，期望置信度。

S220，针对任一实验结果指标，根据T-test理论反向推导计算得到，使实验风控分析模型的实验结果指标达到相应的指标给定值所需的最小实验样本数量。

在本申请的一个实施例中，根据预先设定的总体样本期望、提升比例、接受正确假设的概率、拒绝错误假设的概率、样本比例，利用基于T-test单独立样本公式得到的与所述实验结果指标的类型相匹配的样本数量计算公式，计算得到所述实验结果指标的置信度大于或等于所述预设置信度所对应的最小实验样本数量。

计算最小实验样本数量时，根据指标是否为离散指标，将指标划分为离散型指标和连续型指标。不同类型的指标分别利用不同的计算公式计算得到对应的最小样本量。

在本申请的一个实施例中，针对离散型的指标，其最小样本的计算公式如下：

公式3中，pCtrl：总体样本期望，实验结果指标期望值；

expectedLift：提升比例；

cLevel：接受正确假设的概率；

power：拒接错误假设的概率；

pct：nCtrl/nTest样本比例(非该实验样本数据数量/该实验样本数据数量)；

NORMSINV()：返回标准正态累积分布函数的反函数值；标准正态分布函数的平均值为0，标准偏差为1。

在本申请的一个实施例中，针对连续型指标，其最小样本的计算公式如下：

式4中，meanCtrl：总体样本期望，实验结果指标期望值；

expectedLift：提升比例；

cLevel：接受正确假设的概率；

power：拒接错误假设的概率；

pct：nCtrl/nTest样本比例(参照样本数据数量/该实验样本数据数量)；

NORMSINV()：返回标准正态累积分布函数的反函数值。标准正态分布函数的平均值为0，标准偏差为1。

本实施例提供的风控模型的评估方法，根据用户设定的各个指标的置信度阈值，利用T-test理论反推得到评估实验风控分析模型的分析结果可信度所需的最小样本数量，从而方便对实验样本数据的大小实现精准控制，同时，保证使用最少的样本即可获得准确的模型评估结果，因此提高了模型评估效率。

相应于上述的风控模型的评估方法实施例，本申请还提供了风控模型的评估装置实施例。

请参见图4，示出了本申请实施例提供的一种风控模型的评估装置的结构示意图，该装置应用于电子设备中，该电子设备可以是服务器、PC机，或者，还可以是PAD或手机等。

如图4所示，该装置可以包括：实验结果获取模块110、实验指标获取模块120、参照结果获取模块130、参照指标获取模块140、指标置信度计算模块150、实验结果可信度确定模块160。

实验结果获取模块110，用于获取所述实验风控分析模型分析实验样本数据得到的实验模型结果。

实验指标获取模块120，用于分析所述实验模型结果得到实验结果指标，其中，所述实验风控分析模型由非实验风控分析模型调整得到。

参照结果获取模块130，用于获取所述非实验风控分析模型分析所述参照样本数据得到的参照模型结果。

参照指标获取模块140，用于分析所述参照模型结果得到参照结果指标；

指标置信度计算模块150，用于针对任一所述实验结果指标，基于T-test单独立样本公式，根据所述实验结果指标的信息及参照结果指标的信息，计算得到所述实验结果指标的置信度。

在本申请的一个实施例中，如图5所示，该指标置信度计算模块150可以包括：指标类型确定子模块151、第一置信度计算子模块152和第二置信度计算子模块153。

指标类型确定子模块151，用于确定所述实验结果指标的类型，所述类型包括离散型指标或连续型指标。

第一置信度计算子模块152，用于当所述实验结果指标为离散型指标时，根据所述实验结果指标的数值及所述实验样本数据的数量，以及对应的所述非实验结果指标的数值及所述非实参照样本数据的数量，按照离散型指标对应的T-test单独立样本公式，计算得到所述实验结果指标的置信度。

第二置信度计算子模块153，用于当所述实验结果指标为连续型指标时，根据所述实验结果指标的数值、所述数值平方和及所述实验样本数据的数量，以及，对应的所述非实验结果指标的数值、数值平方和及所述参照样本数据的数量，按照连续型指标对应的T-test单独立样本公式，计算得到所述实验结果指标的置信度。

实验结果可信度确定模块160，用于根据各个实验结果指标对应的置信度确定所述实验风控分析模型的分析结果的可信度。

在一个实施例中，实验结果可信度确定模块160具体用于当各个所述实验结果指标的置信度均大于或等于第一阈值时，确定所述实验风控分析模型的分析结果可信。

本实施例提供的风控分析模型的评估装置，针对原始风控分析模型进行部分参数调整得到实验风控分析模型。获取实验风控分析模型输出的实验模型结果，进一步分析实验模型结果得到实验结果指标；以及，获取非实验风控分析模型输出的参照模型结果，进一步分析参照模型结果得到参照结果指标。然后，基于T-test单独立样本公式，根据参照结果指标和实验结果指标计算得到该实验结果指标的置信度，进而根据该指标的置信度确定实验风控分析模型的分析效果。该方案在计算出两个分析模型的指标后，根据T-test单独立样本公式计算得到实验模型得到的分析结果的置信度，如果分析结果的置信度越高表明该分析结果越可信，这种参考结果指标的置信度评估模型分析结果可信度的方式，能够确定出实验模型的分析结果更准确。进一步，可以根据实验风控分析模型的输出的准确率，确定出分析效果最优的实验风控分析模型作为最终的风控分析模型。

请参见图6，示出了本申请实施例提供的另一种风控分析模型的评估装置的结构示意图，该装置在图4所示实施例的基础上还可以包括：指标给定值获取模块210和最小样本数量确定模块220。

指标给定值获取模块210，用于获取各个所述实验结果指标对应的指标给定值。

最小样本数量确定模块220，用于基于所述T-test单独立样本公式，反向推导计算得到使所述实验风控分析模型的实验结果指标达到相应的指标给定值所需的最小实验样本数量。

在本申请的一个实施例中，最小样本数量确定模块220具体用于：

根据所述实验结果指标期望值、提升比例、接受正确假设的概率、拒绝错误假设的概率、样本比例，利用基于T-test单独立样本公式得到的与所述实验结果指标的类型相匹配的样本数量计算公式，计算得到所述实验结果指标的置信度大于或等于所述预设置信度所对应的最小实验样本数量。

本实施例提供的风控模型的评估装置，根据用户设定的各个指标的置信度阈值，利用T-test理论反推得到评估实验风控分析模型的分析结果可信度所需的最小样本数量，从而方便对实验样本数据的大小实现精准控制，同时，保证使用最少的样本即可获得准确的模型评估结果，因此提高了模型评估效率。

另一方面，本发明实施例提供了一种电子设备，该电子设备包括处理器、存储器及存储在存储器上并可在处理器上运行的程序，处理器执行程序时实现上述的任一种风控分析模型的评估方法。本文中的设备可以是服务器、PC机、PAD、手机等。

本申请还提供了一种计算机可读取的存储介质，该存储介质中存储有程序，该程序由电子执行时实现上述的风控分析模型的评估方法。

对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本发明所必须的。

需要说明的是，本说明书中的各个实施例记载的技术特征可以相互替代或组合，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。对于装置类实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

本申请各实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减。

本申请各实施例中的装置及终端中的模块和子模块可以根据实际需要进行合并、划分和删减。

本申请所提供的几个实施例中，应该理解到，所揭露的终端，装置和方法，可以通过其它的方式实现。例如，以上所描述的终端实施例仅仅是示意性的，例如，模块或子模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个子模块或模块可以结合或者可以集成到另一个模块，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。

作为分离部件说明的模块或子模块可以是或者也可以不是物理上分开的，作为模块或子模块的部件可以是或者也可以不是物理模块或子模块，即可以位于一个地方，或者也可以分布到多个网络模块或子模块上。可以根据实际的需要选择其中的部分或者全部模块或子模块来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能模块或子模块可以集成在一个处理模块中，也可以是各个模块或子模块单独物理存在，也可以两个或两个以上模块或子模块集成在一个模块中。上述集成的模块或子模块既可以采用硬件的形式实现，也可以采用软件功能模块或子模块的形式实现。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

对所公开的实施例的上述说明，使本领域技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种风控分析模型的评估方法，其特征在于，包括：

获取所述实验风控分析模型分析实验样本数据得到的实验模型结果，并分析所述实验模型结果得到实验结果指标，其中，所述实验风控分析模型由非实验风控分析模型调整得到；

获取所述非实验风控分析模型分析所述参照样本数据得到的参照模型结果，并分析所述参照模型结果得到参照结果指标；

针对任一所述实验结果指标，基于T-test单独立样本公式，根据所述实验结果指标的信息及参照结果指标的信息，计算得到所述实验结果指标的置信度；

根据各个实验结果指标对应的置信度确定所述实验风控分析模型的分析结果的可信度。

2.根据权利要求1所述的方法，其特征在于，所述针对任一所述实验结果指标，基于T-test单独立样本公式，根据所述实验结果指标的信息及参照结果指标的信息，计算得到所述实验结果指标的置信度，包括：

针对每个所述实验结果指标，执行以下步骤：

确定所述实验结果指标的类型，所述类型包括离散型指标或连续型指标；

当所述实验结果指标为离散型指标时，根据所述实验结果指标的数值及所述实验样本数据的数量，以及对应的所述非实验结果指标的数值及所述非实参照样本数据的数量，按照离散型指标对应的T-test单独立样本公式，计算得到所述实验结果指标的置信度；

当所述实验结果指标为连续型指标时，根据所述实验结果指标的数值、所述数值平方和及所述实验样本数据的数量，以及，对应的所述非实验结果指标的数值、数值平方和及所述参照样本数据的数量，按照连续型指标对应的T-test单独立样本公式，计算得到所述实验结果指标的置信度。

3.根据权利要求1所述的方法，其特征在于，所述根据各个实验结果指标对应的置信度确定所述实验风控分析模型的分析结果的可信度，包括：

当各个所述实验结果指标的置信度均大于或等于第一阈值时，确定所述实验风控分析模型的分析结果可信。

4.根据权利要求1所述的方法，其特征在于，所述方法还包括：

获取各个所述实验结果指标对应的指标给定值；

基于所述T-test单独立样本公式，反向推导计算得到使所述实验风控分析模型的实验结果指标达到相应的指标给定值所需的最小实验样本数量。

5.根据权利要求4所述的方法，其特征在于，所述基于所述T-test单独立样本公式，反向推导计算得到使所述实验风控分析模型的实验结果指标达到相应的指标给定值所需的最小实验样本数量，包括：

针对所述实验风控分析模型的任一实验结果指标，执行以下步骤：

根据所述实验结果指标期望值、提升比例、接受正确假设的概率、拒绝错误假设的概率、样本比例，利用基于T-test单独立样本公式得到的与所述实验结果指标的类型相匹配的样本数量计算公式，计算得到所述实验结果指标的置信度大于或等于所述预设置信度所对应的最小实验样本数量。

6.一种风控分析模型的评估装置，其特征在于，包括：

实验结果获取模块，用于获取所述实验风控分析模型分析实验样本数据得到的实验模型结果；

实验指标获取模块，用于分析所述实验模型结果得到实验结果指标，其中，所述实验风控分析模型由非实验风控分析模型调整得到；

参照结果获取模块，用于获取所述非实验风控分析模型分析所述参照样本数据得到的参照模型结果；

参照指标获取模块，用于分析所述参照模型结果得到参照结果指标；

指标置信度计算模块，用于针对任一所述实验结果指标，基于T-test单独立样本公式，根据所述实验结果指标的信息及参照结果指标的信息，计算得到所述实验结果指标的置信度；

实验结果可信度确定模块，用于根据各个实验结果指标对应的置信度确定所述实验风控分析模型的分析结果的可信度。

7.根据权利要求6所述的装置，其特征在于，所述指标置信度计算模块，包括：

指标类型确定子模块，用于确定所述实验结果指标的类型，所述类型包括离散型指标或连续型指标；

第一置信度计算子模块，用于当所述实验结果指标为离散型指标时，根据所述实验结果指标的数值及所述实验样本数据的数量，以及对应的所述非实验结果指标的数值及所述非实参照样本数据的数量，按照离散型指标对应的T-test单独立样本公式，计算得到所述实验结果指标的置信度；

第二置信度计算子模块，用于当所述实验结果指标为连续型指标时，根据所述实验结果指标的数值、所述数值平方和及所述实验样本数据的数量，以及，对应的所述非实验结果指标的数值、数值平方和及所述参照样本数据的数量，按照连续型指标对应的T-test单独立样本公式，计算得到所述实验结果指标的置信度。

8.根据权利要求6所述的装置，其特征在于，所述装置还包括：

指标给定值获取模块，用于获取各个所述实验结果指标对应的指标给定值；

最小样本数量确定模块，用于基于所述T-test单独立样本公式，反向推导计算得到使所述实验风控分析模型的实验结果指标达到相应的指标给定值所需的最小实验样本数量。

9.一种电子设备，其特征在于，包括：存储器和处理器；

所述存储器内存储有程序，所述处理器调用所述存储器内的程序以执行权利要求1-5任一项所述的风控分析模型的评估方法。

10.一种计算机可读的存储介质，其上存储有程序，其特征在于，所述程序被处理器加载并执行时实现权利要求1-5任一项所述的风控分析模型的评估方法。

Images