CN108665143B - 风控模型的评估方法及装置 - Google Patents

Abstract

本申请实施例提供了一种风控模型的评估方法及装置，该方法包括：确定待评估的目标业务场景的标识信息；然后根据建立的业务场景的标识信息与业务场景下产生的事件信息的对应关系，确定出上述目标业务场景下产生的事件信息；获取该目标业务场景下产生的事件信息所对应的评估数据；并根据该评估数据，对风控模型针对目标业务场景的风险防控能力进行评估；其中，上述评估数据包括风控模型稽核目标业务场景下产生的事件信息所得到的稽核数据。

Description

风控模型的评估方法及装置

技术领域

本申请涉及网络安全领域，尤其涉及一种风控模型的评估方法及装置。

背景技术

随着网络安全技术的快速发展，利用网络技术进行在线办理业务的需求越来越多，如何提高在线业务的安全性，得到了越来越多的关注和重视。一般的，为了提高在线业务的安全性，一般会采用风控模型对在线业务进行稽核。然而为了提高风控模型的防控能力、保证在线业务的安全性，需要对风控模型的风险防控能力进行评估，从而可以根据评估结果及时对风控模型做出相应的调整。

一般的，一种风控模型针对同一类业务进行风险防控，而同一类业务中会包括多种具体场景下的业务。例如，转账业务可以包括使用收钱码进行的转账、朋友之间的转账等多种具体业务场景。现有技术中，在对风控模型的风险防控能力进行评估时，只能针对风控模型对整个类别的业务的风险防控能力进行评估，无法评估风控模型对该类业务中某个具体场景下的风险防控能力。

因此，亟需提出一种风控模型的评估方法，以实现对风控模型针对某一具体场景下的风险防控能力进行评估。

发明内容

本申请实施例的目的是提供一种风控模型的评估方法及装置，根据确定的待评估的目标业务场景的标识信息以及建立的业务场景的标识信息与业务场景下产生的事件信息的对应关系，确定出目标业务场景下产生的事件信息，并获取目标业务场景下产生的事件信息所对应的评估数据，然后根据该评估数据对风控模型针对目标业务场景的风险防控能力进行评估。在本申请实施例中，可以获取目标业务场景下产生的事件信息所对应的评估数据，从而可以对风控模型针对目标业务场景的风险防控能力进行评估，实现了对风控模型针对某个具体业务场景下的风险防控能力的评估。

为解决上述技术问题，本申请实施例是这样实现的：

本申请实施例提供了一种风控模型的评估方法，包括：

确定待评估的目标业务场景的标识信息；

根据建立的业务场景的标识信息与业务场景下产生的事件信息的对应关系，确定所述目标业务场景下产生的事件信息；

获取所述目标业务场景下产生的事件信息所对应的评估数据；所述评估数据包括风控模型稽核所述目标业务场景下产生的事件信息所得到的稽核数据；

根据所述评估数据，对所述风控模型针对所述目标业务场景的风险防控能力进行评估。

本申请实施例还提供了一种风控模型的评估方法，包括：

确定待评估的目标业务场景的标识信息；

根据建立的业务场景的标识信息与业务场景下产生的事件信息的对应关系，确定所述目标业务场景下产生的事件信息；

获取所述目标业务场景下产生的事件信息所对应的评估数据；所述评估数据包括风控模型稽核所述目标业务场景下产生的事件信息所得到的稽核数据以及由于所述风控模型误稽核所导致的用户行为数据；

根据所述用户行为数据和所述稽核数据，对所述风控模型针对所述目标业务场景的风险防控能力进行评估。

本申请实施例还提供了一种风控模型的评估装置，包括：

第二确定模块，根据建立的业务场景的标识信息与业务场景下产生的事件信息的对应关系，确定所述目标业务场景下产生的事件信息；

第一获取模块，获取所述目标业务场景下产生的事件信息所对应的评估数据；所述评估数据包括风控模型稽核所述目标业务场景下产生的事件信息所得到的稽核数据；

第一评估模块，根据所述评估数据，对所述风控模型针对所述目标业务场景的风险防控能力进行评估。

本申请实施例还提供了一种风控模型的评估装置，包括：

第三确定模块，确定待评估的目标业务场景的标识信息；

第四确定模块，根据建立的业务场景的标识信息与业务场景下产生的事件信息的对应关系，确定所述目标业务场景下产生的事件信息；

第二获取模块，获取所述目标业务场景下产生的事件信息所对应的评估数据；所述评估数据包括风控模型稽核所述目标业务场景下产生的事件信息所得到的稽核数据以及由于所述风控模型误稽核所导致的用户行为数据；

第二评估模块，根据所述用户行为数据和所述稽核数据，对所述风控模型针对所述目标业务场景的风险防控能力进行评估。

本申请实施例还提供了一种风控模型的评估设备，包括：

处理器；以及

被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器：

确定待评估的目标业务场景的标识信息；

根据建立的业务场景的标识信息与业务场景下产生的事件信息的对应关系，确定所述目标业务场景下产生的事件信息；

获取所述目标业务场景下产生的事件信息所对应的评估数据；所述评估数据包括风控模型稽核所述目标业务场景下产生的事件信息所得到的稽核数据；

根据所述评估数据，对所述风控模型针对所述目标业务场景的风险防控能力进行评估。

本申请实施例还提供了一种风控模型的评估设备，包括：

处理器；以及

被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器：

确定待评估的目标业务场景的标识信息；

根据建立的业务场景的标识信息与业务场景下产生的事件信息的对应关系，确定所述目标业务场景下产生的事件信息；

获取所述目标业务场景下产生的事件信息所对应的评估数据；所述评估数据包括风控模型稽核所述目标业务场景下产生的事件信息所得到的稽核数据以及由于所述风控模型误稽核所导致的用户行为数据；

根据所述用户行为数据和所述稽核数据，对所述风控模型针对所述目标业务场景的风险防控能力进行评估。

本申请实施例还提供了一种存储介质，用于存储计算机可执行指令，所述可执行指令在被执行时实现以下流程：

确定待评估的目标业务场景的标识信息；

根据建立的业务场景的标识信息与业务场景下产生的事件信息的对应关系，确定所述目标业务场景下产生的事件信息；

获取所述目标业务场景下产生的事件信息所对应的评估数据；所述评估数据包括风控模型稽核所述目标业务场景下产生的事件信息所得到的稽核数据；

根据所述评估数据，对所述风控模型针对所述目标业务场景的风险防控能力进行评估。

本申请实施例还提供了一种存储介质，用于存储计算机可执行指令，所述可执行指令在被执行时实现以下流程：

确定待评估的目标业务场景的标识信息；

根据建立的业务场景的标识信息与业务场景下产生的事件信息的对应关系，确定所述目标业务场景下产生的事件信息；

获取所述目标业务场景下产生的事件信息所对应的评估数据；所述评估数据包括风控模型稽核所述目标业务场景下产生的事件信息所得到的稽核数据以及由于所述风控模型误稽核所导致的用户行为数据；

根据所述用户行为数据和所述稽核数据，对所述风控模型针对所述目标业务场景的风险防控能力进行评估。

通过本实施例中的技术方案，根据确定的待评估的目标业务场景的标识信息以及建立的业务场景的标识信息与业务场景下产生的事件信息的对应关系，确定出目标业务场景下产生的事件信息，并获取目标业务场景下产生的事件信息所对应的评估数据，然后根据该评估数据对风控模型针对目标业务场景的风险防控能力进行评估。在本申请实施例中，可以获取目标业务场景下产生的事件信息所对应的评估数据，从而可以对风控模型针对目标业务场景的风险防控能力进行评估，实现了对风控模型针对某个具体业务场景下的风险防控能力的评估。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的风控模型的评估方法的第一种方法流程图；

图2为本申请实施例提供的风控模型的评估方法的第二种方法流程图；

图3为本申请实施例提供的风控模型的评估方法的第三种方法流程图；

图4为本申请实施例提供的风控模型的评估装置的第一种模块组成示意图；

图5为本申请实施例提供的风控模型的评估装置的第二种模块组成示意图；

图6为本申请实施例提供的风控模型的评估设备的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本申请中的技术方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。

本申请实施例提供了一种风控模型的评估方法，用于对风控模型的风险防控能力进行评估。其中，上述风控模型指的是对业务事件进行风险防控的策略模型。通过本申请实施例提供的方法，可以实现对风控模型针对某个具体业务场景的风险防控能力进行评估。

其中，具体业务场景指的是某种业务操作的一种具体场景，某些类型的业务可以具有多个具体场景。例如，转账业务可以包括给好友转账、转账到收钱码等，而转账到收钱码上的操作，则为一个具体的业务场景，给好友转账，也是一个具体的业务场景。

图1为本申请实施例提供的风控模型的评估方法的第一种方法流程图，图1所示的方法，至少包括如下步骤：

步骤S102，确定待评估的目标业务场景的标识信息。

其中，上述待评估的目标业务场景指的是某种业务的一种具体场景，例如，上述目标业务场景可以是转账业务中的转账到收钱码这种具体的业务场景。

上述标识信息指的是可以表征该具体业务场景的字段，例如，若上述目标业务场景为转账到收钱码，则该标识信息可以是“转账”、“收钱码”等。

具体的，在本申请实施例中，可以通过如下过程确定待评估的目标业务场景的标识信息：获取目标业务场景下产生的事件信息；从该事件信息中提取与目标业务场景相关联的关键字段，将获取的关键字段确定为目标业务场景的标识信息。

上述事件信息指的是用户对目标业务场景下的业务进行操作时所产生的用于描述执行操作的用户、执行的具体操作以及所处的环境等内容的信息。例如，用户使用支付宝进行向好友转账的操作，则对应的事件信息可以为“用户A使用支付宝向好友B转账某某元”。

其中，上述与目标业务场景关联的关键字段指的是能够表征目标业务场景的字段。例如，若是上述目标业务场景为转账到收钱码，则提取的关键字段可以是“收钱码”、“转账”等，可以将“收钱码”以及“转账”作为目标业务场景的标识信息。

在另外一种具体实施方式中，为了避免每次在采用本申请实施例提供的方法对风控模型进行评估时，都需要提取一次目标业务场景的标识信息，可以预先建立目标业务场景与其对应的标识信息的对应关系，这样，当需要采用本申请实施例提供的方法对风控模型进行评估时，可以直接查找目标业务场景对应的标识信息。

步骤S104，根据建立的业务场景的标识信息与业务场景下产生的事件信息的对应关系，确定目标业务场景下产生的事件信息。

其中，上述业务场景的标识信息与业务场景下产生的事件信息的对应关系是预先建立的，可以在执行本申请实施例提供的方法之前建立，也可以是在执行步骤S104之前建立。这样，在采用本申请实施例提供的方法对风控模型针对目标业务场景的风险防控能力进行评估时，可以直接根据预先建立的业务场景的标识信息与业务场景下产生的事件信息的对应关系，确定目标业务场景下产生的事件信息。

其中，上述各个业务场景指的是待评估的风控模型所稽核的一类业务下各个不同的具体场景。

其中，在上述步骤S104中，可以将目标业务场景的标识信息与上述对应关系中的各个标识信息进行匹配，确定出与所述目标业务场景的标识信息之间的匹配度满足设定条件的标识信息对应的事件信息，将确定出的事件信息确定为目标业务场景下产生的事件信息。

其中，在一种具体实施方式中，上述设定条件可以是匹配度大于或等于设定阈值。

在采用本申请实施例提供的方法对风控模型进行评估时，可以设定一个评估周期，可以对各个评估周期内风控模型的风险防控能力进行评估。其中，此处的评估周期可以一定的时间长度，也可以是风控模型稽核设定数量的事件信息。

例如，上述评估周期为一天，则需要确定在这一天内目标业务场景下产生的事件信息；或者上述评估周期为风控模型的稽核量为300次，则需要确定风控模型所稽核的这300次事件信息中目标业务场景下产生的事件信息。

因此，在上述步骤S104中，业务场景的标识信息与业务场景下产生的事件信息的对应关系，实际上是评估周期内风控模型稽核的各个事件信息与业务场景的标识信息的对应关系。

具体的，在本申请实施例中，上述业务场景的标识信息与业务场景下产生的事件信息的对应关系，可以是业务场景的标识信息与业务场景下产生的事件信息的标识的对应关系。

其中，上述事件信息的标识可以是事件信息的唯一编码(identification，ID)。

因此，在本申请的一个具体实施例中，可以在执行上述步骤S102之前，建立各个业务场景的标识与业务场景下产生的事件信息的对应关系，具体包括如下步骤(1)、步骤(2)和步骤(3)；

步骤(1)、从业务场景下产生的事件信息中提取与业务场景关联的字段；

步骤(2)、根据上述字段生成业务场景的标识信息；

步骤(3)、建立上述业务场景的标识信息与该业务场景下产生的事件信息的对应关系。

其中，在上述步骤(1)中业务场景下产生的事件信息指的是用户对该业务场景下的业务进行操作时，所产生的用户记录该业务操作信息的事件信息。

步骤(1)中，提取的字段为可以表征该业务场景的字段，例如，该业务场景为转账到收钱码，为了能够表征该业务场景为转账到收钱码，提取的字段可以包括“转账”、“收钱码”等；若是该业务场景为转账给好友，则提取的字段可以包括“转账”、“好友”等。

在上述步骤(2)中，将步骤(1)中提取的各个业务场景下产生的每个事件信息中与该业务场景关联的字段，将具有相同字段的事件信息归为一个业务场景下的事件信息，并将该相同的字段确定为该业务场景下的标识信息。

为便于理解，下述将举例进行说明。

例如，各个业务场景下产生的事件信息有事件信息1、事件信息2、事件信息3、事件信息4和事件信息5，从事件信息1中提取的与业务场景关联的字段包括“转账”、“收钱码”，从事件信息2中提取的与业务场景关联的字段包括“转账”、“收钱码”，从事件信息3中提取的与业务场景关联的字段包括“转账”、“好友”，从事件信息4中提取的与业务场景关联的字段包括：“转账”、“好友”，从事件信息5中提取的与业务场景关联的字段包括：“转账”、“收钱码”，则可以确定出事件信息1、事件信息2、事件信息5属于同一个业务场景下产生的事件信息，且该业务场景的标识信息为“转账”、“收钱码”，事件信息3和时间信息4属于同一个业务场景下产生的事件信息，其而该业务场景的标识为“转账”、“好友”。

在一种具体实施方式中，在上述步骤(3)中，建立的可以是业务场景的标识信息与事件信息的标识之间的对应关系。

上述事件信息的标识可以是事件信息的ID。

其中，在本申请实施例中，上述建立的业务场景的标识信息与事件信息的对应关系可以以表格的形式呈现，一种可能的形式如表1所示。

表1

业务场景的标识信息	事件信息的标识
		标识信息1	标识1、标识2、标识5
标识信息2	标识3、标识7
		标识信息3	标识4、标识6、标识8

在表1所列的是各个业务场景的标识信息与该业务场景下产生的所有事件信息的标识之间的对应关系。在表1中，标识信息1对应的业务场景下的事件信息有标识1对应的事件信息、标识2对应的事件信息和标识5对应的事件信息，标识信息2对应的业务场景下的事件信息有标识3对应的事件嘻嘻、标识7对应的事件信息，标识信息3对应的业务场景下的事件信息有标识4对应的事件信息、标识6对应的事件信息以及标识8对应的事件信息。当然，上述表1只是示例性的说明，并不对标识信息的个数，以及每个标识信息对应的事件信息的个数进行限定。

当然，在另外一种具体实施方式中，上述建立的业务场景的标识信息与事件信息的对应关系的一种可能的具体形式如表2所示。

在表2所列的则是，各个业务场景的标识信息与该业务场景下的每个事件信息的标识之前的对应关系。当然，上述表2只是示例性的说明，并不对标识信息的个数、事件信息的个数以及具体对应关系进行限定。

表2

业务场景的标识信息	事件信息的标识
		标识信息1	标识1
标识信息2	标识3
		标识信息1	标识2
标识信息1	标识4

另外，还可以建立每个事件信息与该事件信息对应的业务被用户操作时所对应的时间戳信息，这样，可以根据时间戳信息确定出在评估周期内对应的事件信息。

步骤S106，获取目标业务场景下产生的事件信息所对应的评估数据；其中，该评估数据包括风控模型稽核目标业务场景下产生的事件信息所得到的稽核数据。

其中，上述评估数据用于对风控模型的风险防控能力进行评估。

在采用本申请实施例提供的方法进行风控模型的评估之前，可以预先建立各个事件信息与该事件信息对应的稽核情况之间的对应关系，这样，当通过步骤S104确定了目标业务场景下产生的事件信息后，在步骤S106中，则可以根据确定出的目标业务场景下产生的事件信息以及预先建立的对应关系，获取该目标业务场景下产生的事件信息所对应的评估数据。

其中，在获取上述评估数据时，可以获取到目标业务场景下的各个事件信息对应的稽核情况，然后，统计得到目标业务场景下的事件信息所对应的评估数据。

其中，上述稽核情况可以是该事件信息的稽核结果、稽核导致的案件的资产损失金额、稽核的事件信息对应的业务金额等。

在一种具体实施方式中，可以预先建立各个事件信息的标识与该事件信息对应的稽核情况之间的对应关系。

在本申请实施例中，当用户对某项业务进行操作时，针对用户对该业务的操作，会生成描述执行该操作的用户、执行的具体操作以及所处的环境等内容的事件信息，然后风控模型会对该事件信息进行稽核。一般的，风控模型在对事件信息进行稽核时，风控模型输出的稽核结果可以包括如下几种类型：放过、校验用户、失败用户和限权用户。

其中，上述放过指的是稽核通过，即该事件信息对应的业务操作成功；校验用户指的是需要对操作该事件信息对应的业务的用户进行验证，例如，一种可能的实现方式，可以是向用户的手机发送验证码，然后由用户输入该验证码进行认证；失败用户指的是经过稽核认定该事件信息对应的业务操作失败的用户；限权用户指的是稽核认定该事件信息对应的业务的操作用户当前处于限权阶段，无法执行上述操作。

另外，当风控模型输出的稽核结果为放过时，可能会出现由于没有识别出风险而放过该次业务，从而导致案件的发生，这时，可能会导致用户出现金钱损失。因此，上述稽核数据还包括由于风控模型没有识别出风险而导致的案件的资金损失金额。

上述稽核数据还包括风控模型稽核的目标业务场景下产生的事件信息所对应的业务金额。

本申请实施例中，在评估周期内，会对风控模型进行稽核的事件信息的总量、风控模型稽核的目标业务场景下产生的时间信息所对应的业务金额以及风控模型输出的校验用户的数量、失败用户的数量以及限权用户的数量进行统计，得到进行稽核的事件信息的总量、校验用户的数量、失败用户的数量以及限权用户的数量；并且还会对该评估周期内导致的案件的资金损失金额进行统计，将统计得到的稽核的事件信息的总量、校验用户的数量、失败用户的数量、限权用户的数量、案件的资金损失金额以及稽核的业务金额作为稽核数据进行记录。

其中，上述评估周期可以是设定时间长度、也可以是设定的进行稽核的事件信息的总量。

步骤S108，根据上述评估数据，对风控模型针对目标业务场景的风险防控能力进行评估。

在本申请实施例中，如果仅仅以稽核数据作为评估数据对风控模型针对目标业务场景的风险防控能力进行评估，可能无法全面评估风控模型的风险防控能力，评估结果的可参考性较低。因此，为了实现全面的对风险模型针对目标业务场景的风险防控能力进行评估，提高评估结果的参考价值，在本申请实施例中，上述评估数据还包括由于风控模型误稽核所导致的用户行为数据；

相应的，上述步骤S108中，根据评估数据，对风控模型针对目标业务场景的风险防控能力进行评估，具体包括：

根据用户行为数据和稽核数据，对风控模型针对目标业务场景的风险防控能力进行评估。

其中，在本申请实施例中，上述用户行为数据包括以下中的至少一项：

用户的来电量、用户的投诉量。

上述用户的来电量指的是由于评估周期内，风控模型出现误稽核导致的用户来电进行投诉或者反映问题的数量；上述投诉量包括由于在评估周期内，风控模型出现误稽核所导致的用户来电投诉和通过应用程序进行投诉的数量。

具体的，在本申请实施例中，上述根据用户行为数据和稽核数据，对风控模型针对目标业务场景的风险防控能力进行评估，具体包括如下步骤(A)、步骤(B)和步骤(C)；

步骤(A)、根据用户行为数据和稽核数据以，确定风控模型对目标业务场景下产生的事件信息进行稽核所引起的来电率和投诉率。

上述来电率指的是在评估周期内，由于风控模型的误稽核所导致的用户的来电量占风控模型稽核的事件信息的数量的比率，可以通过如下公式计算上述来电率：

来电率＝来电量/稽核量

其中，上述稽核量指的是在评估周期内风控模型所稽核的目标业务场景下产生的事件信息的总量，来电量指的是由于评估周期内风控模型的误稽核所导致的用户来电数量。

上述投诉率指的是在评估周期内，由于风控模型的误稽核所导致的用户的投诉率占风控模型稽核的事件信息的数量的比率，可以通过如下公式计算上述投诉率：

投诉率＝投诉量/稽核量

其中，上述稽核量指的是在评估周期内风控模型所稽核的目标业务场景下产生的事件信息的总量，投诉量指的是由于评估周期内风控模型的误稽核所导致的用户进行投诉的数量。

步骤(B)、根据上述稽核数据确定风控模型对目标业务场景下产生的事件信息进行稽核所得到的校验率、失败率、限权率、资损率和业务金额变化率。

其中，上述资损率指的是由于误稽核所导致的相关案件所造成的资金损失率，可以通过如下公式计算资损率：

资损率＝案件资金损失金额/目标业务场景下的总体金额

其中，上述案件资金损失金额指的是由于风控模型的误稽核所导致的相关案件所造成的资金损失金额，上述目标业务场景下的总体金额，指的是在评估周期内，风控模型稽核的目标业务场景下所有事件信息对应的业务的总体金额。

其中，上述校验率指的是在评估周期内，风控模型对目标业务场景的下的事件信息进行稽核输出的校验用户的比率，其中，校验率可以通过如下公式计算：

校验率＝校验用户数量/稽核量

在上述公式中，校验用户数量指的是在评估周期内，风控模型对目标业务场景下产生的事件信息进行稽核所输出的校验用户的数量；稽核量指的是在评估周期内风控模型所稽核的目标业务场景下产生的事件信息的总量。

上述失败率指的是在评估周期内，风控模型对目标业务场景下产生的事件信息进行稽核所输出的失败用户的比率，其中，失败率可以通过如下公式计算：

失败率＝失败用户数量/稽核量

在上述公式中，失败用户数量指的是在评估周期内，风控模型对目标业务场景下产生的事件信息进行稽核所输出的失败用户的数量；稽核量指的是在评估周期内风控模型所稽核的目标业务场景下产生的事件信息的总量。

上述限权率指的是在评估周期内，风控模型对目标业务场景下产生的事件信息进行稽核所输出的限权用户的比率，其中，限权率可以通过如下公式计算：

限权率＝限权用户数量/稽核量

在上述公式中，限权用户数量指的是在评估周期内，风控模型对目标业务场景下产生的事件信息进行稽核所输出的限权用户的数量；稽核量指的是在评估周期内风控模型所稽核的目标业务场景下产生的事件信息的总量。

其中，上述业务金额变化率可以通过如下公式计算：

业务金额变化率＝评估周期内目标业务场景的业务总体金额/预设时间段内目标业务场景的业务总体金额。

其中，上述预设时间段指的是评估周期内的目标业务场景的业务总体金额，以及评估周期前一段时间内的目标业务场景的业务总体金额的和值。

例如，上述评估周期为2018.3.29日当天，则风控模型稽核的是2018.3.29日当的事件信息，则在对上述风控模型的风险防空能力进行评估时，需要获取的是2018.3.29日当天的评估数据，因此，上述评估周期内目标业务场景的业务总体金额则是2018.3.29日稽核的目标业务场景下的业务总体金额，上述预设时间段内的目标业务场景的总体金额，可以是2018.3.29日以及2018.3.29日之前的几天内风控模型稽核的目标业务场景下的业务总体金额。比如，可以是包括2018.3.29日在内的前七日风控模型稽核的目标业务场景下的业务总体金额。

步骤(C)、根据上述资损率、来电率、投诉率、校验率、失败率、限权率以及业务金额变化率，对风控模型针对目标业务场景的风险防控能力进行评估。

其中，上述步骤(C中，根据资损率、来电率、投诉率、校验率、失败率、限权率以及业务金额变化率，对风控模型针对目标业务场景的风险防控能力进行评估，具体包括：

根据资损率、来电率、投诉率、校验率、失败率、限权率和业务金额变化率，通过如下公式计算风控模型针对目标业务场景的风险防控能力得分；

根据风控模型对应的风险防控能力得分，对风控模型针对目标业务场景的风险防控能力进行评估；

其中，在上述公式中，S表示风控模型的风险防控能力得分，A表示资损率的权重系数，B₁表示述校验率的权重系数，B₂表示失败率的权重系数，B₃表示限权率的权重系数，C表示来电率的权重系数，D表示投诉率的权重系数，E表示目标业务场景的业务的风险承受指数。

其中，上述风险承受指数可以根据目标业务场景进行选取，本申请实施例并不对上述风险承受指数的具体取值进行限定。

当计算出风控模型针对目标业务场景的风险防控能力得分后，可以将该得分与设定分值进行比对，若是计算得出风险防控能力得分小于或等于设定分值，则输出告警任务，并通知相关人员对该风控模型进行调整。

在本申请的一个具体实施方式中，可以通过如下步骤确定上述公式中的各个系数的具体取值：

确定风险防控能力得分的基线值以及上述资损率、校验率、失败率、限权率、来电率和投诉率这些指标的基线值；在基线值的基础上通过线性回归算法计算出各个系数的取值；对各个系数的取值进行修正。

其中，在上述过程中的各个系数指的是资损率的系数、校验率的系数、失败率的系数、限权率的系数、来电率的系数和投诉率的系数。

具体的，在本申请实施例中，所使用的线性回归函数如下所示：

f(x,y,z)＝ax+by+cz+…+…

其中，在上述公式中，x、y、z…表示的是训练样本集中资损率、校验率、失败率、限权率、来电率和投诉率对应的样本值，上述a、b、c…表示的是线性回归函数的未知参数，也是需要计算的各个系数。

在本申请实施例中，可以输入x、y、z…分别对应的特征值，通过判定系数(模型对样本数据的解释程度)、回归系数检验统计量、判断模型的拟合程度以及确定样本矩阵相关系数的过程，计算出上述回归函数中a、b、c…的取值。

当通过上述过程计算出各个系数值后，还需要基于上述资损率、校验率、失败率、限权率、来电率和投诉率这些指标以及风险防控能力的基线值，对各个系数进行修正。

通过对各个系数的具体取值进行修正，可以使得上述风险防控能力得分的计算公式更符合实际业务需求。例如，在某个业务场景上线初期，为了提高用户体验，可能会来电率比较敏感，则需要根据该实际需求对来电率的系数进行调整。

本申请实施例提供的方法，根据确定的待评估的目标业务场景的标识信息以及建立的业务场景的标识信息与业务场景下产生的事件信息的对应关系，确定出目标业务场景下产生的事件信息，并获取目标业务场景下产生的事件信息所对应的评估数据，然后根据该评估数据对风控模型针对目标业务场景的风险防控能力进行评估。在本申请实施例中，可以获取目标业务场景下产生的事件信息所对应的评估数据，从而可以对风控模型针对目标业务场景的风险防控能力进行评估，实现了对风控模型针对某个具体业务场景下的风险防控能力的评估。

基于图1所示的方法，本申请实施例还提供了一种风控模型的评估方法，图2示出了本申请实施例提供的风控模型的评估方法的第二种方法流程图，针对图2所示的方法，这里重点介绍与上述图1所示的方法的不同之处，相同之处可参考前述图1的描述，这里不再赘述。如图2所示的方法，该方法至少包括如下步骤：

步骤S202，确定待评估的目标业务场景的标识信息。

其中，上述待评估的目标业务场景指的是某种业务的一种具体场景，例如，上述目标业务场景可以是转账业务中的转账到收钱码这种具体的业务场景。

上述标识信息指的是可以表征该具体业务场景的字段，例如，若上述目标业务场景为转账到收钱码，则该标识信息可以是“转账”、“收钱码”等。

具体的，在本申请实施例中，可以通过如下过程确定待评估的目标业务场景的标识信息：获取目标业务场景下产生的事件信息；从该事件信息中提取与目标业务场景相关联的关键字段，将获取的关键字段确定为目标业务场景的标识信息。

上述事件信息指的是用户对目标业务场景下的业务进行操作时所产生的用于描述执行操作的用户、执行的具体操作以及所处的环境等内容的信息。例如，用户使用支付宝进行向好友转账的操作，则对应的事件信息可以为“用户A使用支付宝向好友B转账某某元”。

其中，上述与目标业务场景关联的关键字段指的是能够表征目标业务场景的字段。例如，若是上述目标业务场景为转账到收钱码，则提取的关键字段可以是“收钱码”、“转账”等，可以将“收钱码”以及“转账”作为目标业务场景的标识信息。

在另外一种具体实施方式中，为了避免每次在采用本申请实施例提供的方法对风控模型进行评估时，都需要提取一次目标业务场景的标识信息，可以预先建立目标业务场景与其对应的标识信息的对应关系，这样，当需要采用本申请实施例提供的方法对风控模型进行评估时，可以直接查找目标业务场景对应的标识信息。

步骤S204，根据建立的业务场景的标识信息与业务场景下产生的事件信息的对应关系，确定目标业务场景下产生的事件信息。

其中，上述业务场景的标识信息与业务场景下产生的事件信息的对应关系是预先建立的，可以在执行本申请实施例提供的方法之前建立，也可以是在执行步骤S104之前建立。这样，在采用本申请实施例提供的方法对风控模型针对目标业务场景的风险防控能力进行评估时，可以直接根据预先建立的业务场景的标识信息与业务场景下产生的事件信息的对应关系，确定目标业务场景下产生的事件信息。

其中，上述各个业务场景指的是待评估的风控模型所稽核的一类业务下各个不同的具体场景。

其中，在上述步骤S204中，可以将目标业务场景的标识信息与上述对应关系中的各个标识信息进行匹配，确定出与所述目标业务场景的标识信息之间的匹配度满足设定条件的标识信息对应的事件信息，将确定出的事件信息确定为目标业务场景下产生的事件信息。

其中，在一种具体实施方式中，上述设定条件可以是匹配度大于或等于设定阈值。

在采用本申请实施例提供的方法对风控模型进行评估时，可以设定一个评估周期，可以对各个评估周期内风控模型的风险防控能力进行评估。其中，此处的评估周期可以一定的时间长度，也可以是风控模型稽核设定数量的事件信息。

例如，上述评估周期为一天，则需要确定在这一天内目标业务场景下产生的事件信息；或者上述评估周期为风控模型的稽核量为300次，则需要确定风控模型所稽核的这300次事件信息中目标业务场景下产生的事件信息。

因此，在上述步骤S204中，业务场景的标识信息与业务场景下产生的事件信息的对应关系，实际上是评估周期内风控模型稽核的各个事件信息与业务场景的标识信息的对应关系。

具体的，在本申请实施例中，上述建立的业务场景的标识信息与业务场景下产生的事件信息的对应关系，可以是业务场景的标识信息与业务场景下产生的事件信息的标识的对应关系。

其中，上述事件信息的标识可以是事件信息的唯一编码(identification，ID)。

因此，在本申请的一个具体实施例中，可以在执行上述步骤S102之前，需要建立各个业务场景的标识与业务场景下产生的事件信息的对应关系，具体包括如下步骤(1)、步骤(2)和步骤(3)；

步骤(1)、从业务场景下产生的事件信息中提取与业务场景关联的字段；

步骤(2)、根据上述字段生成业务场景的标识信息；

步骤(3)、建立上述业务场景的标识信息与该业务场景下产生的事件信息的对应关系。

其中，在上述步骤(1)中业务场景下产生的事件信息指的是用户对该业务场景下的业务进行操作时，所产生的用户记录该业务操作信息的事件信息。

步骤(1)中，提取的字段为可以表征该业务场景的字段，例如，该业务场景为转账到收钱码，为了能够表征该业务场景为转账到收钱码，提取的字段可以包括“转账”、“收钱码”等；若是该业务场景为转账给好友，则提取的字段可以包括“转账”、“好友”等。

在上述步骤(2)中，将步骤(1)中提取的各个业务场景下产生的每个事件信息中与该业务场景关联的字段，将具有相同字段的事件信息归为一个业务场景下的事件信息，并将该相同的字段确定为该业务场景下的标识信息。

在一种具体实施方式中，在上述步骤(3)中，建立的可以是业务场景的标识信息与事件信息的标识之间的对应关系。

上述事件信息的标识可以是事件信息的ID。

步骤S206，获取上述目标业务场景下产生的事件信息所对应的评估数据，该评估数据包括风控模型稽核目标业务场景下产生的事件信息所得到的稽核数据以及由于风控模型误稽核所导致的用户行为数据。

其中，上述评估数据用于对风控模型的风险防控能力进行评估。

在采用本申请实施例提供的方法进行风控模型的评估之前，可以预先建立各个事件信息与该事件信息对应的稽核情况以及由于稽核导致的用户行为之间的对应关系，这样，当通过步骤S104确定了目标业务场景下产生的事件信息后，在步骤S106中，则可以根据确定出的目标业务场景下产生的事件信息以及预先建立的对应关系，获取该目标业务场景下产生的事件信息所对应的评估数据。

其中，在获取上述评估数据时，可以获取到目标业务场景下的各个事件信息对应的稽核情况以及对应的用户行为情况，然后，统计得到目标业务场景下的事件信息所对应的评估数据。

其中，上述稽核情况可以是该事件信息的稽核结果、稽核导致的案件的资产损失金额、稽核的事件信息对应的业务金额等；上述对应的用户行为情况可以是用户是否来电，用户是否投诉等。

在一种具体实施方式中，可以预先建立各个事件信息的标识与该事件信息对应的稽核情况以及由于稽核导致的用户行为之间的对应关系。

在本申请实施例中，当用户对某项业务进行操作时，针对用户对该业务的操作，会生成描述执行该操作的用户、执行的具体操作以及所处的环境等内容的事件信息，然后风控模型会对该事件信息进行稽核。一般的，风控模型在对事件信息进行稽核时，风控模型输出的稽核结果可以包括如下几种类型：放过、校验用户、失败用户和限权用户。

其中，上述放过指的是稽核通过，即该事件信息对应的业务操作成功；校验用户指的是需要对操作该事件信息对应的业务的用户进行验证，例如，一种可能的实现方式，可以是向用户的手机发送验证码，然后由用户输入该验证码进行认证；失败用户指的是经过稽核认定该事件信息对应的业务操作失败的用户；限权用户指的是稽核认定该事件信息对应的业务的操作用户当前处于限权阶段，无法执行上述操作。

另外，当风控模型输出的稽核结果为放过时，可能会出现由于没有识别出风险而放过该次业务，从而导致案件的发生，这时，可能会导致用户出现金钱损失。因此，上述稽核数据还包括由于风控模型没有识别出风险而导致的案件的资金损失金额。

上述稽核数据还包括风控模型稽核的目标业务场景下产生的事件信息所对应的业务金额。

本申请实施例中，在评估周期内，会对风控模型进行稽核的事件信息的总量、风控模型稽核的目标业务场景下产生的时间信息所对应的业务金额以及风控模型输出的校验用户的数量、失败用户的数量以及限权用户的数量进行统计，得到进行稽核的事件信息的总量、校验用户的数量、失败用户的数量以及限权用户的数量；并且还会对该评估周期内导致的案件的资金损失金额进行统计，将统计得到的稽核的事件信息的总量、校验用户的数量、失败用户的数量、限权用户的数量、案件的资金损失金额以及稽核的业务金额作为稽核数据进行记录。

其中，上述评估周期可以是设定时间长度、也可以是设定的进行稽核的事件信息的总量。

其中，在本申请实施例中，上述用户行为数据包括以下中的至少一项：

用户的来电量、用户的投诉量。

上述用户的来电量指的是由于评估周期内，风控模型出现误稽核导致的用户来电进行投诉或者反映问题的数量；上述投诉量包括由于在评估周期内，风控模型出现误稽核所导致的用户来电投诉和通过应用程序进行投诉的数量。

步骤S208，根据上述用户行为数据和稽核数据，对风控模型针对目标业务场景的风险防控能力进行评估。

具体的，在本申请实施例中，上述根据用户行为数据、稽核数据以及目标业务场景下产生的事件信息所对应的业务数据，对风控模型针对目标业务场景的风险防控能力进行评估，具体包括如下步骤(A)、步骤(B)和步骤(C)；

步骤(A)、根据用户行为数据和稽核数据，确定风控模型对目标业务场景下产生的事件信息进行稽核所引起的资损率、来电率和投诉率。

上述来电率指的是在评估周期内，由于风控模型的误稽核所导致的用户的来电量占风控模型稽核的事件信息的数量的比率，可以通过如下公式计算上述来电率：

来电率＝来电量/稽核量

其中，上述稽核量指的是在评估周期内风控模型所稽核的目标业务场景下产生的事件信息的总量，来电量指的是由于评估周期内风控模型的误稽核所导致的用户来电数量。

上述投诉率指的是在评估周期内，由于风控模型的误稽核所导致的用户的投诉率占风控模型稽核的事件信息的数量的比率，可以通过如下公式计算上述投诉率：

投诉率＝投诉量/稽核量

其中，上述稽核量指的是在评估周期内风控模型所稽核的目标业务场景下产生的事件信息的总量，投诉量指的是由于评估周期内风控模型的误稽核所导致的用户进行投诉的数量。

步骤(B)、根据上述稽核数据确定风控模型对目标业务场景下产生的事件信息进行稽核所得到的校验率、失败率、限权率、资损率和业务金额变化率。

其中，上述资损率指的是由于误稽核所导致的相关案件所造成的资金损失率，可以通过如下公式计算资损率：

资损率＝案件资金损失金额/目标业务场景下的总体金额

其中，上述案件资金损失金额指的是由于风控模型的误稽核所导致的相关案件所造成的资金损失金额，上述目标业务场景下的总体金额，指的是在评估周期内，风控模型稽核的目标业务场景下所有事件信息对应的业务的总体金额。

其中，上述校验率指的是在评估周期内，风控模型对目标业务场景的下的事件信息进行稽核输出的校验用户的比率，其中，校验率可以通过如下公式计算：

校验率＝校验用户数量/稽核量

在上述公式中，校验用户数量指的是在评估周期内，风控模型对目标业务场景下产生的事件信息进行稽核所输出的校验用户的数量；稽核量指的是在评估周期内风控模型所稽核的目标业务场景下产生的事件信息的总量。

上述失败率指的是在评估周期内，风控模型对目标业务场景下产生的事件信息进行稽核所输出的失败用户的比率，其中，失败率可以通过如下公式计算：

失败率＝失败用户数量/稽核量

在上述公式中，失败用户数量指的是在评估周期内，风控模型对目标业务场景下产生的事件信息进行稽核所输出的失败用户的数量；稽核量指的是在评估周期内风控模型所稽核的目标业务场景下产生的事件信息的总量。

上述限权率指的是在评估周期内，风控模型对目标业务场景下产生的事件信息进行稽核所输出的限权用户的比率，其中，限权率可以通过如下公式计算：

限权率＝限权用户数量/稽核量

在上述公式中，限权用户数量指的是在评估周期内，风控模型对目标业务场景下产生的事件信息进行稽核所输出的限权用户的数量；稽核量指的是在评估周期内风控模型所稽核的目标业务场景下产生的事件信息的总量。

其中，上述业务金额变化率可以通过如下公式计算：

业务金额变化率＝评估周期内目标业务场景的业务总体金额/预设时间段内目标业务场景的业务总体金额。

其中，上述预设时间段指的是评估周期内的目标业务场景的业务总体金额，以及评估周期前一段时间内的目标业务场景的业务总体金额的和值。

例如，上述评估周期为2018.3.29日当天，则风控模型稽核的是2018.3.29日当的事件信息，则在对上述风控模型的风险防空能力进行评估时，需要获取的是2018.3.29日当天的评估数据，因此，上述评估周期内目标业务场景的业务总体金额则是2018.3.29日稽核的目标业务场景下的业务总体金额，上述预设时间段内的目标业务场景的总体金额，可以是2018.3.29日以及2018.3.29日之前的几天内风控模型稽核的目标业务场景下的业务总体金额。比如，可以是包括2018.3.29日在内的前七日风控模型稽核的目标业务场景下的业务总体金额。

步骤(C)、根据上述资损率、来电率、投诉率、校验率、失败率、限权率以及业务金额变化率，对风控模型针对目标业务场景的风险防控能力进行评估。

其中，上述步骤(C)中，根据资损率、来电率、投诉率、校验率、失败率、限权率以及业务金额变化率，对风控模型针对目标业务场景的风险防控能力进行评估，具体包括：

根据资损率、来电率、投诉率、校验率、失败率、限权率和业务金额变化率，通过如下公式计算风控模型针对目标业务场景的风险防控能力得分；

根据风控模型对应的风险防控能力得分，对风控模型针对目标业务场景的风险防控能力进行评估；

其中，在上述公式中，S表示风控模型的风险防控能力得分，A表示资损率的权重系数，B₁表示述校验率的权重系数，B₂表示失败率的权重系数，B₃表示限权率的权重系数，C表示来电率的权重系数，D表示投诉率的权重系数，E表示目标业务场景的业务的风险承受指数。

为便于理解本申请实施例提供的风控模型的评估方法，下述将通过评估风控模型针对“支付宝转账到收钱码”这一具体业务场景的风险防控能力为例具体实施例为例进行介绍。

图3为本申请实施例提供的风控模型的评估方法的第三种方法流程图，在图3所示的方法中，至少包括如下步骤：

步骤S302，确定“转账到收钱码”这一业务场景的标识信息。

其中，上述标识信息可以是“转账”、“收钱码”等关键字段。

步骤S304，根据上述标识信息，以及预先建立的业务场景的标识信息与业务场景下产生的事件信息的对应关系，确定在“转账到收钱码”这一具体业务场景下产生的事件信息。

步骤S306，获取“转账到收钱码”这一具体业务场景下产生的事件信息所对应的评估数据；其中，该评估数据包括由于风控模型误稽核所导致的用户行为数据以及风控模型对该业务场景下的事件信息进行稽核所得到的稽核数据。

其中，上述用户行为数据包括用户的来电量、用户的投诉量等。

步骤S308，根据稽核数据，计算出风控模型对“转账到收钱码”这一场景下的业务进行稽核所得到的校验率、失败率、限权率、资损率和业务金额变化率。

步骤S310，根据用户行为数据和稽核数据，计算风控模型对“转账到收钱码”这一场景下的业务进行稽核所引起的来电率和投诉率。

步骤S312，根据上述资损率、来电率、投诉率、校验率、失败率、限权率和业务金额变化率，计算风控模型针对“转账到收钱码”这一业务场景的风险防控能力得分。

步骤S314，根据上述风险防控能力得分，对风控模型针对“转账到收钱码”这一业务场景的风险防控能力进行评估。

本申请实施例提供的风控模型的评估方法，根据确定的待评估的目标业务场景的标识信息以及业务场景的标识信息与业务场景下产生的事件信息的对应关系，确定出目标业务场景下产生的事件信息，并获取目标业务场景下产生的事件信息所对应的评估数据，然后根据该评估数据对风控模型针对目标业务场景的风险防控能力进行评估。在本申请实施例中，可以获取目标业务场景下产生的事件信息所对应的评估数据，从而可以对风控模型针对目标业务场景的风险防控能力进行评估，实现了对风控模型针对某个具体业务场景下的风险防控能力的评估；并且，在本申请实施例中，上述评估数据包括由于风控模型误稽核所导致的用户行为数据，将用户行为考虑在内，实现对风险模型针对目标业务场景的风险防控能力的全面的评估，提高评估结果的参考价值。

对应上述风控模型的评估方法，基于相同的思路，本申请实施例还提供了一种风控模型的评估装置，图4为本申请实施例提供的风控模型的评估装置的第一种模块组成示意图，图4所示的装置，至少包括：

第一确定模块41，用于确定待评估的目标业务场景的标识信息；

第二确定模块42，用于根据建立的业务场景的标识信息与业务场景下产生的事件信息的对应关系，确定目标业务场景下产生的事件信息；

第一获取模块43，用于获取目标业务场景下产生的事件信息所对应的评估数据；该评估数据包括风控模型稽核目标业务场景下产生的事件信息所得到的稽核数据；

第一评估模块44，用于根据上述评估数据，对风控模型针对目标业务场景的风险防控能力进行评估。

可选地，上述装置，还包括：

第一提取模块，用于从业务场景下产生的事件信息中提取与业务场景关联的字段；

第一生成模块，用于根据上述字段生成业务场景的标识信息；

第一建立模块，用于建立业务场景的标识信息与该业务场景下产生的事件信息的对应关系。

可选地，上述评估数据包括由于风控模型误稽核所导致的用户行为数据；

相应的，上述第一评估模块44，包括：

第一评估单元，根据上述用户行为数据和上述稽核数据，对风控模型针对目标业务场景的风险防控能力进行评估。

可选地，上述用户行为数据包括以下中的至少一项：

用户的来电量、用户的投诉量。

可选地，上述第一评估单元，具体用于：

根据上述用户行为数据和上述稽核数据，确定上述风控模型对上述目标业务场景下产生的事件信息进行稽核所引起的来电率和投诉率；根据上述稽核数据确定上述风控模型对上述目标业务场景下产生的事件信息进行稽核所得到的校验率、失败率、限权率、资损率和业务金额变化率；根据上述资损率、上述来电率、上述投诉率、上述校验率、上述失败率、上述限权率以及上述业务金额变化率，对上述风控模型针对上述目标业务场景的风险防控能力进行评估。

可选地，上述第一评估单元，还具体用于：

根据上述资损率、上述来电率、上述投诉率、上述校验率、上述失败率、上述限权率和上述业务金额变化率，通过如下公式计算上述风控模型针对上述目标业务场景的风险防控能力得分；

根据上述风控模型对应的风险防控能力得分，对上述风控模型针对上述目标业务场景的风险防控能力进行评估；

其中，在上述公式中，S表示上述风控模型的风险防控能力得分，A表示上述资损率的权重系数，B₁表示上述校验率的权重系数，B₂表示上述失败率的权重系数，B₃表示上述限权率的权重系数，C表示上述来电率的权重系数，D表示上述投诉率的权重系数，E表示目标业务场景的业务的风险承受指数。

本申请实施例提供的风控模型的评估装置，根据确定的待评估的目标业务场景的标识信息以及建立的业务场景的标识信息与业务场景下产生的事件信息的对应关系，确定出目标业务场景下产生的事件信息，并获取目标业务场景下产生的事件信息所对应的评估数据，然后根据该评估数据对风控模型针对目标业务场景的风险防控能力进行评估。在本申请实施例中，可以获取目标业务场景下产生的事件信息所对应的评估数据，从而可以对风控模型针对目标业务场景的风险防控能力进行评估，实现了对风控模型针对某个具体业务场景下的风险防控能力的评估。

对应上述风控模型的评估方法，基于相同的思路，本申请实施例还提供了一种风控模型的评估装置，图5为本申请实施例提供的风控模型的评估装置的第二种模块组成示意图，图5所示的装置，至少包括：

第三确定模块51，用于确定待评估的目标业务场景的标识信息；

第四确定模块52，用于根据建立的业务场景的标识信息与业务场景下产生的事件信息的对应关系，确定上述目标业务场景下产生的事件信息；

第二获取模块53，用于获取上述目标业务场景下产生的事件信息所对应的评估数据；上述评估数据包括风控模型稽核上述目标业务场景下产生的事件信息所得到的稽核数据以及由于上述风控模型误稽核所导致的用户行为数据；

第二评估模块54，用于根据上述用户行为数据和上述稽核数据，对上述风控模型针对上述目标业务场景的风险防控能力进行评估。

可选地，上述装置，还包括：

第二提取模块，用于从业务场景下产生的事件信息中提取与业务场景关联的字段；

第二生成模块，用于根据上述字段生成业务场景的标识信息；

第二建立模块，用于建立业务场景的标识信息与该业务场景下产生的事件信息的对应关系。

可选地，上述用户行为数据包括以下中的至少一项：

用户的来电量、用户的投诉量。

可选地，上述第二评估模块54，具体用于：

根据上述用户行为数据和上述稽核数据，确定上述风控模型对上述目标业务场景下产生的事件信息进行稽核所引起的来电率和投诉率；根据上述稽核数据确定上述风控模型对上述目标业务场景下产生的事件信息进行稽核所得到的校验率、失败率、限权率、资损率和业务金额变化率；根据上述资损率、上述来电率、上述投诉率、上述校验率、上述失败率、上述限权率以及上述业务金额变化率，对上述风控模型针对上述目标业务场景的风险防控能力进行评估。

本申请实施例提供的风控模型的评估装置，根据确定的待评估的目标业务场景的标识信息以及建立的业务场景的标识信息与业务场景下产生的事件信息的对应关系，确定出目标业务场景下产生的事件信息，并获取目标业务场景下产生的事件信息所对应的评估数据，然后根据该评估数据对风控模型针对目标业务场景的风险防控能力进行评估。在本申请实施例中，可以获取目标业务场景下产生的事件信息所对应的评估数据，从而可以对风控模型针对目标业务场景的风险防控能力进行评估，实现了对风控模型针对某个具体业务场景下的风险防控能力的评估；并且，在本申请实施例中，上述评估数据包括由于风控模型误稽核所导致的用户行为数据，将用户行为考虑在内，实现对风险模型针对目标业务场景的风险防控能力的全面的评估，提高评估结果的参考价值。

进一步地，基于上述图1至图3所示的方法，本申请实施例还提供了一种风控模型的评估设备，如图6所示。

风控模型的评估设备可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上的处理器601和存储器602，存储器602中可以存储有一个或一个以上存储应用程序或数据。其中，存储器602可以是短暂存储或持久存储。存储在存储器602的应用程序可以包括一个或一个以上模块(图示未示出)，每个模块可以包括对风控模型的评估设备中的一系列计算机可执行指令。更进一步地，处理器601可以设置为与存储器602通信，在风控模型的评估设备上执行存储器602中的一系列计算机可执行指令。风控模型的评估设备还可以包括一个或一个以上电源603，一个或一个以上有线或无线网络接口604，一个或一个以上输入输出接口605，一个或一个以上键盘606等。

在一个具体的实施例中，风控模型的评估设备包括有存储器，以及一个或一个以上的程序，其中一个或者一个以上程序存储于存储器中，且一个或者一个以上程序可以包括一个或一个以上模块，且每个模块可以包括对风控模型的评估设备中的一系列计算机可执行指令，且经配置以由一个或者一个以上处理器执行该一个或者一个以上程序包含用于进行以下计算机可执行指令：

确定待评估的目标业务场景的标识信息；

根据建立的业务场景的标识信息与业务场景下产生的事件信息的对应关系，确定目标业务场景下产生的事件信息；

获取目标业务场景下产生的事件信息所对应的评估数据；该评估数据包括风控模型稽核目标业务场景下产生的事件信息所得到的稽核数据；

根据评估数据，对风控模型针对目标业务场景的风险防控能力进行评估。

可选地，计算机可执行指令在被执行时，确定待评估的目标业务场景的标识信息之前，还包括：

从业务场景下产生的事件信息中提取与业务场景关联的字段；

根据上述字段生成业务场景的标识信息；

建立业务场景的标识信息与业务场景下产生的事件信息的对应关系。

可选地，计算机可执行指令在被执行时，上述评估数据还由于风控模型误稽核所导致的用户行为数据；

上述根据评估数据，对风控模型针对目标业务场景的风险防控能力进行评估，包括：

根据用户行为数据和稽核数据所对应的业务数据，对风控模型针对目标业务场景的风险防控能力进行评估。

可选地，计算机可执行指令在被执行时，用户行为数据包括以下中的至少一项：

用户的来电量、用户的投诉量。

可选地，计算机可执行指令在被执行时，根据用户行为数据和稽核数据，对风控模型针对目标业务场景的风险防控能力进行评估，包括：

根据用户行为数据和稽核数据，确定风控模型对目标业务场景下产生的事件信息进行稽核所引起的来电率和投诉率；

根据稽核数据确定风控模型对目标业务场景下产生的事件信息进行稽核所得到的校验率、失败率、限权率、资损率和业务金额变化率；

根据资损率、来电率、投诉率、校验率、失败率、限权率以及业务金额变化率，对风控模型针对目标业务场景的风险防控能力进行评估。

可选地，计算机可执行指令在被执行时，根据资损率、来电率、投诉率、校验率、失败率、限权率以及业务金额变化率，对风控模型针对目标业务场景的风险防控能力进行评估，包括：

根据资损率、来电率、投诉率、校验率、失败率、限权率和业务金额变化率，通过如下公式计算风控模型针对目标业务场景的风险防控能力得分；

根据风控模型对应的风险防控能力得分，对风控模型针对目标业务场景的风险防控能力进行评估；

其中，在上述公式中，S表示风控模型的风险防控能力得分，A表示资损率的权重系数，B₁表示校验率的权重系数，B₂表示失败率的权重系数，B₃表示限权率的权重系数，C表示来电率的权重系数，D表示投诉率的权重系数，E表示目标业务场景的业务的风险承受指数。

本申请实施例提供的风控模型的评估设备，根据确定的待评估的目标业务场景的标识信息以及建立的业务场景的标识信息与业务场景下产生的事件信息的对应关系，确定出目标业务场景下产生的事件信息，并获取目标业务场景下产生的事件信息所对应的评估数据，然后根据该评估数据对风控模型针对目标业务场景的风险防控能力进行评估。在本申请实施例中，可以获取目标业务场景下产生的事件信息所对应的评估数据，从而可以对风控模型针对目标业务场景的风险防控能力进行评估，实现了对风控模型针对某个具体业务场景下的风险防控能力的评估。

在一个具体的实施例中，风控模型的评估设备包括有存储器，以及一个或一个以上的程序，其中一个或者一个以上程序存储于存储器中，且一个或者一个以上程序可以包括一个或一个以上模块，且每个模块可以包括对风控模型的评估设备中的一系列计算机可执行指令，且经配置以由一个或者一个以上处理器执行该一个或者一个以上程序包含用于进行以下计算机可执行指令：

确定待评估的目标业务场景的标识信息；

根据建立的业务场景的标识信息与业务场景下产生的事件信息的对应关系，确定目标业务场景下产生的事件信息；

获取目标业务场景下产生的事件信息所对应的评估数据；该评估数据包括风控模型稽核目标业务场景下产生的事件信息所得到的稽核数据以及由于风控模型误稽核所导致的用户行为数据；

根据用户行为数据和稽核数据，对风控模型针对目标业务场景的风险防控能力进行评估。

可选地，计算机可执行指令在被执行时，确定待评估的目标业务场景的标识信息之前，还包括：

从业务场景下产生的事件信息中提取与业务场景关联的字段；

根据上述字段生成业务场景的标识信息；

建立业务场景的标识信息与该业务场景下产生的事件信息的对应关系。

可选地，计算机可执行指令在被执行时，用户行为数据包括以下中的至少一项：

用户的来电量、用户的投诉量。

可选地，计算机可执行指令在被执行时，根据所述用户行为数据和所述稽核数据，对所述风控模型针对所述目标业务场景的风险防控能力进行评估，包括：

根据用户行为数据和稽核数据，确定风控模型对目标业务场景下产生的事件信息进行稽核所引起的来电率和投诉率；

根据稽核数据确定风控模型对目标业务场景下产生的事件信息进行稽核所得到的校验率、失败率、限权率、资损率和业务金额变化率；

根据资损率、来电率、投诉率、校验率、失败率、限权率以及业务金额变化率，对风控模型针对目标业务场景的风险防控能力进行评估。

本申请实施例提供的风控模型的评估设备，根据确定的待评估的目标业务场景的标识信息以及建立的业务场景的标识信息与业务场景下产生的事件信息的对应关系，确定出目标业务场景下产生的事件信息，并获取目标业务场景下产生的事件信息所对应的评估数据，然后根据该评估数据对风控模型针对目标业务场景的风险防控能力进行评估。在本申请实施例中，可以获取目标业务场景下产生的事件信息所对应的评估数据，从而可以对风控模型针对目标业务场景的风险防控能力进行评估，实现了对风控模型针对某个具体业务场景下的风险防控能力的评估；并且，在本申请实施例中，上述评估数据包括由于风控模型误稽核所导致的用户行为数据，将用户行为考虑在内，实现对风险模型针对目标业务场景的风险防控能力的全面的评估，提高评估结果的参考价值。

进一步地，基于上述图1至图3所示的方法，本申请实施例还提供了一种存储介质，用于存储计算机可执行指令，一种具体的实施例中，该存储介质可以为U盘、光盘、硬盘等，该存储介质存储的计算机可执行指令在被处理器执行时，能实现以下流程：

确定待评估的目标业务场景的标识信息；

根据建立的业务场景的标识信息与业务场景下产生的事件信息的对应关系，确定目标业务场景下产生的事件信息；

获取目标业务场景下产生的事件信息所对应的评估数据；该评估数据包括风控模型稽核目标业务场景下产生的事件信息所得到的稽核数据；

根据评估数据，对风控模型针对目标业务场景的风险防控能力进行评估。

可选地，该存储介质存储的计算机可执行指令在被处理器执行时，确定待评估的目标业务场景的标识信息之前，还包括：

从业务场景下产生的事件信息中提取与业务场景关联的字段；

根据上述字段生成业务场景的标识信息；

建立业务场景的标识信息与业务场景下产生的事件信息的对应关系。

可选地，该存储介质存储的计算机可执行指令在被处理器执行时，上述评估数据还包括由于风控模型误稽核所导致的用户行为数据；

上述根据评估数据，对风控模型针对目标业务场景的风险防控能力进行评估，包括：

根据用户行为数据和稽核数据，对风控模型针对目标业务场景的风险防控能力进行评估。

可选地，该存储介质存储的计算机可执行指令在被处理器执行时，用户行为数据包括以下中的至少一项：

用户的来电量、用户的投诉量。

可选地，该存储介质存储的计算机可执行指令在被处理器执行时，根据用户行为数据和稽核数据，对风控模型针对目标业务场景的风险防控能力进行评估，包括：

根据用户行为数据和稽核数据，确定风控模型对目标业务场景下产生的事件信息进行稽核所引起的来电率和投诉率；

根据稽核数据确定风控模型对目标业务场景下产生的事件信息进行稽核所得到的校验率、失败率、限权率、资损率和业务金额变化率；

根据资损率、来电率、投诉率、校验率、失败率、限权率以及业务金额变化率，对风控模型针对目标业务场景的风险防控能力进行评估。

可选地，该存储介质存储的计算机可执行指令在被处理器执行时，根据资损率、来电率、投诉率、校验率、失败率、限权率以及业务金额变化率，对风控模型针对目标业务场景的风险防控能力进行评估，包括：

根据资损率、来电率、投诉率、校验率、失败率、限权率和业务金额变化率，通过如下公式计算风控模型针对目标业务场景的风险防控能力得分；

根据风控模型对应的风险防控能力得分，对风控模型针对目标业务场景的风险防控能力进行评估；

其中，在上述公式中，S表示风控模型的风险防控能力得分，A表示资损率的权重系数，B₁表示校验率的权重系数，B₂表示失败率的权重系数，B₃表示限权率的权重系数，C表示来电率的权重系数，D表示投诉率的权重系数，E表示目标业务场景的业务的风险承受指数。

本申请实施例中的存储介质存储的计算机可执行指令在被处理器执行后，根据确定的待评估的目标业务场景的标识信息以及建立的业务场景的标识信息与业务场景下产生的事件信息的对应关系，确定出目标业务场景下产生的事件信息，并获取目标业务场景下产生的事件信息所对应的评估数据，然后根据该评估数据对风控模型针对目标业务场景的风险防控能力进行评估。在本申请实施例中，可以获取目标业务场景下产生的事件信息所对应的评估数据，从而可以对风控模型针对目标业务场景的风险防控能力进行评估，实现了对风控模型针对某个具体业务场景下的风险防控能力的评估。

进一步地，本申请实施例还提供了一种存储介质，用于存储计算机可执行指令，一种具体的实施例中，该存储介质可以为U盘、光盘、硬盘等，该存储介质存储的计算机可执行指令在被处理器执行时，能实现以下流程：

确定待评估的目标业务场景的标识信息；

根据建立的业务场景的标识信息与业务场景下产生的事件信息的对应关系，确定目标业务场景下产生的事件信息；

获取目标业务场景下产生的事件信息所对应的评估数据；该评估数据包括风控模型稽核目标业务场景下产生的事件信息所得到的稽核数据以及由于风控模型误稽核所导致的用户行为数据；

根据用户行为数据和稽核数据所对应的业务数据，对风控模型针对目标业务场景的风险防控能力进行评估。

可选地，该存储介质存储的计算机可执行指令在被处理器执行时，确定待评估的目标业务场景的标识信息之前，还包括：

从业务场景下产生的事件信息中提取与业务场景关联的字段；

根据上述字段生成业务场景的标识信息；

建立业务场景的标识信息与该业务场景下产生的事件信息的对应关系。

可选地，该存储介质存储的计算机可执行指令在被处理器执行时，用户行为数据包括以下中的至少一项：

用户的来电量、用户的投诉量。

可选地，该存储介质存储的计算机可执行指令在被处理器执行时，根据所述用户行为数据和所述稽核数据，对所述风控模型针对所述目标业务场景的风险防控能力进行评估，包括：

根据用户行为数据和稽核数据，确定风控模型对目标业务场景下产生的事件信息进行稽核所引起的来电率和投诉率；

根据稽核数据确定风控模型对目标业务场景下产生的事件信息进行稽核所得到的校验率、失败率、限权率、资损率和业务金额变化率；

根据资损率、来电率、投诉率、校验率、失败率、限权率以及业务金额变化率，对风控模型针对目标业务场景的风险防控能力进行评估。

本申请实施例中的存储介质存储的计算机可执行指令在被处理器执行后，根据确定的待评估的目标业务场景的标识信息以及建立的业务场景的标识信息与业务场景下产生的事件信息的对应关系，确定出目标业务场景下产生的事件信息，并获取目标业务场景下产生的事件信息所对应的评估数据，然后根据该评估数据对风控模型针对目标业务场景的风险防控能力进行评估。在本申请实施例中，可以获取目标业务场景下产生的事件信息所对应的评估数据，从而可以对风控模型针对目标业务场景的风险防控能力进行评估，实现了对风控模型针对某个具体业务场景下的风险防控能力的评估；并且，在本申请实施例中，上述评估数据包括由于风控模型误稽核所导致的用户行为数据，将用户行为考虑在内，实现对风险模型针对目标业务场景的风险防控能力的全面的评估，提高评估结果的参考价值。

在20世纪90年代，对于一个技术的改进可以很明显地区分是硬件上的改进(例如，对二极管、晶体管、开关等电路结构的改进)还是软件上的改进(对于方法流程的改进)。然而，随着技术的发展，当今的很多方法流程的改进已经可以视为硬件电路结构的直接改进。设计人员几乎都通过将改进的方法流程编程到硬件电路中来得到相应的硬件电路结构。因此，不能说一个方法流程的改进就不能用硬件实体模块来实现。例如，可编程逻辑器件(Programmable Logic Device，PLD)(例如现场可编程门阵列(Field Programmable GateArray，FPGA))就是这样一种集成电路，其逻辑功能由用户对器件编程来确定。由设计人员自行编程来把一个数字系统“集成”在一片PLD上，而不需要请芯片制造厂商来设计和制作专用的集成电路芯片。而且，如今，取代手工地制作集成电路芯片，这种编程也多半改用“逻辑编译器(logic compiler)”软件来实现，它与程序开发撰写时所用的软件编译器相类似，而要编译之前的原始代码也得用特定的编程语言来撰写，此称之为硬件描述语言(Hardware Description Language，HDL)，而HDL也并非仅有一种，而是有许多种，如ABEL(Advanced Boolean Expression Language)、AHDL(Altera Hardware DescriptionLanguage)、Confluence、CUPL(Cornell University Programming Language)、HDCal、JHDL(Java Hardware Description Language)、Lava、Lola、MyHDL、PALASM、RHDL(RubyHardware Description Language)等，目前最普遍使用的是VHDL(Very-High-SpeedIntegrated Circuit Hardware Description Language)与Verilog。本领域技术人员也应该清楚，只需要将方法流程用上述几种硬件描述语言稍作逻辑编程并编程到集成电路中，就可以很容易得到实现该逻辑方法流程的硬件电路。

控制器可以按任何适当的方式实现，例如，控制器可以采取例如微处理器或处理器以及存储可由该(微)处理器执行的计算机可读程序代码(例如软件或固件)的计算机可读介质、逻辑门、开关、专用集成电路(Application Specific Integrated Circuit，ASIC)、可编程逻辑控制器和嵌入微控制器的形式，控制器的例子包括但不限于以下微控制器：ARC 625D、Atmel AT91SAM、Microchip PIC18F26K20以及Silicone Labs C8051F320，存储器控制器还可以被实现为存储器的控制逻辑的一部分。本领域技术人员也知道，除了以纯计算机可读程序代码方式实现控制器以外，完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至，可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。

上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。

为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本申请时可以把各单元的功能在同一个或多个软件和/或硬件中实现。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本申请，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (19)

1.一种风控模型的评估方法，包括：

确定待评估的目标业务场景的标识信息；

根据建立的业务场景的标识信息与业务场景下产生的事件信息的对应关系，确定所述目标业务场景下产生的事件信息；

获取所述目标业务场景下产生的事件信息所对应的评估数据；所述评估数据包括风控模型稽核所述目标业务场景下产生的事件信息所得到的稽核数据；

根据所述评估数据，确定所述风控模型对所述目标业务场景下产生的事件信息进行稽核所引起的来电率和投诉率，以及，确定所述风控模型对所述目标业务场景下产生的事件信息进行稽核所得到的校验率、失败率、限权率、资损率和业务金额变化率，根据确定的数据对所述风控模型针对所述目标业务场景的风险防控能力进行评估。

2.如权利要求1所述的方法，所述确定待评估的目标业务场景的标识信息之前，所述方法还包括：

从业务场景下产生的事件信息中提取与所述业务场景关联的字段；

根据所述字段生成所述业务场景的标识信息；

建立所述业务场景的标识信息与所述业务场景下产生的事件信息的对应关系。

3.如权利要求1所述的方法，所述评估数据还包括由于所述风控模型误稽核所导致的用户行为数据；

所述根据所述评估数据，确定所述风控模型对所述目标业务场景下产生的事件信息进行稽核所引起的来电率和投诉率，以及，确定所述风控模型对所述目标业务场景下产生的事件信息进行稽核所得到的校验率、失败率、限权率、资损率和业务金额变化率，根据确定的数据对所述风控模型针对所述目标业务场景的风险防控能力进行评估，包括：

根据所述用户行为数据和所述稽核数据，确定所述风控模型对所述目标业务场景下产生的事件信息进行稽核所引起的来电率和投诉率，以及，确定所述风控模型对所述目标业务场景下产生的事件信息进行稽核所得到的校验率、失败率、限权率、资损率和业务金额变化率，根据确定的数据对所述风控模型针对所述目标业务场景的风险防控能力进行评估。

4.如权利要求3所述的方法，所述用户行为数据包括以下中的至少一项：

用户的来电量、用户的投诉量。

5.如权利要求3或4所述的方法，所述根据所述用户行为数据和所述稽核数据，确定所述风控模型对所述目标业务场景下产生的事件信息进行稽核所引起的来电率和投诉率，以及，确定所述风控模型对所述目标业务场景下产生的事件信息进行稽核所得到的校验率、失败率、限权率、资损率和业务金额变化率，根据确定的数据对所述风控模型针对所述目标业务场景的风险防控能力进行评估，包括：

根据所述用户行为数据和所述稽核数据，确定所述风控模型对所述目标业务场景下产生的事件信息进行稽核所引起的来电率和投诉率；

根据所述稽核数据确定所述风控模型对所述目标业务场景下产生的事件信息进行稽核所得到的校验率、失败率、限权率、资损率和业务金额变化率；

根据所述资损率、所述来电率、所述投诉率、所述校验率、所述失败率、所述限权率以及所述业务金额变化率，对所述风控模型针对所述目标业务场景的风险防控能力进行评估。

6.如权利要求5所述的方法，所述根据所述资损率、所述来电率、所述投诉率、所述校验率、所述失败率、所述限权率以及所述业务金额变化率，对所述风控模型针对所述目标业务场景的风险防控能力进行评估，包括：

根据所述资损率、所述来电率、所述投诉率、所述校验率、所述失败率、所述限权率和所述业务金额变化率，通过如下公式计算所述风控模型针对所述目标业务场景的风险防控能力得分；

根据所述风控模型对应的风险防控能力得分，对所述风控模型针对所述目标业务场景的风险防控能力进行评估；

其中，在上述公式中，S表示所述风控模型的风险防控能力得分，A表示所述资损率的权重系数，B₁表示所述校验率的权重系数，B₂表示所述失败率的权重系数，B₃表示所述限权率的权重系数，C表示所述来电率的权重系数，D表示所述投诉率的权重系数，E表示目标业务场景的业务的风险承受指数。

7.一种风控模型的评估方法，包括：

确定待评估的目标业务场景的标识信息；

根据建立的业务场景的标识信息与业务场景下产生的事件信息的对应关系，确定所述目标业务场景下产生的事件信息；

获取所述目标业务场景下产生的事件信息所对应的评估数据；所述评估数据包括风控模型稽核所述目标业务场景下产生的事件信息所得到的稽核数据以及由于所述风控模型误稽核所导致的用户行为数据；

根据所述用户行为数据和所述稽核数据，确定所述风控模型对所述目标业务场景下产生的事件信息进行稽核所引起的来电率和投诉率，以及，确定所述风控模型对所述目标业务场景下产生的事件信息进行稽核所得到的校验率、失败率、限权率、资损率和业务金额变化率，根据确定的数据对所述风控模型针对所述目标业务场景的风险防控能力进行评估。

8.如权利要求7所述的方法，所述确定待评估的目标业务场景的标识信息之前，所述方法还包括：

从业务场景下产生的事件信息中提取与所述业务场景关联的字段；

根据所述字段生成所述业务场景的标识信息；

建立所述业务场景的标识信息与所述业务场景下产生的事件信息的对应关系。

9.如权利要求7所述的方法，所述用户行为数据包括以下中的至少一项：

用户的来电量、用户的投诉量。

10.如权利要求7-9任一项所述的方法，所述根据所述用户行为数据和所述稽核数据，确定所述风控模型对所述目标业务场景下产生的事件信息进行稽核所引起的来电率和投诉率，以及，确定所述风控模型对所述目标业务场景下产生的事件信息进行稽核所得到的校验率、失败率、限权率、资损率和业务金额变化率，根据确定的数据对所述风控模型针对所述目标业务场景的风险防控能力进行评估，包括：

根据所述用户行为数据和所述稽核数据，确定所述风控模型对所述目标业务场景下产生的事件信息进行稽核所引起的来电率和投诉率；

根据所述稽核数据确定所述风控模型对所述目标业务场景下产生的事件信息进行稽核所得到的校验率、失败率、限权率、资损率和业务金额变化率；

根据所述资损率、所述来电率、所述投诉率、所述校验率、所述失败率、所述限权率以及所述业务金额变化率，对所述风控模型针对所述目标业务场景的风险防控能力进行评估。

11.一种风控模型的评估装置，包括：

第一确定模块，确定待评估的目标业务场景的标识信息；

第二确定模块，根据建立的业务场景的标识信息与业务场景下产生的事件信息的对应关系，确定所述目标业务场景下产生的事件信息；

第一获取模块，获取所述目标业务场景下产生的事件信息所对应的评估数据；所述评估数据包括风控模型稽核所述目标业务场景下产生的事件信息所得到的稽核数据；

第一评估模块，根据所述评估数据，确定所述风控模型对所述目标业务场景下产生的事件信息进行稽核所引起的来电率和投诉率，以及，确定所述风控模型对所述目标业务场景下产生的事件信息进行稽核所得到的校验率、失败率、限权率、资损率和业务金额变化率，根据确定的数据对所述风控模型针对所述目标业务场景的风险防控能力进行评估。

12.如权利要求11所述的装置，所述装置还包括：

第一提取模块，从业务场景下产生的事件信息中提取与所述业务场景关联的字段；

第一生成模块，根据所述字段生成所述业务场景的标识信息；

第一建立模块，建立所述业务场景的标识信息与所述业务场景下产生的事件信息的对应关系。

13.如权利要求11所述的装置，所述评估数据还包括由于所述风控模型误稽核所导致的用户行为数据；

所述第一评估模块，包括：

第一评估单元，根据所述用户行为数据和所述稽核数据，确定所述风控模型对所述目标业务场景下产生的事件信息进行稽核所引起的来电率和投诉率，以及，确定所述风控模型对所述目标业务场景下产生的事件信息进行稽核所得到的校验率、失败率、限权率、资损率和业务金额变化率，根据确定的数据对所述风控模型针对所述目标业务场景的风险防控能力进行评估。

14.如权利要求13所述的装置，所述第一评估单元，具体用于：

根据所述用户行为数据和所述稽核数据，确定所述风控模型对所述目标业务场景下产生的事件信息进行稽核所引起的来电率和投诉率；根据所述稽核数据确定所述风控模型对所述目标业务场景下产生的事件信息进行稽核所得到的校验率、失败率、限权率、资损率和业务金额变化率；根据所述资损率、所述来电率、所述投诉率、所述校验率、所述失败率、所述限权率以及所述业务金额变化率，对所述风控模型针对所述目标业务场景的风险防控能力进行评估。

15.一种风控模型的评估装置，包括：

第三确定模块，确定待评估的目标业务场景的标识信息；

第四确定模块，根据建立的业务场景的标识信息与业务场景下产生的事件信息的对应关系，确定所述目标业务场景下产生的事件信息；

第二获取模块，获取所述目标业务场景下产生的事件信息所对应的评估数据；所述评估数据包括风控模型稽核所述目标业务场景下产生的事件信息所得到的稽核数据以及由于所述风控模型误稽核所导致的用户行为数据；

第二评估模块，根据所述用户行为数据和所述稽核数据，确定所述风控模型对所述目标业务场景下产生的事件信息进行稽核所引起的来电率和投诉率，以及，确定所述风控模型对所述目标业务场景下产生的事件信息进行稽核所得到的校验率、失败率、限权率、资损率和业务金额变化率，根据确定的数据对所述风控模型针对所述目标业务场景的风险防控能力进行评估。

16.一种风控模型的评估设备，包括：

处理器；以及

被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器：

确定待评估的目标业务场景的标识信息；

根据业务场景的标识信息与业务场景下产生的事件信息的对应关系，确定所述目标业务场景下产生的事件信息；

获取所述目标业务场景下产生的事件信息所对应的评估数据；所述评估数据包括风控模型稽核所述目标业务场景下产生的事件信息所得到的稽核数据；

根据所述评估数据，确定所述风控模型对所述目标业务场景下产生的事件信息进行稽核所引起的来电率和投诉率，以及，确定所述风控模型对所述目标业务场景下产生的事件信息进行稽核所得到的校验率、失败率、限权率、资损率和业务金额变化率，根据确定的数据对所述风控模型针对所述目标业务场景的风险防控能力进行评估。

17.一种风控模型的评估设备，包括：

处理器；以及

被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器：

确定待评估的目标业务场景的标识信息；

根据建立的业务场景的标识信息与业务场景下产生的事件信息的对应关系，确定所述目标业务场景下产生的事件信息；

获取所述目标业务场景下产生的事件信息所对应的评估数据；所述评估数据包括风控模型稽核所述目标业务场景下产生的事件信息所得到的稽核数据以及由于所述风控模型误稽核所导致的用户行为数据；

根据所述用户行为数据和所述稽核数据，确定所述风控模型对所述目标业务场景下产生的事件信息进行稽核所引起的来电率和投诉率，以及，确定所述风控模型对所述目标业务场景下产生的事件信息进行稽核所得到的校验率、失败率、限权率、资损率和业务金额变化率，根据确定的数据对所述风控模型针对所述目标业务场景的风险防控能力进行评估。

18.一种存储介质，用于存储计算机可执行指令，所述可执行指令在被执行时实现以下流程：

确定待评估的目标业务场景的标识信息；

根据建立的业务场景的标识信息与业务场景下产生的事件信息的对应关系，确定所述目标业务场景下产生的事件信息；

获取所述目标业务场景下产生的事件信息所对应的评估数据；所述评估数据包括风控模型稽核所述目标业务场景下产生的事件信息所得到的稽核数据；

根据所述评估数据，确定所述风控模型对所述目标业务场景下产生的事件信息进行稽核所引起的来电率和投诉率，以及，确定所述风控模型对所述目标业务场景下产生的事件信息进行稽核所得到的校验率、失败率、限权率、资损率和业务金额变化率，根据确定的数据对所述风控模型针对所述目标业务场景的风险防控能力进行评估。

19.一种存储介质，用于存储计算机可执行指令，所述可执行指令在被执行时实现以下流程：

确定待评估的目标业务场景的标识信息；

根据建立的业务场景的标识信息与业务场景下产生的事件信息的对应关系，确定所述目标业务场景下产生的事件信息；

获取所述目标业务场景下产生的事件信息所对应的评估数据；所述评估数据包括风控模型稽核所述目标业务场景下产生的事件信息所得到的稽核数据以及由于所述风控模型误稽核所导致的用户行为数据；

根据所述用户行为数据和所述稽核数据，确定所述风控模型对所述目标业务场景下产生的事件信息进行稽核所引起的来电率和投诉率，以及，确定所述风控模型对所述目标业务场景下产生的事件信息进行稽核所得到的校验率、失败率、限权率、资损率和业务金额变化率，根据确定的数据对所述风控模型针对所述目标业务场景的风险防控能力进行评估。

Images