CN109727120A - 风险评估模型的测试方法及装置、存储介质、计算机设备 - Google Patents

Abstract

本申请公开了一种风险评估模型的测试方法及装置、存储介质、计算机设备，该方法包括：获取预设风险评估报告模板中存在的多个用户信息类别；按照风险评估模型对应的风险评估规则，分别对每个类别的用户信息进行模拟，得到每个类别对应的多份模拟用户信息；从每个类别对应的多份模拟用户信息中选取任意一份，将选取得到的多份模拟用户信息进行组合，生成测试用户信息；将测试用户信息分别输入至风险评估模型以及第三方风险评估系统中，得到第一风险评估报告以及第二风险评估报告；根据第一风险评估报告以及第二风险评估报告，确定风险评估模型的测试结果。本申请通过对全场景用户信息的模拟提高了场景覆盖率，从而提高了风险评估模型的测试效率。

Description

风险评估模型的测试方法及装置、存储介质、计算机设备

技术领域

本申请涉及模型测试技术领域，尤其是涉及到一种风险评估模型的测试方法及装置、存储介质、计算机设备。

背景技术

当前大部分贷款公司采用第三方平台提供的贷后风险管理系统对贷款用户的贷后风险进行评估，贷后风险评估成本较高，为了减少评估成本，一些贷款公司自主研发了贷后风险评估模型。

在模型的测试阶段，需要通过随机抽取客户订单的方式，获取客户的基本信息、基本信息的变更情况等几部分必要信息并从征信系统中调用客户的新增风险信息，从而分别利用评估模型和贷后管理系统生成风险评估报告，通过比较两份报告来验证评估模型是否合理、准确。然而，由于客户订单随机抽取，会导致部分场景重复验证，部分场景无法覆盖，影响测试效果，并且，从征信系统调用信息影响测试效率。

发明内容

有鉴于此，本申请提供了一种风险评估模型的测试方法及装置、存储介质、计算机设备，有助于提高测试场景覆盖率，提升测试效果。

根据本申请的一个方面，提供了一种风险评估模型的测试方法，包括：

获取预设风险评估报告模板中存在的多个用户信息类别；

按照所述风险评估模型对应的风险评估规则，分别对每个类别的用户信息进行模拟，得到每个类别对应的多份模拟用户信息；

从每个类别对应的所述多份模拟用户信息中选取任意一份，将选取得到的多份模拟用户信息进行组合，生成测试用户信息；

将所述测试用户信息分别输入至所述风险评估模型以及第三方风险评估系统中，得到第一风险评估报告以及第二风险评估报告；

根据所述第一风险评估报告以及所述第二风险评估报告，确定所述风险评估模型的测试结果。

根据本申请的另一方面，提供了一种风险评估模型的测试装置，包括：

用户信息类别获取单元，用于获取预设风险评估报告模板中存在的多个用户信息类别；

第一用户信息模拟单元，用于按照所述风险评估模型对应的风险评估规则，分别对每个类别的用户信息进行模拟，得到每个类别对应的多份模拟用户信息；

第二用户信息模拟单元，用于从每个类别对应的所述多份模拟用户信息中选取任意一份，将选取得到的多份模拟用户信息进行组合，生成测试用户信息；

风险评估报告生成单元，用于将所述测试用户信息分别输入至所述风险评估模型以及第三方风险评估系统中，得到第一风险评估报告以及第二风险评估报告；

测试结果生成单元，用于根据所述第一风险评估报告以及所述第二风险评估报告，确定所述风险评估模型的测试结果。

依据本申请又一个方面，提供了一种存储介质，其上存储有计算机程序，所述程序被处理器执行时实现上述风险评估模型的测试方法。

依据本申请再一个方面，提供了一种计算机设备，包括存储介质、处理器及存储在存储介质上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述风险评估模型的测试方法。

借由上述技术方案，本申请提供的一种风险评估模型的测试方法及装置、存储介质、计算机设备，首先，分别按照不同的用户信息类别将用户信息划分为若干个部分，生成每个类别对应的模拟用户信息，其中，每个类别的模拟用户信息包括多份，其次，分别在每个类别的多份模拟用户信息中取任意一份组合成完整的模拟用户信息作为测试用户信息以实现用户信息的全场景覆盖，最后，分别通过风险评估模型和第三方风险评估系统得到测试用户信息对应的风险评估报告，根据风险评估报告确定测试结果。本申请通过对用户信息的不同部分分别进行模拟，再将每个部分的用户信息进行组合的方式实现对用户信息的全场景覆盖，与现有技术中通过用户信息数据库中随机抽取用户信息的方式容易导致部分场景无法覆盖而部分场景重复覆盖相比，本申请通过对全场景用户信息的模拟提高了场景覆盖率，从而提高了风险评估模型测试的测试效率和准确性。

上述说明仅是本申请技术方案的概述，为了能够更清楚了解本申请的技术手段，而可依照说明书的内容予以实施，并且为了让本申请的上述和其它目的、特征和优点能够更明显易懂，以下特举本申请的具体实施方式。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1示出了本申请实施例提供的一种风险评估模型的测试方法的流程示意图；

图2示出了本申请实施例提供的另一种风险评估模型的测试方法的流程示意图；

图3示出了本申请实施例提供的一种风险评估模型的测试装置的结构示意图；

图4示出了本申请实施例提供的另一种风险评估模型的测试装置的结构示意图。

具体实施方式

下文中将参考附图并结合实施例来详细说明本申请。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。

在本实施例中提供了一种风险评估模型的测试方法，如图1所示，该方法包括：

步骤101，获取预设风险评估报告模板中存在的多个用户信息类别。

为了实现对用户信息的模拟，先从预设风险评估报告模板中获取模板所包含的用户信息类别，用户信息一般包括多个类别，从而便于后续根据用户信息的类别对用户信息进行模拟，其中，预设风险评估报告模板一般根据第三方风险评估系统已经生成的风险评估报告得来，预设风险评估报告模板可以看做是一份空白的风险评估报告，具体地，例如风险评估报告包括用户基本信息，那么则可通过预设风险评估报告模板获取到用户信息类别则包括用户基本信息类别。

步骤102，按照风险评估模型对应的风险评估规则，分别对每个类别的用户信息进行模拟，得到每个类别对应的多份模拟用户信息。

在上述实施例中，风险评估模型是根据风险评估规则建立的，按照风险评估规则，分别对获取到的每个类别的用户信息进行模拟，得到与每个类别对应的多份模拟用户信息，使得每个类别的模拟用户信息能够覆盖该类别的全部用户信息场景，以便后续利用每个类别的模拟用户信息拼接成完整的模拟用户信息。

步骤103，从每个类别对应的多份模拟用户信息中选取任意一份，将选取得到的多份模拟用户信息进行组合，生成测试用户信息。

在每个类别的模拟用户信息中任取一份，组成完整的模拟用户信息，完整的模拟用户信息中包含全部的用户信息类别，且通过上述组合方式能够实现用户信息的全场景覆盖，将全部的完整的模拟用户信息作为测试用户信息，以便实现对风险评估模型的测试。而在现有技术中，一般是通过在用户信息数据库中随机抽取订单从而获取用户信息，随机抽取的订单会导致部分场景重复验证，而部分场景无法覆盖，很难获取到全场景的用户信息。

例如，用户信息类别包括A、B两类，其中，类别A对应2份模拟用户信息，分别为A1和A2，类别B对应2份模拟用户信息，分别为B1和B2，则可以组合成4份测试用户信息，分别为A1+B1，A1+B2，A2+B1，A2+B2，由于A1和A2覆盖了类别A的全部用户信息类型，B1和B2覆盖了类别B的全部用户信息类型，所以通过上述的组合方式所得到的测试用户信息能够实现多全场景用户信息的覆盖。

步骤104，将测试用户信息分别输入至风险评估模型以及第三方风险评估系统中，得到第一风险评估报告以及第二风险评估报告。

将测试用户信息分别输入至风险评估模型和第三方风险评估系统中，分别得到第一风险评估报告以及第二风险评估报告，其中，将通过第三方风险评估系统得到的第二风险评估报告作为预期结果，将通过风险评估模型得到的第一风险评估报告作为待比较数据，以便完成对风险评估模型的测试。

步骤105，根据第一风险评估报告以及第二风险评估报告，确定风险评估模型的测试结果。

将第一风险评估报告中的风险结论与第二风险评估报告的风险结论进行对比，并根据两份报告所对应的风险结论的一致性确定风险评估模型的测试结果。

通过应用本实施例的技术方案，首先，分别按照不同的用户信息类别将用户信息划分为若干个部分，生成每个类别对应的模拟用户信息，其中，每个类别的模拟用户信息包括多份，其次，分别在每个类别的多份模拟用户信息中取任意一份组合成完整的模拟用户信息作为测试用户信息以实现用户信息的全场景覆盖，最后，分别通过风险评估模型和第三方风险评估系统得到测试用户信息对应的风险评估报告，根据风险评估报告确定测试结果。本申请通过对用户信息的不同部分分别进行模拟，再将每个部分的用户信息进行组合的方式实现对用户信息的全场景覆盖，与现有技术中通过用户信息数据库中随机抽取用户信息的方式容易导致部分场景无法覆盖而部分场景重复覆盖相比，本申请通过对全场景用户信息的模拟提高了场景覆盖率，从而提高了风险评估模型测试的测试效率和准确性。

进一步的，作为上述实施例具体实施方式的细化和扩展，为了完整说明本实施例的具体实施过程，提供了另一种风险评估模型的测试方法，如图2所示，该方法包括：

步骤201，获取预设风险评估报告模板中存在的多个用户信息类别。

根据预设风险评估报告模板，获取多个用户信息类别，其中用户信息类别可以包括：基本信息类别、历史还款信息类别、新增风险信息类别以及基本变更信息类别等。

步骤202，按照风险评估模型对应的风险评估规则，分别对每个类别的用户信息进行模拟，得到每个类别的模拟用户信息。

对于步骤202，本申请分为4个可选实施例进行阐述。

在第一个可选实施例中，用户信息类别包括基本信息类别，基本信息具体包括身份信息、住址信息、通信信息、工作信息以及贷款额度信息，风险评估规则包括基本信息评估规则时，步骤202具体包括：步骤2021a至步骤2021d。

步骤2021a，获取多个预设贷款额度评估区间，多个预设贷款额度评估区间不重叠。

本申请中的风险评估模型为贷后风险评估模型，在基本信息评估规则中获取多个预设贷款额度评估区间，其中，不同的预设贷款额度评估区间互不重叠，例如，在基本信息评估规则中，贷款额度范围为1-10万时，对应的评估规则为规则1，贷款额度范围为10-50万时，对应的评估规则为规则2，贷款额度范围为50万以上时，对应的评估规则为规则3，那么获取的贷款额度评估区间分别为1-10万、10-50万和50万以上。

步骤2021b，分别在多个预设贷款额度评估区间内随机生成贷款额度值。

分别在每个预设贷款额度评估区间内，随机生成一个贷款额度值，例如在1-10万、10-50万和50万以上这三个贷款额度区间随机生成三个贷款额度值，比如5万、20万、100万，从而实现贷款额度的全场景覆盖，并且相同的贷款额度区间只生成一个贷款额度值，避免相同场景重复覆盖造成信息冗余，影响后续测试效率。

步骤2021c，根据每个贷款额度值，确定多份贷款额度模拟信息。

将每个贷款额度评估区间对应的贷款额度值作为一份贷款额度模拟信息，根据多个贷款额度值可以确定多份贷款额度模拟信息。

步骤2021d，按照每份贷款额度模拟信息以及随机生成的身份模拟信息、住址模拟信息、通信模拟信息和工作模拟信息，生成基本信息类别的模拟用户信息。

将每份贷款额度模拟信息和随机生成身份模拟信息、住址模拟信息、通信模拟信息和工作模拟信息构成一份基本信息类别的模拟用户信息，多份贷款额度模拟信息可对应多份基本信息类别的模拟用户信息。

例如，贷款额度模拟信息分别为5万、20万、100万，基本信息类别的模拟用户信息具体可以包括三份，分别为姓名张三、住址公寓甲、手机号123、职业律师、贷款5万元；姓名李四、住址社区乙、手机号456、职业公务员、贷款20万；姓名王五、住址公寓丙、手机号789、职业私企老板、贷款100万。

在第二个可选实施例中，用户信息类别还包括基本变更信息类别，基本变更信息具体包括住址变更信息、通信变更信息以及工作变更信息，风险评估规则包括基本变更信息评估规则时，步骤202在上述第一个可选实施例的基础上具体还包括：步骤2021e至步骤2021i。

步骤2021e，按照住址信息发生更改或住址信息未发生更改，生成住址变更模拟信息。

住址变更模拟信息具体可以包括住址信息发生更改和住址信息为未发生更改两种。

步骤2021f，按照通信信息发生更改或通信信息未发生更改，生成通信变更模拟信息。

通信变更模拟信息具体可以包括通信信息发生更改和通信信息未发生更改两种。

步骤2021g，按照工作信息发生更改或工作信息未发生更改，生成工作变更模拟信息。

工作变更模拟信息具体可以包括工作信息发生更改和工作信息未发生更改两种。

步骤2021h，将住址变更模拟信息、通信变更模拟信息以及工作变更模拟信息进行组合，生成基本变更信息类别的模拟用户信息。

基本变更信息类别的模拟用户信息具体可以包括：住址信息发生更改+通信信息发生更改+工作信息发生更改、住址信息发生更改+通信信息未发生更改+工作信息发生更改、住址信息发生更改+通信信息发生更改+工作信息未发生更改、住址信息发生更改+通信信息发生更改+工作信息未发生更改、住址信息未发生更改+通信信息发生更改+工作信息发生更改、住址信息未发生更改+通信信息未发生更改+工作信息发生更改、住址信息未发生更改+通信信息发生更改+工作信息未发生更改、住址信息未发生更改+通信信息发生更改+工作信息未发生更改，共计8种。

步骤2021i，若基本变更信息包括住址信息发生更改、通信信息发生更改或工作信息发生更改中的任一项或多项，则根据基本信息变更类别的模拟用户信息随机生成变更后的住址信息、通信信息以及工作信息。

在上述8种基本变更类别的模拟用户信息中，若包括住址信息发生更改、通信信息发生更改或工作信息发生更改中的任一项或多项，那么则随机生成与原有住址信息、通信信息以及工作信息不同的变更后的住址信息、通信信息以及工作信息。

在第三个可选实施例中，用户信息类别还包括历史还款信息类别，历史还款信息具体包括逾期还款次数以及逾期还款金额，风险评估规则包括历史还款信息评估规则时，步骤202具体包括：

步骤2022a，获取多个预设逾期还款次数评估区间以及多个预设逾期还款金额评估区间，多个预设逾期还款次数评估区间不重叠，多个预设逾期还款金额评估区间不重叠。

在历史还款信息评估规则中获取多个预设逾期还款次数评估区间以及多个预设逾期还款金额评估区间，其中，不同的预设逾期还款次数评估区间互不重叠，不同的预设逾期还款金额评估区间也互不重叠，例如，在历史还款信息评估规则中，逾期还款次数为1-2次时对应的逾期还款次数风险等级为3级，逾期还款次数为3-5次时对应的逾期还款次数风险等级为2级，逾期还款次数为5次以上时对应的逾期还款次数风险等级为1级，那么获取的逾期还款次数评估区间分别为1-2次、3-5次、5次以上，逾期还款金额为0-1万时对应的逾期还款金额风险等级为3级、逾期还款金额为1-5万元时对应的逾期还款金额风险等级为2级、逾期还款金额为5万元以上时对应的逾期还款金额风险等级为1级，那么获取的逾期还款金额评估区间分别为0-1万、1-5万、5万以上。

步骤2022b，分别在多个预设逾期还款次数评估区间内随机生成逾期还款次数值。

分别在每个预设逾期还款次数评估区间内，随机生成一个逾期还款次数，例如在1-2次、3-5次、5次以上这三个逾期还款次数评估区间内随机生成三个逾期还款次数值，比如1次、4次、7次，从而实现逾期还款次数的全场景覆盖，并且相同的逾期还款次数评估区间只生成一个逾期还款次数值，避免相同场景重复覆盖造成信息冗余，影响后续测试效率。

步骤2022c，将每个逾期还款次数值确定为逾期还款次数模拟信息。

将每个逾期还款次数评估区间对应的逾期还款次数值作为一份逾期还款次数模拟信息，根据多个逾期还款次数值可以确定多份逾期还款次数模拟信息。

步骤2022d，分别在多个预设逾期还款金额评估区间内随机生成逾期还款金额值。

分别在每个预设逾期还款金额评估区间内，随机生成一个逾期还款金额，例如在0-1万、1-5万、5万以上这三个逾期还款金额评估区间内随机生成三个逾期还款金额值，比如5千元、2万元、10万元，从而实现逾期还款金额的全场景覆盖，并且相同的逾期还款金额评估区间只生成一个逾期还款金额值，避免相同场景重复覆盖造成信息冗余，影响后续测试效率。

步骤2022e，将每个逾期还款金额值确定为逾期还款金额模拟信息。

将每个逾期还款金额评估区间对应的逾期还款金额值作为一份逾期还款金额模拟信息，根据多个逾期还款金额值可以确定多份逾期还款金额模拟信息。

步骤2022f，将多份逾期还款次数模拟信息中的任意一份与多份逾期还款金额模拟信息中的任意一份进行组合，生成历史还款信息类别的模拟用户信息。

在多份逾期还款次数模拟信息中取任意一份以及在多份逾期还款金额模拟信息中取任意一份，将任意一份逾期还款次数模拟信息与任意一份逾期还款金额模拟信息进行组合，生成完整的历史还款信息类别对应的模拟用户信息，例如逾期还款次数模拟信息分别为1次、4次、7次、逾期还款金额模拟信息分别为5千元、2万元、10万元，则历史还款信息类别对应的模拟用户信息可以为逾期1次+逾期5千元、逾期1次+逾期2万元、逾期1次+逾期10万元、逾期4次+逾期5千元、逾期4次+逾期2万元、逾期4次+逾期10万元、逾期7次+逾期5千元、逾期7次+逾期2万元、逾期7次+逾期10万元，共9份历史还款信息类模拟用户信息。

另外，历史还款信息类型的模拟用户信息还可以包括逾期0次+逾期0元，与上述9份模拟用户信息组成共计10份模拟信息。

在第四个具体实施例中，用户信息类别还包括新增风险信息类别，新增风险信息具体包括新增欺诈信息以及新增信用风险信息，当风险评估规则包括新增风险信息评估规则时，步骤202具体包括：

步骤2023a，获取多个预设新增欺诈信息以及多个预设新增信用风险信息。

在新增风险评估规则中获取多个预设新增欺诈信息以及多个预设新增信用风险信息，例如预设新增欺诈信息可以包括存在冒用欺诈行为以及存在多头申请欺诈行为，预设新增信用风险信息主要包括存在违约行为。

步骤2023b，根据多个预设新增欺诈信息，生成新增欺诈模拟信息。

新增欺诈模拟信息具体可包括存在冒用欺诈行为、存在多头申请欺诈行为、存在冒用欺诈行为+存在多头申请欺诈行为、以及无欺诈信息。

步骤2023c，根据多个预设新增信用风险信息，生成新增信用风险模拟信息。

新增信用风险模拟信息具体可包括存在违约行为、以及无信用风险行为。

步骤2023d，将多份新增欺诈模拟信息中的任意一份与多份新增信用风险模拟信息中的任意一份进行组合，生成新增风险信息类别的模拟用户信息。

在新增欺诈模拟信息中选取任意一份以及在新增信用模拟信息中选取任意一份，将上述任意一份新增欺诈模拟信息与任意一份新增信用模拟信息进行组合，生成完整的历史还款信息类别对应的模拟用户信息，例如在4种新增欺诈模拟信息中任取一种，在2种新增信用风险模拟信息中任取一种，构成8份历史还款模拟信息，具体可以包括冒用欺诈行为+存在违约行为、存在多头申请欺诈行为+存在违约行为、存在冒用欺诈行为+存在多头申请欺诈行为+存在违约行为、以及无欺诈信息+存在违约行为、冒用欺诈行为+无信用风险行为、存在多头申请欺诈行为+无信用风险行为、存在冒用欺诈行为+存在多头申请欺诈行为+无信用风险行为、以及无欺诈信息+无信用风险行为。

步骤203，按照风险评估规则，分别对每个类别的模拟用户信息进行评分。

根据风险评估规则，分别对每个类别的每一份模拟用户信息进行评分，例如对历史还款信息类别对应的每一份模拟用户信息进行评分，以便对同一类型的模拟用户信息进行取舍，避免测试用户信息冗余，影响测试效率。

步骤204，将同一类别的评分相同的模拟用户信息进行去重处理。

具体地，将相同类别的每一份模拟用户信息的评分进行比较，若评分相同，则进行去重处理，减少相似场景的模拟用户信息数量，避免测试用户信息冗余。例如，历史还款信息类别对应的10份模拟用户信息中逾期1次+逾期5千元评分为4分、逾期1次+逾期2万元为5分、逾期1次+逾期10万元为7分、逾期4次+逾期5千元为5分、逾期4次+逾期2万元为6分、逾期4次+逾期10万元为8分、逾期7次+逾期5千元为7分、逾期7次+逾期2万元为8分、逾期7次+逾期10万元为10分、逾期0次+逾期0元为0分，容易发现，0分出现1次、4分出现1次、5分出现2次、6分出现1次、7分出现2次、8分出现2次、10分出现1次，则最终将0分、4分、5分、6分、7分、8分、10分对应的历史还款模拟信息各保留一份，得到7份历史还款类型的用户模拟信息，去重处理后，由原来的10份信息缩减为7份，有助于降低测试用户信息数量，提高测试效率。

步骤205，从去重处理后的每个类别对应的多份模拟用户信息中选取任意一份，将选取得到的多份模拟用户信息进行组合，生成测试用户信息。

将每个类别对应的模拟用户信息中的任意一份进行组合，可以得到包括全部类别的完整用户信息，并且进行组合后，完整的用户信息可以覆盖到全部场景，具体地，例如用户基本信息类别包括3份用户模拟信息、还款历史信息类别包括7份用户模拟信息、新增风险信息类型包括3份用户模拟信息、基本变更信息类别包括3份用户模拟信息，则可以组合成3*7*3*3＝189份测试用户信息，从而可以利用组合得到的测试用户信息完成测试，保证全场景覆盖，解决了现有技术中随机抽取订单导致的无法覆盖全部场景的弊端。

步骤206，将测试用户信息分别输入至风险评估模型以及第三方风险评估系统中，得到第一风险评估报告以及第二风险评估报告。

将通过第三方风险评估系统得到的第二风险评估报告作为预期结果，通过风险评估模型得到的第一风险评估报告作为比较数据，以便后续根据两分报告得到测试结果。

在上述实施例中，具体地，第一风险评估报告包括与多个用户信息类别对应的多个第一风险评估子结论以及与多个第一风险评估子结论对应的第一风险评估总结论，第二风险评估报告包括与多个用户信息类别对应的多个第二风险评估子结论以及与多个第二风险评估子结论对应的第二风险评估总结论。

步骤207，分别比较每个用户信息类别对应的第一风险评估子结论与第二风险评估子结论的一致性，以及第一风险评估总结论与第二风险评估总结论的一致性。

分别将第一风险评估报告中的各类型用户信息对应的子结论与第二风险评估报告中的相应类型用户信息对应的子结论进行比较，以及将第一风险评估报告的总结论与第二风险评估报告的总结论进行比较，以便能够快速定位风险测试模型存在的问题。

步骤208，若第一风险评估子结论与第二风险评估子结论不一致和/或第一风险评估总结论与第二风险评估总结论不一致，则输出风险评估模型测试不通过的测试结果。

若第一风险评估子结论与对应的第二风险评估子结论不一致和/或第一风险评估总结论与第二风险评估总结论不一致，则输出测试不通过的测试结果，并输出第一风险评估报告和第二风险评估报告，以便测试人员根据报告快速定位风险测试模型存在的问题，例如在189份测试用户信息生成的报告中，有50份的历史还款类型的模拟信息对应的两份报告的子结论不同，可以可能风险评估模型对于历史还款类型的风险评估程序存在问题，便于测试人员快速定位模型存在的问题。

通过应用本实施例的技术方案，将用户信息按类型划分为不同的部分，每个部分的用户信息又包含若干项，分别对每一项的用户信息进行模拟后得出对应部分的模拟用户信息，进而根据每个部分的模拟用户信息组合成完整的模拟用户信息作为测试用户信息从而完成测试，保证了用户信息的全场景覆盖，根据测试用户信息分别通过风险评估模型和第三方风险评估系统得到测试用户信息对应的两份风险评估报告，将两份风险评估报告中的子结论和总结论分别进行对比，从而实现模型问题的快速定位，提高测试效率。

进一步的，作为图1方法的具体实现，本申请实施例提供了一种风险评估模型的测试装置，如图3所示，该装置包括：用户信息类别获取单元31、第一用户信息模拟单元32、第二用户信息模拟单元33、风险评估报告生成单元34、测试结果生成单元35。

用户信息类别获取单元31，用于获取预设风险评估报告模板中存在的多个用户信息类别；

第一用户信息模拟单元32，用于按照风险评估模型对应的风险评估规则，分别对每个类别的用户信息进行模拟，得到每个类别对应的多份模拟用户信息；

第二用户信息模拟单元33，用于从每个类别对应的多份模拟用户信息中选取任意一份，将选取得到的多份模拟用户信息进行组合，生成测试用户信息；

风险评估报告生成单元34，用于将测试用户信息分别输入至风险评估模型以及第三方风险评估系统中，得到第一风险评估报告以及第二风险评估报告；

测试结果生成单元35，用于根据第一风险评估报告以及第二风险评估报告，确定风险评估模型的测试结果。

在具体的应用场景中，如图4所示，用户信息类别包括基本信息类别，基本信息具体包括身份信息、住址信息、通信信息、工作信息以及贷款额度信息；当风险评估规则包括基本信息评估规则时，第一用户信息模拟单元32，具体包括：贷款额度区间获取单元321a、贷款额度值生成单元321b、贷款额度模拟信息生成单元321c、基本信息模拟单元321d。

贷款额度区间获取单元321a，用于获取多个预设贷款额度评估区间，多个预设贷款额度评估区间不重叠；

贷款额度值生成单元321b，用于分别在多个预设贷款额度评估区间内随机生成贷款额度值；

贷款额度模拟信息生成单元321c，用于根据每个贷款额度值，确定多份贷款额度模拟信息；

基本信息模拟单元321d，用于按照每份贷款额度模拟信息以及随机生成的身份模拟信息、住址模拟信息、通信模拟信息和工作模拟信息，生成基本信息类别的模拟用户信息。

在具体的应用场景中，如图4所示，用户信息类别还包括基本变更信息类别，基本变更信息具体包括住址变更信息、通信变更信息以及工作变更信息；当风险评估规则包括基本变更信息评估规则时，第一用户信息模拟单元32，具体包括：住址变更模拟信息生成单元321e、通信变更模拟信息生成单元321f、工作变更模拟信息生成单元321g、变更信息模拟单元321h、变更信息随机生成单元321i。

住址变更模拟信息生成单元321e，用于按照住址信息发生更改或住址信息未发生更改，生成住址变更模拟信息；

通信变更模拟信息生成单元321f，用于按照通信信息发生更改或通信信息未发生更改，生成通信变更模拟信息；

工作变更模拟信息生成单元321g，用于按照工作信息发生更改或工作信息未发生更改，生成工作变更模拟信息；

变更信息模拟单元321h，用于将住址变更模拟信息、通信变更模拟信息以及工作变更模拟信息进行组合，生成基本变更信息类别的模拟用户信息；

变更信息随机生成单元321i，用于若基本变更信息类别的模拟用户信息包括住址信息发生更改、通信信息发生更改或工作信息发生更改中的任一项或多项，则根据基本信息变更类别的模拟用户信息随机生成变更后的住址信息、通信信息以及工作信息。

在具体的应用场景中，如图4所示，用户信息类别还包括历史还款信息类别，历史还款信息具体包括逾期还款次数以及逾期还款金额；当风险评估规则包括历史还款信息评估规则时，第一用户信息模拟单元32，具体包括：还款信息评估区间获取单元322a、逾期还款次数值生成单元322b、逾期还款次数模拟信息生成单元322c、逾期还款次数值生成单元322d、逾期还款次数模拟信息生成单元322e、历史还款信息模拟单元322f。

还款信息评估区间获取单元322a，用于获取多个预设逾期还款次数评估区间以及多个预设逾期还款金额评估区间，多个预设逾期还款次数评估区间不重叠，多个预设逾期还款金额评估区间不重叠；

逾期还款次数值生成单元322b，用于分别在多个预设逾期还款次数评估区间内随机生成逾期还款次数值；

逾期还款次数模拟信息生成单元322c，用于根据每个逾期还款次数值确定多份逾期还款次数模拟信息；

逾期还款次数值生成单元322d，用于分别在多个预设逾期还款金额评估区间内随机生成逾期还款金额值；

逾期还款次数模拟信息生成单元322e，用于根据每个逾期还款金额值，确定多份逾期还款金额模拟信息；

历史还款信息模拟单元322f，用于将多份逾期还款次数模拟信息中的任意一份与多份逾期还款金额模拟信息中的任意一份进行组合，生成历史还款信息类别的模拟用户信息。

在具体的应用场景中，如图4所示，用户信息类别还包括新增风险信息类别，新增风险信息具体包括新增欺诈信息以及新增信用风险信息；当风险评估规则包括新增风险信息评估规则时，第一用户信息模拟单元32，具体包括：新增风险信息获取单元323a、新增欺诈信息模拟单元323b、新增风险信用信息模拟单元323c、新增风险信息模拟单元323d。

新增风险信息获取单元323a，用于获取多个预设新增欺诈信息以及多个预设新增信用风险信息；

新增欺诈信息模拟单元323b，用于根据多个预设新增欺诈信息，生成多份新增欺诈模拟信息；

新增风险信用信息模拟单元323c，用于根据多个预设新增信用风险信息，生成多份新增信用风险模拟信息；

新增风险信息模拟单元323d，用于将多份新增欺诈模拟信息中的任意一份与多份新增信用风险模拟信息中的任意一份进行组合，生成新增风险信息类别的模拟用户信息。

在具体的应用场景中，如图4所示，该装置还包括：评分单元36、去重单元37。

评分单元36，用于将每个类别的模拟用户信息进行全排列，得到测试用户信息之前，按照风险评估规则，分别对每个类别的模拟用户信息进行评分；

去重单元37，用于将同一类别的评分相同的模拟用户信息进行去重处理；

第二用户信息模拟单元33，具体用于从去重处理后的每个类别对应的多份模拟用户信息中选取任意一份，将选取得到的多份模拟用户信息进行组合，生成测试用户信息。

在具体的应用场景中，如图4所示，第一风险评估报告包括与多个用户信息类别对应的多个第一风险评估子结论以及与多个第一风险评估子结论对应的第一风险评估总结论，第二风险评估报告包括与多个用户信息类别对应的多个第二风险评估子结论以及与多个第二风险评估子结论对应的第二风险评估总结论。测试结果生成单元35，具体包括：

结论比较单元351，用于分别比较每个用户信息类别对应的第一风险评估子结论与第二风险评估子结论的一致性，以及第一风险评估总结论与第二风险评估总结论的一致性；

测试结果输出单元352，用于若第一风险评估子结论与第二风险评估子结论不一致和/或第一风险评估总结论与第二风险评估总结论不一致，则输出风险评估模型测试不通过的测试结果。

需要说明的是，本申请实施例提供的一种风险评估模型的测试装置所涉及各功能单元的其他相应描述，可以参考图1和图2中的对应描述，在此不再赘述。

基于上述如图1和图2所示方法，相应的，本申请实施例还提供了一种存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述如图1和图2所示的风险评估模型的测试方法。

基于这样的理解，本申请的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施场景所述的方法。

基于上述如图1、图2所示的方法，以及图3、图4所示的虚拟装置实施例，为了实现上述目的，本申请实施例还提供了一种计算机设备，具体可以为个人计算机、服务器、网络设备等，该计算机设备包括存储介质和处理器；存储介质，用于存储计算机程序；处理器，用于执行计算机程序以实现上述如图1和图2所示的风险评估模型的测试方法。

可选地，该计算机设备还可以包括用户接口、网络接口、摄像头、射频(RadioFrequency，RF)电路，传感器、音频电路、WI-FI模块等等。用户接口可以包括显示屏(Display)、输入单元比如键盘(Keyboard)等，可选用户接口还可以包括USB接口、读卡器接口等。网络接口可选的可以包括标准的有线接口、无线接口(如蓝牙接口、WI-FI接口)等。

本领域技术人员可以理解，本实施例提供的一种计算机设备结构并不构成对该计算机设备的限定，可以包括更多或更少的部件，或者组合某些部件，或者不同的部件布置。

存储介质中还可以包括操作系统、网络通信模块。操作系统是管理和保存计算机设备硬件和软件资源的程序，支持信息处理程序以及其它软件和/或程序的运行。网络通信模块用于实现存储介质内部各组件之间的通信，以及与该实体设备中其它硬件和软件之间通信。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到本申请可以借助软件加必要的通用硬件平台的方式来实现，也可以通过硬件实现首先，分别按照不同的用户信息类别将用户信息划分为若干个部分，生成每个类别对应的模拟用户信息，其中，每个类别的模拟用户信息包括多份，其次，分别在每个类别的多份模拟用户信息中取任意一份组合成完整的模拟用户信息作为测试用户信息以实现用户信息的全场景覆盖，最后，分别通过风险评估模型和第三方风险评估系统得到测试用户信息对应的风险评估报告，根据风险评估报告确定测试结果。本申请通过对用户信息的不同部分分别进行模拟，再将每个部分的用户信息进行组合的方式实现对用户信息的全场景覆盖，与现有技术中通过用户信息数据库中随机抽取用户信息的方式容易导致部分场景无法覆盖而部分场景重复覆盖相比，本申请通过对全场景用户信息的模拟提高了场景覆盖率，从而提高了风险评估模型测试的测试效率和准确性。

本领域技术人员可以理解附图只是一个优选实施场景的示意图，附图中的模块或流程并不一定是实施本申请所必须的。本领域技术人员可以理解实施场景中的装置中的模块可以按照实施场景描述进行分布于实施场景的装置中，也可以进行相应变化位于不同于本实施场景的一个或多个装置中。上述实施场景的模块可以合并为一个模块，也可以进一步拆分成多个子模块。

上述本申请序号仅仅为了描述，不代表实施场景的优劣。以上公开的仅为本申请的几个具体实施场景，但是，本申请并非局限于此，任何本领域的技术人员能思之的变化都应落入本申请的保护范围。

Claims (10)

1.一种风险评估模型的测试方法，其特征在于，包括：

获取预设风险评估报告模板中存在的多个用户信息类别；

按照所述风险评估模型对应的风险评估规则，分别对每个类别的用户信息进行模拟，得到每个类别对应的多份模拟用户信息；

从每个类别对应的所述多份模拟用户信息中选取任意一份，将选取得到的多份模拟用户信息进行组合，生成测试用户信息；

将所述测试用户信息分别输入至所述风险评估模型以及第三方风险评估系统中，得到第一风险评估报告以及第二风险评估报告；

根据所述第一风险评估报告以及所述第二风险评估报告，确定所述风险评估模型的测试结果。

2.根据权利要求1所述的方法，其特征在于，所述用户信息类别包括基本信息类别，所述基本信息具体包括身份信息、住址信息、通信信息、工作信息以及贷款额度信息；

当所述风险评估规则包括基本信息评估规则时，所述按照所述风险评估模型对应的风险评估规则，分别对每个类别的用户信息进行模拟，具体包括：

获取多个预设贷款额度评估区间，所述多个预设贷款额度评估区间不重叠；

分别在所述多个预设贷款额度评估区间内随机生成贷款额度值；

根据每个所述贷款额度值，确定多份贷款额度模拟信息；

按照每份所述贷款额度模拟信息以及随机生成的身份模拟信息、住址模拟信息、通信模拟信息和工作模拟信息，生成所述基本信息类别的所述模拟用户信息。

3.根据权利要求2所述的方法，其特征在于，所述用户信息类别还包括基本变更信息类别，所述基本变更信息具体包括住址变更信息、通信变更信息以及工作变更信息；

当所述风险评估规则包括基本变更信息评估规则时，所述按照所述风险评估模型对应的风险评估规则，分别对每个类别的用户信息进行模拟，具体包括：

按照住址信息发生更改或住址信息未发生更改，生成住址变更模拟信息；

按照通信信息发生更改或通信信息未发生更改，生成通信变更模拟信息；

按照工作信息发生更改或工作信息未发生更改，生成工作变更模拟信息；

将所述住址变更模拟信息、所述通信变更模拟信息以及所述工作变更模拟信息进行组合，生成所述基本变更信息类别的所述模拟用户信息；

若所述基本变更信息类别的所述模拟用户信息包括所述住址信息发生更改、所述通信信息发生更改或所述工作信息发生更改中的任一项或多项，则根据基本信息变更类别的所述模拟用户信息随机生成变更后的住址信息、通信信息以及工作信息。

4.根据权利要求1所述的方法，其特征在于，所述用户信息类别包括历史还款信息类别，所述历史还款信息具体包括逾期还款次数以及逾期还款金额；

当所述风险评估规则包括历史还款信息评估规则时，所述按照所述风险评估模型对应的风险评估规则，分别对每个类型的用户信息进行模拟，具体包括：

获取多个预设逾期还款次数评估区间以及多个预设逾期还款金额评估区间，所述多个预设逾期还款次数评估区间不重叠，所述多个预设逾期还款金额评估区间不重叠；

分别在所述多个预设逾期还款次数评估区间内随机生成逾期还款次数值；

根据每个所述逾期还款次数值确定多份逾期还款次数模拟信息；

分别在所述多个预设逾期还款金额评估区间内随机生成逾期还款金额值；

根据每个所述逾期还款金额值，确定多份逾期还款金额模拟信息；

将所述多份逾期还款次数模拟信息中的任意一份与所述多份逾期还款金额模拟信息中的任意一份进行组合，生成所述历史还款信息类别的所述模拟用户信息。

5.根据权利要求1所述的方法，其特征在于，所述用户信息类别包括新增风险信息类别，所述新增风险信息具体包括新增欺诈信息以及新增信用风险信息；

当所述风险评估规则包括新增风险信息评估规则时，所述按照所述风险评估模型对应的风险评估规则，分别对每个类型的用户信息进行模拟，具体包括：

获取多个预设新增欺诈信息以及多个预设新增信用风险信息；

根据所述多个预设新增欺诈信息，生成多份新增欺诈模拟信息；

根据所述多个预设新增信用风险信息，生成多份新增信用风险模拟信息；

将所述多份新增欺诈模拟信息中的任意一份与所述多份新增信用风险模拟信息中的任意一份进行组合，生成所述新增风险信息类别的所述模拟用户信息。

6.根据权利要求1所述的方法，其特征在于，所述将每个类别对应的所述多份模拟用户信息中的任意一份进行组合，生成测试用户信息之前，还包括：

按照所述风险评估规则，分别对每个类别的所述模拟用户信息进行评分；

将同一类别的评分相同的所述模拟用户信息进行去重处理；

所述从每个类别对应的所述多份模拟用户信息中选取任意一份，将选取得到的多份模拟用户信息进行组合，生成测试用户信息，具体包括：

从去重处理后的每个类别对应的所述多份模拟用户信息中选取任意一份，将选取得到的多份模拟用户信息进行组合，生成测试用户信息。

7.根据权利要求1所述的方法，其特征在于，所述第一风险评估报告包括与所述多个用户信息类别对应的多个第一风险评估子结论以及与所述多个第一风险评估子结论对应的第一风险评估总结论，所述第二风险评估报告包括与所述多个用户信息类别对应的多个第二风险评估子结论以及与所述多个第二风险评估子结论对应的第二风险评估总结论；

所述根据所述第一风险评估报告以及所述第二风险评估报告，确定所述风险评估模型的测试结果，具体包括：

分别比较每个所述用户信息类别对应的所述第一风险评估子结论与所述第二风险评估子结论的一致性，以及所述第一风险评估总结论与所述第二风险评估总结论的一致性；

若所述第一风险评估子结论与所述第二风险评估子结论不一致和/或所述第一风险评估总结论与所述第二风险评估总结论不一致，则输出所述风险评估模型测试不通过的测试结果。

8.一种风险评估模型的测试装置，其特征在于，包括：

用户信息类别获取单元，用于获取预设风险评估报告模板中存在的多个用户信息类别；

第一用户信息模拟单元，用于按照所述风险评估模型对应的风险评估规则，分别对每个类别的用户信息进行模拟，得到每个类别对应的多份模拟用户信息；

第二用户信息模拟单元，用于从每个类别对应的所述多份模拟用户信息中选取任意一份，将选取得到的多份模拟用户信息进行组合，生成测试用户信息；

风险评估报告生成单元，用于将所述测试用户信息分别输入至所述风险评估模型以及第三方风险评估系统中，得到第一风险评估报告以及第二风险评估报告；

测试结果生成单元，用于根据所述第一风险评估报告以及所述第二风险评估报告，确定所述风险评估模型的测试结果。

9.一种存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现权利要求1至7中任一项所述的风险评估模型的测试方法。

10.一种计算机设备，包括存储介质、处理器及存储在存储介质上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1至7中任一项所述的风险评估模型的测试方法。