CN116630034A

CN116630034A - 一种风控数据处理系统及方法

Info

Publication number: CN116630034A
Application number: CN202310902818.1A
Authority: CN
Inventors: 唐波
Original assignee: Hangyin Consumer Finance Co ltd
Current assignee: Hangyin Consumer Finance Co ltd
Priority date: 2023-07-21
Filing date: 2023-07-21
Publication date: 2023-08-22
Anticipated expiration: 2043-07-21
Also published as: CN116630034B

Abstract

本发明提供一种风控数据处理系统及方法，属于金融数据处理技术领域，具体包括：将数据源划分为一般数据源和核心数据源；通过数据源的后台服务器的平均响应时间以及每秒查询率，并结合数据源在被单次调用时的平均读取次数以及读取数据量将数据源划分为延时数据源和正常数据源；通过一般数据源的数量和核心数据源的数量、延时数据源的数量和正常数据源的数量进行数据层中间件的数量的确定，通过数据层中间件所对应的核心数据源的数量、延时数据源的数量、所有的数据源的延时预测值的和确定数据层中间件的数据处理顺序，从而进一步提升了信贷申请处理的效率和准确性。

Description

一种风控数据处理系统及方法

技术领域

本发明属于金融数据处理技术领域，尤其涉及一种风控数据处理系统及方法。

背景技术

为了实现对用户的授信处理，往往需要从多个数据源进行数据的获取，例如人行信息、学历、公积金、社保、金融机构黑白名单、自建模型评分等等三方数据、机构内部数据，但是由于不同的数据源的数据通讯协议的差异，因此导致数据的获取效率以及获取难度都会受到一定的影响。

为了解决不同的数据源的数据通讯协议的差异的问题，在发明专利《一种数据源管理系统》中通过数据层中间件设置的统一接口以及封装的通用处理逻辑实现应用客户端对数据源的操作，应用客户端接入数据层中间件，通过数据层中间件提供统一的数据操作接口，可间接完成对数据源的操作，但是却存在以下技术问题：

当数据源的数量较多时，采用单一的数据层中间件会导致不同的数据源的数据的读取效率会受到一定程度的影响，特别是在授信处理时，由于需要进行调用和读取的数据源的数量较多，因此若不考虑调用情况以及数据进行中间件的数量的设置，则会导致数据源的数据处理的效率会受到一定程度的影响。

未考虑结合历史数据进行数据源的数量的确定，具体的，对于不同的数据源的单次调用时的数据量以及不同数据源的服务器的延迟都不同，因此若不能考虑上述因素，同样无法实现高效的对数据源的数据进行处理。

针对上述技术问题，本发明提供了一种风控数据处理系统及方法。

发明内容

为实现本发明目的，本发明采用如下技术方案：

根据本发明的一个方面，提供了一种风控数据处理方法。

一种风控数据处理方法，其特征在于，具体包括：

S11获取在进行用户的授信申请时所需读取的数据源，并根据所述数据源在被单次调用时的读取数据量、数据源的类型、数据源的历史调用失败次数将所述数据源划分为一般数据源和核心数据源；

S12通过所述数据源的后台服务器的平均响应时间以及每秒查询率，并结合数据源在被单次调用时的平均读取次数以及读取数据量确定所述数据源的延时预测值，并根据所述延时预测值将所述数据源划分为延时数据源和正常数据源；

S13通过所述一般数据源的数量和核心数据源的数量、延时数据源的数量和正常数据源的数量进行数据层中间件的数量的确定，并当进行用户的授信申请处理时，进入下一步骤；

S14通过所述数据层中间件所对应的核心数据源的数量、延时数据源的数量、所有的数据源的延时预测值的和进行所述数据层中间件的读取优先值的确定，并根据所述读取优先值确定所述数据层中间件的数据处理顺序。

进一步的，所述数据源的类型包括但不限于人行信息、学历、公积金、社保、金融机构黑白名单、自建模型评分。

进一步的，将所述数据源划分为一般数据源和核心数据源，具体包括：

获取所述数据源的历史调用失败次数，并根据所述数据源的历史调用失败次数确定所述数据源是否为核心数据源，若是，则确定所述数据源为核心数据源，若否，则进入下一步骤；

获取所述数据源的类型，并根据所述数据源的类型确定所述数据源是否为核心数据源，若是，则确定所述数据源为核心数据源，若否，则进入下一步骤；

根据所述数据源的类型确定所述数据源是否为一般数据源，若是，则确定所述数据源为一般数据源，若否，则进入下一步骤；

获取所述数据源在被单次调用时的读取数据量，并根据所述数据源在被单次调用时的读取数据量确定所述数据源是否为核心数据源，若是，则进入下一步骤；

通过所述数据源在被单次调用时的读取数据量、数据源的类型、数据源的历史调用失败次数进行所述数据源的核心度评价值的确定，并根据所述核心度评价值将所述数据源划分为核心数据源和一般数据源。

进一步的，根据所述核心度评价值将所述数据源划分为核心数据源和一般数据源，具体包括：

根据所述数据源的类型确定所述数据源的第一限定值和第二限定值的确定，其中第一限定值大于第二限定值；

当所述数据源的核心度评价值大于第一限定值时，则将所述数据源作为核心数据源；

当所述数据源的核心度评价值大于第二限定值且不大于第一限定值时，通过所述数据源在被单次调用时的读取数据量确定所述数据源为核心数据源或者一般数据源；

当所述数据源的核心度评价值不大于第二限定值时，则确定所述数据源为一般数据源。

进一步的，所述数据源的类型包括一般数据源和核心数据源。

第二方面，本发明提供了一种计算机系统，包括：通信连接的存储器和处理器，以及存储在所述存储器上并能够在所述处理器上运行的计算机程序，其特征在于：所述处理器运行所述计算机程序时执行上述的一种风控数据处理方法。

第三方面，本发明提供了一种计算机存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行上述的一种风控数据处理方法。

本发明的有益效果在于：

通过根据所述数据源在被单次调用时的读取数据量、数据源的类型、数据源的历史调用失败次数将所述数据源划分为一般数据源和核心数据源，从而实现了从数据源的历史故障情况以及类型和数据量的角度对数据源进行评估，实现了对核心数据源的筛选，这也为进一步提升数据层中间件的设置的准确性奠定了基础。

通过根据所述延时预测值将所述数据源划分为延时数据源和正常数据源，从而实现了从延时情况实现了对数据源的区分，保证了数据源的延时情况的评估的准确性，同时通过延时数据源的区分，也为进一步提升数据层中间件的设置的数量的准确性奠定了基础。

通过一般数据源的数量和核心数据源的数量、延时数据源的数量和正常数据源的数量进行数据层中间件的数量的确定，从而实现了从不同的数据源的类型的角度对数据层中间件的数量的确定，在保证数据源的读取的效率的基础上，同时也满足了数据源的读取可靠性的需求。

通过数据层中间件所对应的核心数据源的数量、延时数据源的数量、所有的数据源的延时预测值的和进行所述数据层中间件的读取优先值的确定，从而不仅仅保证了数据源的读取的时效性的要求，同时也保证了核心数据源的读取的优先性和可靠性的需求。

其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点在说明书以及附图中所特别指出的结构来实现和获得。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

通过参照附图详细描述其示例实施方式，本发明的上述和其它特征及优点将变得更加明显；

图1是一种风控数据处理方法的流程图；

图2是数据源的延时预测值确定的具体步骤的流程图；

图3是数据层中间件的数量确定的具体步骤的流程图；

图4是基于数量修正值以及基础数量进行数据层中间件的数量的确定的具体步骤的流程图；

图5是一种计算机系统的框架图。

具体实施方式

为了使本技术领域的人员更好地理解本说明书中的技术方案，下面将结合本说明书实施例中的附图，对本说明书实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本说明书一部分实施例，而不是全部的实施例。基于本说明书实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都应当属于本说明书保护的范围。

为解决上述问题，根据本发明的一个方面，如图1所示，提供了根据本发明的一个方面，提供了一种风控数据处理方法，其特征在于，具体包括：

需要说明的是，所述数据源的类型包括但不限于人行信息、学历、公积金、社保、金融机构黑白名单、自建模型评分。

具体的举例说明，将所述数据源划分为一般数据源和核心数据源，具体包括：

需要说明的是，当历史调用失败次数较多时，则确定数据源为核心数据源。

可以理解的是，例如人行信息、金融机构黑白名单等重要程度较高，因此必须将其直接作为核心数据源。

需要说明的是，读取数据量较多时，则确定数据源为核心数据源。

具体的举例说明，根据所述核心度评价值将所述数据源划分为核心数据源和一般数据源，具体包括：

当核心度评价值较大时，则可以直接将其作为核心数据源。

在本实施例中，通过根据所述数据源在被单次调用时的读取数据量、数据源的类型、数据源的历史调用失败次数将所述数据源划分为一般数据源和核心数据源，从而实现了从数据源的历史故障情况以及类型和数据量的角度对数据源进行评估，实现了对核心数据源的筛选，这也为进一步提升数据层中间件的设置的准确性奠定了基础。

具体的举例说明，如图2所示，所述数据源的延时预测值确定的具体步骤为：

S21获取所述数据源的后台服务器的平均响应时间、每秒查询率、并发数，并通过所述数据源的后台服务器的平均响应时间、每秒查询率、并发数进行所述数据源的基础延时评测值的确定；

可以理解的是，基本延时评测值反应的是后台服务器的基本网络的延时情况，同时也跟服务器的实际硬件数据有关。

S22获取所述数据源在被单次调用时的所需的平均请求次数，并基于所述平均请求次数确定是否需要对所述数据源的基础延时评测值进行修正，若是，则进入步骤S25，若否，则进入步骤S23；

需要说明的是，具体的，当数据源在被单次调用时的所需的平均请求次数大于三次之后，服务器才响应，因此必须对数据源的基础延时评测值进行修正，以使得最终的延时评估值更加准确。

S23获取所述数据源在被单次调用时的平均读取次数，并通过所述平均读取次数确定是否需要对所述数据源的基础延时评测值进行修正，若是，则进入步骤S25，若否，则进入步骤S24；

需要说明的是，由于不同数据源的数据量不同，因此有可能单独的一次并不能完成所有的数据的读取，因此可以通过平均读取次数反应上述情况。

S24获取所述数据源在被单次调用时的读取数据量，并通过所述读取数据量确定是否需要对所述数据源的基础延时评测值进行修正，若是，则进入步骤S25，若否，则将所述数据源的基础延时评测值作为所述数据源的延时评测值；

可以理解的是，读取数据量越大，则说明延时评测值越大，此时也必须进行修正。

S25通过所述数据源在被单次调用时的读取数据量、平均读取次数、所需的平均请求次数进行所述数据源的延时修正量的确定，并基于所述延时修正量对所述基础延时评测值进行修正得到所述数据源的延时预测值。

需要说明的是，当所述平均请求次数大于预设次数时，则确定需要对所述数据源的基础延时评测值进行修正。

在本实施例中，通过根据所述延时预测值将所述数据源划分为延时数据源和正常数据源，从而实现了从延时情况实现了对数据源的区分，保证了数据源的延时情况的评估的准确性，同时通过延时数据源的区分，也为进一步提升数据层中间件的设置的数量的准确性奠定了基础。

具体的举例说明，如图3所示，所述数据层中间件的数量确定的具体步骤为：

S31通过所述数据源的数量进行所述数据层中间件的基础数量的确定，并通过所述核心数据源的数量以及比例确定是否需要对所述数据层中间件的基础数量进行修正，若是，则进入步骤S34，若否，则进入步骤S32；

当核心数据源的数量或者比例较大时，此时需要进行修正，必须保证核心数据源的读取的实时性和可靠性。

S32通过所述延时数据源的数量以及比例确定是否需要对所述数据层中间件的基础数量进行修正，若是，则进入步骤S34，若否，则进入步骤S33；

S33将所述数据源中同时为核心数据源和延时数据源的数据源作为筛选数据源，并通过所述筛选数据源的数量以及比例确定是否需要对所述数据层中间件的基础数量进行修正，若是，则进入步骤S34，若否，则将所述数据层中间件的基础数量作为所述数据层中间件的数量；

S34通过所述核心数据源的数量以及比例、延时数据源的数量以及比例、筛选数据源的数量以及比例构建数量修正值，并基于所述数量修正值以及所述基础数量进行所述数据层中间件的数量的确定。

需要说明的是，如图4所示，基于所述数量修正值以及所述基础数量进行所述数据层中间件的数量的确定，具体包括：

获取所述数量修正值，并判断所述数量修正值是否大于第一预设修正量，若是，则将所述数量修正值与所述基础数量的和进行所述数据层中间件的修正数量的确定，并通过所述数量修正值构建修正系数，并基于所述修正系数与所述修正数量的乘积进行所述数据层中间件的数量的确定，若否，则进入下一步骤；

通过所述数量修正值与所述基础数量的和进行所述数据层中间件的数量的确定。

在本实施例中，通过一般数据源的数量和核心数据源的数量、延时数据源的数量和正常数据源的数量进行数据层中间件的数量的确定，从而实现了从不同的数据源的类型的角度对数据层中间件的数量的确定，在保证数据源的读取的效率的基础上，同时也满足了数据源的读取可靠性的需求。

具体的举例说明，所述读取优先值确定的具体步骤为：

获取所述数据层中间件所对应的核心数据源的数量，并通过所述核心数据源的数量将所述数据层中间件的数据处理顺序划分为第一等级和第二等级，其中第一等级大于第二等级；

当所述数据层中间件的数据处理顺序被划分为第一等级时，将所述数据层中间件所对应的同时属于延时数据源和核心数据源的作为筛选数据源，并判断所述数据层中间件的筛选数据源的数量是否大于预先设定的数据源的基准数量，若是，则通过所述筛选数据源的数量进行所述数据层中间件的数据处理顺序的确定，若否，则进入下一步骤；

判断所述核心数据源的数量是否大于预先设定的核心数据源的基准数量，若是，则通过核心数据源的数量进行所述数据层中间件的数据处理顺序的确定，若否，则通过所述数据层中间件所对应的核心数据源的数量、延时数据源的数量、所有的数据源的延时预测值的和进行所述数据层中间件的读取优先值的确定；

当所述数据层中间件的数据处理顺序被划分为第二等级时，将所述数据层中间件所对应的同时属于延时数据源和核心数据源的作为筛选数据源，并判断所述数据层中间件的筛选数据源的数量是否大于预先设定的数据源的基准数量，若是，则通过所述筛选数据源的数量进行所述数据层中间件的数据处理顺序的确定，若否，则进入下一步骤；

判断所述延时数据源的数量是否大于预先设定的延时数据源的基准数量，若是，则通过延时数据源的数量进行所述数据层中间件的数据处理顺序的确定，若否，则进入下一步骤；

判断数据源的延时评测值以及所述数据源的类型进行所述数据源的修正延时评测值的确定，并判断所述数据层中间件所对应的数据源的修正延时评测值的和是否大于预先设定的延时评测值的基准量，若是，则通过数据层中间件所对应的数据源的修正延时评测值的和进行所述数据层中间件的数据处理顺序的确定，若否，则通过所述数据层中间件所对应的核心数据源的数量、延时数据源的数量、所有的数据源的延时预测值的和进行所述数据层中间件的读取优先值的确定。

可以理解的是，所述数据源的类型包括一般数据源和核心数据源。

在本实施例中，通过数据层中间件所对应的核心数据源的数量、延时数据源的数量、所有的数据源的延时预测值的和进行所述数据层中间件的读取优先值的确定，从而不仅仅保证了数据源的读取的时效性的要求，同时也保证了核心数据源的读取的优先性和可靠性的需求。

为了方便理解，以下结合具体应用场景给出一个具体的实施例：

在进行用户的授信申请处理时，需要从人行信息、学历、公积金、社保、金融机构黑白名单、自建模型评分等数据源进行数据的读取，首先从数据源的类型，由于人行信息、金融机构黑白名单等类型的数据源对于授信申请处理的影响程度较高，因此首先需要将其作为核心数据源，而对于学历、公积金、社保、自建模型评分等类型的数据源，由于公积金、社保的读取数据量较大，同时根据其历史调用失败次数，将社保和公积金的数据源作为核心数据源，而学历、自建模型评分等作为一般数据源；

获取人行信息、学历、公积金、社保、金融机构黑白名单、自建模型评分等数据源在进行数据读取时的平均响应时间以及每秒查询率，并结合数据源在被单次调用时的平均读取次数以及读取数据量确定所述数据源的延时预测值，具体的，对于公积金、社保由于读取数据量较大，同时读取人数较多，因此其延时评测值最大，按照申请人的经验数据，一般为0.6-0.8之间，将其作为延时数据源，其他类型的数据源的服务器要不设置在本行内部，要不读取的数据量较少，一般来说，将其作为正常数据源；

数据层中间件的数量根据人行信息、学历、公积金、社保、金融机构黑白名单、自建模型评分等数据源的数量首先进行确定，具体的，可以选择在数据源的数量的三分之一到四分之一之间，在本申请中，将其设置为2-3个左右，另外本申请中可以为核心数据源配置数据层中间件时，其最多有两个，也就是说为人行信息、金融机构黑白名单设置一个数据层中间件，同时为公积金、社保数据量等延时数据源诶一个均设置一个数据层中间件，最后也就是数据层中间件的数量在4个，也就是说人行信息、学历为一个数据层中间件，金融机构黑白名单、自建模型评分为一个数据层中间件；公积金、社保数据量等延时数据源一个均设置一个数据层中间件；

首先根据每一个数据层中间件的核心数据源的数量、延时数据源的数量、所有的数据源的延时预测值的和进行读取优先值的确定，也就是说金融机构黑白名单、自建模型评分所处的数据层中间件的读取优先级最高，而公积金、社保数据量的读取优先级为最低。

另一方面，如图5所示，本发明提供了一种计算机系统，包括：通信连接的存储器和处理器，以及存储在所述存储器上并能够在所述处理器上运行的计算机程序，其特征在于：所述处理器运行所述计算机程序时执行上述的一种风控数据处理方法。

上述的一种风控数据处理方法，具体包括：

获取所述数据源的历史调用失败次数，并根据所述数据源的历史调用失败次数确定所述数据源不为核心数据源时，进入下一步骤；

需要说明的是，当历史调用失败次数较少时，则确定数据源不为核心数据源。

获取所述数据源的类型，并根据所述数据源的类型确定所述数据源不属于核心数据源时，进入下一步骤；

可以理解的是，例如人行人行信息、金融机构黑白名单等重要程度较高，因此必须将其直接作为核心数据源。

通过所述数据源在被单次调用时的读取数据量、数据源的类型、数据源的历史调用失败次数进行所述数据源的核心度评价值的确定，并根据所述核心度评价值将所述数据源划分为核心数据源和一般数据源；

通过所述数据源的后台服务器的平均响应时间以及每秒查询率，并结合数据源在被单次调用时的平均读取次数以及读取数据量确定所述数据源的延时预测值，并根据所述延时预测值将所述数据源划分为延时数据源和正常数据源；

通过所述一般数据源的数量和核心数据源的数量、延时数据源的数量和正常数据源的数量进行数据层中间件的数量的确定，并当进行用户的授信申请处理时，进入下一步骤；

判断数据源的延时评测值以及所述数据源的类型进行所述数据源的修正延时评测值的确定，并判断所述数据层中间件所对应的数据源的修正延时评测值的和是否大于预先设定的延时评测值的基准量，若是，则通过数据层中间件所对应的数据源的修正延时评测值的和进行所述数据层中间件的数据处理顺序的确定，若否，则通过所述数据层中间件所对应的核心数据源的数量、延时数据源的数量、所有的数据源的延时预测值的和进行所述数据层中间件的读取优先值的确定，并根据所述读取优先值确定所述数据层中间件的数据处理顺序。

另一方面，本发明提供了一种计算机存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行上述的一种风控数据处理方法。

上述的一种风控数据处理方法，具体包括：

获取在进行用户的授信申请时所需读取的数据源，并根据所述数据源在被单次调用时的读取数据量、数据源的类型、数据源的历史调用失败次数将所述数据源划分为一般数据源和核心数据源；

获取所述数据源的后台服务器的平均响应时间、每秒查询率、并发数，并通过所述数据源的后台服务器的平均响应时间、每秒查询率、并发数进行所述数据源的基础延时评测值的确定；

获取所述数据源在被单次调用时的读取数据量，并通过所述读取数据量确定需要对所述数据源的基础延时评测值进行修正时，进入下一步骤；

通过所述数据源在被单次调用时的读取数据量、平均读取次数、所需的平均请求次数进行所述数据源的延时修正量的确定，并基于所述延时修正量对所述基础延时评测值进行修正得到所述数据源的延时预测值，并通过所述延时评测值进行延时数据源和正常数据源的分类；

通过所述数据层中间件所对应的核心数据源的数量、延时数据源的数量、所有的数据源的延时预测值的和进行所述数据层中间件的读取优先值的确定，并根据所述读取优先值确定所述数据层中间件的数据处理顺序。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置、设备、非易失性计算机存储介质实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

以上所述仅为本说明书的一个或多个实施例而已，并不用于限制本说明书。对于本领域技术人员来说，本说明书的一个或多个实施例可以有各种更改和变化。凡在本说明书的一个或多个实施例的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本说明书的权利要求范围之内。

Claims

1.一种风控数据处理方法，其特征在于，具体包括：

2.如权利要求1所述的一种风控数据处理方法，其特征在于，所述数据源的类型包括但不限于人行信息、学历、公积金、社保、金融机构黑白名单、自建模型评分。

3.如权利要求1所述的一种风控数据处理方法，其特征在于，将所述数据源划分为一般数据源和核心数据源，具体包括：

4.如权利要求3所述的一种风控数据处理方法，其特征在于，根据所述核心度评价值将所述数据源划分为核心数据源和一般数据源，具体包括：

5.如权利要求1所述的一种风控数据处理方法，其特征在于，所述数据源的延时预测值确定的具体步骤为：

6.如权利要求5所述的一种风控数据处理方法，其特征在于，当所述平均请求次数大于预设次数时，则确定需要对所述数据源的基础延时评测值进行修正。

7.如权利要求1所述的一种风控数据处理方法，其特征在于，所述数据层中间件的数量确定的具体步骤为：

8.如权利要求7所述的一种风控数据处理方法，其特征在于，基于所述数量修正值以及所述基础数量进行所述数据层中间件的数量的确定，具体包括：

9.一种计算机系统，包括：通信连接的存储器和处理器，以及存储在所述存储器上并能够在所述处理器上运行的计算机程序，其特征在于：所述处理器运行所述计算机程序时执行权利要求1-8任一项所述的一种风控数据处理方法。

10.一种计算机存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行权利要求1-8任一项所述的一种风控数据处理方法。