CN111638948A - 多通道高可用的大数据实时决策系统及决策方法 - Google Patents

Abstract

本发明公开了一种多通道高可用的大数据实时决策系统，包括大数据服务模块、内部数据库、多通道竞争数据处理单元和决策引擎模块，所述内部数据库、多通道竞争数据处理单元和决策引擎模块均与大数据服务模块连接，所述大数据服务模块还分别与信贷系统和外部数据管理平台连接，所述信贷系统连接有渠道端，所述外部数据管理平台连接有多家第三方数据平台；本发明还公开了一种多通道高可用的大数据实时决策方法。本发明中，以多通道竞争的模式分别通过多种处理技术并行进行数据处理，集合多种技术的优势，能够有效提高决策服务的可靠性，提高数据决策服务的成功率，而且还能保证决策的及时性。

Description

多通道高可用的大数据实时决策系统及决策方法

技术领域

本发明涉及信贷决策服务领域，特别涉及一种多通道高可用的大数据实时决策系统及决策方法。

背景技术

对于实时决策系统，在提供决策服务时一般采用大数据流处理技术或者内存结算等相关技术完成实时数据加工处理，这两种技术在面向不同数据时，对于数据缺失、不同数据量大小等情况各有优劣，数据处理质量不高，经常出现编码错误、缺失等异常情况，现有技术中，为保持决策的及时性往往直接丢弃出现异常情况的用户数据，反馈无法决策，造成决策的成功率不高。而且现有决策引擎一般采用串行的处理方式，决策耗时较长，且决策过程中的数据不可见，存在调试难、验证难、线上回溯难等问题。

发明内容

本发明要解决的技术问题是提供了一种采用多通道竞争方式进行数据处理，以提高数据处理速度和决策成功率的多通道高可用的大数据实时决策系统及决策方法。

本发明的技术方案如下：

一种多通道高可用的大数据实时决策系统，包括大数据服务模块、内部数据库、多通道竞争数据处理单元和决策引擎模块，所述内部数据库、多通道竞争数据处理单元和决策引擎模块均与大数据服务模块连接，所述大数据服务模块还分别与信贷系统和外部数据管理平台连接，所述信贷系统连接有渠道端，所述外部数据管理平台连接有多家第三方数据平台；

所述大数据服务模块用于根据信贷系统送来的用户数据决策请求从内部数据库中查询获取该用户的内部数据，以及通过外部数据管理平台从多家第三方数据平台获取该用户的数据，并收集整理成用户数据后，发送给多通道竞争数据处理单元；所述大数据服务模块还用于接收决策引擎模块送来的决策结果并反馈给信贷系统，以及将该决策结果存储在内部数据库中；

所述多通道竞争数据处理单元采用至少两种数据处理技术并行对业务申请的用户数据进行处理，每种数据处理技术对应一个数据处理通道，各数据处理通道并行对大数据服务模块送来的用户数据进行处理后送给决策引擎模块；

所述决策引擎模块用于对先完成数据处理的数据处理通道送来的用户数据根据若干风控规则进行决策服务，得出决策结果并实时将反馈给大数据服务模块；所述决策引擎模块按照本地规则优先于外部规则、无成本或低成本的规则优先于高成本的规则、消耗低性能的规则优先于高性能消耗的规则的顺序设定执行风控规则的优先级。

进一步的，所述多通道竞争数据处理单元包括流处理通道和内存计算通道；所述流处理通道采用大数据流处理技术进行数据处理，所述内存计算通道采用内存计算技术进行数据处理；所述流处理通道和内存计算通道对每一业务申请的用户数据进行处理后，分别生成处理记录日志并存储。

进一步的，所述决策引擎模块设有多个节点，每一节点执行一个风控规则，并存储该风控规则的执行结果；对无前后关联关系的节点采用并行执行的方式。

进一步的，所述决策引擎模块为每一业务申请设置标志位，并将该业务申请的标志位设置为初始状态，当收到数据处理通道送来的该业务申请的用户数据时，先查询该业务申请的标志位是否为初始状态，如果该业务申请的标志位为初始状态，则判定未对该业务申请进行决策，更改该业务申请的标志位状态后，以该数据处理通道送来的该业务申请的用户数据为依据进行决策服务；否则，判定已对该业务申请进行了决策，直接丢弃该业务申请的用户数据。

进一步的，所述决策系统还包括评分模块，所述评分模块采用评分卡模型的方式对用户数据进行整体打分，并采用逻辑回顾算法进行变量筛选。

一种多通道高可用的大数据实时决策方法，包括以下步骤：

步骤S1、用户在渠道端向信贷系统提出业务申请；

步骤S2、信贷系统对该业务申请的用户进行身份验证、反欺诈流程处理后，向大数据实时决策系统发起该业务申请的数据决策请求，同时执行步骤S301和步骤S302；

步骤S301、大数据实时决策系统从内部数据库中查询获取该业务申请的用户的内部数据，执行步骤S4；

步骤S302、大数据实时决策系统向外部数据管理平台发起该业务申请的用户的外部数据请求，执行步骤S303；

步骤S303、外部数据管理平台从多家第三方数据平台获取该业务申请的用户的数据并反馈给大数据实时决策系统，执行步骤S4；

步骤S4、大数据实时决策系统将该业务申请的用户的内部数据和外部数据收集整理成该业务申请的用户数据，执行步骤S5；

步骤S5、大数据实时决策系统同时采用至少两种数据处理技术并行对该业务申请的用户数据进行处理，执行步骤S6；

步骤S6、当采用一种数据处理技术处理完成该业务申请的用户数据后，大数据实时决策系统查询是否已对该业务申请进行了决策，如果未对该业务申请进行决策，则执行步骤S701，如果已对该业务申请进行了决策，则执行步骤S702；

步骤S701、以采用该数据处理技术处理完成的该业务申请的用户数据为依据，按照本地规则优先于外部规则、无成本或低成本的规则优先于高成本的规则、消耗低性能的规则优先于高性能消耗的规则的顺序依次执行各风控规则进行决策服务，得出该业务申请的决策结果实时反馈给信贷系统，并将该决策结果存储在内部数据库中，执行步骤S8；

步骤S702、丢弃采用该数据处理技术处理完成的该业务申请的用户数据；

步骤S8、信贷系统将该业务申请的决策结果反馈给渠道端。

进一步的，大数据实时决策系统采用的数据处理技术包括大数据流处理技术和内存计算技术；所述大数据实时决策系统采用每一种数据处理技术对业务申请的用户数据进行处理后，分别生成处理记录日志并存储。

进一步的，在所述步骤S6中，查询是否已对该业务申请进行了决策的方法如下：

大数据实时决策系统为每一业务申请设置标志位，并将该业务申请的标志位设置为初始状态，当采用一种数据处理技术将该业务申请的用户数据处理完成后，先查询该业务申请的标志位是否为初始状态，如果该业务申请的标志位为初始状态，则判定未对该业务申请进行决策，更改该业务申请的标志位状态后，执行步骤S701；否则，判定已对该业务申请进行了决策，执行步骤S702。

进一步的，在所述步骤S5中，采用多种数据处理技术并行对该业务申请的用户数据进行处理的同时，还执行以下步骤：

步骤S501、将该业务申请的失败次数置“0”，执行步骤S502；

步骤S502、将该业务申请的处理时间置“0”，并开始计时，执行步骤S503；

步骤S503、检测是否已得出该业务申请的决策结果，如果在设置的最长数据处理时间内得出了该业务申请的决策结果，则执行步骤S504；如果达到最长数据处理时间时仍未得出该业务申请的决策结果，则执行步骤S505；

步骤S504、停止该业务申请的处理时间计时；

步骤S505、将该业务申请的失败次数加1，执行步骤S506；

步骤S506、判断该业务申请的失败次数是否达到设置的最大失败次数，如果达到最大失败次数，则执行步骤S507；未达到最大失败次数，则执行步骤S508；

步骤S507、停止该业务申请的处理时间计时，并向信贷系统反馈该业务申请“决策失败”的信息；

步骤S508、再次采用多种数据处理技术并行对该业务申请的用户数据进行处理，同时返回执行步骤S502。

进一步的，针对用户数据采用评分卡模型的方式，进行整体打分，并采用逻辑回顾算法进行变量筛选，变量筛选包括以下步骤：

从外部数据平台或内部数据库中选取若干用户数据作为信贷样本数据；

根据选中的信贷样本数据收集和整理原始变量；

将变量进行分组处理，并计算各组的证据权重值WOE，计算公式为：

其中：i为小组号，WOE_i表示第i组的证据权重值，P_g是这个组中违约客户占所有样本中所有违约客户的比例，P_b是这个组中未违约客户占样本中所有未违约客户的比例，G_i是这个组中违约客户的数量，B_i是这个组中未违约客户的数量，G_s是样本中所有违约客户的数量，B_s是样本中所有未违约客户的数量；

计算各变量的信息价值IV，计算公式为：

根据IV值对变量进行筛选。

本发明的有益效果如下：

1、以多通道竞争的模式分别通过大数据流处理技术、内存计算技术等多种处理技术并行进行数据处理，集合多种技术的优势，能够有效提高决策服务的可靠性，提高数据决策服务的成功率，而且还能保证决策的及时性；

2、本发明不是简单的负载冗余，而是以竞争模式，以最优技术方案提高数据处理速度和决策成功率，决策的可靠性和及时性更高；

3、在节点中存储风控规则的执行结果，能够调取每条流程的任何节点的执行结果，从而解决了决策引擎模块调试难、验证难、线上回溯难等难题；

4、设定执行风控规则的优先级，并行执行无前后关联关系的节点，能够大大缩短决策流程的平均执行耗时，在大幅提升业务转化率的同时还能降低运营的成本；

5、决策系统针对用户数据采用评分卡模型的方式进行整体打分，并采用逻辑回顾算法进行变量筛选，能够提升模型准确性，便于后续优化。

附图说明

图1为本发明多通道高可用的大数据实时决策系统的结构框图；

图2为本发明多通道高可用的大数据实时决策方法的流程图。

具体实施方式

为了使本技术领域的人员更好地理解本发明实施例中的技术方案，并使本发明实施例的上述目的、特征和优点能够更加明显易懂，下面结合附图对本发明实施例中技术方案作进一步详细的说明。

在本发明的描述中，除非另有规定和限定，需要说明的是，术语“连接”应做广义理解，例如，可以是机械连接或电连接，也可以是两个元件内部的连通，可以是直接相连，也可以通过中间媒介间接相连，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。

如图1所示，本发明多通道高可用的大数据实时决策系统包括大数据服务模块、内部数据库、多通道竞争数据处理单元和决策引擎模块，所述内部数据库、多通道竞争数据处理单元和决策引擎模块均与大数据服务模块连接，所述大数据服务模块还分别与信贷系统和外部数据管理平台连接，所述信贷系统连接有渠道端，所述外部数据管理平台连接有多家第三方数据平台。

所述大数据服务模块用于根据信贷系统送来的用户数据决策请求从内部数据库中查询获取该用户的内部数据，以及通过外部数据管理平台从多家第三方数据平台获取该用户的数据，并收集整理成用户数据后，发送给多通道竞争数据处理单元；所述大数据服务模块还用于接收决策引擎模块送来的决策结果并反馈给信贷系统，以及将该决策结果存储在内部数据库中。

所述多通道竞争数据处理单元采用至少两种数据处理技术并行对业务申请的用户数据进行处理，每种数据处理技术对应一个数据处理通道，在本实施例中，作为优选，多通道竞争数据处理单元包括采用大数据流处理技术的流处理通道和采用内存计算技术的内存计算通道；当然，多通道竞争数据处理单元也可采用其他数据处理通道，也可采用多于两个数据处理通道。各数据处理通道并行对大数据服务模块送来的用户数据进行处理后送给决策引擎模块。

所述决策引擎模块用于对先完成数据处理的数据处理通道送来的用户数据根据若干风控规则进行决策服务，得出决策结果并实时将反馈给大数据服务模块；所述决策引擎模块按照以下原则设定执行风控规则的优先级：

1、本地规则优先于外部规则。例如，决策系统内部数据库的黑名单数据源优先于外部数据的黑名单数据源运行，如果触发内部数据库的黑名单数据则决策服务直接终止并输出“拒绝信贷”的决策结果。

2、无成本或低成本的规则优先于高成本的规则。例如，借款用户的身份特定不符合风控要求的，诸如低于18岁的用户，则可优先运行，而需要通过对接外部三方征信的风控规则，需支出相关查询费用的，则靠后运行。此外，在外部三方征信的规则中，命中式收费的风控规则(如黑名单与反欺诈)又可以优先于每次查询式收费的风控规则(如征信报告)运行。

3、消耗低性能的规则优先于高性能消耗的规则。例如，直接基于用户现有属性的数值，如当前用户的民族是否非少数民族，可优先运行，而一些风控规则，需借助爬虫接口，且需待将爬取到的数据经过二次加工与汇合之后，再对汇合的总值进行判断，如手机运营商手机使用时长，则此类风控规则后置运行。

为提升决策系统的准确性以及便于后续优化，决策系统针对用户数据采用评分卡模型的方式进行整体打分，并采用逻辑回顾算法进行变量筛选，变量筛选包括以下步骤：

从外部数据平台或内部数据库中选取若干用户数据作为信贷样本数据(以人为维度)，例如，可按照会员号尾号(0-9)切分的方式做随机样本集；为了更好表述样本特征，以逾期超过X天为bad样本(label为1)，逾期小于Y天为good样本(lable为0)，其中，X>Y，并舍弃逾期天数在X天和Y天之间的样本；

根据选中的信贷样本数据收集和整理原始变量；

将变量进行分组处理，并计算各组的WOE值(Weight of Evidence，即证据权重值)。WOE值的计算公式为：

其中：i为小组号，WOE_i表示第i组的WOE值，P_g是这个组中违约客户占所有样本中所有违约客户的比例，P_b是这个组中未违约客户占样本中所有未违约客户的比例，G_i是这个组中违约客户的数量，B_i是这个组中未违约客户的数量，G_s是样本中所有违约客户的数量，B_s是样本中所有未违约客户的数量。

计算各变量的IV值(Information Value，即信息价值)，IV值的计算公式为：

根据IV值对变量进行筛选，例如，可设定IV值的门限值为0.1，筛选出IV值大于0.1的变量，并计算筛选出的变量的权重；

决策引擎模块根据筛选出的变量及其权重计算结果动态快速调整各变量参数以及权重。

所述决策引擎模块设有多个节点，每一节点执行一个风控规则，并存储该风控规则的执行结果；对无前后关联关系的节点采用并行执行的方式。现有的决策模块只输出最终的决策结果，其决策过程是完全不可见的，通过设置节点，并在节点中存储风控规则的执行结果，能够调取每条流程的任何节点的执行结果，从而解决了决策引擎模块调试难、验证难、线上回溯难等难题。现有的决策引擎一般采用串行的执行方式，虽然单个节点的执行耗时一般在几百毫秒，但整个决策流程的耗时几乎是每个节点耗时的总和，本发明通过并行执行无前后关联关系的节点，能够将决策流程的平均执行耗时缩短50％-60％。在大幅提升业务转化率的同时还能降低运营的成本。

所述决策引擎模块还为每一业务申请设置标志位，并将该业务申请的标志位设置为初始状态，当收到数据处理通道送来的该业务申请的用户数据时，先查询该业务申请的标志位是否为初始状态，如果该业务申请的标志位为初始状态，则判定未对该业务申请进行决策，更改该业务申请的标志位状态后，以该数据处理通道送来的该业务申请的用户数据为依据进行决策服务，得出决策结果并实时将反馈给大数据服务模块；否则，判定已对该业务申请进行了决策，直接丢弃该业务申请的用户数据。

本发明通过双通道竞争的数据处理方式，能够保证多通道竞争数据处理单元的处理时间始终为较快的一个数据处理通道的处理时间，有效提高数据处理速度；还能避免某一数据处理通道无法处理数据时直接将数据丢弃的情况，只有两个数据处理通道均无法处理数据时才会丢弃数据，大大提高了决策的成功率。

如图1和图2所示，本发明多通道高可用的大数据实时决策方法采用的大数据实时决策系统包括大数据服务模块、内部数据库、多通道竞争数据处理单元和决策引擎模块，所述大数据实时决策方法包括以下步骤：

步骤S1、用户在渠道端登陆后，按要求填写必要的个人信息，向信贷系统提出业务申请；

步骤S2、信贷系统对该业务申请的用户进行身份验证、反欺诈流程处理后，向大数据服务模块发起该业务申请的用户数据决策请求，同时执行步骤S301和步骤S302；

步骤S301、大数据服务模块从内部数据库中查询获取该业务申请的用户的内部数据，执行步骤S4；

步骤S302、大数据服务模块向外部数据管理平台发起该业务申请的用户的外部数据请求，执行步骤S303；

步骤S303、外部数据管理平台从多家第三方数据平台获取该业务申请的用户的数据执行步骤S4；例如，可从国家征信平台、反欺诈平台、第三方征信平台、企业用户的工商信息平台、司法信息平台等获取该业务申请的用户的数据，并反馈给大数据服务模块。

步骤S4、大数据服务模块将该业务申请的用户的内部数据和外部数据收集整理成该业务申请的用户数据，执行步骤S5；

步骤S5、多通道竞争数据处理单元采用至少两种数据处理技术并行对该业务申请的用户数据进行处理，执行步骤S6；在本实施例中，作为优选，多通道竞争数据处理单元包括流处理通道和内存计算通道；所述流处理通道采用大数据流处理技术对该业务申请的用户数据进行处理，所述内存计算通道采用内存计算技术对该业务申请的用户数据进行处理。当然，多通道竞争数据处理单元还可以包括采用其他数据处理技术的数据处理通道。所述多通道竞争数据处理单元的各数据处理通道对业务申请的用户数据进行处理后，还分别生成处理记录日志并存储，作为后续决策系统准确性评估的依据。

流处理通道和内存计算通道的作用是将繁杂的外部数据形成统一格式的，决策引擎模块可以识别的数据；由于不同的第三方数据平台的数据量、缺失度等都不一样，内存计算通道在用户数据量较小的情况下比较有优势；而流处理通道开发更复杂一些，需要提前预设一些数据处理规则，对于没有设定好的规则，则会处理不到位，在处理数据量较大、比较规则的用户数据时则相对更有优势，而且，由于流处理技术一般需要用Kafka、Flink、redis等多个组件进行处理，不同组件的对接需要消耗时间，在用户数据量小的时候，整体耗时会更长。由于流处理和内存计算的数据处理方式不同，对于各类数据的处理速度也会有区别，因此，在数据处理过程中，会有一个数据处理通道先完成数据处理，另一个数据处理通道后完成数据处理或无法完成数据处理。

步骤S6、各数据处理通道在独自处理完成该业务申请的用户数据后分别送给决策引擎模块，决策引擎模块查询是否已对该业务申请进行了决策，如果未对该业务申请进行决策，则执行步骤S701，如果已对该业务申请进行了决策，则执行步骤S702；查询是否已对该业务申请进行了决策可采用以下方法：

决策引擎模块为每一业务申请设置标志位，并将该业务申请的标志位设置为初始状态，在收到多通道竞争数据处理单元送来的用户数据之前，该业务申请的标志位为初始状态，例如，可设置该业务申请标志位的初始值为“0”，当收到多通道竞争数据处理单元送来的用户数据时，决策引擎模块查询该业务申请的标志位的初始值是否为“0”(即标志位是否为初始状态)，如果该业务申请标志位的初始值为“0”，说明决策引擎模块为首次接收该业务申请的用户数据，因此判定未对该业务申请进行决策，更改该业务申请的标志位状态，例如，将该业务申请标志位的值设置为“1”，然后执行步骤S701；否则，说明决策引擎模块已接收过该业务申请的用户数据，因此判定已对该业务申请进行了决策，执行步骤S702。

下面以流处理通道先完成数据处理为例进行说明，在决策引擎模块收到流处理通道和内存计算通道送来的用户数据之前，该业务申请的标志位的值为“0”，当流处理通道将该业务申请的用户数据送给决策引擎模块时，决策引擎模块查询到该业务申请的标志位的值为“0”，判定未接收过该业务申请的用户数据，也未进行决策，先将该业务申请的标志位的值设置为“1”，然后执行步骤S701。

步骤S701、决策引擎模块以流处理通道送来的该业务申请的用户数据为依据，按照本地规则优先于外部规则、无成本或低成本的规则优先于高成本的规则、消耗低性能的规则优先于高性能消耗的规则的顺序依次执行各风控规则进行决策服务，得出决策结果并实时反馈给大数据服务模块。所述决策引擎模块设有多个节点，每一节点执行一个风控规则，并存储该风控规则的执行结果；对无前后关联关系的节点采用并行执行的方式。在节点中存储风控规则的执行结果，能够调取每条流程的任何节点的执行结果，从而解决了决策引擎模块调试难、验证难、线上回溯难等难题；并行执行无前后关联关系的节点，能够大大缩短决策流程的平均执行耗时，在大幅提升业务转化率的同时还能降低运营的成本。

大数据服务模块实时将该业务申请的决策结果反馈给信贷系统，执行步骤S8；同时，大数据服务模块还会将决策结果存储在内部数据库中，当该用户再次发起业务申请，大数据服务模块从内部数据库中调取该用户的内部数据时，会调出本次的决策结果作为该用户的内部数据的组成部分。

步骤S8、信贷系统将该业务申请的决策结果反馈给渠道端。

当内存计算通道将该业务申请的用户数据送给决策引擎模块时，决策引擎模块查询到该业务申请的标志位的值为“1”，判定已接收过该业务申请的用户数据并进行了决策，执行步骤S702；

步骤S702、丢弃该数据处理通道送来的该业务申请的用户数据，避免重复对该业务申请进行决策；如果内存计算通道无法处理该业务申请的用户数据，或在预定时间内没有完成该业务申请的用户数据的处理，则内存计算通道会舍弃该业务申请的用户数据，不再进行处理，也不会将该业务申请的用户数据送给决策引擎模块，因此，决策引擎模块也不会再次对该业务申请的用户数据进行决策。

通过双通道竞争的数据处理方式，能够保证多通道竞争数据处理单元的处理时间始终为较快的一个数据处理通道的处理时间，有效提高数据处理速度；还能避免某一数据处理通道无法处理数据时直接将数据丢弃的情况，只有两个数据处理通道均无法处理数据时才会丢弃数据，大大提高了决策的成功率。

另外，由于流处理通道和内存计算通道都是多线程服务的，每个通道都能够同时支持多个用户并发数据(目前每个通道支持的请求数为100TPS，大大高于实际申请用户的需求)，因此，采用双通道并行处理的方式并不会造成信息堵塞，即不会降低处理效率。

为应对两个数据处理通道都无法处理某一业务申请的用户数据的情况，可在大数据服务模块设置最长数据处理时间和最大失败次数，例如，可设置最长数据处理时间为5秒，最大失败次数为2次，当然，最长数据处理时间和最大失败次数也可设置为其他数值；在执行步骤S5的同时，大数据服务模块还执行以下步骤：

步骤S501、将该业务申请的失败次数置“0”，执行步骤S502；

步骤S502、将该业务申请的处理时间置“0”，并开始计时，执行步骤S503；

步骤S503、检测是否收到决策引擎模块反馈的该业务申请的决策结果，如果在5秒(即最长数据处理时间)内收到决策引擎模块反馈的该业务申请的决策结果，则执行步骤S504；如果计时达到5秒仍未收到决策引擎模块反馈的该业务申请的决策结果，则执行步骤S505；

步骤S504、停止该业务申请的处理时间计时；

步骤S505、将该业务申请的失败次数加1，执行步骤S506；

步骤S506、判断该业务申请的失败次数是否达到2次(即最大失败次数)，如果失败次数达到2次，则执行步骤S507；未达到2次，则执行步骤S508；

步骤S507、停止该业务申请的处理时间计时，并向信贷系统反馈该业务申请“决策失败”的信息；

步骤S508、再次将用户数据发送给流处理通道和内存计算通道并行进行处理，返回执行步骤S502。

通过设置最长数据处理时间，能够避免两个数据处理通道都无法处理某一业务申请的用户数据时造成信息堵塞；通过设置最大失败次数，能够有效解决网络突然异常造成短时间的数据丢失的问题。

特别地，根据本发明的较佳实施方式，上文参考图2所描述的过程可以被实现为计算机软件程序。例如，本发明的第三较佳实施方式包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行图2所示的方法的程序代码。在这样的较佳实施方式中，该计算机程序可以通过通信部分从网络上被下载和安装，和/或从可拆卸介质被安装。在该计算机程序被中央处理单元(CPU)执行时，执行本申请的系统中限定的上述功能。

附图1所示的框图和附图2所示的流程图中，框图或流程图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本发明实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现，所描述的单元也可以设置在处理器中。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定。

本发明未描述部分与现有技术一致，在此不做赘述。

以上仅为本发明的实施方式，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构，直接或间接运用在其他相关的技术领域，均同理在本发明的专利保护范围之内。

Claims (10)

1.一种多通道高可用的大数据实时决策系统，其特征在于，包括大数据服务模块、内部数据库、多通道竞争数据处理单元和决策引擎模块，所述内部数据库、多通道竞争数据处理单元和决策引擎模块均与大数据服务模块连接，所述大数据服务模块还分别与信贷系统和外部数据管理平台连接，所述信贷系统连接有渠道端，所述外部数据管理平台连接有多家第三方数据平台；

所述大数据服务模块用于根据信贷系统送来的用户数据决策请求从内部数据库中查询获取该用户的内部数据，以及通过外部数据管理平台从多家第三方数据平台获取该用户的数据，并收集整理成用户数据后，发送给多通道竞争数据处理单元；所述大数据服务模块还用于接收决策引擎模块送来的决策结果并反馈给信贷系统，以及将该决策结果存储在内部数据库中；

所述多通道竞争数据处理单元采用至少两种数据处理技术并行对业务申请的用户数据进行处理，每种数据处理技术对应一个数据处理通道，各数据处理通道并行对大数据服务模块送来的用户数据进行处理后送给决策引擎模块；

所述决策引擎模块用于对先完成数据处理的数据处理通道送来的用户数据根据若干风控规则进行决策服务，得出决策结果并实时将反馈给大数据服务模块；所述决策引擎模块按照本地规则优先于外部规则、无成本或低成本的规则优先于高成本的规则、消耗低性能的规则优先于高性能消耗的规则的顺序设定执行风控规则的优先级。

2.根据权利要求1所述的多通道高可用的大数据实时决策系统，其特征在于，所述多通道竞争数据处理单元包括流处理通道和内存计算通道；所述流处理通道采用大数据流处理技术进行数据处理，所述内存计算通道采用内存计算技术进行数据处理；所述流处理通道和内存计算通道对每一业务申请的用户数据进行处理后，分别生成处理记录日志并存储。

3.根据权利要求1所述的多通道高可用的大数据实时决策系统，其特征在于，所述决策引擎模块设有多个节点，每一节点执行一个风控规则，并存储该风控规则的执行结果；对无前后关联关系的节点采用并行执行的方式。

4.根据权利要求1所述的多通道高可用的大数据实时决策系统，其特征在于，所述决策引擎模块为每一业务申请设置标志位，并将该业务申请的标志位设置为初始状态，当收到数据处理通道送来的该业务申请的用户数据时，先查询该业务申请的标志位是否为初始状态，如果该业务申请的标志位为初始状态，则判定未对该业务申请进行决策，更改该业务申请的标志位状态后，以该数据处理通道送来的该业务申请的用户数据为依据进行决策服务；否则，判定已对该业务申请进行了决策，直接丢弃该业务申请的用户数据。

5.根据权利要求1所述的多通道高可用的大数据实时决策系统，其特征在于，还包括评分模块，所述评分模块采用评分卡模型的方式对用户数据进行整体打分，并采用逻辑回顾算法进行变量筛选。

6.一种多通道高可用的大数据实时决策方法，其特征在于，包括以下步骤：

步骤S1、用户在渠道端向信贷系统提出业务申请；

步骤S2、信贷系统对该业务申请的用户进行身份验证、反欺诈流程处理后，向大数据实时决策系统发起该业务申请的数据决策请求，同时执行步骤S301和步骤S302；

步骤S301、大数据实时决策系统从内部数据库中查询获取该业务申请的用户的内部数据，执行步骤S4；

步骤S302、大数据实时决策系统向外部数据管理平台发起该业务申请的用户的外部数据请求，执行步骤S303；

步骤S303、外部数据管理平台从多家第三方数据平台获取该业务申请的用户的数据并反馈给大数据实时决策系统，执行步骤S4；

步骤S4、大数据实时决策系统将该业务申请的用户的内部数据和外部数据收集整理成该业务申请的用户数据，执行步骤S5；

步骤S5、大数据实时决策系统同时采用至少两种数据处理技术并行对该业务申请的用户数据进行处理，执行步骤S6；

步骤S6、当采用一种数据处理技术处理完成该业务申请的用户数据后，大数据实时决策系统查询是否已对该业务申请进行了决策，如果未对该业务申请进行决策，则执行步骤S701，如果已对该业务申请进行了决策，则执行步骤S702；

步骤S701、以采用该数据处理技术处理完成的该业务申请的用户数据为依据，按照本地规则优先于外部规则、无成本或低成本的规则优先于高成本的规则、消耗低性能的规则优先于高性能消耗的规则的顺序依次执行各风控规则进行决策服务，得出该业务申请的决策结果实时反馈给信贷系统，并将该决策结果存储在内部数据库中，执行步骤S8；

步骤S702、丢弃采用该数据处理技术处理完成的该业务申请的用户数据；

步骤S8、信贷系统将该业务申请的决策结果反馈给渠道端。

7.根据权利要求6所述的多通道高可用的大数据实时决策方法，其特征在于，大数据实时决策系统采用的数据处理技术包括大数据流处理技术和内存计算技术；所述大数据实时决策系统采用每一种数据处理技术对业务申请的用户数据进行处理后，分别生成处理记录日志并存储。

8.根据权利要求6所述的多通道高可用的大数据实时决策方法，其特征在于，在所述步骤S6中，查询是否已对该业务申请进行了决策的方法如下：

大数据实时决策系统为每一业务申请设置标志位，并将该业务申请的标志位设置为初始状态，当采用一种数据处理技术将该业务申请的用户数据处理完成后，先查询该业务申请的标志位是否为初始状态，如果该业务申请的标志位为初始状态，则判定未对该业务申请进行决策，更改该业务申请的标志位状态后，执行步骤S701；否则，判定已对该业务申请进行了决策，执行步骤S702。

9.根据权利要求6所述的多通道高可用的大数据实时决策方法，其特征在于，在所述步骤S5中，采用多种数据处理技术并行对该业务申请的用户数据进行处理的同时，还执行以下步骤：

步骤S501、将该业务申请的失败次数置“0”，执行步骤S502；

步骤S502、将该业务申请的处理时间置“0”，并开始计时，执行步骤S503；

步骤S503、检测是否已得出该业务申请的决策结果，如果在设置的最长数据处理时间内得出了该业务申请的决策结果，则执行步骤S504；如果达到最长数据处理时间时仍未得出该业务申请的决策结果，则执行步骤S505；

步骤S504、停止该业务申请的处理时间计时；

步骤S505、将该业务申请的失败次数加1，执行步骤S506；

步骤S506、判断该业务申请的失败次数是否达到设置的最大失败次数，如果达到最大失败次数，则执行步骤S507；未达到最大失败次数，则执行步骤S508；

步骤S507、停止该业务申请的处理时间计时，并向信贷系统反馈该业务申请“决策失败”的信息；

步骤S508、再次采用多种数据处理技术并行对该业务申请的用户数据进行处理，同时返回执行步骤S502。

10.根据权利要求6所述的多通道高可用的大数据实时决策方法，其特征在于，针对用户数据采用评分卡模型的方式，进行整体打分，并采用逻辑回顾算法进行变量筛选，变量筛选包括以下步骤：

从外部数据平台或内部数据库中选取若干用户数据作为信贷样本数据；

根据选中的信贷样本数据收集和整理原始变量；

将变量进行分组处理，并计算各组的证据权重值WOE，计算公式为：

其中：i为小组号，WOE_i表示第i组的证据权重值，P_g是这个组中违约客户占所有样本中所有违约客户的比例，P_b是这个组中未违约客户占样本中所有未违约客户的比例，G_i是这个组中违约客户的数量，B_i是这个组中未违约客户的数量，G_s是样本中所有违约客户的数量，B_s是样本中所有未违约客户的数量；

计算各变量的信息价值IV，计算公式为：

根据IV值对变量进行筛选。

Images