CN112769888A - 一种征信数据采集系统及其自动化路由方法 - Google Patents

Abstract

本发明公开了一种征信数据采集系统及其自动化路由方法，所述系统包括资源模块，提供数据库、文件存储及缓存功能；服务模块，提供业务服务、服务通信、服务管理和基础服务功能；接口模块，实现服务模块与访问模块的连接；访问模块为用户的访问终端。本发明基于微服务框架的分布式特点，实现数据服务的快速接入，接入时无需停止应用服务，基于数据服务的多样性，可实现自动化管理、自动化路由，基于大数据分析，设定不同的监控指标，使用不同的算法根据不同的维度进行准实时计算，达到预设的阈值后进行自动的服务切换，降低服务中断对业务的影响。

Description

一种征信数据采集系统及其自动化路由方法

技术领域

本发明属于金融数据采集技术领域，具体涉及一种征信数据采集系统及其自动化路由方 法。

背景技术

消费金融公司在业务发展期间会存在很多的欺诈场景，目前多数反欺诈判断都要依赖于 征信数据，征信数据类型五花八门，数据服务繁多，同一类数据存在多个数据服务提供商， 每个数据服务的响应时长、成功率都存在差异，传统的征信过程中，如果某个数据服务异常 了，需要人工监控，手动进行关闭、切换，处理问题的周期较长，业务影响较大，传统的征 信系统中，新增一家数据服务，除了进行代码的开发，服务上线接入时，应用还需要停止对 外提供服务，这就会导致业务中断。

传统征信数据采集平台基础架构设计冗余，接口调用关系杂乱，应用边界模糊，功能归 属混乱，服务性能差，严重影响业务的快速扩展，开发、测试、部署、维护成本高，即使只 改动一个小功能，也需要整个应用一起发布，上线后需要关注整体应用的运行情况等问题。

发明内容

本发明所要解决的技术问题是针对上述现有技术的不足，提供一种征信数据采集系统及 其自动化路由方法，服务之间完全解耦，可以随时部署上线，不影响其他应用服务，实施后 单一服务的性能得到显著提升，单一服务TPS可以达到200，相比之前有了指数级的提升。 发明支持多种智能路由方式，路由策略更加科学，合理规避了人为操作的风险，将对业务的 影响降到最低。

为实现上述技术目的，本发明采取的技术方案为：

一种征信数据采集系统，其特征在于，包括：资源模块、服务模块、接口模块和访问模 块；

所述资源模块，用于提供数据库、文件存储及缓存功能；

所述服务模块，用于提供业务服务、服务通信、服务管理和基础服务功能；

所述接口模块，用于实现服务模块与访问模块的连接；

所述访问模块为用户的访问终端。

为优化上述技术方案，采取的具体措施还包括：

上述的服务模块通过消息中间件MQ、远程过程调用框架RPC、软件架构设计方式REST 或应用通讯组件SIF实现服务通信；

所述业务服务包括nciic实名认证服务、pboc人行征信查询服务、白名单信息查询服务、 客户行为评分服务、手机运营商验证查询服务、逾期&失信&洗钱黑名单信息查询服务；

所述基础服务包括通过通信接口实现的数据源查询按分流模式进行分流的服务、基于切 换规则进行切换服务和通过服务注册方式实现数据服务的上线；

所述服务管理包括数据源信息配置管理、数据源异常监控报警、数据源调用日志管理和 新上线数据服务的注册管理。

上述的接口模块基于通讯协议HTTP/HTTPS、TCP/UDP、Websocket以及API Gateway实现服务模块与访问模块的连接。

上述的一种征信数据采集系统的自动化路由方法，包括：

S01：接收业务系统请求，根据请求信息读取路由配置表，获取配置信息；

S02：对路由配置信息进行校验，验证路由模式是否启用，若未启用则提示路由模式未启 用，路由策略不可用，否则执行S03；

S03：验证路由策略是否生效，若未生效则提示路由策略未生效，否则执行S04；

S04：调用当前路由模式下的路由组件，获取路由结果；

S05：汇总路由结果调用并发组件，由并发组件调用数据服务，并汇总数据结果返回。

上述的一种征信数据采集系统的自动化路由方法，其特征在于，包括时间片、权重、成 功率和时效性路由模式；

针对同一场景的业务，选择时间片的路由模式，分片选择合适的数据服务；

针对不同的渠道，选择权重的路由模式，等比例的分配请求量，按比例选择数据服务。

根据数据服务的成功率分布，组合路由模式，选择最优的数据服务。

上述的时间片路由模式支持多片式，分片可零散分布，根据实际需要进行特定时间片的 选择，方式灵活多变。

上述的权重路由模式具体实现逻辑如下：

假设某一项服务S，有N个数据源提供方S1,S2,S3...Sn；

假设配置比重为W1：W2：W3:...Wn；

内存持有A,B,C的访问计数：N1,N2,N3...Nn；

服务总访问计数为Ns＝N1+N2+N3+...+Nn；

S1占有前W1个,S2占有W2个，S3占有W3个....Sn占有Wn个；

当前第Ns+1个请求到来，服务数据源选择算法如下：

M＝(Ns+1)％(W1+W2+W3+...+Wn)

取余后选择第M个框持有的数据源服务。

上述的成功率路由模式具体实现逻辑如下：

更功率策略基于一定时间窗口内，数据服务的查询表现，根据配置选择一定时间范围， 进行计数，计数包括调用总数total、成功数success和失败数Error；

所述失败数细分为内部异常失败inError和外部异常失败outError；

使用大数据spark实时流计算引擎进行数据统计，每个时间片成功率计算公式为w＝Error/success，根据专家经验，计算每5分钟的成功率w1,w2,w3...，计算同比成功率R1， 环比成功率R2。

上述的时效性路由模式具体实现逻辑如下：

利于大数据spark实时流计算引擎进行数据统计，计算一定时间内数据服务的响应时长。

本发明具有以下有益效果：

1、本发明基于微服务框架的分布式特点，实现数据服务的快速接入，接入时无需停止应 用服务，基于数据服务的多样性，发明设计同时提供了以下功能：1.自动化管理，包括上线、 下线、关停等管理手段；2.自动化路由，基于大数据分析，设定不同的监控指标，使用不同 的算法根据不同的维度进行准实时计算，达到预设的阈值后进行自动的服务切换，降低服务 中断对业务的影响。

2、数据服务相互解耦，整个系统分工更加明确，责任更加清晰，个体服务专心负责自己 的服务输出，服务可以快速响应，运行更加稳定，单一服务出现故障，快速切换至同类服务， 业务运行基本影响。

3、本发明系统提供多种方式的征信数据采集，按查询时效可支持同步查询、异步查询， 按粒度分，可支持按不同业务、不同场景、不同渠道的查询，按查询笔数分，既支持单笔查 询，也支持批量查询，以上列举的查询方式都提供统一配置管理，使用人员可灵活配置。

附图说明

图1是本发明的结构示意图；

图2是本发明自动化路由工作流程图。

图3是本发明时间片模式实施例；

图4是本发明权重模式实施例。

具体实施方式

以下结合附图对本发明的实施例作进一步详细描述。

本发明的一种征信数据采集系统，基于微服务框架设计，数据服务相互解耦，整个系统 分工更加明确，责任更加清晰，个体服务专心负责自己的服务输出，服务可以快速响应，运 行更加稳定，单一服务出现故障，快速切换至同类服务，业务运行基本影响，本系统整体架 构设计如图1所示。

包括：资源模块、服务模块、接口模块和访问模块；

所述资源模块，用于提供数据库、文件存储及缓存功能；

所述服务模块，用于提供业务服务、服务通信、服务管理和基础服务功能；

所述接口模块，用于实现服务模块与访问模块的连接；

所述访问模块为用户的访问终端。

本系统提供多种方式的征信数据采集，按查询时效可支持同步查询、异步查询，按粒度 分，可支持按不同业务、不同场景、不同渠道的查询，按查询笔数分，既支持单笔查询，也 支持批量查询，以上列举的查询方式都提供统一配置管理，使用人员可灵活配置。

实施例中，所述服务模块通过消息中间件MQ、远程过程调用框架RPC、软件架构设计 方式REST或基于netty自研的一种内部应用通讯组件SIF实现服务通信；

所述业务服务包括nciic实名认证服务、pboc人行征信查询服务、白名单信息查询服务、 客户行为评分服务、手机运营商验证查询服务、逾期&失信&洗钱黑名单信息查询服务等；

所述基础服务包括通过通信接口实现的数据源查询按分流模式进行分流的服务、基于切 换规则进行切换服务和通过服务注册方式实现数据服务的快速上线；

所述服务管理包括数据源信息配置管理、数据源异常监控报警、数据源调用日志管理和 新上线数据服务的注册管理。

实施例中，所述接口模块基于网络通讯协议HTTP/HTTPS、TCP/UDP、Websocket以及API Gateway实现服务模块与访问模块的连接。

本系统支持数据服务自动化路由，结合图2,本发明的一种可自动路由的征信数据采集系 统，其自动路由的工作流程包括以下步骤：

S01：接收业务系统请求，根据请求信息读取路由配置表，获取配置信息；

S02：对路由配置信息进行校验，验证路由模式是否启用，若未启用则提示路由模式未启 用，路由策略不可用，否则执行S03；

S03：路由模式已启用，验证路由策略是否生效，若未生效则提示路由策略未生效，否则 执行S04；

S04：验证通过，调用当前路由模式下的路由组件，获取路由结果；

S05：汇总路由结果调用并发组件，由并发组件调用数据服务，并汇总数据结果返回。

参考既往经验及行业成果，提供如下的路由模式，1.时间片，2.权重，3.成功率，4.时效 性等，具体的路由模式实现逻辑如下：

(1)时间片，具体实现逻辑如图3：

时间片方式支持多片式，分片可零散分布，根据实际需要进行特定时间片的选择，方式 灵活多变。

(2)权重，具体实现逻辑如图4：

假设某一项服务S，有N个数据源提供方S1,S2,S3...Sn；

假设配置比重为W1：W2：W3:...Wn(取最小公倍数，此比重等于6：4：2)；

内存(或其它存储介质)持有A,B,C的访问计数：N1,N2,N3...Nn；

服务总访问计数为Ns＝N1+N2+N3+...+Nn；

S1占有前W1个,S2占有W2个，S3占有W3个....Sn占有Wn个；

[框生成时可随机打乱以实现随机选择数据源服务]；

当前第Ns+1个请求到来，服务数据源选择算法如下：M＝(Ns+1)％(W1+W2+W3+...+Wn)

取余后选择第M个框持有的数据源服务。

(3)成功率，具体实现逻辑如下：

更功率策略基于一定时间窗口内，数据服务的查询表现，根据配置选择一定时间范围， 进行计数，计数包括调用总数total、成功数success、失败数Error，失败数可再细分内部异常 失败inError，外部异常失败outError，由于时间片范围不固定，所以使用大数据spark实时流 计算引擎进行数据统计，保证数据统计的高效、准确，每个时间片成功率计算公式为 w＝Error/success，根据专家经验，计算每5分钟的成功率w1,w2,w3...，计算同比成功率R1， 环比成功率R2。

(4)时效性，具体逻辑实现与成功率采用的技术相似，利于大数据spark实时流计算引 擎进行数据统计，计算一定时间内数据服务的响应时长。

根据专家经验并结合以上路由模式，业务人员指定了大量的路由策略，可以针对同一场 景的业务，选择时间片的路由模式，分片选择合适的数据服务，也可以针对不同的渠道，选 择权重的路由模式，等比例的分配请求量，按比例选择数据服务，也可以根据数据服务的成 功率分布，选择最优的数据服务，路由模式也可以组合，择优选择最佳的数据服务。

以上仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于 本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术 人员来说，在不脱离本发明原理前提下的若干改进和润饰，应视为本发明的保护范围。

Claims (10)

1.一种征信数据采集系统，其特征在于，包括：资源模块、服务模块、接口模块和访问模块；

所述资源模块，用于提供数据库、文件存储及缓存功能；

所述服务模块，用于提供业务服务、服务通信、服务管理和基础服务功能；

所述接口模块，用于实现服务模块与访问模块的连接；

所述访问模块为用户的访问终端。

2.根据权利要求1所述的一种征信数据采集系统，其特征在于，所述服务模块通过消息中间件MQ、远程过程调用框架RPC、软件架构设计方式REST或应用通讯组件SIF实现服务通信；

所述业务服务包括nciic实名认证服务、pboc人行征信查询服务、白名单信息查询服务、客户行为评分服务、手机运营商验证查询服务、逾期&失信&洗钱黑名单信息查询服务；

所述基础服务包括通过通信接口实现的数据源查询按分流模式进行分流的服务、基于切换规则进行切换服务和通过服务注册方式实现数据服务的上线；

所述服务管理包括数据源信息配置管理、数据源异常监控报警、数据源调用日志管理和新上线数据服务的注册管理。

3.根据权利要求1所述的一种征信数据采集系统，其特征在于，所述接口模块基于网络通讯协议HTTP/HTTPS、TCP/UDP、Websocket以及API Gateway实现服务模块与访问模块的连接。

4.根据权利要求1-3任一所述的一种征信数据采集系统的自动化路由方法，其特征在于，包括：

S01：接收业务系统请求，根据请求信息读取路由配置表，获取配置信息；

S02：对路由配置信息进行校验，验证路由模式是否启用，若未启用则提示路由模式未启用，路由策略不可用，否则执行S03；

S03：验证路由策略是否生效，若未生效则提示路由策略未生效，否则执行S04；

S04：调用当前路由模式下的路由组件，获取路由结果；

S05：汇总路由结果调用并发组件，由并发组件调用数据服务，并汇总数据结果返回。

5.根据权利要求4所述的一种征信数据采集系统的自动化路由方法，其特征在于，包括时间片、权重、成功率和时效性路由模式；

针对同一场景的业务，选择时间片的路由模式，分片选择合适的数据服务；

针对不同的渠道，选择权重的路由模式，等比例的分配请求量，按比例选择数据服务。

6.根据权利要求5所述的一种征信数据采集系统的自动化路由方法，其特征在于，根据数据服务的成功率分布，组合路由模式，选择最优的数据服务。

7.根据权利要求5所述的一种征信数据采集系统的自动化路由方法，其特征在于，所述时间片路由模式支持多片式，分片可零散分布，根据实际需要进行特定时间片的选择，方式灵活多变。

8.根据权利要求5所述的一种征信数据采集系统的自动化路由方法，其特征在于，所述权重路由模式具体实现逻辑如下：

假设某一项服务S，有N个数据源提供方S1,S2,S3...Sn；

假设配置比重为W1：W2：W3:...Wn；

内存持有A,B,C的访问计数：N1,N2,N3...Nn；

服务总访问计数为Ns＝N1+N2+N3+...+Nn；

S1占有前W1个,S2占有W2个，S3占有W3个....Sn占有Wn个；

当前第Ns+1个请求到来，服务数据源选择算法如下：

M＝(Ns+1)％(W1+W2+W3+...+Wn)

取余后选择第M个框持有的数据源服务。

9.根据权利要求5所述的一种征信数据采集系统，其特征在于，所述成功率路由模式具体实现逻辑如下：

更功率策略基于一定时间窗口内，数据服务的查询表现，根据配置选择一定时间范围，进行计数，计数包括调用总数total、成功数success和失败数Error；

所述失败数细分为内部异常失败inError和外部异常失败outError；

使用大数据spark实时流计算引擎进行数据统计，每个时间片成功率计算公式为w＝Error/success，根据专家经验，计算每5分钟的成功率w1,w2,w3...，计算同比成功率R1，环比成功率R2。

10.根据权利要求5所述的一种征信数据采集系统，其特征在于，所述时效性路由模式具体实现逻辑如下：

利于大数据spark实时流计算引擎进行数据统计，计算一定时间内数据服务的响应时长。

Images