CN110909060B - 数据报送方法和系统 - Google Patents

Abstract

本发明公开了一种数据报送方法，包括：检测到符合预设阈值条件，报送子系统向大数据平台发送报送指令；大数据平台接到报送指令后，对储存的原始数据进行处理，生成符合标准的数据，并将符合标准的数据发送至报送子系统；报送子系统将符合标准的数据进一步加工处理，生成报文，并将报文发送至人行征信中心。本发明有效提高了报送数据处理的效率，降低了报送数据计算处理时的相互影响，同时为实现多用途报送提供了解决方案。

Description

数据报送方法和系统

技术领域

本发明涉及计算机技术领域，特别是涉及一种数据报送方法和系统。

背景技术

本发明所涉及征信报送是指授信机构如商业银行等，根据征信机构如人行征信中心规范中要求的格式，将原有数据库中的数据进行转化，之后向征信中心进行批量报送，对于上报信息合格与否，征信中心会将报送结果向授信机构反馈。

中信银行一代征信报送系统采用Greenplum技术平台，Greenplum是MPP数据库，适合处理传统的结构化、半结构化数据库，可以处理PB级别数据。该平台数据库容量有限，不能满足日益增长的报送业务需求。

发明内容

为解决现有报送系统计算能力不足，难以满足现有业务需求的技术问题，本发明从如下两方面提供技术方案：

一方面，一种数据报送方法，包括：

报送子系统检测到符合预设阈值条件，所述报送子系统向大数据平台发送报送指令；

大数据平台接到报送指令后，对储存的原始数据进行处理，生成符合标准的数据，并将符合标准的数据发送至报送子系统；

报送子系统将符合标准的数据进一步加工处理，生成报文，并将报文发送至人行征信中心。

可选的，

所述大数据平台在多个各自独立的数据加工区计算加工所述原始数据，所述数据加工区包括公用数据加工模块和报送数据加工模块，其中报送数据加工模块包括：征信加工区、境外交易加工区、非定期报表加工区。

可选的，

所述公用数据加工模块生成报送所需的公用数据，所述大数据平台将所述公用数据发送给所述报送子系统，所述报送子系统将接收到的所述公用数据保存在本地的公共服务配置库中，所述报送子系统生成所述报文时，调用保存在所述公共服务配置库中的所述公用数据。

可选的，该方法还包括：

若所述报送结果符合要求，所述人行征信中心不反馈报送结果；

若所述报文不符合所述人行征信中心的要求，所述人行征信中心反馈报送结果至所述报送子系统，所述报送子系统显示“错误”，提示工作人员对所述错误报文进行修改。

可选的，该方法还包括：

所述报送子系统划分为多个微服务系统，各个所述微服务系统的节点与云架构平台对接，所述报送子系统生成报文时，将所有所述微服务节点的信息上传到所述云架构平台上。

另一方面，为实现上述目的，本发明还提供一种数据报送系统，本系统包括：

报送子系统，用于检测符合预设阈值条件后，向大数据平台发送报送指令，并将生成的报文发送至人行征信中心；

大数据平台，用于接收报送指令，对储存的原始数据进行处理，生成符合标准的数据，并将符合标准的数据发送至报送子系统。

可选的，

所述大数据平台包括多个各自独立的数据加工模块，用于计算加工所述原始数据，所述数据加工模块包括：

公用数据加工模块，用于生成所述报送子系统所含各模块所需的公用的数据；

报送数据加工模块，用于生成报送所需数据；

其中报送数据加工模块包括：征信加工区、境外交易加工区、非定期报表加工区。

可选的，上述报送子系统包括：

检测模块，用于检测所述报送系统阈值条件；

报文生成模块，用于利用所述大数据平台返回的所述报送所需数据，生成报文；

公共服务配置库，用于存储所述大数据平台返回的所述公用数据。

可选的，该系统还包括：

反馈模块和修改模块，所述反馈模块用于接收所述人行征信中心反馈的报送结果，若所述报文符合所述人行征信中心的要求，所述人行征信中心不反馈报送结果；若所述报文不符合所述人行征信中心的要求，所述人行征信中心反馈报送结果至所述反馈模块，所述反馈模块显示“错误”，并调取所述修改模块，对不符合要求的报文进行修改，其中所述修改模块包括用于人工修改的界面。

可选的，该系统还包括:

云架构模块和微服务模块，所述报送子系统由一个或多个所述微服务模块组成，所述报送子系统与所述云架构模块对接，所述微服务模块的节点存储在所述云架构模块内。

本发明采用上述技术方案，优点在于，本发明利用大数据平台计算处理用户信息，并在大数据库中采用分区计算的模式，不同用途的数据在各自独立的计算区处理，独立跑数，互不干扰，从而大幅度提高报送效率和系统的扩展能力。同时报送系统采用微服务模式，将各个服务功能模块化，也起到利于系统扩展的作用。

附图说明

图1是本发明数据报送方法的流程示意图；

图2是本发明数据报送系统的架构示意图。

具体实施方式

下面将结合本说明书实施例中的附图，对本说明书实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本说明书一部分实施例，而不是全部的实施例。基于本说明书中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都应当属于本说明书保护的范围。

实施例1

本实施例提供一种数据报送方法，如图1所示，该方法包括：

步骤100：报送子系统检测到符合预设阈值条件，向大数据平台发送报送指令；

步骤101：所述大数据平台接到所述报送指令后，对储存的原始数据进行处理，生成符合标准的数据，并将所述符合标准的数据发送至所述报送子系统；

步骤102：所述报送子系统将所述符合标准的数据进一步加工处理，生成报文，并将所述报文发送至人行征信中心。

人行征信中心指中国人民银行征信中心。

本发明可应用在不同的银行业务数据报送过程中，业务数据包括但不限于征信报送业务、境外交易报送业务、非定期报表报送业务

在步骤100中，预设阈值条件可以是时间，日期等。

在步骤101中，大数据平台可选择hadoop平台，并利用Hive作为数据库对数据进行计算加工，Hive是Hadoop平台上的SQl数据库，是分布式数据库，适合处理超大规模数据。具体而言，当hadoop平台源表数据到达后，系统会进行自动跑批，将hadoop平台中数据自动生成结果数据，并通过sqoop工具将数据同步至监管报送平台的mysql数据库.

在步骤102中，报送子系统即监管报送平台通过定时调度，将数据生成TXT文件，然后通过md5加密，加密成enc的文件，报送到人行征信中心。

进一步地，报送子系统接收人行征信中心的反馈结果，若结果为合格，则，则人行无反馈,报送子系统若结果为不合格，则系统自动解析人行反馈的错误文件，将错误数据解析入库,报送子系统提示工作人员修改数据，修改完成后，自动生成txt报文文件留档，并自动加密文件成enc文件，再次报送至人行征信中心。

实施例2

本实施例提供一种数据报送系统，如图2所示，该系统包括：

报送子系统200，用于检测符合预设阈值条件后，向大数据平台发送报送指令，生成报文，将报文发送至人行征信中心；

大数据平台201，用于接收所述报送指令，对储存的原始数据进行处理，生成符合标准的数据，并将符合标准的数据发送至所述报送子系统。

其中，大数据平台201包括多个各自独立的数据加工区，用于计算加工所述原始数据，数据加工区包括公用数据加工模块211和报送数据加工模块212，其中报送数据加工模块又包括：征信加工区212-1、境外交易加工区212-2、非定期报表加工区212-3。

上述的征信加工区212-1、境外交易加工区212-2、非定期报表加工区212-3为报送数据加工模块的具体功能示例，并不将报送数据加工模块的功能限于此三项，同时数据加工区可按照实际需求，灵活添加或去除，各加工区中的运算互相独立，互不干扰。

进一步地，公用数据加工模块211用于生成报送所需的公用数据，大数据平台201将公用数据发送给报送子系统200，报送子系统200将接收到的所述公用数据保存在本地的公共服务配置库250中，所述报送子系统生成所述报文时，调用保存在所述公共服务配置库中的所述公用数据。

进一步地，该系统还包括：

反馈模块230和修改模块240，所述反馈模块230用于接收所述人行征信中心反馈的报送结果，若所述报送结果符合要求，则所述反馈模块230显示“正常”；若所述报文不符合要求，所述反馈模块显示“错误”，并调取所述修改模块，对不符合要求的报文进行修改，其中修改模块240包括用于人工修改的界面。

该子系统将会采用Redis作为分布式的缓存，缓存子系统中必要的缓存数据，其中Redis采用Cluster的高可用方式来保证Redis的高可用性。

该子系统的后端数据库采用MariaDB进行数据存储，数据库采用galera做高可用方案，保证数据库的高可用性及一致性，由于MariaDB数据库表数据量相对较大，因此采用数据库分库分表来做数据水平切分，减少单表的数据量，提高单表的访问速度。

进一步地，该系统还包括：

云架构模块270和微服务模块260，所述报送子系统由一个或多个所述微服务模块260组成，报送子系统200与云架构模块270对接，所述微服务模块260的节点存储在所述云架构模块270内。

子系统采用微服务的技术架构方案来构建，每一个监管报送模块，对应一套微服务，横向扩展，每个监管报送模块之间业务互不影响，独立运行。

云架构模块270包括：

注册中心，所有业务微服务节点均注册至卡中心注册中心(citiccard-eureka)，所有服务获取均从注册中心获取，如前端应用系统获取对于服务也是通过注册中心获取服务地址在进行对于服务的调用操作；

配置中心，所有业务微服务节点的主要配置信息均存放至卡中心配置中心(citiccard-config)，用于统一管理具有相同功能的微服务节点配置；

链路性能监控，所有业务微服务节点均配置卡中心的调用链路性能监控(citiccard-trace)，做到对微服务请求调用的性能进行监控；

日志云平台，所有业务微服务节点将主要的操作日志存放至卡中心的日志云平台，方便日志统一记录和查看；

短信服务，用于给需要使用短信服务的微服务节点提供推送短信功能；

微服务模块260之间接口访问均采用SpringCloud-Feign来进行访问，通过注册中心来对各个服务进行负载及对不可以的服务节点进行熔断。

按照微服务的特性，可以根据服务访问压力启动多个相同功能的服务节点或者减少相同功能的服务节点来做到服务动态扩容或缩容；

在注册中心中，可以允许一个服务名下有多个不同的服务节点(IP地址+端口号不一致，即一个服务节点)，在消费的时候，会自动分配其中的一个节点进行业务处理分配操作。

Claims (4)

1.一种数据报送方法，其特征在于，包括：

报送子系统检测到符合预设阈值条件，所述报送子系统向大数据平台发送报送指令；

所述大数据平台接到所述报送指令后，对储存的原始数据进行处理，生成符合标准的数据，并将所述符合标准的数据发送至所述报送子系统；

所述报送子系统将所述符合标准的数据进一步加工处理，生成报文，并将所述报文发送至人行征信中心；

所述报送子系统将所述符合标准的数据进一步加工处理，生成报文包括：所述报送子系统通过定时调度，将数据生成TXT文件，通过md5加密生成enc文件；

所述大数据平台在多个各自独立的数据加工区计算加工所述原始数据，所述数据加工区包括公用数据加工模块和报送数据加工模块，其中报送数据加工模块包括：征信加工区、境外交易加工区、非定期报表加工区；

所述公用数据加工模块生成报送所需的公用数据，所述大数据平台将所述公用数据发送给所述报送子系统，所述报送子系统将接收到的所述公用数据保存在本地的公共服务配置库中，所述报送子系统生成所述报文时，调用保存在所述公共服务配置库中的所述公用数据；

所述报送子系统由一个或多个微服务模块组成，所述报送子系统与云架构模块对接，所述微服务模块的节点存储在所述云架构模块内；

所述云架构模块包括：注册中心、配置中心、链路性能监控、日志云平台；

所述注册中心，用于注册所述微服务模块的节点信息；

所述配置中心，用于存放所述微服务模块的节点信息，并统一配置具有相同功能的所述微服务模块；

所述链路性能监控，用于对所述微服务模块请求调用的性能进行监控；

所述日志云平台，用于存放所述微服务模块的操作日志；

所述微服务模块之间接口访问均采用SpringCloud-Feign，通过所述注册中心对各个所述微服务模块进行负载及对不可以的所述微服务模块的节点进行熔断。

2.根据权利要求1所述的数据报送方法，其特征在于，所述方法还包括：

若所述报文符合所述人行征信中心的要求，所述人行征信中心不反馈报送结果；

若所述报文不符合所述人行征信中心的要求，所述人行征信中心反馈报送结果至所述报送子系统，所述报送子系统显示“错误”，提示工作人员对所述错误报文进行修改。

3.一种数据报送系统，其特征在于，所述系统包括：

报送子系统，用于检测符合预设阈值条件后，向大数据平台发送报送指令，生成报文，将所述报文发送至人行征信中心；

所述大数据平台，用于接收所述报送指令，对储存的原始数据进行处理，生成符合标准的数据，并将所述符合标准的数据发送至所述报送子系统；

所述大数据平台包括多个各自独立的数据加工模块，用于计算加工所述原始数据，所述数据加工模块包括：公用数据加工模块、报送数据加工模块；

所述公用数据加工模块，用于生成所述报送子系统所含各模块所需的公用的数据；

所述报送数据加工模块，用于生成报送所需数据；

所述报送数据加工模块包括：征信加工区、境外交易加工区、非定期报表加工区；

所述报送子系统包括：检测模块、报文生成模块、公共服务配置库、云架构模块、微服务模块；

所述检测模块，用于检测所述报送系统阈值条件；

所述报文生成模块，用于利用所述大数据平台返回的所述报送所需数据，生成报文；

所述公共服务配置库，用于存储所述大数据平台返回的所述公用数据；

所述报送子系统由一个或多个所述微服务模块组成，所述报送子系统与所述云架构模块对接，所述微服务模块的节点存储在所述云架构模块内；

所述云架构模块包括：注册中心、配置中心、链路性能监控、日志云平台；

所述注册中心，用于注册所述微服务模块的节点信息；

所述配置中心，用于存放所述微服务模块的节点信息，并统一配置具有相同功能的所述微服务模块；

所述链路性能监控，用于对所述微服务模块请求调用的性能进行监控；

所述日志云平台，用于存放所述微服务模块的操作日志；

所述微服务模块之间接口访问均采用SpringCloud-Feign，通过所述注册中心对各个所述微服务模块进行负载及对不可以的所述微服务模块的节点进行熔断。

4.根据权利要求3所述的数据报送系统，其特征在于，所述报送子系统还包括：

反馈模块和修改模块，所述反馈模块用于接收所述人行征信中心反馈的报送结果，若所述报文符合所述人行征信中心的要求，所述人行征信中心不反馈报送结果；若所述报文不符合所述人行征信中心的要求，所述人行征信中心反馈报送结果至所述反馈模块，所述反馈模块显示“错误”，并调取所述修改模块，对不符合要求的报文进行修改，其中所述修改模块包括用于人工修改的界面。