CN116244285A - 一种基于监管数据管理多层次可配置校验方法及系统 - Google Patents

Abstract

本发明公开一种基于监管数据管理多层次可配置校验方法及系统，获取数据产生层是产生的数据，将数据产生层是产生的数据通过数据交换层作为系统间数据交换的枢纽，对于数据产生层、数据整合层、数据应用层之间数据进行双向交换，数据整合层对完成数据交换后的数据按照一定规则进行整合后统一存储，以方便后续的查询和分析，数据应用层主要存储基于数据整合层提供的原始数据和衍生数据，根据业务需求进行相应的加工，提供应用所需的结果数据或接口数据，并提供用户使用数据的界面和方式，解决了监管数据系统数据量大、数据组织复杂，数据来源存在交叉现象，监管数据管理以及报数难度大的问题。

Description

一种基于监管数据管理多层次可配置校验方法及系统

技术领域

本发明涉及金融科技技术领域，尤其涉及一种基于监管数据管理多层次可配置校验方法及系统。

背景技术

近年来，随着人工智能、区块链、云计算、大数据等信息技术的推广应用，金融科技创新带来更多跨界金融服务的同时，也加剧了交叉金融风险、加快了风险传染速度，同时还暴露出当前主流监管方式的不足。为很好地应对这些，监管科技也在向数字化、智能化的方向发展。通过新技术的应用，推动金融监管的数字化转型，实现全方位态势感知、多维度分析评估和实时化预警处置。

对于金融机构而言，监管报送工作不是单独、孤立的，金融机构应从监管合规、对外信息披露统一的角度，建立健全的监管报送体系，这其中至少应该包含监管数据治理体系、制度机制建设、基础技术体系和价值发掘体系。

现有的技术面对的问题需要报送的项目和数据较多。根据监管要求，需要报送的项目包括银保监会非现场监管数据、监管数据标准化(EAST)、客户风险统计报表、人行反洗钱数据、个人征信数据、企业征信数据、标准化存贷款数据、支付信息统计、理财与资金信托等10多项。由于各报送项目需要报送不同的数据接口格式，且每个报送系统数据量大、数据组织复杂，数据来源存在交叉现象，建设统一的监管数据报送平台已成为金融机构信息系统建设中非常重要的任务。因此，需要一种采用先进的技术架构以及成熟的工具产品建立基于大数据计算技术的统一监管数据报送方法及系统，可以极大地提高数据报送质量和效率，并有效减轻数据报送的工作量。

发明内容

本发明的目的在于提供一种基于监管数据管理多层次可配置校验方法及系统，以解决监管数据系统数据量大、数据组织复杂，数据来源存在交叉现象，监管数据管理以及报数难度大的问题。

第一方面，本发明提供一种基于监管数据管理多层次可配置校验方法，包括；

获取数据产生层是产生的数据，所述数据产生层产生的数据包括核心业务系统、信贷管理系统、国际结算系统、理财业务系统等业务办理过程中产生的数据以及人力资源管理系统等使用过程中产生的数据；

将数据产生层是产生的数据通过数据交换层作为系统间数据交换的枢纽，对于数据产生层、数据整合层、数据应用层之间数据进行双向交换；

数据整合层对完成数据交换后的数据按照一定规则进行整合后统一存储，以方便后续的查询和分析；

数据应用层主要存储基于数据整合层提供的原始数据和衍生数据，根据业务需求进行相应的加工，提供应用所需的结果数据或接口数据，并提供用户使用数据的界面和方式；

数据展示层基于数据应用层的数据提供机构、用户、角色的统一管理，并生成报文并管理报文，展示层还提供数据补录界面，用于弥补监管报送需要而基础业务系统数据缺失内容。

优选的，将数据产生层是产生的数据通过数据交换层作为系统间数据交换的枢纽，对于数据产生层、数据整合层、数据应用层之间数据进行双向交换，包括；

将数据产生层产生的数据进行数据分类，并对分类后的数据建立数据标签；

根据数据标签对分类后的数据进行数据安全性检测排序，得到数据安全性检测序号；

按照数据安全性检测序号，将数据产生层产生的数据依次进行安全性检测。

优选的，数据整合层对完成数据交换后的数据按照一定规则进行整合后统一存储，以方便后续的查询和分析，包括：

对存储后的数据进行分区存储，并将分区存储后的数据在指定时间范围内进行格式转换，根据数据对应功能以及数据格式规则将存储后的数据进行格式统一；

将完成格式转换后的数据进行有效性检测，将完成存储后的数据代入至测试环境中进行测试，若测试合格，则数据转化格式为成功。

优选的，数据应用层主要存储基于数据整合层提供的原始数据和衍生数据，根据业务需求进行相应的加工，提供应用所需的结果数据或接口数据，并提供用户使用数据的界面和方式，包括：

根据业务需求以及数据接口对应的业务范围，预先将数据进行预分类，预分类数据的格式以及数据完成度与所述业务需求以及数据接口对应的业务范围匹配；

预分类数据按预设时间周期内更新预分类存储空间内的数据，并对数据配置数据编码；

将数据编码与所述业务需求以及数据接口对应的业务范围建立关联关系。

第二方面，一种基于监管数据管理多层次可配置校验系统，包括：服务器端、后台控制端以及应用终端，所述应用终端通过所述服务器端与所述后台控制端连接；

所述服务器端包括数据显示模块、数据应用模块、数据整合模块、数据交换模块以及数据产生模块；

所述数据产生模块：用于获取核心业务系统、信贷管理系统、国际结算系统、理财业务系统等业务办理过程中产生的数据以及人力资源管理系统等使用过程中产生的数据；

所述数据交换模块：用于将数据产生层是产生的数据通过数据交换层作为系统间数据交换的枢纽，对于数据产生层、数据整合层、数据应用层之间数据进行双向交换；

所述数据整合模块：用于对完成数据交换后的数据按照一定规则进行整合后统一存储，以方便后续的查询和分析；

所述数据应用模块：用于存储基于数据整合层提供的原始数据和衍生数据，根据业务需求进行相应的加工，提供应用所需的结果数据或接口数据，并提供用户使用数据的界面和方式。

所述数据显示模块：用于基于数据应用层的数据提供机构、用户、角色的统一管理，并生成报文并管理报文，展示层还提供数据补录界面，用于弥补监管报送需要而基础业务系统数据缺失内容。

本发明的有益效果如下：本发明提供的一种基于监管数据管理多层次可配置校验方法及系统，获取数据产生层是产生的数据，所述数据产生层产生的数据包括核心业务系统、信贷管理系统、国际结算系统、理财业务系统等业务办理过程中产生的数据以及人力资源管理系统等使用过程中产生的数据，将数据产生层是产生的数据通过数据交换层作为系统间数据交换的枢纽，对于数据产生层、数据整合层、数据应用层之间数据进行双向交换，数据整合层对完成数据交换后的数据按照一定规则进行整合后统一存储，以方便后续的查询和分析，数据应用层主要存储基于数据整合层提供的原始数据和衍生数据，根据业务需求进行相应的加工，提供应用所需的结果数据或接口数据，并提供用户使用数据的界面和方式，数据展示层基于数据应用层的数据提供机构、用户、角色的统一管理，并生成报文并管理报文，展示层还提供数据补录界面，用于弥补监管报送需要而基础业务系统数据缺失内容。通过对数据产生层产生的数据进行统一的管理以及安全性检测，格式的统一转化，并根据业务需要以及接口数据需求预先将数据进行储备，实现了在面对复杂的数据时，可以保证数据的安全性以及数据的使用效率，避免了由于产生的数据存在安全性问题造成数据的交叉感染，解决了监管数据系统数据量大、数据组织复杂，数据来源存在交叉现象，监管数据管理以及报数难度大的问题。

附图说明

为了更清楚地说明本发明的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的基于监管数据管理多层次可以配置校验方法流程图。

图2为本发明实施例提供的基于监管数据管理多层次可以配置校验系统框架示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明具体实施例及相应的附图对本发明技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。以下结合附图，详细说明本发明各实施例提供的技术方案。

请参阅图1，第一方面，本发明提供一种基于监管数据管理多层次可配置校验方法，包括；

在步骤101中，获取数据产生层是产生的数据，所述数据产生层产生的数据包括核心业务系统、信贷管理系统、国际结算系统、理财业务系统等业务办理过程中产生的数据以及人力资源管理系统等使用过程中产生的数据；

数据产生层是数据的来源，包括业务办理、内部管理过程中产生的数据，主要是指核心业务系统、信贷管理系统、国际结算系统、理财业务系统等业务办理过程中产生的数据以及人力资源管理系统等使用过程中产生的数据。

在步骤102中，将数据产生层是产生的数据通过数据交换层作为系统间数据交换的枢纽，对于数据产生层、数据整合层、数据应用层之间数据进行双向交换；

数据交换层作为系统间数据交换的枢纽，对于数据产生层、数据整合层、数据应用层之间数据进行双向交换。数据不允许系统间点对点传输，所有系统对下游提供数据均通过数据交换层，数据交换层本身不产生数据，但可以对源数据做一些清洗处理。交换方式分为批量交换和实时交换，其中批量交换用于产生层与整合层、应用层间非实时的、大数据量的数据交互，实时交换用于系统间少量、实时或者准实时的数据交互。数据交换采用DATASTAGE工具进行数据的抽取、转换和加载过程，部署采用集群架构，不仅可以提高数据抽取效率，还可以避免机器的单点故障。

在步骤103中，数据整合层对完成数据交换后的数据按照一定规则进行整合后统一存储，以方便后续的查询和分析；

数据整合层是将数据按照一定规则进行整合后统一存储，以方便后续的查询和分析。数据整合层作为数据集中存储、整合的核心，实现了数据共享，避免了系统间数据重复存储和加工问题。

在步骤104中，数据应用层主要存储基于数据整合层提供的原始数据和衍生数据，根据业务需求进行相应的加工，提供应用所需的结果数据或接口数据，并提供用户使用数据的界面和方式；

数据应用层主要存储基于数据整合层提供的原始数据和衍生数据，根据业务需求进行相应的加工，提供应用所需的结果数据或接口数据，并提供用户使用数据的界面和方式，它对整合后的数据进行深度分析，利用不同手段对数据处理结果进行展现，包括固定报表、多维分析、灵活查询等。

在步骤105中，数据展示层基于数据应用层的数据提供机构、用户、角色的统一管理，并生成报文并管理报文，展示层还提供数据补录界面，用于弥补监管报送需要而基础业务系统数据缺失内容。

数据展示层提供了机构、用户、角色的统一管理，并根据监管部门要求生成报文并管理报文，展示层还提供数据补录界面，用于弥补监管报送需要而基础业务系统数据缺失内容。

具体而言，将数据产生层是产生的数据通过数据交换层作为系统间数据交换的枢纽，对于数据产生层、数据整合层、数据应用层之间数据进行双向交换，包括；

将数据产生层产生的数据进行数据分类，并对分类后的数据建立数据标签；

根据数据标签对分类后的数据进行数据安全性检测排序，得到数据安全性检测序号；

按照数据安全性检测序号，将数据产生层产生的数据依次进行安全性检测。

数据产生的数据复杂，数据量大，为提升数据的安全性，需要对数据进行有序的安全性检测，通过将数据进行排序，根据排序的顺序，对数据进行安全性检测，避免后续数据在使用过程中造成病毒数据交叉感染。

具体而言，数据整合层对完成数据交换后的数据按照一定规则进行整合后统一存储，以方便后续的查询和分析，包括：

对存储后的数据进行分区存储，并将分区存储后的数据在指定时间范围内进行格式转换，根据数据对应功能以及数据格式规则将存储后的数据进行格式统一；

将完成格式转换后的数据进行有效性检测，将完成存储后的数据代入至测试环境中进行测试，若测试合格，则数据转化格式为成功。

由于在使用过程中需要大量的数据进行交互以及整合，所以需要将存储的数据格式进行统一，便于后续数据的使用。

具体而言，数据应用层主要存储基于数据整合层提供的原始数据和衍生数据，根据业务需求进行相应的加工，提供应用所需的结果数据或接口数据，并提供用户使用数据的界面和方式，包括：

根据业务需求以及数据接口对应的业务范围，预先将数据进行预分类，预分类数据的格式以及数据完成度与所述业务需求以及数据接口对应的业务范围匹配；

预分类数据按预设时间周期内更新预分类存储空间内的数据，并对数据配置数据编码；

将数据编码与所述业务需求以及数据接口对应的业务范围建立关联关系。

根据业务需要以及接口数据需求预先将数据进行储备，实现了在面对复杂的数据时，可以保证数据的安全性以及数据的使用效率，避免当接口以及业务需要调取大量数据时，由于数据的格式转化以及查询造成数据使用效率低的问题。

第二方面，请参阅图2，一种基于监管数据管理多层次可配置校验系统，包括：服务器端、后台控制端以及应用终端，所述应用终端通过所述服务器端与所述后台控制端连接；

所述服务器端包括数据显示模块、数据应用模块、数据整合模块、数据交换模块以及数据产生模块；

所述数据产生模块：用于获取核心业务系统、信贷管理系统、国际结算系统、理财业务系统等业务办理过程中产生的数据以及人力资源管理系统等使用过程中产生的数据；

所述数据交换模块：用于将数据产生层是产生的数据通过数据交换层作为系统间数据交换的枢纽，对于数据产生层、数据整合层、数据应用层之间数据进行双向交换；

所述数据整合模块：用于对完成数据交换后的数据按照一定规则进行整合后统一存储，以方便后续的查询和分析；

所述数据应用模块：用于存储基于数据整合层提供的原始数据和衍生数据，根据业务需求进行相应的加工，提供应用所需的结果数据或接口数据，并提供用户使用数据的界面和方式。

所述数据显示模块：用于基于数据应用层的数据提供机构、用户、角色的统一管理，并生成报文并管理报文，展示层还提供数据补录界面，用于弥补监管报送需要而基础业务系统数据缺失内容。

基于大数据计算技术建设的统一监管数据报送平台按照数据架构层次可分为数据产生层、数据交换层、数据整合层、数据应用层和数据展示层。

本申请基于监管数据管理多层次可以配置校验系统设计特点：

统一的数据平台：统一监管数据报送平台通过对银行核心、信贷等业务系统数据按照监管报送要求进行整合，并按照业务类型进行了宽表处理，建设了统一的监管数据集市，为监管上报提供质量良好的数据源，为后续建设的各类数据报送等系统提供数据基础，减少后续建设的重复投资，确保数据源的稳定性和数据一致性。

统一的报送平台：统一监管数据报送平台是面向监管要求的应用报送平台，已集成了目前监管要求的6个报送系统，并提供灵活的扩展接口，以便快速搭建后续新的报送系统，并能够确保新应用的扩展，做到不影响已有报送系统的功能，确保了平台的稳定性和扩展性。

统一的流程管理和控制：统一监管数据报送平台具有良好的权限控制功能，实现了系统相关人员角色和功能模块的自由定制，使填报人、审核人、复核人、数据查看人等多种角色有了比较明确的责任划分和操作权限控制。同时实现数据采集、数据维护、数据加工、数据检验、报文生成等处理的全流程管理，进一步落实了监管统计数据各环节的质量控制责任，做到从数据源到生成指标的数据质量全流程监控。

统一的批量调度。批量调度程序基于J2EE开发，引入DBUTILS、QUARTZ等开源计算框架，调度任务按照自动化程度分为手动和自动两种；调度周期分为定时调度和批量调度两种；所有任务之间通过配置依赖关系来决定任务执行的触发条件和执行的先后顺序。

由以上实施例可知，本发明提供的一种基于监管数据管理多层次可配置校验方法及系统，获取数据产生层是产生的数据，所述数据产生层产生的数据包括核心业务系统、信贷管理系统、国际结算系统、理财业务系统等业务办理过程中产生的数据以及人力资源管理系统等使用过程中产生的数据，将数据产生层是产生的数据通过数据交换层作为系统间数据交换的枢纽，对于数据产生层、数据整合层、数据应用层之间数据进行双向交换，数据整合层对完成数据交换后的数据按照一定规则进行整合后统一存储，以方便后续的查询和分析，数据应用层主要存储基于数据整合层提供的原始数据和衍生数据，根据业务需求进行相应的加工，提供应用所需的结果数据或接口数据，并提供用户使用数据的界面和方式，数据展示层基于数据应用层的数据提供机构、用户、角色的统一管理，并生成报文并管理报文，展示层还提供数据补录界面，用于弥补监管报送需要而基础业务系统数据缺失内容。通过对数据产生层产生的数据进行统一的管理以及安全性检测，格式的统一转化，并根据业务需要以及接口数据需求预先将数据进行储备，实现了在面对复杂的数据时，可以保证数据的安全性以及数据的使用效率，避免了由于产生的数据存在安全性问题造成数据的交叉感染，解决了监管数据系统数据量大、数据组织复杂，数据来源存在交叉现象，监管数据管理以及报数难度大的问题。

本说明书中各个实施例之间相同相似的部分互相参见即可，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例中的说明即可。

以上所述的本发明实施方式并不构成对本发明保护范围的限定。

Claims (5)

1.一种基于监管数据管理多层次可配置校验方法，其特征在于，包括；

获取数据产生层是产生的数据，所述数据产生层产生的数据包括核心业务系统、信贷管理系统、国际结算系统、理财业务系统等业务办理过程中产生的数据以及人力资源管理系统等使用过程中产生的数据；

将数据产生层是产生的数据通过数据交换层作为系统间数据交换的枢纽，对于数据产生层、数据整合层、数据应用层之间数据进行双向交换；

数据整合层对完成数据交换后的数据按照一定规则进行整合后统一存储，以方便后续的查询和分析；

数据应用层主要存储基于数据整合层提供的原始数据和衍生数据，根据业务需求进行相应的加工，提供应用所需的结果数据或接口数据，并提供用户使用数据的界面和方式；

数据展示层基于数据应用层的数据提供机构、用户、角色的统一管理，并生成报文并管理报文，展示层还提供数据补录界面，用于弥补监管报送需要而基础业务系统数据缺失内容。

2.如权利要求1所述的方法，其特征在于，将数据产生层是产生的数据通过数据交换层作为系统间数据交换的枢纽，对于数据产生层、数据整合层、数据应用层之间数据进行双向交换，包括；

将数据产生层产生的数据进行数据分类，并对分类后的数据建立数据标签；

根据数据标签对分类后的数据进行数据安全性检测排序，得到数据安全性检测序号；

按照数据安全性检测序号，将数据产生层产生的数据依次进行安全性检测。

3.如权利要求1所述的方法，其特征在于，数据整合层对完成数据交换后的数据按照一定规则进行整合后统一存储，以方便后续的查询和分析，包括：

对存储后的数据进行分区存储，并将分区存储后的数据在指定时间范围内进行格式转换，根据数据对应功能以及数据格式规则将存储后的数据进行格式统一；

将完成格式转换后的数据进行有效性检测，将完成存储后的数据代入至测试环境中进行测试，若测试合格，则数据转化格式为成功。

4.如权利要求1所述的方法，其特征在于，数据应用层主要存储基于数据整合层提供的原始数据和衍生数据，根据业务需求进行相应的加工，提供应用所需的结果数据或接口数据，并提供用户使用数据的界面和方式，包括：

根据业务需求以及数据接口对应的业务范围，预先将数据进行预分类，预分类数据的格式以及数据完成度与所述业务需求以及数据接口对应的业务范围匹配；

预分类数据按预设时间周期内更新预分类存储空间内的数据，并对数据配置数据编码；

将数据编码与所述业务需求以及数据接口对应的业务范围建立关联关系。

5.一种基于监管数据管理多层次可配置校验系统，其特征在于，包括：服务器端、后台控制端以及应用终端，所述应用终端通过所述服务器端与所述后台控制端连接；

所述服务器端包括数据显示模块、数据应用模块、数据整合模块、数据交换模块以及数据产生模块；

所述数据产生模块：用于获取核心业务系统、信贷管理系统、国际结算系统、理财业务系统等业务办理过程中产生的数据以及人力资源管理系统等使用过程中产生的数据；

所述数据交换模块：用于将数据产生层是产生的数据通过数据交换层作为系统间数据交换的枢纽，对于数据产生层、数据整合层、数据应用层之间数据进行双向交换；

所述数据整合模块：用于对完成数据交换后的数据按照一定规则进行整合后统一存储，以方便后续的查询和分析；

所述数据应用模块：用于存储基于数据整合层提供的原始数据和衍生数据，根据业务需求进行相应的加工，提供应用所需的结果数据或接口数据，并提供用户使用数据的界面和方式。

所述数据显示模块：用于基于数据应用层的数据提供机构、用户、角色的统一管理，并生成报文并管理报文，展示层还提供数据补录界面，用于弥补监管报送需要而基础业务系统数据缺失内容。

Images