CN113011784A - 监管报送数据的处理模型及方法 - Google Patents
监管报送数据的处理模型及方法 Download PDFInfo
- Publication number
- CN113011784A CN113011784A CN202110424912.1A CN202110424912A CN113011784A CN 113011784 A CN113011784 A CN 113011784A CN 202110424912 A CN202110424912 A CN 202110424912A CN 113011784 A CN113011784 A CN 113011784A
- Authority
- CN
- China
- Prior art keywords
- data
- source
- submission
- supervision
- different
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 title claims abstract description 144
- 238000000034 method Methods 0.000 title claims abstract description 60
- 238000004364 calculation method Methods 0.000 claims abstract description 78
- 238000013500 data storage Methods 0.000 claims abstract description 38
- 238000012544 monitoring process Methods 0.000 claims abstract description 18
- 230000008569 process Effects 0.000 claims abstract description 17
- 238000003860 storage Methods 0.000 claims description 55
- 230000001105 regulatory effect Effects 0.000 claims description 26
- 238000004590 computer program Methods 0.000 claims description 17
- 238000010586 diagram Methods 0.000 description 13
- 230000006870 function Effects 0.000 description 6
- 230000010354 integration Effects 0.000 description 6
- 238000003672 processing method Methods 0.000 description 6
- 238000004148 unit process Methods 0.000 description 6
- 238000010276 construction Methods 0.000 description 4
- 238000013499 data model Methods 0.000 description 4
- 230000006399 behavior Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 230000002776 aggregation Effects 0.000 description 2
- 238000004220 aggregation Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000001404 mediated effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0637—Strategic management or analysis, e.g. setting a goal or target of an organisation; Planning actions based on goals; Analysis or evaluation of effectiveness of goals
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
- G06F16/258—Data format conversion from or to a database
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/10—Office automation; Time management
- G06Q10/103—Workflow collaboration or project management
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Human Resources & Organizations (AREA)
- Theoretical Computer Science (AREA)
- Strategic Management (AREA)
- Databases & Information Systems (AREA)
- Entrepreneurship & Innovation (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Economics (AREA)
- Data Mining & Analysis (AREA)
- Educational Administration (AREA)
- General Engineering & Computer Science (AREA)
- Marketing (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Development Economics (AREA)
- Software Systems (AREA)
- Game Theory and Decision Science (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种监管报送数据的处理模型及方法，涉及大数据技术领域，其中该处理模型包括：贴源数据存储单元，用于将从不同被监管报送机构的不同源业务系统中采集的源数据以保持源结构的方式进行存储；标准化基础数据处理单元，用于将所述源数据转换成监管标准数据；汇总数据处理单元，用于在根据监管报送需求判断需要进行汇总计算时，根据所述监管标准数据完成汇总计算处理，得到汇总计算数据；监管报送数据加工单元，用于从监管标准数据，和/或汇总计算数据中加工出监管报送数据。本发明可以高效准确地处理监管报送数据。
Description
技术领域
本发明涉及大数据技术领域，尤其涉及一种监管报送数据的处理模型及方法。
背景技术
本部分旨在为权利要求书中陈述的本发明实施例提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。
集团性企业，监管部门会对各个公司进行监管，例如监管部门会统一监督管理全国银行保险市场、维护市场秩序、保障其合法运行的行为。目前，各个被监管机构(例如银行)从自身不同业务系统的数据中进行报送，报送节点众多，报送规则不统一，会导致监管机构拿到口径不统一的数据，从而导致监管报送数据的处理效率和准确率低，进而监管机构的监管目标无法很好的达成。
发明内容
本发明实施例提供一种监管报送数据的处理模型，用以高效准确地处理监管报送数据，该处理模型包括：
贴源数据存储单元，用于将从不同被监管报送机构的不同源业务系统中采集的源数据以保持源结构的方式进行存储；
标准化基础数据处理单元，用于将所述源数据转换成监管标准数据；
汇总数据处理单元，用于在根据监管报送需求判断需要进行汇总计算时，根据所述监管标准数据完成汇总计算处理，得到汇总计算数据；
监管报送数据加工单元，用于从监管标准数据，和/或汇总计算数据中加工出监管报送数据。
在一个实施例中，所述标准化基础数据处理单元还用于根据监管报送需求，预连接相关业务系统。
在一个实施例中，所述标准化基础数据处理单元还用于根据监管报送需求，预计算相关数据字段。
在一个实施例中，所述贴源数据存储单元具体用于根据预设存储策略，将从不同被监管报送机构的不同源业务系统中采集的源数据以保持源结构的方式进行存储；所述预设存储策略根据采集的源数据的类型确定。
在一个实施例中，所述贴源数据存储单元具体用于：
识别从不同被监管报送机构的不同源业务系统中采集的源数据的类型；
在识别出采集的源数据为信息类的数据时，采用历史拉链的方式以保持源结构的方式存储源数据。
在一个实施例中，所述贴源数据存储单元具体用于：
识别从不同监管报送机构的不同源业务系统中采集的源数据的类型；
在识别出采集的源数据为交易类数据或流水类数据时，采用增量切片的方式以保持源结构的方式存储源数据。
在一个实施例中，所述贴源数据存储单元还用于根据监管报送数据的历史报送周期，确定贴源数据存储单元的存储周期。
在一个实施例中，所述汇总数据处理单元还用于将符合预设汇总需求的汇总计算数据处理成指标类数据。
在一个实施例中，所述监管报送数据的处理模型还可以包括：实时计算单元，用于根据从不同被监管报送机构的不同源业务系统中采集的源数据或监管标准数据，得到实时监管报送数据。
本发明实施例还提供一种监管报送数据的处理方法，用以高效准确地处理监管报送数据，该处理方法包括：
将从不同被监管报送机构的不同源业务系统中采集的源数据以保持源结构的方式进行存储；
将所述源数据转换成监管标准数据；
在根据监管报送需求判断需要进行汇总计算时，根据所述监管标准数据完成汇总计算处理，得到汇总计算数据；
从监管标准数据，和/或汇总计算数据中加工出监管报送数据。
在一个实施例中，上述监管报送数据的处理方法还可以包括：根据监管报送需求，预连接相关业务系统。
在一个实施例中，上述监管报送数据的处理方法还可以包括：根据监管报送需求，预计算相关数据字段。
在一个实施例中，将从不同被监管报送机构的不同源业务系统中采集的源数据以保持源结构的方式进行存储，包括：根据预设存储策略，将从不同被监管报送机构的不同源业务系统中采集的源数据以保持源结构的方式进行存储；所述预设存储策略根据采集的源数据的类型确定。
在一个实施例中，根据预设存储策略，将从不同被监管报送机构的不同源业务系统中采集的源数据以保持源结构的方式进行存储，包括：
识别从不同被监管报送机构的不同源业务系统中采集的源数据的类型；
在识别出采集的源数据为信息类的数据时，采用历史拉链的方式以保持源结构的方式存储源数据。
在一个实施例中，根据预设存储策略，将从不同被监管报送机构的不同源业务系统中采集的源数据以保持源结构的方式进行存储，包括：
识别从不同监管报送机构的不同源业务系统中采集的源数据的类型；
在识别出采集的源数据为交易类数据或流水类数据时，采用增量切片的方式以保持源结构的方式存储源数据。
在一个实施例中，上述监管报送数据的处理方法还可以包括：根据监管报送数据的历史报送周期，确定贴源数据存储单元的存储周期。
在一个实施例中，上述监管报送数据的处理方法还可以包括：将符合预设汇总需求的汇总计算数据处理成指标类数据。
在一个实施例中，上述监管报送数据的处理方法还可以包括：根据从不同被监管报送机构的不同源业务系统中采集的源数据或监管标准数据，得到实时监管报送数据。
本发明实施例还提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述监管报送数据的处理方法。
本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有执行上述监管报送数据的处理方法的计算机程序。
本发明实施例中，监管报送数据的处理方案，通过：贴源数据存储单元将从不同被监管报送机构的不同源业务系统中采集的源数据以保持源结构的方式进行存储；标准化基础数据处理单元将所述源数据转换成监管标准数据；汇总数据处理单元在根据监管报送需求判断需要进行汇总计算时，根据所述监管标准数据完成汇总计算处理，得到汇总计算数据；监管报送数据加工单元从监管标准数据，和/或汇总计算数据中加工出监管报送数据，可以高效准确地处理监管报送数据。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：
图1为本发明实施例中监管报送数据的处理模型的结构示意图；
图2为本发明另一实施例中监管报送数据的处理模型的结构示意图；
图3为本发明实施例中监管报送数据的处理场景示意图；
图4为本发明实施例中监管报送数据的处理方法的流程示意图；
图5为本发明另一实施例中监管报送数据的处理方法的流程示意图；
图6为本发明实施例中计算机设备的结构示意图。
具体实施方式
下面将参考若干示例性实施方式来描述本发明的原理和精神。应当理解，给出这些实施方式仅仅是为了使本领域技术人员能够更好地理解进而实现本发明，而并非以任何方式限制本发明的范围。相反，提供这些实施方式是为了使本公开更加透彻和完整，并且能够将本公开的范围完整地传达给本领域的技术人员。
本领域技术人员知道，本发明的实施方式可以实现为一种系统、装置、设备、方法或计算机程序产品。因此，本公开可以具体实现为以下形式，即：完全的硬件、完全的软件(包括固件、驻留软件、微代码等)，或者硬件和软件结合的形式。
在介绍本发明实施例之前，首先介绍本发明涉及的名词。
1、监管：regulation，主管部门依照法律法规，统一监督管理全国银行保险市场、维护市场秩序、保障其合法运行的行为。
2、监管对象：regulation object，主管部门依法负责监管的对象。
3、监管报送制度：监管机构下发的要求监管对象提供数据的官方文档，包含了报送背景、报送接口说明、报送方式等。
4、监管数据模型(监管报送数据的处理模型)：根据监管报送制度要求，监管对象对涉及到的内部数据进行规范和整合，形成符合监管报送要求的报文。
5、源数据是用于描述用于创建电子数据的信息来源的术语。此类数据通常有两种创建方式之一。一种方法是扫描硬拷贝文档并创建这些硬拷贝的电子文件。另一种方法是读取硬拷贝上的信息并输入数据使用键盘和某种类型的数据处理软件将其转换成电子格式。这样就可以将源数据存入存储器，同时可以在需要时使用伴随的电子数据，而无需不断地检索原始源文件。
6、字段：表中的每一行叫做一个“记录”，每一个记录包含这行中的所有信息，就像在通讯录数据库中某个人全部的信息，但记录在数据库中并没有专门的记录名，常常用它所在的行数表示这是第几个记录。字段是比记录更小的单位，字段集合组成记录，每个字段描述文献的某一特征，即数据项，并有唯一的供计算机识别的字段标识符。
7、业务系统：业务系统是指企业达成定位所需要的业务环节、各合作伙伴扮演的角色以及利益相关者合作与交易的方式和内容。我们可以从行业价值链和企业内部价值链以及合作伙伴的角色两个层面来理解业务系统的构造。
8、周期，若一组事件或现象按同样的顺序重复出现，则把完成这一组事件或现象的时间或空间间隔，称为周期。
9、指标：指标的意思是衡量目标的参数；预期中打算达到的指数、规格、标准，一般用数据表示。衡量目标的方法；预期中打算达到的指数、规格、标准,一般用数据表示。比如，大家年终开会都会说，今年新增了几个指标：分别是员工流失率、门店客流量、客单价，等等。这些指标都是对结果，也就是对目标的一般性描述。
10、实时：在某事发生、发展的实际时间同步(做某事)实时(real time)是一个计算机响应的水平，用户感觉足够及时或者是计算机与外部过程(例如，当天气不断变化时，可以清楚地把天气表现出来)保持同步。实时是一个关于实时运转得的计算机或者程序的形容词。实时描述的是一个人而不是机器对时间的感觉。在大型计算机主导的日子，对一个立即与从连接的终端工作的用户结合的大型机的表达是实时在线。
11、汇总：汇总的意思是把各种材料或情况汇集到一起。
12、流水类数据：即银行流水类数据，是指银行活期账户(包括活期存折和银行卡)的存取款交易记录。根据账户性质不同分为个人流水和对公流水。银行流水是证明个人或公司收入情况的一种证明材料，是向银行申请贷款所必须的材料。
13、策略：为了实现某一个目标，首先预先根据可能出现的问题制定的若干对应的方案，并且，在实现目标的过程中，根据形势的发展和变化来制定出新的方案，或者根据形势的发展和变化来选择相应的方案，最终实现目标。
14、数据项：数据元素可由若干个数据项(data item)组成，数据项是数据的不可分割的最小单位。数据项的名称有编号、别名、简述、数据项的长度、类型、数据项的取值范围。
数据项是数据记录中最基本的、不可分的有名数据单位，是具有独立含义的最小标识单位。数据项可以是字母、数字或两者的组合。通过数据类型(逻辑的、数值的、字符的等)及数据长度来描述。数据项用来描述实体的某种属性。在地理信息系统中，数据项描述对象是地理实体各要素及其属性，分为几何属性(地理位置和形状)和非几何属性，包括标量属性(各种量测值)和名称属性(地名及地物名)等。
15、交易：原指以物易物，后泛指买卖商品。交易是指双方以货币及服务为媒介的价值的交换。常以货币或服务为媒介的。
交易，又称贸易、交换，是买卖双方对有价物品及服务进行互通有无的行为。它可以是以货币为交易媒介的一种过程，也可以是以物易物。在银行领域，类似于修改借记卡密码的操作也可以称为一次交易。
16、报文：报文(message)是网络中交换与传输的数据单元，即站点一次性要发送的数据块。报文包含了将要发送的完整的数据信息，其长短很不一致，长度不限且可变。
报文就是在各个系统之间进行请求和响应时用来交换信息的，还需要遵守规定好的格式。
另外，应用报文多是多个系统之间需要通信的时候，比如银行的ESB系统到网关系统再到银联系统。在这中间报文就承担了装载数据，运输数据的功能，可能在这三个系统中报文的格式互不相同，但是承载的数据都是一样的。
图1为本发明实施例中监管报送数据的处理模型的结构示意图，如图1所示，该模型包括：
贴源数据存储单元01，用于将从不同被监管报送机构的不同源业务系统中采集的源数据以保持源结构的方式进行存储；
标准化基础数据处理单元02，用于将所述源数据转换成监管标准数据；
汇总数据处理单元03，用于在根据监管报送需求判断需要进行汇总计算时，根据所述监管标准数据完成汇总计算处理，得到汇总计算数据；
监管报送数据加工单元04，用于从监管标准数据，和/或汇总计算数据中加工出监管报送数据。
本发明实施例中，监管报送数据的处理方法，工作时：贴源数据存储单元将从不同被监管报送机构的不同源业务系统中采集的源数据以保持源结构的方式进行存储；标准化基础数据处理单元将所述源数据转换成监管标准数据；汇总数据处理单元在根据监管报送需求判断需要进行汇总计算时，根据所述监管标准数据完成汇总计算处理，得到汇总计算数据；监管报送数据加工单元从监管标准数据，和/或汇总计算数据中加工出监管报送数据，可以高效准确地处理监管报送数据。
下面结合图2至图3，对本发明实施例涉及的监管报送数据的处理模型进行详细介绍。
数据架构示例如图2，图2中虽是以银行业监管报送为示例，但其他行业的监管数据整合模型(监管报送数据的处理模型)亦可使用本架构。
监管报送数据整合计算，根据监管报送的时效性要求区分批量数据和实时准实时这两类计算，本发明实施例不涉及计算处理框架，监管数据整合模型则涵盖了这两类的数据，采用同一套框架和设计方法进行模型设计。下面进行详细介绍。
一、首先，介绍贴源数据存储单元，如图2中的贴源数据存储区。
具体实施时，贴源数据存储区将各个监管报送所需的各个源业务系统的数据采集进来并存储，本区域的主要目标是将源数据保持源结构方式进行历史存储，实现为后续的数据整合计算提供所需任意时点的全量或截面数据的数据能力。
在一个实施例中，所述贴源数据存储单元具体用于根据预设存储策略，将从不同被监管报送机构的不同源业务系统中采集的源数据以保持源结构的方式进行存储；所述预设存储策略根据采集的源数据的类型确定。
具体实施时，根据采集的源数据的类型确定预设存储策略，贴源数据存储单元根据预设存储策略，将从不同被监管报送机构的不同源业务系统中采集的源数据以保持源结构的方式进行存储，实现优化存储。
在一个实施例中，所述贴源数据存储单元具体用于：
识别从不同被监管报送机构的不同源业务系统中采集的源数据的类型；
在识别出采集的源数据为信息类的数据时，采用历史拉链的方式以保持源结构的方式存储源数据。
具体实施时，信息类的数据可以采用历史拉链的方式存储，实现了优化存储。
在一个实施例中，所述贴源数据存储单元具体用于：
识别从不同监管报送机构的不同源业务系统中采集的源数据的类型；
在识别出采集的源数据为交易类数据或流水类数据时，采用增量切片的方式以保持源结构的方式存储源数据。
具体实施时，交易类或流水类数据可以采用增量切片的方式来存储，实现了优化存储。
在一个实施例中，所述贴源数据存储单元还可以用于根据监管报送数据的历史报送周期，确定贴源数据存储单元的存储周期。
具体实施时，贴源数据存储区的数据存储周期较长，从监管报送可能会需报送的历史周期来确定本区的存储周期，实现了优化存储。
二、接着，介绍标准化基础数据处理单元，如图2中的标准化基础数据区。
具体实施时，该标准化基础数据区建设的前提是监管数据标准的建立，通过对各个监管制度的正确解读，对所涉及的报送数据项的汇总整合，提炼总结出的一套监管数据标准，后续的监管报送数据计算，例如将从不同被监管报送机构的不同源业务系统中采集的源数据转换成监管标准数据等，都将基于该套标准化数据进行。即，根据对各个监管报送制度的汇总整合，提炼总结出各个数据项的一套监管数据标准，并在本区将源数据转换成监管标准的数据。
具体实施时，除了数据标准化的工作，为了更好的实现统一的报送口径及避免数据重复加工，标准化基础数据区还承担了按需对数据进行整合计算的能力，包括数据的预连接、预计算等。下面对预连接、预计算进行详细介绍。
在一个实施例中，所述标准化基础数据处理单元还用于根据监管报送需求，预连接相关业务系统。
具体实施时，标准化基础数据处理单元根据监管报送需求，预连接相关业务系统，进一步提高监管报送数据处理的效率。
在一个实施例中，所述标准化基础数据处理单元还用于根据监管报送需求，预计算相关数据字段。
具体实施时，标准化基础数据处理单元根据监管报送需求，预计算相关数据字段，进一步提高监管报送数据处理的效率。
为了便于理解标准化基础数据区如何实施，下面举个例子进行介绍。
如图3示例：A行需报送单位存款明细。
具体实施时，图3中报文数据项如右边表格，其为监管报文的数据项，左边表格是源系统所涉及到的表和字段，中间表格则是监管整合模型的标准化基础数据模型(标准化基础数据处理单元)。由图3可见，标准化基础数据模型(标准化基础数据处理单元)把币种、证件类型进行人行数据标准化，预连接了源系统的合约和账户表，并预计算了人行报送客户类型、人行报送产品类别字段等字段，通过标准化基础数据模型，实现了数据标准化和预连接预计算的能力。
三、接着，介绍汇总数据处理单元，如图2所示的汇总数据区。
具体实施时，上述标准化基础数据区按需建设，将监管内容所涉及的业务对象的数据组织起来，先整合到标准化基础数据中，再按报送要求确认是否进行汇总，该汇总由汇总数据区即汇总数据处理单元来实现，在根据监管报送需求判断需要进行汇总计算时，汇总数据处理单元根据所述监管标准数据完成汇总计算处理，继而生成最终监管报送数据。
汇总数据区：监管报送可以有报送基础明细数据，也可有报送汇总类数据或指标类数据，在汇总数据区实现所需的汇总计算和指标计算，得到汇总计算数据、指标类数据。汇总数据区计算所需的数据来自于标准化基础数据(监管标准数据)，不可以直接从贴源数据存储区读取数据。
在一个实施例中，所述汇总数据处理单元还用于将符合预设汇总需求的汇总计算数据处理成指标类数据。
具体实施时，汇总数据区按需建设，将监管报送中所需的汇总计算先落到本区计算。若有维度相对单一固定的汇总，可以形成指标库数据。
在一个实施例中，所述监管报送数据的处理模型还可以包括：实时计算单元，用于根据从不同被监管报送机构的不同源业务系统中采集的源数据或监管标准数据，得到实时监管报送数据。
具体实施时，监管报送数据整合计算，根据监管报送的时效性要求区分批量数据和实时准实时这两类计算，该实时计算单元(图2中实时/准实时计算区)即为根据从不同被监管报送机构的不同源业务系统中采集的源数据或监管标准数据，得到实时监管报送数据，实现实时准实时处理。
四、接着，介绍监管报送数据加工单元。
具体实施时，监管报送数据区：按照监管报送制度的报文要求设计即可。从标准化基础数据(监管标准数据)和/或汇总数据区(汇总计算数据)加工出各个监管报送制度要求的报送数据。
具体实施时，本发明实施例中监管报送整合模型(管报送数据的处理模型)设计的实施关键点在于：监管报送标准的建设，以及标准化基础数据区(标准化基础数据处理单元)的建设。
本发明实施例提供的监管报送数据的处理模型的有益技术效果是：通过标准化基础数据区(标准化基础数据处理单元)的建设，监管报送数据整合模型(监管报送数据的处理模型)可实现产品化模型，将标准化基础数据区作为整合模型的基础数据，对于同一个监管报送制度，将不同被监管机构的各种相关数据标准化转换到标准化基础数据区，即可自动生成所需的监管报送数据，提高了监管报送数据的处理效率和准确率。
本发明实施例中还提供了一种监管报送数据的处理方法，如下面的实施例所述。由于该方法解决问题的原理与监管报送数据的处理模型相似，因此该方法的实施可以参见监管报送数据的处理模型的实施，重复之处不再赘述。
图4为本发明实施例中监管报送数据的处理方法的流程示意图，如图4所示，该方法包括如下步骤：
步骤101：将从不同被监管报送机构的不同源业务系统中采集的源数据以保持源结构的方式进行存储；
步骤102：将所述源数据转换成监管标准数据；
步骤103：在根据监管报送需求判断需要进行汇总计算时，根据所述监管标准数据完成汇总计算处理，得到汇总计算数据；
步骤104：从监管标准数据，和/或汇总计算数据中加工出监管报送数据。
本发明实施例中，监管报送数据的处理方法，通过：贴源数据存储单元将从不同被监管报送机构的不同源业务系统中采集的源数据以保持源结构的方式进行存储；标准化基础数据处理单元将所述源数据转换成监管标准数据；汇总数据处理单元在根据监管报送需求判断需要进行汇总计算时，根据所述监管标准数据完成汇总计算处理，得到汇总计算数据；监管报送数据加工单元从监管标准数据，和/或汇总计算数据中加工出监管报送数据，可以高效准确地处理监管报送数据。
在一个实施例中，如图5所示，上述监管报送数据的处理方法还可以包括步骤201：根据监管报送需求，预连接相关业务系统。
具体实施时，标准化基础数据处理单元根据监管报送需求，预连接相关业务系统，进一步提高监管报送数据处理的效率。
在一个实施例中，如图5所示，上述监管报送数据的处理方法还可以包括骤202：根据监管报送需求，预计算相关数据字段。
具体实施时，标准化基础数据处理单元根据监管报送需求，预计算相关数据字段，进一步提高监管报送数据处理的效率。
在一个实施例中，将从不同被监管报送机构的不同源业务系统中采集的源数据以保持源结构的方式进行存储，包括：根据预设存储策略，将从不同被监管报送机构的不同源业务系统中采集的源数据以保持源结构的方式进行存储；所述预设存储策略根据采集的源数据的类型确定。
具体实施时，根据采集的源数据的类型确定预设存储策略，贴源数据存储单元根据预设存储策略，将从不同被监管报送机构的不同源业务系统中采集的源数据以保持源结构的方式进行存储，实现优化存储。
在一个实施例中，根据预设存储策略，将从不同被监管报送机构的不同源业务系统中采集的源数据以保持源结构的方式进行存储，包括：
识别从不同被监管报送机构的不同源业务系统中采集的源数据的类型；
在识别出采集的源数据为信息类的数据时，采用历史拉链的方式以保持源结构的方式存储源数据。
具体实施时，信息类的数据可以采用历史拉链的方式存储，实现了优化存储。
在一个实施例中，根据预设存储策略，将从不同被监管报送机构的不同源业务系统中采集的源数据以保持源结构的方式进行存储，包括：
识别从不同监管报送机构的不同源业务系统中采集的源数据的类型；
在识别出采集的源数据为交易类数据或流水类数据时，采用增量切片的方式以保持源结构的方式存储源数据。
具体实施时，交易类或流水类数据可以采用增量切片的方式来存储，实现了优化存储。
在一个实施例中，上述监管报送数据的处理方法还可以包括：根据监管报送数据的历史报送周期，确定贴源数据存储单元的存储周期。
具体实施时，贴源数据存储区的数据存储周期较长，从监管报送可能会需报送的历史周期来确定本区的存储周期，实现了优化存储。
在一个实施例中，上述监管报送数据的处理方法还可以包括：将符合预设汇总需求的汇总计算数据处理成指标类数据。
具体实施时，汇总数据区按需建设，将监管报送中所需的汇总计算先落到本区计算。若有维度相对单一固定的汇总，可以形成指标库数据。
在一个实施例中，上述监管报送数据的处理方法还可以包括：根据从不同被监管报送机构的不同源业务系统中采集的源数据或监管标准数据，得到实时监管报送数据。
具体实施时，监管报送数据整合计算，根据监管报送的时效性要求区分批量数据和实时准实时这两类计算，该实时计算单元(图2中实时/准实时计算区)即为根据从不同被监管报送机构的不同源业务系统中采集的源数据或监管标准数据，得到实时监管报送数据，实现实时准实时处理。
应当注意，尽管在上文详细描述中提及了监管报送数据的处理模型的若干模块，但是这种划分仅仅是示例性的并非强制性的。实际上，根据本发明的实施方式，上文描述的两个或更多模块的特征和功能可以在一个模块中具体化。反之，上文描述的一个模块的特征和功能可以进一步划分为由多个模块来具体化。
基于前述发明构思，如图6所示，本发明还提出了一种计算机设备800，包括存储器810、处理器820及存储在存储器810上并可在处理器820上运行的计算机程序830，所述处理器820执行所述计算机程序830时实现前述监管报送数据的处理方法。
具体的，该计算机设备可以是计算机终端、服务器或者类似的运算装置。
本发明实施例中，实现前述监管报送数据的处理方法的计算机设备，通过：贴源数据存储单元将从不同被监管报送机构的不同源业务系统中采集的源数据以保持源结构的方式进行存储；标准化基础数据处理单元将所述源数据转换成监管标准数据；汇总数据处理单元在根据监管报送需求判断需要进行汇总计算时，根据所述监管标准数据完成汇总计算处理，得到汇总计算数据；监管报送数据加工单元从监管标准数据，和/或汇总计算数据中加工出监管报送数据，可以高效准确地处理监管报送数据。
基于前述发明构思，本发明提出了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现前述监管报送数据的处理方法。
本发明实施例中，实现前述监管报送数据的处理方法的计算机可读存储介质，通过：贴源数据存储单元将从不同被监管报送机构的不同源业务系统中采集的源数据以保持源结构的方式进行存储；标准化基础数据处理单元将所述源数据转换成监管标准数据；汇总数据处理单元在根据监管报送需求判断需要进行汇总计算时，根据所述监管标准数据完成汇总计算处理，得到汇总计算数据；监管报送数据加工单元从监管标准数据，和/或汇总计算数据中加工出监管报送数据，可以高效准确地处理监管报送数据。
具体的，计算机可读存储介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机可读存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读存储介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
本发明实施例提供的监管报送数据的处理方案的有益技术效果是：
本发明实施例提供的监管报送数据的处理方案通过：贴源数据存储单元将从不同被监管报送机构的不同源业务系统中采集的源数据以保持源结构的方式进行存储；标准化基础数据处理单元将所述源数据转换成监管标准数据；汇总数据处理单元在根据监管报送需求判断需要进行汇总计算时，根据所述监管标准数据完成汇总计算处理，得到汇总计算数据；监管报送数据加工单元从监管标准数据，和/或汇总计算数据中加工出监管报送数据，可以高效精确地处理监管报送数据。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。
Claims (20)
1.一种监管报送数据的处理模型，其特征在于，包括：
贴源数据存储单元，用于将从不同被监管报送机构的不同源业务系统中采集的源数据以保持源结构的方式进行存储；
标准化基础数据处理单元，用于将所述源数据转换成监管标准数据；
汇总数据处理单元，用于在根据监管报送需求判断需要进行汇总计算时，根据所述监管标准数据完成汇总计算处理，得到汇总计算数据；
监管报送数据加工单元，用于从监管标准数据，和/或汇总计算数据中加工出监管报送数据。
2.如权利要求1所述的监管报送数据的处理模型，其特征在于，所述标准化基础数据处理单元还用于根据监管报送需求，预连接相关业务系统。
3.如权利要求1所述的监管报送数据的处理模型，其特征在于，所述标准化基础数据处理单元还用于根据监管报送需求，预计算相关数据字段。
4.如权利要求1所述的监管报送数据的处理模型，其特征在于，所述贴源数据存储单元具体用于根据预设存储策略，将从不同被监管报送机构的不同源业务系统中采集的源数据以保持源结构的方式进行存储；所述预设存储策略根据采集的源数据的类型确定。
5.如权利要求4所述的监管报送数据的处理模型，其特征在于，所述贴源数据存储单元具体用于：
识别从不同被监管报送机构的不同源业务系统中采集的源数据的类型；
在识别出采集的源数据为信息类的数据时，采用历史拉链的方式以保持源结构的方式存储源数据。
6.如权利要求4所述的监管报送数据的处理模型，其特征在于，所述贴源数据存储单元具体用于：
识别从不同监管报送机构的不同源业务系统中采集的源数据的类型；
在识别出采集的源数据为交易类数据或流水类数据时，采用增量切片的方式以保持源结构的方式存储源数据。
7.如权利要求1所述的监管报送数据的处理模型，其特征在于，所述贴源数据存储单元还用于根据监管报送数据的历史报送周期，确定贴源数据存储单元的存储周期。
8.如权利要求1所述的监管报送数据的处理模型，其特征在于，所述汇总数据处理单元还用于将符合预设汇总需求的汇总计算数据处理成指标类数据。
9.如权利要求1所述的监管报送数据的处理模型，其特征在于，还包括：实时计算单元，用于根据从不同被监管报送机构的不同源业务系统中采集的源数据或监管标准数据，得到实时监管报送数据。
10.一种监管报送数据的处理方法，其特征在于，包括：
将从不同被监管报送机构的不同源业务系统中采集的源数据以保持源结构的方式进行存储；
将所述源数据转换成监管标准数据；
在根据监管报送需求判断需要进行汇总计算时，根据所述监管标准数据完成汇总计算处理，得到汇总计算数据；
从监管标准数据，和/或汇总计算数据中加工出监管报送数据。
11.如权利要求10所述的监管报送数据的处理方法，其特征在于，还包括：根据监管报送需求，预连接相关业务系统。
12.如权利要求10所述的监管报送数据的处理方法，其特征在于，还包括：根据监管报送需求，预计算相关数据字段。
13.如权利要求10所述的监管报送数据的处理方法，其特征在于，将从不同被监管报送机构的不同源业务系统中采集的源数据以保持源结构的方式进行存储，包括：根据预设存储策略，将从不同被监管报送机构的不同源业务系统中采集的源数据以保持源结构的方式进行存储；所述预设存储策略根据采集的源数据的类型确定。
14.如权利要求13所述的监管报送数据的处理方法，其特征在于，根据预设存储策略，将从不同被监管报送机构的不同源业务系统中采集的源数据以保持源结构的方式进行存储，包括：
识别从不同被监管报送机构的不同源业务系统中采集的源数据的类型；
在识别出采集的源数据为信息类的数据时，采用历史拉链的方式以保持源结构的方式存储源数据。
15.如权利要求13所述的监管报送数据的处理方法，其特征在于，根据预设存储策略，将从不同被监管报送机构的不同源业务系统中采集的源数据以保持源结构的方式进行存储，包括：
识别从不同监管报送机构的不同源业务系统中采集的源数据的类型；
在识别出采集的源数据为交易类数据或流水类数据时，采用增量切片的方式以保持源结构的方式存储源数据。
16.如权利要求10所述的监管报送数据的处理方法，其特征在于，还包括：根据监管报送数据的历史报送周期，确定贴源数据存储单元的存储周期。
17.如权利要求10所述的监管报送数据的处理方法，其特征在于，还包括：将符合预设汇总需求的汇总计算数据处理成指标类数据。
18.如权利要求10所述的监管报送数据的处理方法，其特征在于，还包括：根据从不同被监管报送机构的不同源业务系统中采集的源数据或监管标准数据，得到实时监管报送数据。
19.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求10至18任一所述方法。
20.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有执行权利要求10至18任一所述方法的计算机程序。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110424912.1A CN113011784A (zh) | 2021-04-20 | 2021-04-20 | 监管报送数据的处理模型及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110424912.1A CN113011784A (zh) | 2021-04-20 | 2021-04-20 | 监管报送数据的处理模型及方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113011784A true CN113011784A (zh) | 2021-06-22 |
Family
ID=76389007
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110424912.1A Pending CN113011784A (zh) | 2021-04-20 | 2021-04-20 | 监管报送数据的处理模型及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113011784A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114666321A (zh) * | 2022-03-21 | 2022-06-24 | 中国建设银行股份有限公司 | 一种监管报送数据处理方法、装置、设备、介质及产品 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104899199A (zh) * | 2014-03-04 | 2015-09-09 | 阿里巴巴集团控股有限公司 | 一种数据仓库数据处理方法和系统 |
| CN110147997A (zh) * | 2019-04-16 | 2019-08-20 | 深圳壹账通智能科技有限公司 | 数据处理方法、装置、设备及存储介质 |
| CN110457294A (zh) * | 2019-06-28 | 2019-11-15 | 阿里巴巴集团控股有限公司 | 一种数据处理方法和装置 |
| US10497059B1 (en) * | 2015-07-04 | 2019-12-03 | Enerknol, Inc. | Method and system for providing real time access to relevant energy policy and regulatory data |
| CN110532802A (zh) * | 2019-09-02 | 2019-12-03 | 中国农业银行股份有限公司 | 一种数据处理方法及系统 |
-
2021
- 2021-04-20 CN CN202110424912.1A patent/CN113011784A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104899199A (zh) * | 2014-03-04 | 2015-09-09 | 阿里巴巴集团控股有限公司 | 一种数据仓库数据处理方法和系统 |
| US10497059B1 (en) * | 2015-07-04 | 2019-12-03 | Enerknol, Inc. | Method and system for providing real time access to relevant energy policy and regulatory data |
| CN110147997A (zh) * | 2019-04-16 | 2019-08-20 | 深圳壹账通智能科技有限公司 | 数据处理方法、装置、设备及存储介质 |
| CN110457294A (zh) * | 2019-06-28 | 2019-11-15 | 阿里巴巴集团控股有限公司 | 一种数据处理方法和装置 |
| CN110532802A (zh) * | 2019-09-02 | 2019-12-03 | 中国农业银行股份有限公司 | 一种数据处理方法及系统 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114666321A (zh) * | 2022-03-21 | 2022-06-24 | 中国建设银行股份有限公司 | 一种监管报送数据处理方法、装置、设备、介质及产品 |
| CN114666321B (zh) * | 2022-03-21 | 2024-04-26 | 中国建设银行股份有限公司 | 一种监管报送数据处理方法、装置、设备、介质及产品 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111523853B (zh) | 一种企业信用信息加工、整理及存储的管理方法 | |
| US11783338B2 (en) | Systems and methods for outlier detection of transactions | |
| US20110313949A1 (en) | Technology portfolio health assessment system and method | |
| CN106294521A (zh) | 数据存储方法及数据仓库系统 | |
| CN101916422A (zh) | 一种用于银行的多维度绩效评价系统及方法 | |
| US20180255160A1 (en) | Computerized accounting information system and a method of processing accounting data | |
| CN111433806A (zh) | 用于分析众筹平台的系统和方法 | |
| CN113011784A (zh) | 监管报送数据的处理模型及方法 | |
| US20130166338A1 (en) | Enhanced business planning and operations management system | |
| CN112927071A (zh) | 一种贷后行为特征加工的方法与装置 | |
| CN115796585A (zh) | 一种企业经营风险评估方法及系统 | |
| CN114881630A (zh) | 一种基于油气能源站营销与支付系统 | |
| JP2004046363A (ja) | 中小企業格付け評価システム | |
| CN114254908A (zh) | 一种区域金融非银行金融机构风险感知及监管平台 | |
| CN113269446A (zh) | 文化和旅游经济运行数据监测体系架构 | |
| CN115908033B (zh) | 应用于商票评级模型的数据处理方法及装置和系统 | |
| US12039614B2 (en) | Generic configuration platform for generating electronic reports | |
| CN113888322B (zh) | 一种信用评价方法、系统、存储介质及电子设备 | |
| Wajong | Business intelligent system to make management decision in project management | |
| US20170140399A1 (en) | Commitments and forecasting management | |
| Jin et al. | [Retracted] The Implementation of Unified Application Data Collection and Analysis in Tobacco Enterprise Platform Design | |
| TWM639026U (zh) | 統計報表資訊管理系統 | |
| CN114511402A (zh) | 风险模型特征数据的管理方法及相关应用设备 | |
| Pina | Business Analytics Solutions Implementation in the Insurance Market: Focus on Commercial Property Line of Business | |
| CN118229395A (zh) | 监测指标异动分析方法、装置、计算机设备和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |