CN112651840A - 基于区块链和数字金融的业务数据日志处理方法及系统 - Google Patents
基于区块链和数字金融的业务数据日志处理方法及系统 Download PDFInfo
- Publication number
- CN112651840A CN112651840A CN202110043819.6A CN202110043819A CN112651840A CN 112651840 A CN112651840 A CN 112651840A CN 202110043819 A CN202110043819 A CN 202110043819A CN 112651840 A CN112651840 A CN 112651840A
- Authority
- CN
- China
- Prior art keywords
- data
- chain
- data log
- service data
- log
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 11
- 238000012545 processing Methods 0.000 claims abstract description 30
- 238000012163 sequencing technique Methods 0.000 claims abstract description 22
- 238000012544 monitoring process Methods 0.000 claims description 44
- 238000001514 detection method Methods 0.000 claims description 17
- 238000000034 method Methods 0.000 claims description 17
- 238000007726 management method Methods 0.000 claims description 9
- 238000004590 computer program Methods 0.000 claims description 7
- 238000004364 calculation method Methods 0.000 claims description 6
- 238000004458 analytical method Methods 0.000 claims description 5
- 230000005856 abnormality Effects 0.000 claims description 2
- 239000003550 marker Substances 0.000 description 4
- 230000015572 biosynthetic process Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000002860 competitive effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
- G06Q40/06—Asset management; Financial planning or analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
- G06F21/64—Protecting data integrity, e.g. using checksums, certificates or signatures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
- G06F3/0608—Saving storage space on storage systems
Abstract
本发明公开了一种基于区块链和数字金融的业务数据日志处理方法，涉及互联网金融技术领域，包括以下步骤：将多个依次链接的区块中每个区块的业务数据进行实时存储并形成多个数据备用库；在前后两个相互链接的区块之间的链节点处调用业务数据并形成单链数据日志；对转发的单链数据日志添加位置标识符和增量序次标记；接收多个单链数据日志并将多个单链数据日志按预设排序标准进行排序；检测实时序列中的增量序次标记是否连续；还提供了基于区块链和数字金融的业务数据日志处理系统；还提供了存储介质。本发明具有高连续性、高可靠性和低运算成本的优点。
Description
技术领域
本发明涉及互联网金融技术领域，具体涉及一种基于区块链和数字金融的业务数据日志处理方法及系统。
背景技术
区块链是一种在不可信的竞争环境中低成本建立信任的新型计算范式和协作模式，由于其具有存储密度大、防篡改、可追溯等特性，基于区块链技术的应用越来越广泛。区块链通过增加区块的方式进行数据存储，且数据都是存储在单链上，但随着时间和交易数据的扩大极易引发数据膨胀，可能会导致存储和查询效率的降低。同时，数据在系统中均采用日志来记录，日志是记录各种系统中问题信息的关键，也是一种常见的海量数据，目前可以通过系统的日志对系统的运行状态进行分析，目前银行等组织机构都有多种系统，这些系统基于分布式的应用服务器集群日复一日地运，产生海量的日志。核心银行系统拥有的运维数据，既包括系统层面有关资源消耗的性能特征日志，还包括业务层面事关客户、账户的交易明细日志。
因此，由于区块链的数据存储方式，导致业务数据日志处理系统中进行数据采集时，发生异常并出现日志不连续的问题。
发明内容
针对现有技术中的缺陷，本发明提供一种基于区块链和数字金融的业务数据日志处理方法及系统。
一种基于区块链和数字金融的业务数据日志处理方法，包括以下步骤：将多个依次链接的区块中每个区块的业务数据进行实时存储并形成多个数据备用库，多个数据备用库分别对应不同区块；在前后两个相互链接的区块之间的链节点处调用业务数据并形成单链数据日志，并将单链数据日志进行转发，其中，所调用业务数据代表了前区块的业务数据；对转发的单链数据日志添加位置标识符和增量序次标记，所述位置标识符与该单链数据日志对应的数据备用库相对应；接收多个单链数据日志并将多个单链数据日志按预设排序标准进行排序，形成业务数据日志，所述预设排序标准包括按预设序列排列多个所述增量序次标记并形成实时序列；检测实时序列中的增量序次标记是否连续：若不连续，检测丢失的所述增量序次标记，并通过所述增量序次标记得到与其对应的单链数据日志和该单链数据日志对应的位置标识符，通过位置标示符得到与其对应的数据备用库，在数据备用库中重新调用业务数据并形成新的单链数据日志，并按填补标准在业务数据日志中插入新的单链数据日志，并继续检测实时序列中的增量序次标记是否连续；若连续，得到业务数据日志中的多个单链数据日志对应的多个位置标识符，通过多个位置标示符找到与其对应的多个数据备用库，实时删除找到的多个数据备用库。区块链通过增加区块的方式进行数据存储，且数据都是存储在单链上，增加区块的同时，形成了前区块和后区块，以及前区块与后区块之间的链节点。一般来说。业务数据日志的形成过程如下：第一步，将多个依次链接的区块中每个区块的业务数据进行实时存储并形成多个数据备用库，因此每个数据备用库都对应一个区块内的业务数据，同时所实时存储的业务数据都是实时新增的业务数据，并不会对原有的业务数据进行存储；第二步，在前后两个相互链接的区块之间的链节点处调用业务数据并形成单链数据日志，并将单链数据日志进行转发，其中，在链节点处能够更快更准确地调用前区块的业务数据，并且此业务数据也是实时新增的业务数据，也不是原有业务数据，也就是说在链节点处提取的业务数据是跟数据备用库中的业务数据是一样的，但数据备用库仅仅起到存储的作用，而单链数据日志需要对在后续数据处理过程中对其进行处理；第三步，对转发的单链数据日志添加位置标识符和增量序次标记，其中，位置标识符代表了单链链节点的位置，也就代表了所提取业务数据是属于哪一个前区块，从而代表了该前区块所对应的数据备用库，而增量序次标记代表了每个单链数据日志的标识，不同的单链数据日志的增量序次标记互不相同，比如不同单链数据日志的增量序次标记为：1、2、3、4、5、6……或a、b、c、d、e……等等，其中具体单个标记选取按照标记次数进行，每个标记均只能标记一个单链数据日志；第四步，接收多个单链数据日志并将多个单链数据日志按预设排序标准进行排序，形成业务数据日志，这是业务数据日志的形成过程，也是将所有区块中的业务数据进行集成，其中预设排序标准为增量序次标记对应的规定顺序，或者增量序次标记对应的用户自行设计的顺序，最后形成实时序列，其中实时序列与预设排序标准中的顺序可能不相同，会出现断层；第五步，检测实时序列中的增量序次标记是否连续，也就是是否出现断层，如果出现断层，也就代表了该断层处对应的增量序次标记丢失，根据丢失的增量序次标记找到丢失的单链数据日志，然后根据丢失的单链数据日志找到与其对应的位置标识符，根据位置标示符得到与其对应的数据备用库，再重新在数据备用库中调用业务数据并形成新的单链数据日志，很明显，此单链数据日志跟丢失的单链数据日志相同，从而能够利用填补标准在业务数据日志中插入新的单链数据日志，然后继续进行检测，检测实时序列中的增量序次标记是否连续；在第五步中，如果不出现断层，也就是代表了是多个单链数据日志形成了连续的业务数据日志，再通过多个单链数据日志得到对应的多个位置标识符，通过多个位置标示符找到与其对应的多个数据备用库，实时删除找到的多个数据备用库。
具体地，填补标准包括将新的单链数据日志添加丢失的所述增量序次标记，并按增量序次标记在预设序列排列中的次序插入实时序列。在第五步中，利用填补标准在业务数据日志中插入新的单链数据日志，其中填补标准需要重新在单链数据日志中添加丢失的增量序次标记，以保证后续在检测实时序列中的增量序次标记是否连续时，获得连续结果。
还提供了一种基于区块链和数字金融的业务数据日志处理系统，其特征在于，包括：多个用于存储业务数据的区块，多个所述区块中两两链接并且两个相互链接的区块形成前区块和后区块，所述前区块和所述后区块之间形成链节点，所述前区块所存储的业务数据通过链节点进行调用；存储模块，所述存储模块用于存储多个数据备用库，多个所述数据备用库分别用于实时存储多个区块的增量业务数据；调用转发模块，所述调用转发模块用于调用业务数据并形成单链数据日志，并将单链数据日志进行转发；标记处理模块，所述标记处理模块用于对转发的单链数据日志添加位置标识符和增量序次标记，其中，所述位置标识符与该单链数据日志对应的数据备用库相对应；综合排序模块，所述综合排序模块用于接收多个单链数据日志并将多个单链数据日志按预设排序标准进行排序，并形成业务数据日志，其中，所述预设排序标准包括按预设序列排列多个所述增量序次标记并形成实时序列；检测模块，所述检测模块用于检测实时序列中的增量序次标记是否连续：若不连续，所述检测模块检测丢失的所述增量序次标记，并通过所述增量序次标记得到与其对应的单链数据日志和该单链数据日志对应的位置标识符，通过位置标示符得到与其对应的数据备用库，在数据备用库中重新调用业务数据并形成新的单链数据日志，并按填补标准在业务数据日志中插入新的单链数据日志，并继续检测实时序列中的增量序次标记是否连续；若连续，所述检测模块得到业务数据日志中的多个单链数据日志对应的多个位置标识符，通过多个位置标示符在所述存储模块中找到与其对应的多个数据备用库，实时删除存储模块中找到的多个数据备用库。
具体地，检测模块包括填补单元，所述填补单元用于将新的单链数据日志添加丢失的所述增量序次标记，并按增量序次标记在预设序列排列中的次序插入实时序列。
具体地，综合排序模块连接有若干应用服务器，所述应用服务器利用flume实时收集所述业务数据日志。通过在各应用服务器中设置日志采集插件，该日志采集插件可以定时或实时将应用服务器中产生的业务数据日志进行继续处理。应用服务器集群中部署有多种系统，例如Redis缓存系统、Kafka等，每个系统可以部署在一个或多个应用服务器中，各系统产生的业务日志将存储在部署的应用服务器中。flume是一个分布式、可靠的高性能工具，可用于从不同数据源收集、聚合、传输大量日志数据至一个中央数据源。
具体地，综合排序模块连接有监测统计模块，所述监测统计模块用于根据预设的各系统类型对应的监测统计任务从各系统类型对应的业务数据日志中提取数据，得到各监测统计任务的监测数据。，针对各系统设置监测统计任务，例如针对Redis缓存系统设置监测命令进程数量、内存使用数量、网络输入/输出数量等监测统计任务。在本发明实施例中，监测统计根据监测统计任务访问任务对应的业务数据日志获取数据，进而得到监测统计任务的监测统计结果。
具体地，监测统计模块连接有web展示模块，所述web展示模块实时动态展示所述监测数据。
具体地，web展示模块包括监控规则管理单元、报警渠道管理单元、性能参数动态展示单元、报警对象管理单元、报警历史展示单元、业务异常动态展示单元和关键词内容检索单元。
具体地，监测统计模块连接有报警控制模块，所述报警控制模块用于根据实时计算和分析的结果生成报警反馈。监测统计模块连接有报警控制模块，报警控制模块用于根据实时计算和分析的结果生成报警反馈。通过利用storm的流式数据处理优势，能够实时处理刚产生的日志，并及时反馈线上应用系统的运行状态，对线上出现的问题能够及时生成报警反馈。即本发明的系统能够对线上出现的问题实时给出报警反馈，进而方便及时有效的对线上故障进行处理。
还提供了一种存储介质，该存储介质存储有计算机程序，存储介质被一个或多个处理器执行时，实现如上述所记载实施方式中的基于区块链和数字金融的业务数据日志处理方法。
还提供一种电子设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述实施方式中的基于区块链和数字金融的业务数据日志处理方法。
本发明的有益效果体现在：
在本发明中，在具备存储密度大、防篡改、可追溯等特性的前提下，利用数据备用库、增量序次标记和位置标识符三者协同作用，有效防止业务数据日志异常，直接保证了业务数据日志形成的连续性和可靠性，重要的是，上述方法是连续并不断循环的，形成连续的业务数据日志后会直接对数据备用库进行删除，从而节省运算空间，提高存储效率和运算效率，因此数据备用库的形成和删除都是实时且循环进行的，也正因为此，以上方法均是在不额外造成大量数据运算成本的前提下进行。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍。在所有附图中，类似的元件或部分一般由类似的附图标记标识。附图中，各元件或部分并不一定按照实际的比例绘制。
图1为本发明基于区块链和数字金融的业务数据日志处理方法的流程示意图；
图2为本发明基于区块链和数字金融的业务数据日志处理系统的区块连接的连接示意图；
图3为本发明基于区块链和数字金融的业务数据日志处理系统的部分模块的组成示意图；
图4为本发明基于区块链和数字金融的业务数据日志处理系统中与综合排序模块相关模块的组成示意图。
附图标记：
1-区块，11-前区块，12-后区块，13-链节点，2-存储模块，21-数据备用库，3-调用转发模块，4-标记处理模块，41-位置标识符，42-增量序次标记，5-综合排序模块，51-应用服务器，6-检测模块，61-填补单元，7-监测统计模块，8-web展示模块。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和出示的本发明实施例的组件可以以各种不同的配置来布置和设计。
因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。此外，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
在本发明实施方式的描述中，需要说明的是，术语“内”、“外”、“上”等指示的方位或位置关系为基于附图所示的方位或位置关系，或者是该发明产品使用时惯常摆放的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
如图1所示，一种基于区块链和数字金融的业务数据日志处理方法，包括以下步骤：将多个依次链接的区块中每个区块的业务数据进行实时存储并形成多个数据备用库，多个数据备用库分别对应不同区块；在前后两个相互链接的区块之间的链节点处调用业务数据并形成单链数据日志，并将单链数据日志进行转发，其中，所调用业务数据代表了前区块的业务数据；对转发的单链数据日志添加位置标识符和增量序次标记，所述位置标识符与该单链数据日志对应的数据备用库相对应；接收多个单链数据日志并将多个单链数据日志按预设排序标准进行排序，形成业务数据日志，所述预设排序标准包括按预设序列排列多个所述增量序次标记并形成实时序列；检测实时序列中的增量序次标记是否连续：若不连续，检测丢失的所述增量序次标记，并通过所述增量序次标记得到与其对应的单链数据日志和该单链数据日志对应的位置标识符，通过位置标示符得到与其对应的数据备用库，在数据备用库中重新调用业务数据并形成新的单链数据日志，并按填补标准在业务数据日志中插入新的单链数据日志，并继续检测实时序列中的增量序次标记是否连续；若连续，得到业务数据日志中的多个单链数据日志对应的多个位置标识符，通过多个位置标示符找到与其对应的多个数据备用库，实时删除找到的多个数据备用库。
在本实施方式中，需要说明的是，区块链通过增加区块的方式进行数据存储，且数据都是存储在单链上，增加区块的同时，形成了前区块和后区块，以及前区块与后区块之间的链节点。一般来说。业务数据日志的形成过程如下：第一步，将多个依次链接的区块中每个区块的业务数据进行实时存储并形成多个数据备用库，因此每个数据备用库都对应一个区块内的业务数据，同时所实时存储的业务数据都是实时新增的业务数据，并不会对原有的业务数据进行存储；第二步，在前后两个相互链接的区块之间的链节点处调用业务数据并形成单链数据日志，并将单链数据日志进行转发，其中，在链节点处能够更快更准确地调用前区块的业务数据，并且此业务数据也是实时新增的业务数据，也不是原有业务数据，也就是说在链节点处提取的业务数据是跟数据备用库中的业务数据是一样的，但数据备用库仅仅起到存储的作用，而单链数据日志需要对在后续数据处理过程中对其进行处理；第三步，对转发的单链数据日志添加位置标识符和增量序次标记，其中，位置标识符代表了单链链节点的位置，也就代表了所提取业务数据是属于哪一个前区块，从而代表了该前区块所对应的数据备用库，而增量序次标记代表了每个单链数据日志的标识，不同的单链数据日志的增量序次标记互不相同，比如不同单链数据日志的增量序次标记为：1、2、3、4、5、6……或a、b、c、d、e……等等，其中具体单个标记选取按照标记次数进行，每个标记均只能标记一个单链数据日志；第四步，接收多个单链数据日志并将多个单链数据日志按预设排序标准进行排序，形成业务数据日志，这是业务数据日志的形成过程，也是将所有区块中的业务数据进行集成，其中预设排序标准为增量序次标记对应的规定顺序，或者增量序次标记对应的用户自行设计的顺序，最后形成实时序列，其中实时序列与预设排序标准中的顺序可能不相同，会出现断层；第五步，检测实时序列中的增量序次标记是否连续，也就是是否出现断层，如果出现断层，也就代表了该断层处对应的增量序次标记丢失，根据丢失的增量序次标记找到丢失的单链数据日志，然后根据丢失的单链数据日志找到与其对应的位置标识符，根据位置标示符得到与其对应的数据备用库，再重新在数据备用库中调用业务数据并形成新的单链数据日志，很明显，此单链数据日志跟丢失的单链数据日志相同，从而能够利用填补标准在业务数据日志中插入新的单链数据日志，然后继续进行检测，检测实时序列中的增量序次标记是否连续；在第五步中，如果不出现断层，也就是代表了是多个单链数据日志形成了连续的业务数据日志，再通过多个单链数据日志得到对应的多个位置标识符，通过多个位置标示符找到与其对应的多个数据备用库，实时删除找到的多个数据备用库；通过上述方法，在具备存储密度大、防篡改、可追溯等特性的前提下，利用数据备用库、增量序次标记和位置标识符三者协同作用，有效防止业务数据日志异常，直接保证了业务数据日志形成的连续性和可靠性，重要的是，上述方法是连续并不断循环的，形成连续的业务数据日志后会直接对数据备用库进行删除，从而节省运算空间，提高存储效率和运算效率，因此数据备用库的形成和删除都是实时且循环进行的，也正因为此，以上方法均是在不额外造成大量数据运算成本的前提下进行。
具体地，填补标准包括将新的单链数据日志添加丢失的所述增量序次标记，并按增量序次标记在预设序列排列中的次序插入实时序列。
在本实施方式中，需要说明的是，在第五步中，利用填补标准在业务数据日志中插入新的单链数据日志，其中填补标准需要重新在单链数据日志中添加丢失的增量序次标记，以保证后续在检测实时序列中的增量序次标记是否连续时，获得连续结果。
如图1至图4所示，还提供了一种基于区块链和数字金融的业务数据日志处理系统，包括：多个用于存储业务数据的区块1，多个区块1中两两链接并且两个相互链接的区块1形成前区块11和后区块12，前区块11和后区块12之间形成链节点13，前区块11所存储的业务数据通过链节点13进行调用；存储模块2，存储模块2用于存储多个数据备用库21，多个数据备用库21分别用于实时存储多个区块1的增量业务数据；调用转发模块3，调用转发模块3用于调用业务数据并形成单链数据日志，并将单链数据日志进行转发；标记处理模块4，标记处理模块4用于对转发的单链数据日志添加位置标识符41和增量序次标记42，其中，位置标识符41与该单链数据日志对应的数据备用库21相对应；综合排序模块5，综合排序模块5用于接收多个单链数据日志并将多个单链数据日志按预设排序标准进行排序，并形成业务数据日志，其中，预设排序标准包括按预设序列排列多个增量序次标记42并形成实时序列；检测模块6，检测模块6用于检测实时序列中的增量序次标记42是否连续：若不连续，检测模块6检测丢失的增量序次标记42，并通过增量序次标记42得到与其对应的单链数据日志和该单链数据日志对应的位置标识符41，通过位置标示符得到与其对应的数据备用库21，在数据备用库21中重新调用业务数据并形成新的单链数据日志，并按填补标准在业务数据日志中插入新的单链数据日志，并继续检测实时序列中的增量序次标记42是否连续；若连续，检测模块6得到业务数据日志中的多个单链数据日志对应的多个位置标识符41，通过多个位置标示符在存储模块2中找到与其对应的多个数据备用库21，实时删除存储模块2中找到的多个数据备用库21。
在本实施方式中，需要说明的是，在本系统中，各类模块和单元均在执行时实现如上述实施方式中的基于区块链和数字金融的业务数据日志处理方法，因此具体在此处不做过多赘述。
具体地，检测模块6包括填补单元61，填补单元61用于将新的单链数据日志添加丢失的增量序次标记42，并按增量序次标记42在预设序列排列中的次序插入实时序列。
在本实施方式中，需要说明的是，同样的，在本系统中，各类模块和单元均在执行时实现如上述实施方式中的基于区块链和数字金融的业务数据日志处理方法，因此具体在此处不做过多赘述。
具体地，综合排序模块5连接有若干应用服务器51，应用服务器51利用flume实时收集业务数据日志。
在本实施方式中，需要说明的是，通过在各应用服务器51中设置日志采集插件，该日志采集插件可以定时或实时将应用服务器51中产生的业务数据日志进行继续处理。应用服务器51集群中部署有多种系统，例如Redis缓存系统、Kafka等，每个系统可以部署在一个或多个应用服务器51中，各系统产生的业务日志将存储在部署的应用服务器51中。flume是一个分布式、可靠的高性能工具，可用于从不同数据源收集、聚合、传输大量日志数据至一个中央数据源。
具体地，综合排序模块5连接有监测统计模块7，监测统计模块7用于根据预设的各系统类型对应的监测统计任务从各系统类型对应的业务数据日志中提取数据，得到各监测统计任务的监测数据。
在本实施方式中，需要说明的是，针对各系统设置监测统计任务，例如针对Redis缓存系统设置监测命令进程数量、内存使用数量、网络输入/输出数量等监测统计任务。在本发明实施例中，监测统计根据监测统计任务访问任务对应的业务数据日志获取数据，进而得到监测统计任务的监测统计结果。
具体地，监测统计模块7连接有web展示模块8，web展示模块8实时动态展示监测数据。
具体地，web展示模块8包括监控规则管理单元、报警渠道管理单元、性能参数动态展示单元、报警对象管理单元、报警历史展示单元、业务异常动态展示单元和关键词内容检索单元。
具体地，监测统计模块7连接有报警控制模块，报警控制模块用于根据实时计算和分析的结果生成报警反馈。
在本实施方式中，需要说明的是，监测统计模块7连接有报警控制模块，报警控制模块用于根据实时计算和分析的结果生成报警反馈。通过利用storm的流式数据处理优势，能够实时处理刚产生的日志，并及时反馈线上应用系统的运行状态，对线上出现的问题能够及时生成报警反馈。即本发明的系统能够对线上出现的问题实时给出报警反馈，进而方便及时有效的对线上故障进行处理。
还提供了一种存储介质，该存储介质存储有计算机程序，存储介质被一个或多个处理器执行时，实现如上述所记载实施方式中的基于区块链和数字金融的业务数据日志处理方法。
在本实施方式中，需要说明的是，上述存储介质可以是闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘、服务器、App应用商城等等。
还提供一种电子设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述实施方式中的基于区块链和数字金融的业务数据日志处理方法。
在本实施方式中，需要说明的是，处理器可以是专用集成电路(ApplicationSpecific Integrated Circuit，简称ASIC)、数字信号处理器(Digital SignalProcessor，简称DSP)、数字信号处理设备(Digital Signal Processing Device，简称DSPD)、可编程逻辑器件(Programmable Logic Device，简称PLD)、现场可编程门阵列(Field Programmable Gate Array，简称FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述实施方式中的方法。
存储器可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，例如静态随机存取存储器(Static Random Access Memory，简称SRAM)，电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory，简称EEPROM)，可擦除可编程只读存储器(Erasable Programmable Read-Only Memory，简称EPROM)，可编程只读存储器(Programmable Read-Only Memory，简称PROM)，只读存储器(Read-Only Memory，简称ROM)，磁存储器，快闪存储器，磁盘或光盘。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围，其均应涵盖在本发明的权利要求和说明书的范围当中。
Claims (10)
1.一种基于区块链和数字金融的业务数据日志处理方法，其特征在于，包括以下步骤：
将多个依次链接的区块中每个区块的业务数据进行实时存储并形成多个数据备用库，多个数据备用库分别对应不同区块；
在前后两个相互链接的区块之间的链节点处调用业务数据并形成单链数据日志，并将单链数据日志进行转发，其中，所调用业务数据代表了前区块的业务数据；
对转发的单链数据日志添加位置标识符和增量序次标记，所述位置标识符与该单链数据日志对应的数据备用库相对应；
接收多个单链数据日志并将多个单链数据日志按预设排序标准进行排序，形成业务数据日志，所述预设排序标准包括按预设序列排列多个所述增量序次标记并形成实时序列；
检测实时序列中的增量序次标记是否连续：
若不连续，检测丢失的所述增量序次标记，并通过所述增量序次标记得到与其对应的单链数据日志和该单链数据日志对应的位置标识符，通过位置标示符得到与其对应的数据备用库，在数据备用库中重新调用业务数据并形成新的单链数据日志，并按填补标准在业务数据日志中插入新的单链数据日志，并继续检测实时序列中的增量序次标记是否连续；
若连续，得到业务数据日志中的多个单链数据日志对应的多个位置标识符，通过多个位置标示符找到与其对应的多个数据备用库，实时删除找到的多个数据备用库。
2.根据权利要求1所述的基于区块链和数字金融的业务数据日志处理方法，其特征在于，所述填补标准包括将新的单链数据日志添加丢失的所述增量序次标记，并按增量序次标记在预设序列排列中的次序插入实时序列。
3.一种基于区块链和数字金融的业务数据日志处理系统，其特征在于，包括：
多个用于存储业务数据的区块，多个所述区块中两两链接并且两个相互链接的区块形成前区块和后区块，所述前区块和所述后区块之间形成链节点，所述前区块所存储的业务数据通过链节点进行调用；
存储模块，所述存储模块用于存储多个数据备用库，多个所述数据备用库分别用于实时存储多个区块的增量业务数据；
调用转发模块，所述调用转发模块用于调用业务数据并形成单链数据日志，并将单链数据日志进行转发；
标记处理模块，所述标记处理模块用于对转发的单链数据日志添加位置标识符和增量序次标记，其中，所述位置标识符与该单链数据日志对应的数据备用库相对应；
综合排序模块，所述综合排序模块用于接收多个单链数据日志并将多个单链数据日志按预设排序标准进行排序，并形成业务数据日志，其中，所述预设排序标准包括按预设序列排列多个所述增量序次标记并形成实时序列；
检测模块，所述检测模块用于检测实时序列中的增量序次标记是否连续：若不连续，所述检测模块检测丢失的所述增量序次标记，并通过所述增量序次标记得到与其对应的单链数据日志和该单链数据日志对应的位置标识符，通过位置标示符得到与其对应的数据备用库，在数据备用库中重新调用业务数据并形成新的单链数据日志，并按填补标准在业务数据日志中插入新的单链数据日志，并继续检测实时序列中的增量序次标记是否连续；若连续，所述检测模块得到业务数据日志中的多个单链数据日志对应的多个位置标识符，通过多个位置标示符在所述存储模块中找到与其对应的多个数据备用库，实时删除存储模块中找到的多个数据备用库。
4.根据权利要求3所述的基于区块链和数字金融的业务数据日志处理系统，其特征在于，所述检测模块包括填补单元，所述填补单元用于将新的单链数据日志添加丢失的所述增量序次标记，并按增量序次标记在预设序列排列中的次序插入实时序列。
5.根据权利要求3所述的基于区块链和数字金融的业务数据日志处理系统，其特征在于，所述综合排序模块连接有若干应用服务器，所述应用服务器利用flume实时收集所述业务数据日志。
6.根据权利要求3所述的基于区块链和数字金融的业务数据日志处理系统，其特征在于，所述综合排序模块连接有监测统计模块，所述监测统计模块用于根据预设的各系统类型对应的监测统计任务从各系统类型对应的业务数据日志中提取数据，得到各监测统计任务的监测数据。
7.根据权利要求6所述的基于区块链和数字金融的业务数据日志处理系统，其特征在于，所述监测统计模块连接有web展示模块，所述web展示模块实时动态展示所述监测数据。
8.根据权利要求7所述的基于区块链和数字金融的业务数据日志处理系统，其特征在于，所述web展示模块包括监控规则管理单元、报警渠道管理单元、性能参数动态展示单元、报警对象管理单元、报警历史展示单元、业务异常动态展示单元和关键词内容检索单元。
9.根据权利要求8所述的基于区块链和数字金融的业务数据日志处理系统，其特征在于，所述监测统计模块连接有报警控制模块，所述报警控制模块用于根据实时计算和分析的结果生成报警反馈。
10.一种存储介质，其特征在于，其特征在于，该存储介质存储有计算机程序，存储介质被一个或多个处理器执行时，实现如权利要求1或2所述的基于区块链和数字金融的业务数据日志处理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110043819.6A CN112651840B (zh) | 2021-01-13 | 2021-01-13 | 基于区块链和数字金融的业务数据日志处理方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110043819.6A CN112651840B (zh) | 2021-01-13 | 2021-01-13 | 基于区块链和数字金融的业务数据日志处理方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112651840A true CN112651840A (zh) | 2021-04-13 |
| CN112651840B CN112651840B (zh) | 2023-11-14 |
Family
ID=75368322
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110043819.6A Active CN112651840B (zh) | 2021-01-13 | 2021-01-13 | 基于区块链和数字金融的业务数据日志处理方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112651840B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113393216A (zh) * | 2021-07-01 | 2021-09-14 | 上海牵翼网络科技有限公司 | 一种实验室数字化平台 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107357804A (zh) * | 2017-05-24 | 2017-11-17 | 上海你我贷互联网金融信息服务有限公司 | 互联网金融海量日志的分析系统及方法 |
| CN108334556A (zh) * | 2017-12-31 | 2018-07-27 | 江苏易润信息技术有限公司 | 一种分析互联网金融海量日志的方法及系统 |
| CN111368004A (zh) * | 2020-03-16 | 2020-07-03 | 深圳市望岳安全技术有限公司 | 一种区块链金融数据处理系统 |
-
2021
- 2021-01-13 CN CN202110043819.6A patent/CN112651840B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107357804A (zh) * | 2017-05-24 | 2017-11-17 | 上海你我贷互联网金融信息服务有限公司 | 互联网金融海量日志的分析系统及方法 |
| CN108334556A (zh) * | 2017-12-31 | 2018-07-27 | 江苏易润信息技术有限公司 | 一种分析互联网金融海量日志的方法及系统 |
| CN111368004A (zh) * | 2020-03-16 | 2020-07-03 | 深圳市望岳安全技术有限公司 | 一种区块链金融数据处理系统 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113393216A (zh) * | 2021-07-01 | 2021-09-14 | 上海牵翼网络科技有限公司 | 一种实验室数字化平台 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112651840B (zh) | 2023-11-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11030157B2 (en) | Template based data reduction for commercial data mining | |
| CN108446407B (zh) | 基于区块链的数据库审计方法和装置 | |
| US11960443B2 (en) | Block data storage system in an event historian | |
| CN111984499A (zh) | 一种大数据集群的故障检测方法和装置 | |
| CN103077108B (zh) | 一种对浏览器崩溃进行预警的方法和系统 | |
| CN111881011A (zh) | 日志管理方法、平台、服务器及存储介质 | |
| CN112181931A (zh) | 一种大数据系统链路追踪方法及电子设备 | |
| JP2020057416A (ja) | 分散データベースにおけるデータブロックを処理する方法およびデバイス | |
| CN114780335A (zh) | 监测数据的关联方法、装置、计算机设备和存储介质 | |
| CN111258798A (zh) | 监控数据的故障定位方法、装置、计算机设备及存储介质 | |
| CN111737244A (zh) | 数据质量检查方法、装置、计算机系统及存储介质 | |
| CN113672456A (zh) | 应用平台的模块化自监听方法、系统、终端及存储介质 | |
| CN112651840B (zh) | 基于区块链和数字金融的业务数据日志处理方法及系统 | |
| CN110008243B (zh) | 一种数据表处理方法及装置 | |
| CN111124891A (zh) | 接入状态的检测方法和装置、存储介质及电子装置 | |
| CN110851758A (zh) | 一种网页访客数量统计方法及装置 | |
| CN113472881B (zh) | 在线终端设备的统计方法和装置 | |
| CN115269519A (zh) | 一种日志检测方法、装置及电子设备 | |
| US11782873B2 (en) | System and method for managing timeseries data | |
| CN115422293A (zh) | 一种分布式数据库及其数据检索方法 | |
| CN115544007A (zh) | 标签预处理方法、装置、计算机设备和存储介质 | |
| CN112579394A (zh) | 应用于互联网金融的日志处理系统、方法及计算机设备 | |
| CN112612773A (zh) | 数据库同步测试方法、装置、计算机设备及存储介质 | |
| CN113778996A (zh) | 一种大数据流数据处理方法、装置、电子设备及存储介质 | |
| CN116701337B (zh) | 日志数据处理方法、装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |