CN117194450A - 数据治理方法、装置及电子设备 - Google Patents
数据治理方法、装置及电子设备 Download PDFInfo
- Publication number
- CN117194450A CN117194450A CN202311154044.5A CN202311154044A CN117194450A CN 117194450 A CN117194450 A CN 117194450A CN 202311154044 A CN202311154044 A CN 202311154044A CN 117194450 A CN117194450 A CN 117194450A
- Authority
- CN
- China
- Prior art keywords
- module
- verification
- information
- data
- account book
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 47
- 238000013523 data management Methods 0.000 title claims abstract description 31
- 238000012795 verification Methods 0.000 claims abstract description 258
- 238000012545 processing Methods 0.000 claims abstract description 91
- 238000013500 data storage Methods 0.000 claims description 36
- 230000000977 initiatory effect Effects 0.000 claims description 26
- 230000005540 biological transmission Effects 0.000 claims description 4
- 238000010200 validation analysis Methods 0.000 claims 1
- 238000004891 communication Methods 0.000 abstract description 12
- 239000000284 extract Substances 0.000 abstract description 12
- 238000013480 data collection Methods 0.000 abstract 1
- 230000000875 corresponding effect Effects 0.000 description 20
- 238000007726 management method Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 238000013070 change management Methods 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 230000006399 behavior Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 230000002708 enhancing effect Effects 0.000 description 2
- 230000008676 import Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013475 authorization Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000010076 replication Effects 0.000 description 1
- 238000013515 script Methods 0.000 description 1
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请提供一种数据治理方法、装置及电子设备,可用于金融领域或大数据领域。该方法包括:数据处理模块通过应用系统模块周期性主动发起对内部和外部数据信息检测治理的共识申请建立区块链系统,并在应用系统模块和相关的存储系统模块中提取相关的目标数据信息并发送至区块链的分布式账本存储模块,分布式账本验证模块通过分布式账本查询模块获取该目标数据信息,对多个共识节点账本的数据进行共识验证,并将验证结果通过5G信息通讯发送至分布式账本存储模块,使应用系统模块根据分布式账本存储模块的验证结果对相关数据进行更新治理。本申请实现对数据的强准确性验证,增强了数据收集的及时性和有效性,提升了数据治理的效率。
Description
技术领域
本申请涉及金融领域或大数据领域,尤其涉及一种数据治理方法、装置及电子设备。
背景技术
目前应用系统需要通过不断地收集用户信息,根据用户信息的反馈针对性的更新应用系统和数据,满足用户的实际需求。
用户信息的收集包括收集内部系统的业务码表数据和外部数据,其中,外部数据的收集通常由银行系统与外部商业数据服务商协商后,一次性维护到银行系统的存储系统中,应用系统再引用存储系统中的数据。内部系统的业务码表数据通常需要通过大量工作人员根据导入模板进行手工导入应用系统,之后直接作为铺底数据一次性维护到应用系统的数据库中。并当应用系统中相关用户的数据发生变动时,应用系统根据版本更新排期将相关内部数据变动纳入到下一批次版本中,并通过外部商业数据商定期推送外部数据变更到银行系统的存储系统的途径获取外部数据的变动。
因此,现有技术无法及时对相关数据进行相应的变更,降低数据更新治理的效率,进而降低用户使用感受,并在手工导入和获取外部数据时难以对数据的正确性进行严格校验,导致数据失效或过期,降低应用系统获取数据的质量。
发明内容
本申请提供一种数据治理方法、装置及电子设备,用以提升数据变更治理的效率和准确性,增强数据的有效性。
第一方面,本申请提供一种数据治理方法,应用于银行系统的数据处理模块,方法包括:
数据处理模块获取应用系统模块发送的共识申请;
数据处理模块根据共识申请对应用系统模块和存储系统模块建立区块链系统;
数据处理模块还根据共识申请生成共识验证信息,根据共识验证信息获取目标数据信息,并将共识验证信息和目标数据信息发送至区块链系统,使区块链系统根据共识验证信息和目标数据信息对应用系统模块和存储系统模块的目标数据信息进行更新,其中,目标数据信息包括第一目标数据信息、第二目标数据信息和目标更新数据信息。
第二方面,本申请提供一种数据治理装置,装置包括:
获取模块,用于获取应用系统模块发送的共识申请;
处理模块,用于根据共识申请对应用系统模块和存储系统模块建立区块链系统;
处理模块还用于根据共识申请生成共识验证信息,根据共识验证信息获取目标数据信息,并将共识验证信息和目标数据信息发送至区块链系统,使区块链系统根据共识验证信息和目标数据信息对应用系统模块和存储系统模块的目标数据信息进行更新,其中,目标数据信息包括第一目标数据信息、第二目标数据信息和目标更新数据信息。
第三方面,本申请提供一种电子设备,包括:处理器,以及与处理器通信连接的存储器;
存储器存储计算机执行指令;
处理器执行存储器存储的计算机执行指令,以实现第一方面和第二方面所涉及的方法。
第四方面,本申请提供一种计算机可读存储介质,计算机可读存储介质中存储有计算机执行指令,计算机执行指令被处理器执行时用于实现如上第一方面和第二方面所涉及的方法。
第五方面,本申请提供一种计算机程序产品,包括计算机指令,该计算机指令被处理器执行时实现如上第一方面和第二方面所涉及的方法。
本申请提供的数据治理方法、装置及电子设备,通过应用系统模块周期性发出共识申请,银行系统中的数据处理模块接收到共识申请后建立区块链系统,并从应用系统模块和存储系统模块中提取与本次共识申请相关的目标数据信息,并发送至分布式账本存储模块,通过分布式账本验证模块提取相关目标数据信息,并通过其中实时获取用户内部数据信息和外部数据信息的模块所提供的目标更新数据信息,与待验证的目标数据信息直接互相共识验证,直到所有的目标更新数据信息对所有的目标数据信息共识验证一致时才验证成功,否则验证失败,并通过5G通讯向分布式账本存储模块发送相关验证结果及验证失败的数据明细,使应用系统模块或/和其他模块可以基于分布式账本存储模块进行数据更新。通过多个实时更新数据的节点对目标数据信息的共识验证,提高获取数据的准确率,避免长时间无法收集新的用户数据现状,在区块链系统中的实时更新以及5G通信传输信息提高了用户信息收集治理的效率,提升用户办理业务的体验。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本申请的实施例,并与说明书一起用于解释本申请的原理。
图1为本申请实施例提供的一种数据治理方法的流程图;
图2为本申请实施例提供的一种数据治理方法的应用场景示意图;
图3为本申请实施例提供的一种数据治理方法的流程图;
图4为本申请实施例提供的一种数据治理方法的流程图;
图5为本申请实施例提供的一种数据治理装置的结构示意图;
图6为本申请实施例提供的一种电子设备的结构示意图。
通过上述附图,已示出本申请明确的实施例,后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本申请构思的范围,而是通过参考特定实施例为本领域技术人员说明本申请的概念。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
需要说明的是,本申请所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等),均为经用户授权或者经过各方充分授权的信息和数据,并且相关数据的收集、使用和处理需要遵守相关法律法规和标准,并提供有相应的操作入口,供用户选择授权或者拒绝。
需要说明的是,本申请数据治理的方法、装置及电子设备可用于金融领域或大数据领域,也可用于除金融领域或大数据领域之外的任意领域,本申请数据治理的方法、装置及电子设备的应用领域不做限定。
本申请具体的应用场景为在很多应用系统投入生产使用后,还需要通过持续收集用户信息以达到对应用系统中所存储的对应用户的相关数据信息进行针对性的更新治理,从而满足用户的实际需求,提升用户的使用体验。特别是在金融领域的银行系统中,存在大量的应用系统,这些应用系统都存储着大量的用户信息,当用户的相关信息发生改动时,相关应用系统需要及时收集用户信息,根据实际用户信息的改动情况对相关应用系统中相对应的数据进行更新治理。其中,用户信息包括内部数据信息和外部数据信息,内部数据信息包括银行网点条目信息、国家地区码条目信息、省份及城市条目信息、行业条目信息、产品条目信息等业务码表数据,外部数据信息包括互联网数据、相关法律数据等商业数据。
当前银行系统的相关应用系统在最初进行投产使用时,用户的内部数据信息由银行工作人员进行提供,并将提供的内部数据信息作为应用系统的铺底数据一次性维护到应用系统的数据库中。用户的外部数据信息由外部数据服务商提供,提供银行系统与外部数据服务商协商后获取的商业数据,之后再将获得的商业数据一次性维护到银行系统的外部数据存储系统中,应用系统再引用外部数据存储系统中的商业数据。
当后续应用系统中涉及的用户的实际数据信息发生变动,需要对应用系统中对应的业务码表数据进行相关治理时,需要银行工作人员主动提出变动治理需求,应用系统再根据目前针对该应用系统的版本排期将相关业务码表数据变动纳入下一批次版本中。因此,用户内部数据信息的改动需要等到下一批次版本更新时再进行数据治理,导致无法及时对相关内部数据信息进行相应改动,降低了数据更新治理的效率,进而影响业务办理的质量,降低用户体验。
当后续应用系统中涉及的用户的外部数据信息发生变动,需要对应用系统中对应的商业数据进行相关治理时,需要由外部数据服务商定期向银行系统推送变更的商业数据,并存储至银行系统的外部数据存储系统,从而使应用系统从外部数据存储系统中获得变更的商业数据。因此,变更的商业数据需要经过外部数据服务商先推送至银行系统的外部数据存储系统,通过大量时间完成推送后,还需要应用系统再次通过大量的时间进行复制获取,导致获取的商业数据受到信息延迟的影响,从而影响银行业务办理的质量和效率。
另外,在收集用户信息时,其中存在大量的内部数据信息需要银行工作人员在数据模板的基础上手工导入用户信息的相关数据。而数据模板中涉及的数据类目很难及时进行更新,并对导入的信息进行准确性验证,导致导入应用系统的用户数据普遍存在大量失效或不正确的数据信息,降低应用系统获取数据的质量。
因此,本申请通过银行系统获取应用系统模块周期性发起的共识申请建立区块链系统,并向该区块链系统发起共识验证,使区块链系统对应用系统模块的数据进行验证,其中,区块链系统中的节点包括应用系统模块、外部数据存储单元、参数单元、爬虫单元、外部数据服务商单元和数据湖单元。利用区块链的分布式账本和共识机制对应用系统模块发起的共识申请的数据与外部数据存储单元、参数单元、爬虫单元、外部数据服务商单元和数据湖单元中的相关数据进行对比,直到各个节点全部验证通过后,生成验证结果,从而实现对数据准确性的验证,并将对应的验证结果以5G消息的方式发布存储至分布式账本中,并使分布式账本对根据验证结果对需要进行更新的数据进行数据更新,提升数据获取的效率,实现实时收集用户信息,避免信息滞后导致业务无法正常办理。
本申请提供的数据传输的方法,旨在解决现有技术的如上技术问题。
下面以具体地实施例对本申请的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合,对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图,对本申请的实施例进行描述。
图1为本申请实施例提供的一种数据治理方法的流程图,如图1所示,该数据治理方法应用于银行系统的数据处理模块,包括如下步骤:
S101、数据处理模块获取应用系统模块发送的共识申请。
更具体地,应用系统模块向数据处理模块发送共识申请,数据处理模块接收共识申请,其中,共识申请包括与应用系统模块中存储的目标数据信息相关的设备名称。
可选地,应用系统模块周期性的向数据处理模块发送共识,如应用系统模块每周向数据处理模块发送共识验证一次数据信息是否正确以及是否需要进行更新等数据治理。
S102、数据处理模块根据共识申请对应用系统模块和存储系统模块建立区块链系统。
更具体地,数据处理模块根据共识申请中所涉及的与目标数据信息相关的设备名称建立区块链系统。
可选地,银行系统中的应用系统模块的用户数据通过银行系统的存储系统模块提供的数据进行更新治理,数据处理模块根据共识申请对应用系统模块和存储系统模块建立区块链系统。
S103、数据处理模块还根据共识申请生成共识验证信息,根据共识验证信息获取目标数据信息。
更具体地,数据处理模块建立区块链系统后,数据处理模块根据获取的共识申请生成共识验证信息,并根据共识验证信息提取目标数据信息,其中,目标数据信息包括第一目标数据信息、第二目标数据信息和目标更新数据信息。
可选地,数据处理模块根据共识验证信息从应用系统模块中提取第一目标数据信息,根据共识验证信息从存储系统模块中提取第二目标数据信息和目标更新数据信息。
S104、将共识验证信息和目标数据信息发送至区块链系统,使区块链系统根据共识验证信息和目标数据信息对应用系统模块和存储系统模块的目标数据信息进行更新。
更具体地,数据处理模块将从应用系统模块中提取的第一目标数据信息、从存储系统模块中提取第二目标数据信息和目标更新数据信息,以及生成的共识验证信息发送至区块链系统,使区块链系统根据第一目标数据信息、共识验证信息、第二目标数据信息和目标更新数据信息对应用系统模块和存储系统模块的目标数据信息进行更新治理。其中,第一目标数据信息包括第一目标数据类型和第一目标数据明细,第二目标数据信息包括第二目标数据类型和第二目标数据明细,目标更新数据信息包括目标更新数据类型和目标更新数据明细。
在一种可能的实施例中,图2为本申请实施例提供的一种数据治理方法的应用场景示意图,如图2所示,数据治理方法的应用场景包括:数据处理模块11、应用系统模块101和存储系统模块110,其中,存储系统模块包括参数单元102、爬虫单元106、第一外部数据服务商单元103……第n外部数据服务商单元104、数据湖单元107和外部数据存储单元105,其中,n为正整数。
更具体地,数据处理模块在应用系统模块101和存储系统模块110之间建立区块链系统10,区块链系统中包括多个节点服务器:应用系统模块对应的应用系统模块节点、参数单元对应的参数单元节点、爬虫单元对应的爬虫单元节点、第一外部数据服务商单元对应的第一外部数据服务商单元节点……第n外部数据服务商单元对应的第n外部数据服务商单元节点、数据湖单元对应的数据湖单元节点和外部数据存储单元对应的外部数据存储单元节点,上述节点为区块链系统中的共识节点,共识节点具有一份完整的账本拷贝,具有参与区块链共识和维护账本的能力。
可选地,数据处理模块11可以为终端设备,如手机、平板电脑、笔记本电脑、掌上电脑、移动互联网设备、服务器等设备的任意一种。
在一种可能的实施例中,数据处理模块发起共识验证信息,向区块链系统请求将第一目标数据信息打包成区块数据,并写入区块链中。当数据处理模块向区块链系统上传第一目标数据信息后,应用系统模块节点对第一目标数据信息进行打包,并将第一目标数据信息广播给区块链系统中其余的共识节点,使参数单元节点、爬虫单元节点、第一外部数据服务商单元节点……第n外部数据服务商单元节点、数据湖单元节点和外部数据存储单元节点对应用系统模块节点打包的第一目标数据信息进行共识验证,其中,应用系统模块节点称为主共识节点,参数单元节点、爬虫单元节点、第一外部数据服务商单元节点……第n外部数据服务商单元节点、数据湖单元节点和外部数据存储单元节点称为副本共识节点。
在本申请实施例提供的数据治理方法中,通过数据处理模块获取应用系统模块周期性发送的共识申请,根据共识申请建立应用系统模块和进行数据交互的其他设备之间建立区块链,并根据该申请生成相应的共识验证信息,根据共识验证信息获取该应用系统模块和进行数据交互的其他设备中的相关目标数据信息,使区块链的共识节点均对应用系统模块中需要进行验证的目标数据信息进行共识验证,通过所有节点的多次验证,增强了目标数据信息检测质量的准确性。
可选地,数据处理模块包括建立单元和共识发起单元。如图3所示,图3为本申请实施例提供的一种数据治理方法的流程图,该数据治理方法应用于图2所示应用场景,包括如下步骤:
S301、应用系统模块向建立单元发送共识申请。
更具体地,应用系统模块向数据处理模块中的建立单元发送共识申请。
S302、建立单元建立区块链系统。
更具体地,建立单元获取共识申请,并根据应用系统模块的共识申请在应用系统模块和存储系统模块之间建立区块链系统。
S303、应用系统模块向共识发起单元发送共识申请。
更具体地,建立区块链系统后,应用系统模块向共识发起单元发送共识申请。
S304、共识发起单元生成共识验证信息。
更具体地,共识发起单元获取共识申请,并根据应用系统模块的共识申请生成共识验证信息,其中,共识验证信息包括第一共识验证信息和第二共识验证信息。
可选地,共识发起单元根据共识申请生成第一共识验证信息,又根据第一共识验证信息生成第二共识验证信息。
S305、共识发起单元向应用系统模块发送第一共识验证信息。
更具体地,共识发起单元生成第一共识验证信息后,向应用系统模块发送第一共识验证信息。其中,第一共识验证信息包括应用系统模块需要共识验证的数据信息的提取指令。
S306、应用系统模块向共识发起单元发送第一目标数据信息。
更具体地,应用系统模块获取第一共识验证信息后,根据第一共识验证信息查询需要进行共识验证的第一目标数据信息,并将该第一目标信息发送至共识发起单元。
可选地,第一目标信息包括待验证的用户相关的银行网点条目信息、国家地区码条目信息、省份及城市条目信息、行业条目信息、产品条目信息等业务码表数据。
S307、共识发起单元向存储系统模块发送第二共识验证信息。
更具体地,共识发起单元生成第二共识验证信息后,向存储系统模块发送第二共识验证信息。其中,第二共识验证信息包括与应用系统模块需要共识验证数据相关的数据信息的提取指令。
S308、存储系统模块向共识发起单元发送第二目标数据信息和目标更新数据信息。
更具体地,存储系统模块获取第二共识验证信息后,根据第二共识验证信息查询与应用系统模块进行共识验证数据相关的第二目标数据信息和目标更新数据信息,并将第二目标数据信息和目标更新数据信息发送至共识发起单元。
可选地,存储系统模块中的外部数据存储单元向共识发起单元发送第二目标数据信息,存储系统模块中的参数单元、爬虫单元、数据湖单元、第一外部数据服务商单元……第n外部数据服务商单元向共识发起单元发送目标更新数据信息。
可选地,第二目标数据信息包括待验证的用户相关的法律数据等商业数据,目标更新数据信息包括实时的用户相关的业务码表数据和商业数据。
可选地,在提供目标更新数据信息过程中,存储系统模块中的参数单元用于提供与用户相关的银行网点条目信息、国家地区码条目信息、省份及城市条目信息、行业条目信息、产品条目信息等业务码表数据;爬虫单元用于提供以一定的规则自动抓取万维网信息的程序或者脚本,如国家标准化的国家地区码条目信息、省份及城市条目信息、行业条目信息、产品条目信息,以及各个企业主业的企业信息和各类第三方提供的企业信息等;第一外部数据服务商单元……第n外部数据服务商单元用于提供各个外部服务商存储的与用户信息相关的加密数据;数据湖单元用于提供以上单元中未存储的实时数据信息。
S309、共识发起单元向区块链系统发送第一目标数据信息、第二目标数据信息和目标更新数据信息。
更具体地,共识发起单元获取第一目标数据信息、第二目标数据信息和目标更新数据信息,并向区块链系统发送第一目标数据信息、第二目标数据信息和目标更新数据信息。
在本申请实施例提供的数据治理方法中,通过数据处理模块的建立单元建立区块链系统,共识发起单元根据共识申请生成第一共识验证信息和第二共识验证信息,使其分别从应用系统模块和存储系统模块的外部数据存储单元中提取第一目标数据信息和第二目标数据信息,并且从参数单元、爬虫单元、数据湖单元、第一外部数据服务商单元……第n外部数据服务商单元分别获取与第一目标数据信息相关的目标更新数据信息,并将这些信息发送至区块链系统,使区块链系统节点能将第一目标数据信息精准的与合适且全面的业务码表数据以及商业数据共识验证,验证是否存在需要更新治理的数据信息,提升用户数据信息的有效性以及更新治理的准确率。
可选地,数据处理模块建立的区块链系统包括分布式账本存储模块、分布式账本查询模块和分布式账本验证模块。如图4所示,图4为本申请实施例提供的一种数据治理方法的流程图,该数据治理方法应用于图2所示应用场景,包括如下步骤:
S401、数据处理模块向分布式账本存储模块发送共识验证信息和目标数据信息。
更具体地,数据处理模块向分布式账本存储模块发送共识验证信息和目标数据信息。其中,分布式账本存储模块包括应用系统模块账本和存储系统模块账本。其中,存储系统模块账本包括参数单元账本、爬虫单元账本、n个外部数据服务商单元账本、数据湖单元账本和外部数据存储单元账本。
在一种可能的实施例中,数据处理模块向分布式账本存储模块中的各个账本发送共识验证信息,并向应用系统模块账本发送第一目标数据信息,向外部数据存储单元账本发送第二目标数据信息,向参数单元账本、爬虫单元账本、数据湖单元账本以及n个外部数据服务商单元账本均发送目标更新数据信息。
S402、分布式账本存储模块存储目标数据信息。
更具体地,分布式账本存储模块中的各个账本存储目标数据信息。
在一种可能的实施例中,应用系统模块账本获取并存储第一目标数据信息,外部数据存储单元账本获取并存储第二目标数据信息,参数单元账本、爬虫单元账本、数据湖单元账本以及n个外部数据服务商单元账本分别获取并存储目标更新数据信息。
S403、分布式账本存储模块向分布式账本验证模块发送共识验证信息。
更具体地,分布式账本存储模块向分布式账本验证模块发送共识验证信息,触发分布式账本验证模块的共识验证。
在一种可能的实施例中,应用系统模块账本向分布式账本验证模块发送共识验证信息,触发分布式账本验证模块通过参数单元账本、爬虫单元账本、数据湖单元账本、n个外部数据服务商单元账本中的目标更新数据信息以及外部数据存储单元账本的第二目标数据信息分别对应用系统模块账本中第一目标数据信息的共识验证。
在一种可能的实施例中,外部数据存储单元账本向分布式账本验证模块发送共识验证信息,触发分布式账本验证模块通过参数单元账本、爬虫单元账本、数据湖单元账本、n个外部数据服务商单元账本中的目标更新数据信息以及应用系统模块账本的第一目标数据信息分别对外部数据存储单元账本中第二目标数据信息的共识验证。
在一种可能的实施例中,参数单元账本、爬虫单元账本、数据湖单元账本、n个外部数据服务商单元账本中的任一待验证账本向分布式账本验证模块发送共识验证信息,触发分布式账本验证模块通过分布式账本存储模块中其他非待验证账本中存储的目标数据信息对待验证账本中目标更新数据信息的共识验证。
S404、分布式账本验证模块生成查询指令。
更具体地,分布式账本验证模块根据共识验证信息生成查询指令。其中,查询指令包括指示查询的账本以及对应账本存储的目标数据信息。
S405、分布式账本验证模块向分布式账本查询模块发送查询指令。
更具体地,分布式账本验证模块以5G信息通讯向分布式账本查询模块发送查询指令。
S406、分布式账本查询模块从分布式账本存储模块中提取目标数据信息。
更具体地,分布式账本查询模块根据查询指令从分布式账本存储模块中提取目标数据信息。
可选地,分布式账本查询模块根据查询指令所指示的账本从对应账本中提取存储的目标数据信息,其中提取方式包括但不限于:5G信息通讯复制和5G信息通讯调用。
S407、分布式账本查询模块向分布式账本验证模块发送目标数据信息。
更具体地,分布式账本查询模块提取到查询指令指示的目标数据信息后,将该目标数据信息以5G信息通讯发送至分布式账本验证模块。
S408、分布式账本验证模块对目标数据信息进行验证,并生成验证结果,使分布式账本验证模块对应用系统模块和存储系统模块进行更新或通知。
更具体地,分布式账本验证模块在接收分布式账本验证模块发送的目标数据信息后,对目标数据信息进行验证,并生成验证结果,使分布式账本验证模块根据验证结果对应用系统模块和存储系统模块进行更新或通知。
可选地,分布式账本验证模块获取到第一目标数据信息、第二目标数据信息和目标更新数据信息后,根据共识验证信息将第一目标数据信息、第二目标数据信息和目标更新数据信息进行互相之间的共识验证并生成验证结果,其中,验证结果包括验证成功和验证失败。
可选地,在共识验证时,只有所有账本之间涉及相关数据对比完全一致时才能获取验证成果的结果,否则验证失败。
在一种可能的实施例中,当验证成功时,数据处理模块使分布式账本验证模块根据验证成功的结果生成5G验证成功信息,并使分布式账本验证模块以5G信息通讯的方式将5G验证成功信息发送并存储至分布式账本存储模块,进而使应用系统模块和存储系统模块通过分布式账本存储模块获取验证成功通知并进行存储记录。
在一种可能的实施例中,当验证失败时,分布式账本验证模块根据验证失败的结果生成5G验证失败信息,并使分布式账本验证模块以5G信息通讯的方式将5G验证失败信息存储至分布式账本存储模块,之后应用系统模块根据分布式账本存储模块中的5G验证失败信息更新第一目标数据信息,存储系统模块根据分布式账本存储模块中的5G验证失败信息更新第二目标数据信息。
可选地,分布式账本存储模块中的应用系统模块账本获取并存储第一目标数据信息,外部数据存储单元账本获取并存储第二目标数据信息,参数单元账本、爬虫单元账本、n个外部数据服务商单元账本和数据湖单元账本分别获取并存储目标更新数据信息。
可选地,分布式账本验证模块生成5G验证失败信息,并使分布式账本验证模块以5G信息通讯的方式将5G验证失败信息分别发送并存储至应用系统模块账本、参数单元账本、爬虫单元账本、n个外部数据服务商单元账本、数据湖单元账本和外部数据存储单元账本中,应用系统模块根据应用系统模块账本中的5G验证失败信息更新第一目标数据信息,外部数据存储单元根据外部数据存储单元账本中的5G验证失败信息更新第二目标数据信息。其中,5G验证失败信息包括异常数据明细和更新数据明细。
在本申请实施例提供的数据治理方法中,通过分布式账本存储模块提前对目标数据信息和共识验证信息的存储,将共识验证信息发送至分布式验证模块触发共识验证行为,分布式账本验证模块根据共识验证信息并通过分布式账本查询模块提取到相应账本中存储的目标数据信息,进而进行共识验证,通过实时更新数据的账本中的目标更新数据依次对待验证的账本中存储的目标数据信息进行共识验证,只有相关数据完全一致才能获取验证成果的结果,确保了对现有数据的全面更新,并增强了数据变更治理的效率和正确率。同时使用5G信息通讯的方式传输大量的数据信息,更大程度的加快数据的收集获取,提升数据更新治理的效率。
在一种可能的实施例中,数据处理模块向分布式账本存储模块中的所有账本均发送共识验证信息和目标数据信息,通过分布式账本存储模块中的一个或多个账本向分布式账本验证模块发送共识验证信息触发分布式账本验证模块的共识验证行为,使分布式账本验证模块生成查询指令,并通过分布式账本查询模块提取分布式账本存储模块中的所有账本存储的目标数据信息,并使所有的目标数据信息互相进行共识验证并生成验证结果信息。将验证结果信息以5G信息通讯的方式发送至分布式账本存储模块进行结果存储,使各个账本对应的设备获取相应的共识验证结果信息,并根据共识验证结果信息进行对应的目标数据更新。其中,目标数据信息包括第一目标数据信息、第二目标数据信息和目标更新数据信息。
图5为本申请实施例提供的一种数据治理装置的结构示意图,如图5所示,该数据治理装置500包括:
获取模块501,用于获取应用系统模块发送的共识申请;
处理模块502,用于根据共识申请对应用系统模块和存储系统模块建立区块链系统;
数据处理模块还根据共识申请生成共识验证信息,根据共识验证信息获取目标数据信息,并将共识验证信息和目标数据信息发送至区块链系统,使区块链系统根据共识验证信息和目标数据信息对应用系统模块和存储系统模块的目标数据信息进行更新,其中,目标数据信息包括第一目标数据信息、第二目标数据信息和目标更新数据信息。
可选地,存储系统模块包括参数单元、爬虫单元、n个外部数据服务商单元、数据湖单元和外部数据存储单元,其中,n为正整数;
数据处理模块包括建立单元和共识发起单元。
可选地,获取模块还用于使数据处理模块中建立单元和共识发起单元均获取共识申请;
其中,数据处理模块中的建立单元根据共识申请对应用系统模块和存储系统模块建立区块链系统;
处理模块还用于使数据处理模块中的共识发起单元根据共识申请生成共识验证信息,根据共识验证信息从应用系统模块中获取第一目标数据信息,从外部数据存储单元中获取第二目标数据信息,并从参数单元、爬虫单元、n个外部数据服务商单元和数据湖单元获取目标更新数据信息;数据处理模块中的共识发起单元还将共识验证信息、第一目标数据信息、第二目标数据信息和目标更新数据信息发送至区块链系统。
可选地,数据处理模块建立的区块链系统包括分布式账本存储模块、分布式账本查询模块和分布式账本验证模块;
其中,分布式账本存储模块包括应用系统模块账本和存储系统模块账本;其中,存储系统模块账本包括参数单元账本、爬虫单元账本、n个外部数据服务商单元账本、数据湖单元账本和外部数据存储单元账本。
可选地,处理模块还用于使数据处理模块向分布式账本存储模块发送共识验证信息和目标数据信息,使分布式账本存储模对目标数据信息进行存储,并向分布式账本验证模块发送共识验证信息;
数据处理模块通过共识验证信息使分布式账本验证模块生成查询指令,并使分布式账本验证模块向分布式账本查询模块发送查询指令;
数据处理模块通过查询指令使分布式账本查询模块提取分布式账本存储模块存储的目标数据信息,并发送至分布式账本验证模块;
数据处理模块使分布式账本验证模块在接收分布式账本验证模块发送的目标数据信息后,对目标数据信息进行验证,并生成验证结果,使分布式账本验证模块根据验证结果对应用系统模块和存储系统模块进行更新或通知。
可选地,处理模块还用于使数据处理模块向分布式账本验证模块传输第一目标数据信息、第二目标数据信息和目标更新数据信息;
使分布式账本验证模块通过将第一目标数据信息和第二目标数据信息与目标更新数据信息进行对比验证并生成验证结果,其中,验证结果包括验证成功和验证失败;
当验证成功时,数据处理模块使分布式账本验证模块根据验证成功的结果生成5G验证成功信息,并使分布式账本验证模块将5G验证成功信息存储至分布式账本存储模块进而对应用系统模块和存储系统模块进行验证成功通知。
可选地,当验证失败时,处理模块还用于使分布式账本验证模块根据验证失败的结果生成5G验证失败信息,并使分布式账本验证模块将5G验证失败信息存储至分布式账本存储模块;
数据处理模块使应用系统模块根据5G验证失败信息更新第一目标数据信息,存储系统模块根据5G验证失败信息更新第二目标数据信息。
可选地,处理模块还用于使分布式账本存储模块中的应用系统模块账本获取并存储第一目标数据信息,使外部数据存储单元账本获取并存储第二目标数据信息,使参数单元账本、爬虫单元账本、n个外部数据服务商单元账本和数据湖单元账本分别获取并存储目标更新数据信息。
可选地,处理模块还用于使分布式账本验证模块生成5G验证失败信息,并使分布式账本验证模块通过5G消息传输将5G验证失败信息分别存储至应用系统模块账本、参数单元账本、爬虫单元账本、n个外部数据服务商单元账本、数据湖单元账本和外部数据存储单元账本中;
数据处理模块使应用系统模块和外部数据存储单元根据应用系统模块账本和外部数据存储单元账本中的5G验证失败信息进行数据更新。
如图6所示,本申请实施例提供一种电子设备600,电子设备600包括处理器601和与处理器通信连接的存储器602。
其中,存储器602用于存储处理器可执行的计算机指令;
处理器601在执行计算机指令时实现上述实施例中方法中的各个步骤。具体可以参见前述方法实施例中的相关描述。
可选地,上述处理器601既可以是独立的,也可以跟存储器602集成在一起。当处理器601独立设置时,该电子设备还包括总线,用于连接处理器601和存储器602。
本申请实施例还提供一种计算机可读存储介质,计算机可读存储介质中存储有计算机指令,当处理器执行计算机指令时,实现上述实施例中方法中的各个步骤。
本申请实施例还提供一种计算机程序产品,包括计算机指令,该计算机指令被处理器执行时实现上述实施例中方法中的各个步骤。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本申请的真正范围和精神由下面的权利要求书指出。
应当理解的是,本申请并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求书来限制。
Claims (10)
1.一种数据治理方法,其特征在于,应用于银行系统的数据处理模块,所述方法包括:
所述数据处理模块获取应用系统模块发送的共识申请;
所述数据处理模块根据所述共识申请对所述应用系统模块和存储系统模块建立区块链系统;
所述数据处理模块还根据所述共识申请生成共识验证信息,根据所述共识验证信息获取目标数据信息,并将所述共识验证信息和所述目标数据信息发送至所述区块链系统,使所述区块链系统根据所述共识验证信息和所述目标数据信息对所述应用系统模块和所述存储系统模块的目标数据信息进行更新,其中,所述目标数据信息包括第一目标数据信息、第二目标数据信息和目标更新数据信息。
2.根据权利要求1所述的数据治理方法,其特征在于,所述存储系统模块包括参数单元、爬虫单元、n个外部数据服务商单元、数据湖单元和外部数据存储单元,其中,n为正整数;
所述数据处理模块包括建立单元和共识发起单元。
3.根据权利要求2所述的数据治理方法,其特征在于,所述方法还包括:
所述数据处理模块中建立单元和共识发起单元均获取共识申请;
其中,所述数据处理模块中的所述建立单元根据所述共识申请对应用系统模块和存储系统模块建立区块链系统;
所述数据处理模块中的所述共识发起单元根据所述共识申请生成共识验证信息,根据所述共识验证信息从应用系统模块中获取第一目标数据信息,从外部数据存储单元中获取第二目标数据信息,并从参数单元、爬虫单元、n个外部数据服务商单元和数据湖单元获取目标更新数据信息;所述数据处理模块中的所述共识发起单元还将所述共识验证信息、所述第一目标数据信息、所述第二目标数据信息和所述目标更新数据信息发送至所述区块链系统。
4.根据权利要求1所述的数据治理方法,其特征在于,所述数据处理模块建立的所述区块链系统包括分布式账本存储模块、分布式账本查询模块和分布式账本验证模块;
其中,所述分布式账本存储模块包括应用系统模块账本和存储系统模块账本;其中,所述存储系统模块账本包括参数单元账本、爬虫单元账本、n个外部数据服务商单元账本、数据湖单元账本和外部数据存储单元账本。
5.根据权利要求4所述的数据治理方法,其特征在于,所述方法还包括:
所述数据处理模块向所述分布式账本存储模块发送所述共识验证信息和所述目标数据信息,使所述分布式账本存储模对所述目标数据信息进行存储,并向所述分布式账本验证模块发送所述共识验证信息;
所述数据处理模块通过所述共识验证信息使所述分布式账本验证模块生成查询指令,并使所述分布式账本验证模块向所述分布式账本查询模块发送所述查询指令;
所述数据处理模块通过所述查询指令使所述分布式账本查询模块提取分布式账本存储模块存储的目标数据信息,并发送至分布式账本验证模块;
所述数据处理模块使所述分布式账本验证模块在接收所述分布式账本验证模块发送的所述目标数据信息后,对所述目标数据信息进行验证,并生成验证结果,使所述分布式账本验证模块根据验证结果对应用系统模块和存储系统模块进行更新或通知。
6.根据权利要求5所述的数据治理方法,其特征在于,所述数据处理模块使所述分布式账本验证模块在接收所述分布式账本验证模块发送的所述目标数据信息后,对所述目标数据信息进行验证,并生成验证结果,使所述分布式账本验证模块根据验证结果对应用系统模块和存储系统模块进行更新或通知,具体包括:
所述数据处理模块向所述分布式账本验证模块传输第一目标数据信息、第二目标数据信息和目标更新数据信息;
使所述分布式账本验证模块通过将所述第一目标数据信息和所述第二目标数据信息与所述目标更新数据信息进行对比验证并生成验证结果,其中,所述验证结果包括验证成功和验证失败;
当验证成功时,所述数据处理模块使所述分布式账本验证模块根据验证成功的结果生成5G验证成功信息,并使所述分布式账本验证模块将所述5G验证成功信息存储至分布式账本存储模块进而对应用系统模块和存储系统模块进行验证成功通知。
7.根据权利要求6所述的数据治理方法,其特征在于,方法还包括:
当验证失败时,所述数据处理模块使所述分布式账本验证模块根据验证失败的结果生成5G验证失败信息,并使所述分布式账本验证模块将所述5G验证失败信息存储至分布式账本存储模块;
所述数据处理模块使应用系统模块根据所述5G验证失败信息更新第一目标数据信息,存储系统模块根据所述5G验证失败信息更新所述第二目标数据信息。
8.根据权利要求5所述的数据治理方法,其特征在于,所述分布式账本存储模块对所述目标数据信息进行存储,具体包括:
所述数据处理模块使所述分布式账本存储模块中的应用系统模块账本获取并存储第一目标数据信息,使外部数据存储单元账本获取并存储第二目标数据信息,使参数单元账本、爬虫单元账本、n个外部数据服务商单元账本和数据湖单元账本分别获取并存储目标更新数据信息。
9.根据权利要求7所述的数据治理方法,其特征在于,当验证失败时,所述方法具体包括:
所述数据处理模块使所述分布式账本验证模块生成5G验证失败信息,并使所述分布式账本验证模块通过5G消息传输将所述5G验证失败信息分别存储至应用系统模块账本、参数单元账本、爬虫单元账本、n个外部数据服务商单元账本、数据湖单元账本和外部数据存储单元账本中;
所述数据处理模块使应用系统模块和外部数据存储单元根据所述应用系统模块账本和所述外部数据存储单元账本中的所述5G验证失败信息进行数据更新。
10.一种数据治理装置,其特征在于,所述装置包括:
获取模块,用于获取应用系统模块发送的共识申请;
处理模块,用于根据所述共识申请对应用系统模块和存储系统模块建立区块链系统;
所述处理模块还用于根据所述共识申请生成共识验证信息,根据所述共识验证信息获取目标数据信息,并将所述共识验证信息和所述目标数据信息发送至所述区块链系统,使所述区块链系统根据所述共识验证信息和所述目标数据信息对所述应用系统模块和所述存储系统模块的目标数据信息进行更新,其中,所述目标数据信息包括第一目标数据信息、第二目标数据信息和目标更新数据信息。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311154044.5A CN117194450A (zh) | 2023-09-07 | 2023-09-07 | 数据治理方法、装置及电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311154044.5A CN117194450A (zh) | 2023-09-07 | 2023-09-07 | 数据治理方法、装置及电子设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117194450A true CN117194450A (zh) | 2023-12-08 |
Family
ID=89001037
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311154044.5A Pending CN117194450A (zh) | 2023-09-07 | 2023-09-07 | 数据治理方法、装置及电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117194450A (zh) |
-
2023
- 2023-09-07 CN CN202311154044.5A patent/CN117194450A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2021524088A (ja) | リソース移行データの管理方法及び装置、並びにコンピュータプログラム | |
JP2022000757A (ja) | モデルトレーニングシステムおよび方法および記憶媒体 | |
CN102752326B (zh) | 在下载文件时处理数据的方法、服务器和系统 | |
CN110599331B (zh) | 基于区块链的债务催收系统、方法、设备及存储介质 | |
JP6218979B1 (ja) | ブロックチェーンを利用した金融取引方法およびシステム | |
CN110912893B (zh) | 一种账号合并方法 | |
CN105376220A (zh) | 一种业务实现方法、系统以及服务器 | |
EP3365854A1 (de) | Elektronisches bezahlverfahren und servercomputer | |
CN112738138B (zh) | 云安全托管方法、装置、设备及存储介质 | |
CN111523817B (zh) | 基于大数据的订单业务处理方法、装置、设备和介质 | |
CN111831682A (zh) | 处理公积金业务的方法、装置、设备和计算机可读介质 | |
CN114971888A (zh) | 质押业务的核验方法及装置、存储介质、电子装置 | |
CN113037505B (zh) | 一种可信Web应用的实现方法及系统 | |
CN110941840A (zh) | 一种数据处理方法、系统及终端 | |
US20110088101A1 (en) | Information exchange/share system, method and program thereof | |
CN113129002A (zh) | 一种数据处理方法以及设备 | |
CN117194450A (zh) | 数据治理方法、装置及电子设备 | |
CN107734034B (zh) | 服务器对接系统、方法、计算机可读存储介质及前置机 | |
CN112511613B (zh) | 一种基于内容分析的跨域传输系统及方法 | |
US20210303543A1 (en) | Message information management system, message information management method, message information management device, and message information management program | |
CN111932326A (zh) | 一种基于区块链网络的数据处理方法及相关设备 | |
CN114341911A (zh) | 管理敏感信息的通信 | |
CN114726736B (zh) | 数据监管方法、第一监管节点、被监管节点、数据监管装置 | |
KR101381979B1 (ko) | 본인인증 정보를 이용한 사용자 연락처 관리 방법 및 시스템 | |
US20230325833A1 (en) | Blockchain-based data processing method and apparatus, device, storage medium, and program product |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |