CN112883017A - 一种区块链赋能的数据治理平台 - Google Patents
一种区块链赋能的数据治理平台 Download PDFInfo
- Publication number
- CN112883017A CN112883017A CN202110081690.8A CN202110081690A CN112883017A CN 112883017 A CN112883017 A CN 112883017A CN 202110081690 A CN202110081690 A CN 202110081690A CN 112883017 A CN112883017 A CN 112883017A
- Authority
- CN
- China
- Prior art keywords
- data
- block chain
- module
- risk
- asset
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000013523 data management Methods 0.000 title claims abstract description 34
- 238000007619 statistical method Methods 0.000 claims abstract description 19
- 238000013075 data extraction Methods 0.000 claims abstract description 13
- 238000013524 data verification Methods 0.000 claims abstract description 13
- 238000007726 management method Methods 0.000 claims abstract description 13
- 238000012795 verification Methods 0.000 claims abstract description 7
- 238000012545 processing Methods 0.000 claims description 18
- 230000007246 mechanism Effects 0.000 claims description 7
- 238000011161 development Methods 0.000 claims description 6
- 238000004458 analytical method Methods 0.000 claims description 5
- 238000005516 engineering process Methods 0.000 claims description 5
- 238000010606 normalization Methods 0.000 claims description 3
- 238000000034 method Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 4
- 238000013475 authorization Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2455—Query execution
- G06F16/24564—Applying rules; Deductive queries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
- G06F21/64—Protecting data integrity, e.g. using checksums, certificates or signatures
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Computer Security & Cryptography (AREA)
- Data Mining & Analysis (AREA)
- Software Systems (AREA)
- Computer Hardware Design (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Quality & Reliability (AREA)
- Bioethics (AREA)
- Computational Linguistics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种区块链赋能的数据治理平台，包括数据抽取服务模块、数据校验服务模块、数据治理结果查询模块、数据追溯及责任定位整改模块和数据质量统计分析模块，所述数据抽取服务模块用于从多个IT资产管理系统进行IT资产数据的抽取，收集数据在不同系统中的描述情况，再通过集成区块链模块将抽取数据上链，保障数据不可篡改，所述数据校验服务模块能够基于抽取到的数据，通过区块链赋能对数据进行多种维度的规则校验；本发明通过数据抽取服务模块能够收集数据在不同系统中的描述情况，并且再通过集成区块链模块将抽取数据上链，保障数据不可篡改，同时通过数据校验服务模块，能够对数据进行多种维度的规则校验。
Description
技术领域
本发明属于数据治理技术领域，具体涉及一种区块链赋能的数据治理平台。
背景技术
不管是从主数据平台、CMDB等系统的建设都是以信息管理为目标。信息有着确切含义，不同信息都有自己的特性，在各不同专业系统中信息管理都不相同，无法为信息管理提供一个统一的模式。当前部分地区电网的IT管理系统中没有单独的数据管理平台，数据中心仅仅负责数据存储。根据南方电网数字化转型的要求，IT管理的相关系统日益增多，伴随着的相关数据也不断增加，迫切需要一套单独的数据管理理论和平台来管理相关的数据，才能将IT管理的相关数据转换为一种无形资产。
可参考授权公告号为CN110472886A的中国专利，其公开了一种基于区块链的数据治理系统，包括功能性节点和智能合约，其中，功能性节点包括：数据节点和管理节点，智能合约包括：资源类合约、授权类合约、访问类合约和问题类合约，且智能合约与数据管控关键流程相对应，将流程中各环节执行结果上链记录，其中，数据管控关键流程包括：资源发布更新流程、数据访问授权流程、数据访问流程和问题解决流程。
上述的这种基于区块链的数据治理系统采用区块链技术，将目录上链，解决目录更新、数据与目录挂接及授权监控、多方共同确权机制的技术支撑等问题，但是目前现有的区块链赋能的数据治理平台依旧存在着一些缺点，如：一、数据平台数量庞大，数据来源复杂，不方便实现对基于区块链的数据管理；二、不方便满足系统数据处理时的准确性、完整性，同时对数据质量的现状及发展趋势不能够及时了解。
发明内容
本发明的目的在于提供一种区块链赋能的数据治理平台，以解决上述背景技术中提出的问题。
为实现上述目的，本发明提供如下技术方案：
一种区块链赋能的数据治理平台，包括数据抽取服务模块、数据校验服务模块、数据治理结果查询模块、数据追溯及责任定位整改模块和数据质量统计分析模块；
所述数据抽取服务模块用于从多个IT资产管理系统进行IT资产数据的抽取，收集数据在不同系统中的描述情况，再通过集成区块链模块将抽取数据上链，保障数据不可篡改；
所述数据校验服务模块能够基于抽取到的数据，通过区块链赋能对数据进行多种维度的规则校验，比如数据一致性、规范性、完整性等，形成数据治理结果集；
所述数据治理结果查询模块用于对数据治理结果匹配相应的规则，展现最终不一致结果，且不一致结果分为低，中，高三个风险结果，并根据不同的风险结果，人工处理；
所述数据追溯及责任定位整改模块用于根据产生的数据治理结果，利用区块链技术的溯源机制，实现问题数据的根源分析和责任定位，并通过工单派工机制实现问题数据的整改；
所述数据质量统计分析模块用于根据数据治理及问题整改的结果，对数据质量进行统计分析，了解数据质量的现状及发展趋势。
优选的，所述对数据治理结果匹配相应的规则具体为：定义需匹配的关键字段、定义关键字段匹配模式、定义规则匹配字段风险等级。
优选的，所述定义关键字段匹配模式包括完全匹配模式和相似匹配模式，且所述相似匹配模式是利用正则表达式完成相似匹配。
优选的，所述高风险为已经或必将对业务的正确性造成影响，影响程度大，需要立刻处理。
优选的，所述中风险为持续不处理将会对业务的正确性造成影响，影响程度中等，需要处理。
优选的，所述低风险为持续不处理将会对业务的正确性造成一定影响，影响程度低，需要处理。
优选的，所述数据质量统计分析模块还用于自定义数据报表展示数据质量情况，具体为：利用IT资产一致统率计报表能够统计IT资产的不一致率和IT资产在相关系统不一致率，还能够根据月份输出趋势下钻到每月每个系统的详细情况。
优选的，所述数据治理结果查询模块包括数据治理单元、基础数据单元、工单数据单元和上链数据单元。
与现有技术相比，本发明的有益效果是：
(1)本发明设置的数据抽取服务模块、数据校验服务模块、数据治理结果查询模块、数据追溯及责任定位整改模块和数据质量统计分析模块，占用数据平台的数据量较小，数据来源比较简单，通过模块之间的配合使用，方便实现对基于区块链的数据进行管理；
(2)本发明通过数据抽取服务模块能够收集数据在不同系统中的描述情况，并且再通过集成区块链模块将抽取数据上链，保障数据不可篡改，同时通过数据校验服务模块，能够对数据进行多种维度的规则校验，通过数据治理结果查询模块能够方便根据不同的风险结果进行人工处理，增加了处理的准确性，通过数据追溯及责任定位整改模块能够实现对问题数据的根源分析和责任定位，保证了数据处理时的完整性，另外通过数据质量统计分析模块能够对数据质量进行统计分析，方便了解数据质量的现状及发展趋势。
附图说明
为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步的详细描述，其中：
图1为本发明的结构框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1，本发明提供一种区块链赋能的数据治理平台，其中技术方案如下：
包括数据抽取服务模块、数据校验服务模块、数据治理结果查询模块、数据追溯及责任定位整改模块和数据质量统计分析模块；
所述数据抽取服务模块用于从多个IT资产管理系统进行IT资产数据的抽取，收集数据在不同系统中的描述情况，再通过集成区块链模块将抽取数据上链，保障数据不可篡改；
所述数据校验服务模块能够基于抽取到的数据，通过区块链赋能对数据进行多种维度的规则校验，比如数据一致性、规范性、完整性等，形成数据治理结果集；
所述数据治理结果查询模块用于对数据治理结果匹配相应的规则，展现最终不一致结果，且不一致结果分为低，中，高三个风险结果，并根据不同的风险结果，人工处理；
所述数据追溯及责任定位整改模块用于根据产生的数据治理结果，利用区块链技术的溯源机制，实现问题数据的根源分析和责任定位，并通过工单派工机制实现问题数据的整改；
所述数据质量统计分析模块用于根据数据治理及问题整改的结果，对数据质量进行统计分析，了解数据质量的现状及发展趋势。
本实施例中，优选的，所述对数据治理结果匹配相应的规则具体为：定义需匹配的关键字段、定义关键字段匹配模式、定义规则匹配字段风险等级。
本实施例中，优选的，所述定义关键字段匹配模式包括完全匹配模式和相似匹配模式，且所述相似匹配模式是利用正则表达式完成相似匹配。
本实施例中，优选的，所述高风险为已经或必将对业务的正确性造成影响，影响程度大，需要立刻处理。
本实施例中，优选的，所述中风险为持续不处理将会对业务的正确性造成影响，影响程度中等，需要处理。
本实施例中，优选的，所述低风险为持续不处理将会对业务的正确性造成一定影响，影响程度低，需要处理。
本实施例中，优选的，所述数据质量统计分析模块还用于自定义数据报表展示数据质量情况，具体为：利用IT资产一致统率计报表能够统计IT资产的不一致率和IT资产在相关系统不一致率，还能够根据月份输出趋势下钻到每月每个系统的详细情况。
本实施例中，优选的，所述数据治理结果查询模块包括数据治理单元、基础数据单元、工单数据单元和上链数据单元。
本发明的工作原理：
本发明设置的数据抽取服务模块、数据校验服务模块、数据治理结果查询模块、数据追溯及责任定位整改模块和数据质量统计分析模块，占用数据平台的数据量较小，数据来源比较简单，通过模块之间的配合使用，方便实现对基于区块链的数据进行管理；
本发明通过数据抽取服务模块能够收集数据在不同系统中的描述情况，并且再通过集成区块链模块将抽取数据上链，保障数据不可篡改，同时通过数据校验服务模块，能够对数据进行多种维度的规则校验，通过数据治理结果查询模块能够方便根据不同的风险结果进行人工处理，增加了处理的准确性，通过数据追溯及责任定位整改模块能够实现对问题数据的根源分析和责任定位，保证了数据处理时的完整性，另外通过数据质量统计分析模块能够对数据质量进行统计分析，方便了解数据质量的现状及发展趋势。
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在不脱离本发明的原理和宗旨的情况下在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (8)
1.一种区块链赋能的数据治理平台，其特征在于：包括数据抽取服务模块、数据校验服务模块、数据治理结果查询模块、数据追溯及责任定位整改模块和数据质量统计分析模块；
所述数据抽取服务模块用于从多个IT资产管理系统进行IT资产数据的抽取，收集数据在不同系统中的描述情况，再通过集成区块链模块将抽取数据上链，保障数据不可篡改；
所述数据校验服务模块能够基于抽取到的数据，通过区块链赋能对数据进行多种维度的规则校验，比如数据一致性、规范性、完整性等，形成数据治理结果集；
所述数据治理结果查询模块用于对数据治理结果匹配相应的规则，展现最终不一致结果，且不一致结果分为低，中，高三个风险结果，并根据不同的风险结果，人工处理；
所述数据追溯及责任定位整改模块用于根据产生的数据治理结果，利用区块链技术的溯源机制，实现问题数据的根源分析和责任定位，并通过工单派工机制实现问题数据的整改；
所述数据质量统计分析模块用于根据数据治理及问题整改的结果，对数据质量进行统计分析，了解数据质量的现状及发展趋势。
2.根据权利要求1所述的一种区块链赋能的数据治理平台，其特征在于：所述对数据治理结果匹配相应的规则具体为：定义需匹配的关键字段、定义关键字段匹配模式、定义规则匹配字段风险等级。
3.根据权利要求2所述的一种区块链赋能的数据治理平台，其特征在于：所述定义关键字段匹配模式包括完全匹配模式和相似匹配模式，且所述相似匹配模式是利用正则表达式完成相似匹配。
4.根据权利要求1所述的一种区块链赋能的数据治理平台，其特征在于：所述高风险为已经或必将对业务的正确性造成影响，影响程度大，需要立刻处理。
5.根据权利要求1所述的一种区块链赋能的数据治理平台，其特征在于：所述中风险为持续不处理将会对业务的正确性造成影响，影响程度中等，需要处理。
6.根据权利要求5所述的一种区块链赋能的数据治理平台，其特征在于：所述低风险为持续不处理将会对业务的正确性造成一定影响，影响程度低，需要处理。
7.根据权利要求1所述的一种区块链赋能的数据治理平台，其特征在于：所述数据质量统计分析模块还用于自定义数据报表展示数据质量情况，具体为：利用IT资产一致统率计报表能够统计IT资产的不一致率和IT资产在相关系统不一致率，还能够根据月份输出趋势下钻到每月每个系统的详细情况。
8.根据权利要求1所述的一种区块链赋能的数据治理平台，其特征在于：所述数据治理结果查询模块包括数据治理单元、基础数据单元、工单数据单元和上链数据单元。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110081690.8A CN112883017A (zh) | 2021-01-21 | 2021-01-21 | 一种区块链赋能的数据治理平台 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110081690.8A CN112883017A (zh) | 2021-01-21 | 2021-01-21 | 一种区块链赋能的数据治理平台 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112883017A true CN112883017A (zh) | 2021-06-01 |
Family
ID=76051474
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110081690.8A Pending CN112883017A (zh) | 2021-01-21 | 2021-01-21 | 一种区块链赋能的数据治理平台 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112883017A (zh) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109359939A (zh) * | 2018-09-26 | 2019-02-19 | 中国平安人寿保险股份有限公司 | 业务数据校验方法、装置、计算机设备和存储介质 |
| CN111461879A (zh) * | 2020-03-11 | 2020-07-28 | 中关村科技软件股份有限公司 | 一种基于区块链的政务服务处理系统和方法 |
| CN112001586A (zh) * | 2020-07-16 | 2020-11-27 | 航天科工网络信息发展有限公司 | 基于区块链共识机制的企业联网大数据审计风险控制架构 |
-
2021
- 2021-01-21 CN CN202110081690.8A patent/CN112883017A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109359939A (zh) * | 2018-09-26 | 2019-02-19 | 中国平安人寿保险股份有限公司 | 业务数据校验方法、装置、计算机设备和存储介质 |
| CN111461879A (zh) * | 2020-03-11 | 2020-07-28 | 中关村科技软件股份有限公司 | 一种基于区块链的政务服务处理系统和方法 |
| CN112001586A (zh) * | 2020-07-16 | 2020-11-27 | 航天科工网络信息发展有限公司 | 基于区块链共识机制的企业联网大数据审计风险控制架构 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107705149A (zh) | 数据实时监控方法、装置、终端设备及存储介质 | |
| CN111104394A (zh) | 一种能源数据仓库系统构建方法及装置 | |
| CN107247811B (zh) | 基于Oracle数据库的SQL语句性能优化方法及装置 | |
| CN109800250B (zh) | 不再配置企业中心服务器的系统架构 | |
| CN108470228A (zh) | 财务数据稽核方法及稽核系统 | |
| CN109451532A (zh) | 一种基站位置的核查方法及装置 | |
| CN106408182B (zh) | 一种核电设计项目工作量统计系统和方法 | |
| CN111242779B (zh) | 金融数据特征选择和预测方法、装置、设备及存储介质 | |
| CN111127186A (zh) | 一种基于大数据技术的客户信用等级评价体系的使用方法 | |
| CN112883017A (zh) | 一种区块链赋能的数据治理平台 | |
| CN114757448B (zh) | 一种基于数据空间模型的制造环节间最优价值链构建方法 | |
| CN117036062A (zh) | 一种结算资源计算方法及装置 | |
| CN115797104A (zh) | 业扩报装的多路径信息化识别方法 | |
| Le Lay et al. | Automated generation of patient population for discrete-event simulation using process mining | |
| CN114860759A (zh) | 一种数据处理方法、装置、设备及可读存储介质 | |
| EP4113418B1 (en) | Non-linear planning model based production planning system, production planning method and computer-readable storage medium | |
| CN114218216A (zh) | 资源管理方法、装置、设备及存储介质 | |
| CN114757482A (zh) | 用户组电量使用趋势的分析方法、系统、设备和介质 | |
| CN102938097B (zh) | 用于联机分析处理系统的数据处理装置和数据处理方法 | |
| CN112560044A (zh) | 一种项目bug跟踪统计方法、系统及设备 | |
| CN111260452A (zh) | 一种税务大数据模型的构建方法及系统 | |
| CN111105140A (zh) | 一种配电网运行状态风险综合评估方法 | |
| CN113361960B (zh) | 一种大规模需求响应能力量化方法、介质、装置及设备 | |
| Liu | RETRACTED: Research on the Application of Artificial Intelligence in Energy Science and Engineering Monitoring Software Engineering Technology under the Background of Big Data | |
| CN112486992B (zh) | 一种数据存储方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210601 |
|
| RJ01 | Rejection of invention patent application after publication |