CN111563130A - 一种基于区块链技术的数据可信数据治理方法和系统 - Google Patents

Abstract

本发明公开了数据可信治理技术领域的一种基于区块链技术的数据可信数据治理方法和系统。方法的步骤包括：A、对原始数据进行抽取、清洗转换后，生成数据明细、数据明细相应的摘要信息；B、根据数据明细，计算出数据哈希值；C、将摘要信息和数据哈希值上链存储；D、将数据明细和数据哈希值存储在链下的数据库中。采用本发明的方法，将数据抽取、清洗转换过程中生成的摘要信息上区块链，而数据本身存储在链下的数据库中，通过哈希值和记录可信状态建立链下数据与链上摘要信息的联系，该存储方式既实现了数据的可信度管理，又避免了直接对原始数据进行抽取转换和上链操作带来的复杂性，使得大规模分布式环境下，仍能进行高效的数据治理工作。

Description

一种基于区块链技术的数据可信数据治理方法和系统

技术领域

本发明涉及数据可信治理技术领域，具体公开了一种基于区块链技术的数据可信数据治理方法和系统。

背景技术

在过去10多年的大多数实践中，数据治理的基本思想还是数据的抽取转换，即ETL，传统的ETL从源数据库抽取数据，经过一系列清洗处理操作，将清洗后的数据加载到目标数据库。以数据仓库原始数据抽取为例，采用拉链表的形式，每次追加更新的数据，给每条数据增加起止时间和有效状态标识，只做增量而不做数据删除。ETL处理后，将新增的数据加载进数据仓库，同时标识数据状态。这样可以保存数据全部的历史。

对于ETL，无论是结构化、非结构化，定时作业或者实时抽取，基本思路还是从源头的数据库中抽取数据，层层上传，尽管在数据的采集、存储中发展出了很多非结构化数据处理技术（比如NOSQL），但是在分析处理时大都还是结构化数据（SQL），也就是各种数据通过逐层数据库中数据表的ETL操作后，再通过数据模型和算法进行分析和计算。这个过程非常复杂、而且容易出错。复杂性包含跨系统、跨技术和跨部门的复杂性，任何系统失效、人为失误，黑客攻击，有意或无意的修改数据都可能导致数据的质量降低，这种现象在学术界，甚至被称为数据腐化(Data Corruption)。数据治理的本质就是试图在这样复杂和错误百出的环境中，通过技术和制度等手段建立起高质量数据的采集、传输、共享和分析的管道。显然数据治理面对的环境是典型的非互信环境。现有的技术和方法在非互信环境中很难实现数据治理的上述目标，所以让数据治理在过去十多年中都难以取得明显效果。急需一种大规模分布式环境下的可信数据治理技术和方法，通过技术的手段建立起高质量数据的采集、传输、共享和分析的管道。

发明内容

本发明的目的在于，考虑到区块链的内容因为保留了业务产生轨迹而不容易篡改的特性与ETL的拉链表模式相似的这一特点，将ETL和区块链结合进行了改进，用以解决在大规模分布式环境下可信数据治理难以实现的问题，提出了一种基于区块链技术的数据可信数据治理方法和系统。

为了实现上述发明目的，本发明提供了以下技术方案：

一种基于区块链技术的数据可信数据治理方法，包括以下步骤：

A、在对原始数据进行抽取、清洗转换后，生成数据明细、数据明细相应的摘要信息；

B、根据数据明细，计算出数据哈希值；

C、将摘要信息和数据哈希值上链存储；

D、将数据明细和数据哈希值存储在链下的数据库中。

进一步的，步骤D中，当数据明细和数据哈希值存储在链下的数据库时，还存储了数据明细的可信状态，可信状态用于标识链下的数据库中的数据明细的哈希值与链上的数据哈希值是否一致。

作为本发明的优选方案，步骤还包括：定期对链下的数据库中数据明细进行可信校验，包括以下步骤：

S1，从链下的数据库中读取数据明细、数据明细相应的链下数据哈希值；

S2、从区块链中查找到数据明细相应的摘要信息和相应的链上数据哈希值；

S3、当链下数据哈希值和链上数据哈希值相等时，数据明细相应的可信状态置1，链下的数据库中的数据明细可信；当链下数据哈希值和链上数据哈希值不相等时，数据明细相应的可信状态置0，链下的数据库中的数据明细不可信。

作为本发明的优选方案，摘要信息至少包括本次操作的时间戳、源数据库名或源数据地址、源表名、目标数据库名或目标数据库地址、目标表名、本次操作数据的哈希值。

作为本发明的优选方案，步骤还包括：

计算摘要信息的哈希值，并将摘要信息的哈希值添加到摘要信息中，构成带有摘要哈希值的摘要信息；

将带有摘要哈希值的摘要信息和数据哈希值上链存储。

基于相同的构思，本发明还提出了一种基于区块链技术的数据可信数据治理系统，包括数据整合管理系统、数据整合作业设计器、数据整合执行引擎和数据上链引擎，

数据整合作业设计器用于ETL作业的创建、编辑，并将ETL作业发布到数据整合管理系统；

数据整合管理系统用于调度ETL作业在数据整合执行引擎上运行，并监控数据整合执行引擎的运行过程以及数据上链引擎的运行过程；

数据整合执行引擎用于从数据源中采集数据，并根据ETL作业对采集数据进行清洗转换，生成数据明细和数据明细相应的摘要信息，并将数据明细输出到数据仓库，将摘要信息输出到数据上链引擎；

数据上链引擎在数据明细输出到数据仓库的同时，根据数据明细生成数据明细相应的数据哈希值，并将数据哈希值发送到数据仓库，数据上链引擎还将摘要信息和数据哈希值添加到区块链上。

进一步的，数据整合管理系统包括数据源层、业务层和用户层，

数据源层存储了数据整合管理系统的数据库；

业务层包括业务管理模块、数据源管理模块、引擎管理模块、系统监控模块和统计分析模块；

用户层包括数据管理员模块、数据工程师模块、普通用户模块和系统管理员模块。

进一步的，数据整合作业设计器通过可视化操作界面拖拽设计生成满足业务需要的交换任务，包括数据交换组件和数据处理组件。

作为本发明的优选方案，数据整合执行引擎采用集群的方式安装，支持多个引擎并行执行。

作为本发明的优选方案，数据上链引擎还用于计算摘要信息的哈希值，并将摘要信息的哈希值添加到摘要信息中，构成带有摘要哈希值的摘要信息；并且将带有摘要哈希值的摘要信息和数据哈希值上链存储。

作为本发明的优选方案，数据上链引擎还用于计算摘要信息的唯一标识符，并将唯一标识符添加到摘要信息中，构成带有唯一标识符的摘要信息；并且将带有唯一标识符的摘要信息和数据哈希值上链存储。

与现有技术相比，本发明的有益效果：

1、采用本发明的方法，将ETL计算过程中生成的数据摘要信息上区块链，而数据本身存储在链下的数据库中，通过哈希值和记录可信状态建立链下数据与链上摘要信息的联系，该存储方式既实现了数据的可信度管理，又避免了直接对原始数据进行抽取转换和上链操作带来的复杂性，使得大规模分布式环境下，即使数据量巨大，仍能进行高效的数据治理工作。

2、基于本发明的数据存储方式，还提出了定期对所述数据库中数据明细进行可信校验的方法，通过对比链上和链下的哈希值，对数据明细的可信状态进行标记，用以表示数据明细的可信度，由于哈希值和可信状态的双重作用，后续做数据分析时，即可使用可信状态的数据作为可信度计算的依据，使得可信度分析更高效。

3、考虑到摘要信息本身至少包括本次操作的时间戳、源数据库名或源数据地址、源表名、目标数据库名或目标数据库地址、目标表名、本次操作数据的哈希值，存储了数据转移的路径，信息也很重要，一旦被篡改或者删减，影响数据的查找，因此，增加了优选方案，计算摘要信息的哈希值，并将摘要信息哈希值添加到摘要信息中，构成带有摘要哈希值的摘要信息；并且将带有摘要哈希值的摘要信息和数据哈希值上链存储，确保摘要信息也没有被篡改。

4、基于相同的构思，本发明还给出了具体的实施方案，提出了一种基于ETL和区块链技术的数据可信度管理系统，系统包括数据整合管理系统、数据整合作业设计器、数据整合执行引擎和数据上链引擎四个子系统，在四个子系统的相互配合下，完成了数据的抽取、清洗转换、加载到数据库，并同时完成了摘要信息和哈希值提交到区块链网络。其中，数据上链引擎还用于定期检测数据库中的数据是否可信并更新数据库中数据的可信状态。

附图说明：

图1为本发明实施例1中一种基于区块链技术的数据可信数据治理方法的流程图；

图2为本发明实施例1中摘要信息的内容；

图3为本发明实施例1中ETL区块链结合架构示意图；

图4为本发明实施例1中目标数据库表结构示意图；

图5为本发明实施例1中一种基于ETL和区块链技术的数据可信度管理系统结构示意图；

图6为本发明实施例1中数据整合管理系统基本结构示意图；

图7为本发明实施例1中数据整合作业设计器功能示意图；

图8为本发明实施例1中数据整合执行引擎工作原理示意图；

图9为本发明实施例1中数据上链引擎定期可信校验的原理示意图。

具体实施方式

下面结合试验例及具体实施方式对本发明作进一步的详细描述。但不应将此理解为本发明上述主题的范围仅限于以下的实施例，凡基于本发明内容所实现的技术均属于本发明的范围。

实施例1

一种基于区块链技术的数据可信数据治理方法的流程图如图1所示，包括以下步骤：

A、在对原始数据进行抽取、清洗转换后，生成数据明细相应的摘要信息，摘要包含本次操作的时间戳、源数据库名或源数据地址、源表名、目标数据库名或目标数据库地址、目标表名、本次操作数据的哈希值、字段数、条数等，摘要信息的内容示例如图2所示。与摘要信息同时生成的还有处理后的数据明细（即详细的数据字段）。

B、根据数据明细，计算出本次操作的数据哈希值；

C、将摘要信息和数据哈希值上链存储；

D、将数据明细和数据哈希值存储在链下的目标数据库中。

作为优选方案，上述步骤还可以用ETL区块链结合架构表示，如图3所示。文件数据、视频数据、图形数据等构成了数据源，存储于多个源数据库中，从源数据库中抽取数据进行清洗转换后，生成数据明细，同时还基于数据明细计算出数据哈希值，数据明细和其数据哈希值一并加载到目标数据库中。另外根据数据明细生成摘要信息，考虑到摘要信息本身的信息也很重要，一旦被篡改或者删减，影响数据的查找，因此生成摘要信息后，计算摘要信息的哈希值，并将摘要信息哈希值添加到摘要信息中，构成带有摘要哈希值的摘要信息；并且将带有摘要哈希值的摘要信息和数据哈希值上链存储，确保摘要信息也没有被篡改。

当数据明细和数据哈希值存储在链下的目标数据库时，还存储了数据明细的可信状态，可信状态用于标识链下的目标数据库中的数据明细的哈希值与链上的数据哈希值是否一致。作为具体的实施方式，目标数据库表结构设计时，除了本身业务数据字段，增加了wy_hash(哈希值)、wy_credible(是否可信)两个字段，表结构如图4所示。通过hash值与链上hash作比较，可以确认数据是否被篡改，找到数据转换路径。通过wy_credible字段标识数据是否可信，可作为数据可信度计算的依据，实现穿透式数据治理。

前面提到的方案主要是解决在现有的数据治理技术中，数据经过层层转换、处理，很难进行真正的数据溯源的问题，因此将ETL与区块链结合，在区块链中，对数据的任何一个操作、增删查改，都会上链记录，类似于台账，所以相当容易就可以进行数据的溯源。只要有ETL操作的地方都需要上链，链上存储源头数据和目的数据位置，做到层层可追溯。另外，在数据仓库对应的表中记录数据明细的可信状态，当上链的数据哈希值与数据仓库目标表中一致时，相应的数据明细记录可信状态为1，未上链的或者链上hash与链下不一致的数据明细，其记录可信状态为0。后续做数据分析即可使用此状态的数据作为可信度计算的依据。

作为优选方案，定期对所述数据库中数据明细进行可信校验，包括以下步骤：

S1，从目标数据库中读取数据明细、数据明细相应的链下数据哈希值；

S2、从区块链中查找到数据明细相应的摘要信息和相应的链上数据哈希值；

S3、当链下数据哈希值和链上数据哈希值相等时，数据明细相应的可信状态置1，该数据明细可信；当链下数据哈希值和链上数据哈希值不相等时，数据明细相应的可信状态置0，该数据明细不可信。

基于相同的构思，本发明还提出了一种基于ETL和区块链技术的数据可信度管理系统，包括数据整合管理系统、数据整合作业设计器、数据整合执行引擎和数据上链引擎四个子系统，四个子系统在数据整合清洗中间件中各司其职，扮演着不同的角色，完成各自的业务功能。一种基于区块链技术的数据可信数据治理系统结构示意图如图5所示。

其中，数据整合作业设计器用于ETL作业的创建、编辑，并将ETL作业发布到数据整合管理系统；数据整合管理系统用于调度ETL作业在数据整合执行引擎上运行，并监控数据整合执行引擎的运行过程以及数据上链引擎的运行过程；

数据整合执行引擎用于从数据源中采集数据，并根据ETL作业对采集数据进行清洗转换，生成数据明细和数据明细相应的摘要信息，并将数据明细输出到数据仓库，将摘要信息输出到数据上链引擎；

数据上链引擎在数据明细输出到数据仓库的同时，根据数据明细生成数据明细相应的数据哈希值，并将数据哈希值发送到数据仓库，数据上链引擎还将摘要信息和数据明细相应的数据哈希值加载到区块链上。

作为优选方案，数据整合管理系统在数据整合清洗中间件中充当作业的管理者角色，在整个数据清洗与整合业务处理过程中，完成综合管理功能，负责调度数据整合执行引擎执行数据整合清洗作业，并对作业的运行进行实时监控，最后完成对作业的数据影响分析。数据整合管理系统基本结构如图6所示，

数据源层存储了数据整合管理系统的数据库；业务层包括业务管理模块、数据源管理模块、引擎管理模块、系统监控模块和统计分析模块；用户层包括数据管理员模块、数据工程师模块、普通用户模块和系统管理员模块。

作为优选方案，数据整合作业设计器在数据整合清洗中间件中充当设计者角色，在整个数据清洗与整合业务处理过程中，完成作业的创建、编辑以及发布功能。系统内置各种数据交换组件、数据处理组件，如表交换、文件传输、SFTP上传下载、Http组件、清洗与转换、实时流数据处理组件，满足各种不同场景的数据传输交换需求。通过可视化操作界面拖拽设计生成满足业务需要的交换任务。数据整合作业设计器功能示意图如图7所示。

作为优选方案，数据整合执行引擎在数据整合清洗中间件中充当作业的执行者角色，它在整个数据清洗与整合业务处理过程中接受数据整合管理系统的调度，完成作业的执行功能。数据整合执行引擎采用集群的方式安装，支持多个引擎并行执行。数据整合管理端通过检测引擎的负载状态可动态分配作业到不同的引擎上执行。即在没有手工指定作业分配到哪个引擎，系统会优先分配作业到性能最好的引擎。数据整合执行引擎工作原理示意图如图8所示。关系型数据库中的数据、nosql数据库中的数据、实时流、文件流和http上的数据输入到数据整合执行引擎中进行ETL转换，ETL转换内容包括：数据连接、数据转换、数据脱敏、数据加密、数据映射、数据统计、数据检验和数据清洗。完成ETL转换后，生成数据明细和相应的摘要信息，一方面数据明细存储到目标数据库中，另一方面摘要信息通过数据上链引擎进入消息队列加载上区块链中。

作为优选方案，数据上链引擎在数据整合清洗中间件中专门负责数据hash的计算并提交到区块链，以及定期检测数据是否可信并更新数据中心数据的可信状态。数据上链引擎定期可信校验的原理示意图如图9所示。

数据上链引擎定期可信校验通过定期可信校验模块实现，一方面定期可信校验模块从目标数据库中读取数据明细和链下哈希值，另一方面，定期可信校验模块从区块链网络中查找到数据明细相应的链上哈希值，通过对比链下哈希值和链上哈希值，确定读取的数据明细是否可信（链下哈希值和链上哈希值相等，可信，不相等，则不可信）。可信校验模块对数据明细的可信状态相应的做标记，1为可信，0为不可信。

特别地，数据上链引擎还用于计算摘要信息的哈希值，将摘要信息的哈希值添加到摘要信息中，构成带有摘要哈希值的摘要信息；并将带有摘要哈希值的摘要信息和数据哈希值一起上链存储。

特别的，数据上链引擎可以还用于计算摘要信息的唯一标识符，并将唯一标识符添加到摘要信息中，构成带有唯一标识符的摘要信息；并且将带有唯一标识符的摘要信息和所述数据哈希值上链存储。唯一标识就是在摘要里面增加一个字段：global_id,用于标识这一次交易，同时在链下数据库存储这个global_id， global_id的生成算法采用UUID。

数据整合管理系统的四个子系统组成了最终的数据整合清洗中间件，实现了对数据整合清洗作业的设计、管理、执行、监控和数据影响分析。

ETL是数据抽取转换加载（Extract Transform Load）的首字母缩写，也可以是ELT，数据抽取加载转换。分别指的是数据转换的运算发生在目标数据库之外何之上。同时ETL或者ELT按照时间间隔也可以分为批处理、高频的流处理类型。本发明所述的数据摘要上链对时序没有要求，所以无论是加载后转换或者转换后加载到目标数据库都不影响本发明的效果。均应包含在本发明的保护范围之内。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (11)

1.一种基于区块链技术的数据可信数据治理方法，其特征在于，包括以下步骤：

A、在对原始数据进行抽取、清洗转换后，生成数据明细、所述数据明细相应的摘要信息；

B、根据所述数据明细，计算出数据哈希值；

C、将所述摘要信息和所述数据哈希值上链存储；

D、将所述数据明细和所述数据哈希值存储在链下的数据库中。

2.如权利要求1所述的一种基于区块链技术的数据可信数据治理方法，其特征在于，所述步骤D中，当所述数据明细和所述数据哈希值存储在链下的数据库时，还存储了所述数据明细的可信状态，所述可信状态用于标识链下的数据库中的所述数据明细的哈希值与链上的所述数据哈希值是否一致。

3.如权利要求1所述的一种基于区块链技术的数据可信数据治理方法，其特征在于，步骤还包括：定期对所述链下的数据库中数据明细进行可信校验，包括以下步骤：

S1，从所述链下的数据库中读取数据明细、所述数据明细相应的链下数据哈希值；

S2、从区块链中查找到所述数据明细相应的摘要信息和相应的链上数据哈希值；

S3、当所述链下数据哈希值和所述链上数据哈希值相等时，所述数据明细相应的可信状态置1，所述链下的数据库中的所述数据明细可信；当所述链下数据哈希值和所述链上数据哈希值不相等时，所述数据明细相应的可信状态置0，所述链下的数据库中的所述数据明细不可信。

4.如权利要求1所述的一种基于区块链技术的数据可信数据治理方法，其特征在于，所述摘要信息至少包括本次操作的时间戳、源数据库名或源数据地址、源表名、目标数据库名或目标数据库地址、目标表名、本次操作数据的哈希值。

5.如权利要求1-4任一所述的一种基于区块链技术的数据可信数据治理方法，其特征在于，步骤还包括：

计算所述摘要信息的哈希值，并将所述摘要信息的哈希值添加到所述摘要信息中，构成带有摘要哈希值的摘要信息；

将所述带有摘要哈希值的摘要信息和所述数据哈希值上链存储。

6.一种基于区块链技术的数据可信数据治理系统，其特征在于，包括数据整合管理系统、数据整合作业设计器、数据整合执行引擎和数据上链引擎，

所述数据整合作业设计器用于ETL作业的创建、编辑，并将所述ETL作业发布到所述数据整合管理系统；

所述数据整合管理系统用于调度所述ETL作业在所述数据整合执行引擎上运行，并监控所述数据整合执行引擎的运行过程以及所述数据上链引擎的运行过程；

所述数据整合执行引擎用于从数据源中采集数据，并根据所述ETL作业对所述采集数据进行清洗转换，生成数据明细和所述数据明细相应的摘要信息，并将所述数据明细输出到数据仓库，将所述摘要信息输出到所述数据上链引擎；

所述数据上链引擎在所述数据明细输出到所述数据仓库的同时，根据所述数据明细生成所述数据明细相应的数据哈希值，并将所述数据哈希值发送到所述数据仓库，所述数据上链引擎还将所述摘要信息和所述数据哈希值添加到区块链上。

7.如权利要求6所述的一种基于区块链技术的数据可信数据治理系统，其特征在于，所述数据整合管理系统包括数据源层、业务层和用户层，

所述数据源层存储了所述数据整合管理系统的数据库；

所述业务层包括业务管理模块、数据源管理模块、引擎管理模块、系统监控模块和统计分析模块；

所述用户层包括数据管理员模块、数据工程师模块、普通用户模块和系统管理员模块。

8.如权利要求6所述的一种基于区块链技术的数据可信数据治理系统，其特征在于，所述数据整合作业设计器通过可视化操作界面拖拽设计生成满足业务需要的交换任务，包括数据交换组件和数据处理组件。

9.如权利要求6所述的一种基于区块链技术的数据可信数据治理系统，其特征在于，所述数据整合执行引擎采用集群的方式安装，支持多个引擎并行执行。

10.如权利要求6-9任一所述的一种基于区块链技术的数据可信数据治理系统，其特征在于，所述数据上链引擎还用于计算所述摘要信息的哈希值，并将所述摘要信息的哈希值添加到所述摘要信息中，构成带有摘要哈希值的摘要信息；并且将所述带有摘要哈希值的摘要信息和所述数据哈希值上链存储。

11.如权利要求6-9任一所述的一种基于区块链技术的数据可信数据治理系统，其特征在于，所述数据上链引擎还用于计算所述摘要信息的唯一标识符，并将所述唯一标识符添加到所述摘要信息中，构成带有唯一标识符的摘要信息；并且将所述带有唯一标识符的摘要信息和所述数据哈希值上链存储。

Images