CN112527873A - 一种基于链数立方体的大数据管理应用系统 - Google Patents

Abstract

本发明涉及区块链信息共享技术领域，具体公开了一种基于链数立方体的大数据管理应用系统。系统包括：多个链数立方体，用户通过链数立方体实现数据加密、数据存储、数据上链和数据访问，所述链数立方体之间通过数据报文进行数据的交互；每一个链数立方体包括数据目录、搜索模块、数据密盒、智能合约、ETL执行引擎、数据透镜、上链引擎和区块链边缘云节点。本发明的技术方案将数据整合ETL过程与区块链相结合，形成链式数据互联网，解决了数据不可知、不可控等问题，让数据的整合、流通等可信可控。

Description

一种基于链数立方体的大数据管理应用系统

技术领域

本发明涉及区块链信息共享技术领域，具体公开了一种基于链数立方体的大数据管理应用系统。

背景技术

目前，在各领域和各个层面都广泛建立起了数据交换系统，实现数据的互联互通，广泛共享，通常构建一个具有管理节点、核心交换节点、虚拟前置节点、数据库节点的多层级数据交换系统，为异构、同构系统提供接入规范和多种数据共享与交换模式，实现了跨部门、跨地域、跨业务、多层级、多业务应用域的数据交换，为各部门之间、各层级之间、各业务应用系统之间协同和互动提供支撑与服务。

但是现有的数据交换系统的管理仍然面临诸多挑战，例如：1、数据不可知。由于现有的数据交换系统作为子节点的用户，需要等到数据管理中心梳理出数据目录后，才能查看可以访问的数据，无法实时了解系统整体的数据情况。2、数据不可取。数据需求方申请一些数据，需要得到各级部门的审批，申请过程会消耗很长的时间；当审批通过后，由数据拥有方与需求方双方的工程师对接口进行开发联调，开发周期同样也是对时间的消耗，不能保证数据获取的及时性。3、数据不可联。各子节点之间通过数据管理中心进行数据的交互，将数据存储于各子节点的仓库中，因此，A子节点的仓库与B子节点的仓库之间不能建立点对点通信，则数据交互中，若A子节点的仓库与数据管理中心的网络连接断开，则其他节点无法获得A子节点仓库中的数据，数据交换系统的稳定性和访问速度受到影响。4、数据不可控。现有的方式不能防止数据库被篡改的风险，共享出去后的数据，原拥有者不能对调用者之后的行为进行有效的管控，可能出现数据的篡改和泄露。5、数据不可溯。当客户面对数据的时候，并不了解数据在网络中传输的过程和数据的源头，没有做到真正的数据溯源，无法对数据有客观全面的了解。

发明内容

本发明的目的在于，解决上述提出的5个问题，将数据整合ETL过程与区块链相结合，形成链式数据互联网，建立起各数据仓库之间的联系，建立起可共享数据的实时查询机制，并且一方面对原始数据进行加密存储，确保原始数据的安全性。另一方面将数据导入导出的ETL过程信息进行上链存储，使得数据在链式数据互联网中交互过程可追溯，不仅实现了原始数据的不可篡改，还实现了数据传输过程的不可篡改，解决了数据不可知、数据不可取、数据不可联、不可控、数据不可溯的问题，提出了一种基于链数立方体的大数据管理应用系统。

为了实现上述发明目的，本发明提供了以下技术方案：

一种基于链数立方体的大数据管理应用系统，包括多个链数立方体，用户通过所述链数立方体实现数据加密、数据存储、数据上链和数据访问，所述链数立方体之间通过数据报文进行数据的交互；

每一个所述链数立方体包括数据目录、搜索模块、数据密盒、智能合约、ETL执行引擎、数据透镜、上链引擎和区块链边缘云节点；

所述数据目录存储了所在链数立方体可以被访问数据的字段，用于提供给其他链数立方体访问；

所述搜索模块用于访问系统中其他链数立方体的数据目录；

所述数据密盒用于对导入链数立方体的数据进行加密，并且用于存储加密后的数据；

所述智能合约用于数据提供方和数据求购方达成协议，实现数据的交易；

所述ETL执行引擎用于通过抽取、转换、加载的方式将外部的数据同步到所述链数立方体中，和/或通过抽取、转换、加载的方式将所述链数立方体中的数据同步到其他链数立方体中；

所述数据透镜用于对外界访问进行解密，并且所述数据密盒存储的数据只能通过数据透镜进行访问；

所述上链引擎用于将导入数据的ETL过程信息和/或分发出去数据的ETL过程信息存储到区块链账本中；

所述区块链边缘云节点存储了区块链账本，所述区块链账本中存储了系统中各链数立方体的ETL过程信息。

作为本发明的优选方案，用户通过所述链数立方体实现数据加密、数据存储、数据上链的具体步骤包括：

A1，所述ETL执行引擎采用ETL方式将原始数据同步导入所述数据密盒中，在导入的过程中，数据密盒对所述原始数据进行加密处理，得到加密数据，并将所述加密数据存储到数据密盒中；

A2，所述上链引擎将原始数据导入所述数据密盒的ETL过程信息进行上链存储，并将ETL过程信息存储到所述区块链账本中；

所述ETL过程信息与所述加密数据为一一对应关系，并且所述ETL过程信息包括但不限于以下内容：本次操作的时间戳、源数据库名、源表名、目标数据库名、目标表名和所述原始数据的哈希值。

作为本发明的优选方案，用户通过所述链数立方体实现数据访问，具体包括本地访问、数据分发和智能合约访问三种方式。

作为本发明的优选方案，所述本地访问的具体步骤包括：在本地链数立方体中，用户直接通过数据透镜解密数据密盒中的加密数据，并预览和使用解密后的原始数据。

作为本发明的优选方案，数据分发的具体步骤包括：

C1，用户通过访问端链数立方体中的搜索模块访问系统中其他链数立方体的数据目录，并从数据目录中获取数据信息以及数据信息所在的目标链数立方体；

C2，通过所述数据报文的握手协议建立起所述目标链数立方体和所述访问端链数立方体之间的点对点链接；

C3，所述访问端链数立方体通过目标链数立方体的数据透镜解密数据密盒中的加密数据，得到数据信息相应的数据明细；

C4，所述目标链数立方体通过ETL执行引擎将数据信息相应的数据明细分发到访问端链数立方体，同时上链引擎将数据明细分发的ETL过程信息进行上链存储。

作为本发明的优选方案，智能合约访问的具体步骤包括：

B1、用户通过访问端链数立方体中的搜索模块访问系统中其他链数立方体的数据目录，并从数据目录中获取数据信息以及数据信息所在的目标链数立方体；

B2、用户通过访问端链数立方体中的智能合约与目标链数立方体的智能合约进行相互验证后，建立点对点链接；

B3、所述访问端链数立方体通过所述目标链数立方体的数据透镜解密数据密盒中的加密数据，并查看所述数据信息相应的数据明细。

作为本发明的优选方案，所述数据报文内容包括源节点、目标节点和操作节点；

所述源节点是指访问数据的节点，所述目标节点是被访问数据的节点，所述操作节点包括基本操作和复合操作，

所述基本操作包括提取、加载、过滤、转换或去重；所述复合操作包括分裂、合并、连接或关联。

作为本发明的优选方案，所述数据密盒同时使用AE和TDE对数据进行加密，所述数据透镜通过AE和TDE对加密数据进行解密。

作为本发明的优选方案，当所述链数立方体的数据处于被异常访问时，所述数据透镜还用于对外部访问链接进行熔断，触发所述数据透镜进行熔断操作的因素包括：数据量超量查询，滥用SQL频率，高风险SQL查询或全表查询。

作为本发明的优选方案，一种基于链数立方体的大数据管理应用系统还包括分析模块，所述分析模块用于对存储在本地数据密盒里的数据进行数据来源的向前追溯或者向后追溯，所述向前追溯或者向后追溯的信息依据所述区块链账本中的ETL过程信息。

与现有技术相比，本发明的有益效果：

1、本发明的基于链数立方体的大数据管理应用系统，以链数立方体为节点，建立了分布式的链式数据互联网，实现了数据的可取和可联。特别的，各节点通过链数立方体实现数据加密、数据存储、数据上链和数据访问。用户通过链数立方体就能将本地的原始数据通过ETL同步导入链式数据互联网中，一方面实现数据的加密存储，另一方面实现数据在链式数据互联网中流转过程的可控和可查。另外，该系统通过搜索模块和数据目录支持用户以简单易用的搜索引擎的方式对数据进行高级检索，实现数据可知。

2、本发明的基于链数立方体的大数据管理应用系统支持本地数据访问、链上智能合约远程调用访问和数据分发到接收库三种方式，使得数据的授权访问过程更高效便捷。

3、本发明的基于链数立方体的大数据管理应用系统，通过ETL过程信息上链的方式，把各数据仓库之间的数据连接起来，并且在各链数立方体的数据仓库之间建立了广泛的连接，即使部分网络故障，也能通过其他连接正常的网络实现数据交互，实现了数据的可联。

4、本发明的基于链数立方体的大数据管理应用系统中，数据直接上链入柜，所有的数据无论是在今后的查询或者使用等行为发生时，都会以在链形式来完成，保证了数据可监控性。进入链数立方体的数据经过端到端的非对称性加密，任何用户都不能对其进行修改；数据拥有者对上链入柜的数据有绝对控制权和回收销毁权利，同时，根据数据使用时的熔断保护机制，来防止数据被恶意使用，有效防止了数据双花的问题；并能对数据的使用、流转情况进行可视化监控。

5、链数立方体数据的导入和导出都是通过ETL来完成的，同时对ETL过程信息进行上链，形成ETL链式数据，实现了数据来源和去向的双向可追溯。

附图说明：

图1为本发明实施例1中一种基于链数立方体的大数据管理应用系统的架构图；

图2为本发明实施例1中技术架构示意图；

图3为本发明实施例1中系统的物理架构一；

图4为本发明实施例1中系统的物理架构二；

图5为本发明实施例1中一种典型的数据目录截图；

图6为本发明实施例1中一种典型的搜索模块界面图；

图7为本发明实施例1中智能合约的一种典型的交易流程图；

图8为本发明实施例1中ETL执行引擎工作原理示意图；

图9为本发明实施例1中ETL过程信息的内容示例图；

图10为本发明实施例1中用户通过所述链数立方体实现数据加密、数据存储、数据上链的示意图；

图11为本发明实施例1中Delta数据报文标准图；

图12为本发明实施例1中数据报文应用示例图；

图13为本发明实施例1中链数立方体（保险柜）管理界面图；

图14为本发明实施例1中非结构化数据管理界面图；

图15为本发明实施例1中数据入柜管理界面图；

图16为本发明实施例1中数据申请管理界面图；

图17为本发明实施例1中数据开放管理单位界面图；

图18为本发明实施例1中数据入柜访问功能界面图；

图19为本发明实施例1中个人控制台界面图；

图20为本发明实施例1中实时网络监控界面图；

图21为本发明实施例1中智能态势监控界面图；

图22为本发明实施例1中链数立方体状态监控图；

图23为本发明实施例1中数据去向感知图；

图24为本发明实施例1中数据资产流转图谱；

图25为本发明实施例1中数据资产安全监管大屏图；

图26为本发明实施例1中数据交换共享监控图；

图27为本发明实施例1中ETL管理界面图；

图28为本发明实施例1中数据透镜熔断配置图；

图29为本发明实施例2中链数立方体PaaS层组件图。

具体实施方式

下面结合试验例及具体实施方式对本发明作进一步的详细描述。但不应将此理解为本发明上述主题的范围仅限于以下的实施例，凡基于本发明内容所实现的技术均属于本发明的范围。

实施例1

一种基于链数立方体的大数据管理应用系统的架构图，如图1所示，包括多个链数立方体，各链数立方体分别与本地的数据库建立桥接，用户通过ETL同步的方式，将本地的原始数据导入链数立方体中，对导入的链数立方体进行加密存储，另外，还实现数据ETL过程信息的上链，以及链数立方体之间通过数据报文进行数据的交互。每一个链数立方体包括数据目录、搜索模块、数据密盒、智能合约、ETL执行引擎、数据透镜、上链引擎和区块链边缘云节点等功能模块。

系统的整体架构，以BD-WAN（block defined，基于区块链定义的网络）和链数立方体为底层物理网络支撑，融合链数搜（数据共享），链数智（数据可视化检测），WBaaS（区块链服务平台），运营管理后台（基础数据与系统管理）的软件产品，所有数据都基于可信数据环境下的进行流通和交换。系统采用基于springcloud的云原生微服务架构作为技术架构，技术架构示意图如图2所示。系统的服务器中包括了门户、链数搜、执行引擎、上链引擎、链数智、运营后台和vbaas。服务器与业务数据库链接，用于访问业务数据库中的mysql数据和elasticsearch数据，服务器通过数据透镜读取数据保险柜中的数据；另外，服务器之间通过专用的网关与peer节点、orderer节点和ca节点链接。相应的，系统的物理架构如图3和图4所示。

本系统采用分布式结构进行组网，具有易扩展性，执行引擎和网络可以横向扩展，并且采用BD-WAN区块链定义网络。

系统架构的重要组成部分是链数立方体。用户通过链数立方体，可以将本地的原始数据上链入柜，以及与其他链数立方体进行数据流通。上链的是ETL过程信息，入柜是指将原始数据进行加密后，存入链数立方体的数据密盒中。链数立方体的接口是ODBC或JDBC，当硬件网络连接上系统以后，并不直接将原始数据上链，上链的是原始数据的ETL过程数据，将ETL过程信息存储在区块链的分布式账本中，而原始数据加密后存储在本地的数据密盒中。

每一个链数立方体包括数据目录、搜索模块、数据密盒、智能合约、ETL执行引擎、数据透镜、上链引擎和区块链边缘云节点。

数据目录存储了所在链数立方体可以被访问数据的字段，用户可以通过设置，选择让本地数据密盒中的数据对应的字段全部显示在数据目录中，也可以全部不显示，或者将部分字段全部显示在数据目录。存入数据目录的信息作为数据共享，可以被其他系统中的链数立方体访问。一种建立好的数据目录截图如图5所示。列表中包括自定义的数据集名称、数据所在的链数立方体、数据集所在的数据密盒、状态、被申请次数、发布时间和操作。其中，管理者可以设置该数据集为可以被检索到还是不可以被检索到，当选定为可以被检索到时，网络中的其他链数立方体用户可以通过搜索功能查到该条数据集。被申请次数是指该数据集被其他链数立方体申请访问或者导出的次数。

搜索模块用于访问系统中其他链数立方体的数据目录。链数立方体中所有的数据共享交换前，通过搜索模块使用户以简单易用的搜索引擎的方式对数据进行高级检索，访问数据目录，实现数据可知。用户需要先在引擎中搜索到目标数据，然后对数据进行交换申请；以快捷搜索的方式代替传统的数据目录索引，更便捷的实现了数据的“可知”，一种典型的搜索模块界面如图6所示。通过关键字搜索，可以查找到网络中与关键字匹配的数据集的列表，并且能看到列表中每个数据集所在的链数立方体名称（数据提供者）、更新日期、数据描述、收费标准以及数据的内容。

数据密盒用于对数据进行加密，并且用于存储加密后的数据。加密采用端到端的始终加密AE和TDE透明加密。端到端的始终加密为非对称加密技术，透明加密为对称加密技术。在本地的链数立方体中，可以按照需求，设置多个数据密盒，数据集中的数据可以来自同一个链数立方体的不同数据密盒。

智能合约用于数据提供方和数据求购方达成协议，实现数据的交易。在区块链技术领域，智能合约是指基于预订事件触发、不可篡改、自动执行的计算机程序。在数据交易过程中，基于可信的不可篡改的数据交易信息，可以在区块链上部署可自动运行的程序（智能合约），其涵盖的范围包括编程语言、编译器、虚拟机、时间、容错机制等。交易由数据资产供应方在基于区块链的数据资产交易平台发布数据资产，创建智能合约；通过求购方触发智能合约，购买支付完成交易；在数据资产交易过程中对数据资产信息上链、数据资产交易用户上链、数据资产交易信息上链，分布式存储，实时同步到各个端点功能。本发明的技术方案中，以智能合约的运行机制为基础，对系统中的数据传输进行管理。

智能合约的一种典型的交易流程图如图7所示。区块链数据资产交易流程图说明：

1）“数据资产供应方”发布“数据资产”，首先进行“数据资产”登记，创建智能合约，等待“数据审核员”审核，通过后即可上架并写入到区块链；

2）“数据资产求购方”购买“数据资产”，浏览数据资产目录，选择需求数据，创建订单，触发智能合约，支付完成并将“交易信息”写入到区块链；

3）“智能合约”包含数据资产使用角色、时间、次数、字段等限制算法。

ETL执行引擎用于对数据进行抽取、转换、加载。将外部数据导入链数立方体以及将链数立方体的数据导出，都是采用ETL执行引擎实现的。关系型数据库中的数据、nosql数据库中的数据、实时流、文件流和http上的数据输入到ETL执行引擎中进行ETL转换，ETL转换内容包括：数据连接、数据转换、数据脱敏、数据加密、数据映射、数据统计、数据检验和数据清洗等。ETL执行引擎工作原理示意图如图8所示。完成ETL转换后生成的数据加密后存入数据密盒中，而整个ETL过程信息通过数据上链引擎进入消息队列加载到区块链中。ETL过程信息包括本次操作的时间戳、源数据库名或源数据地址、源表名、目标数据库名或目标数据库地址、目标表名、本次操作数据的哈希值、字段数、条数等，ETL过程信息的内容示例如图9所示。当ETL过程信息上链后，就清楚的在区块链分布式账本上记录了该批次数据的来源和去向。

特别的，在进行数据导入和导出的过程中，ETL执行引擎对执行操作的数据进行检验，确保数据在导入前和导出前均未被篡改。

数据透镜用于对外界访问进行解密，并且数据密盒存储的数据只能通过数据透镜进行访问。除了端到端的非对称技术加密，数据密盒中的数据还以对称技术进行透明加密，数据使用者需要在有限制的环境下对数据进行预览或使用，防止了数据泄露的事故发生。同时支持数据API共享和库级流通，用户通过数据透镜的授权，可以在加密的数据库中进行表关联，并表等高级操作。由于数据密盒采用端到端的始终加密AE+TDE透明加密，相应的数据透镜通过AE和TDE对加密数据进行解密。还采用了基于TEE(可信执行环境)的节点密钥管理、全程加密数据传输，保证数据本身的安全性，只有数据拥有者或被认可的数据申请者，通过自己唯一的密钥，来调用数据透镜，才能对数据进行预览和使用，使数据更加安全和隐秘；同时，在数据透镜调用过程中，有相关的熔断机制，来阻止数据的非法调用等行为。

上链引擎用于将存入数据的ETL过程信息或分发出去数据的ETL过程信息存储到区块链账本中。

区块链边缘云节点存储了区块链账本，区块链账本用于存储网络中各链数立方体的ETL过程信息。

作为优选方案，用户通过链数立方体实现数据加密、数据存储、数据上链。通过链数立方体实现数据加密、数据存储、数据上链的示意图如图10所示，具体步骤包括：

A1，ETL执行引擎采用ETL方式将原始数据同步导入数据密盒中，在导入的过程中，数据密盒对原始数据进行加密处理，得到加密数据，并将加密数据存储到数据密盒中；

A2，上链引擎将原始数据导入数据密盒的ETL过程信息进行上链操作，并将生成的区块链账本存储到区块链边缘云节点中；

ETL过程信息与加密数据为一一对应关系，并且ETL过程信息包括但不限于以下内容：本次操作的时间戳、源数据库名、源表名、目标数据库名、目标表名和所述原始数据的哈希值。

用户通过所述链数立方体实现数据访问，具体包括本地访问、数据分发和智能合约访问三种方式。

本地访问的具体步骤包括：本地用户在自己的链数立方体中，直接通过数据透镜解密数据密盒中的加密数据，并查看解密后的原始数据。

数据分发的具体步骤包括：

C1，用户通过访问端链数立方体中的搜索模块访问系统中其他链数立方体的数据目录，并从数据目录中获取数据信息以及数据信息所在的目标链数立方体；

C2，通过数据报文的握手协议建立起目标链数立方体和访问端链数立方体之间的点对点链接；

C3，访问端链数立方体通过目标链数立方体的数据透镜解密数据密盒中的加密数据，得到数据信息相应的数据明细；

C4，目标链数立方体通过ETL执行引擎将数据信息相应的数据明细分发到访问端链数立方体，同时上链引擎将数据明细分发的ETL过程信息进行上链存储。

智能合约访问的具体步骤包括：

B1、用户通过访问端链数立方体中的搜索模块访问系统中其他链数立方体的数据目录，并从数据目录中获取数据信息以及数据信息所在的目标链数立方体；

B2、用户通过访问端链数立方体中的智能合约与所述目标链数立方体的智能合约进行相互验证后，建立点对点链接；

B3、访问端链数立方体通过目标链数立方体的数据透镜解密数据密盒中的加密数据，并查看数据信息相应的数据明细。

本系统中另外一个重要组成部分就是数据报文，各链数立方体之间通过数据报文实现数据的交互。

通过ETL作业做数据分发，而市面上已经有很多成熟的ETL工具，如ODI、Informatica、Datax、Kettle等，不同的工具使用的脚本语言不同，代码实现不同，如果只能针对一种做解析，不能充分利用ETL工具，但是要解析所有的脚本，工作量会很大。所以构建一套标准模型，能够将不同类型的ETL作业解析成统一模型，方便链数立方体之间组网传输。在数据分发之前，握手协议进行双方身份验证，确认数据分发双方都是链数立方体主体。链数立方体部署好之后，在链数立方体网络中都会有唯一的编号，身份验证时判断IP是否在链数立方体网络中，验证通过后建立通信连接。Delta报文规范了交换数据格式、数据类型、表达方式等内容，并包含了通信模型的规定。报文由报文头和报文体两部分组成，其中，报文头包含一些基本信息，如报文唯一识别号、参考报文号、资源编号、资源版本、源节点代码、目标节点代码、基本操作和复合操作等。Delta数据报文标准如图11所示。数据报文包括源节点、目标节点和操作节点；源节点是指访问数据的节点，所述目标节点是被访问数据的节点，所述操作节点包括基本操作和复合操作，基本操作包括提取、加载、过滤、转换和去重；复合操作包括分裂、合并、连接、关联和自定义。Delat数据报文应用实例如图12所示。

以上对系统架构以及各组成部分进行了说明，由于系统具有上述架构和组成部分，因此，本系统具有以下典型功能：

1、搜索引擎

系统中所有的数据共享交换都是以搜索模块作为基础，更符合用户的使用习惯。用户需要先在引擎中搜索到目标数据，才能对数据进行交换申请；以快捷搜索的方式代替传统的数据目录索引，更便捷的实现了数据的“可知”。搜索引擎支持多条件符合查询；支持开放数据集的描述信息预览等。

2、链数立方体（保险柜）管理

链数立方体管理界面如图13所示。链数立方体主要为数据提供加密安全存储的功能，所有进入立方体的数据，都需要在限制条件下对数据进行预览或使用，从而预防数据泄露的事故发生。保险柜包括两种类型：第三方云服务器立方体和链数立方体（一体机）式保险柜；用户根据自身的实际需求，对保险柜进行采购。企业用户可以将购买的立方体管理权限分配至企业内其他成员，使组织内的协作更高效的运转。对于购买第三方云服务器立方体的用户，可以在线申请升级配置的功能，完成升级后，将会在立方体状态中进行提示。

3、非结构化数据管理

非结构化数据管理界面如图14所示，除对结构化数据处理能力外，链数通还支持对非结构化数据的存储能力。以HDFS集群式分布存储的方式，对非结构化数据进行存储，具备高容错性，计算高效性，访问便捷性，高可靠性等特点；支持的文件类型包括压缩包，MS文档，图片，视频，音频等；支持批量上传功能。

4、数据入柜管理

数据入柜管理界面如图15所示，用户通过入柜功能，可以将本地的数据直接装入立方体。系统将根据用户输入的连接信息，自动生成对应的ETL作业。系统支持同步数据的方式和频率，如果选择的方式为周期同步，那系统会以增量的方式，往立方体中传输数据。支持多数据库连接信息的缓存记录，用户通过记录实现入柜，无需重复操作。数据同步功能的颗粒度支持到表级，避免整库同步，占用过多资源的情况发生。

5、数据申请管理

数据申请管理界面如图16所示，数据需求方找到目标数据后，以申请的方式对数据进行交换，当数据拥有方同意申请后，申请可以对数据进行访问。对于同意的申请，系统提供访问的方式有两种：通过授权，进入数据拥有方的立方体进行数据查询；或者以ETL的方式，直接将拥有者的数据转入至申请方的立方体。业务办理过程中，相关用户会收到来自系统的消息提示。支持申请人和申请数据集详情进行查询。

6、数据开放管理

数据开放管理单位界面如图17所示，进入链数立方体的数据，需要完成开放操作后，才能被其他用户所搜索，完成数据交换的业务。对于开放数据的粒度达到字段级。可个性化设置共享模式，例如一次性同步或周期性同步，是否收费，是否允许转卖等。

7、数据入柜访问功能

数据入柜访问功能界面如图18所示，通过数据申请的用户可直接调用智能合约，远程进入数据拥有方的链数立方体，对数据进行查算。支持智能合约自定义调用，由数据拥有者对合约内容进行审核。根据选择的智能合约，来判断数据访问者的权限（数据量，查询频率，数据透镜的调用等）。

8、个人控制台

个人控制台界面如图19所示，以可视化图表的方式对用户的数据共享情况进行概览感知，包括余额情况，消费情况，组织情况，数据交易情况，待办任务情况等。

9、实时网络监控

实时网络监控界面如图20所示，支持管理类型用户对当前网络实时情况进行可视化检测，包括出块时间及交易数，时间段平均块大小，节点分布地图，数据资产账户排名，ETL交易统计情况，节点连接概况。

10、智能态势监控

智能态势监控界面如图21所示，以网络，数据资产，数据流转，ETL作业，智能合约五个维度对链数通的整体运行情况进行态势感知。根据选择的报表类型，用户可自定义查询条件，在线进行报告预览。支持报告明细的下载功能。

11、关键信息监控

链数立方体状态监控如图22所示，支持管理型设置监控信息，对关注监控对象设置告警通知，以防避免数据不规范操作或用户异常行为的发生。支持多目标监控；支持ETL作业和数据资产变化的行为捕捉；支持邮箱和手机的告警提示方式；支持告警明细的查询。

12、数据去向感知

数据去向感知如图23所示，通过ETL上链的数据分析，用户可以清楚的了解数据的来龙去脉，系统以可视化的场景对数据流转全过程进行解析。支持数据流转的全过程解析；支持流传过程的方式解析；支持表与字段的转换关系解析。作为本发明的优选方案，可以对数据资产流转进行溯源分析，一种数据资产流转图谱如图24所示，通过统计可以得出本地链数立方体中的数据来源于哪些节点，并且得出各来源节点数据在本地数据中的占比，就可以清晰地看到数据流转的情况。数据来源于哪些节点的统计方法是：首先从区块链账本中找到数据导入或导出时的ETL过程信息，过程信息中明确记录了数据的本次操作的时间戳、源数据库名或源数据地址、源表名、目标数据库名或目标数据库地址、目标表名、本次操作数据的哈希值、字段数、条数等，因此通过读取ETL过程信息，就可以得到该批次数据的源数据地址和源表名，从而得到数据的来源，另外，还可以得到该批次数据的目标数据库地址和目标表名，从而得到数据的去向。在得到数据来源或去向之后，就可以获取该批次数据的字段数，统计各批次数据的字段数后，再将各来源数据的字段数除以总字段数，就得到了该批次数据的在数据集中的占比。就可以统计出各来源数据在本地链数立方体中的占比。从而清晰地得到网络中，各链数立方体数据流向的统计信息。根据统计数据就可以绘制出数据资产流传图谱。还可以根据统计数据绘制出数据资产安全监管大屏和数据交换共享监控图，数据资产安全监管大屏如图25所示，数据交换共享监控图如图26所示。

13、ETL管理

ETL管理界面如图27所示，ETL即数据交易，通过对ETL的维护，为数据流通过程提供解析基础。支持对ETL作业的维护功能以及日志跟踪；支持对ETL执行引擎的维护功能；支持对ETL上链引擎的维护功能。

14、数据透镜熔断配置

通过熔断配置来提升数据安全的级别。系统根据熔断四个维度来进行判断，若SQL语句达到熔断标准，则阻断该行为操作，并提示用户熔断触发警告。数据透镜熔断配置图如图28所示。熔断触发条件包括以下情况：整表查询或遍历表数据熔断、查询量过大熔断、SQL执行频率过高熔断、编辑/新增/伤害数据的SQL语句熔断。

15、BaaS即WBaaS，区块链服务平台，管理人员可通过WBaaS轻松完成联盟链搭建，降低运维实施成本。支持组织信息的维护与用户信息的关联；支持服务器的状态维护与立方体的关联；支持多联盟，多通道的建设；支持peer和orderer节点的维护；支持多语言智能合约的开发和维护；支持密钥管理和云存储。

实施例2

链数立方体是区块链网络的基础承载节点，也是分布式的基础数据节点，还承载着链数通软件的服务。作为区块链数据网络服务器，提供数据上链（ETL上链引擎）、数据加密存储（保险柜）、数据解密访问（数据透镜）等功能。更强调数据的资产属性，提供更加精细设计的数据治理应用。

链数通链数立方体采用即插即上链的方式，具有以下特点。A、芯片共识。对于上链方式采用链数立方体的用户，在计算能力和数据传输能力等方面得到大幅度提升，释放CPU计算资源，通过FPGA实现硬件加速。B、灵活组网。以BD-WAN的方式对链数立方体进行组网，使地理范围不再是服务器部署的难题。同时支持多云多网互联，多广域网接入。C、熔断保护。为数据资产提供安全保护，避免数据泄露的事故发生。D、数据上链。运用区块链技术来保证数据的真实性和权威性。E、可信算储。结合TEE和TDE技术为系统建立安全可信的计算和存储环境。

1、总体架构，链数立体机包含了IaaS，PaaS组件。

2、层云管理平台

WStack作为链数通自研的云管理平台，提供了对用户数据中心的计算、存储、网络等资源的管理和调度。可以快速配置私有云环境、并快速创建云主机、分配云盘和自动配置云主机网络。

WStack是基于云计算IaaS（基础架构即服务）软件。它面向智能数据中心，通过提供灵活完善的APIs来管理包括计算、存储和网络在内的数据中心资源。可以利用WStack快速构建自己的智能云数据中心，也可以在稳定的WStack之上搭建灵活的云应用场景，例如PaaS（平台即服务）、SaaS（软件即服务）等。

WStack是基于专有云平台4S（Simple简单，Strong健壮，Scalable弹性，Smart智能）标准设计的下一代云平台IaaS软件。

WStack提供了对企业数据中心基础设施的计算、存储、网络等资源的管理，底层支持KVM和VMware虚拟化技术，支持DAS/NAS/SAN/DFS等存储类型，支持本地存储、NFS存储、SAN存储、分布式块存储，支持VLAN/VXLAN等网络模型。

WStack的核心云引擎，使用消息总线同数据库MariaDB及各服务模块进行通信，提供了云主机管理、物理主机管控、存储调度、网络功能、账号计费、实时监控等功能。WStack还提供了Java和Python的SDK，且支持RESTful APIs进行资源调度管理。基于WStack打造的专有云管理平台充分体现专有云的4S优势，即：简单Simple、健壮Strong、弹性Scalable、智能Smart。

3、 PaaS层组件

链数立方体上的PaaS层组件是整个链数通产品体系的底层核心软件服务。包括有ETL作业引擎、ETL交易账本、摘要上链提交、资产保险柜、数据密盒、数据透镜、控制台客户端等。链数立方体PaaS层组件如图29所示。

链数立方体的特点包括：

1）智能化。构建ETL本体模型，建立一套ETL描述标准，通过自动解析ETL脚本内容，用统一的数据结构表示数据资产交易过程，让交易溯源更简单、智能；对用户访问数据的行为进行机器学习，形成SQL语法规则库，通过SQL语义分析和行为特征分析，检测异常用户行为并及时熔断，保护数据安全、防止数据泄露。

2）易用性。系统中的数据输入都有相应提示功能，同时支持数据监测，防止异常数据的输入；同时，系统采用人性化页面设计，常规化使用流程，0编码管理操作，降低了系统整体的使用门槛。

3）安全性。基于TEE(可信执行环境)的节点密钥管理、全程加密数据传输；且产品运用AE（始终加密）、TDE（透明数据加密）技术，保证数据本身的安全性，只有数据拥有者或被认可的数据申请者，通过自己唯一的秘钥，来调用数据透镜，才能对数据进行预览和使用，是数据更加安全和隐秘；同时，在数据透镜调用过程中，有相关的熔断机制，来阻止数据的非法调用等行为.

4）拓展性。链数通中的智能合约支持多语言编写，为开发者提供能高效的需求解决能力。

5）高性能。执行引擎支持集群部署，使TPS能力>10万；同时链数立方体通过FPGA芯片级加速，使性能得到更大幅度的提升。

6）兼容性。系统基础B/S架构进行开发，支持chrome，360，IE，firefox等常规浏览器的访问与操作；同时，以除常规的结构化数据库外（例如MySql，Oracle，PostgreSQL，DB2等），系统还对非结构化数据提供相应的存储和计算能力，包括XML，视频，图片，文档类型数据等，支持HDFS集群式分布存储。

以上所述仅为本发明的较佳实施例而己，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (10)

1.一种基于链数立方体的大数据管理应用系统，其特征在于，包括多个链数立方体，用户通过所述链数立方体实现数据加密、数据存储、数据上链和数据访问，所述链数立方体之间通过数据报文进行数据的交互；

每一个所述链数立方体包括数据目录、搜索模块、数据密盒、智能合约、ETL执行引擎、数据透镜、上链引擎和区块链边缘云节点；

所述数据目录存储了所在链数立方体可以被访问数据的字段，用于提供给其他链数立方体访问；

所述搜索模块用于访问系统中其他链数立方体的数据目录；

所述数据密盒用于对导入链数立方体的数据进行加密，并且用于存储加密后的数据；

所述智能合约用于数据提供方和数据求购方达成协议，实现数据的交易；

所述ETL执行引擎用于通过抽取、转换、加载的方式将外部的数据同步到所述链数立方体中，和/或通过抽取、转换、加载的方式将所述链数立方体中的数据同步到其他链数立方体中；

所述数据透镜用于对外界访问进行解密，并且所述数据密盒存储的数据只能通过数据透镜进行访问；

所述上链引擎用于将导入数据的ETL过程信息和/或分发出去数据的ETL过程信息存储到区块链账本中；

所述区块链边缘云节点存储了区块链账本，所述区块链账本中存储了系统中各链数立方体的ETL过程信息。

2.如权利要求1所述的基于链数立方体的大数据管理应用系统，其特征在于，用户通过所述链数立方体实现数据加密、数据存储、数据上链的具体步骤包括：

A1，所述ETL执行引擎采用ETL方式将原始数据同步导入所述数据密盒中，在导入的过程中，数据密盒对所述原始数据进行加密处理，得到加密数据，并将所述加密数据存储到数据密盒中；

A2，所述上链引擎将原始数据导入所述数据密盒的ETL过程信息进行上链存储，并将ETL过程信息存储到所述区块链账本中；

所述ETL过程信息与所述加密数据为一一对应关系，并且所述ETL过程信息包括但不限于以下内容：本次操作的时间戳、源数据库名、源表名、目标数据库名、目标表名和所述原始数据的哈希值。

3.如权利要求1所述的基于链数立方体的大数据管理应用系统，其特征在于，用户通过所述链数立方体实现数据访问，具体包括本地访问、数据分发和智能合约访问三种方式。

4.如权利要求3所述的基于链数立方体的大数据管理应用系统，其特征在于，所述本地访问的具体步骤包括：在本地链数立方体中，用户直接通过数据透镜解密数据密盒中的加密数据，并预览和使用解密后的原始数据。

5.如权利要求3所述的基于链数立方体的大数据管理应用系统，其特征在于，数据分发的具体步骤包括：

C1，用户通过访问端链数立方体中的搜索模块访问系统中其他链数立方体的数据目录，并从数据目录中获取数据信息以及数据信息所在的目标链数立方体；

C2，通过所述数据报文的握手协议建立起所述目标链数立方体和所述访问端链数立方体之间的点对点链接；

C3，所述访问端链数立方体通过目标链数立方体的数据透镜解密数据密盒中的加密数据，得到数据信息相应的数据明细；

C4，所述目标链数立方体通过ETL执行引擎将数据信息相应的数据明细分发到访问端链数立方体，同时上链引擎将数据明细分发的ETL过程信息进行上链存储。

6.如权利要求3所述的基于链数立方体的大数据管理应用系统，其特征在于，智能合约访问的具体步骤包括：

B1、用户通过访问端链数立方体中的搜索模块访问系统中其他链数立方体的数据目录，并从数据目录中获取数据信息以及数据信息所在的目标链数立方体；

B2、用户通过访问端链数立方体中的智能合约与目标链数立方体的智能合约进行相互验证后，建立点对点链接；

B3、所述访问端链数立方体通过所述目标链数立方体的数据透镜解密数据密盒中的加密数据，并查看所述数据信息相应的数据明细。

7.如权利要求1所述的基于链数立方体的大数据管理应用系统，其特征在于，所述数据报文内容包括源节点、目标节点和操作节点；

所述源节点是指访问数据的节点，所述目标节点是被访问数据的节点，所述操作节点包括基本操作和复合操作，

所述基本操作包括提取、加载、过滤、转换或去重；所述复合操作包括分裂、合并、连接或关联。

8.如权利要求1所述的基于链数立方体的大数据管理应用系统，其特征在于，所述数据密盒同时使用AE和TDE对数据进行加密，所述数据透镜通过AE和TDE对加密数据进行解密。

9.如权利要求1所述的基于链数立方体的大数据管理应用系统，其特征在于，当所述链数立方体的数据处于被异常访问时，所述数据透镜还用于对外部访问链接进行熔断，触发所述数据透镜进行熔断操作的因素包括：数据量超量查询，滥用SQL频率，高风险SQL查询或全表查询。

10.如权利要求1-9任一所述的基于链数立方体的大数据管理应用系统，其特征在于，还包括分析模块，所述分析模块用于对存储在本地数据密盒里的数据进行数据来源的向前追溯或者向后追溯，所述向前追溯或者向后追溯的信息依据所述区块链账本中的ETL过程信息。

Images