CN114528346B - 一种多源异构数据资产依托区块链共享交易的方法 - Google Patents

一种多源异构数据资产依托区块链共享交易的方法 Download PDF

Info

Publication number
CN114528346B
CN114528346B CN202210098096.4A CN202210098096A CN114528346B CN 114528346 B CN114528346 B CN 114528346B CN 202210098096 A CN202210098096 A CN 202210098096A CN 114528346 B CN114528346 B CN 114528346B
Authority
CN
China
Prior art keywords
data
transaction
model
asset
assets
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210098096.4A
Other languages
English (en)
Other versions
CN114528346A (zh
Inventor
贵恒
冯凯
王元卓
郭艳芳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Science And Technology Big Data Research Institute
Original Assignee
China Science And Technology Big Data Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Science And Technology Big Data Research Institute filed Critical China Science And Technology Big Data Research Institute
Priority to CN202210098096.4A priority Critical patent/CN114528346B/zh
Publication of CN114528346A publication Critical patent/CN114528346A/zh
Application granted granted Critical
Publication of CN114528346B publication Critical patent/CN114528346B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/283—Multi-dimensional databases or data warehouses, e.g. MOLAP or ROLAP
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/284—Relational databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/38—Payment protocols; Details thereof
    • G06Q20/382—Payment protocols; Details thereof insuring higher security of transaction
    • G06Q20/3825—Use of electronic signatures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/38—Payment protocols; Details thereof
    • G06Q20/389—Keeping log of transactions for guaranteeing non-repudiation of a transaction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
    • G06Q40/04—Trading; Exchange, e.g. stocks, commodities, derivatives or currency exchange

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • General Engineering & Computer Science (AREA)
  • Strategic Management (AREA)
  • Data Mining & Analysis (AREA)
  • General Business, Economics & Management (AREA)
  • Computing Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Development Economics (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Technology Law (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明属于数据治理、区块链技术领域，具体涉及一种多源异构数据资产依托区块链共享交易的方法，通过构建数据标准、统一模型管理、元数据和数据资产，将多源异构数据源进行规范化的管理，形成可在区块链实际可用的数据资产，再利用区块链安全、自治、开放与可编程的特性，将数据资产所有权和控制权保留在数据拥有者手中，通过联盟链，实现数据资产的共享和交易。实现了标准化的数据管理、数据易流通与数据可控，从而最大化数据资产的价值。

Description

一种多源异构数据资产依托区块链共享交易的方法
技术领域
本发明属于数据治理、区块链技术领域，具体涉及一种多源异构数据资产依托区块链共享交易的方法。
背景技术
随着国家信息化的发展，数据作为一种重要的生产要素，已经关乎到各个相关行业。各个行业针对自身发展，对于数据治理提出了自身相应的解决方案。数据治理的解决方案可以分为三个阶段，一是采用传统关系型数据库对结构化数据的存储，采用中心数据库服务器，将所有数据放入数据库服务器中；二是采用数据仓库的形式对非结构化的数据进行存储，利用云技术进行大大提升了数据存储的可扩展性，适应了当前大数据时代的存储要求；三是数据平台或数据中台的出现，融合了多种多源异构的数据源，形成了数据湖，进一步提供数据存储架构和数据处理工具，为各行业发展提供数据解决方案。
云数据存储和数据平台的出现，使得企业和个人可以对海量数据进行管理，中心化的数据管理为数据治理提供了便利，但随着国家和人民对于信息安全的重视，中心化数据管理无法满足用户对于数据安全性和隐私性的需求，用户实质上丧失了数据的所有权和控制权，也无法对自己所拥有的数据进行共享和交易，这违背了数据作为新时代资产的作用。
区块链技术以其不可篡改、可追溯、去中心化的特点，是解决中心化的数据管理的一种方案。区块链可以认为是一个分布式基础架构系统，结合了传统的分布式技术、密码学和智能合约。区块链使用分布式一致性算法来生成和更新数据，使用密码学来保证数据的安全性和可靠性，使用智能合约来自动执行一系列相关操作，最终将数据利用链状结构进行存储。区块链有助于构建一个完整的共享数据信任体系。
在当前大数据的环境下，如果用户将所有数据上传到区块链，进行数据共享和交易，必定会导致区块产生慢、交易时间长、内存、cpu消耗高，出现交易处理速度慢、网络阻塞等问题，所以区块链中存储的是哈希值，作为检索时的关键词。再通过与智能合约的交互完成数据交易、数据查询并记录交易日志，在应对多源异构情况下的数据查询时，需要对数据进行数据资产化。
数据资产化需要一系列数据标准化的操作将数据形成数据资产，以供区块链上的智能合约对数据资产进行查询。数据资产标准化操作包括：创建数据源、数据标准、统一模型管理、元数据、数据质量、数据资产以及数据服务，基于此，研究一种多源异构数据资产依托区块链共享交易的方法是必要的。
发明内容
针对现有设备存在的缺陷和问题，本发明提供一种多源异构数据资产依托区块链共享交易的方法，有效的解决了现有设备中存在的问题。
本发明解决其技术问题所采用的方案是：一种多源异构数据资产依托区块链共享交易的方法，包括如下步骤
步骤一，构建数据治理平台
将用户的数据进行标准化处理，数据源管理利用postgresql的外部表特性，对传统的关系型数据库、数仓和文件存储进行外部表连接，实现多源异构数据源的统一访问接口；
步骤二，数据标准建立
通过数据治理平台配置数据标准，数据标准化采用Min-max标准化，用户能够自己建立标准化的数据元，并通过一个或多个标准化的数据元形成标准化的数据模型；
步骤三，数据模型双向生成及数据模型实例化
通过步骤二中的数据元，将一个或多个数据元进行组合生成数据模型，如果组成数据模型的数据元全部为标准数据元，那么数据模型就是标准数据模型；
在对多源异构数据源的采集中，将采集到的元数据表生成也生成模型，并和标准数据模型进行匹配，如果匹配成功，则不新建数据模型，自动标记为标准数据模型；未匹配到则新建非标准数据模型，再将字段与标准数据元进行匹配，匹配到的标准数据元进行标记；
用户能够将标准和非标准模型进行实例化，自动在本地数据源建立实体表，实现数据提供者和需求者在统一的数据标准下进行共享和交易；
步骤四，获取数据源的元数据
数据治理平台将授权连接数据源的元数据采集至数据标准化平台的postgresql数据库中存储，并展示给用户；用户将采集的元数据发布成数据资产；
步骤五，数据资产上链
数据资产通过<key,value>的形式记录联盟链的状态，根据智能合约的运行不停改变键值对的数据，从而保证当前的数据位最新数据，并将数据资产存储于数据提供者的本地数据库；利用数据治理平台结合用户发布的数据资产和链信息生成货币模型和数据资产模型，
其中货币模型为
M=<I,Hash(I),LastHash(I),U,Sign(U),A>；
I表示货币实际信息、Hash(I) 表示货币信息的Hash值、LastHash(I) 表示上一次货币信息改变的Hash值、U表示当前进行操作用户基本信息、Sign(U) 表示当前进行操作用户的数字签名、A表示货币拥有者的地址；
数据资产模型为
A=<i,Hash(i),LastHash(i),U,Sign(U),O,Sign(O),S,C>；
i表示数据资产交易的详细信息、Hash(i)表示数据资产交易的Hash值、LastHash(i)数据资产上一次交易的Hash值、U表示当前进行操作用户的基本信息、Sign(U)表示当前进行操作用户的数字签名、O表示数据拥有者的基本信息、Sign(O)表示数据拥有者的数字签名、S表示当前交易的状态、C表示智能合约配置信息；
把货币模型和数据资产模型放入区块链的块中，并与上一节点块链接，实现数据资产的上链；
步骤六，数据资产确权
首先获取上传数据资产的数据模型，并与已上链的数据资产进行比对，对上传数据资产进行验重和确权；
步骤七，数据资产和货币资产双向交易
利用PBFT共识算法，采用事务的方式将交易流程作为一个整体进行实施，首先是申请交易并进行广播，数据购买者向数据提供者发起携带数字签名的交易申请，数据购买者B产生信息I后，在全网进行广播，区块链中的数据购买者节点PB加上联盟链上用户公钥K，则有所有信息节点PB|≡ PI（K）；
然后是同意或拒绝交易，同意交易则修改双方的数据资产，并加上双方的数字签名，表明对此交易负责，货币信息为M，数据资产信息为A，即节点发布信息PB|≡（M（PB），｛A（PB） PI（K）｝），此后将完成交易信息进行广播，拒绝交易不修改双方数据资产，加上双方数据签名，再附上拒绝标识R，即节点发布信息PB|≡（M（PB），R）；最后是验证交易，对所有节点进行进一步验证，防止篡改数据，作为事务的最后一个阶段，判断事务是否进行完备，保证数据资产和货币成功进行交换，数据购买者获得了数据资产，双方的货币量发生变化；验证成功后，事务结束，交易完成，验证失败则回滚到交易请求阶段。
进一步的，元数据的是描述数据的数据，记录了包括数据源、数据表、表字段、索引和约束信息；
进一步的，数据治理平台为数据提供者提供收益分配配置，可以自行选择0%~80%的数据资产收益占比，在区块链货币交易中事务成功交易后，会将产生交易的货币资产自动加入数据提供者的账户，数据购买者也可以将数据资产继续进行交易，并获得剩余收益。
进一步的，数据资产交易具有两种形式，第一种是以数据服务智能合约的形式，进行数据的查询检索操作，其通过PostgreSQL的外部表功能将SQL语句下探到数据拥有者的数据源中进行操作，并将结果返回；
第二种是数据提供者愿意提供完整数据，数据治理平台提供离线数据集成，通过在数据购买者的数据源模型实例化作为接收表，利用kafka将实际数据传输到数据购买者的本地数据源。
进一步的，数据治理平台提供给数据提供者数据脱敏工具，数据提供者对自己将要共享交易的数据进行脱敏处理，并选择提供预览的条数；数据购买者在数据治理平台上预览已提供经过脱敏后的数据。
本发明的有益效果：本发明提供了多源异构数据资产共享和交易的方法，通过构建数据标准、统一模型管理、元数据和数据资产，将多源异构数据源进行规范化的管理，形成可在区块链实际可用的数据资产，再利用区块链安全、自治、开放与可编程的特性，将数据资产所有权和控制权保留在数据拥有者手中，通过联盟链，实现数据资产的共享和交易。实现了标准化的数据管理、数据易流通与数据可控，从而最大化数据资产的价值。
附图说明
图1是数据标准化结构简图。
图2是数据资产共享与交易结构图
具体实施方式
下面结合附图和实施例对本发明进一步说明。
实施例1：本实施例旨在提供一种多源异构数据资产依托区块链共享交易的方法，主要用于数据治理，借助于区块链安全、自治、开放与可编程的特性，将数据资产所有权和控制权保留在数据拥有者手中，通过联盟链，实现数据资产的共享和交易。
本实施例如图1-2中所示提供了一种多源异构数据资产依托区块链共享交易的方法，包括如下步骤；
步骤一，构建数据治理平台
将用户的数据进行标准化处理，数据源管理利用postgresql的外部表特性，对传统的关系型数据库、数仓和文件存储进行外部表连接，实现多源异构数据源的统一访问接口。
具体的数据治理平台包括了数据源管理、数据标准、统一模型管理、元元数据、数据质量、数据资产以及数据服务，为了数据资产上链，需要将用户的数据进行标准化处理，数据源管理通过postgresql发行版，利用postgresql的外部表特性，对传统的关系型数据库mysql、oracle、sqlserver等，对数仓hive、hbase、clickhouse等和文件存储进行外部表连接，实现多源异构数据源的统一访问接口。
步骤二，数据标准建立
通过数据治理平台配置数据标准，数据标准化采用Min-max标准化，用户能够自己建立标准化的数据元，并通过一个或多个标准化的数据元形成标准化的数据模型；目前已有标准化数据元2376个，其中公用标准21个，国家标准1766个，行业标准589个，并允许用户自建系统标准，自建数据元标准经审核后作为系统标准可以共享给加入联盟链的其他用户使用。
步骤三，数据模型双向生成及数据模型实例化
数据模型分为标准化的数据模型及非标准化的数据模型，标准化的数据模型由标准化数据元生成；对于已有数据源下的数据表，在进行元数据采集时，自动匹配已建的标准化数据模型，如果没有就自动生成非标准化数据模型，并匹配标准化的数据元，数据治理平台提供标准化和非标准化的数据模型实例化成数据源下的物理数据表。
实施时通过步骤二中的数据元正向生成标准数据模型，将一个或多个数据元进行组合生成数据模型，如果组成数据模型的数据元全部为标准数据元，那么数据模型就是标准数据模型。
对多源异构数据源的采集中反向生成非标准数据模型，将采集到的元数据表生成也生成模型，并和标准数据模型进行匹配，如果匹配成功，则不新建数据模型，自动标记为标准数据模型；未匹配到则新建非标准数据模型，再将字段与标准数据元进行匹配，匹配到的标准数据元进行标记；即经过与已建数据模型对比查重，如不存在则新建数据模型，已存在则自动匹配已有数据模型并添加备注，自动共享给加入联盟链的其他用户使用。
用户能够将标准和非标准模型进行实例化，自动在本地数据源建立实体表，实现数据提供者和需求者在统一的数据标准下进行共享和交易；数据治理平台能够将数据模型实例化成多源异构数据源实体表，用户可以将标准和非标准模型进行实例化，自动在本地数据源建立实体表，方便数据提供者和需求者在统一的数据标准下进行共享和交易，而并不局限于同一种数据库，例如，数据提供者可以将本地存储在Oracle的数据资产共享至数据需求者的Mysql数据库，同样也可以将Elastic-Search的数据共享至Hive等。
步骤四，获取数据源的元数据
数据治理平台提供对多源异构数据的采集能力，可以对csv、text和json文档格式的文件型数据，PostgreSQL、Oracle、MySQL、SQLite、SQL-Server等关系型数据库，MongoDB、Redis等非关系型数据库，neo4j图数据库，Elastic-Search、Hive等大数据组件进行采集，采集后进入接入元数据管理。
数据治理平台将授权连接数据源的元数据采集至数据标准化平台的postgresql数据库中存储，并展示给用户；用户将采集的元数据发布成数据资产；数据治理平台提供元数据采集和管理功能，将授权连接数据源的元数据采集至数据标准化平台的postgresql数据库中存储，用户可以将采集的元数据发布成数据资产，并将数据资产上链。
步骤五，数据资产上链
区块链在安全可靠和不可篡改方面满足了数据资产交易和共享的需求，但是数据资产的表示模型和数据结构会影响到区块链的性能。数据资产往往数据量很大，在数仓中逻辑表甚至突破了TB级别，所以无法将数据资产数据上链，数据资产仍然存在数据拥有者的服务器当中，通过数据源的配置信息进行访问。在区块链上进行共享和交易的数据需要先生成数据资产，以数据资产的形式进行共享交易，数据资产由元数据生成，元数据的本质是描述数据的数据，记录了包括数据源、数据表、表字段、索引和约束等信息，而非记录实际数据。元数据通过注册的形式形成数据资产，并通过发布和审核操作将数据资产发布并上链。
数据资产存储的具体方式为：
将数据服务所使用的SQL语句嵌入到智能合约中，利用智能合约可编程的特点，可以定制相应的数据服务，数据治理平台提供智能合约的容器，用户只需要考虑智能合约执行的SQL，不需要对智能合约进行完整编程、分配节点、建立共识机制、提供存储等，大大减轻了用户的使用门槛，用户只需要会使用SQL即可创建属于自己的智能合约，提高了可用性。
数据资产通过<key,value>的形式记录联盟链的状态，根据智能合约的运行不停改变键值对的数据，从而保证当前的数据位最新数据，并将数据资产存储于数据提供者的本地数据库；数据资产经过标准化后，存储于数据提供者的本地数据库，和传统区块链或nft不同的是，数据资产的交易往往交易的是数据的使用权，而非所有权，如果需要数据导入，数据治理平台提供基于kafka的离线数据集成。
若想通过智能合约数据服务对已购买的数据资产进行查询，需要对上链的货币模型和数据资产模型进行设计，数据服务通过智能合约的方式进行提供，利用了智能合约的透明性、安全性、溯源性。数据提供者可以发布自己可以提供的数据服务，且只需要在数据治理平台上填写数据服务的配置信息和参数即可，数据治理平台根据信息自动生成SQL查询语句，确保SQL查询的安全性。智能合约运行在docker容器中，数据治理平台用户不需要对智能合约进行完整编程、分配节点、建立共识机制、提供存储等，大大减轻了用户的使用门槛。
用户只需要会使用SQL即可创建属于自己的智能合约，提高了可用性。利用数据治理平台结合用户发布的数据资产和链信息生成货币模型和数据资产模型；
其中货币模型为
M=<I,Hash(I),LastHash(I),U,Sign(U),A>；
I表示货币实际信息、Hash(I) 表示货币信息的Hash值、LastHash(I) 表示上一次货币信息改变的Hash值、U表示当前进行操作用户基本信息、Sign(U) 表示当前进行操作用户的数字签名、A表示货币拥有者的地址；
数据资产模型为
A=<i,Hash(i),LastHash(i),U,Sign(U),O,Sign(O),S,C>；
i表示数据资产交易的详细信息、Hash(i)表示数据资产交易的Hash值、LastHash(i)数据资产上一次交易的Hash值、U表示当前进行操作用户的基本信息、Sign(U)表示当前进行操作用户的数字签名、O表示数据拥有者的基本信息、Sign(O)表示数据拥有者的数字签名、S表示当前交易的状态、C表示智能合约配置信息。
把货币模型和数据资产模型放入区块链的块中，并与上一节点块链接，实现数据资产的上链。
步骤六，数据资产确权
首先获取上传数据资产的数据模型，并与已上链的数据资产进行比对，对上传数据资产进行验重和确权；为便于认识数据，提供上链数据资产的预览功能，确保用户交易数据是用户所需数据。
数据资产交易具有两种形式，第一种是以数据服务智能合约的形式，进行数据的查询检索操作，其通过PostgreSQL的外部表功能将SQL语句下探到数据拥有者的数据源中进行操作，并将结果返回，将查询结果反馈给买方；第二种是数据提供者愿意提供完整数据，数据治理平台提供离线数据集成，通过在数据购买者的数据源模型实例化作为接收表，利用kafka将实际数据传输到数据购买者的本地数据源，将原始数据通过离线数据集成交由买方，并在区块链中提供一套完备的数据确权流程，确保数据拥有者的收益。
步骤七，数据资产和货币资产双向交易
利用PBFT共识算法，采用事务的方式将交易流程作为一个整体进行实施，首先是申请交易并进行广播，数据购买者向数据提供者发起携带数字签名的交易申请，数据购买者B产生信息I后，在全网进行广播，区块链中的数据购买者节点PB加上联盟链上用户公钥K，则有所有信息节点PB|≡ PI（K）。
然后是同意或拒绝交易，同意交易则修改双方的数据资产，并加上双方的数字签名，表明对此交易负责，货币信息为M，数据资产信息为A，即节点发布信息PB|≡（M（PB），｛A（PB） PI（K）｝），此后将完成交易信息进行广播，拒绝交易不修改双方数据资产，加上双方数据签名，再附上拒绝标识R，即节点发布信息PB|≡（M（PB），R）；最后是验证交易，对所有节点进行进一步验证，防止篡改数据，作为事务的最后一个阶段，判断事务是否进行完备，保证数据资产和货币成功进行交换，数据购买者获得了数据资产，双方的货币量发生变化；验证成功后，事务结束，交易完成，验证失败则回滚到交易请求阶段。
由此，本实施例在数据资产交易时采用PBFT共识算法，将交易封装于事务当中，即交易只有成功与失败后回滚两种状态，防止了交易的不良节点作恶情况，形成了新的共识算法，实现数据资产和货币资产的交换。
综上所述，本实施例实现了一种多源异构数据资产依托区块链共享交易的方法，其实现为一种数据治理平台主要包括平台实现了标准化及非标准化数据元、数据模型的正向反向生成、元数据的采集与展示、元数据发布成数据资产、提供数据资产在区块链的存储与调用方法、智能合约提供数据服务的方式和数据资产的共享和交易方法；将多源异构数据源进行规范化的管理，形成可在区块链实际可用的数据资产，再利用区块链安全、自治、开放与可编程的特性，将数据资产所有权和控制权保留在数据拥有者手中，通过联盟链，实现数据资产的共享和交易。实现了标准化的数据管理、数据易流通与数据可控，从而最大化数据资产的价值。
实施例2：本实施例与实施例1基本相同，其区别在于：本实施例对数据治理平台进一步说明。
本实施例中数据治理平台为数据提供者提供收益分配配置，可以自行选择0%~80%的数据资产收益占比，在区块链货币交易中事务成功交易后，会将产生交易的货币资产自动加入数据提供者的账户，数据购买者也可以将数据资产继续进行交易，并获得剩余收益。
实施例3：本实施例与实施例1基本相同，其区别在于：本实施例对数据治理平台进一步说明。
数据治理平台提供给数据提供者数据脱敏工具，数据提供者对自己将要共享交易的数据进行脱敏处理，并选择提供预览的条数；数据购买者在数据治理平台上预览已提供经过脱敏后的数据。
数据购买者需要知道购买的数据是否是自己需要的数据，数据治理平台首先提供给数据提供者数据脱敏工具，数据提供者可以对自己将要共享交易的数据进行脱敏处理，并可以选择提供预览的条数。数据购买者可以在数据治理平台上预览已提供经过脱敏后的数据，且不需要消耗货币。

Claims (5)

1.一种多源异构数据资产依托区块链共享交易的方法，其特征在于：包括如下步骤
步骤一，构建数据治理平台
将用户的数据进行标准化处理，数据源管理利用postgresql的外部表特性，对传统的关系型数据库、数仓和文件存储进行外部表连接，实现多源异构数据源的统一访问接口；
步骤二，数据标准建立
通过数据治理平台配置数据标准，数据标准化采用Min-max标准化，用户能够自己建立标准化的数据元，并通过一个或多个标准化的数据元形成标准化的数据模型；
步骤三，数据模型双向生成及数据模型实例化
通过步骤二中的数据元，将一个或多个数据元进行组合生成数据模型，如果组成数据模型的数据元全部为标准数据元，那么数据模型就是标准数据模型；
在对多源异构数据源的采集中，将采集到的元数据表生成数据模型，并和标准数据模型进行匹配，如果匹配成功，则不新建数据模型，自动标记为标准数据模型；未匹配到则新建非标准数据模型，再将字段与标准数据元进行匹配，匹配到的标准数据元进行标记；
用户能够将标准和非标准模型进行实例化，自动在本地数据源建立实体表，实现数据提供者和需求者在统一的数据标准下进行共享和交易；
步骤四，获取数据源的元数据
数据治理平台将授权连接数据源的元数据采集至数据标准化平台的postgresql数据库中存储，并展示给用户；用户将采集的元数据发布成数据资产；
步骤五，数据资产上链
数据资产通过<key,value>的形式记录联盟链的状态，根据智能合约的运行不停改变键值对的数据，从而保证当前的数据位最新数据，并将数据资产存储于数据提供者的本地数据库；利用数据治理平台结合用户发布的数据资产和链信息生成货币模型和数据资产模型，
其中货币模型为
M=<I,Hash(I),LastHash(I),U,Sign(U),A>；
I表示货币实际信息、Hash(I) 表示货币信息的Hash值、LastHash(I) 表示上一次货币信息改变的Hash值、U表示当前进行操作用户基本信息、Sign(U) 表示当前进行操作用户的数字签名、A表示货币拥有者的地址；
数据资产模型为
A=<i,Hash(i),LastHash(i),U,Sign(U),O,Sign(O),S,C>；
i表示数据资产交易的详细信息、Hash(i)表示数据资产交易的Hash值、LastHash(i)数据资产上一次交易的Hash值、U表示当前进行操作用户的基本信息、Sign(U)表示当前进行操作用户的数字签名、O表示数据拥有者的基本信息、Sign(O)表示数据拥有者的数字签名、S表示当前交易的状态、C表示智能合约配置信息；
把货币模型和数据资产模型放入区块链的块中，并与上一节点块链接，实现数据资产的上链；
步骤六，数据资产确权
首先获取上传数据资产的数据模型，并与已上链的数据资产进行比对，对上传数据资产进行验重和确权；
步骤七，数据资产和货币资产双向交易
利用PBFT共识算法，采用事务的方式将交易流程作为一个整体进行实施，首先是申请交易并进行广播，数据购买者向数据提供者发起携带数字签名的交易申请，数据购买者B产生信息I后，在全网进行广播，区块链中的数据购买者节点PB加上联盟链上用户公钥K，则有所有信息节点PB|≡ PI（K）；
然后是同意或拒绝交易，同意交易则修改双方的数据资产，并加上双方的数字签名，表明对此交易负责，货币信息为M，数据资产信息为A，即节点发布信息PB|≡（M（PB），｛A（PB）PI（K）｝），此后将完成交易信息进行广播，拒绝交易不修改双方数据资产，加上双方数据签名，再附上拒绝标识R，即节点发布信息PB|≡（M（PB），R）；最后是验证交易，对所有节点进行进一步验证，防止篡改数据，作为事务的最后一个阶段，判断事务是否进行完备，保证数据资产和货币成功进行交换，数据购买者获得了数据资产，双方的货币量发生变化；验证成功后，事务结束，交易完成，验证失败则回滚到交易请求阶段。
2.根据权利要求1所述的多源异构数据资产依托区块链共享交易的方法，其特征在于：元数据的是描述数据的数据，记录了包括数据源、数据表、表字段、索引和约束信息。
3.根据权利要求1所述的多源异构数据资产依托区块链共享交易的方法，其特征在于：数据治理平台为数据提供者提供收益分配配置，可以自行选择0%~80%的数据资产收益占比，在区块链货币交易中事务成功交易后，会将产生交易的货币资产自动加入数据提供者的账户，数据购买者也可以将数据资产继续进行交易，并获得剩余收益。
4.根据权利要求1所述的多源异构数据资产依托区块链共享交易的方法，其特征在于：数据资产交易具有两种形式，第一种是以数据服务智能合约的形式，进行数据的查询检索操作，其通过PostgreSQL的外部表功能将SQL语句下探到数据拥有者的数据源中进行操作，并将结果返回；
第二种是数据提供者愿意提供完整数据，数据治理平台提供离线数据集成，通过在数据购买者的数据源模型实例化作为接收表，利用kafka将实际数据传输到数据购买者的本地数据源。
5.根据权利要求1所述的多源异构数据资产依托区块链共享交易的方法，其特征在于：数据治理平台提供给数据提供者数据脱敏工具，数据提供者对自己将要共享交易的数据进行脱敏处理，并选择提供预览的条数；数据购买者在数据治理平台上预览已提供经过脱敏后的数据。
CN202210098096.4A 2022-01-27 2022-01-27 一种多源异构数据资产依托区块链共享交易的方法 Active CN114528346B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210098096.4A CN114528346B (zh) 2022-01-27 2022-01-27 一种多源异构数据资产依托区块链共享交易的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210098096.4A CN114528346B (zh) 2022-01-27 2022-01-27 一种多源异构数据资产依托区块链共享交易的方法

Publications (2)

Publication Number Publication Date
CN114528346A CN114528346A (zh) 2022-05-24
CN114528346B true CN114528346B (zh) 2023-01-13

Family

ID=81622676

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210098096.4A Active CN114528346B (zh) 2022-01-27 2022-01-27 一种多源异构数据资产依托区块链共享交易的方法

Country Status (1)

Country Link
CN (1) CN114528346B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114691784B (zh) * 2022-06-01 2022-08-23 杭州量之智能科技有限公司 数据治理的共享平台、共享方法、设备及存储介质
CN115130124A (zh) * 2022-06-27 2022-09-30 中国信息通信研究院 一种数据资产的管理方法及数据资产主动管理系统
CN115239349B (zh) * 2022-09-22 2022-12-09 中航信移动科技有限公司 一种基于数字货币的民航事件处理系统
CN116823263A (zh) * 2023-08-21 2023-09-29 佛山众陶联供应链服务有限公司 一种针对于陶瓷行业交易资产证书数据要素实现的方法
CN117240605B (zh) * 2023-11-10 2024-02-02 北京中科江南信息技术股份有限公司 数据交易方法、装置、设备及存储介质
CN117592990B (zh) * 2024-01-04 2024-04-26 恒生电子股份有限公司 区块链交易认证方法以及装置、计算设备以及存储介质

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106651346A (zh) * 2016-11-28 2017-05-10 上海凯岸信息科技有限公司 基于区块链的征信数据共享与交易系统
CN107180350A (zh) * 2017-03-31 2017-09-19 唐晓领 一种基于区块链的多方共享交易元数据的方法、装置及系统
CN108964926A (zh) * 2018-08-28 2018-12-07 成都信息工程大学 异构联盟系统中基于二层区块链的用户信任协商建立方法
CN109040012A (zh) * 2018-06-19 2018-12-18 西安电子科技大学 一种基于区块链的数据安全保护和共享方法与系统和应用
KR20190053778A (ko) * 2017-11-10 2019-05-20 최우혁 블록체인 정보 관리 및 거래 지원 서비스 제공 방법
CN109871669A (zh) * 2019-03-14 2019-06-11 哈尔滨工程大学 一种基于区块链技术的数据共享解决方法
CN110084070A (zh) * 2019-04-21 2019-08-02 中国科学院信息工程研究所 一种基于区块链的制造业跨域异构数据的身份构建及溯源方法
CN110335147A (zh) * 2019-05-29 2019-10-15 西安电子科技大学 一种基于区块链的数字资产信息交换系统及方法
CN110472886A (zh) * 2019-08-22 2019-11-19 广州数知科技有限公司 一种基于区块链的数据治理系统
CN110910977A (zh) * 2019-11-12 2020-03-24 南京工业大学 一种融入区块链技术的医疗数据安全存储方法
CN112100265A (zh) * 2020-09-17 2020-12-18 博雅正链(北京)科技有限公司 面向大数据架构与区块链的多源数据处理方法及装置
CN112801778A (zh) * 2021-03-01 2021-05-14 华融融通（北京）科技有限公司 联盟式不良资产区块链
CN112951356A (zh) * 2021-03-23 2021-06-11 电子科技大学 一种基于联盟链的跨模态医疗数据联合共享方法
CN113708934A (zh) * 2021-07-22 2021-11-26 中国电力科学研究院有限公司 异构环境下基于区块链的能源互联网可信交互数据模型
CN113821564A (zh) * 2021-09-09 2021-12-21 湖南大学 异构并行区块链及其链上数据与链下合约协同方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10373159B2 (en) * 2016-12-07 2019-08-06 International Business Machines Corporation Concomitance of an asset and identity block of a blockchain
CN108876370B (zh) * 2018-06-12 2021-12-17 北京航空航天大学 一种异构多链架构下跨区块链共享开放数据的体系架构
CN109729168B (zh) * 2018-12-31 2021-10-01 浙江成功软件开发有限公司 一种基于区块链的数据共享交换系统及方法
CN112463843A (zh) * 2020-11-27 2021-03-09 国家电网有限公司大数据中心 基于区块链和数据资源目录的电网数据共享方法及系统
CN113364735B (zh) * 2021-05-01 2022-08-19 西安电子科技大学 多链场景下数据跨链访问控制方法、系统、设备及终端
CN113704353B (zh) * 2021-08-30 2022-12-09 西安交通大学 一种融合信息链和隐私链的区块链征信方法

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106651346A (zh) * 2016-11-28 2017-05-10 上海凯岸信息科技有限公司 基于区块链的征信数据共享与交易系统
CN107180350A (zh) * 2017-03-31 2017-09-19 唐晓领 一种基于区块链的多方共享交易元数据的方法、装置及系统
KR20190053778A (ko) * 2017-11-10 2019-05-20 최우혁 블록체인 정보 관리 및 거래 지원 서비스 제공 방법
CN109040012A (zh) * 2018-06-19 2018-12-18 西安电子科技大学 一种基于区块链的数据安全保护和共享方法与系统和应用
CN108964926A (zh) * 2018-08-28 2018-12-07 成都信息工程大学 异构联盟系统中基于二层区块链的用户信任协商建立方法
CN109871669A (zh) * 2019-03-14 2019-06-11 哈尔滨工程大学 一种基于区块链技术的数据共享解决方法
CN110084070A (zh) * 2019-04-21 2019-08-02 中国科学院信息工程研究所 一种基于区块链的制造业跨域异构数据的身份构建及溯源方法
CN110335147A (zh) * 2019-05-29 2019-10-15 西安电子科技大学 一种基于区块链的数字资产信息交换系统及方法
CN110472886A (zh) * 2019-08-22 2019-11-19 广州数知科技有限公司 一种基于区块链的数据治理系统
CN110910977A (zh) * 2019-11-12 2020-03-24 南京工业大学 一种融入区块链技术的医疗数据安全存储方法
CN112100265A (zh) * 2020-09-17 2020-12-18 博雅正链(北京)科技有限公司 面向大数据架构与区块链的多源数据处理方法及装置
CN112801778A (zh) * 2021-03-01 2021-05-14 华融融通（北京）科技有限公司 联盟式不良资产区块链
CN112951356A (zh) * 2021-03-23 2021-06-11 电子科技大学 一种基于联盟链的跨模态医疗数据联合共享方法
CN113708934A (zh) * 2021-07-22 2021-11-26 中国电力科学研究院有限公司 异构环境下基于区块链的能源互联网可信交互数据模型
CN113821564A (zh) * 2021-09-09 2021-12-21 湖南大学 异构并行区块链及其链上数据与链下合约协同方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Demo Abstract: Distributed, Scalable, and Transparent Data Management Framework for Energy Market: A Blockchain Approach;Kongrath Suankaewmanee等;《 2020 IEEE/ACM Fifth International Conference on Internet-of-Things Design and Implementation (IoTDI)》;20200521;272-273 *
基于联盟区块链的技术交易平台研究与设计;史梦娜等;《科技促进发展》;20211130;第17卷(第11期);1996-2004 *
融入区块链技术的大数据征信平台的设计与应用研究;琚春华等;《计算机科学》;20181130;第45卷;522-526,552 *

Also Published As

Publication number Publication date
CN114528346A (zh) 2022-05-24

Similar Documents

Publication Publication Date Title
CN114528346B (zh) 一种多源异构数据资产依托区块链共享交易的方法
US11995645B2 (en) Computer-implemented system and method for generating and extracting user related data stored on a blockchain
WO2022020772A1 (en) Non-fungible, cryptographic tokens for tracking trees
US8359328B2 (en) Party reputation aggregation system and method
Xu et al. A review of smart contracts applications in various industries: a procurement perspective
KR20210001896A (ko) 블록체인 기술을 기반으로 하여 피투피 방식의 전력거래를 중개하는 시스템
Maciel Use of blockchain for enabling Construction 4.0
AU2022201721A1 (en) Blockchain-based transaction system for green certificate
CN112685766A (zh) 基于区块链的企业征信管理方法、装置、计算机设备及存储介质
Belchior et al. Do you need a distributed ledger technology interoperability solution?
CN111597777B (zh) 物料数据处理方法、装置和电子设备
WO2020118859A1 (zh) 一种去中心化芯片研发交易数据存储方法及系统
CN107392736A (zh) 一种数据处理方法、装置及设备
KR20200091237A (ko) 블록체인 기술을 이용한 축산물 이력제 시스템
Xu et al. Manufacturing industry supply chain management based on the ethereum blockchain
CN110766422A (zh) 基于联盟链的药品协作及溯源系统和方法
Kumar et al. Blockchain and IoT based smart agriculture and food supply chain system
Bruschi et al. Tunneling trust into the blockchain: A merkle based proof system for structured documents
Lian Blockchain‐Based Secure and Trusted Distributed International Trade Big Data Management System
CN116596534A (zh) 基于区块链安全公平的一对多数据交易方法
JP6121151B2 (ja) 情報処理装置、情報処理方法、およびプログラム
CN114331729A (zh) 一种数据银行场景下双区块链架构的数据处理方法及装置
Qiao et al. Inventory financing model based on blockchain technology
CN113256305A (zh) 一种基于区块链的安检信息溯源系统
Zhao et al. BCTMSSF: a blockchain consensus-based traceability method for supply chain in smart factory

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
OL01 Intention to license declared
OL01 Intention to license declared