CN109033841A - 一种写验分离的弱中心化可信数据存储系统和管理方法 - Google Patents

Abstract

本发明公开了一种写验分离的弱中心化可信数据存储系统及管理方法，系统包括中心存储模块和客户端存储模块，所述中心存储模块包括中心数据库和区块链，所述中心数据库用于存储完整数据记录，所述区块链用于存储完整数据记录对应的数据指纹；所述客户端存储模块包括本地数据库和块头哈希链，所述本地数据库用于存储数据指纹哈希值的副本片段，所述块头哈希链为所有所述区块块头构成的数据链。中心化数据存储结合分布式、轻客户端式数据核验，兼具中心化模式的高效便捷性与去中心化模式的安全透明性。

Description

一种写验分离的弱中心化可信数据存储系统和管理方法

技术领域

本发明涉及数据处理领域，尤其是弱中心化可信数据管理方法及系统。

背景技术

传统的数据应用系统，形式上无论是单中心系统还是分布式系统，数据的管理权限都控制在单个实体中，就管理主体而言实质都是中心化的存储模式(CentralizedStorage Scheme，CSS)，即数据的存储、维护和查询都由中心来统一实施，所有数据副本之间的一致性也由中心来统一协调。该模式的优势是数据管理上的高效性，但存储的数据对外是一个“黑箱”，缺乏透明性与可监督性，客户只能被动接受，难以保证数据的真实性和正确性。社会信任本质上是一种公共认知，公众对CSS模式的信任主要源于对政府机关、明星企业以及社会名人的信任。尤其在网络环境下，其对象涉及整个应用系统服务链，公众对网络服务提供者的信任始终是公共信息服务的基础。但是，近年来因内鬼作案、系统漏洞或制度缺陷导致的用户数据遭篡改或泄露的事件时有发生，引发了民众对中心化存储模式的质疑，其公众信任问题面临巨大挑战。

新兴的区块链技术是一种加密的分布式记账技术，它由多方共同维护，以块链结构存储数据，并以密码学方式保证其不可篡改和不可伪造的去中心化的数据存储模式(Decentralized Storage Scheme，DSS)。在这种模式下，人人都可以是数据的读写方和见证人，没有绝对的中心，数据的共识性通过每个节点的完全冗余备份来实现。当某个节点被篡改时，它将显得“格格不入”，因而被排斥且不被承认。但DSS模式在展示高度安全、透明的同时，其内在的低效数据共识机制也造成时间、空间和能耗上的极大浪费。此外，作为一个完全分布式的自治系统，该模式缺乏一个可靠的、公正的责任组织来协调各方利益和处理各种紧急事务。即使各利益方代表组成所谓的利益共同体，出于对自身利益最大化的考虑，在规则制定和事务协调上，该组织也难以秉持客观公正的态度有效的发挥作用。近年来的“THE DAO事件”、“门头沟事件”和比特币的多次分叉，都集中反映出这种模式的潜在危机和内在缺陷。

许多学者也都表达出类似的观点，对两种数据存储模式，尤其是后一种新兴模式的低效机制和可能引发的社会问题、安全问题表示出担忧。例如，Xiwei X.，Cesare P.等人认为，作为非中心化的区块链技术，虽然增加了安全性和透明性，却无法保证信息的私密性，不利于保护个人隐私。Roman B.，Michel

A.等人则对完全去中心化存在的矿池算力集中导致的51％攻击危机、责任主体缺失导致的管理漏洞、低效共识机制导致的高时延和资源浪费等问题提出质疑。此外，近年来区块链行业安全事故频出，业界专家和学者普遍认为，在安全性未得到完全保障的前提下，目前距离区块链应用大规模落地还有很长的路要走。但这些研究在指出问题与忧虑的同时，并没有提出一个可行的替代模式和解决方案。

发明内容

针对现有技术的上述缺陷，本发明提供一种结合中心化数据存储和去中心化数据验证的写验分离的弱中心化可信数据存储系统及管理方法。

本发明能够以多种方式实现，包括方法、系统、设备、装置或计算机可读介质，在下面论述本发明的几个实施例。

一种写验分离的弱中心化可信数据存储系统，包括中心存储模块和客户端存储模块，所述中心存储模块包括中心数据库和区块链，所述中心数据库用于存储完整数据记录，所述区块链用于存储完整数据记录对应的数据指纹；所述客户端存储模块包括本地数据库和块头哈希链，所述本地数据库用于存储数据指纹哈希值的副本片段，所述块头哈希链为所有所述区块块头构成的数据链。

进一步地，所述区块块体加载有数据指纹记录，块头加载有由本区块数据指纹构成的默克尔树的根值和经中心签名的父区块块头哈希值。

进一步地，所述数据指纹可表示为Es(R)：Es(ID，H(Key)，H(Data))，其中ID表示记录号，由区块号和块内顺序号组成，H(Key)表示数据记录关键字的哈希值，H(Data)表示数据记录的哈希值，Es(ID，H(Key)，H(Data))表示中心端对ID、H(Key)、H(Data)的联合签名。

进一步地，所述区块链更新方式包括数量模式和时间模式，所述数量模式为单个区块加载固定数目的数据指纹记录，所述时间模式为周期性定时生成新区块。

一种写验分离的弱中心化可信数据管理方法，包括步骤：

(1-1)客户端更新块头哈希链；

(1)客户端向中心端发送待查验记录集合的检索字串；

(2)客户端接收中心端返回的对与待查验记录集合对应的全体关键字哈希值的联合哈希值和全体数据指纹的联合哈希值的数字签名；

(3)客户端指定待查验记录集合中的待查询记录和待更新记录；

(4)客户端接收中心端返回的联合数据和默克尔路径，所述联合数据包括与待查询记录对应的完整数据记录和与待更新记录对应的数据指纹哈希值副本片段，所述默克尔路径为对应数据记录从叶节点到根节点的可验证完整路径；

(5)客户端应用本地存储模块中的数据验证步骤(4)接收到的联合数据的合法性，并进一步验证步骤(2)接收到的联合数字签名的正确性，最后把接收到的与待更新记录对应的数据指纹哈希值副本片段更新至本地数据库中。

一种写验分离的弱中心化可信数据管理方法，包括步骤：

(1)中心端接收客户端发送的待查验记录集合的检索字串；

(2)中心端向客户端发送对与待查验记录集合对应的全体关键字哈希值的联合哈希值和全体数据指纹的联合哈希值的数字签名；

(3)中心端接收客户端指定的待查询记录和待更新记录请求；

(4)中心端向客户端发送联合数据和默克尔路径，所述联合数据包括与待查询记录对应的完整数据记录和与待更新记录对应的数据指纹哈希值副本片段，所述默克尔路径为对应数据记录从叶节点到根节点的可验证完整路径。

进一步地，所述待查验记录集合包括客户端本地数据库存储数据的随机子集、待查询记录集和待更新记录集。

进一步地，所述待查验记录集合的检索字串包括ID字串和H(Key)字串，ID表示记录号，由区块号和块内顺序号组成，H(Key)表示数据记录关键字的哈希值。

进一步地，所述待查询记录集采用H(Key)字串作为检索字串，所述待更新记录集采用ID字串作为检索字串，所述客户端本地数据库存储数据的随机子集采用H(Key)字串或ID字串作为检索字串。

进一步地，步骤(2)所述数字签名中两个联合哈希值对应的数据记录顺序，与步骤(1)所述待查验记录集合的检索字串对应的数据记录顺序一致。

本发明可实现的积极有益技术效果包括：(1)中心化数据存储结合分布式、轻客户端式数据核验，兼具中心化模式的高效便捷性与去中心化模式的安全透明性，并且很好的兼顾了隐私与监督之间的平衡；(2)中心端在接受客户端查验时，既不知道用户具体身份，也不知道集合查验中哪些数据指纹记录是用户已知的，该种双盲抽查方式可有效避免中心端选择性作弊，即可有效避免中心端根据客户端的查验历史推导客户端本地数据库存储的记录内容，进而有针对性地对客户未知的数据指纹记录作假；(3)客户端对中心端采取批量查验方式，而非一条一条的多次查验，批量查验方式大大提升了查验数量和查验速度，大幅降低了中心端与客户端间的通信量，可以有效提升系统的查验效果，降低中心端作弊漏查的概率；(4)记录查询、记录验证和本地数据库记录更新三种工作合为一体，该种数据管理方式有利于提升查验效率，可以有效避免中心端单独在查询环节或更新环节作弊。

本发明的其他方面和优点根据下面结合附图的详细的描述而变得明显，所述附图通过示例说明本发明的原理。

附图说明

本发明将通过例子并参照附图的方式说明，其中：

图1为本发明实施例提供的数据管理方法流程图；

图2为本发明实施例提供的区块链结构框图。

具体实施方式

本说明书中公开的所有特征，或公开的所有方法或过程中的步骤，除了互相排斥的特征和/或步骤以外，均可以以任何方式组合。

本说明书中公开的任一特征，除非特别叙述，均可被其他等效或具有类似目的的替代特征加以替换。即，除非特别叙述，每个特征只是一系列等效或类似特征中的一个例子而已。

一种写验分离的弱中心化可信数据存储系统，包括中心存储模块和客户端存储模块，所述中心存储模块包括中心数据库和区块链，所述中心数据库用于存储完整数据记录，包括数据记录R的记录号ID、关键字哈希值H(Key)、数据指纹Es(R)和数据本身Data四部分，所述区块链用于存储完整数据记录R对应的数据指纹Es(R)；所述客户端存储模块包括本地数据库和块头哈希链，所述本地数据库用于存储数据指纹哈希值的副本片段，包括部分数据记录R的ID、H(Key)和Es(R)三部分，所述块头哈希链为所有所述区块块头构成的数据链。所述中心存储模块的区块链为完整区块链，中心数据库的数据和区块链均是可更新的，且是同步对应更新。

区块链存储完整数据记录对应的数据指纹，利用区块链的数据结构“锁住”数据，一方面可以有效防止中心端随意篡改和伪造数据，另一方面也为下文的客户端分布式审查提供可查验凭证。形式上，传统中心化存储模式直接存储业务数据本身，只有数据没有链；基于区块链技术的去中心化数据存储模式中，所有的业务数据都存储于链上，数据就是链，链就是数据；弱中心化数据存储模式将数据与链分离，即像中心化存储模式一样独立存储完整的业务数据，同时在链上存储与业务数据相关的验证数据，实现数据的写验分离。

图2为本发明实施例提供的区块链结构框图，如图2所示，区块包括块体和块头，区块链每一区块的块体加载有若干数据指纹记录，区块头加载有由本区块所有数据指纹构成的默克尔树的根值和经中心签名的父区块块头哈希值。默克尔树记载本区块所有数据指纹的总哈希值，有利于在该区块中高效校验某一数据指纹记录的真实性。父区块块头哈希值是指前一区块块头的哈希值，存储父区块块头哈希值有助于锁定该区块的唯一前导区块，中心签名保证了数据来源的可靠性，为事后质证提供了依据。显然，区块链具有“牵一发而动全身”的特点，数据指纹记录按区块顺序被唯一依次锁定，保证了所有数据指纹记录的完整性、可追溯性和不可篡改性。块头还存储有本区块加载的数据指纹记录总数和本区块的时间戳信息。

数据指纹Es(R)：Es(ID，H(Key)，H(Data))，其中ID表示记录号，由区块号和块内顺序号两部分组成，Key表示数据记录的关键字，H(Key)表示数据记录关键字的哈希值，H(Data)表示数据记录的哈希值，Es(ID，H(Key)，H(Data)表示中心端对ID、H(Key)、H(Data)三部分的联合签名，是经中心签名的完整数据指纹。ID和H(Key)是记录的候选码，都具有全局唯一性，分别适用于不同的查验方式。

区块链更新方式包括数量模式和时间模式。数量模式为单个区块加载固定数目的数据指纹记录，例如单个区块固定加载1024条新的数据指纹记录。时间模式为周期性定时生成新区块，新区块包含从前一区块结束至新区块诞生期间所有新增的数据指纹记录。

一种写验分离的弱中心化可信数据管理方法，包括步骤：

(1-1)客户端更新块头哈希链；

(1)客户端向中心端发送待查验记录集合的检索字串；

(2)客户端接收中心端返回的对与待查验记录集合对应的联合关键字哈希值和联合数据指纹哈希值的数字签名；

(3)客户端指定待查询记录和待更新记录；

(4)客户端接收中心端返回的联合数据和默克尔路径，所述联合数据包括与待查询记录对应的数据记录和与待更新记录对应的数据指纹哈希值副本片段；

(5)客户端验证步骤(4)接收到的联合数据的合法性，并把接收到的与待更新记录对应的数据指纹哈希值副本片段更新至本地数据库中。

客户端保存有完整的块头哈希链，即保存有由所有区块块头构成的数据链。每次查询验证前，客户端先更新块头哈希链，即下载自上次更新以来中心端新增的区块块头数据，并依据先前保留的数据逐步验证新增区块块头数据的合法性与延续性。

图1为本发明实施例提供的写验分离的弱中心化可信数据管理方法流程图，如图1所示，包括步骤：

(1)中心端接收客户端发送的待查验记录集合的检索字串；

(2)中心端向客户端发送对与待查验记录集合对应的全体关键字哈希值的联合哈希值和全体数据指纹的联合哈希值的数字签名；

(3)中心端接收客户端指定的待查询记录和待更新记录请求；

(4)中心端向客户端发送联合数据和默克尔路径，所述联合数据包括与待查询记录对应的完整数据记录和与待更新记录对应的数据指纹哈希值副本片段，所述默克尔路径为对应数据记录从叶节点到根节点的可验证完整路径。

上述列举的数据管理方法步骤(1)中，待查验记录集合包括客户端本地数据库存储数据的随机子集、待查询记录集和待更新记录集。令待查验记录集合[R]＝[R_LDB]+[R′]+[R″]。其中，[R_LDB]表示客户端本地数据库中存储数据的随机子集，即客户端本地数据库存储的数据指纹哈希值副本片段的随机子集，它是验证集合的主体，占比通常在90％以上；[R′]表示本地数据库未存储的数字指纹记录的随机子集，它是待下载更新部分，只知道ID不知道Key值；[R″]为待查询记录集，只知道Key值不知道ID。

客户端匿名发送待查验记录集合的检索字串，检索字串包括ID字串和H(Key)字串，两种检索字串各占一半。ID表示记录号，由区块号和块内顺序号两部分组成，H(Key)表示数据记录关键字的哈希值。待查询记录集采用H(Key)字串作为检索字串，待更新记录集采用ID字串作为检索字串，客户端本地数据库存储数据的随机子集按剩余比例随机采用H(Key)字串或ID字串作为检索字串。

客户端根据块头哈希链信息随机生成区块号和块内顺序号，构成待更新记录的ID。其中，随机算法对区块的选择略具时间偏向，对最近更新区块具有较高的选择倾向，以确保新区块中所有数据记录的数据指纹能够被更多的客户端充分地分散保存，进一步防范中心在新区块中伪造同名记录副本。

上述列举的数据管理方法步骤(2)中，中心端返回对与待查验记录集合对应的全体关键字哈希值的联合哈希值和全体数据指纹的联合哈希值的数字签名。即中心端返回V_Es＝Es(H(∑H(Key(R_i)))，H(∑Es)R_i)))，H(∑H(Key(R_i)))表示与待查验记录集合对应的全体关键字哈希值依次串联构成的联合字串的哈希值，H(∑Es(R_i))表示与待查验记录集合对应的全体数据指纹依次串联构成的联合字串的哈希值。H(∑H(Key(R_i)))，H(ΣEs(R_i))中各数据记录的顺序与待查验记录集合的检索字串对应一致。弱中心化模式是一种轻客户端验证方式。我们以一个10亿条记录(2³⁰)的超大型数据中心为例，假设每个区块加载有2¹⁶条数据指纹记录，则共有2¹⁴个区块，默克尔树的存在性证明至多需要16个哈希路径节点，共17次哈希运算。若每天生成一个区块，需要约45年时间。若采用去中心化模式，该种数据规模下即使每条数据记录只有1KB，区块链网络的每个节点仅数据存储空间就超过1TB。而在弱中心化模式下，客户端本地数据库中数据指纹的大小与数据记录本身大小无关，每条数据指纹记录不超过100B；每个区块块头大小同样与块体大小无关，每个块头不超过100B。若每个用户的本地数据库中有10万条数据指纹记录，每次待查验记录集合为1000条，其中990条取自用户本地数据库，则用户单次漏查概率为0.1％。用户块头哈希链大小不超过16MB，本地数据库大小不超过10MB，单次通信量除待查询数据Data([R″]))自身外，额外数据不超过32KB，哈希计算约172次。显然，对于普通电脑或手机客户端而言，无论是存储量、计算量还是网络带宽都能够轻松胜任。

以上分析表明，弱中心化模式对于客户端而言是一种轻量级的、高效的、可信的数据存储模式。对于中心端而言，对比传统CSS模式，主要增加成本是单用户查询次数增大了约1000倍，除此外其他的计算和网络负担都可以忽略不计，而这种本地化的简单查询对中心端而言也完全是可接受的。

所述写验分离的弱中心化可信数据管理体系结合中心化数据存储模式与去中心化数据共识机制，实现了一种信用机制的创新。它在数据管理模式上创造了一种区别于区块链完全分布式管理和传统集中式管理之外的第三条路径——“弱中心化”模式，一方面保证数据真实与透明，具有区块链的不可篡改性和可追溯性，满足公众对数据可信度的需求；另一方面保证数据集中存储，满足政府或企业对数据存储效率和不完全公开数据的需求。该种模式下，数据公信力既不依赖于强力第三方的信用背书，也不依赖于无数完全冗余副本的低效共识，而是根源于大量客户端轻负载的分布式民主监督，并且很好地兼顾了效率、隐私与监督之间的平衡。

弱中心化的可信数据管理模式并非针对某个具体应用而设计，其具有广泛的应用前景，可用于存储日志、文件、合同、邮件、财务凭证、聊天记录等任何形式的数字化信息。

本发明的不同方面、实施例、实施方式或特征能够单独使用或任意组合使用。

本发明并不局限于前述的具体实施方式。本发明扩展到任何在本说明书中披露的新特征或任何新的组合，以及披露的任一新的方法或过程的步骤或任何新的组合。

Claims (10)

1.一种写验分离的弱中心化可信数据存储系统，其特征在于包括中心存储模块和客户端存储模块，所述中心存储模块包括中心数据库和区块链，所述中心数据库用于存储完整数据记录，所述区块链用于存储完整数据记录对应的数据指纹；所述客户端存储模块包括本地数据库和块头哈希链，所述本地数据库用于存储数据指纹哈希值的副本片段，所述块头哈希链为所有所述区块块头构成的数据链。

2.根据权利要求1所述的一种写验分离的弱中心化可信数据存储系统，其特征在于，所述区块块体加载有数据指纹记录，块头加载有由本区块数据指纹构成的默克尔树的根值和经中心签名的父区块块头哈希值。

3.根据权利要求1所述的一种写验分离的弱中心化可信数据存储系统，其特征在于，所述数据指纹可表示为Es(R)：Es(ID，H(Key)，H(Data))，其中ID表示记录号，由区块号和块内顺序号组成，H(Key)表示数据记录关键字的哈希值，H(Data)表示数据记录的哈希值，Es(ID，H(Key)，H(Data))表示中心端对ID、H(Key)、H(Data)的联合签名。

4.根据权利要求1所述的一种写验分离的弱中心化可信数据存储系统，其特征在于，所述区块链更新方式包括数量模式和时间模式，所述数量模式为单个区块加载固定数目的数据指纹记录，所述时间模式为周期性定时生成新区块。

5.一种写验分离的弱中心化可信数据管理方法，其特征在于，包括步骤：

(1-1)客户端更新块头哈希链；

(1)客户端向中心端发送待查验记录集合的检索字串；

(2)客户端接收中心端返回的对与待查验记录集合对应的全体关键字哈希值的联合哈希值和全体数据指纹的联合哈希值的数字签名；

(3)客户端指定待查验记录集合中的待查询记录和待更新记录；

(4)客户端接收中心端返回的联合数据和默克尔路径，所述联合数据包括与待查询记录对应的完整数据记录和与待更新记录对应的数据指纹哈希值副本片段，所述默克尔路径为对应数据记录从叶节点到根节点的可验证完整路径；

(5)客户端应用本地存储模块中的数据验证步骤(4)接收到的联合数据的合法性，并进一步验证步骤(2)接收到的联合数字签名的正确性，最后把接收到的与待更新记录对应的数据指纹哈希值副本片段更新至本地数据库中。

6.一种写验分离的弱中心化可信数据管理方法，其特征在于，包括步骤：

(1)中心端接收客户端发送的待查验记录集合的检索字串；

(2)中心端向客户端发送对与待查验记录集合对应的全体关键字哈希值的联合哈希值和全体数据指纹的联合哈希值的数字签名；

(3)中心端接收客户端指定的待查询记录和待更新记录请求；

(4)中心端向客户端发送联合数据和默克尔路径，所述联合数据包括与待查询记录对应的完整数据记录和与待更新记录对应的数据指纹哈希值副本片段，所述默克尔路径为对应数据记录从叶节点到根节点的可验证完整路径。

7.根据权利要求5或6所述的一种写验分离的弱中心化可信数据管理方法，其特征在于，所述待查验记录集合包括客户端本地数据库存储数据的随机子集、待查询记录集和待更新记录集。

8.根据权利要求5或6所述的一种写验分离的弱中心化可信数据管理方法，其特征在于，所述待查验记录集合的检索字串包括ID字串和H(Key)字串，ID表示记录号，由区块号和块内顺序号组成，H(Key)表示数据记录关键字的哈希值。

9.根据权利要求8所述的一种写验分离的弱中心化可信数据管理方法，其特征在于，所述待查询记录集采用H(Key)字串作为检索字串，所述待更新记录集采用ID字串作为检索字串，所述客户端本地数据库存储数据的随机子集采用H(Key)字串或ID字串作为检索字串。

10.根据权利要求5或6所述的一种写验分离的弱中心化可信数据管理方法，其特征在于，步骤(2)所述数字签名中两个联合哈希值对应的数据记录顺序，与步骤(1)所述待查验记录集合的检索字串对应的数据记录顺序一致。