CN118069595A - 基于区块链管理元数据的分布式存储系统存储及检索方法 - Google Patents

Abstract

本发明提供了一种基于区块链管理元数据的分布式存储系统存储及检索方法，所述存储方法包括：获取待存储文件；提取待存储文件中的关键词，并基于关键词，得到元数据特征字段；将待存储文件发送至分布式存储系统，以使分布式存储系统存储该待存储文件完成后，返回该待存储文件的检索哈希；其中，检索哈希用于在分布式存储系统中以内容寻址的方式检索该待存储文件；根据元数据特征字段和检索哈希，生成元数据，并按照区块链的数据格式记录，将元数据记录在区块链账本中；基于关键词，更新关键词索引表；其中，关键词索引表记录关键词以及关键词对应的元数据在区块链账本中所在的区块高度。本发明实现了存储文件的快速检索。

Description

基于区块链管理元数据的分布式存储系统存储及检索方法

技术领域

本公开涉及区块链技术领域，尤其涉及一种基于区块链管理元数据的分布式存储系统存储及检索方法。

背景技术

基于区块链的分布式存储系统具有存储可靠性高、成本低、流量压力小等优点，但是现有技术往往存在存储文件检索效率低、灵活性差、无法模糊搜索或模糊搜索效果差等的缺陷。其中，模糊搜索是与“精准搜索”相反的一个概念，顾名思义，是指搜索系统自动按照用户输入关键词的同义词进行模糊检索，从而得出较多的检索结果。

例如中国专利申请CN114450678A公开的专利“实现对异构数据源的联合查询访问”描述了用于交互式查询服务的技术，所述交互式查询服务使用户能够查询存储在联合数据源集合中的数据。交互式查询服务提供了使用户能够配置所述交互式查询服务来查询与用户相关的任何数量的异构数据源的接口。一旦被配置，交互式查询服务就可以接收并执行涉及存储在用户数据源的任何组合中的数据的查询，其中可以使用标准查询语言诸如结构化查询语言(SQL)或其他查询语言来表达查询。通过这种方式，用户可以轻松地从存储在任何数量的单独数据源中的数据中获得强大的洞察力，而无需执行繁琐的提取、转换和加载(ETL)操作或其他流程来首先整合数据以进行查询。但该申请的第一数据源的第一配置数据和第二数据源的第二配置数据的输入中涉及到元数据的位置，标识等，并且该申请中并未指出元数据的结构组成，而直接将SQL查询的至少第一部分转换为用于访问第一数据源的第一操作，并且将SQL查询的至少第二部分转换为用于访问第二数据源的第二操作；并且交互式查询服务使用查询引擎执行查询时，该查询引擎使用实施用于从第一数据源读取数据的功能性的连接器访问第一数据源。其元数据组织构成的不明确会导致搜索引擎在进行分布式搜索时带来结果的不准确和混乱问题。

中国专利申请CN114900354A提供了一种面向能源数据的分布式身份认证和管理方法及系统，该申请将分布式身份与能源大数据共享场景需求相结合，使用“零知识证明

+Pedersen承诺”，能够在能源数据共享的分布式场景中实现用户身份的分布式管理、身份凭证的隐私保护、违规用户身份的监管披露，用户身份与所属数据的权属绑定，解决了能源数据共享过程中对用户身份管理的隐私需求、监管需求，实现了用户身份与所属数据所有权的链上确权，保证用户对自身数据的所有权、管理权和支配权。但该申请仍然存在分布式身份认证系统的凭证信息以明文的形式呈现给验证方，无法满足用户身份的隐私需求，且分布式身份不能被监管，无法满足数据共享过程中主体违规行为监管披露的需求。

中国专利申请CN112954000A公开了一种区块链和IPFS技术的隐私信息管理方法及系统，该方法包括：获取用户发送的访问请求，所述访问请求包括用户ID和访问对象；通过查询区块链账本，验证用户是否具有访问权限；若具有访问权限，则从所述区块链账本中检索出所述访问对象对应的哈希记录，并根据所述哈希记录，访问存储在IPFS中的所述访问对象。因此，本发明通过建立独立的隐私信息管理机制来实现区块链网络隐私信息的保存、访问与权限管理受监管的区块链网络的敏感信息监管，不仅能够避免给区块链节点带来存储压力，还能够实现对多用户多类型的隐私信息的全面监管。但在我们需要利用区块链进行大量隐私文件的存储时，往往会辐射到产业控制链上的多用户交互问题，因此相应的大数据量隐私文件存储技术不仅仅涉及到文件存储方式的问题，还需考虑到多个用户的信息交互、信息访问等问题，因此该申请不能充分挖掘涉及多用户隐私文件存储技术的实际需求的缺陷。

中国专利申请CN115237937A公开了一种基于星际文件系统的分布式协同查询处理系统，包括版本与格式管理器、分布式查询引擎和后端存储IPFS；利用分布式查询引擎的灵活性和IPFS分散文件系统的可伸缩性特点；系统在每个用户端运行一个本地节点，多个节点形成一个对等网络；在本地存储中具有特定数据集的用户是该数据集的提供者，可以接受网络中其他用户对该数据集的查询；系统支持运用结构化查询语言，对数据分布式的读操作和写操作。本发明把数据集的服务、检索、更新和分发以分布式进行，存储成本低；拥有相同数据集的用户通过协作共享计算资源进行加速处理；内容寻址支持对数据集中用户感兴趣的特定分区进行细粒度访问。但该申请的数据共享与交易平台缺少对数据的协作查询与分析。虽然提供了多元化的数据利用方式，但都依赖特定中心服务提供者，存在对特定平台深度依赖的风险，缺少数据提供者之间的去中心化协作。

综上所述，目前需要一种技术方案以解决上述问题。

发明内容

针对上述问题，本发明提供一种基于区块链管理元数据的分布式存储系统存储及检索方法，解决了当下技术下进行分布式查询时元数据需要人工标注，标注不准确导致成本高企，模糊搜索时无法处理语义上的相似性导致搜索结果不准确等问题，且通过提取文件的元数据通过区块链进行管理以及采用分布式引擎，实现了存储文件的快速检索。

本发明的技术内容包括：

一种基于区块链管理元数据的分布式存储系统数据存储方法，应用一区块链服务节点，所述方法包括：

获取待存储文件；

提取待存储文件中的关键词，并基于所述关键词，得到元数据特征字段；

将待存储文件发送至分布式存储系统，以使所述分布式存储系统存储该待存储文件完成后，返回该待存储文件的检索哈希；其中，所述检索哈希用于在所述分布式存储系统中以内容寻址的方式检索该待存储文件；

根据元数据特征字段和检索哈希，生成元数据，并按照区块链的数据格式记录，将所述元数据记录在区块链账本中；

基于所述关键词，更新关键词索引表；其中，所述关键词索引表记录所述关键词以及所述关键词对应的元数据在区块链账本中所在的区块高度。

进一步地，所述待存储文件的文件类型包括：文本、图片、视频或音频。

进一步地，所述基于所述关键词，得到元数据特征字段，包括：

将待存储文件的数据转换成JSON数据格式；其中，所述待存储文件的文件类型为文本；

通过剔除JSON数据中的无效字符，得到过滤后数据；

提取过滤后数据中的关键字，并将与所述关键字相关的段落标记为待提取段落之后，对待提取段落进行信息提取和识别，形成元数据特征字段；

或，

采用OCR技术、图片识别技术、音频识别技术或机器学习技术提取待存储文件中的文本内容；其中，所述待存储文件的文件类型为图片、视频或音频；

将该文本内容转换成JSON数据格式；

通过剔除JSON数据中的无效字符，得到过滤后数据；

提取过滤后数据中的关键字，并将与所述关键字相关的段落标记为待提取段落之后，对待提取段落进行信息提取和识别，形成元数据特征字段；

进一步地，所述根据元数据特征字段和检索哈希，生成元数据，并按照区块链的数据格式记录，将所述元数据记录在区块链账本中，包括：

针对元数据特征字段、检索哈希和当前时间戳的组合，通过SHA256算法计算哈希值，以得到指纹信息；

将元数据特征字段、检索哈希、当前时间戳、指纹信息组合，生成元数据；

对元数据进行数字签名后打包成交易广播到区块链网络中；

区块链网络节点将交易打包到区块中，经共识后记录在区块链账本中。

一种基于区块链管理元数据的分布式存储系统数据检索方法，其特征在于，所述方法包括：

获取用户搜索信息，并对所述用户搜索信息进行分词操作，得到分词结果。

建立分词结果与关键字索引表的索引关系，并对索引关系进行分片处理；其中，所述关键字索引表基于权利要求1至4任一项的基于区块链管理元数据的分布式存储系统数据存储方法得到；

基于索引分片，生成查询任务；

结合负载均衡策略，将查询任务发送至区块链服务节点的分布式搜索引擎，以使所述分布式搜索引擎基于所述索引分片进行检索，得到满足所述用户搜索信息的元数据；

读取满足所述用户搜索信息的元数据中的检索哈希，并将所述检索哈希发送至分布式存储系统，以使所述分布式存储系统基于所述检索哈希进行检索，得到并返回检索得到的原始文件。

进一步地，所述分布式搜索引擎基于所述索引分片进行检索，得到满足所述用户搜索信息的元数据，包括：

根据索引分片获取关键字对应元数据所在的区块高度集和；

读取所述区块高度集和中的元数据集和；

将用户搜索信息与元数据集和中的元数据进行匹配，获得用户搜索信息的元数据。

一种基于区块链管理元数据的分布式存储系统数据检索装置，所述装置包括：

数据获取模块，用于获取用户待存储文件或搜索信息；

特征提取模块，用于提取待存储文件中的关键词，并基于所述关键词，得到元数据特征字段；

元数据生成模块，用于将待存储文件发送至分布式存储系统，以得到对应的检索哈希；根据元数据特征字段和检索哈希，生成元数据，并按照区块链的数据格式记录，将所述元数据记录在区块链账本中；

索引表更新模块，用于基于所述关键词，更新关键词索引表；其中，所述关键词索引表记录所述关键词以及所述关键词对应的元数据在区块链账本中所在的区块高度；

分词模块，用于对所述用户搜索信息进行分词操作，得到分词结果；

分片模块，用于建立分词结果与关键字索引表的索引关系，并对索引关系进行分片处理；

任务生成模块，用于基于索引分片，生成查询任务；

信息检索模块，用于结合负载均衡策略，将查询任务发送至分布式搜索引擎，以使所述分布式搜索引擎基于所述索引分片进行检索，得到满足所述用户搜索信息的元数据；读取满足所述用户搜索信息的元数据中的检索哈希，并将所述检索哈希发送至分布式存储系统，以使所述分布式存储系统基于所述检索哈希进行检索，得到并返回检索得到的原始文件。

一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现上述任一项所述方法。

一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现上述任一项所述方法。

本公开实施例提供的技术方案可以包括以下有益效果：

(1)本发明通过构建以异构数据聚合引擎对多源异构数据进行特征抽取，实现自动标注后转化成符合区块数据格式的元数据，有效解决了需要耗费大量的时间和人力进行数据标注的问题，并且异构数据聚合引擎所标注的数据不仅可以在数据类型发生改变时无需重新进行分类和标注，而且由于元数据中存在专属的唯一标识和关键字字段，可以保证元数据的完整性和准确性。其中，异构数据聚合引擎：将各种不同结构，不同类型的原始数据进行处理后提炼出同一元数据格式的处理程序。

(2)本发明通过分布式搜索引擎，在模糊搜索技术和元数据搜索技术的基础上，引入区块链相关技术，实现了元数据与搜索引擎，搜索结果直接的绑定，并且将多样化的数据源处理统一处理成通用数据，有效解决模糊搜索中关键字分词处理不当导致结果不准确，相似词义混淆，上下文处理不准确等问题。

附图说明

图1是根据一示例性实施例示出的基于区块链管理元数据的分布式存储系统存储及检索方法的流程图。

具体实施方式

下面将结合附图详细地对示例性实施例进行描述说明。

本发明提供了一种交互式查询形式的分布式存储系统快速检索方法，其整体架构如图1所示，所述的步骤如下：

(1)获取需要存储在分布式存储系统中的文件，文件类型可以为文本、图片、视频、音频等。

(2)将上述待存储文件导入异构数据聚合引擎，抽取待存储文件的特征数据。具体可分为以下步骤：

a.数据格式转换：将待存储文件的数据转换成JSON数据格式。

b.数据过滤：将JSON数据中的无效字符进行剔除。

c.特征内容及关键字提取：对于文本类文件，使用知识图谱等方法将过滤后数据中的关键字提取出来，并遍历文本段落，将与关键字相关的段落标记为待提取段落。采用目标识别等方法对待提取段落进行信息提取和识别，形成元数据特征字段；对于图片、视频等多媒体文件，采用OCR、图片识别、音频识别、机器学习等技术提取文件中的文本内容，按照文本类文件的处理方法形成关键字和元数据特征字段。其中。知识图谱是人工智能的重要分支技术，它在2012年由谷歌提出，是结构化的语义知识库，用于以符号形式描述物理世界中的概念及其相互关系，其基本组成单位是“实体—关系—实体”三元组，以及实体及其相关属性—值对，实体间通过关系相互联结，构成网状的知识结构。其中，元数据是描述数据的数据，对数据及信息资源的描述性信息。元数据(Metadata)是描述其它数据的数据(dataabout other data)，或者说是用于提供某种资源的有关信息的结构数据(structureddata)。元数据是描述信息资源或数据等对象的数据，其使用目的在于：识别资源；评价资源；追踪资源在使用过程中的变化；实现简单高效地管理大量网络化数据；实现信息资源的有效发现、查找、一体化组织和对使用资源的有效管理。由于元数据也是数据，因此可以用类似数据的方法在数据库中进行存储和获取。如果提供数据元的组织同时提供描述数据元的元数据，将会使数据元的使用变得准确而高效。用户在使用数据时可以首先查看其元数据以便能够获取自己所需的信息。

(2)将待存储文件存入分布式存储系统，分布式存储系统存储完成后返回该文件的检索哈希，用于在分布式存储系统中以内容寻址的方式检索该文件。

(3)根据元数据特征字段和检索哈希，生成元数据，按照区块链的数据格式记录在区块链账本中，具体步骤如下：

a.将元数据特征字段、检索哈希、当前时间戳组合，通过SHA256算法计算哈希值，获得指纹信息。将元数据特征字段、检索哈希、当前时间戳、指纹信息组合，生成最终的元数据。

b.对元数据进行数字签名后打包成交易广播到区块链网络中。

c.区块链网络节点将交易打包到区块中，经共识后记录在区块链账本中。

(4)更新关键词索引表，记录关键词以及关键词所对应文件元数据所在的区块高度。

(5)在文件检索环节，针对并发的多个检索请求，将分布式搜索引擎部署在多个服务器实现分布式搜索功能。其中分布式检索可分为以下步骤：

a.利用分词器对用户搜索信息进行分词操作，得到分词结果。其中，分词器是一种把一段文本中的词按规则取出所包含的所有词的工具。

b.建立分词与关键字索引表的索引关系并对索引进行分片处理。

c.任务分发模块根据查询任务和负载均衡策略，分布式搜索引擎发送查询任务。其中，该负载均衡是一种计算机网络技术，用来在多个计算机(计算机集群)、网络连接、CPU、磁碟驱动器或其他资源中分配负载，以达到最佳化资源使用、最大化吞吐率、最小化响应时间、同时避免过载的目的。

d.分布式搜索引擎异步读取索引分片，根据查询任务中的索引分片获取关键字对应元数据所在的区块高度集和，读取对应区块高度中的元数据集和，并将用户搜索信息与集和中的元数据进行匹配，获得满足检索要求的元数据。

e.读取元数据中的内容寻址哈希，发送至分布式存储系统，调取存储的原始文件。

(6)若存储的原始文件删除，通过该文件的内容寻址哈希在区块链账本中检索对应的元数据，通过智能合约将元数据状态设置为废止，并删除关键字索引表信息中对应的区块高度记录。其中，智能合约是一段写在区块链上的代码，一旦某个事件触发合约中的条款，代码即自动执行。也就是说，满足条件就执行，不需要人为操控。

综上所述，本发明设计了一个异构数据聚合引擎和分布式检索引擎，可以将存储在分布式存储系统中的文件进行自动标注和元数据抽取，并将元数据利用区块链存证和管理。异构数据聚合引擎以及分布式检索引擎支持异步执行，可以有效的利用当下系统中的各种资源处理聚合事务。本发明中生成的元数据具有唯一标识值、关键字、内容寻址哈希等信息，可以完备的覆盖关键字与数据之间的语义差异，提升搜索的准确性；且由于本发明中的元数据是统一数据格式，可以有效的避免数据多样性导致模糊搜索失效的问题。

本领域技术人员在考虑说明书及实践本公开后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。实施例仅被视为示例性的，本公开也并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。

Claims (9)

1.一种基于区块链管理元数据的分布式存储系统数据存储方法，其特征在于，应用一区块链服务节点，所述方法包括：

获取待存储文件；

提取待存储文件中的关键词，并基于所述关键词，得到元数据特征字段；

将待存储文件发送至分布式存储系统，以使所述分布式存储系统存储该待存储文件完成后，返回该待存储文件的检索哈希；其中，所述检索哈希用于在所述分布式存储系统中以内容寻址的方式检索该待存储文件；

根据元数据特征字段和检索哈希，生成元数据，并按照区块链的数据格式记录，将所述元数据记录在区块链账本中；

基于所述关键词，更新关键词索引表；其中，所述关键词索引表记录所述关键词以及所述关键词对应的元数据在区块链账本中所在的区块高度。

2.如权利要求1所述的基于区块链管理元数据的分布式存储系统数据存储方法，其特征在于，所述待存储文件的文件类型包括：文本、图片、视频或音频。

3.如权利要求2所述的基于区块链管理元数据的分布式存储系统数据存储方法，其特征在于，所述基于所述关键词，得到元数据特征字段，包括：

将待存储文件的数据转换成JSON数据格式；其中，所述待存储文件的文件类型为文本；

通过剔除JSON数据中的无效字符，得到过滤后数据；

提取过滤后数据中的关键字，并将与所述关键字相关的段落标记为待提取段落之后，对待提取段落进行信息提取和识别，形成元数据特征字段；

或，

采用OCR技术、图片识别技术、音频识别技术或机器学习技术提取待存储文件中的文本内容；其中，所述待存储文件的文件类型为图片、视频或音频；

将该文本内容转换成JSON数据格式；

通过剔除JSON数据中的无效字符，得到过滤后数据；

提取过滤后数据中的关键字，并将与所述关键字相关的段落标记为待提取段落之后，对待提取段落进行信息提取和识别，形成元数据特征字段。

4.如权利要求1所述的基于区块链管理元数据的分布式存储系统数据存储方法，其特征在于，所述根据元数据特征字段和检索哈希，生成元数据，并按照区块链的数据格式记录，将所述元数据记录在区块链账本中，包括：

针对元数据特征字段、检索哈希和当前时间戳的组合，通过SHA256算法计算哈希值，以得到指纹信息；

将元数据特征字段、检索哈希、当前时间戳、指纹信息组合，生成元数据；

对元数据进行数字签名后打包成交易广播到区块链网络中；

区块链网络节点将交易打包到区块中，经共识后记录在区块链账本中。

5.一种基于区块链管理元数据的分布式存储系统数据检索方法，其特征在于，应用一区块链服务节点，所述方法包括：

获取用户搜索信息，并对所述用户搜索信息进行分词操作，得到分词结果。

建立分词结果与关键字索引表的索引关系，并对索引关系进行分片处理；其中，所述关键字索引表基于权利要求1至4任一项的基于区块链管理元数据的分布式存储系统数据存储方法得到；

基于索引分片，生成查询任务；

结合负载均衡策略，将查询任务发送至区块链服务节点的分布式搜索引擎，以使所述分布式搜索引擎基于所述索引分片进行检索，得到满足所述用户搜索信息的元数据；

读取满足所述用户搜索信息的元数据中的检索哈希，并将所述检索哈希发送至分布式存储系统，以使所述分布式存储系统基于所述检索哈希进行检索，得到并返回检索得到的原始文件。

6.如权利要求5所述的基于区块链管理元数据的分布式存储系统数据检索方法，其特征在于，所述分布式搜索引擎基于所述索引分片进行检索，得到满足所述用户搜索信息的元数据，包括：

根据索引分片获取关键字对应元数据所在的区块高度集和；

读取所述区块高度集和中的元数据集和；

将用户搜索信息与元数据集和中的元数据进行匹配，获得用户搜索信息的元数据。

7.一种基于区块链管理元数据的分布式存储系统数据检索装置，其特征在于，所述装置包括：数据获取模块，用于获取用户待存储文件或搜索信息；

特征提取模块，用于提取待存储文件中的关键词，并基于所述关键词，得到元数据特征字段；

元数据生成模块，用于将待存储文件发送至分布式存储系统，以得到对应的检索哈希；根据元数据特征字段和检索哈希，生成元数据，并按照区块链的数据格式记录，将所述元数据记录在区块链账本中；

索引表更新模块，用于基于所述关键词，更新关键词索引表；其中，所述关键词索引表记录所述关键词以及所述关键词对应的元数据在区块链账本中所在的区块高度；

分词模块，用于对所述用户搜索信息进行分词操作，得到分词结果；

分片模块，用于建立分词结果与关键字索引表的索引关系，并对索引关系进行分片处理；

任务生成模块，用于基于索引分片，生成查询任务；

信息检索模块，用于结合负载均衡策略，将查询任务发送至分布式搜索引擎，以使所述分布式搜索引擎基于所述索引分片进行检索，得到满足所述用户搜索信息的元数据；读取满足所述用户搜索信息的元数据中的检索哈希，并将所述检索哈希发送至分布式存储系统，以使所述分布式存储系统基于所述检索哈希进行检索，得到并返回检索得到的原始文件。

8.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7任一项所述方法。

9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现如权利要求1至7任一项所述方法。