CN113726873B - 基于区块链的文件处理方法、系统、设备和存储介质 - Google Patents

Abstract

本发明涉及内容分发网络技术领域，提供基于区块链的文件处理方法、系统、设备和存储介质，其方法包括以下步骤：获取区块链节点信息构建得到邻接表；获取查询请求，结合查询请求以及邻接表在区块链节点中进行目标文件搜索；判断目标文件是否存储于单个区块链节点中，若是，则返回目标文件的第一存储信息；根据第一存储信息下载得到目标文件；或判断目标文件是否包括若干文件分片并且文件分片存储于若干区块链节点中，若是，则返回文件分片的第二存储信息；根据第二存储信息下载得到目标文件；方法能够有效减少计算资源的占用，以提高目标文件的反馈速度，处理效率更高，并且对存储空间资源和网络信道资源的利用率更高，可广泛应用于内容分发网络技术领域。

Description

基于区块链的文件处理方法、系统、设备和存储介质

技术领域

本发明涉及内容分发网络技术领域，尤其涉及基于区块链的文件处理方法、系统、设备和存储介质。

背景技术

内容分发网络(Content Delivery Network，CDN)是构建在现有网络基础之上的智能虚拟网络，依靠部署在不同地区的边缘服务器或设备节点，通过中心平台的负载均衡、内容分发、调度等功能模块，使用户就近获取所需内容，降低网络拥塞，提高用户访问响应速度。基于CDN或者基于区块链的数据文件的分发方案或者采用分布式架构固然能够提高响应速度以及避免网络拥塞，但在现有的相关技术方案中仍存在着以下的缺陷：其一，现有基于CDN或者基于区块链的数据文件分发方案或分布式架构存在着资源过度冗余的问题，通过将文件进行备份并将资源副本分散存储在各个边缘设备中，容易造成存储空间的过渡浪费，并且目标文件下载速度较慢；其二，资源访问的响应速度或者下载速度仍有待提高，由于通信协议不统一以及节点间访问方式繁琐等原因，导致访问或下载资源的响应速度较慢。

发明内容

本发明实施例的主要目的在于提出一种存储空间资源利用率更高、响应速度更快并且基于区块链的文件处理方法，以及能够实现该方法系统、设备以及相应的存储介质。

为实现前述目的，本发明实施例提供了基于区块链的文件处理方法，所述方法包括以下步骤：

获取区块链节点信息，并根据所述区块链节点信息构建得到邻接表；

获取查询请求，结合所述查询请求以及所述邻接表在区块链节点中进行目标文件搜索；

判断所述目标文件是否存储于单个所述区块链节点中，若是，则返回所述目标文件的第一存储信息；根据所述第一存储信息，下载得到所述目标文件；

或，

判断所述目标文件是否包括若干文件分片且所述文件分片存储于若干所述区块链节点中，若是，则返回所述文件分片的第二存储信息；根据所述第二存储信息，下载得到所述目标文件。

为实现前述目的，本发明实施例还提供了基于区块链的文件处理系统，所述系统包括：

节点管理模块，用于获取区块链节点信息，并根据所述区块链节点信息构建得到邻接表；

数据传输模块，用于获取查询请求，结合所述查询请求以及所述邻接表在区块链节点中进行目标文件搜索；

资源管理模块，用于判断所述目标文件是否存储于单个所述区块链节点中，若是，则返回所述目标文件的第一存储信息；根据所述第一存储信息下载得到所述目标文件；或，判断所述目标文件是否包括若干文件分片并且所述文件分片存储于若干所述区块链节点中，若是，则返回所述文件分片的第二存储信息；根据所述第二存储信息，下载得到所述目标文件；

资源存储模块，用于存储所述目标文件和/或所述文件分片。

为实现前述目的，本发明实施例还提供了基于区块链的文件处理设备，所述设备包括存储器、处理器、存储在所述存储器上并可在所述处理器上运行的程序以及用于实现所述处理器和所述存储器之间的连接通信的数据总线，所述程序被所述处理器执行时实现前述方法的步骤。

为实现上述目的，本发明提供了一种存储介质，用于计算机可读存储，所述存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现前述方法的步骤。

本发明的优点和有益效果将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到：

本发明提出的基于区块链的文件处理方法、系统、设备和存储介质，首先根据区块链中各节点信息生成邻接表，且将该邻接表存储在区块链的所有节点中；在获取资源查询请求之后，根据邻接表中记录的节点信息在该区块链中进行资源搜索，通过邻接表中记录的节点信息能够有效地缩小目标文件的搜索范围，能够有效减少因全局搜索而导致计算资源的占用，以提高目标文件的反馈速度，处理效率更高；在目标文件下载的过程中，方案根据目标文件在区块链中存储方式不同，可以直接从节点中下载得到目标文件，或者从多个节点中下载得到若干文件分片再通过文件分片整合得到目标文件，以此实现在文件下载过程中的任务去重，以提高文件下载速度，并且减少了不必要的文件副本的拷贝存储，存储空间资源利用率更高，分布式网络的信道、链路等资源的利用效率也更高。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的基于区块链的文件处理方法的步骤流程图。

图2为本发明实施例提供的一种基于区块链的文件处理方法的实施过程示意图。

图3为本发明实施例提供的基于区块链的文件处理系统结构示意图。

图4为本发明实施例提供的基于区块链的文件处理设备结构示意图。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

在后续的描述中，使用用于表示元件的诸如“模块”、“部件”或“单元”的后缀仅为了有利于本发明的说明，其本身没有特有的意义。因此，“模块”、“部件”或“单元”可以混合地使用。

如背景技术部分的表述，在相关技术中，基于CDN或者基于区块链的数据文件分发方案或分布式架构存在着资源过度冗余和响应速度较慢的问题；除此之外，由于相关技术在搭建分布式网络或者系统架构时，由于闭门造车而导致网络通信协议不统一，分布式的网络与网络之间、不同网络的节点之间因为协议的不统一导致相互之间独立且无法进行数据的传输交换，无法形成大型通用分布式网络。

基于前述现有技术方案中所存在的技术缺陷，本申请技术方案可以通过IPFS(InterPlanetaryFile System)协议与区块链技术相融合，以形成基于分布式内容分发网络的文件处理方案。

区块链在本申请的技术方案中，从本质上讲是作为一个共享数据库，存储于其中的数据或文件，具有不可伪造、全程留痕、可以追溯、公开透明以及集体维护等特征。基于这些特征，区块链技术奠定了坚实的信任基础，创造了可靠的合作机制。

星际文件系统(InterPlanetaryFile System，IPFS)协议是一种基于区块链技术的媒体协议，用分布式储存和内容寻址技术，把点对点的单点传输改变成多点对多点(P2P)的传输。IPFS协议的目标是取代传统的HTTP协议，打造一个更加开放、快速、安全的互联网。

在区块链和IPFS协议的基础上，如图1所示，本申请技术方案的实施例提供了一种基于区块链的文件处理方法，该方法主要包括步骤S100-S300：

步骤S100：获取区块链节点信息，并根据区块链节点信息构建得到邻接表；

其中，区块链节点是一个区块链最大数据结构中的单个部分，在本实施例中，区块链节点主要承担着存储资源文件，以及根据用户的具体指令对存储的文件进行访问、预览以及下载等操作；实施例所获取的区块链的节点信息为生成区块链新区块或者新节点所必要的信息或数据，该信息或数据包括但不限于节点的IP地址、实时地理位置以及身份标识信息以及生成区块链区块的必要信息，例如用于判断新区块合法性的签名、判断新区块中文件或事务有效性的信息摘要以及哈希值等。实施例中，邻接表是存储在区块链节点中，用于记录其他节点进本信息的列表，其同样记录其他节点的IP地址以及实时地理位置；并且，该邻接表还可以记录每一个点到其他点之间的链路质量，例如，节点之间的往返时延以及丢包率等；根据链路质量或者地理位置距离将其他区块链节点进行排序或筛选并记录在节点本地的邻接表中。根据实施例中IPFS协议的特征，实施例中的邻接表还可以记录其他区块链节点中所保存的文件资源的信息。

具体地，实施例中，当一个新的区块链节点启动时，该区块链节点将在整个区块链网络中将该节点的基本信息，例如IP地址、实时地理位置以及身份验证等信息进行广播，区块链网络中的其他节点在接收到广播信息之后，确定与新的区块链节点之间网络通信的链路质量、与新的区块链节点的实际位置距离以及新的区块链节点中所存储的资源文件的信息，例如哈希值或消息摘要等内容记录在节点本地中的邻接表中。

需要说明的是，实施例中通过IPFS协议的机制向区块链添加一个新的事务块时，例如下载目标文件的事务块，实施例将该事务块传输到区块链网络的所有节点；其他节点根据块的合法性、签名和事务的有效性，节点可以接受或拒绝该新区块。当区块链节点接受一个新的事务块时，所有的节点都将存储该事务块并将此事务历史传输并扩展到可能需要与区块链同步的其他节点。

步骤S200：获取查询请求，结合查询请求以及邻接表在区块链节点中进行目标文件搜索；

在实施例中，查询请求是用户经由某个区块链节点的设备发起的搜索或查询目标资源文件的指令，当该指令发起之后，实施例将根据当前节点的邻接表记录的目标文件的存储地址，确定存储该目标文件的区块链节点；并且，根据邻接表中存储的其他区块链节点的信息进行目标文件资源的寻址，以访问查询请求中的目标文件或目标资源，可以根据需求由节点根据发送下载指令生成新的下载任务记录在区块链的区块中，并进行文件资源的下载。

可以理解的是，实施例是基于区块链网络实现内容分发处理，根据区块链的特征，在实施例中，每个节点所发起的访问下载等请求，都会产生新的区块或者事务块，并在区块链的所有节点中进行广播，由其他的区块链节点对该新区块或者事务块的合法性进行验证，验证的过程包括但不限于验证新区块或者事务块的数字签名或者信息摘要的方式，确定该新区块或者事务块合法，则将该新区块或者事务块加入至已有的区块链中，并存储在各个区块链节点中。

示例性地，基于实施例的IPFS协议，实施例中的区块链节点在上传并存储文件资源至本地时，可以根据文件资源的内容生成一个哈希值，并在区块链中通过广播的方式将该哈希值记录在其他区块链节点的邻接表中。在节点接收到目标文件的查询指令之后，将在区块链中新建一项文件查询的事务项，在其他节点对该事务项进行合法性验证并通过之后，再将该事务项记录至区块链中；在目标文件搜索的过程中，将根据目标文件的哈希值来进行索引，首先对目标文件的哈希值进行检验，确认该文件的哈希值是否有相应的存储记录，若存在相应哈希值的存储记录，根据哈希值确定存储该目标文件的区块链节点，访问该节点中存储的目标文件。

步骤S300：根据目标文件的存储信息，下载得到目标文件；

具体地，在实施例中，在进行文件上传、上链或者进行本地存储之前，实施例可以根据预设的文件分类方式，对需要上传、上链或者进行本地存储的文件进行分类，并针对不同分类下的文件采取不同的存储方式；其中，文件分类的方式包括但不限于根据文件的大小进行分类、根据处理该文件事务(例如渲染)所需占用的算力的多少进行分类或者根据每个区块链节点所能提供的最大存储空间或计算资源分配对应的文件资源。而根据不同的存储方式，为获取完整的目标文件资源，则需要通过不同的方式进行资源的下载或者整合。

在实施例中，根据目标文件的大小以及存储方式的不同，步骤S300可以包括步骤S310-S320：

步骤S310：判断目标文件是否存储于单个区块链节点中，若是，则返回目标文件的第一存储信息；根据第一存储信息下载得到目标文件；

其中，目标文件的第一存储信息，是指文件在分布式系统中所存储的位置，而具体在本实施例中，则是指存储目标文件所存储的某一个区块链节点的节点信息，该节点信息是记录在节点的邻接表之中。

示例性地，当实施例中根据文件的大小进行分类时，以1MB为分类阈值，若文件资源存储过程中，通过节点本地预设的分类算法确定了文件资源不大于1MB，则将该文件资源直接保存至单个区块链节点存储空间；根据直接获取得到的目标文件查询指令或者通过广播的方式获取得到的其他区块链节点发送的目标文件查询指令，节点对该查询指令进行响应，并根据实施例中的网络通信协议建立用于访问该目标文件的数据传输链路，该网络通信协议包括但不限于HTTP协议和IPFS协议。需要对目标文件下载时，则根据二次指令，例如文件下载指令，启动目标文件下载的事务项，通过相应的数据传输链路进行目标文件的下载，并对这一下载事务项进行记录。

此外，在文件上传的过程中，确定了文件资源不大于1MB，则可以直接将文件资源保存至本地，根据文件查询指令或者文件下载指令，从节点本地的存储空间直接调用该目标文件。

步骤S320：判断目标文件是否包括若干文件分片且文件分片存储于若干区块链节点中，若是，则返回文件分片的第二存储信息；根据第二存储信息下载得到目标文件；

具体地，区别于第一存储信息，具体在本实施例中第二存储信息是指目标文件进行分片存储，文件分片所存储的多个区块链节点的节点信息，且同样记录在区块链各个节点的邻接表中。

示例性地，当实施例中根据文件的大小进行分类时，以1MB为分类阈值，若文件资源存储过程中，通过节点本地预设的分类算法确定了文件资源大于1MB，则将文件进行存储时，首先大文件会通过特殊的加密算法分割成若干小份，并通过节点间的数据链路进行文件分片进行分散存储，以此实现大文件的分片存储，并将存储了该文件分片的区块链节点记录至邻接表中；必要时，可以将文件分片处理以及存储的过程生成相应的事务项，作为区块链的新区块加入并记录至区块链中，以防止恶意篡改，保证了文件的可信度。在文件进行分片处理的过程中，实施例可以将该文件的哈希值作为各个文件分片的索引依据。在进行文件的搜索、访问以及下载的过程中，根据获取得到查询请求或者下载请求等指令，实施例对节点中邻接表中存储了目标文件的节点进行抓取，确定各个文件分片所存储的区块链节点的信息，通过网络通信协议建立数据传输链路进行目标文件的文件分片下载，最后由本地的节点拼成完整的文件。并行下载的速度可以远大于现有的分布式方案中直接下载完整文件的速度，以提高响应速度。

需要说明的是，实施例中还可以设置容错机制，文件资源复制得到一定数量的备份，并存放在其他的节点之中，即使某一节点或一些节点中存储的文件资源因为特殊情况完全被毁，通过其他节点中存储的备份也可以完全恢复，提高了实施例中所存储文件的安全系数。

在一些可选择的实施例中，在实施例获取区块链节点信息，根据区块链节点信息构建得到邻接表这一步骤S100之前，方法还可以包括步骤S001和步骤S002：

步骤S001：当区块链节点首次上线，获取区块链节点的区块链节点信息；

步骤S002：将区块链节点信息在区块链中进行广播，并将广播后的区块链节点加入至区块链中；

在实施例中，区块链节点首次上线是指具有数据处理能力的设备首次加入至区块链的分布式网络之中；具体地，实施例中新节点接入区块链网络后,首先需要与其他区块链节点根据网络通信协议建立连接,例如采用TCP协议建立区块链节点之间的数据传输链路；新节点通过广播的方式发送一条包含自身相关信息的消息给其他区块链节点,实现握手通信；新节点建立好连接之后,会通过现有连接的节点通过OKEx中的地址广播不断扩充丰富节点的地址数据库。可以理解的是，从建立连接开始,新节点同时也在进行区块链区块信息的同步,直至新节点同步完所有区块,该节点开始承担区块的分发或者验证等职能。

在一些可选择的实施例中，在判断所述目标文件是否存储于单个所述区块链节点中这一步骤，或在所述判断所述目标文件是否包括若干文件分片且所述文件分片存储于若干所述区块链节点中这一步骤之后，方法还可以包括步骤S210：

步骤S210、若目标文件或文件分片未存储在任一区块链节点中，将查询请求发送至源文件库；获取源文件库反馈的目标文件；

如图2所示，在实施例中，源文件库(source，SRC)又可称为源库，是区别于区块链节点的一个资源存储空间；具体地，在区块链节点获取了查询请求，通过步骤S200，确认在邻接表中并不存在查询请求中目标文件的记录或者对区块链节点进行搜索并未得到目标文件并且目标文件也并不是通过文件分片的方式存储在各个区块链节点之中的信息反馈之后，实施例则将根据目标文件的哈希值或者消息摘要访问区块链节点外部的资源位置，即源文件库，以获取查询请求中的目标文件资源。实施例通过源文件库的方式还可以对已经上传或存储在区块链节点中的文件资源进行备份，以提高实施例的容灾能力。

由于本申请的实施例是基于IPFS协议以及区块链的文件处理方法，基于IPFS协议的分布式系统的特征，实施例不仅可以兼容基于URL寻址目前HTTP协议，也可以兼容以内容寻址的IPFS协议，使得当前网络与区块链网络无缝过渡；因此，在一些可选择的实施例中，下载得到目标文件的过程，可以包括步骤S330和步骤S340：

步骤S330：根据第一存储信息或第二存储信息生成目标文件的数据传输路径；

步骤S340：根据数据传输路径访问第一存储信息或第二存储信息，并下载得到目标文件；

在实施例中数据传输路径包括地址寻址路径以及内容寻址路径；更为具体地，实施例中地址寻址路径包括但不限于基于URL寻址和HTTP静态服务器寻址等。以URL寻址为例，统一资源定位符(UniformResourceLocation，URL)是用来描述信息资源的字符串，采用URL可以用一种统一的格式来描述各种信息资源，包括文件、服务器的地址和目录等；实施例中，当区块链节点向其他区块链节点发送查询请求以获得目标文件的存储位置时，其他的区块链节点或者源文件库所反馈的为基于HTTP协议的URL链接，连接内容包括了协议类型、域名或者IP、端口号、路径、查询字符串以及锚点；在URL链接内容中，域名是与IP是相互绑定的，可以通过域名访问也可以通过IP进行访问至存储有目标文件资源的位置，IP又是绑定到服务，用户可以通过发出查询请求的节点IP请求到相关的服务；URL链接内容中路径则是针对需要建立访问连接的两个区块链节点之间链路。发出查询请求的区块链节点在获取得到其他区块链或者源文件库反馈的URL链接之后，可以根据URL链接访问存储有目标文件资源的存储位置，以获取该目标文件内容。

实施例中，内容寻址路径是用于传输具有指纹识别信息的文件内容的链接或路径，其中指纹信息是用于表征该文件内容独有且唯一特征的信息，包括但不限于通过哈希算法所得到的哈希值或者通过加密算法得到的消息摘要等；由于的加密哈希永远不会改变，这意味着内容寻址可以保证链接始终返回相同的内容。实施例中哈希函数为每个文件创建唯一的指纹信息，区块链节点可以通过将请求的哈希值与接收到的哈希值进行比较来验证文件的完整性，如果哈希值匹配，则可知该文件没有被更改。此外，哈希函数还可以帮助消除网络的重复，这样具有相同内容的文件就无需提交两次，因为相同的内容会产生相同的哈希，进而优化了存储需求，也提高了网络的性能。需要说明的是，实施例中，内容寻址链接是永久性的，且链接永久指向准确的内容。

在一些可选择的实施例中，方法中下载得到目标文件这一过程，其还可以包括步骤S350：

S350：对数据传输路径进行协议转换，将地址寻址路径转换得到内容寻址路径；通过内容寻址路径下载得到目标文件；

示例性地，实施例中可以设置协议切换网关，该网关在数据链路完全建立之前将地址寻址路径，例如URL链接的内容解析，提取得到必要的目标文件存储信息，并根据IPFS协议生成该目标文件的哈希值或消息摘要等指纹识别信息，进一步构建得到内容寻址路径反馈至发送查询请求的区块链节点。相较于地址寻址路径，内容寻址路径的效率更高、成本更低、安全性更强并且能够永久保存。

在一些可选择的实施例中，方法在结合查询请求以及邻接表在区块链节点中进行目标文件搜索这一步骤S200之后，还可以包括步骤S220-步骤S230：

步骤S220：记录区块链节点之间的链路质量；

步骤S230：根据链路质量，筛选得到抵达目标区块链节点的最短访问路径，目标区块链节点存储有目标文件或文件分片；根据最短访问路径访问目标区块链节点；

具体地，实施例中的邻接表还可以用于记录各个区块链节点之间的链路质量，该链路质量的衡量标准包括但不限于节点之间是否为直接连接、节点之间的往返时延以及丢包率等；在进行目标文件搜索过程中，实施例可以通过最短路径算法，例如dijkstra算法确定当前节点到存储有目标文件或目标文件分片的区块链节点之间的最优路径，即最短耗时的访问路径进行目标文件或目标文件分片资源的访问。需要说明的是，实施例中可以通过最短路径算法确定得到最优、次优以及再次优路径，当前区块链节点可以结合当前网络的拥塞情况选择相对优质的路径访问其他区块链节点。

在一些可选择的实施例中，步骤S320中根据第二存储信息下载得到目标文件这一过程中，可以包括步骤S321-步骤S322：

步骤S321：从最短访问路径解析得到文件分片的资源名称以及识别信息；

步骤S322：根据资源名称以及所述识别信息确定第二存储信息，根据第二存储信息获取若干文件分片，并将文件分片整合得到目标文件；

可以理解的是，在进行文件分片存储的情况之下，实施例所确定的最短访问路径也具有内容寻址路径的特征；具体在实施例中，通过步骤S230所确定的最短访问路径访问存储有目标文件的区块链节点之后，可以通过获取用户的二次请求指令进行目标文件的下载，其中，二次指令是通过在先的查询请求所获取的访问路径，并从访问路径解析得到目标文件的资源名称以及指纹识别信息，包括但不限于哈希值以及消息摘要等内容所构成的；在存储有文件分片的区块链节点接收到二次请求指令后，在进行必要的验证之后，通过区块链节点之间的最短访问路径进行文件分片的下载，最后由本地的区块链节点拼成完整的文件。实施例通过并行以及分片下载的方式，以使得响应速度以及下载速度进一步提高。

根据附图1，以具体的应用场景为例具体说明本申请技术方案的基于区块链的文件处理方法的实际应用。

以下载一段电影视频的任务为例，需要下载该段电影视频的区块链节点启动时，该区块链节点将在整个区块链网络中将该节点的基本信息，例如IP地址、实时地理位置以及身份验证等信息进行广播，区块链网络中的其他节点在接收到广播信息之后，确定与新的区块链节点之间网络通信的链路质量、与新的区块链节点的实际位置距离以及新的区块链节点中所存储的资源文件的信息，例如哈希值或消息摘要等内容记录在节点本地中的邻接表中。

然后，基于实施例的IPFS协议，在其他节点接收到电影视频的查询指令之后，将在区块链中新建一项文件查询的事务项，在其他节点对该事务项进行合法性验证并通过之后，再将该事务项记录至区块链中；在电影视频搜索的过程中，将根据电影视频的哈希值来进行索引，首先对电影视频的哈希值进行检验，确认该文件的哈希值是否有相应的存储记录，若存在相应哈希值的存储记录，根据哈希值确定存储该电影视频的区块链节点，访问该节点中存储的电影视频。

并且实施例可以通过最短路径算法，例如dijkstra算法确定当前节点到存储有电影视频或电影视频分片的区块链节点之间的最优路径，即最短耗时的访问路径进行电影视频或电影视频分片资源的方位；确定的最短访问路径访问存储有电影视频的区块链节点之后，可以通过获取用户的二次请求指令进行电影视频的下载；在存储有文件分片的区块链节点接收到二次请求指令后，在进行必要的验证之后，通过区块链节点之间的最短访问路径进行文件分片的下载，最后由本地的区块链节点拼成完整的文件。

本领域技术人员可以理解的是，本申请的实施例或者实施方式，可以扩充到如在线资源管理、信息加密传输等更多的应用场景中，在此不再一一赘述。

如图3所示，本发明实施例提供基于区块链的文件处理系统，该系统包括：

节点管理模块300，用于获取区块链节点信息，根据所述区块链节点信息构建得到邻接表；

数据传输模块310，用于获取查询请求，结合查询请求以及邻接表在区块链节点中进行目标文件搜索；

资源管理模块320，用于判断目标文件是否存储于单个区块链节点中，若是，则返回目标文件的第一存储信息；根据第一存储信息下载得到目标文件；或，判断目标文件是否包括若干文件分片并且文件分片存储于若干区块链节点中，若是，则返回文件分片的第二存储信息；根据第二存储信息下载得到目标文件；

资源存储模块330，用于存储目标文件和/或文件分片。

具体地，以下载一个100G数据集的任务为例，需要下载该数据集的区块链节点启动时，该区块链节点将在整个区块链系统中广播该节点的基本信息，区块链网络中的其他节点在接收到广播信息之后，确定与新的区块链节点之间网络通信的链路质量、与新的区块链节点的实际位置距离以及新的区块链节点中所存储的资源文件的信息记录在节点本地中的邻接表中。

然后，基于实施例系统的IPFS协议，在其他节点接收到数据集的查询指令之后，将在区块链中新建一项文件查询的事务项，在其他节点对该事务项进行合法性验证并通过之后，再将该事务项记录至区块链中；在数据集搜索的过程中，将根据数据集的哈希值来进行索引，首先对数据集的哈希值进行检验，确认该数据集的哈希值是否有相应的存储记录，若存在相应哈希值的存储记录，根据哈希值确定存储该数据集的区块链节点，访问该节点中存储的数据集。

并且实施例可以通过最短路径算法确定当前节点到存储有数据集或数据集分片的区块链节点之间的最优路径，即最短耗时的访问路径进行数据集或数据集分片资源的方位；确定的最短访问路径访问存储有数据集的区块链节点之后，可以通过获取用户的二次请求指令进行数据集的下载；在存储有文件分片的区块链节点接收到二次请求指令后，在进行必要的验证之后，通过区块链节点之间的最短访问路径进行文件分片的下载，最后由本地的区块链节点拼成完整的数据集文件。

在一些可选择的实施例中，实施例系统还可以包括协议适配器和动态处理模块，其中，协议适配器用于对下载得到目标文件的数据传输路径进行协议转换，将地址寻址路径转换得到内容寻址路径；通过内容寻址路径下载得到目标文件。动态处理模块，用于记录区块链节点之间的链路质量；根据链路质量，筛选得到抵达目标区块链节点的最短访问路径，目标区块链节点存储有目标文件或文件分片；根据最短访问路径访问第一存储信息或第二存储信息。

具体地，协议适配器作为新旧网络之间的桥梁，通过一个HTTP网关，实施例系统可以实现从HTTP到IPFS的过渡。用户很快就可以切换到IPFS协议，完成Web网络的存储、分发和服务；动态处理模块可以进行智能选路代理到其他区块链节点或者源文件库进行动态加速。

除此之外，实施例系统还可以包括刷新预取模块，由于开源的IPFS系统不能进行文件删除，由于内容不合规问题，需对该文件进行删除，需新增刷新预取模块对该文件进行删除或者屏蔽。

如图4所示，本发明实施例提出一种基于区块链的文件处理终端设备400，该设备400包括存储器410、处理器420、存储在该存储器上并可在该处理器上运行的程序以及用于实现处理器410和存储器420之间的连接通信的数据总线430，该程序被该处理器执行时，以实现以下如图1所示的具体步骤：

步骤S100：获取区块链节点信息，根据区块链节点信息构建得到邻接表；

具体地，当一个支持IPFS协议的区块链节点首次上线时，它将向外广播自己的基本信息以便加入到区块链网络中，也便于其他节点将该区块链节点的信息记录在邻接表中。

步骤S200：获取查询请求，结合查询请求以及邻接表在区块链节点中进行目标文件搜索；

具体地，当该查询请求发起之后，实施例将根据当前节点的邻接表记录的目标文件的存储地址，确定存储该目标文件的区块链节点。

步骤S300：根据目标文件的存储信息，下载得到目标文件；

具体地，根据获取得到查询请求或者下载请求等指令，实施例对节点中邻接表中存储了目标文件的节点进行抓取，确定各个文件分片所存储的区块链节点的信息，通过网络通信协议建立数据传输链路进行目标文件的文件分片下载，最后由本地的节点拼成完整的文件。

本发明实施例还提供了一种计算机可读存储介质，该计算机可读存储介质存储有一个或者多个程序，该一个或者多个程序可被一个或者多个处理器执行，以实现以下如图1所示的具体步骤：

S100：获取区块链节点信息，根据区块链节点信息构建得到邻接表；

S200：获取查询请求，结合查询请求以及邻接表在区块链节点中进行目标文件搜索；

S300：判断目标文件是否存储于单个区块链节点中，若是，则返回目标文件的第一存储信息；根据第一存储信息下载得到目标文件；或，判断目标文件是否包括若干文件分片并且文件分片存储于若干区块链节点中，若是，则返回文件分片的第二存储信息；根据第二存储信息下载得到目标文件；

具体地，以下载数据库文件的任务为例，需要下载该数据库的区块链节点启动时，该区块链节点将在整个区块链系统中广播该节点的基本信息，区块链网络中的其他节点在接收到广播信息之后，确定与新的区块链节点之间网络通信的链路质量、与新的区块链节点的实际位置距离以及新的区块链节点中所存储的资源文件的信息记录在节点本地中的邻接表中。

然后，基于实施例系统的IPFS协议，在其他节点接收到数据库的查询指令之后，将在区块链中新建一项文件查询的事务项，在其他节点对该事务项进行合法性验证并通过之后，再将该事务项记录至区块链中；在数据库搜索的过程中，将根据数据库的哈希值来进行索引，首先对数据库的哈希值进行检验，确认该数据库的哈希值是否有相应的存储记录，若存在相应哈希值的存储记录，根据哈希值确定存储该数据库的区块链节点，访问该节点中存储的数据库。

并且实施例可以通过最短路径算法确定当前节点到存储有数据库或数据库分片的区块链节点之间的最优路径，即最短耗时的访问路径进行数据库或数据库分片资源的方位；确定的最短访问路径访问存储有数据库的区块链节点之后，可以通过获取用户的二次请求指令进行数据库的下载；在存储有文件分片的区块链节点接收到二次请求指令后，在进行必要的验证之后，通过区块链节点之间的最短访问路径进行文件分片的下载，最后由本地的区块链节点拼成完整的数据库文件。

本领域技术人员可以理解的是，本申请的实施例或者实施方式，可以扩充到如在线资源管理、信息加密传输等更多的应用场景中，在此不再一一赘述。

综上所述，本申请实施例提出的基于区块链的文件处理方法、计算机设备和存储介质

相较于现有的分布式文件分发技术方案，本申请的技术方案具有下述的优点或优势：

1)本申请技术方案根据区块链中各节点信息生成邻接表，在获取资源查询请求之后，根据邻接表中记录的节点信息在该区块中进行资源搜索，通过邻接表中记录的节点信息能够有效地缩小目标文件的搜索范围，能够有效减少因全局搜索而导致计算资源的占用，以提高目标文件的反馈速度，处理效率更高。

2)本申请技术在目标文件下载的过程中，根据目标文件在区块链中存储方式不同，可以直接从节点中下载得到目标文件，或者从多个节点中下载得到若干文件分片再通过文件分片整合得到目标文件，以此实现在文件下载过程中的任务去重，以提高文件下载速度，并且减少了不必要的文件副本的拷贝存储，存储空间资源利用率更高，分布式网络的信道、链路等资源的利用效率也更高。

本申请实施例可以基于人工智能技术对相关的数据进行获取和处理。其中，人工智能(Artificial Intelligence，AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。而人工智能软件技术可以包括但不限于：计算机视觉技术、机器人技术、生物识别技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。

此外，本申请可用于众多通用或专用的计算机系统环境或配置中。例如：个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器系统、基于微处理器的系统、置顶盒、可编程的消费电子设备、网络PC、小型计算机、大型计算机、包括以上任何系统或设备的分布式计算环境等等。本申请可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本申请，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。

在一些其他的可选择的实施例中，在方框图中提到的功能/操作可以不按照操作示图提到的顺序发生。例如，取决于所涉及的功能/操作，连续示出的两个方框实际上可以被大体上同时地执行或所述方框有时能以相反顺序被执行。此外，在本发明的流程图中所呈现和描述的实施例以示例的方式被提供，目的在于提供对技术更全面的理解。所公开的方法不限于本文所呈现的操作和逻辑流程。可选择的实施例是可预期的，其中各种操作的顺序被改变以及其中被描述为较大操作的一部分的子操作被独立地执行。

应当理解的是，除非另有相反说明，功能和/或特征中的一个或多个可以被集成在单个物理装置和/或软件模块中，或者一个或多个功能和/或特征可以在单独的物理装置或软件模块中被实现。还可以理解的是，有关每个模块的实际实现的详细讨论对于理解本发明是不必要的。更确切地说，考虑到在本文中公开的装置中各种功能模块的属性、功能和内部关系的情况下，在工程师的常规技术内将会了解该模块的实际实现。因此，本领域技术人员运用普通技术就能够在无需过度试验的情况下实现在权利要求书中所阐明的本发明。还可以理解的是，所公开的特定概念仅仅是说明性的，并不意在限制本发明的范围，本发明的范围由所附权利要求书及其等同方案的全部范围来决定。

在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或终端(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或终端取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或终端而使用。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。

以上是对本发明的较佳实施进行了具体说明，但本发明并不限于上述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做作出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。

Claims (10)

1.基于区块链的文件处理方法，其特征在于，所述方法包括以下步骤：

获取区块链节点信息，根据所述区块链节点信息构建得到邻接表；

获取查询请求，结合所述查询请求以及所述邻接表在区块链节点中进行目标文件搜索；

判断所述目标文件是否存储于单个所述区块链节点中，若是，则返回所述目标文件的第一存储信息；根据所述第一存储信息，下载得到所述目标文件；

或，

判断所述目标文件是否包括若干文件分片且所述文件分片存储于若干所述区块链节点中，若是，则返回所述文件分片的第二存储信息；根据所述第二存储信息，下载得到所述目标文件；

在所述结合所述查询请求以及所述邻接表在区块链节点中进行目标文件搜索这一步骤之后，所述方法包括：

记录所述区块链节点之间的链路质量；

根据所述链路质量，筛选得到抵达目标区块链节点的最短访问路径；

根据所述最短访问路径访问所述目标区块链节点；所述目标区块链节点存储有所述目标文件或所述文件分片。

2.根据权利要求1所述的基于区块链的文件处理方法，其特征在于，在所述判断所述目标文件是否存储于单个所述区块链节点中这一步骤之后，或在所述判断所述目标文件是否包括若干文件分片且所述文件分片存储于若干所述区块链节点中这一步骤之后，所述方法还包括：

若所述目标文件或所述文件分片未存储在任一所述区块链节点中，将所述查询请求发送至源文件库；

获取所述源文件库反馈的所述目标文件。

3.根据权利要求1所述的基于区块链的文件处理方法，其特征在于，在所述获取区块链节点信息，根据所述区块链节点信息构建得到邻接表这一步骤之前，所述方法还包括：

当所述区块链节点首次上线，获取所述区块链节点信息；

将所述区块链节点信息在所述区块链中进行广播，并在广播后将所述区块链节点加入至区块链网络中。

4.根据权利要求1所述的基于区块链的文件处理方法，其特征在于，所述下载得到所述目标文件，包括以下步骤：

根据所述第一存储信息或所述第二存储信息生成所述目标文件的数据传输路径；所述数据传输路径包括地址寻址路径以及内容寻址路径；

根据所述地址寻址路径或所述内容寻址路径访问所述第一存储信息或所述第二存储信息，并下载得到所述目标文件。

5.根据权利要求4所述的基于区块链的文件处理方法，其特征在于，所述下载得到所述目标文件，还包括以下步骤：

对所述数据传输路径进行协议转换，将所述地址寻址路径转换得到所述内容寻址路径；

通过所述内容寻址路径下载得到所述目标文件。

6.根据权利要求1所述的基于区块链的文件处理方法，其特征在于，所述根据所述第二存储信息，下载得到所述目标文件这一步骤，包括：

从所述最短访问路径解析得到所述文件分片的资源名称以及识别信息；

根据所述资源名称以及所述识别信息确定所述第二存储信息，根据所述第二存储信息获取若干所述文件分片，并将所述文件分片整合得到所述目标文件。

7.基于区块链的文件处理系统，其特征在于，包括：

节点管理模块，用于获取区块链节点信息，并根据所述区块链节点信息构建得到邻接表；

数据传输模块，用于获取查询请求，结合所述查询请求以及所述邻接表在区块链节点中进行目标文件搜索；

资源管理模块，用于判断所述目标文件是否存储于单个所述区块链节点中，若是，则返回所述目标文件的第一存储信息；根据所述第一存储信息下载得到所述目标文件；或，判断所述目标文件是否包括若干文件分片且所述文件分片存储于若干所述区块链节点中，若是，则返回所述文件分片的第二存储信息；根据所述第二存储信息，下载得到所述目标文件；

资源存储模块，用于存储所述目标文件和/或所述文件分片；

动态处理模块，用于记录所述区块链节点之间的链路质量；根据所述链路质量，筛选得到抵达目标区块链节点的最短访问路径；根据所述最短访问路径访问所述目标区块链节点；

所述目标区块链节点存储有所述目标文件或所述文件分片。

8.根据权利要求7所述的基于区块链的文件处理系统，其特征在于，所述系统还包括协议适配器；

所述协议适配器，用于对下载得到所述目标文件的数据传输路径进行协议转换，将地址寻址路径转换得到内容寻址路径；通过所述内容寻址路径下载得到所述目标文件。

9.基于区块链的文件处理设备，其特征在于，所述设备包括存储器、处理器、存储在所述存储器上并可在所述处理器上运行的程序以及用于实现所述处理器和所述存储器之间的连接通信的数据总线，所述程序被所述处理器执行时实现如权利要求1-6任一项所述的基于区块链的文件处理方法。

10.一种存储介质，用于计算机可读存储，其特征在于，所述存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现权利要求1至6中任一项所述的基于区块链的文件处理方法。

Images