CN108108127A - 一种文件读取方法及系统 - Google Patents

Abstract

本发明提供一种文件读取方法及系统，其中，该文件读取方法包括：获取用户输入的文件读取请求；根据文件读取请求获取对应的文件块哈希；从区块链上存储有文件块哈希的存储节点上读取文件块数据及文件块数据的索引信息；根据文件块数据及索引信息合并生成文件。本发明提供的文件读取方法及系统，通过逐一提取分块存储的文件块数据，并根据各个文件块在文件中的索引位置合并形成文件，实现了分块存储的文件的整体读取。

Description

一种文件读取方法及系统

技术领域

本发明涉及文件存储和读取技术领域，具体涉及一种文件读取方法及系统。

背景技术

区块链是一种去中心化的存储和计算技术。区块链技术通过网络中所有节点共同参与计算，互相验证其信息的真伪以达成全网共识，其存储的数据是不可篡改的，也能够实现数据的全历史记录。现有的许多大数据，如医疗数据、人口数据等，在数据存储和维护方面需要投入大量资金和人力资源。区块链利用分布式计算资源，可以低成本地实现大数据的存储。

公开号CN107273410A的中国发明专利申请公开了一种基于区块链的分布式存储方法，将文件整体存入分布式网络中。对于数据量较小的文件是适用的，但是对于具有海量数据量的大文件来说，这种整体存储的方式存在很多弊端，例如：

1.区块链上的单一节点由于存储空间有限难以完成大文件的整体存储；

2.数据存储的安全性存在隐患，使用整体存储模式时，一旦区块链上存储文件的节点受损，文件有可能整体损坏。

基于区块链的文件分块存储可以规避以上弊端。但是对于分块存储的文件，在读取时需要采取不同于现有整体存储的文件读取方法。

发明内容

因此，本发明要解决的技术问题在于克服现有技术中缺乏分块存储的文件读取方法的缺陷，从而提供一种文件读取方法及系统。

根据第一方面，本发明的一个实施例提供一种文件读取方法，包括如下步骤：获取用户输入的文件读取请求；根据所述文件读取请求获取对应的文件块哈希；从区块链上存储有所述文件块哈希的存储节点上读取文件块数据及所述文件块数据的索引信息；根据所述文件块数据及索引信息合并生成文件。

进一步的，文件读取请求中包含文件的文件哈希；根据文件读取请求获取对应的文件块哈希，包括：根据所述文件读取请求中的文件哈希，从储存在区块链上的文件分块存储记录中查找对应的文件块哈希集合，所述文件块哈希集合中包含所述文件的多个文件块的文件块哈希。

进一步的，从区块链上存储有所述文件块哈希的存储节点上读取文件块数据及所述文件块数据的索引信息，包括：选取区块链上包含所述文件块哈希的存储节点；获取所述存储节点上所述文件块哈希对应的文件块的统一资源定位符；判断所述文件块的统一资源定位符是否可用；当所述文件块的统一资源定位符可用时，启动线程并根据所述文件块的统一资源定位符获取所述文件块数据及所述索引信息。

进一步的，在从区块链上存储有所述文件块哈希的存储节点上读取文件块数据及所述文件块数据的索引信息之后，及根据所述文件块数据及索引信息合并生成文件之前，还包括：判断所述线程是否正常；当所述线程发生异常时，统计异常线程对应的文件块哈希；根据所述异常线程对应的文件块哈希重新读取对应的文件块数据。

根据第二方面，本发明的一个实施例提供一种文件读取系统，包括：获取模块，用于获取用户输入的文件读取请求，并根据所述文件读取请求获取对应的文件块哈希；文件块数据读取模块，用于从区块链上存储有所述文件块哈希的存储节点上读取文件块数据及所述文件块数据的索引信息；文件块合并模块，用于根据所述文件块数据及索引信息合并生成文件。

根据第三方面，本发明的一个实施例提供一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令被处理器执行时实现如第一方面实施例所述的文件读取方法。

根据第四方面，本发明的一个实施例提供一种计算机设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器执行如第一方面实施例所述的文件读取方法。

本发明技术方案，具有如下优点：

本发明提供的文件读取方法，通过逐一提取分块存储的文件块数据，并根据各个文件块在文件中的索引位置合并形成文件，实现了分块存储的文件的整体读取。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例1中的文件读取方法的一个具体示例的流程图；

图2为本发明实施例1中的文件读取方法中步骤S103的一个具体示例的流程图；

图3为本发明实施例1中的文件读取方法中异常线程对应的文件块数据的重新获取的一个具体示例的流程图；

图4为本发明实施例2中的文件分块存储方法的一个具体示例的流程图；

图5为本发明实施例2中的文件分块存储方法中步骤S201的一个具体示例的流程图；

图6为本发明实施例2中的文件分块存储方法中步骤S202的一个具体示例的流程图；

图7为本发明实施例2中的文件分块存储方法中步骤S204的一个具体示例的流程图；

图8为本发明实施例2中的文件分块存储方法中步骤S206—步骤S207 的一个具体示例的流程图；

图9为本发明实施例2中的文件分块存储方法中步骤S208—步骤S209 的一个具体示例的流程图；

图10为本发明实施例3中的文件读取系统的一个具体示例的原理框图；

图11为本发明实施例5中的计算机设备的一个具体示例的原理框图。

具体实施方式

下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

此外，下面所描述的本发明不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。

实施例1

本发明实施例1提供一种文件读取方法，如图1所示，该文件读取方法包括如下步骤：

步骤S101：获取用户输入的文件读取请求。在一具体实施方式中，文件读取请求中包含文件的文件哈希，由于文件哈希具有唯一性，通过文件哈希能够识别用户希望读取哪一个文件。

步骤S102：根据文件读取请求获取对应的文件块哈希。在一具体实施方式中，可根据文件读取请求中的文件哈希，从储存在区块链上的文件分块存储记录中查找对应的文件块哈希集合，文件块哈希集合中包含文件的多个文件块的文件块哈希。

步骤S103：从区块链上存储有文件块哈希的存储节点上读取文件块数据及文件块数据的索引信息。在一具体实施方式中，可通过以下子步骤实现本发明实施例1中的步骤S103，参见图2：

步骤S103a：选取区块链上包含文件块哈希的存储节点。由于在文件分块存储时，为了存储的安全和可靠，针对同一个文件块数据，采用多个存储节点同步存储的方式，以避免单一存储存在潜在的数据丢失风险；因此，在读取文件块数据时，可从块链上包含该文件块哈希的多个存储节点中随机选取一个。由于在实际操作中，文件分块存储时，文件分发节点会将包含文件块哈希和文件统一资源定位符的文件分发记录存储入区块链，同时文件存储节点也会将其存储的文件块哈希存储入区块链，即文件分块存储记录。如果在文件块读取时仅仅以文件块哈希进行检索，会找到以上两条记录，致使无法精确定位到要查找的存储有该文件块的存储节点。因此，在实际操作中步骤S103a往往以包含文件块哈希但不包含文件统一资源定位符的文件分块存储记录为依据，从块链上包含该文件块哈希的多个存储节点中随机选取一个。文件分块存储记录中不含文件统一资源定位符，凭这一点可以将文件分块存储记录与文件分发记录区别开来。为了读取文件块数据，在实际操作中文件分块存储记录会保存文件块哈希及该文件块的统一资源定位符。

步骤S103b：获取存储节点上文件块哈希对应的文件块的统一资源定位符。

步骤S103c：判断文件块的统一资源定位符是否可用。在一具体实施方式中，是通过统一资源定位符的网络状态判断其是否可用。

步骤S103d：当文件块的统一资源定位符可用时，启动线程并根据文件块的统一资源定位符获取文件块数据及索引信息。文件块哈希集合中，文件块在这个集合中的位置，即索引信息。文件块哈希集合中各个文件块哈希的排序是根据文件块在整个文件中的位置确定的，该排序能够反映文件块在文件中的索引位置，即文件块哈希的索引信息。在文件分块存储时已存入区块链。

在实际应用中，首先根据文件块哈希集合中的第一个文件块哈希读取该哈希对应的文件块数据，而后读取文件块哈希集合中的下一个文件块哈希对应的文件块数据；直至遍历文件块哈希集合中的所有文件块哈希；至此，可获得组成文件的全部文件块数据。

在实际应用中，会出现线程故障的情况，线程故障会导致对应的文件块数据读取失败，因而造成文件读取的内容缺失。因此，在合并生成文件之前，需要对异常线程对应的文件块数据进行重新处理。在一具体实施方式中，可采用以下子步骤实现异常线程对应的文件块数据的重新获取，参见图3：

步骤S103e：判断线程是否正常；

步骤S103f：当线程发生异常时，统计异常线程对应的文件块哈希；

步骤S103g：根据异常线程对应的文件块哈希重新读取对应的文件块数据。在一具体实施方式中，对于异常线程对应的文件块哈希，可更换存储节点后按照步骤S103a—S103d重新获取文件块数据。

步骤S104：根据文件块数据及索引信息合并生成文件。将步骤S103中获得的全部文件块数据，按照它们在文件中的位置的索引信息进行排序，而后合并即可生成文件，完成文件整体读取。

本发明实施例1提供的文件读取方法，通过逐一提取分块存储的文件块数据，并根据各个文件块在文件中的索引位置合并形成文件，实现了分块存储的文件的整体读取。

实施例2

本发明实施例2提供一种文件分块存储方法，如图4所示，其包括如下步骤：

步骤S201：通过区块链上的文件分发节点获取文件并对文件进行分块,生成文件的多个文件块。在一具体实施方式中，参见图5，可通过以下分步骤实现本发明实施例2中的步骤S201：

步骤S201a：通过区块链上的文件分发节点获取文件并根据文件的统一资源定位符读取文件内容；

步骤S201b：通过文件分发节点根据文件分块阈值对文件进行分块处理以生成多个文件块。

本发明实施例2中的步骤S201利用区块链上的文件分发节点，根据预设的文件分块阈值将文件划分为若干数据量相当的文件块，实现化整为零，为后续分块存储打下基础。

步骤S202：获取文件的哈希和各个文件块的哈希，并将文件的哈希和各个文件块的哈希存储至区块链。在一具体实施方式中，参见图6，可通过以下分步骤实现本发明实施例2中的步骤S202：

步骤S202a：通过文件分发节点获取文件的哈希及各个文件块的哈希；

步骤S202b：根据各个文件块的哈希形成文件块哈希集合；

步骤S202c：建立文件的哈希、文件块哈希集合和文件的统一资源定位符之间的索引关系；

步骤S202d：将文件的哈希、文件块哈希集合和文件的统一资源定位符及索引关系存储至区块链。

本发明实施例2中的步骤S202主要用于在区块链中存储文件分发记录，并建立文件的哈希、文件块哈希集合和文件的统一资源定位符三者之间的索引关系，以备今后读取文件时使用。需要说明的是，文件块哈希集合中的哈希应当按照其对应的文件块在文件中的索引位置进行排列。对文件块哈希集合中的哈希进行排序的主要目的是方便文件读取。例如，在文件读取时，获取各个文件块数据之后，可按照文件块在文件中的索引位置将各个文件块数据合并，以形成整体文件。

步骤S203：通过区块链上的文件存储节点获取文件块的哈希。在实际应用中，利用区块链上的文件存储节点执行文件块的数据存储工作。由于每一个文件块均有唯一的一个哈希与其对应，用以对文件块进行标识和区分；因此文件存储节点需要获取文件块的哈希。在一具体实施方式中，可以在文件存储节点对应的本地服务器上检索文件块的哈希，当文件存储节点对应的本地服务器上已存储该文件块时，不必执行后续步骤；当文件存储节点对应的本地服务器上没有存储该文件块时，执行步骤S204—S205 以存储文件块数据。

步骤S204：根据文件块的哈希查找对应的文件并获取对应的文件块内容。在一具体实施方式中，参见图7，可通过以下分步骤实现本发明实施例2中的步骤S204：

步骤S204a：根据文件块的哈希查找对应的文件块哈希集合；

步骤S204b：根据文件块哈希集合与文件的哈希、文件的统一资源定位符之间的索引关系，获取文件块哈希集合对应的文件的统一资源定位符；

步骤S204c：根据文件的统一资源定位符读取文件；

步骤S204d：根据文件分块阈值在文件中获取对应的文件块内容。

步骤S205：通过文件存储节点将文件块内容存储至文件存储节点对应的本地服务器，并且将文件块的哈希及存储信息存储至区块链。文件存储节点将其识别信息和其存储的文件块的哈希存储至区块链，以形成文件分块存储记录，用于文件读取。

通过执行以上步骤S203—S205，能够完成文件存储节点对一个文件块的存储。在实际应用中，区块链上的某文件存储节点首先完成文件块哈希集合中第一个哈希对应的文件块的存储；此后通过区块链上的某文件存储节点完成文件块哈希集合中下一个哈希对应的文件块的存储；如此反复直至遍历文件块哈希集合中的全部哈希。

为了进一步提高文件分块存储的安全性，在一具体实施方式中，可设置两个阈值(第一设定阈值和第二设定阈值)，用以控制文件存储节点上的文件存储量，以及同一文件在某个文件存储节点上存储的文件块的数量，如图1图所示，步骤如下：

步骤S206：检测区块链上的文件存储节点的存储次数是否超过第一设定阈值；

步骤S207：当区块链上的文件存储节点的存储次数超过第一设定阈值时，更换其他的文件存储节点对文件块内容进行存储；

步骤S208：检测区块链上的文件存储节点存储同一文件的不同文件块的数量是否超过第二设定阈值；

步骤S209：当区块链上的文件存储节点存储同一文件的不同文件块的数量超过第二设定阈值时，更换其他的文件存储节点对文件块内容进行存储。

在另一实施方式中，通过区块链上的多个文件存储节点对同一个文件块进行存储，以提高文件分块存储的安全性和可靠性。

本发明实施例2提供的文件分块存储方法，改变了现有技术中基于区块链的分布式存储所采用的整体存储的方式，使用区块链上的多个存储节点对文件进行分块存储，能够满足数据量较大的文件存储；此外，本发明提供的文件分块存储方法还提高了数据存储的安全性，避免整体存储模式下潜在的文件被整体损坏的风险。

实施例3

本发明实施例3提供一种文件读取系统，如图10所示，其包括：获取模块1、文件块数据读取模块2和文件块合并模块3。其中，获取模块1用于获取用户输入的文件读取请求，并根据文件读取请求获取对应的文件块哈希；文件块数据读取模块2用于从区块链上存储有文件块哈希的存储节点上读取文件块数据及文件块数据的索引信息；文件块合并模块3用于根据文件块数据及索引信息合并生成文件。

获取模块1对应于实现本发明实施例1中的步骤S101—S102；文件块数据读取模块2对应于本发明实施例1中的步骤S103；文件块合并模块3 对应于本发明实施例1中的步骤S104。

实施例4

本发明实施例4提供一种非暂态计算机可读存储介质，所述计算机存储介质存储有计算机可执行指令，该计算机可执行指令可执行上述任意方法实施例中的文件读取方法。其中，所述存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)、随机存储记忆体(RandomAccess Memory，RAM)、快闪存储器(Flash Memory)、硬盘(Hard DiskDrive，缩写：HDD)或固态硬盘(Solid-State Drive，SSD)等；所述存储介质还可以包括上述种类的存储器的组合。

实施例5

本发明实施例5提供一种计算机设备，如图11所示，该计算机设备包括一个或多个处理器3以及存储器4，图11中以一个处理器3为例。

处理器3、存储器4可以通过总线或者其他方式连接，图6中以通过总线连接为例。

处理器3可以为中央处理器(Central Processing Unit，CPU)。处理器3还可以为其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array， FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等芯片，或者上述各类芯片的组合。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

存储器4作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序、非暂态计算机可执行程序以及模块，如本申请实施例中的文件读取方法对应的程序指令/模块(例如，附图10所示的获取模块1、文件块数据读取模块2和文件块合并模块3)。处理器3通过运行存储在存储器4中的非暂态软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例的文件读取方法。

存储器4可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据文件读取装置的使用所创建的数据等。此外，存储器4可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施例中，存储器4可选包括相对于处理器3远程设置的存储器，这些远程存储器可以通过网络连接至文件读取装置。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

所述一个或者多个模块存储在所述存储器4中，当被所述一个或者多个处理器3执行时，执行如图1-图7所示的方法。

上述产品可执行本发明实施例所提供的方法，具备执行方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节，具体可参见如图1-图7所示的实施例中的相关描述。

显然，上述实施例仅仅是为清楚地说明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本发明创造的保护范围之中。

Claims (7)

1.一种文件读取方法，其特征在于，包括如下步骤：

获取用户输入的文件读取请求；

根据所述文件读取请求获取对应的文件块哈希；

从区块链上存储有所述文件块哈希的存储节点上读取文件块数据及所述文件块数据的索引信息；

根据所述文件块数据及索引信息合并生成文件。

2.根据权利要求1所述的文件读取方法，其特征在于，所述文件读取请求中包含文件的文件哈希；

根据所述文件读取请求获取对应的文件块哈希，包括：

根据所述文件读取请求中的文件哈希，从储存在区块链上的文件分块存储记录中查找对应的文件块哈希集合，所述文件块哈希集合中包含所述文件的多个文件块的文件块哈希。

3.根据权利要求2所述的文件读取方法，其特征在于，从区块链上存储有所述文件块哈希的存储节点上读取文件块数据及所述文件块数据的索引信息，包括：

选取区块链上包含所述文件块哈希的存储节点；

获取所述存储节点上所述文件块哈希对应的文件块的统一资源定位符；

判断所述文件块的统一资源定位符是否可用；

当所述文件块的统一资源定位符可用时，启动线程并根据所述文件块的统一资源定位符获取所述文件块数据及所述索引信息。

4.根据权利要求3所述的文件读取方法，其特征在于，在从区块链上存储有所述文件块哈希的存储节点上读取文件块数据及所述文件块数据的索引信息之后，及根据所述文件块数据及索引信息合并生成文件之前，还包括：

判断所述线程是否正常；

当所述线程发生异常时，统计异常线程对应的文件块哈希；

根据所述异常线程对应的文件块哈希重新读取对应的文件块数据。

5.一种文件读取系统，其特征在于，包括：

获取模块，用于获取用户输入的文件读取请求，并根据所述文件读取请求获取对应的文件块哈希；

文件块数据读取模块，用于从区块链上存储有所述文件块哈希的存储节点上读取文件块数据及所述文件块数据的索引信息；

文件块合并模块，用于根据所述文件块数据及索引信息合并生成文件。

6.一种非暂态计算机可读存储介质，其特征在于，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令被处理器执行时实现如权利要求1-4任一所述的文件读取方法。

7.一种计算机设备，其特征在于，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器执行权利要求1-4任一所述的文件读取方法。