CN108062202A - 一种文件分块存储方法及系统 - Google Patents
一种文件分块存储方法及系统 Download PDFInfo
- Publication number
- CN108062202A CN108062202A CN201711349108.1A CN201711349108A CN108062202A CN 108062202 A CN108062202 A CN 108062202A CN 201711349108 A CN201711349108 A CN 201711349108A CN 108062202 A CN108062202 A CN 108062202A
- Authority
- CN
- China
- Prior art keywords
- file
- files
- blocks
- hash
- block
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
- G06F3/0638—Organizing or formatting or addressing of data
- G06F3/064—Management of blocks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
- G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
Abstract
本发明提供一种文件分块存储方法及系统，其中该文件分块存储方法包括：通过区块链上的文件分发节点获取文件并对文件进行分块,生成文件的多个文件块；获取文件的哈希和各个文件块的哈希，并将文件的哈希和各个文件块的哈希存储至区块链；通过区块链上的文件存储节点获取文件块的哈希；根据文件块的哈希查找对应的文件并获取对应的文件块内容；通过文件存储节点将文件块内容存储至文件存储节点对应的本地服务器，并且将文件块的哈希及存储信息存储至区块链。本发明提供的文件分块存储方法及系统，改变了现有技术中基于区块链的分布式存储所采用的整体存储的方式，使用区块链上的多个存储节点对文件进行分块存储，能够满足数据量较大的文件存储。
Description
技术领域
本发明涉及文件存储技术领域，具体涉及一种文件分块存储方法及系统。
背景技术
区块链是一种去中心化的存储和计算技术。区块链技术通过网络中所有节点共同参与计算，互相验证其信息的真伪以达成全网共识，其存储的数据是不可篡改的，也能够实现数据的全历史记录。现有的许多大数据，如医疗数据、人口数据等，在数据存储和维护方面需要投入大量资金和人力资源。区块链利用分布式计算资源，可以低成本地实现大数据的存储。
公开号CN107273410A的中国发明专利申请公开了一种基于区块链的分布式存储方法，将文件整体存入分布式网络中。对于数据量较小的文件是适用的，但是对于具有海量数据量的大文件来说，这种整体存储的方式存在很多弊端，例如：
1.区块链上的单一节点由于存储空间有限难以完成大文件的整体存储；
2.数据存储的安全性存在隐患，使用整体存储模式时，一旦区块链上存储文件的节点受损，文件有可能整体损坏。
发明内容
因此，本发明要解决的技术问题在于克服现有技术中基于区块链的分布式存储所采用的整体存储的缺陷，从而提供一种文件分块存储方法及系统。
根据第一方面，本发明的一个实施例提供一种文件分块存储方法，包括如下步骤：通过区块链上的文件分发节点获取文件并对所述文件进行分块,生成所述文件的多个文件块；获取所述文件的哈希和各个文件块的哈希，并将所述文件的哈希和各个文件块的哈希存储至区块链；通过区块链上的文件存储节点获取文件块的哈希；根据所述文件块的哈希查找对应的文件并获取对应的文件块内容；通过所述文件存储节点将所述文件块内容存储至所述文件存储节点对应的本地服务器，并且将所述文件块的哈希及存储信息存储至区块链。
进一步的，通过区块链上的文件分发节点获取文件并对所述文件进行分块,生成所述文件的多个文件块，包括：通过区块链上的文件分发节点获取文件并根据所述文件的统一资源定位符读取文件内容；通过所述文件分发节点根据文件分块阈值对所述文件进行分块处理以生成所述多个文件块。
进一步的，获取所述文件的哈希和各个文件块的哈希，并将所述文件的哈希和各个文件块的哈希存储至区块链，包括：通过所述文件分发节点获取所述文件的哈希及各个文件块的哈希；根据所述各个文件块的哈希形成文件块哈希集合；将所述文件的哈希、文件块哈希集合和所述文件的统一资源定位符存储至区块链。
进一步的，根据所述文件块的哈希查找对应的文件并获取对应的文件块内容，包括：根据所述文件块的哈希查找对应的文件块哈希集合；根据文件块哈希集合与文件的哈希、文件的统一资源定位符之间的索引关系，获取所述文件块哈希集合对应的文件的统一资源定位符；根据所述文件的统一资源定位符读取文件；根据文件分块阈值在所述文件中获取对应的文件块内容。
进一步的，在通过区块链上的文件存储节点获取文件块的哈希之后，以及根据所述文件块的哈希查找对应的文件并获取对应的文件块内容之前，还包括：检测所述区块链上的文件存储节点的存储次数是否超过第一设定阈值；当所述区块链上的文件存储节点的存储次数超过第一设定阈值时，更换其他的文件存储节点对所述文件块内容进行存储。
进一步的，在通过区块链上的文件存储节点获取文件块的哈希之后，以及根据所述文件块的哈希查找对应的文件并获取对应的文件块内容之前，还包括：检测所述区块链上的文件存储节点存储同一文件的不同文件块的数量是否超过第二设定阈值；当所述区块链上的文件存储节点存储同一文件的不同文件块的数量超过第二设定阈值时，更换其他的文件存储节点对所述文件块内容进行存储。
进一步的，文件分块存储方法还包括通过区块链上的多个文件存储节点对同一个文件块进行存储。
根据第二方面，本发明的一个实施例提供一种文件分块存储系统，包括：文件分发模块，用于通过区块链上的文件分发节点获取文件并对所述文件进行分块,生成所述文件的多个文件块；以及用于获取所述文件的哈希和各个文件块的哈希，并将所述文件的哈希和各个文件块的哈希存储至区块链；文件分块存储模块，用于通过区块链上的文件存储节点获取文件块的哈希，根据所述文件块的哈希查找对应的文件并获取对应的文件块内容；以及用于通过所述文件存储节点将所述文件块内容存储至所述文件存储节点对应的本地服务器，并且将所述文件块的哈希及存储信息存储至区块链。
根据第三方面，本发明的一个实施例提供一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令被处理器执行时实现如第一方面实施例所述的文件分块存储方法。
根据第四方面，本发明的一个实施例提供一种计算机设备/终端/服务器，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器执行如第一方面实施例所述的文件分块存储方法。
本发明技术方案，具有如下优点：
本发明提供的文件分块存储方法，改变了现有技术中基于区块链的分布式存储所采用的整体存储的方式，使用区块链上的多个存储节点对文件进行分块存储，能够满足数据量较大的文件存储；此外，本发明提供的文件分块存储方法还提高了数据存储的安全性，避免整体存储模式下潜在的文件被整体损坏的风险。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例1中的文件分块存储方法的一个具体示例的流程图；
图2为本发明实施例1中的文件分块存储方法中步骤S101的一个具体示例的流程图；
图3为本发明实施例1中的文件分块存储方法中步骤S102的一个具体示例的流程图；
图4为本发明实施例1中的文件分块存储方法中步骤S104的一个具体示例的流程图；
图5为本发明实施例1中的文件分块存储方法中步骤S106—步骤S107的一个具体示例的流程图；
图6本发明实施例1中的文件分块存储方法中步骤S108—步骤S109的一个具体示例的流程图；
图7为本发明实施例2中的文件读取方法的一个具体示例的流程图；
图8为本发明实施例2中的文件读取方法中步骤S203的一个具体示例的流程图；
图9为本发明实施例2中的文件读取方法中异常线程对应的文件块数据的重新获取的一个具体示例的流程图；
图10为本发明实施例3中的文件分块存储系统的一个具体示例的原理框图；
图11为本发明实施例4中的计算机设备/终端/服务器的一个具体示例的原理框图。
具体实施方式
下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
此外，下面所描述的本发明不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。
实施例1
本发明实施例1提供一种文件分块存储方法，如图1所示，该文件分块存储方法包括如下步骤：
步骤S101：通过区块链上的文件分发节点获取文件并对文件进行分块,生成文件的多个文件块。在一具体实施方式中，参见图2，可通过以下分步骤实现本发明实施例1中的步骤S101：
步骤S101a：通过区块链上的文件分发节点获取文件并根据文件的统一资源定位符(URL)读取文件内容；
步骤S101b：通过文件分发节点根据文件分块阈值对文件进行分块处理以生成多个文件块。
本发明实施例1中的步骤S101利用区块链上的文件分发节点，根据预设的文件分块阈值将文件划分为若干数据量相当的文件块，实现化整为零，为后续分块存储打下基础。
步骤S102：获取文件的哈希和各个文件块的哈希，并将文件的哈希和各个文件块的哈希存储至区块链。在一具体实施方式中，参见图3，可通过以下分步骤实现本发明实施例1中的步骤S102：
步骤S102a：通过文件分发节点获取文件的哈希及各个文件块的哈希；
步骤S102b：根据各个文件块的哈希形成文件块哈希集合；
步骤S102c：建立文件的哈希、文件块哈希集合和文件的统一资源定位符之间的索引关系；
步骤S102d：将文件的哈希、文件块哈希集合和文件的统一资源定位符及索引关系存储至区块链。
本发明实施例1中的步骤S102主要用于在区块链中存储文件分发记录，并建立文件的哈希、文件块哈希集合和文件的统一资源定位符三者之间的索引关系，以备今后读取文件时使用。需要说明的是，文件块哈希集合中的哈希应当按照其对应的文件块在文件中的索引位置进行排列。对文件块哈希集合中的哈希进行排序的主要目的是方便文件读取。例如，在文件读取时，获取各个文件块数据之后，可按照文件块在文件中的索引位置将各个文件块数据合并，以形成整体文件。
步骤S103：通过区块链上的文件存储节点获取文件块的哈希。在实际应用中，利用区块链上的文件存储节点执行文件块的数据存储工作。由于每一个文件块均有唯一的一个哈希与其对应，用以对文件块进行标识和区分；因此，文件存储节点需要获取文件块的哈希。在一具体实施方式中，可以在文件存储节点对应的本地服务器上检索文件块的哈希，当文件存储节点对应的本地服务器上已存储该文件块时，不必执行后续步骤；当文件存储节点对应的本地服务器上没有存储该文件块时，执行步骤S104—S105以存储文件块数据。
步骤S104：根据文件块的哈希查找对应的文件并获取对应的文件块内容。在一具体实施方式中，参见图4，可通过以下分步骤实现本发明实施例1中的步骤S104：
步骤S104a：根据文件块的哈希查找对应的文件块哈希集合；
步骤S104b：根据文件块哈希集合与文件的哈希、文件的统一资源定位符之间的索引关系，获取文件块哈希集合对应的文件的统一资源定位符；
步骤S104c：根据文件的统一资源定位符读取文件；
步骤S104d：根据文件分块阈值在文件中获取对应的文件块内容。
步骤S105：通过文件存储节点将文件块内容存储至文件存储节点对应的本地服务器，并且将文件块的哈希及存储信息存储至区块链。文件存储节点将其识别信息和其存储的文件块的哈希存储至区块链，以形成文件分块存储记录，用于文件读取。
通过执行以上步骤S103—S105，能够完成文件存储节点对一个文件块的存储。在实际应用中，区块链上的某文件存储节点首先完成文件块哈希集合中第一个哈希对应的文件块的存储；此后通过区块链上的某文件存储节点完成文件块哈希集合中下一个哈希对应的文件块的存储；如此反复直至遍历文件块哈希集合中的全部哈希。
为了进一步提高文件分块存储的安全性，在一具体实施方式中，可设置两个阈值(第一设定阈值和第二设定阈值)，用以控制文件存储节点上的文件存储量，以及同一文件在某个文件存储节点上存储的文件块的数量，如图5—图6所示，步骤如下：
步骤S106：检测区块链上的文件存储节点的存储次数是否超过第一设定阈值；
步骤S107：当区块链上的文件存储节点的存储次数超过第一设定阈值时，更换其他的文件存储节点对文件块内容进行存储；
步骤S108：检测区块链上的文件存储节点存储同一文件的不同文件块的数量是否超过第二设定阈值；
步骤S109：当区块链上的文件存储节点存储同一文件的不同文件块的数量超过第二设定阈值时，更换其他的文件存储节点对文件块内容进行存储。
在另一实施方式中，通过区块链上的多个文件存储节点对同一个文件块进行存储，以提高文件分块存储的安全性和可靠性。
本发明实施例1提供的文件分块存储方法，改变了现有技术中基于区块链的分布式存储所采用的整体存储的方式，使用区块链上的多个存储节点对文件进行分块存储，能够满足数据量较大的文件存储；此外，本发明提供的文件分块存储方法还提高了数据存储的安全性，避免整体存储模式下潜在的文件被整体损坏的风险。
实施例2
本发明实施例2提供一种文件读取方法，如图7所示，其包括如下步骤：
步骤S201：获取用户输入的文件读取请求。在一具体实施方式中，文件读取请求中包含文件的文件哈希，由于文件哈希具有唯一性，通过文件哈希能够识别用户希望读取哪一个文件。
步骤S202：根据文件读取请求获取对应的文件块哈希。在一具体实施方式中，可根据文件读取请求中的文件哈希，从储存在区块链上的文件分块存储记录中查找对应的文件块哈希集合，文件块哈希集合中包含文件的多个文件块的文件块哈希。
步骤S203：从区块链上存储有文件块哈希的存储节点上读取文件块数据及文件块数据的索引信息。在一具体实施方式中，可通过以下子步骤实现本发明实施例2中的步骤S203，参见图8：
步骤S203a：选取区块链上包含文件块哈希的存储节点。由于在文件分块存储时，为了存储的安全和可靠，针对同一个文件块数据，采用多个存储节点同步存储的方式，以避免单一存储存在潜在的数据丢失风险；因此，在读取文件块数据时，可从块链上包含该文件块哈希的多个存储节点中随机选取一个。由于在实际操作中，文件分块存储时，文件分发节点会将包含文件块哈希和文件统一资源定位符的文件分发记录存储入区块链，同时文件存储节点也会将其存储的文件块哈希存储入区块链，即文件分块存储记录。如果在文件块读取时仅仅以文件块哈希进行检索，会找到以上两条记录，致使无法精确定位到要查找的存储有该文件块的存储节点。因此，在实际操作中,步骤S203a往往以包含文件块哈希但不包含文件统一资源定位符的文件分块存储记录为依据，从块链上包含该文件块哈希的多个存储节点中随机选取一个。文件分块存储记录中不含文件统一资源定位符，凭这一点可以将文件分块存储记录与文件分发记录区别开来。为了读取文件块数据，在实际操作中文件分块存储记录会保存文件块哈希及该文件块的统一资源定位符。
步骤S203b：获取存储节点上文件块哈希对应的文件块的统一资源定位符。
步骤S203c：判断文件块的统一资源定位符是否可用。在一具体实施方式中，是通过统一资源定位符的网络状态判断其是否可用。
步骤S203d：当文件块的统一资源定位符可用时，启动线程并根据文件块的统一资源定位符获取文件块数据及索引信息。索引信息指的是文件块在文件中的位置的索引信息，属于文件分发记录中的内容，在文件分块存储时已存入区块链。文件分发记录中包括文件块哈希集合，文件块在这个集合中的位置，即索引信息。在实际应用中，首先根据文件块哈希集合中的第一个文件块哈希读取该哈希对应的文件块数据，而后读取文件块哈希集合中的下一个文件块哈希对应的文件块数据；直至遍历文件块哈希集合中的所有文件块哈希；至此，可获得组成文件的全部文件块数据。
在实际应用中，会出现线程故障的情况，线程故障会导致对应的文件块数据读取失败，因而造成文件读取的内容缺失。因此，在合并生成文件之前，需要对异常线程对应的文件块数据进行重新处理。在一具体实施方式中，可采用以下子步骤实现异常线程对应的文件块数据的重新获取，参见图9：
步骤S203e：判断线程是否正常；
步骤S203f：当线程发生异常时，统计异常线程对应的文件块哈希；
步骤S203g：根据异常线程对应的文件块哈希重新读取对应的文件块数据。在一具体实施方式中，对于异常线程对应的文件块哈希，可更换存储节点后按照步骤S203a—S203d重新获取文件块数据。
步骤S204：根据文件块数据及索引信息合并生成文件。将步骤S203中获得的全部文件块数据，按照它们在文件中的位置的索引信息进行排序，而后合并即可生成文件，完成文件整体读取。
本发明实施例2提供的文件读取方法，通过逐一提取分块存储的文件块数据，并根据各个文件块在文件中的索引位置合并形成文件，实现了分块存储的文件的整体读取。
实施例3
本发明实施例3提供一种文件分块存储系统，如图10所示，包括：文件分发模块1和文件分块存储模块2。其中，文件分发模块2用于通过区块链上的文件分发节点获取文件并对文件进行分块,生成文件的多个文件块；以及用于获取文件的哈希和各个文件块的哈希，并将文件的哈希和各个文件块的哈希存储至区块链；文件分块存储模块2用于通过区块链上的文件存储节点获取文件块的哈希，根据文件块的哈希查找对应的文件并获取对应的文件块内容；以及用于通过文件存储节点将文件块内容存储至文件存储节点对应的本地服务器，并且将文件块的哈希及存储信息存储至区块链。
文件分发模块1对应于实现本发明实施例1中的步骤S101—S102；文件分块存储模块2对应于实现本发明实施例1中的步骤S103—S105。
实施例4
本发明实施例4提供一种非暂态计算机可读存储介质，所述计算机存储介质存储有计算机可执行指令，该计算机可执行指令可执行上述任意方法实施例中的文件分块存储方法。其中，所述存储介质可为磁碟、光盘、只读存储记忆体(Read-OnlyMemory，ROM)、随机存储记忆体(Random Access Memory，RAM)、快闪存储器(Flash Memory)、硬盘(Hard DiskDrive，缩写：HDD)或固态硬盘(Solid-State Drive，SSD)等；所述存储介质还可以包括上述种类的存储器的组合。
实施例5
本发明实施例5提供一种计算机设备，如图11所示，该计算机设备包括一个或多个处理器3以及存储器4，图11中以一个处理器3为例。
处理器3、存储器4可以通过总线或者其他方式连接，图8中以通过总线连接为例。
处理器3可以为中央处理器(Central Processing Unit，CPU)。处理器3还可以为其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等芯片，或者上述各类芯片的组合。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
存储器4作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序、非暂态计算机可执行程序以及模块，如本申请实施例中的文件分块存储方法对应的程序指令/模块(例如，附图10所示的文件分发模块1和文件分块存储模块2)。处理器3通过运行存储在存储器4中的非暂态软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例的文件分块存储方法。
存储器4可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据文件分块存储装置的使用所创建的数据等。此外，存储器4可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施例中，存储器4可选包括相对于处理器3远程设置的存储器，这些远程存储器可以通过网络连接至文件分块存储装置。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
所述一个或者多个模块存储在所述存储器4中，当被所述一个或者多个处理器3执行时，执行如图1-图9所示的方法。
上述产品可执行本发明实施例所提供的方法，具备执行方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节，具体可参见如图1-图9所示的实施例中的相关描述。
显然，上述实施例仅仅是为清楚地说明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本发明创造的保护范围之中。
Claims (10)
1.一种文件分块存储方法，其特征在于，包括如下步骤：
通过区块链上的文件分发节点获取文件并对所述文件进行分块,生成所述文件的多个文件块；
获取所述文件的哈希和各个文件块的哈希，并将所述文件的哈希和各个文件块的哈希存储至区块链；
通过区块链上的文件存储节点获取文件块的哈希；
根据所述文件块的哈希查找对应的文件并获取对应的文件块内容；
通过所述文件存储节点将所述文件块内容存储至所述文件存储节点对应的本地服务器，并且将所述文件块的哈希及存储信息存储至区块链。
2.根据权利要求1所述的文件分块存储方法，其特征在于，通过区块链上的文件分发节点获取文件并对所述文件进行分块,生成所述文件的多个文件块，包括：
通过区块链上的文件分发节点获取文件并根据所述文件的统一资源定位符读取文件内容；
通过所述文件分发节点根据文件分块阈值对所述文件进行分块处理以生成所述多个文件块。
3.根据权利要求2所述的文件分块存储方法，其特征在于，获取所述文件的哈希和各个文件块的哈希，并将所述文件的哈希和各个文件块的哈希存储至区块链，包括：
通过所述文件分发节点获取所述文件的哈希及各个文件块的哈希；
根据所述各个文件块的哈希形成文件块哈希集合；
建立所述文件的哈希、文件块哈希集合和所述文件的统一资源定位符之间的索引关系；
将所述文件的哈希、文件块哈希集合和所述文件的统一资源定位符及所述索引关系存储至区块链。
4.根据权利要求3所述的文件分块存储方法，其特征在于，根据所述文件块的哈希查找对应的文件并获取对应的文件块内容，包括：
根据所述文件块的哈希查找对应的文件块哈希集合；
根据文件块哈希集合与文件的哈希、文件的统一资源定位符之间的索引关系，获取所述文件块哈希集合对应的文件的统一资源定位符；
根据所述文件的统一资源定位符读取文件；
根据所述文件分块阈值在所述文件中获取对应的文件块内容。
5.根据权利要求1所述的文件分块存储方法，其特征在于，在通过区块链上的文件存储节点获取文件块的哈希之后，以及根据所述文件块的哈希查找对应的文件并获取对应的文件块内容之前，还包括：
检测所述区块链上的文件存储节点的存储次数是否超过第一设定阈值；
当所述区块链上的文件存储节点的存储次数超过第一设定阈值时，更换其他的文件存储节点对所述文件块内容进行存储。
6.根据权利要求1所述的文件分块存储方法，其特征在于，在通过区块链上的文件存储节点获取文件块的哈希之后，以及根据所述文件块的哈希查找对应的文件并获取对应的文件块内容之前，还包括：
检测所述区块链上的文件存储节点存储同一文件的不同文件块的数量是否超过第二设定阈值；
当所述区块链上的文件存储节点存储同一文件的不同文件块的数量超过第二设定阈值时，更换其他的文件存储节点对所述文件块内容进行存储。
7.根据权利要求1所述的文件分块存储方法，其特征在于：
通过区块链上的多个文件存储节点对同一个文件块进行存储。
8.一种文件分块存储系统，其特征在于，包括：
文件分发模块，用于通过区块链上的文件分发节点获取文件并对所述文件进行分块,生成所述文件的多个文件块；以及用于获取所述文件的哈希和各个文件块的哈希，并将所述文件的哈希和各个文件块的哈希存储至区块链；
文件分块存储模块，用于通过区块链上的文件存储节点获取文件块的哈希，根据所述文件块的哈希查找对应的文件并获取对应的文件块内容；以及用于通过所述文件存储节点将所述文件块内容存储至所述文件存储节点对应的本地服务器，并且将所述文件块的哈希及存储信息存储至区块链。
9.一种非暂态计算机可读存储介质，其特征在于，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令被处理器执行时实现如权利要求1-7任一所述的文件分块存储方法。
10.一种计算机设备，其特征在于，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器执行权利要求1-7任一所述的文件分块存储方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711349108.1A CN108062202A (zh) | 2017-12-15 | 2017-12-15 | 一种文件分块存储方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711349108.1A CN108062202A (zh) | 2017-12-15 | 2017-12-15 | 一种文件分块存储方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN108062202A true CN108062202A (zh) | 2018-05-22 |
Family
ID=62139203
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201711349108.1A Withdrawn CN108062202A (zh) | 2017-12-15 | 2017-12-15 | 一种文件分块存储方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108062202A (zh) |
Cited By (31)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108764902A (zh) * | 2018-05-23 | 2018-11-06 | 北京京东尚科信息技术有限公司 | 用于存储数据的方法、节点和区块链系统 |
| CN109246211A (zh) * | 2018-08-30 | 2019-01-18 | 南方科技大学 | 一种区块链中的资源上传和资源请求方法 |
| CN109308287A (zh) * | 2018-09-26 | 2019-02-05 | 南京荣链科技有限公司 | 一种基于区块链的文件分区存储方法、终端及介质 |
| CN109347893A (zh) * | 2018-08-09 | 2019-02-15 | 玄章技术有限公司 | 一种区块链网络的文件存储方法及装置 |
| CN109347948A (zh) * | 2018-10-15 | 2019-02-15 | 杭州安恒信息技术股份有限公司 | 一种基于区块链技术的大数据防篡改方法及系统 |
| CN109376122A (zh) * | 2018-09-25 | 2019-02-22 | 深圳市元征科技股份有限公司 | 一种文件管理方法、系统及区块链节点设备和存储介质 |
| CN109491996A (zh) * | 2018-09-27 | 2019-03-19 | 上海点融信息科技有限责任公司 | 用于区块链网络的区块生成方法、区块数据访问方法、计算设备、存储介质 |
| CN109491968A (zh) * | 2018-11-13 | 2019-03-19 | 浙江鲸腾网络科技有限公司 | 一种文件处理方法、装置、设备及计算机可读存储介质 |
| CN109522270A (zh) * | 2018-10-19 | 2019-03-26 | 平安科技（深圳）有限公司 | 基于区块链的文件存读方法、电子装置及可读存储介质 |
| CN109587132A (zh) * | 2018-11-29 | 2019-04-05 | 苏宁易购集团股份有限公司 | 一种基于联盟链的数据传递方法及装置 |
| CN109634932A (zh) * | 2018-11-30 | 2019-04-16 | 北京瑞卓喜投科技发展有限公司 | 一种智能合约存储方法及存储系统 |
| CN109918925A (zh) * | 2019-02-19 | 2019-06-21 | 上海泉坤信息科技有限公司 | 数据存储方法、数据节点及存储介质 |
| CN110032545A (zh) * | 2019-03-27 | 2019-07-19 | 远光软件股份有限公司 | 基于区块链的文件存储方法、系统及电子设备 |
| CN110062034A (zh) * | 2019-04-01 | 2019-07-26 | 中科天御(苏州)科技有限公司 | 一种区块链大文件安全存储方法及系统 |
| CN110209347A (zh) * | 2019-04-04 | 2019-09-06 | 特斯联（北京）科技有限公司 | 一种可追溯的数据存储方法 |
| CN110413236A (zh) * | 2019-08-01 | 2019-11-05 | 北京阿尔山金融科技有限公司 | 数据的管理方法、装置以及电子设备 |
| CN110636087A (zh) * | 2018-06-21 | 2019-12-31 | 北京果仁宝软件技术有限责任公司 | 基于联盟链的数据处理方法及系统 |
| CN110720204A (zh) * | 2018-12-19 | 2020-01-21 | 阿里巴巴集团控股有限公司 | 基于共享秘密的区块链存储 |
| CN110730185A (zh) * | 2019-10-22 | 2020-01-24 | 张瑞 | 一种基于分布式计算的区块链大数据处理方法及系统 |
| CN110781155A (zh) * | 2019-10-18 | 2020-02-11 | 赛尔网络有限公司 | 基于ipfs的数据存储读取方法、系统、设备和介质 |
| CN110968554A (zh) * | 2018-09-30 | 2020-04-07 | 苏州中宇云网数字科技有限公司 | 一种基于文件链分块的区块链存储方法、存储系统及存储介质 |
| CN111090385A (zh) * | 2018-10-23 | 2020-05-01 | 中思博安科技（北京）有限公司 | 一种基于区块链的数据管理方法及装置 |
| CN111209585A (zh) * | 2020-02-11 | 2020-05-29 | 广州电力交易中心有限责任公司 | 一种基于电力交易的数据处理方法及系统 |
| CN111262822A (zh) * | 2018-12-03 | 2020-06-09 | 中国电信股份有限公司 | 文件存储方法、装置、区块链节点和系统 |
| CN111324902A (zh) * | 2018-12-14 | 2020-06-23 | 航天信息股份有限公司 | 一种基于区块链的数据存取方法、装置及系统 |
| CN111447265A (zh) * | 2020-03-24 | 2020-07-24 | 深圳市网心科技有限公司 | 文件存储方法、文件下载方法和文件处理方法及相关组件 |
| CN111444284A (zh) * | 2020-06-18 | 2020-07-24 | 榕知(杭州)信息技术有限公司 | 基于区块链的知识产权交易方法、系统、设备及计算机可读存储介质 |
| WO2020011287A3 (en) * | 2019-10-15 | 2020-08-20 | Alipay (Hangzhou) Information Technology Co., Ltd. | Indexing and recovering encoded blockchain data |
| WO2022095574A1 (zh) * | 2020-11-06 | 2022-05-12 | 中国银联股份有限公司 | 一种基于区块链的资源共享的方法及装置 |
| CN114900536A (zh) * | 2022-05-18 | 2022-08-12 | 华侨大学 | 基于区块链的积分通兑共识存储方法及系统 |
| CN111400250B (zh) * | 2020-03-11 | 2023-04-25 | 安徽文香科技有限公司 | 一种资源获取方法、装置、设备及存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106534317A (zh) * | 2016-11-17 | 2017-03-22 | 杭州云象网络技术有限公司 | 一种基于区块链技术的灾备云存储系统构建方法 |
| CN106775497A (zh) * | 2017-01-19 | 2017-05-31 | 郑志超 | 基于区块链的分布式存储方法及设备 |
| CN106919476A (zh) * | 2017-02-24 | 2017-07-04 | 中国科学院软件研究所 | 基于联盟链的数据安全备份方法、客户端及云服务端 |
| CN107249046A (zh) * | 2017-08-15 | 2017-10-13 | 李俊庄 | 一种基于区块链的分布式云存储系统构建方法 |
| CN107360156A (zh) * | 2017-07-10 | 2017-11-17 | 广东工业大学 | 一种大数据环境下基于区块链的p2p网络云端存储方法 |
-
2017
- 2017-12-15 CN CN201711349108.1A patent/CN108062202A/zh not_active Withdrawn
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106534317A (zh) * | 2016-11-17 | 2017-03-22 | 杭州云象网络技术有限公司 | 一种基于区块链技术的灾备云存储系统构建方法 |
| CN106775497A (zh) * | 2017-01-19 | 2017-05-31 | 郑志超 | 基于区块链的分布式存储方法及设备 |
| CN106919476A (zh) * | 2017-02-24 | 2017-07-04 | 中国科学院软件研究所 | 基于联盟链的数据安全备份方法、客户端及云服务端 |
| CN107360156A (zh) * | 2017-07-10 | 2017-11-17 | 广东工业大学 | 一种大数据环境下基于区块链的p2p网络云端存储方法 |
| CN107249046A (zh) * | 2017-08-15 | 2017-10-13 | 李俊庄 | 一种基于区块链的分布式云存储系统构建方法 |
Cited By (42)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108764902B (zh) * | 2018-05-23 | 2020-12-22 | 北京京东尚科信息技术有限公司 | 用于存储数据的方法、节点和区块链系统 |
| CN108764902A (zh) * | 2018-05-23 | 2018-11-06 | 北京京东尚科信息技术有限公司 | 用于存储数据的方法、节点和区块链系统 |
| CN110636087B (zh) * | 2018-06-21 | 2022-04-12 | 北京果仁宝软件技术有限责任公司 | 基于联盟链的数据处理方法及系统 |
| CN110636087A (zh) * | 2018-06-21 | 2019-12-31 | 北京果仁宝软件技术有限责任公司 | 基于联盟链的数据处理方法及系统 |
| CN109347893A (zh) * | 2018-08-09 | 2019-02-15 | 玄章技术有限公司 | 一种区块链网络的文件存储方法及装置 |
| CN109246211A (zh) * | 2018-08-30 | 2019-01-18 | 南方科技大学 | 一种区块链中的资源上传和资源请求方法 |
| CN109376122A (zh) * | 2018-09-25 | 2019-02-22 | 深圳市元征科技股份有限公司 | 一种文件管理方法、系统及区块链节点设备和存储介质 |
| CN109308287A (zh) * | 2018-09-26 | 2019-02-05 | 南京荣链科技有限公司 | 一种基于区块链的文件分区存储方法、终端及介质 |
| CN109491996A (zh) * | 2018-09-27 | 2019-03-19 | 上海点融信息科技有限责任公司 | 用于区块链网络的区块生成方法、区块数据访问方法、计算设备、存储介质 |
| CN110968554A (zh) * | 2018-09-30 | 2020-04-07 | 苏州中宇云网数字科技有限公司 | 一种基于文件链分块的区块链存储方法、存储系统及存储介质 |
| CN109347948A (zh) * | 2018-10-15 | 2019-02-15 | 杭州安恒信息技术股份有限公司 | 一种基于区块链技术的大数据防篡改方法及系统 |
| CN109522270A (zh) * | 2018-10-19 | 2019-03-26 | 平安科技（深圳）有限公司 | 基于区块链的文件存读方法、电子装置及可读存储介质 |
| CN111090385A (zh) * | 2018-10-23 | 2020-05-01 | 中思博安科技（北京）有限公司 | 一种基于区块链的数据管理方法及装置 |
| CN109491968A (zh) * | 2018-11-13 | 2019-03-19 | 浙江鲸腾网络科技有限公司 | 一种文件处理方法、装置、设备及计算机可读存储介质 |
| CN109587132B (zh) * | 2018-11-29 | 2021-03-26 | 南京苏宁软件技术有限公司 | 一种基于联盟链的数据传递方法及装置 |
| CN109587132A (zh) * | 2018-11-29 | 2019-04-05 | 苏宁易购集团股份有限公司 | 一种基于联盟链的数据传递方法及装置 |
| CN109634932A (zh) * | 2018-11-30 | 2019-04-16 | 北京瑞卓喜投科技发展有限公司 | 一种智能合约存储方法及存储系统 |
| CN111262822A (zh) * | 2018-12-03 | 2020-06-09 | 中国电信股份有限公司 | 文件存储方法、装置、区块链节点和系统 |
| CN111262822B (zh) * | 2018-12-03 | 2022-04-19 | 中国电信股份有限公司 | 文件存储方法、装置、区块链节点和系统 |
| CN111324902A (zh) * | 2018-12-14 | 2020-06-23 | 航天信息股份有限公司 | 一种基于区块链的数据存取方法、装置及系统 |
| CN110720204B (zh) * | 2018-12-19 | 2022-06-03 | 创新先进技术有限公司 | 基于共享秘密的区块链存储方法、存储介质及系统 |
| CN110720204A (zh) * | 2018-12-19 | 2020-01-21 | 阿里巴巴集团控股有限公司 | 基于共享秘密的区块链存储 |
| CN109918925A (zh) * | 2019-02-19 | 2019-06-21 | 上海泉坤信息科技有限公司 | 数据存储方法、数据节点及存储介质 |
| CN110032545A (zh) * | 2019-03-27 | 2019-07-19 | 远光软件股份有限公司 | 基于区块链的文件存储方法、系统及电子设备 |
| CN110062034A (zh) * | 2019-04-01 | 2019-07-26 | 中科天御(苏州)科技有限公司 | 一种区块链大文件安全存储方法及系统 |
| CN110209347A (zh) * | 2019-04-04 | 2019-09-06 | 特斯联（北京）科技有限公司 | 一种可追溯的数据存储方法 |
| CN110413236A (zh) * | 2019-08-01 | 2019-11-05 | 北京阿尔山金融科技有限公司 | 数据的管理方法、装置以及电子设备 |
| US11307927B2 (en) | 2019-10-15 | 2022-04-19 | Alipay (Hangzhou) Information Technology Co., Ltd. | Indexing and recovering encoded blockchain data |
| KR102412024B1 (ko) | 2019-10-15 | 2022-06-22 | 알리페이 (항저우) 인포메이션 테크놀로지 씨오., 엘티디. | 인코딩된 블록체인 데이터의 인덱싱 및 복구 |
| WO2020011287A3 (en) * | 2019-10-15 | 2020-08-20 | Alipay (Hangzhou) Information Technology Co., Ltd. | Indexing and recovering encoded blockchain data |
| US10977114B2 (en) | 2019-10-15 | 2021-04-13 | Alipay (Hangzhou) Information Technology Co., Ltd. | Indexing and recovering encoded blockchain data |
| KR20210045353A (ko) * | 2019-10-15 | 2021-04-26 | 알리페이 (항저우) 인포메이션 테크놀로지 씨오., 엘티디. | 인코딩된 블록체인 데이터의 인덱싱 및 복구 |
| CN110781155B (zh) * | 2019-10-18 | 2022-06-24 | 赛尔网络有限公司 | 基于ipfs的数据存储读取方法、系统、设备和介质 |
| CN110781155A (zh) * | 2019-10-18 | 2020-02-11 | 赛尔网络有限公司 | 基于ipfs的数据存储读取方法、系统、设备和介质 |
| CN110730185A (zh) * | 2019-10-22 | 2020-01-24 | 张瑞 | 一种基于分布式计算的区块链大数据处理方法及系统 |
| CN111209585B (zh) * | 2020-02-11 | 2020-12-18 | 广州电力交易中心有限责任公司 | 一种基于电力交易的数据处理方法及系统 |
| CN111209585A (zh) * | 2020-02-11 | 2020-05-29 | 广州电力交易中心有限责任公司 | 一种基于电力交易的数据处理方法及系统 |
| CN111400250B (zh) * | 2020-03-11 | 2023-04-25 | 安徽文香科技有限公司 | 一种资源获取方法、装置、设备及存储介质 |
| CN111447265A (zh) * | 2020-03-24 | 2020-07-24 | 深圳市网心科技有限公司 | 文件存储方法、文件下载方法和文件处理方法及相关组件 |
| CN111444284A (zh) * | 2020-06-18 | 2020-07-24 | 榕知(杭州)信息技术有限公司 | 基于区块链的知识产权交易方法、系统、设备及计算机可读存储介质 |
| WO2022095574A1 (zh) * | 2020-11-06 | 2022-05-12 | 中国银联股份有限公司 | 一种基于区块链的资源共享的方法及装置 |
| CN114900536A (zh) * | 2022-05-18 | 2022-08-12 | 华侨大学 | 基于区块链的积分通兑共识存储方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108062202A (zh) | 一种文件分块存储方法及系统 | |
| CN108108127A (zh) | 一种文件读取方法及系统 | |
| US8290994B2 (en) | Obtaining file system view in block-level data storage systems | |
| CN102592103B (zh) | 文件安全处理方法、设备及系统 | |
| CN107688591B (zh) | 一种精算处理方法和装置 | |
| JP2005122702A5 (zh) | ||
| CN104731816A (zh) | 一种处理异常业务数据的方法和装置 | |
| CN109669709A (zh) | 一种区块链升级的数据迁移方法及数据迁移系统 | |
| CN108959359A (zh) | 一种统一资源定位符语义去重方法、装置、设备和介质 | |
| US20140229496A1 (en) | Information processing device, information processing method, and computer program product | |
| CN105677903A (zh) | 获取数据的方法和装置、计算机设备 | |
| CN111355696A (zh) | 一种报文识别方法、装置、dpi设备及存储介质 | |
| CN106021566A (zh) | 一种提高单台数据库并发处理能力的方法、装置及系统 | |
| CN110888837A (zh) | 对象存储小文件归并方法及装置 | |
| CN109450969A (zh) | 从第三方数据源服务器中获取数据的方法、装置和服务器 | |
| CN107329836A (zh) | 多系统的内存管理方法、管理装置以及移动终端 | |
| CN110489416B (zh) | 一种基于数据处理的信息存储方法及相关设备 | |
| JP4549571B2 (ja) | フォールスパス検出装置、フォールスパス検出方法およびそのプログラム | |
| CN110471764A (zh) | 一种内存清理的处理方法及装置 | |
| CN116150152A (zh) | 一种风控特征血缘关系的确定方法及装置 | |
| US20220078228A1 (en) | Infrastructure imports for an information technology platform | |
| CN108763933A (zh) | 一种基于自动程序清单的应用程序管理方法及系统 | |
| CN105844176B (zh) | 安全策略生成方法及设备 | |
| CN111130921B (zh) | 核心网网元的性能指标处理方法及装置 | |
| CN107145599A (zh) | 一种大数据资产管理系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20210120 Address after: 215163 No. 9 Xuesen Road, Science and Technology City, Suzhou High-tech Zone, Jiangsu Province Applicant after: Suzhou Lang run innovation intellectual property operation Co.,Ltd. Address before: 100034 4008, 4 floor, 9 building, 56 half moon street, Xicheng District, Beijing. Applicant before: SINOCHAIN TECHNOLOGY Co.,Ltd. |
|
| TA01 | Transfer of patent application right | ||
| WW01 | Invention patent application withdrawn after publication |
Application publication date: 20180522 |
|
| WW01 | Invention patent application withdrawn after publication |