CN108062419B - 一种文件存储方法、电子设备、系统和介质 - Google Patents
一种文件存储方法、电子设备、系统和介质 Download PDFInfo
- Publication number
- CN108062419B CN108062419B CN201810012657.8A CN201810012657A CN108062419B CN 108062419 B CN108062419 B CN 108062419B CN 201810012657 A CN201810012657 A CN 201810012657A CN 108062419 B CN108062419 B CN 108062419B
- Authority
- CN
- China
- Prior art keywords
- storage
- file
- node
- stored
- source node
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 85
- 230000006870 function Effects 0.000 claims description 18
- 238000012986 modification Methods 0.000 claims description 5
- 230000004048 modification Effects 0.000 claims description 5
- 238000004590 computer program Methods 0.000 claims description 4
- 238000005192 partition Methods 0.000 claims description 3
- 230000005540 biological transmission Effects 0.000 description 6
- 239000012634 fragment Substances 0.000 description 5
- 238000007726 management method Methods 0.000 description 4
- 238000011084 recovery Methods 0.000 description 4
- 230000006872 improvement Effects 0.000 description 3
- 238000012546 transfer Methods 0.000 description 3
- 238000012790 confirmation Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000004083 survival effect Effects 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 235000008694 Humulus lupulus Nutrition 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000001351 cycling effect Effects 0.000 description 1
- 238000007418 data mining Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000002040 relaxant effect Effects 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/13—File access structures, e.g. distributed indices
- G06F16/134—Distributed indices
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
- G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
- G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Health & Medical Sciences (AREA)
- Bioethics (AREA)
- General Health & Medical Sciences (AREA)
- Computer Hardware Design (AREA)
- Computer Security & Cryptography (AREA)
- Software Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种文件存储方法、电子设备、系统和介质，其中该方法包括根据待存储文件的文件参数生成存储请求，所述存储请求包括副本需求数；发送所述存储请求至外部节点；获取接受所述存储请求的外部节点的信息；从所述接受存储请求的外部节点中选取多个存储节点；根据所选取存储节点的数量将所述待存储文件编码为多个文件；将编码后的多个文件分发至选取的存储节点。通过将待存储文件编码为多个文件，并将编码后的文件分布存储于不同的存储节点，不需要中心服务器，可以实现分布式的存储数据泄露的风险极低；而且不同的存储节点一般位于不同的地址，因此可以避免多数存储节点灭失的情况，因此存储数据的可靠性很高。
Description
技术领域
本发明涉及数据存储技术，尤其涉及一种文件存储方法、电子设备、系统和介质。
背景技术
数据存储最简单直接的方式是使用软盘、硬盘、光盘等介质。但很容易损坏，导致数据丢失。通常的做法是使用多个介质存储副本，或者使用raid等技术做冗余存储。但管理难度大，技术门槛高，只能解决单一存储介质损坏的问题，不能彻底确保数据安全。
近几年被广为接受的存储产品是网盘。这是一种互联网产品，为用户提供稳定、可靠的存储方式。其原理是在多个异地机房，搭建服务器集群，使用分布式文件系统存储文件数据，分布式数据库存储文件索引和所属关系。该方案的问题是成本高昂，不仅前期投入的服务器、存储装置会很大，而且运营费用也很高，需要大量的采购带宽，需要专业的研发团队维护。此外，该方案采用客户机/服务器模式，还带来了数据隐私问题；产品提供方有能力随意查看用户的数据，进行分析和数据挖掘。
发明内容
为了克服现有技术的不足，本发明的目的在于提供一种文件存储方法、电子设备、系统和介质，可以将待存储文件编码为多个文件，并将编码后的文件分布存储于不同的存储节点，不需要中心服务器，可以实现分布式的存储。
本发明的目的采用以下技术方案实现：
一种文件存储方法，基于P2P方式实现，具体包括以下步骤：
根据待存储文件的文件参数生成存储请求，所述存储请求包括副本需求数；
发送所述存储请求至外部节点；
获取接受所述存储请求的外部节点的信息；
从所述接受存储请求的外部节点中选取多个存储节点；
根据所选取存储节点的数量将所述待存储文件编码为多个文件；
将编码后的多个文件分发至选取的存储节点。
进一步地，所述根据所选取存储节点的数量将所述待存储文件编码为多个文件，具体包括以下步骤：
根据所选取存储节点的数量计算编码参数；
通过喷泉码方法，根据所述编码参数将待存储文件编码为多个文件。
进一步地，所述编码参数包括片段数量、数据块大小。
进一步地，所述通过喷泉码方法，根据所述编码参数将待存储文件编码为多个文件，具体包括以下步骤：
根据所述数据块大小将待存储文件分割为至少一个数据块；
将各数据块编码为N个片段，N为所述片段数量；
从各数据块的N个片段分别提取一片段，并将提取的片段组装为一编码后的文件，重复该步骤直至所有数据块片段组装完成，最终形成N个编码后的文件。
进一步地，所述根据所述数据块大小将待存储文件分割为至少一个数据块，具体为：
若所述文件大小小于分割阈值，则所述数据块大小等于所述文件大小。
进一步地，所述存储请求包括源节点标识、容量需求、存储时长、副本需求数、费用意向、路由跳数要求、生存时间、跳数概率函数的至少一项。
进一步地，所述获取接受所述存储请求的外部节点的信息之后，还包括以下步骤：
若所述接受所述存储请求的外部节点的数目小于所述副本需求数，则执行需求修改指令。
进一步地，执行需求修改指令时，仍与所述接受所述存储请求的外部节点保持心跳。
进一步地，所述将编码后的多个文件分发至选取的存储节点之后，还包括以下步骤：
接收各存储节点反馈的校验数据；
根据所述校验数据判断相应的编码后的文件是否正确存储。
进一步地，所述将编码后的多个文件分发至选取的存储节点之后，还包括以下步骤：
生成分发至各存储节点的文件的存储索引，并将所述存储索引发送至外部节点。
进一步地，所述存储索引包括源节点标识，所述生成分发至各存储节点的文件的存储索引，并将所述存储索引发送至外部节点之后，还包括以下步骤：
若本地的存储索引不存在，恢复所述存储索引。
进一步地，所述文件存储方法还包括以下步骤：
检查所述存储节点的状态是否正常；
若状态正常的存储节点数量小于预设阈值，则向外部节点增加存储。
进一步地，所述文件存储方法还包括以下步骤：
若状态正常的存储节点数量小于预设阈值，且所述待存储文件不存在，则从所述存储节点恢复所述待存储文件，之后向外部节点增加存储。
本发明的目的还可采用以下技术方案实现：
一种电子设备，包括存储器、处理器以及存储在存储器中的程序，所述程序被配置成由处理器执行，处理器执行所述程序时实现上述的文件存储方法的步骤。
本发明的目的还可采用以下技术方案实现：
一种文件存储方法，基于P2P方式实现，具体包括以下步骤：
获取源节点的存储请求，并判断是否接受所述存储请求；
若接受，则向所述源节点发送接受所述存储请求的信息。
从所述源节点接收编码后的文件。
进一步地，所述存储请求包括副本需求数，所述方法还包括：
调整所述存储请求，并向外部节点转发调整后的存储请求；
所述调整所述存储请求具体为将所述副本需求数减一。
进一步地，所述存储请求还包括源节点标识、容量需求、存储时长、费用意向、路由跳数要求、生存时间中的至少一项。
进一步地，所述判断是否接受所述存储请求，具体为根据所述存储请求和跳数概率函数判断是否接受所述存储请求。
进一步地，所述根据所述存储请求和跳数概率函数判断是否接受所述存储请求，具体为：
若符合所述存储请求，且与所述源节点间的跳数小于第一阈值，则以第一接受概率接受所述存储请求；
若符合所述存储请求，且与所述源节点间的跳数大于第一阈值，则以第二接受概率接受所述存储请求。
进一步地，所述跳数概率函数具体为通过所述存储请求获取，或者预先存储在本地。
进一步地，所述存储请求还包括冗余参数，所述跳数概率函数根据所述冗余参数调整。
进一步地，所述从所述源节点接收编码后的文件之后，还包括以下步骤：
计算所接收文件的校验数据，并将所述校验数据发送至所述源节点。
进一步地，所述从所述源节点接收编码后的文件之后，还包括以下步骤：
从所述源节点接收存储索引。
本发明的目的还可采用以下技术方案实现：
一种电子设备，包括存储器、处理器以及存储在存储器中的程序，所述程序被配置成由处理器执行，处理器执行所述程序时实现上述的文件存储方法的步骤。
本发明的目的还可采用以下技术方案实现：
一种文件存储系统，包括上述的电子设备。
本发明的目的还可采用以下技术方案实现：
一种存储介质，所述介质存储有计算机程序，所述计算机程序被处理器执行时实现上述文件存储方法的步骤。
相比现有技术，本发明的有益效果在于：通过将待存储文件编码为多个文件，并将编码后的文件分布存储于不同的存储节点，不需要中心服务器，可以实现分布式的存储；即使获取到个别的编码后的文件，也不足以恢复源文件，因此数据泄露的风险极低；而且不同的存储节点一般位于不同的地址，因此可以避免多数存储节点灭失的情况，因此存储数据的可靠性很高。而且文件存储方法不依赖任何个体，可以实现自管理，用户不用担心数据被其他个体随意查看或者其他个体间的数据转移问题。
附图说明
图1为本发明实施例的源节点侧的文件存储方法的流程示意图；
图2为本发明实施例的外部节点/存储节点侧的文件存储方法的流程示意图；
图3为图1中根据所述文件参数将所述待存储文件编码为多个文件的示意图。
具体实施方式
下面，结合附图以及具体实施方式，对本发明做进一步描述，需要说明的是，在不相冲突的前提下，以下描述的各实施例之间或各技术特征之间可以任意组合形成新的实施例。
本发明实施例提供的文件存储方法基于P2P方式实现。网络中具有一系列的P2P节点，P2P节点可以是通用计算机、服务器或者专用的P2P网络设备。在本实施例中，P2P节点采用专用的P2P网络设备，因此用户更有意愿将节点并入P2P网络，可以保证P2P网络上节点的稳定性。该专用的P2P网络设备具有网络接口，处理器和存储器，还可自带或外接存储设备，网络接口可以通过有线或无线方式接入网络。
文件存储时，需要存储文件的P2P节点可以从存储设备获取待存储文件，经过处理后通过网络接口传输至网络中的其他P2P节点进行存储。需要存储文件的P2P节点可以作为源节点，其他P2P节点作为相对于该源节点的外部节点，实际要起存储作用的外部节点为存储节点。
图1为本发明实施例的源节点侧的文件存储方法的流程示意图；图2为本外部节点/存储节点侧的文件存储方法的流程示意图。
如图1和图2所示的文件存储方法，基于P2P方式实现，具体包括以下步骤：
步骤S110、源节点根据待存储文件的文件参数生成存储请求，所述存储请求包括副本需求数；
文件参数可以包括文件大小，对于不同大小的待存储文件，需要将其组织成不同数量的文件存储至不同数量的备份节点，所需要的备份节点数目即副本需求数。
文件参数还可以包括文件标识。作为优选的实施方式，文件标识可以为待存储文件的哈希值，特定的待存储文件对应于一特定的哈希值，可以根据哈希值标记待存储文件的身份，以及验证待存储文件的正确性。
步骤S120、源节点发送存储请求至外部节点。
源节点和外部节点均具有一个节点标识，在P2P网络中，节点标识可以为节点所用公钥的哈希值，该公钥由节点的私钥确定。
节点的所有本地数据及其元数据，都要使用私钥加密后，才能发放到网络中。因此，可以用公钥证明P2P网络中的文件是哪个节点拥有的，而且可以用私钥保证只有私钥所有者才可以使用该文件。
步骤S210、外部节点获取源节点的存储请求，并判断是否接受所述存储请求。
作为优选的实施方式，存储请求包括源节点标识、容量需求、存储时长、费用意向、路由跳数要求、生存时间(TTL，Time To Live)中的至少一项。
源节点标识可以为源节点所用公钥的哈希值，可以供外部节点识别该源节点，而不需要根据IP地址等识别源节点。因此待存储文件的所有者可以在异地使用存储的文件。容量需求、存储时长可以为编码后的文件的大小，可以由外部节点判断是否有能力存储该文件。费用意向可以表示源节点愿意为外部节点保存该文件付出的代价，例如愿意支付一定数量的虚拟奖励或积分。路由跳数要求可以包括最大路由跳数，如果外部节点距离该源节点跳数过多，则不需要该外部节点存储文件。发送生存时间可以防止数据包不断在互联网络上永不终止地循环。
作为本发明实施例的进一步改进，外部节点判断是否接受所述存储请求，除了根据上述存储请求判断，还需要根据跳数概率函数判断是否接受所述存储请求。
跳数概率函数指的是当外部节点可以满足存储请求的需求时，会根据与源节点之间的跳数以一定的概率同意作为存储节点，即同意存储源节点的数据。
在本实施例中，若某外部节点符合所述存储请求，且与所述源节点间的跳数小于第一阈值，则以第一接受概率接受所述存储请求；
若某外部节点符合所述存储请求，且与所述源节点间的跳数大于第一阈值，则以第二接受概率接受所述存储请求。
例如，第一接受概率为70％，第二接受概率为30％，则与源节点之间跳数小的外部节点更有可能接受存储请求，跳数大的外部节点接受存储请求的可能性较低。
这样可以确保待存储文件一部分分布在网络地域接近的节点，一部分分布在较远的节点，既保证了大概率下恢复的速度，又降低了小概率下文件丢失的可能性，比如地域性的灾难。
当第一接受概率较大，第二接受概率较小时，存储节点为就近选择，可以保证文件存储、恢复的高速度；当第一接受概率较小，第二接受概率较大时，可以保证存储文件的高可靠性。
作为优选的实施方式，跳数概率函数可以由源节点通过所述存储请求发送至外部节点，也可以预先存储在外部节点本地。
跳数概率函数由源节点通过所述存储请求发送至外部节点，可以实现由用户自主确定存储的速度参数和可靠性。
作为优选的实施方式，存储请求还包括冗余参数。所述跳数概率函数根据所述冗余参数调整，即外部节点可以根据冗余参数对源节点发送的跳数概率函数或外部节点本地存储的跳数概率函数进行调整。
例如，如果冗余参数设置为3～5，则第一接受概率较大，第二接受概率均可以调至更高，即增加近距节点和远距节点接受存储请求的概率。如可以就近放1.5～2的冗余，远距离放2～3的冗余，这样就能同时保证高速度和高可靠性，但同时花费也是最高的。
步骤S220、若外部节点接受所述存储请求，则向所述源节点发送接受所述存储请求的信息，以使源节点得知该外部节点愿意作为其存储节点。
步骤S130、源节点获取接受所述存储请求的外部节点的信息。即源节点统计愿意作为存储节点的外部节点的数目。
步骤S140、源节点从所述接受存储请求的外部节点中选取多个存储节点。源节点可以按照外部节点反馈信息的时间选择副本需求数目的外部节点作为存储节点；也可以进一步做筛选，例如一部分小跳数的，选择一部分大跳数的，以进一步保证存储文件的传输速度和可靠性。
作为本发明实施例的进一步改进，步骤S140获取接受所述存储请求的外部节点的信息之后，还包括以下步骤：若源节点所述接受所述存储请求的外部节点的数目小于所述副本需求数目，则执行需求修改指令。执行需求修改指令，表示对存储请求进行调整，例如调高费用意向，放宽路由跳数要求等。之后再将调整后的存储请求发送至网络中的外部节点，重复步骤S120-步骤S140。
步骤S150、源节点根据所选取存储节点的数量将所述待存储文件编码为多个文件。
作为优选的实施方式，步骤S150源节点根据所选取存储节点的数量将所述待存储文件编码为多个文件，具体包括以下步骤：
步骤S151、源节点根据所选取存储节点的数量计算编码参数。
步骤S152、源节点通过喷泉码方法，根据所述编码参数将待存储文件编码为多个文件。
在本实施例中，待存储文件通过喷泉码(fountain codes)，也即无码率擦除码(rateless erasure codes)方式编码。在本实施例中，具体使用的是raptor算法的改进raptorq算法。
喷泉码是将一些数据，例如文件，转化为一个有效的任意数量的编码包的方法，这样只要接收到稍大于信源数据包数量的编码包的子集，就可以恢复信源数据。因此，即使存储在外部节点的一些数据传递不回来，源节点只要接收到足够数量的编码包，就可以恢复数据，因此增强了文件存储方法的安全性、可靠性。
作为优选的实施方式，编码参数包括片段数量、数据块大小。在本实施例中，可以根据所选取存储节点的数量得到片段数量。数据块大小则可以由源节点的计算能力确定。
步骤S152源节点通过喷泉码方法，根据所述编码参数将待存储文件编码为多个文件，具体包括以下步骤：
步骤S1521、源节点根据所述数据块大小将待存储文件分割为至少一个数据块。
步骤S1522、源节点将各数据块编码为N个片段，N为所述片段数量；
步骤S1523、源节点从各数据块的N个片段分别提取一片段，并将提取的片段组装为一编码后的文件，重复该步骤直至所有数据块片段组装完成，最终形成N个编码后的文件。
如图3所示，首先将待存储文件分割为4个数据块，然后将各数据块编码为4个片段；之后从各数据块的4个片段分别提取一片段，并将提取的片段组装为一个编码后的文件；重复该步骤直至所有数据块片段组装完成，最后得到四个编码后的文件。
作为优选的实施方式，编码后的文件还包括文件头部的编码信息和文件尾部的哈希值，用于自校验，可以检测文件是否被修改或损坏。
作为优选的实施方式，若所述文件大小小于分割阈值，则所述数据块大小等于所述文件大小。例如，对于小于32MB的待存储文件，可以使数据块大小等于所述待存储文件的大小。
进一步地，待存储文件小于32MB，则副本需求数可取36个。如果最后选取的备份节点数目为36个，可以选取片段数量为18个，然后进行2倍冗余编码，编码出36个文件。之后由源节点将36个文件分发至36个备份节点。数据块大小等于待存储文件的大小，优选的可按8字节向上对齐。因此副本需求数目为每个编码文件就是一个片段，每个片段最小为8字节，最大1821K。编码内存消耗最大为32*3＝96MB。
对于32MB～4096MB的待存储文件，可以使副本需求数和片段数量取为32个，数据块大小等于8MB。每个编码文件包含一系列片段，片段大小为1M。编码内存消耗最大为8*3＝24MB。每个编码文件最小1M，最大为128M。
对于4096MB～40GB的待存储文件，可以使副本需求数和片段数量取为128个，数据块大小可以为32MB或64MB，如果内存消耗可以接受，则选择尽可能大的值。每个编码文件最小为32M，最大为320M。
对于更大的待存储文件，为了使每个编码文件尽量小，可以选择较大的片段数量。
副本需求数和片段数量的多少，是衡量以下因素的结果：
1)编码后的每个文件的大小，越小越好，传输成功率越高；
2)编码消耗的内存，每个数据块越小越好；
3)编码性能，片段越小，性能越高。
4)数据块不能太大，否则对小文件来说，填充数据量相比有效数据的比例就增加了。
作为优选的实施方式，执行需求修改指令时，仍与所述接受所述存储请求的外部节点保持心跳。以避免在寻找额外的存储节点时与已经确定的存储节点断开连接。
步骤S160、源节点将编码后的多个文件分发至选取的存储节点；以及步骤S230、存储节点从所述源节点接收编码后的文件。
作为优选的实施方式，源节点将编码后的文件分发至选取的存储节点前，需要发请求确认，确认与存储节点之间的连接稳定。
也可以在源节点从所述接受存储请求的外部节点中选取多个存储节点之后将所述待存储文件编码为多个文件。例如，如果源节点最后选取的备份节点为S，则通过喷泉码方法，将待存储文件编码为S个文件。然后将S个文件分发至选取的S个备份节点。
本发明实施例提供的文件存储方法，通过将待存储文件编码为多个文件，并将编码后的文件分布存储于不同的存储节点，不需要中心服务器，可以实现分布式的存储；即使获取到个别的编码后的文件，也不足以恢复源文件，因此数据泄露的风险极低；而且不同的存储节点一般位于不同的地址，因此可以避免多数存储节点灭失的情况，因此存储数据的可靠性很高。而且文件存储方法不依赖任何个体，可以实现自管理，用户不用担心数据被其他个体随意查看或者其他个体间的数据转移问题。
作为优选的实施方式，所述存储请求包括副本需求数。文件存储方法还包括：
步骤S240、外部节点调整接收到的存储请求，并向外部节点转发调整后的存储请求。在本实施例中，存储请求还包括副本需求数，所述调整所述存储请求，具体为将所述副本需求数减一。当传递至某一外部节点的副本需求数为零时，表示不需要继续寻找潜在的存储节点了，可以停止转发存储请求。因此可以及时终止存储请求的传递，避免数据的无用传输和处理。
进一步地，存储请求还包括路由跳数，调整存储请求时将路由跳数加1，便于后续的外部节点获取与源节点间的跳数；如果某外部节点获取到的路由跳数不满足路由跳数要求，则该外部节点不接受该存储请求且不再转发该存储请求。因此可以及时终止存储请求的传递，避免数据的无用传输和处理。
作为优选的实施方式，步骤S230存储节点从所述源节点接收编码后的文件之后，还包括以下步骤：
步骤S250、计算所接收文件的校验数据，并将所述校验数据发送至所述源节点。
步骤S160将编码后的多个文件分发至选取的存储节点之后，还包括以下步骤：
步骤S171、源节点接收各存储节点反馈的校验数据；
步骤S172、源节点根据所述校验数据判断相应的编码后的文件是否正确存储。
校验数据可以为编码后文件的哈希值，因此可以由源节点确认编码后的文件是否正确存储。
作为优选的实施方式，步骤S160将编码后的多个文件分发至选取的存储节点之后，还包括以下步骤：
步骤S180、源节点生成分发至各存储节点的文件的存储索引，并将所述存储索引发送至外部节点；
以及，步骤S260、存储节点从所述源节点接收存储索引。
因此源节点可以记录自己的什么文件由哪个节点存储，存储节点也可以记录自己保存有哪个节点的什么文件。因此可以保证存储文件存储可查，可以确保文件的恢复速度以及正确性。
作为优选的实施方式，所述存储索引包括源节点标识，步骤S180生成分发至各存储节点的文件的存储索引，并将所述存储索引发送至外部节点之后，还包括以下步骤：
步骤S190、若源节点本地的存储索引不存在，则恢复所述存储索引；例如，可以从所述存储节点恢复所述存储索引。
因此，如果源节点本地的索引数据损坏或缺失，如源节点更换存储介质，则可以自动使用私钥对应的公钥的哈希值，即节点标识到P2P网络上找相关索引，并在本地恢复重建所述存储索引。
作为本发明实施例的进一步改进，文件存储方法还包括以下步骤：
步骤S191、源节点检查所述存储节点的状态是否正常。
步骤S192、若状态正常的存储节点数量小于预设阈值，则向外部节点增加存储。
源节点可以定期向存储节点发送状态请求，然后由存储节点返回状态确认，也可以由存储节点向源节点发送状态确认。优选的采用后一种方式，这样在源节点下线后，就不会有状态确认数据包了，可以避免大量节点下线后，网络上产生大量无用包。
如果状态正常的存储节点数量小于预设阈值，则向外部节点增加存储。即可以再执行前述文件存储的步骤，可以适当减少副本需求数。
进一步地，从外部节点中选取存储节点以及跳数概率函数可以根据丢失的存储节点的属性来定，即丢失的是近距离的，就优先实用近距离外部节点作为存储节点。
作为优选的实施方式，若状态正常的存储节点数量小于预设阈值，且所述待存储文件不存在，则从所述存储节点恢复所述待存储文件，之后向外部节点增加存储。即，如果在需要向外部节点增加存储时，原来的待存储文件已经被删除或损坏，则要先从可用的存储节点恢复先前的待存储文件后再增加存储。由于将所述待存储文件编码为多个文件采用的是喷泉码这种前向纠删码来做冗余，因此只需要一定数量的编码后的文件就可以恢复文件，而不需要全部的编码后的文件，因此可以承受一部分存储节点下线，降低了由于P2P网络中节点不稳定造成的存储文件恢复不了的风险，确保分布存储后数据恢复的可靠性。
通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本发明可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法，如：
一种存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现前述文件存储方法的步骤。
本发明可用于众多通用或专用的计算系统环境或配置中。例如：个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器系统、基于微处理器的系统、机顶盒、可编程的消费电子设备、网络PC、小型计算机、大型计算机、包括以上任何系统或设备的分布式计算环境等等，如以下实施例。
一种电子设备，包括第一存储器、第一处理器以及存储在第一存储器中的程序，所述程序被配置成由第一处理器执行，第一处理器执行所述程序时实现上述的源节点执行的文件存储方法的步骤。
以及一种电子设备，包括第二存储器、第二处理器以及存储在第二存储器中的程序，所述程序被配置成由第二处理器执行，第二处理器执行所述程序时实现上述的外部节点/存储节点执行的文件存储方法的步骤。
基于上述的电子设备，可以构建一种文件存储系统，其包括多个上述的电子设备，且至少有一个实现上述的源节点执行的文件存储方法的步骤，其余实现上述的外部节点/存储节点执行的文件存储方法的步骤。
本实施例中的电子设备与前述实施例中的方法是基于同一发明构思下的两个方面，在前面已经对方法实施过程作了详细的描述，所以本领域技术人员可根据前述描述清楚地了解本实施中的系统的结构及实施过程，为了说明书的简洁，在此就不再赘述。
本发明实施例提供的电子设备，可以通过将待存储文件编码为多个文件，并将编码后的文件分布存储于不同的存储节点，不需要中心服务器，可以实现分布式的存储；即使获取到个别的编码后的文件，也不足以恢复源文件，因此数据泄露的风险极低；而且不同的存储节点一般位于不同的地址，因此可以避免多数存储节点灭失的情况，因此存储数据的可靠性很高。而且文件存储方法不依赖任何个体，可以实现自管理，用户不用担心数据被其他个体随意查看或者其他个体间的数据转移问题。
上述实施方式仅为本发明的优选实施方式，不能以此来限定本发明保护的范围，本领域的技术人员在本发明的基础上所做的任何非实质性的变化及替换均属于本发明所要求保护的范围。
Claims (24)
1.一种文件存储方法，其特征在于，基于P2P方式实现，具体包括以下步骤：
源节点根据待存储文件的文件参数生成存储请求，所述存储请求包括副本需求数和源节点标识；所述源节点标识为所述源节点所用公钥的哈希值，所述公钥由所述源节点的私钥确定；
源节点发送所述存储请求至外部节点，每个所述外部节点具有所述外部节点的节点标识；
获取接受所述存储请求的外部节点的信息；
从所述接受存储请求的外部节点中选取多个存储节点；
根据所选取存储节点的数量将所述待存储文件编码为多个文件；
采用所述源节点的私钥对编码后的多个文件进行加密；
将经加密的编码后的多个文件分发至选取的存储节点；
生成分发至各存储节点的文件的存储索引，并将所述存储索引发送至外部节点。
2.如权利要求1所述的文件存储方法，其特征在于，所述根据所选取存储节点的数量将所述待存储文件编码为多个文件，具体包括以下步骤：根据所选取存储节点的数量计算编码参数；通过喷泉码方法，根据所述编码参数将待存储文件编码为多个文件。
3.如权利要求2所述的文件存储方法，其特征在于，所述编码参数包括片段数量、数据块大小。
4.如权利要求3所述的文件存储方法，其特征在于，所述通过喷泉码方法，根据所述编码参数将待存储文件编码为多个文件，具体包括以下步骤：根据所述数据块大小将待存储文件分割为至少一个数据块；将各数据块编码为N个片段，N为所述片段数量；从各数据块的N个片段分别提取一片段，并将提取的片段组装为一编码后的文件，重复该步骤直至所有数据块片段组装完成，最终形成N个编码后的文件。
5.如权利要求3所述的文件存储方法，其特征在于，所述根据所述数据块大小将待存储文件分割为至少一个数据块，具体为：若所述文件大小小于分割阈值，则所述数据块大小等于所述文件大小。
6.如权利要求1-5中任一项所述的文件存储方法，其特征在于，所述存储请求包括容量需求、存储时长、费用意向、路由跳数要求、生存时间、跳数概率函数的至少一项。
7.如权利要求1-5中任一项所述的文件存储方法，其特征在于，所述获取接受所述存储请求的外部节点的信息之后，还包括以下步骤：
若所述接受所述存储请求的外部节点的数目小于所述副本需求数，则执行需求修改指令。
8.如权利要求7所述的文件存储方法，其特征在于，执行需求修改指令时，仍与所述接受所述存储请求的外部节点保持心跳。
9.如权利要求1-5中任一项所述的文件存储方法，其特征在于，所述将编码后的多个文件分发至选取的存储节点之后，还包括以下步骤：
接收各存储节点反馈的校验数据；根据所述校验数据判断相应的编码后的文件是否正确存储。
10.如权利要求9所述的文件存储方法，其特征在于，所述存储索引包括源节点标识，所述生成分发至各存储节点的文件的存储索引，并将所述存储索引发送至外部节点之后，还包括以下步骤：
若本地的存储索引不存在，恢复所述存储索引。
11.如权利要求1-5中任一项所述的文件存储方法，其特征在于，还包括以下步骤：检查所述存储节点的状态是否正常；若状态正常的存储节点数量小于预设阈值，则向外部节点增加存储。
12.如权利要求11所述的文件存储方法，其特征在于，还包括以下步骤：若状态正常的存储节点数量小于预设阈值，且所述待存储文件不存在，则从状态正常的所述存储节点恢复所述待存储文件，之后向外部节点增加存储。
13.一种文件存储方法，其特征在于，基于P2P方式实现，具体包括以下步骤：外部节点获取源节点的存储请求，并判断是否接受所述存储请求，所述存储请求包括所述源节点标识，所述源节点标识为所述源节点所用公钥的哈希值，所述公钥由所述源节点的私钥确定，所述外部节点具有外部节点标识；若接受，则向所述源节点发送接受所述存储请求的信息；从所述源节点接收经加密的编码后的文件；从所述源节点接收存储索引。
14.如权利要求13所述的文件存储方法，其特征在于，所述存储请求包括副本需求数，所述方法还包括：调整所述存储请求，并向外部节点转发调整后的存储请求；所述调整所述存储请求具体为将所述副本需求数减一。
15.如权利要求14所述的文件存储方法，其特征在于，所述存储请求还包括容量需求、存储时长、费用意向、路由跳数要求、生存时间中的至少一项。
16.如权利要求13-15中任一项所述的文件存储方法，其特征在于，所述判断是否接受所述存储请求，具体为：根据所述存储请求和跳数概率函数判断是否接受所述存储请求。
17.如权利要求16所述的文件存储方法，其特征在于，所述根据所述存储请求和跳数概率函数判断是否接受所述存储请求，具体为：若符合所述存储请求，且与所述源节点间的跳数小于第一阈值，则以第一接受概率接受所述存储请求；若符合所述存储请求，且与所述源节点间的跳数大于第一阈值，则以第二接受概率接受所述存储请求。
18.如权利要求17所述的文件存储方法，其特征在于，所述跳数概率函数具体为通过所述存储请求获取，或者预先存储在本地。
19.如权利要求18所述的文件存储方法，其特征在于，所述存储请求还包括冗余参数，所述跳数概率函数根据所述冗余参数调整。
20.如权利要求13所述的文件存储方法，其特征在于，所述从所述源节点接收编码后的文件之后，还包括以下步骤：
计算所接收文件的校验数据，并将所述校验数据发送至所述源节点。
21.一种电子设备，其特征在于，包括存储器、处理器以及存储在存储器中的程序，所述程序被配置成由处理器执行，处理器执行所述程序时实现如权利要求1-12中任一项所述的文件存储方法的步骤。
22.一种电子设备，其特征在于，包括存储器、处理器以及存储在存储器中的程序，所述程序被配置成由处理器执行，处理器执行所述程序时实现如权利要求13-20中任一项所述的文件存储方法的步骤。
23.一种文件存储系统，其特征在于，包括如权利要求21所述的电子设备以及如权利要求22所述的电子设备。
24.一种介质，所述介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-12中任一项所述的文件存储方法的步骤或如权利要求13-20中任一项所述的文件存储方法的步骤。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810012657.8A CN108062419B (zh) | 2018-01-06 | 2018-01-06 | 一种文件存储方法、电子设备、系统和介质 |
| PCT/CN2018/074951 WO2019134211A1 (zh) | 2018-01-06 | 2018-02-01 | 一种文件存储方法、电子设备、系统和介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810012657.8A CN108062419B (zh) | 2018-01-06 | 2018-01-06 | 一种文件存储方法、电子设备、系统和介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108062419A CN108062419A (zh) | 2018-05-22 |
| CN108062419B true CN108062419B (zh) | 2021-04-20 |
Family
ID=62141347
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810012657.8A Active CN108062419B (zh) | 2018-01-06 | 2018-01-06 | 一种文件存储方法、电子设备、系统和介质 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN108062419B (zh) |
| WO (1) | WO2019134211A1 (zh) |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109032499B (zh) * | 2018-06-09 | 2022-04-05 | 西安电子科技大学 | 一种分布式数据存储的数据存取方法、信息数据处理终端 |
| CN109302495A (zh) * | 2018-11-20 | 2019-02-01 | 北京邮电大学 | 一种数据存储方法及装置 |
| CN110012108A (zh) * | 2019-04-15 | 2019-07-12 | 深圳市网心科技有限公司 | 数据副本存储方法、下载方法、云存储系统及相关装置 |
| CN110099112B (zh) * | 2019-04-28 | 2022-03-29 | 平安科技（深圳）有限公司 | 基于点对点网络的数据存储方法、装置、介质及终端设备 |
| CN110489279A (zh) * | 2019-08-27 | 2019-11-22 | 深圳市网心科技有限公司 | 一种文件副本维护方法及相关装置 |
| CN111291414A (zh) * | 2020-03-11 | 2020-06-16 | 深圳市网心科技有限公司 | 数据存储方法及装置、计算机装置及存储介质 |
| CN111488245A (zh) * | 2020-04-14 | 2020-08-04 | 深圳市小微学苑科技有限公司 | 分布式存储的高级管理方法及系统 |
| CN112528348B (zh) * | 2021-01-13 | 2022-05-20 | 何春江 | 一种web信息安全存储方法 |
| CN113986828A (zh) * | 2021-10-28 | 2022-01-28 | 浙江立元科技有限公司 | 存储海量文件的方法、装置、电子设备及存储介质 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103886272A (zh) * | 2014-03-20 | 2014-06-25 | 北京邮电大学 | 一种基于喷泉码的安全存储技术 |
| CN104364765A (zh) * | 2012-05-03 | 2015-02-18 | 汤姆逊许可公司 | 分布式数据存储系统中的数据存储和维护的方法以及对应设备 |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9270421B2 (en) * | 2002-05-14 | 2016-02-23 | Genghiscomm Holdings, LLC | Cooperative subspace demultiplexing in communication networks |
| CN101442475A (zh) * | 2007-11-24 | 2009-05-27 | 华为技术有限公司 | 一种分布式业务代理的方法、网络系统与网络设备 |
| CN102075790A (zh) * | 2009-11-20 | 2011-05-25 | 上海电机学院 | 一种流媒体分发和加密的方法 |
| CN102195790A (zh) * | 2010-03-05 | 2011-09-21 | 华为技术有限公司 | 对等网络中的资源控制方法、装置和系统 |
| US9941996B2 (en) * | 2015-08-28 | 2018-04-10 | The Chinese University Of Hong Kong | Message coding for NCMA-based multiple access networks |
| CN105262564A (zh) * | 2015-09-09 | 2016-01-20 | 哈尔滨工业大学深圳研究生院 | 一种分布式喷泉码的二维度分布设计方法 |
| CN106658034A (zh) * | 2016-12-05 | 2017-05-10 | 乐视控股（北京）有限公司 | 文件存储和读取的方法及装置 |
-
2018
- 2018-01-06 CN CN201810012657.8A patent/CN108062419B/zh active Active
- 2018-02-01 WO PCT/CN2018/074951 patent/WO2019134211A1/zh active Application Filing
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104364765A (zh) * | 2012-05-03 | 2015-02-18 | 汤姆逊许可公司 | 分布式数据存储系统中的数据存储和维护的方法以及对应设备 |
| CN103886272A (zh) * | 2014-03-20 | 2014-06-25 | 北京邮电大学 | 一种基于喷泉码的安全存储技术 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108062419A (zh) | 2018-05-22 |
| WO2019134211A1 (zh) | 2019-07-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108062419B (zh) | 一种文件存储方法、电子设备、系统和介质 | |
| US9922111B1 (en) | Data restoration utilizing redundancy data | |
| RU2501072C2 (ru) | Распределенное хранение восстанавливаемых данных | |
| US8171101B2 (en) | Smart access to a dispersed data storage network | |
| JP4726557B2 (ja) | ネットワークコーディングを使用したコンテンツ配信 | |
| US20140325305A1 (en) | Cache for file-based dispersed storage | |
| CN108647230A (zh) | 分布式存储方法、电子装置及存储介质 | |
| US8954793B2 (en) | Method and a storage server for data redundancy | |
| US10437678B2 (en) | Updating an encoded data slice | |
| CN111641563B (zh) | 基于分布式场景的流量自适应方法与系统 | |
| US20190004727A1 (en) | Using a namespace to augment de-duplication | |
| CN107766170B (zh) | 单一存储池的差量日志式纠删码更新方法 | |
| Parag et al. | Latency analysis for distributed storage | |
| US10681138B2 (en) | Storing and retrieving multi-format content in a distributed storage network | |
| CN109117292A (zh) | 一种集群存储的方法和装置及集群存储系统 | |
| JP6671708B2 (ja) | バックアップリストアシステム及びバックアップリストア方法 | |
| CN113824755A (zh) | 区块链数据处理的方法、系统及相关装置 | |
| CN114785805B (zh) | 一种数据传输方法、装置、电子设备以及存储介质 | |
| CN112486412A (zh) | 一种基于分布式对象存储系统安全的信息分散方法及系统 | |
| Arya et al. | Network coding based multiple fault tolerance scheme in P2P cloud storage system | |
| Su et al. | QoS-aware distributed cloud storage service based on erasure code in multi-cloud environment | |
| US20240028236A1 (en) | Accessing Metadata Storage Trees in a Storage Network | |
| US11755413B2 (en) | Utilizing integrity information to determine corruption in a vast storage system | |
| KR20240056402A (ko) | 파운틴 코드를 이용한 블록체인 트랜잭션 데이터 저장 방법 및 이를 위한 장치 | |
| Dussoye et al. | Erasure code and edge computing for providing an optimal platform for storage of iot data |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20210928 Address after: 518000 floors 21-23, block B, building 12, Shenzhen Bay science and technology ecological park, No. 18, community science and technology south road, high tech Zone, Yuehai street, Shenzhen, Guangdong Patentee after: Xunlei Networking Technologies, Ltd. Patentee after: SHENZHEN ONETHING TECHNOLOGIES Co.,Ltd. Address before: 518000 Room 201, building a, No. 1, Qianwan 1st Road, Qianhai Shenzhen Hong Kong cooperation zone, Shenzhen, Guangdong Province (settled in Shenzhen Qianhai business secretary Co., Ltd.):5 / F, building 5, Weixin Software Park, No. 9, Gaoxin South ninth Road, Nanshan District, Shenzhen 518000 Room 201, building a, No.1 Qianwan 1st Road, Shenzhen Qianhai Shenzhen Hong Kong cooperation zone, Guangdong Province (settled in Shenzhen Qianhai business secretary Co., Ltd.) actual business premises: 5 / F, building 5, Weixin Software Park, No.9 Gaoxin South 9th Road, Nanshan District, Shenzhen Patentee before: SHENZHEN ONETHING TECHNOLOGIES Co.,Ltd. |
|
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20240619 Address after: 518000 Port Building 0610-E13, Maritime Center, No. 59, Linhai Avenue, Nanshan Street, Qianhai Shenzhen Hong Kong Cooperation Zone, Shenzhen, Guangdong Patentee after: SHENZHEN ONETHING TECHNOLOGIES Co.,Ltd. Country or region after: China Address before: 518000 floors 21-23, block B, building 12, Shenzhen Bay science and technology ecological park, No. 18, community science and technology south road, high tech Zone, Yuehai street, Shenzhen, Guangdong Patentee before: Xunlei Networking Technologies, Ltd. Country or region before: China Patentee before: SHENZHEN ONETHING TECHNOLOGIES Co.,Ltd. |
|
| TR01 | Transfer of patent right |