CN106843750A - 分布式存储系统 - Google Patents

分布式存储系统 Download PDF

Info

Publication number
CN106843750A
CN106843750A CN201611183267.4A CN201611183267A CN106843750A CN 106843750 A CN106843750 A CN 106843750A CN 201611183267 A CN201611183267 A CN 201611183267A CN 106843750 A CN106843750 A CN 106843750A
Authority
CN
China
Prior art keywords
data
storage
storage device
stored
master controller
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201611183267.4A
Other languages
English (en)
Other versions
CN106843750B (zh
Inventor
黄瑞
唐玉国
袁艳明
黄淼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Institute of Biomedical Engineering and Technology of CAS
Original Assignee
Suzhou Institute of Biomedical Engineering and Technology of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Institute of Biomedical Engineering and Technology of CAS filed Critical Suzhou Institute of Biomedical Engineering and Technology of CAS
Priority to CN201611183267.4A priority Critical patent/CN106843750B/zh
Publication of CN106843750A publication Critical patent/CN106843750A/zh
Application granted granted Critical
Publication of CN106843750B publication Critical patent/CN106843750B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0614—Improving the reliability of storage systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14—Error detection or correction of the data by redundancy in operation
    • G06F11/1402—Saving, restoring, recovering or retrying
    • G06F11/1446—Point-in-time backing up or restoration of persistent data
    • G06F11/1448—Management of the data involved in backup or backup restore
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/062—Securing storage systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/04—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks
    • H04L63/0428—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks wherein the data content is protected, e.g. by encrypting or encapsulating the payload
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]

Abstract

本发明公开了一种分布式存储系统，包括：多个存储层用于对不同安全级别的数据进行分级存储；主控制器用于接收客户端向其发送的数据存储请求，并建立存储日志；以及存储监控器用于根据主控制器请求存储入的数据的安全级别查找具有等同安全级别的存储层进行数据存储，并将存储路径以链接的形式存储在区块链内，且链接与主控制器上建立的存储日志相关联。本发明能够实现对数据的分级别安全存储，且由于多个存储层内的存储设备之间的数据交互和备份机制，能够实现对数据的自动更新和备份存储，即便其中一个存储设备出现故障，仍然能够保证该存储设备内的数据始终保留有两份备份，实现对存储数据的永久存储，但又不会占用过多存储资源。

Description

分布式存储系统
技术领域
本发明涉及分布式存储技术领域，特别涉及一种分布式存储系统。
背景技术
随着信息化的深入开展，各行各业的业务系统所产生的数据越来越多，由于传统的集中式存储方案(集中式存储是指为待存储的数据制定一个特定的存储区域，如数据中心主机，将所有都存储在该区域中)将所有的数据均存储在数据中心主机上，若数据中心主机出故障，则整个系统无法存储和提取数据，即集中式存储方案相较于分布式数据存储，数据稳定性较低，故而分布式数据存储应运而生。
现行的分布式数据存储方式一般是将待存储数据写入未充分使用的存储设备中；但是，由于数据写入存储设备之后很少被移动，且随着存储设备的扩展和更新，大部分的数据都写入到新增、数据较少的新存储设备中，从而导致新增存储设备存储资源占用过多、旧存储设备存储资源利用不足，不能充分利用分布式系统中的存储资源，也不能在分布式系统的存储资源有限时进行合理扩展和存储资源的合理分配。
发明内容
本发明的一个目的是解决至少上述问题，并提供至少后面将说明的优点。
本发明还有一个目的是提供一种分布式存储系统，其能够实现对数据的分级别安全存储，且由于多个存储层内的存储设备之间的数据交互和备份机制，能够实现对数据的自动更新和备份存储，即便其中一个存储设备出现故障，仍然能够保证该存储设备内的数据始终保留有两份备份，实现对存储数据的永久存储，但又不会占用过多存储资源。
为了实现根据本发明的这些目的和其它优点，提供了一种分布式存储系统，包括：
多个存储层，其用于对不同安全级别的数据进行分级存储，多个存储层根据所述安全级别由高到低进行顺序编号，其中，任一个存储层设置有若干存储设备并顺序编号，且所述若干存储设备根据其顺序编号进行相邻存储设备间的两两信息交互和两两数据备份，并进行实时数据检测和数据同步；
主控制器，其用于接收客户端向其发送的数据存储请求，并建立存储日志，所述存储日志中包含有存储数据的元数据；以及，
存储监控器，其用于根据主控制器请求存储入的数据的所述安全级别查找具有等同所述安全级别的存储层进行数据存储，并将存储路径以链接的形式返回并存储在存储监控器内的区块链内，所述链接内包含有存储层的编码和该存储层内存储设备编码，且所述链接以时间为轴与主控制器上建立的存储日志相关联；
当用户通过客户端向主控制器发出数据访问指令时，主控制器根据数据访问指令查找对应的所述存储日志，之后通过所述存储日志关联所述存储监控器内的所述链接，以调取存储在与所述链接对应的某一存储设备n内的存储数据，若该对应的存储设备n正常运转，则返回调取结果，若该对应的存储设备n出现故障，系统默认跳转至编号为n+1的存储设备上调取存储设备n的备份数据，以此类推。
优选的是，任一个存储层的若干存储设备中，编号最小的存储设备默认为序列编码器，其用于根据剩余若干存储设备的当前存储剩余空间生成当前存储序列，该存储层按照所述当前存储序列依次进行当前数据存储；
若存储设备n故障持续超过指定时间，则默认存储设备n退出所述当前存储序列，同时将存储设备n+1上的存储设备n的备份数据默认为存储设备n+1的更新数据，并将所述更新数据备份至与其存储设备编号相邻的存储设备n+2中，当前存储序列由总数m个变为m-1个，但若干存储设备编号保持不变。
优选的是，若任一存储层的当前剩余总存储空间小于其原始最大存储空间的指定阈值时，自动启动备用存储设备，将下一时刻存储空间扩充至所述当前剩余总存储空间的冗余备份，并对被启动的备用存储设备在原有编号基础上顺序编号。
优选的是，退出当前存储序列的所述存储设备n恢复工作时，默认为备用存储设备，但其存储设备编号仍为n。
优选的是，主控制器还包括：验证模块，其用于验证当前接收到的待存储数据的合法性。
优选的是，主控制器还包括：指纹数据库，其用于预存储用户指纹；监控模块，其用于对所述数据访问指令中包含的用户指纹与所述指纹数据库中预存储的所述用户指纹进行匹配验证，若匹配结果为“1”，则返回调取数据结果；若匹配结果为“0”，则返回结果为“0”。
优选的是，所述若干存储设备各设置有一与其编号相同的备用子存储设备，当若干存储设备的存储空间剩余10％时，自动启动其子存储设备进行存储空间扩充，且启动的所述子存储设备的存储空间大小自动更新至所述序列编码器，用于更新所述当前存储序列。
优选的是，还包括：数据检测模块，用于定时检测对所述若干存储设备中的存储数据进行数据检测，将更新的数据进行记录；数据同步模块，根据所述数据检测模块的更新的数据记录，定时将数据更新同步至与其按顺序编号的相邻的两个存储设备上。
优选的是，数据同步模块每隔6小时将数据更新同步至与其按顺序编号的相邻的两个存储设备上。
优选的是，所述存储监控器还包括：层分配模块，用于对多个存储层进行顺序编号，并按由低到高的顺序设置所述安全级别；解析模块，其用于在存储待存储数据前，解析所述待存储数据，获取所述待存储数据的所述安全级别；以及层获取模块，用于获取所述安全级别并与相同所述安全级别的一个存储层的编号进行匹配。
本发明至少包括以下有益效果：
应用多个存储层对不同的安全级别要求的数据进行分层存储，便于数据的存储管理和存储资源的合理利用，比如：图2中，第一存储层包括若干存储设备为存储设备101、存储设备102和存储设备103；存储设备101内的数据在存储设备102和存储设备103中各有一个备份，即便存储设备101出现故障，系统可以自动默认去存储设备102中读取存储数据；同理，存储设备102内的数据在存储设备101和存储设备103中各有一个备份，即便存储设备102出现故障，系统可以自动默认去存储设备103中读取存储数据，不会造成数据丢失，同时，由于形成的是自动数据备份循环，这样的数据备份功能又不会对存储资源造成过多的占用；第二存储层包括若干存储设备为存储设备201、存储设备202和存储设备203；另外，由于多个存储层内的存储设备之间的数据交互和备份机制，能够实现对数据的自动更新和备份存储，即便其中一个存储设备出现故障，仍然能够保证该存储设备内的数据始终保留有两份备份，实现对存储数据的永久存储，但又不会占用过多存储资源，适用于NAES架构下的不同的用户存储的安全级别要求；主控制器对用户需要存储的请求进行分析和筛选，并且给能够进行存储的数据建立存储日志，记录其存储的时间以及存储的数据的元数据，便于后期用户访问调取相应数据；存储监控器用于生成多个存储层的编码以及多个存储层内部若干存储设备的编码，并且将这些编码与数据的安全级别进行关联，当有需要存储的数据时，存储控制器就可以根据数据的安全级别要求对应将其存储入其中一个存储层的存储设备内，并且通过链接的形式保存存储路径，用于保存链接的区块链，具有加密保护作用，保证链接的存储安全。
综上所述，本发明提供的分布式存储系统提高了系统的可靠性、可用性和存取效率，还易于扩展存储资源。
本发明的其它优点、目标和特征将部分通过下面的说明体现，部分还将通过对本发明的研究和实践而为本领域的技术人员所理解。
附图说明
图1为本发明的一个实施例中所述分布式存储系统的结构示意图；
图2为本发明的一个实施例中所述分布式存储系统的网络拓扑结构示意图；
图3为本发明的另一个实施例中所述分布式存储系统的结构示意图。
具体实施方式
下面结合附图对本发明做进一步的详细说明，以令本领域技术人员参照说明书文字能够据以实施。
应当理解，本文所使用的诸如“具有”、“包含”以及“包括”术语并不配出一个或多个其它元件或其组合的存在或添加。
如图1和图2所示，本发明提供一种分布式存储系统，包括：
多个存储层100，其用于对不同安全级别的数据进行分级存储，多个存储层根据所述安全级别由高到低进行顺序编号，其中，任一个存储层设置有若干存储设备并顺序编号，且所述若干存储设备根据其顺序编号进行相邻存储设备间的两两信息交互和两两数据备份，并进行实时数据检测和数据同步；
主控制器200，其用于接收客户端向其发送的数据存储请求，并建立存储日志，所述存储日志中包含有存储数据的元数据；以及，
存储监控器300，其用于根据主控制器请求存储入的数据的所述安全级别查找具有等同所述安全级别的存储层进行数据存储，并将存储路径以链接的形式返回并存储在存储监控器内的区块链内，所述链接内包含有存储层的编码和该存储层内存储设备编码，且所述链接以时间为轴与主控制器上建立的存储日志相关联；
当用户通过客户端400向主控制器发出数据访问指令时，主控制器根据数据访问指令查找对应的所述存储日志，之后通过所述存储日志关联所述存储监控器内的所述链接，以调取存储在与所述链接对应的某一存储设备n内的存储数据，若该对应的存储设备n正常运转，则返回调取结果，若该对应的存储设备n出现故障，系统默认跳转至编号为n+1的存储设备上调取存储设备n的备份数据，以此类推。在本方案中，应用多个存储层对不同的安全级别要求的数据进行分层存储，便于数据的存储管理和存储资源的合理利用，比如：图2中，第一存储层包括若干存储设备为存储设备101、存储设备102和存储设备103；存储设备101内的数据在存储设备102和存储设备103中各有一个备份，即便存储设备101出现故障，系统可以自动默认去存储设备102中读取存储数据；同理，存储设备102内的数据在存储设备101和存储设备103中各有一个备份，即便存储设备102出现故障，系统可以自动默认去存储设备103中读取存储数据，不会造成数据丢失，同时，由于形成的是自动数据备份循环，这样的数据备份功能又不会对存储资源造成过多的占用；第二存储层包括若干存储设备为存储设备201、存储设备202和存储设备203；另外，由于多个存储层内的存储设备之间的数据交互和备份机制，能够实现对数据的自动更新和备份存储，即便其中一个存储设备出现故障，仍然能够保证该存储设备内的数据始终保留有两份备份，实现对存储数据的永久存储，但又不会占用过多存储资源，适用于NAES架构下的不同的用户存储的安全级别要求；主控制器对用户需要存储的请求进行分析和筛选，并且给能够进行存储的数据建立存储日志，记录其存储的时间以及存储的数据的元数据，便于后期用户访问调取相应数据；存储监控器用于生成多个存储层的编码以及多个存储层内部若干存储设备的编码，并且将这些编码与数据的安全级别进行关联，当有需要存储的数据时，存储控制器就可以根据数据的安全级别要求对应将其存储入其中一个存储层的存储设备内，并且通过链接的形式保存存储路径，用于保存链接的区块链，具有加密保护作用，保证链接的存储安全。
一个优选方案中，任一个存储层的若干存储设备中，编号最小的存储设备默认为序列编码器，比如存储设备101为第一存储层的序列编码器，其用于根据剩余若干存储设备的当前存储剩余空间生成当前存储序列，该存储层按照所述当前存储序列依次进行当前数据存储；若存储设备n故障持续超过指定时间时，比如：10min、20min或30min，则默认存储设备n退出所述当前存储序列，同时将存储设备n+1上的存储设备n的备份数据默认为存储设备n+1的更新数据，并将所述更新数据备份至与其存储设备编号相邻的存储设备n+2中，当前存储序列由总数m个变为m-1个，但若干存储设备编号保持不变。在本方案中，在每一存储层内还设置有一个序列编码器，其能够根据若干存储设备的当前存储序列，当需要进行数据存储时，存储路径首先经过序列编码器获得排在第一位的存储设备的编码，之后再将数据存储入该存储设备中，这样设置能够实现对当前存储资源进行合理利用，避免闲置；另外，当存储设备故障时，可以自动进行重新排序，保证数据存储工作顺利进行。一个优选方案中，若任一存储层的当前剩余总存储空间小于其原始最大存储空间的指定阈值时，比如：剩余15％、20％或30％；自动启动备用存储设备，比如：第一存储层的存储设备104或第二存储层的存储设备204，将下一时刻存储空间扩充至所述当前剩余总存储空间的冗余备份，比如：冗余备份为2～4倍原存储空间；并对被启动的备用存储设备在原有编号基础上顺序编号。在本方案中，只有当前剩余总存储空间小于一定值时才会启动备用存储设备，避免存储资源的闲置。
一个优选方案中，退出当前存储序列的所述存储设备n恢复工作时，默认为备用存储设备，但其存储设备编号仍为n。在本方案中，当存储设备n退出当前存储序列时，其上面存储的数据会被更新至其原有相邻存储设备，因此，其内存储空间可以被清空后作为新的备用存储设备排列在原有备用存储设备名单中等待再次被启用，但是由于其原有网络拓扑关系，因此，当期再次被启动为存储设备时，其编号仍然不变，避免影响主控制器和存储监控器内的相应的存储日志和链接。
一个优选方案中，主控制器还包括：验证模块，其用于验证当前接收到的待存储数据的合法性。
一个优选方案中，主控制器还包括：指纹数据库，其用于预存储用户指纹；监控模块，其用于对所述数据访问指令中包含的用户指纹与所述指纹数据库中预存储的所述用户指纹进行匹配验证，若匹配结果为“1”，则返回调取数据结果；若匹配结果为“0”，则返回结果为“0”。在本方案中，通过指纹数据库对调取数据的用户进行身份验证，保证数据调取的安全性。
一个优选方案中，所述若干存储设备各设置有一与其编号相同的备用子存储设备，当若干存储设备的存储空间剩余10％时，自动启动其子存储设备进行存储空间扩充，且启动的所述子存储设备的存储空间大小自动更新至所述序列编码器，用于更新所述当前存储序列。比如图2中，存储设备105为存储设备101的备用存储设备，其顺序编号可以设置为1，当存储设备101的存储空间剩余10％时，自动启动其子存储设备105进行存储空间扩充，但是，其设备编号仍然被标记为1。
一个优选方案中，还包括：数据检测模块，用于定时检测对所述若干存储设备中的存储数据进行数据检测，比如：每隔5min、10min或15min对所述若干存储设备中的存储数据进行数据检测；将更新的数据进行记录；数据同步模块，根据所述数据检测模块的更新的数据记录，定时将数据更新同步至与其按顺序编号的相邻的两个存储设备上，比如：每隔6h、8h、10h或12h将数据更新同步至与其按顺序编号的相邻的两个存储设备上。
一个优选方案中，数据同步模块每隔6小时将数据更新同步至与其按顺序编号的相邻的两个存储设备上。
一个优选方案中，所述存储监控器还包括：层分配模块，用于对多个存储层进行顺序编号，并按由低到高的顺序设置所述安全级别；解析模块，其用于在存储待存储数据前，解析所述待存储数据，获取所述待存储数据的所述安全级别；以及层获取模块，用于获取所述安全级别并与相同所述安全级别的一个存储层的编号进行匹配。在本方案中，层分配模块、解析模块和层获取模块为数据存储提供技术支持，实现快速有序的数据依安全级别进行存储。
尽管本发明的实施方案已公开如上，但其并不仅仅限于说明书和实施方式中所列运用，它完全可以被适用于各种适合本发明的领域，对于熟悉本领域的人员而言，可容易地实现另外的修改，因此在不背离权利要求及等同范围所限定的一般概念下，本发明并不限于特定的细节和这里示出与描述的图例。

Claims (10)

1.一种分布式存储系统，其特征在于，包括：
多个存储层，其用于对不同安全级别的数据进行分级存储，多个存储层根据所述安全级别由高到低进行顺序编号，其中，任一个存储层设置有若干存储设备并顺序编号，且所述若干存储设备根据其顺序编号进行相邻存储设备间的两两信息交互和两两数据备份，并进行实时数据检测和数据同步；
主控制器，其用于接收客户端向其发送的数据存储请求，并建立存储日志，所述存储日志中包含有存储数据的元数据；以及，
存储监控器，其用于根据主控制器请求存储入的数据的所述安全级别查找具有等同所述安全级别的存储层进行数据存储，并将存储路径以链接的形式返回并存储在存储监控器内的区块链内，所述链接内包含有存储层的编码和该存储层内存储设备编码，且所述链接以时间为轴与主控制器上建立的存储日志相关联；
当用户通过客户端向主控制器发出数据访问指令时，主控制器根据数据访问指令查找对应的所述存储日志，之后通过所述存储日志关联所述存储监控器内的所述链接，以调取存储在与所述链接对应的某一存储设备n内的存储数据，若该对应的存储设备n正常运转，则返回调取结果，若该对应的存储设备n出现故障，系统默认跳转至编号为n+1的存储设备上调取存储设备n的备份数据，以此类推。
2.如权利要求1所述的分布式存储系统，其特征在于，任一个存储层的若干存储设备中，编号最小的存储设备默认为序列编码器，其用于根据剩余若干存储设备的当前存储剩余空间生成当前存储序列，该存储层按照所述当前存储序列依次进行当前数据存储；
若存储设备n故障持续超过指定时间，则默认存储设备n退出所述当前存储序列，同时将存储设备n+1上的存储设备n的备份数据默认为存储设备n+1的更新数据，并将所述更新数据备份至与其存储设备编号相邻的存储设备n+2中，当前存储序列由总数m个变为m-1个，但若干存储设备编号保持不变。
3.如权利要求1所述的分布式存储系统，其特征在于，若任一存储层的当前剩余总存储空间小于其原始最大存储空间的指定阈值时，自动启动备用存储设备，将下一时刻存储空间扩充至所述当前剩余总存储空间的冗余备份，并对被启动的备用存储设备在原有编号基础上顺序编号。
4.如权利要求2所述的分布式存储系统，其特征在于，退出当前存储序列的所述存储设备n恢复工作时，默认为备用存储设备，但其存储设备编号仍为n。
5.如权利要求1所述的分布式存储系统，其特征在于，主控制器还包括：验证模块，其用于验证当前接收到的待存储数据的合法性。
6.如权利要求1所述的分布式存储系统，其特征在于，主控制器还包括：
指纹数据库，其用于预存储用户指纹；
监控模块，其用于对所述数据访问指令中包含的用户指纹与所述指纹数据库中预存储的所述用户指纹进行匹配验证，若匹配结果为“1”，则返回调取数据结果；若匹配结果为“0”，则返回结果为“0”。
7.如权利要求2所述的分布式存储系统，其特征在于，所述若干存储设备各设置有一与其编号相同的备用子存储设备，当若干存储设备的存储空间剩余10％时，自动启动其子存储设备进行存储空间扩充，且启动的所述子存储设备的存储空间大小自动更新至所述序列编码器，用于更新所述当前存储序列。
8.如权利要求7所述的分布式存储系统，其特征在于，还包括：
数据检测模块，用于定时检测对所述若干存储设备中的存储数据进行数据检测，将更新的数据进行记录；
数据同步模块，根据所述数据检测模块的更新的数据记录，定时将数据更新同步至与其按顺序编号的相邻的两个存储设备上。
9.如权利要求8所述的分布式存储系统，其特征在于，数据同步模块每隔6小时将数据更新同步至与其按顺序编号的相邻的两个存储设备上。
10.如权利要求1所述的分布式存储系统，其特征在于，所述存储监控器还包括：
层分配模块，用于对多个存储层进行顺序编号，并按由低到高的顺序设置所述安全级别；
解析模块，其用于在存储待存储数据前，解析所述待存储数据，获取所述待存储数据的所述安全级别；以及
层获取模块，用于获取所述安全级别并与相同所述安全级别的一个存储层的编号进行匹配。
CN201611183267.4A 2016-12-20 2016-12-20 分布式存储系统 Active CN106843750B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611183267.4A CN106843750B (zh) 2016-12-20 2016-12-20 分布式存储系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611183267.4A CN106843750B (zh) 2016-12-20 2016-12-20 分布式存储系统

Publications (2)

Publication Number Publication Date
CN106843750A true CN106843750A (zh) 2017-06-13
CN106843750B CN106843750B (zh) 2020-06-19

Family

ID=59140545

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611183267.4A Active CN106843750B (zh) 2016-12-20 2016-12-20 分布式存储系统

Country Status (1)

Country Link
CN (1) CN106843750B (zh)

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108345685A (zh) * 2018-03-07 2018-07-31 物数（上海）信息科技有限公司 区块链下的多粒度数据处理方法、系统、设备及存储介质
CN108415982A (zh) * 2018-02-09 2018-08-17 上海商米科技有限公司 数据库的处理方法和装置
CN108769146A (zh) * 2018-05-11 2018-11-06 北京奇虎科技有限公司 一种基于区块链的数据传输方法、装置及区块链系统
CN108881474A (zh) * 2018-07-10 2018-11-23 南京邮电大学 一种基于区块链的物联网数据分级保护架构
CN108900505A (zh) * 2018-06-28 2018-11-27 中国科学院软件研究所 一种基于区块链技术的集群审计管控方法
CN108932189A (zh) * 2018-06-30 2018-12-04 平安科技（深圳）有限公司 保存服务器日志的方法和装置
CN109118804A (zh) * 2017-06-22 2019-01-01 诺基亚技术有限公司 道路交通管理
CN109189658A (zh) * 2018-08-20 2019-01-11 厦门集微科技有限公司 一种日志存储方法、控制节点及计算机可读存储介质
CN109271283A (zh) * 2018-09-06 2019-01-25 北京云测信息技术有限公司 一种基于区块链的数据备份方法
CN109471753A (zh) * 2018-09-04 2019-03-15 深圳市宝德计算机系统有限公司 服务器数据保护方法、装置及计算机可读存储介质
CN109726600A (zh) * 2017-10-31 2019-05-07 伊姆西Ip控股有限责任公司 针对超融合基础设施提供数据保护的系统和方法
CN110597673A (zh) * 2019-09-25 2019-12-20 腾讯科技（深圳）有限公司 存储系统的容灾方法、装置、设备及计算机可读存储介质
CN110838938A (zh) * 2019-10-11 2020-02-25 成都飞机工业（集团）有限责任公司 一种基于工控网的dnc数据存储服务器调度方法
CN111046009A (zh) * 2019-11-11 2020-04-21 杭州迪普科技股份有限公司 日志存储方法及装置
CN111866123A (zh) * 2020-07-17 2020-10-30 海南大学 一种基于区块链的数据存储方法及装置
CN113254986A (zh) * 2021-07-16 2021-08-13 深圳市永兴元科技股份有限公司 数据处理方法、装置及计算机可读存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5659743A (en) * 1994-12-05 1997-08-19 Legent Corporation Method and apparatus for a pattern based spaced management system
US20080104131A1 (en) * 2005-11-08 2008-05-01 Stewart Simon D Method and system for synchronizing direct access storage volumes
CN103778255A (zh) * 2014-02-25 2014-05-07 深圳市中博科创信息技术有限公司 一种分布式文件系统及其数据分布方法
US9037822B1 (en) * 2013-09-26 2015-05-19 Emc Corporation Hierarchical volume tree
US9281845B1 (en) * 2012-06-27 2016-03-08 Amazon Technologies, Inc. Layered redundancy encoding schemes for data storage

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5659743A (en) * 1994-12-05 1997-08-19 Legent Corporation Method and apparatus for a pattern based spaced management system
US20080104131A1 (en) * 2005-11-08 2008-05-01 Stewart Simon D Method and system for synchronizing direct access storage volumes
US9281845B1 (en) * 2012-06-27 2016-03-08 Amazon Technologies, Inc. Layered redundancy encoding schemes for data storage
US9037822B1 (en) * 2013-09-26 2015-05-19 Emc Corporation Hierarchical volume tree
CN103778255A (zh) * 2014-02-25 2014-05-07 深圳市中博科创信息技术有限公司 一种分布式文件系统及其数据分布方法

Cited By (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109118804A (zh) * 2017-06-22 2019-01-01 诺基亚技术有限公司 道路交通管理
CN109726600A (zh) * 2017-10-31 2019-05-07 伊姆西Ip控股有限责任公司 针对超融合基础设施提供数据保护的系统和方法
CN108415982A (zh) * 2018-02-09 2018-08-17 上海商米科技有限公司 数据库的处理方法和装置
CN108345685A (zh) * 2018-03-07 2018-07-31 物数（上海）信息科技有限公司 区块链下的多粒度数据处理方法、系统、设备及存储介质
CN108769146A (zh) * 2018-05-11 2018-11-06 北京奇虎科技有限公司 一种基于区块链的数据传输方法、装置及区块链系统
CN108769146B (zh) * 2018-05-11 2022-01-21 北京奇虎科技有限公司 一种基于区块链的数据传输方法、装置及区块链系统
CN108900505A (zh) * 2018-06-28 2018-11-27 中国科学院软件研究所 一种基于区块链技术的集群审计管控方法
WO2020000722A1 (zh) * 2018-06-30 2020-01-02 平安科技（深圳）有限公司 保存服务器日志的方法和装置
CN108932189B (zh) * 2018-06-30 2021-09-07 平安科技（深圳）有限公司 保存服务器日志的方法和装置
CN108932189A (zh) * 2018-06-30 2018-12-04 平安科技（深圳）有限公司 保存服务器日志的方法和装置
CN108881474B (zh) * 2018-07-10 2021-06-25 南京邮电大学 一种基于区块链的物联网数据分级保护架构
CN108881474A (zh) * 2018-07-10 2018-11-23 南京邮电大学 一种基于区块链的物联网数据分级保护架构
CN109189658A (zh) * 2018-08-20 2019-01-11 厦门集微科技有限公司 一种日志存储方法、控制节点及计算机可读存储介质
CN109471753A (zh) * 2018-09-04 2019-03-15 深圳市宝德计算机系统有限公司 服务器数据保护方法、装置及计算机可读存储介质
CN109271283A (zh) * 2018-09-06 2019-01-25 北京云测信息技术有限公司 一种基于区块链的数据备份方法
CN110597673A (zh) * 2019-09-25 2019-12-20 腾讯科技（深圳）有限公司 存储系统的容灾方法、装置、设备及计算机可读存储介质
CN110597673B (zh) * 2019-09-25 2021-04-30 腾讯科技（深圳）有限公司 存储系统的容灾方法、装置、设备及计算机可读存储介质
CN110838938A (zh) * 2019-10-11 2020-02-25 成都飞机工业（集团）有限责任公司 一种基于工控网的dnc数据存储服务器调度方法
CN110838938B (zh) * 2019-10-11 2021-09-07 成都飞机工业（集团）有限责任公司 一种基于工控网的dnc数据存储服务器调度方法
CN111046009A (zh) * 2019-11-11 2020-04-21 杭州迪普科技股份有限公司 日志存储方法及装置
CN111046009B (zh) * 2019-11-11 2023-11-21 杭州迪普科技股份有限公司 日志存储方法及装置
CN111866123A (zh) * 2020-07-17 2020-10-30 海南大学 一种基于区块链的数据存储方法及装置
CN111866123B (zh) * 2020-07-17 2022-03-08 海南大学 一种基于区块链的数据存储方法及装置
CN113254986A (zh) * 2021-07-16 2021-08-13 深圳市永兴元科技股份有限公司 数据处理方法、装置及计算机可读存储介质

Also Published As

Publication number Publication date
CN106843750B (zh) 2020-06-19

Similar Documents

Publication Publication Date Title
CN106843750A (zh) 分布式存储系统
US11740826B2 (en) Policy-based hierarchical data protection in distributed storage
US11777646B2 (en) Distributed storage system data management and security
US10733053B1 (en) Disaster recovery for high-bandwidth distributed archives
US11138103B1 (en) Resiliency groups
CN106708975B (zh) 商品库存信息的处理方法及系统
CN106951185B (zh) 一种基于区块链技术的健康检测数据管理系统及方法
CN105159818B (zh) 内存数据管理中日志恢复方法及其仿真系统
CN103842969B (zh) 信息处理系统
CN101334797B (zh) 一种分布式文件系统及其数据块一致性管理的方法
US20140359218A1 (en) Distributed Storage Method, Apparatus, and System
EP2787446A1 (en) Distributed storage method, device and system
CN103106286B (zh) 元数据的管理方法和装置
CN108108476A (zh) 高可靠分布式日志系统的工作方法
CN102323945A (zh) 一种基于sql的数据库管理方法和装置
US10931450B1 (en) Distributed, lock-free 2-phase commit of secret shares using multiple stateless controllers
CN103067525A (zh) 一种基于特征码的云存储数据备份方法
CN105677876B (zh) 一种基于物理级的数据库日志挖掘方法
CN101198937A (zh) 安全存储管理系统和方法
US20220019505A1 (en) Message persistence in a zoned system
CN104216759B (zh) 一种生成虚拟机的逻辑磁盘的方法，及装置
US11442827B2 (en) Policy-based hierarchical data protection in distributed storage
CN108121510A (zh) Osd选取方法、数据写入方法、装置和存储系统
CN107783988A (zh) 一种目录树的加锁方法及设备
CN107832159A (zh) 管理分布式锁的方法和计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant