CN114647539B - 一种分布式存储系统的数据自动恢复方法 - Google Patents

一种分布式存储系统的数据自动恢复方法 Download PDF

Info

Publication number
CN114647539B
CN114647539B CN202210264092.9A CN202210264092A CN114647539B CN 114647539 B CN114647539 B CN 114647539B CN 202210264092 A CN202210264092 A CN 202210264092A CN 114647539 B CN114647539 B CN 114647539B
Authority
CN
China
Prior art keywords
verification
data
binary code
instruction
storage system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210264092.9A
Other languages
English (en)
Other versions
CN114647539A (zh
Inventor
张志杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Hanxinsheng Technology Co ltd
Original Assignee
Beijing Hanxinsheng Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Hanxinsheng Technology Co ltd filed Critical Beijing Hanxinsheng Technology Co ltd
Priority to CN202210264092.9A priority Critical patent/CN114647539B/zh
Publication of CN114647539A publication Critical patent/CN114647539A/zh
Application granted granted Critical
Publication of CN114647539B publication Critical patent/CN114647539B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14—Error detection or correction of the data by redundancy in operation
    • G06F11/1402—Saving, restoring, recovering or retrying
    • G06F11/1471—Saving, restoring, recovering or retrying involving logging of persistent data for recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Quality & Reliability (AREA)
  • Health & Medical Sciences (AREA)
  • Bioethics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Hardware Design (AREA)
  • Computer Security & Cryptography (AREA)
  • Software Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开一种分布式存储系统的数据自动恢复方法，包括步骤：S1、向分布式存储系统发出需要恢复数据的指令；S2、分布式存储系统接收恢复数据的指令，并运算指令所需恢复数据的数据块；S3、调取数据块下载所需验证命令，发送至操作人员验证；S4、验证成功，则本地发送下载云端服务器存储的安全编码数据包的请求；验证不成功返回步骤S1；S5、解压安全编码数据包，读取安全编码数据包内存储的待恢复数据的位置和触发二次验证指令；S6、操作人员根据触发二次验证指令的验证步骤，逐一输入正确的答案，直至最后一步验证步骤完成；S7、获取本地文件删除地址，并启动文件夹的恢复。本发明实现删除后文件夹的存储恢复时的安全性性能提升。

Description

一种分布式存储系统的数据自动恢复方法
技术领域
本发明属于数据存储技术领域，具体来说，涉及一种分布式存储系统的数据自动恢复方法。
背景技术
在分布式存储集群中，当OSD(Object-based Storage Device，对象存储设备)故障时，需要触发相应的数据恢复流程，以便恢复故障过程中丢失的数据，如果OSD故障后在预设时长之内不能自动恢复数据，则需要选出一个正常OSD，用于恢复故障OSD中的相应数据，触发相应的PGpeering流程，在PGpeering流程中通过比对故障OSD和正常OSD的日志，确定出正常OSD缺失的对象列表以及这些缺失对象所在的位置，PGpeering结束之后，开始预约对象资源恢复，预约成功后，开始对象恢复，在对象恢复过程中，会遍历缺失对象列表，逐个对象进行恢复，直到缺失对象列表中的所有对象恢复完成，在缺失对象很多的情况下，数据恢复不会控制数据写入量，会造成OSD分区的占用率达到100％，从而造成OSD down掉且无法恢复，影响分布式存储集群的运行，以及系统整体性能。
现有申请号为CN202010071050.4的中国专利，公开了一种OSD数据恢复方法，该方法包括：当故障OSD在预设时长内未自动恢复时，确定出目标OSD，以便将所述故障OSD中的数据恢复到所述目标OSD中；比对所述故障OSD的第一日志与所述目标OSD的第二日志，确定出所述目标OSD需要恢复的目标对象，得到目标对象列表；判断所述目标OSD的当前空间占用率是否小于预设空间占用率阈值；如果是，则进行一个所述目标对象恢复，并在当前目标对象恢复完成后，重新执行所述判断所述目标OSD的当前控制占用率是否小于预设空间占用率阈值的步骤，直至所述目标对象列表中的所有所述目标对象恢复完成。这样使得OSD能够恢复缺失对象，且保证OSD正常运行，从而保障分布式存储集群正常运行，提高系统整体性能。
现有专利中的缺陷在于，虽然解决了OSD无法正常恢复缺失对象的问题，但确忽略了数据恢复过程中安全验证的步骤，导致丢失数据恢复无需安全的认证，缺乏数据存储的保密性。
发明内容
针对现有技术数据自动恢复忽略了数据恢复过程中安全验证的步骤，导致丢失数据恢复无需安全的认证，缺乏数据存储的保密性问题，本发明提供了一种分布式存储系统的数据自动恢复方法。
为实现上述技术目的，本发明采用的技术方案如下：
一种分布式存储系统的数据自动恢复方法，包括步骤：
S1、向分布式存储系统发出需要恢复数据的指令；
S2、分布式存储系统接收恢复数据的指令，并运算指令所需恢复数据的数据块；
S3、调取数据块下载所需验证命令，发送至操作人员验证；
S4、验证成功，则本地发送下载云端服务器存储的安全编码数据包的请求；验证不成功返回步骤S1；
S5、解压安全编码数据包，读取安全编码数据包内存储的待恢复数据的位置和触发二次验证指令；
S6、操作人员根据触发二次验证指令的验证步骤，逐一输入正确的答案，直至最后一步验证步骤完成；
S7、根据输入正确的答案，获取本地文件删除地址，并启动文件夹的恢复。
进一步地，所述步骤S4中验证不成功后，需进一步判断前序步骤遍历次数，若次数达到设定次数，则触发报警单元，报警单元发送报警信息至删除数据的操作人员；若次数没有达到设定次数，则返回步骤S1。
进一步地，所述分布式存储系统将删除的文件夹分为两个部分，包括安全编码数据包和文件夹；所述待恢复数据的安全编码数据包存储在云端服务器，待恢复数据的文件夹存储在分布式存储系统本地。
进一步地，所述触发二次验证指令根据待恢复数据的位置的二进制编码编译而成，再根据验证步骤的步骤数值将二进制编码平分给每个验证步骤的答案。
进一步地，所述待恢复数据的位置的二进制编码在平分给每个验证步骤的答案时，需要先对二进制编码的编码数值进行质数判断；若编码数值为质数，则在二进制编码的尾码上填充或者删除一位二进制码0/1；若编码数值不是质数，则截断二进制编码平分至每个验证步骤的答案。
进一步地，根据验证步骤的答案在触发二次验证指令存储数据表中匹配查询答案对应的问题作为验证命令；所述触发二次验证指令存储数据表中存储有验证步骤的答案和问题，其答案和问题相互关联对应存储，其答案的二进制编码也关联答案或者问题进行存储。
进一步地，触发二次验证指令存储数据表存储在分布式存储系统本地，用于操作人员遗忘验证步骤的答案时，查询并获取触发二次验证指令的验证步骤的答案。
进一步地，所述二进制编码平分给每个验证步骤的答案采用二进制编码的截断算法，其验证步骤数为二进制编码的编码数值最小公约数，从二进制编码第一位开始截取，每次截取位数为二进制编码的编码数值除以二进制编码的编码数值最小公约数。
本发明相比现有技术，具有如下有益效果：
通过将分布式存储系统中文件夹的存储和存储的安全编码数据包分开存储，以实现删除后文件夹的存储恢复时的安全性性能提升，同时，在恢复删除的文件夹时，提供了两层验证，一层恢复数据指令和一层触发二次验证指令，起到多层保护删除的机密文件恢复时的安全性，防止非删除操作人员本人以外，其它使用电脑人员或者黑客进入分布式存储系统盗取删除的机密文件夹数据。
附图说明
图1为本发明一种分布式存储系统的数据自动恢复方法的整体流程图；
图2为本发明一种分布式存储系统的数据自动恢复方法的带有报警步骤的流程图；
图3为本发明一种分布式存储系统的数据自动恢复方法的触发二次验证指令步骤的流程图。
具体实施方式
为了便于本领域技术人员的理解，下面结合实施例与附图对本发明作进一步的说明，实施方式提及的内容并非对本发明的限定。
如图1和2所示，一种分布式存储系统的数据自动恢复方法，包括步骤：S1、向分布式存储系统发出需要恢复数据的指令；操作人员向系统发送恢复数据的指令包括键值对、文件夹名、删除日期和恢复日期等。
S2、分布式存储系统接收恢复数据的指令，并运算指令所需恢复数据的数据块；其运算方法采用字段拼接的方式；分布式存储系统根据接收到的键值对、文件夹名和删除日期等通过转化为二进制编码拼接生成唯一的数据块，用于作为验证命令的比对数据块。恢复日期的二进制编码作为后续操作人员恢复过该文件夹的证据性时间节点，防止他人操作恢复文件夹以后，操作人员本人无法找到日志性文件。二进制编码的转化再验证使保护的信息增加了保密性。
S3、调取数据块下载所需验证命令，发送至操作人员验证；根据前序步骤生成的数据块通过短信或者邮件形式发送至初始删除该文件夹的用户(操作人员)；由初始删除该文件夹的用户(操作人员)验证该验证命令的比对数据块是否与该文件夹初始生成的数据块(操作人员一开始删除文件时，就会产生相应的数据块包括键值对、文件夹名和删除日期)一致。
S4、验证成功，则本地发送下载云端服务器存储的安全编码数据包的请求；验证不成功返回步骤S1；步骤S4中验证不成功后，需进一步判断前序步骤遍历次数，若次数达到设定次数，则触发报警单元，报警单元发送报警信息至删除数据的操作人员；若次数没有达到设定次数，则返回步骤S1。
S5、解压安全编码数据包，读取安全编码数据包内存储的待恢复数据的位置和触发二次验证指令；分布式存储系统将删除的文件夹分为两个部分，包括安全编码数据包和文件夹；所述待恢复数据的安全编码数据包存储在云端服务器，待恢复数据的文件夹存储在分布式存储系统本地。
S6、操作人员根据触发二次验证指令的验证步骤，逐一输入正确的答案，直至最后一步验证步骤完成；触发二次验证指令根据待恢复数据的位置的二进制编码编译而成，再根据验证步骤的步骤数值将二进制编码平分给每个验证步骤的答案。
S7、根据输入正确的答案，获取本地文件删除地址，并启动文件夹的恢复。
如图3所示，待恢复数据的位置的二进制编码在平分给每个验证步骤的答案时，需要先对二进制编码的编码数值进行质数判断；若编码数值为质数，则在二进制编码的尾码上填充或者删除一位二进制编码0/1；若编码数值不是质数，则截断二进制编码平分至每个验证步骤的答案。
根据验证步骤的答案在触发二次验证指令存储数据表中匹配查询答案对应的问题作为验证命令；所述触发二次验证指令存储数据表中存储有验证步骤的答案和问题，其答案和问题相互关联对应存储，其答案的二进制编码也关联答案或者问题进行存储。
触发二次验证指令存储数据表存储在分布式存储系统本地，用于操作人员遗忘验证步骤的答案时，查询并获取触发二次验证指令的验证步骤的答案。
二进制编码平分给每个验证步骤的答案采用二进制编码的截断算法，其验证步骤数为二进制编码的编码数值最小公约数，从二进制编码第一位开始截取，每次截取位数为二进制编码的编码数值除以二进制编码的编码数值最小公约数。
如：一段二进制编码为10110010011110011。编码位数的数值为17，17为质数，填充一位二进制编码为101100100111100110或者101100100111100111，删除一位二进制编码为1011001001111001。其填充后的编码数值最小公约数为2，即验证步骤有两步，其答案截断后的编码为101100100和111100110，或者为101100100和111100111。其删除后的编码数值最小公约数也为2，即验证步骤有两步，其答案截断后的编码为10110010和01111001。
本发明相比现有技术，具有如下有益效果：
通过将分布式存储系统中文件夹的存储和存储的安全编码数据包分开存储，以实现删除后文件夹的存储恢复时的安全性性能提升，同时，在恢复删除的文件夹时，提供了两层验证，一层恢复数据指令和一层触发二次验证指令，起到多层保护删除的机密文件恢复时的安全性，防止非删除操作人员本人以外，其它使用电脑人员或者黑客进入分布式存储系统盗取删除的机密文件夹数据。
以上对本申请提供的一种分布式存储系统的数据自动恢复方法进行了详细介绍。具体实施例的说明只是用于帮助理解本申请的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以对本申请进行若干改进和修饰，这些改进和修饰也落入本申请权利要求的保护范围内。

Claims (7)

1.一种分布式存储系统的数据自动恢复方法，其特征在于，包括步骤：
S1、向分布式存储系统发出需要恢复数据的指令；
S2、分布式存储系统接收恢复数据的指令，并运算指令所需恢复数据的数据块；
S3、调取数据块下载所需验证命令，发送至操作人员验证；
S4、验证成功，则本地发送下载云端服务器存储的安全编码数据包的请求；验证不成功返回步骤S1；
S5、解压安全编码数据包，读取安全编码数据包内存储的待恢复数据的位置和触发二次验证指令；
S6、操作人员根据触发二次验证指令的验证步骤，逐一输入正确的答案，直至最后一步验证步骤完成；
S7、根据输入正确的答案，获取本地文件删除地址，并启动文件夹的恢复；
所述分布式存储系统将删除的文件夹分为两个部分，包括安全编码数据包和文件夹；所述待恢复数据的安全编码数据包存储在云端服务器，待恢复数据的文件夹存储在分布式存储系统本地。
2.根据权利要求1所述的一种分布式存储系统的数据自动恢复方法，其特征在于，所述步骤S4中验证不成功后，需进一步判断前序步骤遍历次数，若次数达到设定次数，则触发报警单元，报警单元发送报警信息至删除数据的操作人员；若次数没有达到设定次数，则返回步骤S1。
3.根据权利要求2所述的一种分布式存储系统的数据自动恢复方法，其特征在于，所述触发二次验证指令根据待恢复数据的位置的二进制编码编译而成，再根据验证步骤的步骤数值将二进制编码平分给每个验证步骤的答案。
4.根据权利要求3所述的一种分布式存储系统的数据自动恢复方法，其特征在于，所述待恢复数据的位置的二进制编码在平分给每个验证步骤的答案时，需要先对二进制编码的编码数值进行质数判断；若编码数值为质数，则在二进制编码的尾码上填充或者删除一位二进制编码0/1；若编码数值不是质数，则截断二进制编码平分至每个验证步骤的答案。
5.根据权利要求4所述的一种分布式存储系统的数据自动恢复方法，其特征在于，根据验证步骤的答案在触发二次验证指令存储数据表中匹配查询答案对应的问题作为验证命令；所述触发二次验证指令存储数据表中存储有验证步骤的答案和问题，其答案和问题相互关联对应存储，其答案的二进制编码也关联答案或者问题进行存储。
6.根据权利要求5所述的一种分布式存储系统的数据自动恢复方法，其特征在于，触发二次验证指令存储数据表存储在分布式存储系统本地，用于操作人员遗忘验证步骤的答案时，查询并获取触发二次验证指令的验证步骤的答案。
7.根据权利要求6所述的一种分布式存储系统的数据自动恢复方法，其特征在于，所述二进制编码平分给每个验证步骤的答案采用二进制编码的截断算法，其验证步骤数为二进制编码的编码数值最小公约数，从二进制编码第一位开始截取，每次截取位数为二进制编码的编码数值除以二进制编码的编码数值最小公约数。
CN202210264092.9A 2022-03-17 2022-03-17 一种分布式存储系统的数据自动恢复方法 Active CN114647539B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210264092.9A CN114647539B (zh) 2022-03-17 2022-03-17 一种分布式存储系统的数据自动恢复方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210264092.9A CN114647539B (zh) 2022-03-17 2022-03-17 一种分布式存储系统的数据自动恢复方法

Publications (2)

Publication Number Publication Date
CN114647539A CN114647539A (zh) 2022-06-21
CN114647539B true CN114647539B (zh) 2022-10-18

Family

ID=81996330

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210264092.9A Active CN114647539B (zh) 2022-03-17 2022-03-17 一种分布式存储系统的数据自动恢复方法

Country Status (1)

Country Link
CN (1) CN114647539B (zh)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112511578A (zh) * 2019-09-16 2021-03-16 大唐移动通信设备有限公司 数据存储方法及装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9304858B2 (en) * 2011-12-12 2016-04-05 International Business Machines Corporation Analyzing found data in a distributed storage and task network
CN105282171B (zh) * 2015-11-06 2018-04-27 北京大学深圳研究生院 一种安全可靠的分布式云存储方法
WO2018165983A1 (zh) * 2017-03-17 2018-09-20 华为技术有限公司 一种eUICC配置文件的删除方法和设备
CN108829813A (zh) * 2018-06-06 2018-11-16 郑州云海信息技术有限公司 一种基于分布式存储系统的文件快照方法及系统
CN111382134B (zh) * 2018-12-29 2022-10-18 清华大学 大规模分布式存储系统中数据恢复方法及装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112511578A (zh) * 2019-09-16 2021-03-16 大唐移动通信设备有限公司 数据存储方法及装置

Also Published As

Publication number Publication date
CN114647539A (zh) 2022-06-21

Similar Documents

Publication Publication Date Title
CN112769932B (zh) 基于区块链与数据分离的分布式云存储系统
CN107888695A (zh) 云平台创建镜像的方法和云平台设备
KR102168327B1 (ko) 차량용 단말의 위치 정보를 기초로 알림 메시지의 공유를 지원하는 알림 메시지 공유 서비스 장치 및 그 동작 방법
CN111262822A (zh) 文件存储方法、装置、区块链节点和系统
CN111221780A (zh) 一种基于区块链的服务器文件安全存储方法
WO2013097812A1 (zh) 一种下载字库文件的方法和系统
CN112685612A (zh) 一种特征码查找和匹配方法、设备及存储介质
CN114647539B (zh) 一种分布式存储系统的数据自动恢复方法
CN112149068A (zh) 基于访问的授权校验方法、信息的生成方法及装置、服务器
CN108133026B (zh) 一种多数据的处理方法、系统及存储介质
CN111666257B (zh) 一种文件分片存储的方法、装置、设备和存储介质
CN115952515B (zh) 一种基于大数据的数据安全处理方法及装置
CN110618989A (zh) 信息处理方法、信息处理装置及相关产品
CN113900990A (zh) 文件分片存储方法、装置、设备及存储介质
CN115297104A (zh) 文件上传方法、装置、电子设备和存储介质
CN114710345A (zh) 一种认证特征信息写入方法及系统
CN114048443A (zh) 用户身份的验证方法、装置及计算机存储介质
CN106970854A (zh) 一种对象存储系统中的逻辑处理服务器
CN113553626A (zh) 一种数据完整性检测方法、装置、设备及存储介质
CN113704176B (zh) 文件扫描方法、装置、电子设备及存储介质
CN107343274A (zh) 通讯录信息的处理方法
CN111400161B (zh) 一种移动终端的真机验证方法、装置和系统
CN117579617B (zh) 一种基于信息安全的数据传输方法和装置
KR102638734B1 (ko) 대용량 파일 전송 시스템의 데이터 포맷 정보 생성 방법 및 단말의 패킷 손실 처리 방법
CN116301668B (zh) 一种基于cdp的数据存储系统及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant