CN115629906A - 一种恢复云分布式存储数据故障的方法及系统 - Google Patents

Abstract

本发明公开一种恢复云分布式存储数据故障的方法及系统，其方法包括步骤：S1、获取分布式存储磁盘的状态信息和查询存储数据的节点链路状态信息；S2、判断存储磁盘的状态信息或存储数据的节点链路状态信息；S3、查询存储系统中有无用户主动删除数据表的信息；S4、告知用户存储磁盘故障或者存储数据的节点链路出现异常断开；S5、本地用户是否恢复存储磁盘中故障信息和节点链路重新链接；S6、按照初始分布式存储磁盘的云分布式存储数据方法将因故障产生的缺失数据表重新上传，并重新建立存储数据的节点链路。解决了分布式存储系统故障恢复方法占用整个云端分布式存储磁盘的可利用空间的问题。

Description

一种恢复云分布式存储数据故障的方法及系统

技术领域

本发明属于数据存储技术领域，具体来说，涉及一种恢复云分布式存储数据故障的方法及系统。

背景技术

分布式文件系统除了具有本地文件系统的功能外，还管理整个系统中所有计算机上的文件资源，从而把整个分布式文件资源以统一的视图呈现给用户。分布式文件系统隐藏内部的实现细节，对用户和应用程序屏蔽各个计算机节点底层文件系统之间的差异，以提供给用户统一的访问接口和方便的资源管理手段。当存储服务器中一个磁盘因无法读写导致存储服务器发生故障时，需要技术人员人工定位发生故障的磁盘。若技术人员无法及时将发生故障的分布式存储系统恢复至正常状态，会为分布式存储系统带来丢失数据的风险，并造成不可估量的损失。

在专利号为CN202111621876.4的中国发明专利中，公开了一种存储系统故障恢复方法，所述方法包括：获取分布式存储系统的状态信息，并判断所述状态信息是否存在异常；若所述状态信息存在异常，扫描所述分布式存储系统中存在故障的节点；根据所述节点内磁盘的运行信息，确定发生故障的磁盘；将所述发生故障的磁盘替换为对应的热备磁盘，并将所述发生故障的磁盘的数据写入所述热备磁盘。解决分布式存储系统发生故障时，无法快速恢复的问题。

现有技术中的缺陷在于，上述专利虽然实现了分布式存储系统发生故障时，快速恢复的效果；但是每个独立存储的数据磁盘都需要一个数据备份的热备磁盘，占用整个云端分布式存储磁盘的可利用空间，同时当热备磁盘出现故障和存储数据出现丢失时，无法对存储的数据表实现完整恢复。

发明内容

针对现有分布式存储系统故障恢复方法采用热备磁盘方式加速故障磁盘的数据恢复，占用整个云端分布式存储磁盘的可利用空间的问题，本发明提供了一种恢复云分布式存储数据故障的方法及系统。

为实现上述技术目的，本发明采用的技术方案如下：

一种恢复云分布式存储数据故障的方法，包括步骤：

S1、获取分布式存储磁盘的状态信息和查询存储数据的节点链路状态信息；

S2、判断存储磁盘的状态信息或存储数据的节点链路状态信息，若为故障状态则进入步骤S3；

S3、查询存储系统中有无用户主动删除数据表的信息，若无，则进入步骤S4；

S4、告知用户存储磁盘故障或者存储数据的节点链路出现异常断开；存储数据的节点链路为SQL语句或数据块存储位置链接；

S5、本地用户是否恢复存储磁盘中故障信息和节点链路重新链接，若需要恢复，则进入步骤S6；

S6、按照初始分布式存储磁盘的云分布式存储数据方法将因故障产生的缺失数据表重新上传，并重新建立存储数据的节点链路。

进一步地，云分布式存储数据方法，包括步骤：

S101、采集多个用户存储的数据表；

S102、删除多余相同数据表内容，保留一份相同数据表内容与剩下的不相同数据表内容存储至分布式存储磁盘中相应数据块存储位置；同一用户的数据表之间有相互索引关系的数据表字段，数据表字段可能不同，但存储的数据相同，则删除任意一份相同数据，保留两个数据表字段。

S103、建立数据表字段删除SQL语句存储的副本文件和相应数据块存储位置链接；

S104、用户本地存储相应数据表。

进一步地，步骤S2中存储磁盘的状态信息判断方法：

S21、通过磁盘扫描技术，扫描存储磁盘存储区域是否有损坏；

S22、通过最新更新时间，检查每个磁盘内存储的数据表是否有新的更新时间；

S23、若有步骤S21判断为存储磁盘存储区域有损坏或者S22磁盘内存储的数据表没有同步磁盘最新更新时间，判断为磁盘存储空间损坏或数据表内容故障损坏。

进一步地，步骤S2中存储数据的节点链路状态信息判断方法：

S24、通过数据表字段删除SQL语句在磁盘的数据表更新或者迭代的情况下有无SQL语句的变化，若无变化，则判断为存储数据的节点链路故障；

S25、通过遍历数据表是否经历过磁盘存储位置信息更替，若有，则判定存储数据的节点链路需要更新。

进一步地，步骤S3中的详细步骤包括：

S31、监测用户是否对存储磁盘内存储有权限的数据表进行修改的行为；

S32、监测用户是否通过对本地用户端数据表进行过增、删、改数据表字段内容，同时将修改后的上传至存储磁盘，并更新存储磁盘相应数据表内容；

S3201、监测用户是否对数据表新增数据表字段或者新增一行原有数据表的新数据；

S3202、监测用户是否对数据表进行删除数据表字段或者删除一行原有数据表的数据；

S3203、监测用户是否对数据表进行修改数据表字段或者修改一行原有数据表的数据；

S33、若上述步骤有任一产生，且不是用户主动操作的行为，则判定为用户存储磁盘故障或者存储数据的节点链路出现异常断开。

进一步地，步骤S6的详细步骤为：

S61、查询存储磁盘最后一次更新数据的时间；

S62、用户在本地查找最后一次更新时间节点以后上传的最新数据表；

S63、判断存储磁盘对应存储数据表的其他用户数据表内容是否相应存在最新更新状态时间或者更新数据表内容，若有，则进入步骤S64，若没有，则进入步骤S65；

S64、将存储磁盘内其他不受影响的数据表内容复制到新的存储备用磁盘中，再将用户本地最新数据表上传到新的存储备用磁盘中，并按照云分布式存储数据方法重新写入一个数据表中，生成数据表字段删除SQL语句和相应数据块存储位置链接存储到副本文件中；

S65、则切断没有最新更新状态时间或者更新数据表内容的用户数据表链接，同步步骤S64的步骤。

进一步地，在步骤S32中，本地用户端数据表若增、删、改的内容为修改一行原有数据表的数据，则只需要对存储磁盘内数据表内容进行更新。

本地用户端数据表若增、删、改的内容为修改数据表字段的数据，则需要对存储磁盘内数据表内容进行更新，同时对数据表字段删除SQL语句存储的副本文件和相应数据块存储位置链接进行删除后更新。数据表中数据字段的具体数值变化不会对数据表字段删除SQL语句存储的副本文件和相应数据块存储位置链接产生任何变化，引用SQL语句或数据块存储位置链接时，显示的最新数据表内容会随之变化。但是若数据表中数据字段的增、删、改变化，则会导致引用SQL语句或数据块存储位置链接时数据字段显示不全，所有需要更新SQL语句或数据块存储位置链接。

进一步地，多个用户对云分布式存储数据方法中存储磁盘查询本人上传的数据表时，只需执行相应的存储数据的节点链路。从一张数据表中通过数据块存储位置链接定位存储磁盘位置，通过SQL语句查询多个用户本人的数据表内容，下载或者显示给有上传者权限的用户查看。

一种恢复云分布式存储数据故障的系统，包括获取分布式存储磁盘状态信息模块、判断存储磁盘状态信息模块、故障行为检测模块、通知存储磁盘数据表故障模块、故障是否修复模块和磁盘故障重新修复模块；

获取分布式存储磁盘状态信息模块，用于获取分布式存储磁盘的状态信息和查询存储数据的节点链路状态信息；

判断存储磁盘状态信息模块，用于判断存储磁盘的状态信息或存储数据的节点链路状态信息；

故障行为检测模块，用于查询存储系统中有无用户主动删除数据表的信息；

通知存储磁盘数据表故障模块，用于告知用户存储磁盘故障或者存储数据的节点链路出现异常断开；

故障是否修复模块，用于本地用户是否恢复存储磁盘中故障信息和节点链路重新链接；

磁盘故障重新修复模块，用于按照初始分布式存储磁盘的云分布式存储数据方法将因故障产生的缺失数据表重新上传，并重新建立存储数据的节点链路。

本发明相比现有技术，具有如下有益效果：

通过本地用户端存储数据表与分布式存储磁盘的数据表在云分布式存储数据方法有效结合交互的情景下，不仅减轻的云端分布式存储磁盘的存储压力，同时将数据表实现了高度压缩的效果。还保证了所有存储数据磁盘损坏后，以最快的速度可靠性和可用性恢复存储磁盘存储内容和存储数据的节点链路。

附图说明

图1为本发明一种恢复云分布式存储数据故障的方法整体流程图；

图2为本发明云分布式存储数据方法的具体步骤的流程图；

图3为本发明步骤S2中存储磁盘的状态信息判断方法的流程图；

图4为本发明步骤S3中的详细步骤的流程图；

图5为本发明步骤S6的详细步骤的流程图；

图6为本发明一种恢复云分布式存储数据故障的系统的结构框图。

具体实施方式

为了便于本领域技术人员的理解，下面结合实施例与附图对本发明作进一步的说明，实施方式提及的内容并非对本发明的限定。

如图1所示，本实施例提供了一种恢复云分布式存储数据故障的方法，包括步骤：

S1、获取分布式存储磁盘的状态信息和查询存储数据的节点链路状态信息；

S2、判断存储磁盘的状态信息或存储数据的节点链路状态信息，若为故障状态则进入步骤S3；

S3、查询存储系统中有无用户主动删除数据表的信息，若无，则进入步骤S4；

S4、告知用户存储磁盘故障或者存储数据的节点链路出现异常断开；存储数据的节点链路为SQL语句或数据块存储位置链接；或者包含表与表之间的索引关系。

S5、本地用户是否恢复存储磁盘中故障信息和节点链路重新链接，若需要恢复，则进入步骤S6；当用户不需要恢复时，减少存储磁盘的存储压力，直接根据数据块存储位置链接删除用户相关的存储磁盘内容。

S6、按照初始分布式存储磁盘的云分布式存储数据方法将因故障产生的缺失数据表重新上传，并重新建立存储数据的节点链路。

进一步地，云分布式存储数据方法，包括步骤：

S101、采集多个用户存储的数据表；

S102、删除多余相同数据表内容，保留一份相同数据表内容与剩下的不相同数据表内容存储至分布式存储磁盘中相应数据块存储位置；同一用户的数据表之间有相互索引关系的数据表字段，数据表字段可能不同，但存储的数据相同，则删除任意一份相同数据，保留两个数据表字段。对云存储磁盘的文件表高度压缩，确保多个用户的数据表在存储时，实现存储磁盘空间最小化。多个用户存储的数据表属于同类系统或者同一系统中存储的数据表可以实现最大化的合并相同数据表字段。

如表1、表2和表3，表1为员工运动爱好表，表2为员工每天运动类型表，表3为表1和表2合并处理后的员工爱好运动和每天运动类型表；

表1

姓名	编号	运动爱好
			张三	x00001	篮球
李四	x00002	羽毛球
			王五	x00003	足球

表2

姓名	编号	喜爱体育运动
			张三	x00001	篮球
李四	x00002	羽毛球
			王五	x00003	足球

表3

姓名	编号	运动爱好/喜爱体育运动
			张三	x00001	篮球
李四	x00002	羽毛球
			王五	x00003	足球

有表1、表2存储时，可以新建一个数据存储表，即表3对表1和表2相同字段直接存储一个，不同字段但数据相同，保留一份数据，两个字段，当数据需要恢复时，对应表名称导出原先的字段，插入保存的公用数据即可。

S103、建立数据表字段删除SQL语句存储的副本文件和相应数据块存储位置链接；S104、用户本地存储相应数据表。便于副本文件和数据块存储位置链接存储磁盘出现故障时，可以重新将多个用户存储的数据表建立分布式存储副本文件和存储位置链接。

步骤S2中存储磁盘的状态信息判断方法：S21、通过磁盘扫描技术，扫描存储磁盘存储区域是否有损坏；S22、通过最新更新时间，检查每个磁盘内存储的数据表是否有新的更新时间；S23、若有步骤S21判断为存储磁盘存储区域有损坏或者S22磁盘内存储的数据表没有同步磁盘最新更新时间，判断为磁盘存储空间损坏或数据表内容故障损坏。

步骤S2中存储数据的节点链路状态信息判断方法：S24、通过数据表字段删除SQL语句在磁盘的数据表更新或者迭代的情况下有无SQL语句的变化，若无变化，则判断为存储数据的节点链路故障；会对前序所有节点进行遍历检测，直到找到第一个在磁盘的数据表更新或者迭代的情况下无SQL语句的变化的存储数据的节点链路进行数据表的变化，重新书写SQL到副本文件。

S25、通过遍历数据表是否经历过磁盘存储位置信息更替，若有，则判定存储数据的节点链路需要更新。

步骤S3中的详细步骤包括：S31、监测用户是否对存储磁盘内存储有权限的数据表进行修改的行为；S32、监测用户是否通过对本地用户端数据表进行过增、删、改数据表字段内容，同时将修改后的上传至存储磁盘，并更新存储磁盘相应数据表内容；S3201、监测用户是否对数据表新增数据表字段或者新增一行原有数据表的新数据；S3202、监测用户是否对数据表进行删除数据表字段或者删除一行原有数据表的数据；S3203、监测用户是否对数据表进行修改数据表字段或者修改一行原有数据表的数据；S33、若上述步骤有任一产生，且不是用户主动操作的行为，则判定为用户存储磁盘故障或者存储数据的节点链路出现异常断开。

进一步地，步骤S6的详细步骤为：S61、查询存储磁盘最后一次更新数据的时间；S62、用户在本地查找最后一次更新时间节点以后上传的最新数据表；S63、判断存储磁盘对应存储数据表的其他用户数据表内容是否相应存在最新更新状态时间或者更新数据表内容，若有，则进入步骤S64，若没有，则进入步骤S65。

S64、将存储磁盘内其他不受影响的数据表内容复制到新的存储备用磁盘中，再将用户本地最新数据表上传到新的存储备用磁盘中，并按照云分布式存储数据方法重新写入一个数据表中，生成数据表字段删除SQL语句和相应数据块存储位置链接存储到副本文件中。

S65、则切断没有最新更新状态时间或者更新数据表内容的用户数据表链接，同步步骤S64的步骤。

在步骤S32中，本地用户端数据表若增、删、改的内容为修改一行原有数据表的数据，则只需要对存储磁盘内数据表内容进行更新。

本地用户端数据表若增、删、改的内容为修改数据表字段的数据，则需要对存储磁盘内数据表内容进行更新，同时对数据表字段删除SQL语句存储的副本文件和相应数据块存储位置链接进行删除后更新。数据表中数据字段的具体数值变化不会对数据表字段删除SQL语句存储的副本文件和相应数据块存储位置链接产生任何变化，引用SQL语句或数据块存储位置链接时，显示的最新数据表内容会随之变化。但是若数据表中数据字段的增、删、改变化，则会导致引用SQL语句或数据块存储位置链接时数据字段显示不全，所有需要更新SQL语句或数据块存储位置链接。

多个用户对云分布式存储数据方法中存储磁盘查询本人上传的数据表时，只需执行相应的存储数据的节点链路。从一张数据表中通过数据块存储位置链接定位存储磁盘位置，通过SQL语句查询多个用户本人的数据表内容，下载或者显示给有上传者权限的用户查看。

一种恢复云分布式存储数据故障的系统，包括获取分布式存储磁盘状态信息模块，用于获取分布式存储磁盘的状态信息和查询存储数据的节点链路状态信息；判断存储磁盘状态信息模块，用于判断存储磁盘的状态信息或存储数据的节点链路状态信息；故障行为检测模块，用于查询存储系统中有无用户主动删除数据表的信息；通知存储磁盘数据表故障模块，用于告知用户存储磁盘故障或者存储数据的节点链路出现异常断开；故障是否修复模块，用于本地用户是否恢复存储磁盘中故障信息和节点链路重新链接；磁盘故障重新修复模块，用于按照初始分布式存储磁盘的云分布式存储数据方法将因故障产生的缺失数据表重新上传，并重新建立存储数据的节点链路。

本发明相比现有技术，具有如下有益效果：

通过本地用户端存储数据表与分布式存储磁盘的数据表在云分布式存储数据方法有效结合交互的情景下，不仅减轻的云端分布式存储磁盘的存储压力，同时将数据表实现了高度压缩的效果。还保证了所有存储数据磁盘损坏后，以最快的速度可靠性和可用性恢复存储磁盘存储内容和存储数据的节点链路。

以上对本申请提供的一种恢复云分布式存储数据故障的方法及系统进行了详细介绍。具体实施例的说明只是用于帮助理解本申请的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以对本申请进行若干改进和修饰，这些改进和修饰也落入本申请权利要求的保护范围内。

Claims (9)

1.一种恢复云分布式存储数据故障的方法，其特征在于，包括步骤：

S1、获取分布式存储磁盘的状态信息和查询存储数据的节点链路状态信息；

S2、判断存储磁盘的状态信息或存储数据的节点链路状态信息，若为故障状态则进入步骤S3；

S3、查询存储系统中有无用户主动删除数据表的信息，若无，则进入步骤S4；

S4、告知用户存储磁盘故障或者存储数据的节点链路出现异常断开；

S5、本地用户是否恢复存储磁盘中故障信息和节点链路重新链接，若需要恢复，则进入步骤S6；

S6、按照初始分布式存储磁盘的云分布式存储数据方法将因故障产生的缺失数据表重新上传，并重新建立存储数据的节点链路。

2.根据权利要求1所述的一种恢复云分布式存储数据故障的方法，其特征在于，云分布式存储数据方法，包括步骤：

S101、采集多个用户存储的数据表；

S102、删除多余相同数据表内容，保留一份相同数据表内容与剩下的不相同数据表内容存储至分布式存储磁盘中相应数据块存储位置；

S103、建立数据表字段删除SQL语句存储的副本文件和相应数据块存储位置链接；

S104、用户本地存储相应数据表，

便于副本文件和数据块存储位置链接存储磁盘出现故障时，可以重新将多个用户存储的数据表建立分布式存储副本文件和存储位置链接。

3.根据权利要求2所述的一种恢复云分布式存储数据故障的方法，其特征在于，步骤S2中存储磁盘的状态信息判断方法：

S21、通过磁盘扫描技术，扫描存储磁盘存储区域是否有损坏；

S22、通过最新更新时间，检查每个磁盘内存储的数据表是否有新的更新时间；

S23、若有步骤S21判断为存储磁盘存储区域有损坏或者S22磁盘内存储的数据表没有同步磁盘最新更新时间，判断为磁盘存储空间损坏或数据表内容故障损坏。

4.根据权利要求3所述的一种恢复云分布式存储数据故障的方法，其特征在于，步骤S2中存储数据的节点链路状态信息判断方法：

S24、通过数据表字段删除SQL语句在磁盘的数据表更新或者迭代的情况下有无SQL语句的变化，若无变化，则判断为存储数据的节点链路故障；

S25、通过遍历数据表是否经历过磁盘存储位置信息更替，若有，则判定存储数据的节点链路需要更新。

5.根据权利要求4所述的一种恢复云分布式存储数据故障的方法，其特征在于，步骤S3中的详细步骤包括：

S31、监测用户是否对存储磁盘内存储有权限的数据表进行修改的行为；

S32、监测用户是否通过对本地用户端数据表进行过增、删、改数据表字段内容，同时将修改后的上传至存储磁盘，并更新存储磁盘相应数据表内容；

S3201、监测用户是否对数据表新增数据表字段或者新增一行原有数据表的新数据；

S3202、监测用户是否对数据表进行删除数据表字段或者删除一行原有数据表的数据；

S3203、监测用户是否对数据表进行修改数据表字段或者修改一行原有数据表的数据；

S33、若上述步骤有任一产生，且不是用户主动操作的行为，则判定为用户存储磁盘故障或者存储数据的节点链路出现异常断开。

6.根据权利要求5所述的一种恢复云分布式存储数据故障的方法，其特征在于，步骤S6的详细步骤为：

S61、查询存储磁盘最后一次更新数据的时间；

S62、用户在本地查找最后一次更新时间节点以后上传的最新数据表；

S63、判断存储磁盘对应存储数据表的其他用户数据表内容是否相应存在最新更新状态时间或者更新数据表内容，若有，则进入步骤S64，若没有，则进入步骤S65；

S64、将存储磁盘内其他不受影响的数据表内容复制到新的存储备用磁盘中，再将用户本地最新数据表上传到新的存储备用磁盘中，并按照云分布式存储数据方法重新写入一个数据表中，生成数据表字段删除SQL语句和相应数据块存储位置链接存储到副本文件中；

S65、则切断没有最新更新状态时间或者更新数据表内容的用户数据表链接，同步步骤S64的步骤。

7.根据权利要求6所述的一种恢复云分布式存储数据故障的方法，其特征在于，在步骤S32中，本地用户端数据表若增、删、改的内容为修改一行原有数据表的数据，则只需要对存储磁盘内数据表内容进行更新。

8.根据权利要求6所述的一种恢复云分布式存储数据故障的方法，其特征在于，多个用户对云分布式存储数据方法中存储磁盘查询本人上传的数据表时，只需执行相应的存储数据的节点链路。

9.一种恢复云分布式存储数据故障的系统，其特征在于，包括获取分布式存储磁盘状态信息模块、判断存储磁盘状态信息模块、故障行为检测模块、通知存储磁盘数据表故障模块、故障是否修复模块和磁盘故障重新修复模块；

获取分布式存储磁盘状态信息模块，用于获取分布式存储磁盘的状态信息和查询存储数据的节点链路状态信息；

判断存储磁盘状态信息模块，用于判断存储磁盘的状态信息或存储数据的节点链路状态信息；

故障行为检测模块，用于查询存储系统中有无用户主动删除数据表的信息；

通知存储磁盘数据表故障模块，用于告知用户存储磁盘故障或者存储数据的节点链路出现异常断开；

故障是否修复模块，用于本地用户是否恢复存储磁盘中故障信息和节点链路重新链接；

磁盘故障重新修复模块，用于按照初始分布式存储磁盘的云分布式存储数据方法将因故障产生的缺失数据表重新上传，并重新建立存储数据的节点链路。

Images