CN104156327A - 一种分布式文件系统中写回模式下对象掉电识别方法 - Google Patents

Abstract

本发明提供了一种分布式文件系统中写回模式下对象掉电识别方法，采用写回模式写入数据时，先同步记录待写对象的打开状态，然后写入数据，等数据同步到磁盘后删除对象的打开状态。当对象存储节点掉电后，扫描对象的打开状态记录即可知道哪些对象在掉电前未写入完成，然后通过分布式系统节点间的数据冗余配置，通知元数据节点进行数据修复。本发明在保证数据写回速度的同时，可以知道节点掉电后哪些数据丢失，采取相应的措施修复出掉电的数据，从而保证系统数据的可靠性。

Description

一种分布式文件系统中写回模式下对象掉电识别方法

技术领域

本发明涉及一种识别方法，具体涉及一种分布式文件系统中写回模式下对象掉电识别方法。

背景技术

分布式文件系统一般包含客户端，元数据服务器和数据服务器，客户端负责文件数据的访问接口制定，元数据服务器处理文件的布局及基本属性，数据服务器存储文件的数据内容。

对于分布式文件系统，节点数据间通常有数据保护机制，比如数据写多份或节点间的raid模式，但为了提高写入的速度，存储节点的数据写回往往是一种提高写入性能的常用手段。但数据写回又具有掉电丢失的风险，传统的做法是加入用SSD磁盘做的日志盘，即先将数据写入到比较快速的存储设备上，然后响应写入完成后，在后台再将数据写入到真正的存储介质上。这种方法相比较于直接将数据写到缓存速度上还是慢了很多，并且也会产生两倍的磁盘IO，降低了繁忙时刻整系统的响应速度和磁盘带宽。

发明内容

为了克服上述现有技术的不足，本发明提供一种分布式文件系统中写回模式下对象掉电识别方法，只需要在整个写入过程的第一次将对象的打开状态记录下来，而对象掉电后通过该打开状态及知道对应对象是否丢失数据，若丢失数据，则可以通过数据节点间的冗余关系将数据重新修复出来，从而即保证了数据的安全性，又保证了写回的性能。

为了实现上述发明目的，本发明采取如下技术方案：

本发明提供一种分布式文件系统中写回模式下对象掉电识别方法，所述方法包括以下步骤：

步骤1：写回模式下写入待写入数据到对象的缓存中；

步骤2：存储节点将对象缓存中的数据写入到磁盘；

步骤3：对象掉电重启后，元数据服务器对对象进行修复。

所述步骤1包括以下步骤：

步骤1-1：客户端发送待写入数据到各个存储节点上；

步骤1-2：存储节点判断待写入数据的对象是否已记录打开状态，若未记录则记录其打开状态；

步骤1-3：数据写入到对象的缓存中后返回给客户端写入完成。

所述步骤1-2中，记录待写入数据的对象打开状态采用以下任一方式：

方式1：直接记录到对象的基本属性上；

方式2：统一记录到指定的硬盘文件上。

所述步骤2中，存储节点在后台将缓存中的数据写入到磁盘，当对象对应的缓存数据写入完后，删除对象的打开状态记录。

所述步骤3包括以下步骤：

步骤3-1：对象掉电重启后，扫描对象打开状态记录；

步骤3-2：将记录为打开状态的对象上报到元数据服务器；

步骤3-3：元数据服务器根据存储节点间的数据冗余机制，从未丢失数据的相关存储节点上获取数据，将该对象进行修复。

与现有技术相比，本发明的有益效果在于：

本发明提供了一种分布式文件系统中写回模式下对象掉电识别方法，采用写回模式写入数据时，先同步记录待写对象的打开状态，然后写入数据，等数据同步到磁盘后删除对象的打开状态。当对象存储节点掉电后，扫描对象的打开状态记录即可知道哪些对象在掉电前未写入完成，然后通过分布式系统节点间的数据冗余配置，通知元数据节点进行数据修复。本发明在保证数据写回速度的同时，可以知道节点掉电后哪些数据丢失，采取相应的措施修复出掉电的数据，从而保证系统数据的可靠性。

附图说明

图1是分布式文件系统中写回模式下对象掉电识别方法流程图；

图2是对象打开状态的状态转移示意图。

具体实施方式

下面结合附图对本发明作进一步详细说明。

如图1，本发明提供一种分布式文件系统中写回模式下对象掉电识别方法，所述方法包括以下步骤：

步骤1：写回模式下写入待写入数据到对象的缓存中；

步骤2：存储节点将对象缓存中的数据写入到磁盘；

步骤3：对象掉电重启后，元数据服务器对对象进行修复。

所述步骤1包括以下步骤：

步骤1-1：客户端发送待写入数据到各个存储节点上；

步骤1-2：存储节点判断待写入数据的对象是否已记录打开状态，若未记录则记录其打开状态；

步骤1-3：数据写入到对象的缓存中后返回给客户端写入完成。

所述步骤1-2中，记录待写入数据的对象打开状态采用以下任一方式：

方式1：直接记录到对象的基本属性上；

方式2：统一记录到指定的硬盘文件上。

所述步骤2中，存储节点在后台将缓存中的数据写入到磁盘，当对象对应的缓存数据写入完后，删除对象的打开状态记录。

所述步骤3包括以下步骤：

步骤3-1：对象掉电重启后，扫描对象打开状态记录；

步骤3-2：将记录为打开状态的对象上报到元数据服务器；

步骤3-3：元数据服务器根据存储节点间的数据冗余机制，从未丢失数据的相关存储节点上获取数据，将该对象进行修复。

实施例

A.对象的打开记录方法(以下称对象的打开状态为Cookie状态)：

文件的Cookie状态在内存中以Try Tree的方式组织，以Inode Id作为索引的关键字。每一个单点中需要记录的内容为“Inode Id+Cookie日志文件编号+文件中的位置+Status”。

在每个磁盘中使用独立的目录来保存Cookie日志的文件。每10万条记录生成一个文件。每条记录中记录“Inode Id++Cookie状态”。当打开文件时，状态为1，当关闭文件时，将状态置为0。

内存中存在一个Cookie日志的控制块，记录当前存在的Open文件的数目，以及每个Cookie文件中“有效的数据的个数、最大的记录数”。每个Cookie文件的最大记录数暂时设置为10万。当个数为0时，则把该文件删除。为了减少对同一个磁盘块的重复修改写，采用删除文件而不是重新利用的办法。

磁盘文件的解析方式，掉电重启时，依次读取所有磁盘的Cookie日志文件，文件之间没有先后顺序。每读取一条记录则判断是否为打开状态，若为打开状态，则加入到Try Tree中，并修改内存状态为Error。同时维护相应的引用计算。若为关闭状态，则放弃。直到所有的内容全部解析完毕。以不满10万条记录的文件作为下次追加的目标文件

B.cookie的状态的删除方法：

1正常同步缓存的内容到磁盘后可以删除cookie记录；

2.掉电数据修复后可以删除cookie记录。

本发明提供了一种分布式文件系统中写回模式下对象掉电识别方法，采用写回模式写入数据时，先同步记录待写对象的打开状态，然后写入数据，等数据同步到磁盘后删除对象的打开状态。当对象存储节点掉电后，扫描对象的打开状态记录即可知道哪些对象在掉电前未写入完成，然后通过分布式系统节点间的数据冗余配置，通知元数据节点进行数据修复。本发明在保证数据写回速度的同时，可以知道节点掉电后哪些数据丢失，采取相应的措施修复出掉电的数据，从而保证系统数据的可靠性。

最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制，所属领域的普通技术人员参照上述实施例依然可以对本发明的具体实施方式进行修改或者等同替换，这些未脱离本发明精神和范围的任何修改或者等同替换，均在申请待批的本发明的权利要求保护范围之内。

Claims (5)

1.一种分布式文件系统中写回模式下对象掉电识别方法，其特征在于：所述方法包括以下步骤：

步骤1：写回模式下写入待写入数据到对象的缓存中；

步骤2：存储节点将对象缓存中的数据写入到磁盘；

步骤3：对象掉电重启后，元数据服务器对对象进行修复。

2.根据权利要求1所述的分布式文件系统中写回模式下对象掉电识别方法，其特征在于：所述步骤1包括以下步骤：

步骤1-1：客户端发送待写入数据到各个存储节点上；

步骤1-2：存储节点判断待写入数据的对象是否已记录打开状态，若未记录则记录其打开状态；

步骤1-3：数据写入到对象的缓存中后返回给客户端写入完成。

3.根据权利要求2所述的分布式文件系统中写回模式下对象掉电识别方法，其特征在于：所述步骤1-2中，记录待写入数据的对象打开状态采用以下任一方式：

方式1：直接记录到对象的基本属性上；

方式2：统一记录到指定的硬盘文件上。

4.根据权利要求1所述的分布式文件系统中写回模式下对象掉电识别方法，其特征在于：所述步骤2中，存储节点在后台将缓存中的数据写入到磁盘，当对象对应的缓存数据写入完后，删除对象的打开状态记录。

5.根据权利要求1所述的分布式文件系统中写回模式下对象掉电识别方法，其特征在于：所述步骤3包括以下步骤：

步骤3-1：对象掉电重启后，扫描对象打开状态记录；

步骤3-2：将记录为打开状态的对象上报到元数据服务器；

步骤3-3：元数据服务器根据存储节点间的数据冗余机制，从未丢失数据的相关存储节点上获取数据，将该对象进行修复。