CN101980192A - 一种基于对象的集群文件系统管理方法及集群文件系统 - Google Patents

Abstract

本发明公开了一种基于对象的集群文件系统管理方法及集群文件系统，此方法包括：在集群文件系统中设置管理对象，管理对象对各系统节点进行监控并对系统节点的负荷进行自动均衡配置。本发明通过管理对象、元数据对象和存储数据对象分离，实现系统资源与物理设备无关的灵活配置和部署，并且对系统节点的负荷进行自动均衡配置，使系统内各对象存储和访问的动态均衡，消除数据访问瓶颈；通过对象备份，实现自适应的功能扩展和有效的故障恢复。与现有的集群文件系统相比，增强了集群文件系统的可扩展性和可用性，实现了自适应的负载均衡，提高了文件系统并行处理能力和系统整体的处理性能。

Description

一种基于对象的集群文件系统管理方法及集群文件系统

技术领域

本发明涉及集群文件系统，尤其涉及一种基于对象的集群文件系统管理方法及集群文件系统。

背景技术

文件系统是操作系统的一个重要组成部分，通过对操作系统所管理的存储空间的抽象，向用户提供统一的、对象化的访问接口，屏蔽对物理设备的直接操作和资源管理。文件系统可划分为四个层次，从低到高依次是：单处理器单用户的本地文件系统，如DOSFS的文件系统；多处理器单用户的本地文件系统，如OS/2的文件系统；多处理器多用户的文件系统，如Unix的本地文件系统；多处理器多用户的分布式文件系统。分布式文件系统(Distributed File System)是指文件系统管理的物理存储资源不一定直接连接在本地节点上，而是通过计算机网络与节点相连。

集群是指通过计算机网络内的有效协同，使多台计算机对外提供统一的功能和强大处理能力服务的特性。集群文件系统是在分布式文件系统基础上发展而来，具备高性能、高可用性、负载均衡、数据共享使用等集群自身特点。

目前，集群文件系统主要有包括两种GFS(Global File System)系统和Lustre(Linux Cluster)文件系统。GFS文件系统中吸取了对称多处理器(SMP)系统设计和实现原理，将系统中的每一个客户机类比于SMP中的一个处理器，客户机间没有任何区别，可以平等地访问系统中的所有存储设备，与处理器可以机会均等地访问主存同理。GFS实现了元数据在不同节点的分布式管理，并且要求存储数据集中共享。Lustre文件系统是一个透明的全局文件系统，客户端可以透明地访问集群文件系统中的数据，而无需知道数据的实际存储位置。Lustre文件系统内部设计也采用了基于对象的设计方式，在统一构建的支持多种通信方式的底层通信平台(LNET)上，所有对象的访问和工作都基于客户机-服务器的工作模式。Lustre实现了存储数据的分布式管理，每个数据对象可管理多个物理设备。

现有集群文件系统，对于功能和扩展性都有一些局限。比如GFS文件系统要求数据共享管理，但文件系统自身不提供额外的数据管理，数据扩容和备份恢复较为困难。Lustre文件系统中执行元数据集中管理，对于元数据的访问较容易形成瓶颈。两个文件系统内部功能都与物理设备位置固定相关，无法自动与其它节点实现资源或功能的分担，资源复用的可能性较小。另外，两个文件系统提供了数据并行访问的功能，但没有有效的节点访问负荷均衡方案。在日益大型化和复杂化的存储网络应用中，存在频繁访问的节点容易出现访问瓶颈而局部空闲节点利用率不高的问题。

发明内容

本发明要解决的技术问题是提供一种基于对象的集群文件系统管理方法及集群文件系统，实现系统资源与物理设备无关的灵活配置和部署。

为了解决上述技术问题，本发明提供了一种基于对象的集群文件系统管理方法，包括：在集群文件系统中设置管理对象，管理对象对各系统节点进行监控并对系统节点的负荷进行自动均衡配置。

进一步地，上述方法还可以具有以下特点：

所述管理对象对元数据对象和/或存储数据对象在不同的系统节点上进行创建、删除、备份和负荷均衡。

进一步地，上述方法还可以具有以下特点：

管理对象根据系统节点的业务访问处理能力、传输能力和存储容量判断系统节点为过负荷节点或非过负荷节点，将过负荷节点上的元数据对象的服务转移到非过负荷节点上的备份元数据对象上，将过负荷节点上的存储数据对象的服务转移到非过负荷节点上的备份存储数据对象上。

进一步地，上述方法还可以具有以下特点：

新的系统节点加入时，管理对象在此新的系统节点上执行对过负荷节点上元数据对象和/或存储数据对象的备份，并通过负荷均衡使此新的系统节分担过负荷节点上元数据对象和/或存储数据对象的功能。

进一步地，上述方法还可以具有以下特点：

需创建新存储数据对象时，管理对象收到元数据对象发起的创建新存储数据对象请求后，为此新存储数据对象确定节点，并通知至元数据对象；管理对象响应超时情况下，由元数据对象为此新存储数据对象确定节点，并以此上报管理对象。

进一步地，上述方法还可以具有以下特点：

管理对象存在备份，管理对象异常后，由备份管理对象提供管理功能；备份管理对象有多个时，选择备份管理对象所在节点中的负荷最轻的节点上的备份管理对象作为新的管理对象。

进一步地，上述方法还可以具有以下特点：

管理对象所在节点的负荷超过预设门限时，重新选择管理对象所在节点。

进一步地，上述方法还可以具有以下特点：

选择管理对象所在节点时选择元数据对象所在节点中负荷最轻的节点。

为了解决上述技术问题，本发明还提供了一种基于对象的集群文件系统管理系统，包括承担管理对象功能的节点；所述管理对象，用于对各系统节点进行监控并对系统节点的负荷进行自动均衡配置。

进一步地，上述系统还可以具有以下特点：

所述管理对象，还用于对元数据对象和/或存储数据对象在不同的系统节点上进行备份；还用于根据系统节点的业务访问处理能力、传输能力和存储容量判断系统节点为过负荷节点或非过负荷节点，将过负荷节点上的元数据对象的服务转移到非过负荷节点上的备份元数据对象上，将过负荷节点上的存储数据对象的服务转移到非过负荷节点上的备份存储数据对象上。

本发明通过管理对象、元数据对象和存储数据对象分离，实现系统资源与物理设备无关的灵活配置和部署，并且对系统节点的负荷进行自动均衡配置，使系统内各对象存储和访问的动态均衡，消除数据访问瓶颈；通过对象备份，实现自适应的功能扩展和有效的故障恢复。与现有的集群文件系统相比，增强了集群文件系统的可扩展性和可用性，实现了自适应的负载均衡，提高了文件系统并行处理能力和系统整体的处理性能。

附图说明

图1是实施例中典型的应用网络拓扑图；

图2是实施例中集群文件系统内部组件的结构示意图；

图3是实施例中集群文件系统对象设计示意图；

图4是实施例中集群文件系统运行过程中对象申请的流程图；

图5是实施例中集群文件系统运行过程中数据均衡的流程图；

图6是实施例中集群文件系统运行过程中对象异常后恢复的流程图。

具体实施方式

基于对象的集群文件系统管理系统包括系统节点，系统节点中包括承担管理对象功能的节点；所述管理对象用于对各系统节点进行监控并对系统节点的负荷进行自动均衡配置。

管理对象还用于对元数据对象和/或存储数据对象在不同的系统节点上进行备份；还用于根据系统节点的业务访问处理能力、传输能力和存储容量判断系统节点为过负荷节点或非过负荷节点，将过负荷节点上的元数据对象的服务转移到非过负荷节点上的备份元数据对象上，将过负荷节点上的存储数据对象的服务转移到非过负荷节点上的备份存储数据对象上。

如图1所示，本系统中，同一节点上可维护不同类型的对象。存储和业务功能可以部署在同一个服务器上，比如存储节点1和业务节点2同时部署在服务器2上。内部存储节点间通信可以和外部业务网络共享，内部存储集群通信采用单独网络协议，和业务应用访问的网络协议区分；也可以部署在不同物理网络上，物理上就将内部存储集群通信和业务应用访问通信区隔开。图1实线箭头线表示业务应用访问，虚线箭头线表示存储集群通信。

如图2所示，本系统将集群文件系统的功能高度抽象，按功能组件划分为管理对象、元数据对象和存储数据对象，使功能分离，位置灵活部署。

管理对象负责分布式文件系统的配置管理功能，包括人机交互，配置下发、系统监控和第三方决策等管理功能。

元数据对象负责管理文件系统的目录层次结构，以及具体文件节点和存储数据对象位置的对应关系，文件数据的存储和管理。元数据对象采用分布式管理方式，各自承担部分元数据管理功能，内部统一编址。元数据对象位置不固定，功能可迁移，对用户不可见。元数据对象存在多个，以分布式工作方式对外体现元数据管理的完整功能，对每个元数据对象系统内都存在备份。

存储数据对象负责维护存储的数据。

本系统中可以对上述对象进行备份。例如，采用现有RAID技术实现数据存储的可靠和安全。

上述集群文件系统中，集群文件系统各组成部分——管理对象、元数据对象和存储数据对象只是逻辑功能独立，事实上对其分布的物理位置没有要求，甚至不同类型的对象可以分布在同一物理节点上。并且所有对象的设计都考虑到功能可以在不同节点间迁移。

如图3所示，集群文件系统的对外功能通过客户端体现，当客户端通过元数据交互确定目标文件数据位置后(S001)，就只需要和存储数据对象交互(S002)，进行正常的文件访问。而管理对象的作用是通过内部通信网络对集群内元数据对象和数据对象的监控和管理(S003和S004)，使集群内部各组件的分工协作更加高效。管理对象对系统平时的操作很少，但作用非常关键。

实施例中，基于对象的集群文件系统管理方法包括：在集群文件系统中设置管理对象，管理对象对各系统节点进行监控并对系统节点的负荷进行自动均衡配置。

本方法中，将集群文件系统的功能高度抽象，按功能组件划分为管理对象、元数据对象和存储数据对象，使功能分离，位置灵活部署。管理对象负责分布式文件系统的配置管理功能，包括人机交互，配置下发、系统监控和第三方决策等管理功能。元数据对象负责管理文件系统的目录层次结构，以及具体文件节点和存储数据对象位置的对应关系，文件数据的存储和管理。元数据对象采用分布式管理方式，各自承担部分元数据管理功能，内部统一编址。元数据对象位置不固定，功能可迁移，对用户不可见。元数据对象存在多个，以分布式工作方式对外体现元数据管理的完整功能，对每个元数据对象系统内都存在备份。存储数据对象负责维护存储的数据。

管理对象对元数据对象或存储数据对象在不同的系统节点上进行创建、删除、备份和负荷均衡。此备份功能防止内部少数物理节点崩溃导致的系统功能异常。可以采用现有技术，假定同一时刻损坏的最大对象数量N个，则备份因子为N+1。对象及其备份尽量分布在不同物理节点上，防止单个物理节点崩溃。如果管理对象监控中发现备份对象数量大于N+1，不会立即删除，只是将冗余对象记录在待更新数据列表中等待更新。备份对象可以采用直接镜像备份，也可以考虑更高效率的多种RAID方式备份。本系统中，采用现有的分布式文件系统一般提供日志功能，日志中记录了本地节点的存储操作历史记录，防止本地存储掉电等异常导致的对象损坏，为故障发生后文件系统的恢复提供依据。本方法中管理对象、元数据对象和存储数据对象的日志实时与定期同步，比对最新的修改记录，对备份管理对象、备份元数据对象和备份存储数据对象发起更新维护。

管理对象的选择方式包括：选择管理对象所在节点时选择元数据对象所在节点中负荷最轻的节点。管理对象的个数一般为一个，可以同时有多个备份管理对象。选择备份管理对象时也可以采用上述方式。管理对象所在节点的负荷超过预设门限时，重新选择管理对象所在节点。还可以设置管理周期，每管理周期结束时，检测管理对象所在节点的负荷是否超过预设门限，超过预设门限时，则重新选择管理对象所在节点。管理对象设计做方式达到位置不固定，功能可迁移，对用户不可见。两个管理对象以主备方式工作，即其中只有一个管理对象对外提供接口和服务，即图中存储节点1上的管理对象(A)，保证用户接口是唯一的，而存储节点2上的管理对象(S)以备份方式存在。管理对象中使用的用户配置以存储数据对象方式存放。

将系统节点的业务访问处理能力、传输能力和存储容量的加权值构成综合均衡因子用于进行负荷均衡。访问处理能力和传输能力对应于处理能力权值，存储容量对应于存储权值。处理能力和传输能力强的节点对应的处理能力权值较高，使此节点可以承担更多的处理任务；存储容量大的节点对应的存储权值较高，使该节点可以容纳更多的元数据对象或存储数据对象。一种典型的处理能力权值是使用处理能力加权因子乘以CPU剩余处理能力(100％-当前节点CPU占有率)；而存储权值根据剩余磁盘空间大小计算得到。

管理对象进行负荷均衡处理的方法包括：管理对象根据系统节点的业务访问处理能力、传输能力和存储容量判断系统节点为过负荷节点或非过负荷节点，将过负荷节点上的元数据对象的服务转移到非过负荷节点上的备份元数据对象上(即将过负荷节点上的元数据对象关闭，启动非过负荷节点上的备份元数据对象)，将过负荷节点上的存储数据对象的服务转移到非过负荷节点上的备份存储数据对象上(即将过负荷节点上的存储数据对象关闭，启动非过负荷节点上的备份存储数据对象)。

管理对象进行负荷均衡处理的方法还包括以下处理方式：

(1)在文件系统扩充时，由管理对象选择创建的新对象所在的节点，选择策略包括根据系统节点的业务访问处理能力、传输能力和存储容量综合选择负荷满足要求的节点，例如选择负荷最轻的节点。

(2)新的系统节点加入时，管理对象在此新的系统节点上执行对过负荷节点上元数据对象和/或存储数据对象的备份，并通过负荷均衡使此新的系统节分担过负荷节点上元数据对象和/或存储数据对象的功能。

(3)将失效的节点所承载的对象分配给负荷满足要求的节点。例如，分配给负荷低于预设门限的节点。

(4)针对在预设时间段内维持的负荷均处于预设区间的节点，在此节点上执行对过负荷节点上元数据对象和/或存储数据对象的备份。

(5)回收数据时，优先回收存储容量低的节点上的数据，其次回收业务访问处理能力和传输能力低的节点上的数据。由于一般文件系统文件数据删除只是标记数据长度和回收数据块索引，所以此方式较高效，可以在很短时间内完成回收。

上述均衡处理方式将功能抽象，按处理能力、传输能力和存储容量加权后进行负荷均衡，使待访问的数据对象尽量均匀分布在系统上的可用节点上，以实现负荷均衡，可达到处理能力、访问带宽和存储容量的均衡，适应各种网络资源的实际情况，满足多样的用户需求，可消除数据访问瓶颈，提高系统并行处理能力，进而提升整体处理性能。

管理对象存在备份，管理对象异常时，由备份管理对象提供管理功能；备份管理对象有多个时，选择备份管理对象所在节点中的负荷最轻的节点上的备份管理对象作为新的管理对象。元数据对象异常后，由备份的元数据对象恢复对元数据的访问。存储数据对象异常后，由管理对象对损坏的存储数据对象进行恢复。一定时间段时未完成对主用对象的恢复，则可以重新生成备份对象。

如图4所示，在文件系统对象扩充需创建新存储数据对象时，管理对象收到元数据对象发起的创建新存储数据对象请求后，为此新存储数据对象确定节点，并通知至元数据对象；管理对象响应超时情况下，由元数据对象为此新存储数据对象确定节点，并以此上报管理对象。具体包括：

步骤4.1：元数据对象接受了用户的新数据对象申请请求(一般发生在文件写入长度超过原有数据对象容量)。

步骤4.2：元数据对象根据本地已知的节点各节点上平衡因子结果首先决策新对象节点。

步骤4.3：元数据对象上报管理对象并设置超时定时器，如果管理对象根据全局的节点信息做出新对象决策，则发布给元数据对象。

步骤4.4：如果管理对象响应超时，则元数据对象保留原来自己的新对象决策，将决策的新对象结果发布给数据节点创建新数据对象。

步骤4.5：定时器超时后管理对象将其确定的节点通知至元数据对象，元数据对象将管理对象所在节点确定的新对象节点上的新对象作为主用对象，将元数据确定的新对象节点上的新对象作为备用对象。

步骤4.6：数据对象创建工作结束，开启工作，并通报更新元数据对象。

此集群文件系统中，采用现有文件系统一般技术，删除对象时只是将对象记录在待更新数据列表中。只有在写存储数据空间不足时或需要启动存储空间压缩时发起更新数据列表请求，对冗余数据对象进行回收。

如图5所示，系统运行过程中，管理对象进行负荷均衡的维护，及时主动关闭热点节点部分对象服务，启动备份对象服务。具体包括：

步骤5.1：通过管理对象监控功能实时监控系统节点的业务访问处理能力、传输能力和存储容量，判断系统节点为过负荷节点或非过负荷节点。

步骤5.2：管理对象发起负荷均衡。

步骤5.3：主动关闭过负荷节点部分对象服务，并将这些对象上关键信息及时同步到备份对象上。

步骤5.4：同步成功后，将倒换结果上报给管理对象，开始启动备份对象服务。

步骤5.5：由原备份对象开始对外提供服务，原主用对象停止对外服务，转为备份。

上述集群文件系统中，由于数据对象分布在不同物理节点上，在响应外部数据访问请求时各节点负荷不均衡，本方法通过管理对象的定期检测，将一定数量的数据对象从过负荷节点迁移到非过负荷节点上的备份对象上，使待访问的数据对象尽量均匀分布在系统上的可用节点上，以实现负荷均衡。

如图6所示，存储数据对象异常后的恢复流程中，采用本地恢复和远程数据恢复相结合的方式，并通过文件系统的校验将恢复后数据纳入文件系统。存储数据对象需要和元数据对象通信获取本地存储对应的元数据，根据本地存储数据对象日志以及对象备份(或RAID对象)进行校验和恢复处理，恢复后的数据对象需要和元数据对象校验，最后才将恢复成功后的存储数据对象纳入文件系统。具体包括：

步骤6.1：根据本地存储数据对象日志进行本地存储恢复。

步骤6.2：本地恢复不成功，在管理对象控制下由对象备份(或RAID对象)进行校验和恢复处理。

步骤6.3：管理对象发起远程数据恢复。

步骤6.4：恢复成功后，存储数据对象和元数据对象通信获取本地存储对应的元数据。

步骤6.5：恢复后的数据对象需要和元数据对象校验，以确认文件系统内元数据和存储数据是一致的。

步骤6.6：恢复成功后的存储数据对象纳入文件系统，更新元数据对象。

本发明所述的系统和方法由于在集群文件系统中采用差异化的对象设计，实现功能灵活配置和部署，集群内的负荷均衡以及高效的备份和恢复。与现有文件系统相比，更适合于复杂的实际存储网络中的应用，可以有效协调集群内各节点工作，均衡数据访问热点，提高集群文件系统的扩展性和性能。并且提供数据备份恢复机制，对损坏的节点进行有效的修复，提高文件系统的可用性。

当然，本发明还可有其他多种实施例，在不背离本发明精神及其实质的情况下，熟悉本领域的技术人员当可根据本发明作出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。

本领域普通技术人员可以理解上述方法中的全部或部分步骤可通过程序来指令相关硬件完成，所述程序可以存储于计算机可读存储介质中，如只读存储器、磁盘或光盘等。可选地，上述实施例的全部或部分步骤也可以使用一个或多个集成电路来实现。相应地，上述实施例中的各模块/单元可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。本发明不限制于任何特定形式的硬件和软件的结合。

Claims (10)

1.一种基于对象的集群文件系统管理方法，其特征在于，

在集群文件系统中设置管理对象，管理对象对各系统节点进行监控并对系统节点的负荷进行自动均衡配置。

2.如权利要求1所述的方法，其特征在于，

所述管理对象对元数据对象和/或存储数据对象在不同的系统节点上进行创建、删除、备份和负荷均衡。

3.如权利要求2所述的方法，其特征在于，

管理对象根据系统节点的业务访问处理能力、传输能力和存储容量判断系统节点为过负荷节点或非过负荷节点，将过负荷节点上的元数据对象的服务转移到非过负荷节点上的备份元数据对象上，将过负荷节点上的存储数据对象的服务转移到非过负荷节点上的备份存储数据对象上。

4.如权利要求3所述的方法，其特征在于，

新的系统节点加入时，管理对象在此新的系统节点上执行对过负荷节点上元数据对象和/或存储数据对象的备份，并通过负荷均衡使此新的系统节分担过负荷节点上元数据对象和/或存储数据对象的功能。

5.如权利要求1所述的方法，其特征在于，

需创建新存储数据对象时，管理对象收到元数据对象发起的创建新存储数据对象请求后，为此新存储数据对象确定节点，并通知至元数据对象；管理对象响应超时情况下，由元数据对象为此新存储数据对象确定节点，并以此上报管理对象。

6.如权利要求1所述的方法，其特征在于，

管理对象存在备份，管理对象异常后，由备份管理对象提供管理功能；备份管理对象有多个时，选择备份管理对象所在节点中的负荷最轻的节点上的备份管理对象作为新的管理对象。

7.如权利要求1所述的方法，其特征在于，

管理对象所在节点的负荷超过预设门限时，重新选择管理对象所在节点。

8.如权利要求1所述的方法，其特征在于，

选择管理对象所在节点时选择元数据对象所在节点中负荷最轻的节点。

9.一种基于对象的集群文件系统管理系统，包括承担管理对象功能的节点，其特征在于，

所述管理对象，用于对各系统节点进行监控并对系统节点的负荷进行自动均衡配置。

10.如权利要求9所述的系统，其特征在于，

所述管理对象，还用于对元数据对象和/或存储数据对象在不同的系统节点上进行备份；还用于根据系统节点的业务访问处理能力、传输能力和存储容量判断系统节点为过负荷节点或非过负荷节点，将过负荷节点上的元数据对象的服务转移到非过负荷节点上的备份元数据对象上，将过负荷节点上的存储数据对象的服务转移到非过负荷节点上的备份存储数据对象上。

Images