CN102820998B - 实现面向办公应用的双机容错服务系统及其数据存储方法 - Google Patents

Abstract

本发明公开一种实现面向办公应用的双机容错服务系统及其数据存储方法，其特征在于所述系统包括两台同步的元数据服务器和X台存储服务器，X为自然数，元数据服务器是整个系统的中心服务器，每台存储服务器是元数据服务器的一个存储空间，元数据服务器负责存储元数据、管理文件系统目录、管理存储服务器、进行负载均衡、提供FTP服务和邮箱服务，存储服务器负责存储文件数据、接受元数据服务器调度、负责与客户端进行数据交互。数据存储过程以元数据服务器为中心进行。本发明系统及方法实现了数据存储过程中控制流与数据流的分离，元数据服务器兼做FTP服务器和邮箱服务器，企业可轻松实现办公应用集成化。

Description

实现面向办公应用的双机容错服务系统及其数据存储方法

技术领域

本发明涉及计算机应用系统领域，具体涉及一种面向办公应用的服务系统及其数据存储方法。

背景技术

传统的办公应用的存储一般是以传统的普通硬盘为存储媒介，这种数据存储方法成本高，且数据丢失不易找回，且对大量的数据的管理较为麻烦。在这种传统的数据存储模式下，邮箱、FTP等服务通常是使用不同的服务器，会造成价格、空间上的浪费。现有的面向办公应用的服务器模式普遍存在比如应用集成不够全面，磁盘容量不够大，价格过高等问题。

发明内容

本发明的目的在于提供一种实现面向办公应用的双机容错服务系统及其数据存储方法，解决传统的办公应用中各种服务不集中造成管理繁琐，以及购置成本高带来的资源浪费等问题，使企业能够实现存储、邮箱、以及FTP服务统一集成，方便企业管理，降低企业成本。

为实现上述发明目的，本发明具体采用如下技术方案：

一种实现面向办公应用的双机容错服务系统，其特征在于包括两台同步的元数据服务器和X台存储服务器，X为自然数，元数据服务器是整个系统的中心服务器，每台存储服务器是元数据服务器的一个存储空间，元数据服务器负责存储元数据、管理文件系统目录、管理存储服务器、进行负载均衡、提供FTP服务和邮箱服务，存储服务器负责存储文件数据、接受元数据服务器调度、负责与客户端进行数据交互。

本发明系统的数据存储方法是：数据存储过程以元数据服务器为中心，客户端发起的数据读写操作都先通过元数据服务器找到目标存储服务器，然后由客户端和目标存储服务器直接进行数据交互。

本发明的实现面向办公应用的双机容错服务系统及其数据存储方法采用以元数据服务器为中心服务器的模式，实现了数据存储过程中控制流与数据流的分离，一方面降低了元数据服务器的负担，使得其处理能力更强，另一方面将数据读写的负担分担到存储服务器，使得系统的整体性能得到了提高。元数据服务器同时提供FTP服务和邮箱服务，兼做FTP服务器和邮箱服务器，实现了企业存储、邮箱、以及FTP服务统一集成，成本低，易管理，维护方便。

本发明采用双机容错机制，采用两台同步的元数据服务器，在一台元数据服务器宕机以后，备用的元数据服务器能无缝接管工作，有效地保证了数据的可靠性。

本发明的元数据服务器与存储服务器均可采用现有技术中的通用硬件设备，其存储模式具有通用性。

附图说明

图1是本发明双机容错服务系统实施例一的架构图。

图2是本发明双机容错服务系统实施例二的架构图。

图3是本发明双机容错服务系统实施例三的架构图。

图4是客户端写数据流程。

图5是客户端读数据流程。

具体实施方式

下面结合附图对本发明的技术方案进行详细说明：

实施例一

图1提供了本发明双机容错服务系统的一种实施例。如图所示，系统由两台元数据服务器和n台（n为正整数）存储服务器构成。元数据服务器是整个系统的中心服务器，每一台存储服务器都是元数据服务器的一个存储空间，元数据服务器是子存储空间的大脑，负责存储元数据，管理文件系统目录，管理存储服务器，进行负载均衡、提供FTP服务和邮箱服务等。存储服务器用于存储文件数据，接受元数据服务器调度，负责与客户端进行数据交互。存储服务器与元数据服务器通过消息传递方式进行通讯。

为了给系统的使用提供更加安全可靠的保证，本发明采用双机热备方式，设置了两台元数据服务器，一台主元数据服务器，一台备用元数据服务器。在主元数据服务器宕机以后，备用元数据服务器能无缝接管工作，不会造成数据丢失，对外服务也不会停止，不影响用户的访问。主、备元数据服务器之间通过心跳检测程序及同步日志文件来实现同步，在主元数据服务器宕机后，备用元数据服务器会检测到主元数据服务器的状态，执行使备机对外提供服务的脚本，再通过备份文件保证数据不丢失。这种双机容错机制可以有效地保证数据的可靠性。

存储服务器中的单点故障问题是通过数据的冗余备份来实现的，当单个存储服务器宕机后，元数据服务器会检测到其状态，将其中的数据重新备份到其他存储服务器上，数据无影响。

在本发明的数据存储模式下，元数据服务器管理了分布式文件系统中的所有元数据。文件划分数据块（chunk）进行存储，对于元数据服务器来说，每台存储服务器只是一个存储空间。客户端发起的所有操作都需要先通过元数据服务器才能执行。这种模式实现了数据存储过程中控制流与数据流的分离，一方面降低了元数据服务器的负担，使得其处理能力更强，另一方面将数据读写的负担分担到存储服务器，使得系统的整体性能得到了提高。

实施例二

图2提供了本发明双机容错服务系统的另一种实施例。如图所示，在具体的办公应用系统中，在数据量不是特别大的情况下，为提高系统资源利用率，元数据服务器可以兼做存储服务器，此时系统中存储服务器数目X=0。此时系统由主元数据服务器和备用元数据服务器组成。

实施例三

如图3所示，以元数据服务器同时兼做存储服务器、FTP服务器和邮箱服务器，构成云节点服务器，除了提供存储服务外，还实现了各种办公应用的集成，使之成为面向办公应用的一体化系统。应用集成服务器作为Windows应用的集成服务器提供如高效OA办公自动化平台，精准CRM客户关系管理、Office等功能，数据存放在由两台云服务节点构成的存储系统中。云节点服务器1和2中的Master和Chunk服务为存储所需的配置服务，Master对应于元数据管理，Chunk对应于数据存储。云服务节点1和2之间的HA及LVS 为两台服务器之间的配置项，LVS为负载均衡配置，HA为高可用配置（两节点的双机切换，保证数据的安全完整性）

为了有效地保证数据的可靠性，本双机容错服务系统采用双机热备的2+X型配置（2台元数据服务器，X台存储服务器，X为自然数），元数据服务器可兼做存储服务器。

本发明双机容错服务系统的数据存储过程以元数据服务器为中心，客户端发起的数据读写操作都先通过元数据服务器找到目标存储服务器，然后由客户端和目标存储服务器直接进行数据交互。

客户端写数据的流程如图4所示，包括以下步骤：

1) 客户端向元数据服务器发起数据写请求；

2) 元数据服务器根据其管理的存储服务器的工作和使用情况，根据负载均衡的原理，在相关存储服务器上创建一些新的数据块；

3) 相关存储服务器创建成功，将结果返回给元数据服务器；

4) 元数据服务器一方面记录和备份此元数据信息，另一方面将相关存储服务器信息返回给客户端；

5) 客户端根据得到的存储服务器信息，向对应存储服务器发出数据写请求，并向存储服务器发送数据；

6) 存储服务器接收数据并存储到相应数据块，同时也向其他存储服务器发起备份；

7) 当本地写以及备份均成功后，存储服务器将成功信息返回给客户端，并再次与元数据服务器交互，由元数据服务器记录和备份相关元数据信息；

8) 客户端收到成功信号后，即完成数据的存储。

客户端读数据的流程如图5所示，包括以下步骤：

1）客户端向元数据服务器发起读数据请求

2）元数据服务器根据其元数据信息及各存储服务器负载情况，将所读数据的位置信息返回给客户端

3）客户端直接与存储服务器交互读取所需数据。

本发明提供的双机容错服务系统具有数据安全可靠，高性能，维护简单，高可用，高密度，低功耗等诸多优势。其中，元数据服务器与存储服务器均可采用普通的刀片服务器实现，为现有技术中的通用硬件设备。本系统具有通用性，支持POSIX（可移植操作系统）接口，外部应用及客户端（如普通pc机，接入系统的摄像头等）只需通过网络设备接入本系统，即可对其提供服务。

依托于本发明的数据存储模式，元数据服务器兼做FTP服务器和邮箱服务器，企业可轻松实现办公应用集成化。

1、FTP服务

FTP服务能实现文件共享、文件归档、可靠和高效的传输数据等功能。依托本发明的数据存储模式，用存储服务器同时作为FTP服务器，一改之前传统的专门设置一FTP服务器模式，可在提高访问性能的同时节省企业成本。

2、企业邮箱服务

可以在本系统上轻松搭建企业的邮箱平台，可自行管理、自由分配、命名的邮箱功能更多，空间容量更大，大大提高企业邮箱的稳定高效性，反垃圾反病毒性能更强。同样，基于本服务系统的邮箱服务同样采用双机备份来保证数据的可靠性。

Claims (1)

1.一种实现面向办公应用的双机容错服务系统的数据存储方法，其特征在于所述双机容错服务系统包括两台同步的元数据服务器和X台存储服务器，X为自然数，元数据服务器是整个系统的中心服务器，每台存储服务器是元数据服务器的一个存储空间，元数据服务器负责存储元数据、管理文件系统目录、管理存储服务器、进行负载均衡、提供FTP服务和邮箱服务，存储服务器负责存储文件数据、接受元数据服务器调度、负责与客户端进行数据交互，所述元数据服务器兼做存储服务器，数据存储过程以元数据服务器为中心，客户端发起的数据读写操作都先通过元数据服务器找到目标存储服务器，然后由客户端和目标存储服务器直接进行数据交互；

客户端写数据的过程是：

1)客户端向元数据服务器发起数据写请求；

2)元数据服务器根据其管理的存储服务器的工作和使用情况，根据负载均衡的原理，在相关存储服务器上创建一些新的数据块；

3)相关存储服务器创建成功，将结果返回给元数据服务器；

4)元数据服务器一方面记录和备份此元数据信息，另一方面将相关存储服务器信息返回给客户端；

5)客户端根据得到的存储服务器信息，向对应存储服务器发出数据写请求，并向存储服务器发送数据；

6)存储服务器接收数据并存储到相应数据块，同时也向其他存储服务器发起备份；

7)当本地写以及备份均成功后，存储服务器将成功信息返回给客户端，并再次与元数据服务器交互，由元数据服务器记录和备份相关元数据信息；

8)客户端收到成功信号后，即完成数据的存储；

客户端读数据的过程是：

1)客户端向元数据服务器发起读数据请求；

2)元数据服务器根据其元数据信息及各存储服务器负载情况，将所读数据的位置信息返回给客户端；

3)客户端直接与存储服务器交互读取所需数据。