CN101183325A

CN101183325A - 一种高可用存储服务器系统及其数据保护方法

Info

Publication number: CN101183325A
Application number: CNA2007101789857A
Authority: CN
Inventors: 冯硕; 马一力; 汤海鹰; 袁源
Original assignee: Institute of Computing Technology of CAS
Current assignee: Institute of Computing Technology of CAS
Priority date: 2007-12-07
Filing date: 2007-12-07
Publication date: 2008-05-21
Anticipated expiration: 2027-12-07
Also published as: CN100547556C

Abstract

本发明提出了一种高可用存储服务器系统及其数据保护方法，所述系统包括工作服务器、备用服务器和存储设备，所述系统通过在工作服务器端执行的数据访问、缓存监视和数据复制进程，在备用服务器端执行缓存接收、缓存清理进程，提高了存储空间的使用效率，提高了数据恢复效率，并且，通过数据复制实现缓存保护功能，避免了缓存数据的丢失。

Description

一种高可用存储服务器系统及其数据保护方法

技术领域

本发明涉及计算机数据保护技术领域，更具体地，本发明涉及一种高可用存储服务器系统及其数据保护方法。

背景技术

随着信息技术的发展，数据存储功能已经独立于计算功能，可以单独向用户提供服务。专用的存储服务器系统，如文件服务器、存储区域网络等系统，已经获得越来越广泛的应用。在这些系统中，用户将需要使用的数据存放在服务器中，由存储服务器系统对其进行集中管理。当用户访问数据时，通过网络对存储服务器进行读写访问。存储服务器系统除了向用户提供了数据处理功能，还提供数据本身的访问功能，因此，当存储服务器出现故障时，如果没有有效的数据保护机制，不但会破坏用户工作进程的连续性，还会因为工作数据的损坏或者丢失，造成用户业务的不可恢复。所以，在系统设计中，对存储服务器的数据安全性要求将高于传统的计算功能服务器。

在现有技术中的高可用服务器系统中，常用的技术手段是服务备份，即在同一系统中配置两台相同的服务器，一台正常工作，另一台备用，当工作服务器出现故障时，启动备用服务器的相同服务，接管工作服务器的工作。对于高可用存储服务器，在对服务程序进行备份的同时，还需要对数据进行保护，才能保护用户的整个业务。高可用存储服务器，按照数据分配的结构，分为数据复制和数据共享两种实现方式。

在数据复制的结构中，工作服务器和备用服务器各自有独立的数据存储空间，当用户进行读访问时，由工作服务器提供数据。当用户进行写访问时，工作服务器将写入数据传递到备用服务器进行冗余存储，实现数据保护。

在数据共享的结构中，工作服务器和备用服务器共同连接到一台存储设备上。但在同一时刻，只有一台服务器可以对存储设备进行访问。在工作服务器正常工作时，由工作服务器接受用户的数据读写访问，并操作存储设备。当工作服务器发生故障时，由备份服务器接受用户的数据读写访问，并操作存储设备。通过提高存储设备的可靠性，集中管理数据，实现用户数据和存储的高可用。

以上两种方式在应用中都具有一些缺陷，数据复制方法虽然实现比较简单，但是需要冗余的存储空间，成本比较高；另外，当工作服务器恢复正常时，备份服务器需要把独立工作期间的数据变化传递到工作服务器，数据恢复过程将占用服务器的有效资源，降低用户的访问效率。数据共享方式可以节省冗余的空间，降低成本，实现数据的高效管理，但是会产生缓存一致性问题：在现代计算机操作系统中，为了提高数据访问的性能，大部分都采用了缓存机制，即用户数据写入存储服务器的数据会暂时存放在存储服务器的内存中，当内存中的数据积累到一定量时，再存放到存储设备中，从而减少重复访问时访问磁盘的次数，提高访问效率。由于缓存处于存储服务器的内存中，如果服务器出现故障，将导致缓存的丢失，破坏数据的完整性。在数据共享方式中，由于没有数据复制的机制，在这种情况下缓存的丢失是不可避免的。禁止缓存机制的使用可以解决上述问题，但会明显降低数据访问的效率。

发明内容

为克服现有技术中的高可用存储服务器系统可靠性差和效率低的缺陷，本发明提出了一种高可用存储服务器系统及其数据保护方法。

本发明的一个方面提供了一种高可用存储服务器系统，包括：

工作服务器，工作服务器与外部的用户机连接；

备用服务器，备用服务器与外部的用户机连接，所述工作服务器和所述备用服务器连接；

至少一台存储设备，所述至少一台存储设备分别与所述工作服务器和所述备用服务器连接；

其中，所述工作服务器将用户机的写入数据保存在所述工作服务器缓存中，然后发送给所述备份服务器，并且当所述写入数据被写入所述存储设备后，所述工作服务器通知所述备用服务器；

其中，所述备用服务器接收所述工作服务器发送的所述写入数据，并将所述写入数据保留在本地内存中；当所述备用服务器接收到来自所述工作服务器的相应写入数据已经写入所述存储设备的通知，所述备用服务器将保存在本地内存的相应写入数据删除。

其中，所述备用服务器对所述工作服务器实时监控，当发现所述工作服务器出现故障时，所述备用服务器代替所述工作服务器工作，实现对所述客户机和所述存储设备的访问；当所述备用服务器发现所述工作服务器恢复正常时，将访问、控制权交还所述工作服务器。

其中，所述存储设备用来提供数据访问和存储功能，同一时刻只能接受一台服务器的访问请求，当所述工作服务器正常时，接受所述工作服务器的访问请求，当所述工作服务器发生故障时，接受所述备用服务器的访问请求。

其中，所述工作服务器运行缓存监视进程，定期查询所述工作服务器的缓存数据变化，将已经写入存储设备的缓存数据的位置信息通知备用服务器。

其中，所述缓存数据的位置信息包括缓存变化信息和用于记录访问控制顺序的访问控制序号，所述用户机的当前数据访问结果和以往数据访问结果无关，所述工作服务器的数据访问和缓存监视共享一个唯一的所述访问控制序号，所述访问控制序号顺序递增，并传递给所述备用服务器。

其中，当所述工作服务器通知所述备用服务器所述工作服务器的缓存数据已经被写入所述存储设备时，所述备用服务器将所述缓存数据的在工作服务器上的缓存信息和本地存储的信息比较，查找本地存储的数据位置与需要清理的工作服务器上的缓存数据位置相同的数据，比较找到的本地存储的数据的访问控制序号和所述需要清理的缓存数据的访问控制序号，如果所述需要清理的缓存数据的访问控制序号大于本地存储的数据的访问控制序号，从本地存储中删除相应的数据。

本发明的另一方面提供了一种高可用存储服务器系统的数据保护方法，包括：

步骤10)、工作服务器将用户机的写入数据保存在工作服务器缓存中，然后，发送所述写入数据到分别与所述工作服务器和所述用户机相连的备用服务器；

步骤20)、所述备用服务器接收所述工作服务器发送的所述写入数据，并将所述写入数据保留在本地内存中；

步骤30)、所述工作服务器定期查询所述工作服务器的缓存数据变化，将已经写入存储设备的缓存数据的位置信息通知备用服务器；

步骤40)、当所述备用服务器接收到所述工作服务器的缓存数据已经写入所述存储设备的信息后，所述备用服务器将本地存储中的相应数据删除。

其中，所述方法进一步包括，所述备用服务器对所述工作服务器实时监控，当发现所述工作服务器出现故障时，所述备用服务器代替所述工作服务器工作，实现对所述客户机和所述存储设备的访问；当所述备用服务器发现所述工作服务器恢复正常时，将访问、控制权交还所述工作服务器。

其中，步骤30)中，所述缓存数据的位置信息包括缓存变化信息和用于记录访问控制顺序的访问控制序号。

其中，步骤30)进一步包括：当所述工作服务器通知所述备用服务器所述工作服务器的缓存数据已经被写入所述存储设备，所述备用服务器将所述缓存数据的在工作服务器上的缓存信息和本地存储的信息比较，查找本地存储的数据中位置与需要清理的工作服务器上的缓存数据位置相同的数据，比较找到的本地存储的数据的访问控制序号和所述需要清理的缓存数据的访问控制序号，如果所述需要清理的缓存数据的访问控制序号大于本地存储的数据的访问控制序号，从本地存储中删除相应的数据。

通过应用本发明，提高了存储空间的使用效率，节省产品成本；提高了数据恢复效率，增加了用户有效数据访问时间；并且，通过数据复制实现缓存保护功能，避免了缓存数据的丢失，提高了用户数据访问效率。

附图说明

图1高可用存储服务器系统在工作服务器正常状态下的结构图；

图2高可用存储服务器系统在工作服务器故障状态下的结构图；

图3工作服务器数据访问流程；

图4工作服务器缓存监视流程；

图5备份服务器数据缓存接收流程；

图6备用服务器数据缓存清理流程；

图7备用服务器数据访问流程；

图8备用服务器监控进程。

具体实施方式

下面结合附图对本发明作进一步详细描述。

参见图1和图2，本发明提供的高可用存储服务器系统10由工作服务器11、备用服务器12和至少一台存储设备13构成，为形象说明，本实施例中，存储设备采用一台。工作服务器11和备用服务器12通过网络分别与系统外部的用户机20连接。工作服务器11和备用服务器12通过网络与存储设备13分别连接。工作服务器11和备用服务器12之间通过网络相互连接。图1描述了在工作服务器11正常工作时的情景，此时，由工作服务器11负责用户机20和存储设备13之间的数据访问。图2描述了在工作服务器11出现故障时的情景，此时，由备用服务器12负责用户机20和存储设备13之间的数据访问。在图1和图2中，细实线表示网络物理连接，粗实线表示基于网络物理连接的数据和控制访问。工作服务器和备用服务器可以是运行通用操作系统的通用高性能计算机，所述的存储设备可以是运行标准存储协议(如scsi协议)的通用存储设备。所述的工作服务器和备份服务器之间的连接优选地采用高速网络(如千兆网络或光纤)。

当系统正常工作时，工作服务器11将用户的数据访问读写请求转发到存储设备13，并将存储操作的结果返回用户。当用户数据访问是写请求时，工作服务器11将写入的数据通过网络复制到备份服务器端12进行保存。当工作服务器11的写入缓存数据被写入存储设备13时，工作服务器11通过网络将已经写入存储设备13的缓存位置通知备用服务器12，由备用服务器12删除这部分缓存数据。

备用服务器12负责接收工作服务器11发送的写缓存数据，并将缓存数据保留在本地内存中。当工作服务器11通知备用服务器12，有部分缓存数据已经写入存储设备13时，备用服务器12将这部分缓存数据放弃，避免本地内存被无效缓存数据占满。备用服务器12实现对工作服务器11的实时监控功能。发现工作服务器出现故障时，备份服务器12将替代工作服务器11的功能，实现与客户机和存储设备的访问连接，将本地内存中保存的缓存数据全部写入存储设备13，并且接管用户机对工作服务器11的访问请求，将用户访问请求转发到存储设备13。当备份服务器12发现工作服务器11恢复正常时，将停止相应用户的数据访问请求，断开和用户机及存储设备13的访问联接，将访问控制交还工作服务器11。

存储设备13通过网络和工作服务器11以及备用服务器12实现物理连接，提供数据访问和存储功能。同一时刻，只能接受一台服务器的访问请求，当工作服务器正常时，接受工作服务器的访问请求；当工作服务器发生故障时，接受备用服务器的访问请求。

工作服务器11和备用服务器12通过缓存数据保护的方法实现数据保护，缓存数据保护的方法如下所述：

1、工作服务器11运行一个或多个数据访问进程，接受用户的数据访问请求，并转发到存储设备13，并将操作结果返回用户机20，当用户访问是写请求时，数据访问进程还需要将写入数据发送到备用服务器12保存，当备用服务器12返回保存结果时，再将操作结果返回用户机20。

图3具体描述运行在所述的工作服务器上的数据访问进程，当每次接收到用户机的访问时，执行以下步骤：

11)、接收用户机20的数据访问；

12)、判断接收的访问类型，如果是读访问，则执行步骤13)，如果是写访问，执行步骤14)；

13)、从存储设备13中读取用户机20需要的数据，跳转执行步骤17)；

14)、向存储设备13写入用户机20需要的数据，由于有缓存机制，写入的数据有很大概率写入存储设备13的缓存；

15)、增加用于记录访问控制顺序的访问控制序列号；

16)、将用户机20写入的数据和访问控制序号通过网络传递到备用服务器12；

17)、将访问结果返回用户机20。

2、所述的工作服务器运行一个缓存监视进程，定期查询工作服务器的缓存数据变化，将已经写入存储设备的缓存数据位置信息通知备用服务器。

图4具体描述运行在所述的工作服务器上的缓存监视进程，定期循环执行以下步骤：

21)、检查存储设备13对应的缓存状态，获得已经写入存储设备13介质的缓存信息，由于这部分缓存已经写入介质，因此可以不再保留在备用服务器12的内存中；

22)、增加访问控制序列号；

23)、将缓存变化信息和访问控制序列号通过网络传递到备用服务器12；

24)、延迟一段时间，避免过多占用服务器资源；

25)、返回步骤21)。

3、备用服务器12运行一个或多个缓存数据接收进程，接受工作服务器11发送的缓存数据并存储到本地内存。

图5具体描述运行在所述的备用服务器12上的缓存数据接收进程，当备用服务器12接收到工作服务器11通过网络发送的信息时，执行下面的步骤：

31)、接收工作服务器11传递的信息；

32)、判断信息类型，如果是缓存数据传递信息，执行步骤33)，否则执行步骤34)；

33)、将传递的缓存数据和访问控制序列号存入本地内存；

34)、结束返回。

4、备用服务器12运行一个缓存清理进程，接受工作服务器11发送的缓存变化信息，将已经写入存储设备介质的缓存数据删除，避免无效的缓存数据占据本地内存。

图6具体描述运行在所述的备用服务器12上的缓存清理进程，当备用服务器12接收到工作服务器11通过网络发送的信息时，执行下面的步骤：

41)、接收工作服务器11传递的信息；

42)、判断接收的信息类型，如果传递的是缓存变化信息，执行步骤43)，否则，执行步骤46)；

43)将缓存清理的信息和本地存储的缓存信息比较，查找本地存储的数据缓存中位置与需要清理的缓存相同的项目，如果找到，执行步骤44)，否则，执行步骤46)；

44)、比较找到的缓存项目的访问控制序号和缓存清理信息的访问控制序号，如果缓存清理信息的访问控制序号大于缓存项目的访问控制序号，则执行步骤45)，否则，执行步骤46)；

45)、从本地内存中删除相应的缓存项目；

46)、结束返回。

由于工作服务器11和备用服务器12之间的网络传输次序是不确定的。存在这样的可能性：某一次操作中，工作服务器11先进行缓存信息的查询，并传递到备用服务器12，之后用户机20又进行了一次写操作，工作服务器11将这次写入的数据传递到备用服务器12。但是，由于网络传输次序的不确定性，数据缓存信息可能先到达备用服务器12，而缓存清理信息后到达备用服务器12。备用服务器12可能根据缓存清理信息而将数据缓存删除。实际上，这部分数据缓存并没有写入存储设备介质，而造成误删除。步骤43)，步骤44)根据访问序列号决定是否删除，就避免了上面的问题。

5、备用服务器12运行一个或多个数据访问进程，当所述的工作服务器11正常运行时，数据访问进程处于空闲等待状态。当所述的工作服务器11发生故障时，数据访问进程可以激活，实现数据访问操作。当所述的备用服务器12数据访问进程被激活时，应该禁止数据缓存机制，将用户机写入的数据直接写入存储设备介质，避免数据的丢失。同时，当所述的工作服务器11恢复正常状态时，由于所有访问数据都已经写入存储设备介质，所述的工作服务器11可以直接接管用户访问服务，节省了工作服务器11和备份服务器12之间的数据传递时间。

图7具体描述运行在所述的备用服务器12上的的数据访问进程。当所述的工作服务器11正常工作时，该进程处于空闲等待状态。当所述的工作服务器11发生故障时，该进程被激活，处理用户机20的数据访问。每次接收到用户机20访问时，执行以下步骤：

51)、接收用户机20的数据访问。

52)、判断接收的访问类型，如果是读访问，则执行步骤53)，如果是写访问，执行步骤54)；

53)、从存储设备13中读取用户机20需要的数据，跳转执行步骤55)；

54)、向存储设备13的介质写入用户机20数据；

55)、将访问结果返回用户机20。

由于在该进程运行时，没有另外的备用服务器，也没有数据缓存机制，因此步骤54)必须将数据直接写入存储设备13的介质，确保数据的安全。另外，由于数据全部写入存储设备介质，当工作服务器11恢复正常时，直接对存储设备13进行访问，就可以恢复工作，无须从备用服务器12回传数据。

6、备用服务器12运行一个监控进程，实时监视工作服务器11，当工作服务器11发生故障时，监控进程控制备用服务器12，接管工作服务器对用户机20及存储设备13的访问控制，并将本地内存中的缓存数据全部写入存储设备13，再启动备用服务器12的数据访问进程，向用户机20提供存储访问服务。当监控进程发现所述的工作服务器11恢复正常时，应该控制备用服务器12停止所有数据访问进程，断开与存储设备13以及用户机20的访问连接，将访问控制归还工作服务器11。

图8具体描述运行在所述的备用服务器上的监控进程，定期循环执行以下步骤：

61)、检查工作服务器11的状态；

62)、如果工作服务器11的状态没有变化，则跳转执行步骤61)，否则执行步骤63)；

63)、如果工作服务器11从正常状态转为故障状态，则执行步骤64)，如果工作服务器11从故障状态转为正常状态，执行步骤68)；

64)、接管存储设备13的访问控制；

65)、将本地内存的数据缓存全部写入存储设备13的介质；

66)、接管用户机20的访问控制；

67)、激活本地数据访问进程(如图7所示)，转执行步骤65)；

68)、放弃用户机20的访问控制；

69)、使本地的数据访问进程(如图7所示)处于等待状态；

610)、放弃存储设备13的访问控制；

611)、激活工作服务器11的数据访问进程(如图3所示)；

612)、延时等待；

613)、跳转执行步骤61)。

另外，工作服务器和备用服务器运行的数据访问进程所实现的用户机访问服务应该具有时间独立性，即用户机的当前数据访问结果和以往数据访问结果无关。保证当工作服务器和备用服务器之间进行访问控制转换时，不会因为无法获得以往数据访问信息而无法响应用户机的当前请求。

工作服务器的数据访问进程和缓存监视进程应该共享一个唯一的访问控制序号，访问控制序号应该随访问顺序递增，并传递给备用服务器。备用服务器的缓存数据接收进程和缓存数据清理进程应该根据访问控制序号决定缓存数据的保存和清理。每次进行备用服务器缓存数据删除时，需要比较缓存数据的访问控制序列号和缓存变化信息的访问控制序列号进行比较。只有缓存变化信息访问序列号比存储在备用服务器的缓存访问控制序列号大的情况，才能删除存储在备用服务器的缓存数据。避免由于网络传递延迟的影响，造成有效缓存数据的误删除。

最后应说明的是，以上实施例仅用以说明本发明的技术方案而非对其限制，并且在应用上可以延伸到其他的修改、变化、应用和实施例，同时认为所有这样的修改、变化、应用、实施例都在本发明的精神和范围内。

Claims

1.一种高可用存储服务器系统，包括：

工作服务器，工作服务器与外部的用户机连接；

2.权利要求1的高可用存储服务器系统，其中，所述备用服务器对所述工作服务器实时监控，当发现所述工作服务器出现故障时，所述备用服务器代替所述工作服务器工作，实现对所述客户机和所述存储设备的访问；当所述备用服务器发现所述工作服务器恢复正常时，将访问、控制权交还所述工作服务器。

3.权利要求1的高可用存储服务器系统，其中，所述存储设备用来提供数据访问和存储功能，同一时刻只能接受一台服务器的访问请求，当所述工作服务器正常时，接受所述工作服务器的访问请求，当所述工作服务器发生故障时，接受所述备用服务器的访问请求。

4.权利要求1的高可用存储服务器系统，其中，所述工作服务器运行缓存监视进程，定期查询所述工作服务器的缓存数据变化，将已经写入存储设备的缓存数据的位置信息通知备用服务器。

5.权利要求4的高可用存储服务器系统，其中，所述缓存数据的位置信息包括缓存变化信息和用于记录访问控制顺序的访问控制序号，所述用户机的当前数据访问结果和以往数据访问结果无关，所述工作服务器的数据访问和缓存监视共享一个唯一的所述访问控制序号，所述访问控制序号顺序递增，并传递给所述备用服务器。

6.权利要求1的高可用存储服务器系统，其中，当所述工作服务器通知所述备用服务器所述工作服务器的缓存数据已经被写入所述存储设备时，所述备用服务器将所述缓存数据的在工作服务器上的缓存信息和本地存储的信息比较，查找本地存储的数据位置与需要清理的工作服务器上的缓存数据位置相同的数据，比较找到的本地存储的数据的访问控制序号和所述需要清理的缓存数据的访问控制序号，如果所述需要清理的缓存数据的访问控制序号大于本地存储的数据的访问控制序号，从本地存储中删除相应的数据。

7.一种高可用存储服务器系统的数据保护方法，包括：

8.权利要求7的高可用存储服务器系统的数据保护方法，进一步包括，所述备用服务器对所述工作服务器实时监控，当发现所述工作服务器出现故障时，所述备用服务器代替所述工作服务器工作，实现对所述客户机和所述存储设备的访问；当所述备用服务器发现所述工作服务器恢复正常时，将访问、控制权交还所述工作服务器。

9.权利要求7的高可用存储服务器系统的数据保护方法，其中，步骤30)中，所述缓存数据的位置信息包括缓存变化信息和用于记录访问控制顺序的访问控制序号。

10.权利要求9的高可用存储服务器系统的数据保护方法，其中，步骤30)进一步包括：当所述工作服务器通知所述备用服务器所述工作服务器的缓存数据已经被写入所述存储设备，所述备用服务器将所述缓存数据的在工作服务器上的缓存信息和本地存储的信息比较，查找本地存储的数据中位置与需要清理的工作服务器上的缓存数据位置相同的数据，比较找到的本地存储的数据的访问控制序号和所述需要清理的缓存数据的访问控制序号，如果所述需要清理的缓存数据的访问控制序号大于本地存储的数据的访问控制序号，从本地存储中删除相应的数据。