CN103475716B - 通过共享存储实现数据共享的方法和系统 - Google Patents

Abstract

通过共享存储实现数据共享的方法和系统。在主节点向共享存储装置和其本地存储装置写入数据时，当所述共享存储装置异常，主节点记录当前写入位置，把待写入的数据继续写入本地存储装置，同时把所述共享存储装置异常通知给所述主节点监控装置，使得所述主节点监控装置开始定时扫描以检测所述共享存储装置是否可用。当主节点监控装置检测到所述共享存储装置可用时，主节点停止对所述主节点存储装置的写入，并且根据所记录的当前写入位置来读取本地存储装置中对应的数据，并根据当前写入位置把读取到的数据复制到所述共享存储装置的对应位置。

Description

通过共享存储实现数据共享的方法和系统

技术领域

本发明涉及节点之间的共享存储的异常处理，特别涉及保证节点间数据一致性的共享存储异常处理。

背景技术

两个节点间可以通过共享存储系统来实现数据共享，并且共享存储挂载到服务器以提供服务。

这里的术语“节点”是指用于存储服务的计算单元。在本申请中所述的主节点、从节点就是处理存储事务的计算单元。

在HDFS热备方案中，主节点在共享存储及其本地磁盘记录下元数据，从节点从共享存储读取元数据并在其内存和本地磁盘记录所读取的元数据。主、从节点间通过共享存储来实现两者获取到的元数据一致性。可以通过NFS等共享存储系统来共享数据。主节点向共享存储写入数据，从节点从共享存储读取数据。

主节点向本地磁盘写入的过程和向共享存储写入的过程是彼此独立的，可以各自并行执行。

这种共享方式对程序没有侵入性。但是共享存储系统可能发生挂载点不可用或者服务异常导致不可读写。

共享存储异常下，可能会出现如下一些情况：主节点不能向共享存储写入元数据；共享存储不可访问，从节点不能读取到元数据内容。

发明内容

鉴于上述情况，本发明提供了一种新的共享存储异常处理。

根据本发明的一个方面，提供一种主从节点之间的共享存储的异常处理的系统，该系统包括主节点、从节点和共享存储装置。其中，所述主节点包括主节点存储装置和主节点监控装置，所述从节点包括从节点存储装置和从节点监控装置。其中，所述主节点把从外部接收的数据分别写入所述主节点存储装置和所述共享存储装置，所述从节点从所述共享存储装置读取数据并存储在所述从节点存储装置，从而在所述主节点和所述从节点之间实现数据共享，其中，数据是以具有原子性的数据单元被顺序写入和读取的，所述从节点按照记录的读取位置来读取数据使得既不遗漏也不重复读取。其中，在所述主节点向所述共享存储装置和所述主节点存储装置写入数据时，当所述共享存储装置异常，所述主节点记录在所述共享存储装置的当前写入位置并标记所述共享存储装置的状态为异常，把待写入的数据继续写入所述主节点存储装置，同时把所述共享存储装置异常通知给所述主节点监控装置，使得所述主节点监控装置开始定时扫描以检测所述共享存储装置是否可用。其中，当所述主节点监控装置检测到所述共享存储装置可用时，所述主节点停止对所述主节点存储装置的写入，并且所述主节点根据所记录的所述当前写入位置来读取所述主节点存储装置中该写入位置之后的数据，并根据所述当前写入位置把读取到的数据复制到所述共享存储装置的对应位置。其中，在所述从节点从所述共享存储装置读取时，如果所述共享存储装置不可读，则所述从节点记录其当前读取位置，同时启动所述从节点监控装置来监视所述共享存储装置是否可读。其中，当所述共享存储装置再次可读时，所述从节点根据所记录的所述当前读取位置来读取所述共享存储装置中的数据，从而读取到该当前读取位置之后的数据并把读取的数据写入所述从节点存储装置中的对应位置。

本发明还提供节点之间共享存储的异常处理的系统。

附图说明

下面将结合附图详细说明本发明的细节。其中

图1是本地磁盘文件偏移量与共享存储文件偏移量不一致情况的示例性图示；

图2是主节点正常写入流程图示；

图3是从节点读取并写入的流程图示；

图4是主节点数据恢复流程；

图5是从节点数据恢复流程。

具体实施方式

本发明通过引入主、从节点间数据共享的异常处理，可以保证节点间不中断服务，无缝地实现数据共享。

根据本发明，提供一种节点之间的共享存储的异常处理的系统，该系统包括主节点、从节点和共享存储装置。主节点把从外部接收的数据写入其本地存储装置和共享存储装置，而从节点从共享存储装置读取数据并存储在其本地存储装置，从而使得这三者存储相同的数据。

主节点本地存储装置、共享存储装置和从节点本地存储装置这三者应该具有数据一致性。由于共享存储的异常，会导致数据不一致。异常处理的目的就是试图恢复其中二者或三者之间的数据的一致性。

数据是按数据单元逐个顺序写入和读取的。这里所说的数据单元例如是字节，或任何具有读写操作原子性的数据单位。这样，每个数据单元的存储位置可用其相对于起始位置的偏移量来表示。例如，在存储装置中存储的第一个数据单元存储在起始位置，其偏移量为0，即存储位置0，存储的第二个数据单元的偏移量为1，即存储位置为1，……，存储的第N个数据单元的偏移量为N-1，即存储位置为N-1(N是正整数)。

根据本发明，对于给定的一数据单元，它在主节点本地存储装置、共享存储装置和从节点本地存储装置这三者中具有相同的存储位置码，例如相同的偏移量。

根据本发明，数据单元的存储位置表示为相对于起始存储位置的偏移量。通常，对于数据文件的写入操作，隐含有一个写入位置的指针，对于数据单元的单位是字节的情况，每向数据文件中写入一个字节，指针偏移量就加1。因此当前写入位置或当前偏移量可以理解为文件内已写入数据的长度，或者下一个写入字节的开始位置。

如图1所示，当共享存储发生异常后，不能在共享存储写入数据，只能在本地磁盘写入数据，因此本地磁盘上文件的偏移量与共享存储上文件的偏移量不一致，本地磁盘写入了更多的数据。除了二者相同的数据data1、data2和data3之外，本地磁盘还有更多的数据data4和data5。本地磁盘的文件偏移量大于共享存储的文件偏移量。如果进行共享存储的数据恢复，要把本地磁盘上的data4和data5复制到共享存储的data3之后。

根据本发明的实施例，对于一个特定的数据dataN，当该数据写入主节点本地存储装置、共享存储装置和从节点本地存储装置这三者时，它在三者具有相同的文件偏移量。

应该理解，数据在主节点本地存储装置、共享存储装置和从节点本地存储装置具有相同的偏移量(即具有相同的存储位置代码)仅仅是一种优选的方式。实际上，也可采用其他方式，如在三者的写入位置具有预定的对应关系，即根据数据在三者中一个的位置可以确定该数据在其他两者中的位置。

主节点除了包括自己的本地存储装置如本地磁盘，还包括用于监控共享存储装置的监控装置。

在主节点向共享存储装置写入数据时，可能发生共享存储内的文件找不到等异常，因而共享存储装置不可写。在发生共享存储装置异常时，主节点不能向共享存储装置写入而只能向其本地存储装置写入，这就发生二者之间数据的不一致。在共享存储装置恢复可用时，要对共享存储装置进行数据恢复，使得共享存储装置与主节点存储装置的数据达到一致。

主节点向共享存储装置写入时，如果发生共享存储装置不可写的异常，主节点记录下共享存储装置的当前写入位置并标记所述共享存储装置的状态为异常，把此后应写入的数据仅写入其本地磁盘，同时触发监控装置来周期性扫描共享存储装置以检测其是否恢复正常。

当主节点监控装置检测到共享存储装置再次可访问时，为了使得主节点本地磁盘和共享存储装置中的数据一致，主节点进入“不接受外部写入数据”模式，不再继续对其本地磁盘写入，如停止从外部接收数据。并且，主节点根据所记录的共享存储装置的当前写入位置(文件偏移量)来读取本地磁盘上对应位置之后的数据，并根据所记录的当前写入位置把读取到的数据复制到共享存储内。

共享存储装置的数据恢复完毕后，恢复对共享存储文件的输出流，将主节点模式修改为“可接收外部写入”模式。

根据本发明的实施例，通过主节点的监控装置检测到共享存储再次可写时，主节点首先禁止外部数据写入，这样可以防止数据丢失。

根据本发明，在这种本地磁盘到共享存储的复制过程中，在尚未完成复制又发生共享存储不可写入的异常时，也可以记录下偏移量，按照上述的异常处理方式同样处理。当然，如果频繁发生异常，则可能需要人工检查。

从节点包括内存和其自己的存储装置如本地磁盘和自己的用于监控共享存储装置的监控装置。

从节点周期性读取共享存储装置中的数据，然后写入到其内存和其本地磁盘。从节点从共享存储装置读取数据时，根据先前记录的读取位置从共享存储装置中读取未它曾读取过的内容，因此不会造成数据内容的重复读取。

从节点从共享存储装置读取时，如果共享存储装置不可读，则记录下其当前读取位置如文件偏移量，同时启动监控装置来监视共享存储装置是否可访问。

当共享存储装置再次可访问时，从节点根据所记录的文件偏移量来读取共享存储装置的相应文件中的数据，从而读取到该文件偏移量之后的数据内容。从节点在读取的过程中，不会导致元数据内容的多读或者漏读。

对于从节点，读取数据时，当共享存储装置内文件不可读时，通过扑捉异常方式记录本地文件的当前文件偏移量，把共享存储装置异常通知给监控装置，使得监控装置定时扫描共享存储装置以判断其是否可用。当共享存储装置可用时，恢复对从节点的输入流，从节点以之前记录的文件偏移量作为读取文件的偏移量来读取数据并存储到其本地磁盘。

在对共享存储进行数据恢复时，本发明没有采用直接将主节点的本地文件复制到共享存储内，将其对应的文件覆盖，因这种方式会造成从节点服务中断。

通过本发明的方法，主节点异常时，从节点服务不会停止，而从节点异常时，主节点服务不会有影响，从而使得主、从节点各自可以进行独立的服务。

当共享存储不可写入时，从节点可一直定时从相应的偏移量读取文件，只是这时可能不会发现文件有新增内容。当主节点能够把数据写入共享存储内的文件，从节点就可以读取到最新的数据了。此时，从节点能够检测到共享存储内文件内容增加，因此读取新增的数据内容并写入其本地磁盘，从而使得主、从节点的数据一致。

对于从节点，当检查到共享存储不可读，会触发一个“文件找不到”异常，记录下本地文件的当前文件偏移量，关闭对从节点的输入流并启动监控装置。当共享存储可以再次访问后，以所记录的文件偏移量作为读取文件的起点来读取文件。这样，从节点不会从头开始读取共享存储内的文件，使得既不重复读，也不漏读，整个过程服务没有中断。

归结起来，主节点把从外部接收的数据同时向其本地磁盘和共享存储装置写入，而从节点读取共享存储装置中的数据并把读取到的数据写入到其内存和其本地磁盘。主节点以追加方式写入，而从节点以不断改变文件偏移量的方式进行读取，从而保证主节点写入的数据不会覆盖之前写入的，从节点对主节点写入的数据不会重复读，也不会漏读，整个过程是透明的。

下面结合附图描述主、从节点的执行的过程。

1.主节点写入流程

见图2，该图是主节点写入数据的流程：

对于主节点接收的数据写入请求，如果系统允许数据写入且如果共享存储异常，则主节点只会写入本地磁盘，本次写入操作结束；

当共享存储正常情况下，不仅会写入本地磁盘，也会尝试写入共享存储，如果写入成功，本次写操作完成，如果写入失败，则标记共享存储是否正常的标志位异常，并标记当前输出流的偏移量，然后启动监控装置，周期性检查共享存储是否恢复正常。

在共享存储异常的情况下，如果再有数据写入，因为已经标记共享存储异常，因此数据只会写入本次磁盘，本次写入操作结束。

当周期性检查到共享存储恢复正常，将共享存储是否正常的标记设置为正常后，再次有数据写入，并且系统允许接收数据写入请求，写入的数据会写入到本地磁盘和共享存储。。

2.从节点读写流程

见图3，正常情况下，从节点周期性读取共享存储中的数据，然后写入到内存与本地磁盘，从节点仅从共享存储中读取新增的内容，因此不会造成数据的重复读取。

在共享存储正常情况下，从节点每次按照其记录的偏移量从共享存储读取数据，并将读取到的数据写入到其内存及其追加写到本地磁盘。

在共享存储异常情况下，从节点读取共享存储时出现错误，此时从节点记录其当前的读取文件偏移量，并启动从节点监控装置，周期性检查共享存储的可读性。

3.主节点数据恢复流程

见图4，当监控装置检查到共享存储可写，则退出对共享存储的周期性监控，触发数据恢复流程；

主节点进入“不可写”模式。在恢复过程中，如果主节点仍然接受外部数据，则有丢失数据等风险；

以共享存储发生异常时所记录偏移量作为读取本地磁盘数据的起始位置，将本地磁盘数据恢复到共享存储的文件内。

如果恢复数据成功，共享存储标记为可写，主节点进入可接收数据写入的模式(即主节点写入流程中的系统是否允许数据写入的标志)，这样数据恢复过程结束。

如果恢复数据一部分后，共享存储出现异常，仍然记录输出流偏移量，并启动监控装置，检查共享存储是否可写，这与主节点共享存储出现异常处理方式相同。

4.从节点数据恢复流程

见图5，当监控装置检查到共享存储可读，退出对共享存储的检查；

以所记录的共享存储异常时的偏移量，作为读取共享存储内数据的起始位置，将数据读取到内存及其追加到本地磁盘。这样保证了主节点写入的数据，从节点均能读取到。同时此时将共享存储标记为可读，这样从节点恢复周期性读取共享存储内的数据。

当数据恢复过程中，共享存储再次出现异常，记录此时输入流偏移量，并启动监控装置，周期性检查共享存储是否可读，这与从节点异常处理流程一致。

Claims (8)

1.一种主从节点之间的共享存储的异常处理的系统，该系统包括主节点、从节点和共享存储装置，

其中，所述主节点包括主节点存储装置和主节点监控装置，所述从节点包括从节点存储装置和从节点监控装置，

其中，所述主节点把从外部接收的数据分别写入所述主节点存储装置和所述共享存储装置，所述从节点从所述共享存储装置读取数据并存储在所述从节点存储装置，从而在所述主节点和所述从节点之间实现数据共享，其中，数据是以具有原子性的数据单元被顺序写入和读取的，所述从节点按照记录的读取位置来读取数据使得既不遗漏也不重复读取，

其中，在所述主节点向所述共享存储装置和所述主节点存储装置写入数据时，当所述共享存储装置异常，所述主节点记录在所述共享存储装置的当前写入位置并标记所述共享存储装置的状态为异常，把待写入的数据继续写入所述主节点存储装置，同时把所述共享存储装置异常通知给所述主节点监控装置，使得所述主节点监控装置开始定时扫描以检测所述共享存储装置是否可用，

其中，当所述主节点监控装置检测到所述共享存储装置可用时，所述主节点停止对所述主节点存储装置的写入，并且所述主节点根据所记录的所述当前写入位置来读取所述主节点存储装置中该写入位置之后的数据，并根据所述当前写入位置把读取到的数据复制到所述共享存储装置的对应位置，

其中，在所述从节点从所述共享存储装置读取时，如果所述共享存储装置不可读，则所述从节点记录其当前读取位置，同时启动所述从节点监控装置来监视所述共享存储装置是否可读，

其中，当所述共享存储装置再次可读时，所述从节点根据所记录的所述当前读取位置来读取所述共享存储装置中的数据，从而读取到该当前读取位置之后的数据并把读取的数据写入所述从节点存储装置中的对应位置。

2.如权利要求1所述的系统，数据单元的存储位置是文件偏移量。

3.如权利要求1所述的系统，其中，当所述主节点停止对所述主节点存储装置的写入时，所述主节点停止从外部接收数据。

4.如权利要求1所述的系统，在所述主节点根据所述当前写入位置把读取到的数据复制到所述共享存储装置的对应位置的处理中，又发生所述共享存储装置异常，所述主节点记录新的当前写入位置，恢复对所述主节点存储装置的写入，同时把所述共享存储装置异常通知给所述主节点监控装置，使得所述主节点监控装置开始定时扫描以检测所述共享存储装置是否可用。

5.一种主节点和从节点之间的共享存储的异常处理的方法，其中，所述主节点包括主节点存储装置和主节点监控装置，所述从节点包括从节点存储装置和从节点监控装置，

所述方法包括

所述主节点把从外部接收的数据分别写入所述主节点存储装置和所述共享存储装置，

所述从节点从所述共享存储装置读取数据并存储在所述从节点存储装置，从而在所述主节点和所述从节点之间实现数据共享，其中，数据是以具有原子性的数据单元被顺序写入和读取的，所述从节点按照记录的读取位置来读取数据使得既不遗漏也不重复读取，

其中，在所述主节点向所述共享存储装置和所述主节点存储装置写入数据时，当所述共享存储装置异常，所述主节点记录在所述共享存储装置的当前写入位置并标记所述共享存储装置的状态为异常，把待写入的数据继续写入所述主节点存储装置，同时把所述共享存储装置异常通知给所述主节点监控装置，使得所述主节点监控装置开始定时扫描以检测所述共享存储装置是否可用，

其中，当所述主节点监控装置检测到所述共享存储装置可用时，所述主节点停止对所述主节点存储装置的写入，并且所述主节点根据所记录的所述当前写入位置来读取所述主节点存储装置中该写入位置之后的数据，并根据所述当前写入位置把读取到的数据复制到所述共享存储装置的对应位置，

其中，在所述从节点从所述共享存储装置读取时，如果所述共享存储装置不可读，则所述从节点记录其当前读取位置，同时启动所述从节点监控装置来监视所述共享存储装置是否可读，

其中，当所述共享存储装置再次可读时，所述从节点根据所记录的所述当前读取位置来读取所述共享存储装置中的数据，从而读取到该当前读取位置之后的数据并把读取的数据写入所述从节点存储装置中的对应位置。

6.如权利要求5所述的方法，数据单元的存储位置是文件偏移量。

7.如权利要求5所述的方法，其中，当所述主节点停止对所述主节点存储装置的写入时，所述主节点停止从外部接收数据。

8.如权利要求5所述的方法，在所述主节点根据所述当前写入位置把读取到的数据复制到所述共享存储装置的对应位置的处理中，又发生所述共享存储装置异常，所述主节点记录新的当前写入位置，恢复对所述主节点存储装置的写入，同时把所述共享存储装置异常通知给所述主节点监控装置，使得所述主节点监控装置开始定时扫描以检测所述共享存储装置是否可用。