CN112000516B - 一种nas准实时备份系统及方法 - Google Patents

Abstract

本发明公开了一种NAS准实时备份系统及方法，所述系统包括：若干生产源节点，连接并共享一个生产NAS存储，各生产源节点均部署监控代理模块，以实时监控并记录所共享的所述生产NAS存储的目录和文件的变化过程，并将记录发送给同步节点；同步节点，与各生产源节点共享所述生产NAS存储上的目录，所述同步节点部署备份代理模块，用于接收各生产源节点所记录的文件变化，对接收到的记录信息进行合并分析处理，并根据分析结果对备份节点做同步操作或文件内容的同步；备份节点，连接一个备份NAS存储以用来保存备份数据，所述备份节点根据接收到的同步节点发送的操作进行相应的同步处理。

Description

一种NAS准实时备份系统及方法

技术领域

本发明涉及计算机数据备份容灾技术领域，特别是涉及一种NAS(NetworkAttached Storage，网络附属存储)准实时备份系统及方法。

背景技术

NAS(Network Attached Storage，网络附属存储)根据其字面意思简单地说就是连接在网络上，具备资料存储功能的装置，因此也称为"网络存储器"。

NAS是一种专用数据存储服务器，工作站或服务器通过NFS(Network FileSystem，网络文件系统)或CIFS(Common Internet File System，通用互联网文件系统)来进行文件访问。

针对NAS数据备份，传统的方式主要采用定时扫描备份的方式，或文件目录监控加定时扫描备份的方式，其中，定时扫描备份的方式能够满足普通的NAS数据备份的需求，但实时性比较差，特别是海量数据的情况下，每一次备份的花费的时间会比较长；文件目录监控加定时扫描备份的方式，实现了每一次只备份变化的文件或目录，但需要在每个生产源节点上运行备份任务，无法适应多个生产源节点的集群共享同一个NAS存储目录的部署。而且无论定时扫描备份方式还是文件监控加定时扫描备份方式，因为涉及到要扫描文件，所以都会占用生产源节点一定的资源。

发明内容

为克服上述现有技术存在的不足，本发明之目的在于提供一种NAS准实时备份系统及方法，以能够适应多个生产源节点的集群共享同一个NAS存储目录的部署环境，无需在每个生产源节点上运行备份任务，减少对生产源节点资源的占用。

为达上述目的，本发明提出一种NAS准实时备份系统，包括：

若干生产源节点，连接并共享一个生产NAS存储，各生产源节点均部署监控代理模块，以实时监控并记录所共享的所述生产NAS存储的目录和文件的变化过程，并将记录发送给同步节点；

同步节点，与各生产源节点共享所述生产NAS存储上的目录，所述同步节点部署备份代理模块，用于接收各生产源节点所记录的文件变化，对接收到的记录信息进行合并分析处理，并根据分析结果对备份节点做同步操作或文件内容的同步；

备份节点，连接一个备份NAS存储以用来保存备份数据，所述备份节点根据接收到的同步节点发送的操作进行相应的同步处理。

优选地，所述同步节点于接收到各生产源节点发送的文件变化的记录后，负责将该些记录信息合并，以确定最近时间段内被操作变化的文件。

优选地，所述同步节点在合并处理完各生产源节点的文件变化的记录后，将所有来自于不同生产源节点的处理后的文件变化的操作记录进行一次全部的合并，进一步整理过滤重复记录，分析出哪些目录或文件被修改、新建、删除、重命名等操作。

优选地，所述同步节点得到全局的文件变化的操作记录后，将删除、新建、重命名的操作记录归为一类，将该些操作发送给备份节点，所述备份节点则对应执行相应操作，从而使所述同步节点和备份节点上的状态达到同步；所述同步节点将修改的操作记录归为一类，将修改的操作转化为目录或文件的差异对比备份的操作同步相应文件。

优选地，对各生产源节点上挂接的监控路径和同步节点上挂接的同步路径建立一一对应的映射关系，并保留至一路径映射表中，当所述生产源节点将文件变化记录传输给同步节点时，根据该路径映射表进行路径的转换。

优选地，所述路径映射表及路径转换的操作可以实现在生产源节点端或同步节点端。

优选地，在所述同步节点和备份节点之间建立一条定时的全量备份任务，定时把所述生产NAS存储上的要备份的文件全部备份到所述备份NAS存储上。

优选地，在所述同步节点和备份节点间建立定时的差异比对任务，以定时进行差异比对的检查，并对不一致的数据做同步操作并予以记录。

优选地，所述全量备份任务、差异比对任务与准实时增量备份并行处理。

为达到上述目的，本发明还提供一种NAS准实时备份方法，包括如下步骤：

步骤S1，于各生产源节点部署监控代理模块，实时监控并记录所共享的生产NAS存储的目录和文件的变化过程，并将记录发送给同步节点；

步骤S2，于同步节点部署备份代理模块，接收各生产源节点所记录的文件变化，对接收到的记录信息进行合并分析处理，并根据分析结果对备份节点做同步操作或文件内容的同步；

步骤S3，备份节点连接一备份NAS存储，以用来保存备份数据，所述备份节点根据接收到的同步节点发送的操作进行相应的处理。

与现有技术相比，本发明一种NAS准实时备份系统及方法通过在一台独立的同步节点上部署备份代理程序，由各生产源节点上的监控代理程序将文件变化记录汇总到同步节点上，同步节点上的备份代理程序合并分析处理这些记录，分析出变化的文件并与备份节点做操作或文件内容的同步，本发明能够适应各种的NAS生产部署环境，对生产节点的影响非常小，文件数据同步的实时性能达到较高的秒级别。

附图说明

图1为本发明一种NAS准实时备份系统的系统架构图；

图2为本发明一种NAS准实时备份方法的步骤流程图；

图3为本发明实施例之NAS准实时备份系统的系统架构图。

具体实施方式

以下通过特定的具体实例并结合附图说明本发明的实施方式，本领域技术人员可由本说明书所揭示的内容轻易地了解本发明的其它优点与功效。本发明亦可通过其它不同的具体实例加以施行或应用，本说明书中的各项细节亦可基于不同观点与应用，在不背离本发明的精神下进行各种修饰与变更。

图1为本发明一种NAS准实时备份系统的系统架构图。如图1所示，本发明一种NAS准实时备份系统，包括：

若干生产源节点101，连接并共享一个生产NAS存储，各生产源节点101均部署监控代理模块，用于实时监控并记录所共享的生产NAS存储的目录和文件的变化过程，并将记录发送给同步节点102。

在本发明具体实施例中，所应用的即是多个生产源节点101的集群共享同一个NAS存储目录的部署环境，即若干个生产源节点共享一个生产NAS存储，为便于理解和描述，设定这些若干生产节点都共享该生产NAS存储上同一个目录，并在各生产源节点101上部署监控代理程序，该监控代理程序的功能是监控目录和文件的变化过程的实时记录，并将记录发送给同步节点102，在本发明具体实施例中，监控代理程序监控程序变化的方法可以采用系统API的方式或基于文件系统IO捕获的内核模块来实现。

同步节点102，共享所述生产NAS存储上的目录，所述同步节点101部署备份代理模块，用于接收各生产源节点101所记录的文件变化，对接收到的记录信息进行合并分析处理，并根据分析结果对备份节点101做同步操作或文件内容的同步。

具体地，所述同步节点102为单独部署的服务器，作为同步主机节点，在所述同步节点上，要挂接NAS的共享目录，并部署备份代理程序，以用来完成全量备份以及增量备份。

所述同步节点102于接收到各生产源节点101发送的文件变化的记录后，负责将该些记录信息合并，即第一次合并，确定最近时间段内被操作变化的文件。第一次合并是对各生产源节点自身的发送的文件变化的记录信息的合并，例如，对于生产源节点A，则只是对生产源节点A的记录信息进行合并，优选地，所述同步节点102在合并处理完各个生产源节点的文件变化的记录后，还将所有来自于不同生产源节点的处理后的文件变化的操作记录进行一次全部的合并，即第二次合并，该第二次合并的目的是汇总所有的生产源节点文件变化的操作记录，该合并过程中主要对相同的文件所有操作及目前在存储上的状态来判断此文件是哪一种操作变化，这些操作有新建、修改、删除、重命名的操作，即进一步整理过滤重复记录，分析出哪些目录或文件被修改、新建、删除、重命名等操作，例如，生产节点A有write/dir/a.dat事件，生产节点B也有write/dir/a.dat事件，那么通过第二次合并则可将这两个来自不同生产节点的事件合并一个事件，只需要对该事件做一次同步，而无需两次，也就是说，生产节点A和生产节点B的跨节点合并在第一次合并是无法完成的。

当同步节点102得到全局的文件变化的操作记录后，则将删除、新建、重命名的操作记录归为一类，这些操作发送给备份节点103，备份节点103则对应执行相应操作，从而使同步节点102和备份节点103上的状态达到同步；同步节点102将修改的操作记录归为一类，将修改的操作转化为目录或文件的差异对比备份的操作同步该文件。

优选地，由于不同生产源节点101上的NAS挂接路径和同步节点102上的NAS挂接路径可能是不相同的，因此将文件变化的记录从生产源节点101上传到同步节点102上则需做一次路径的映射转换，统一转换到同步节点上的NAS挂接路径。

在本发明具体实施例中，为实现路径的映射转换，则对生产源节点上挂接的监控路径和同步节点上挂接的同步路径建立一一对应的映射关系，并保留在一路径映射表中，当生产源节点101将文件变化记录传输给同步节点102时，则根据该路径映射表进行路径的转换。

在本发明中，所述路径映射表及路径转换的操作可以实现在生产源节点101，例如所述路径映射表建立在各生产源节点101，在生产源节点的监控代理模块里发送文件变化记录时先根据路径映射表进行路径转换后将路径转换后的文件变化记录发送至同步节点；当然也可以实现在同步节点102上，即所述路径映射表建立在同步节点102，当同步节点的备份代理模块接收到各生产源节点101的文件变化记录时，根据路径映射表进行路径转换。尽可能减小对生产节点的影响，本发明具体实施例则选择在同步节点上做路径转换。

备份节点103，连接一个备份NAS存储，以用来保存备份数据，所述备份节点103根据接收到的同步节点102发送的操作进行相应的处理。具体地说，当同步节点的备份代理程序中得到全局的文件变化的操作记录后，将删除、新建、重命名的操作记录归为一类，将该些操作发送给备份节点103，备份节点103则对应的执行该些操作，同步节点和备份节点上的状态就达到了同步；同步节点102将修改的操作记录归为一类，此类的文件则需要通过同步节点和备份节点间文件差异的比对，同步差异的内容来完成文件内容的同步。

优选地，在本发明中，同步节点102和备份节点103间也可能存在NAS挂接路径可能是不相同的的情况，则也需进行路径的映射转换。与生产源节点和同步节点之间的路径转换类似，在本发明具体实施例中，为实现同步节点102和备份节点103之间路径的映射转换，则对同步节点挂接的NAS挂接路径和备份节点上挂接的备份路径建立一一对应的映射关系，同样也保留在一路径映射表中，当同步节点102对备份节点103进行同步操作或文件内容的同步时，根据该路径映射表进行路径的转换。

当然，与前述情况相同，这里路径映射表及路径转换的操作可以实现在同步节点102，也可以实现在备份节点103，在此不予赘述。

以上主要描述了增量数据的备份，但除了增量数据的备份，有时还需进行全量的备份。在本发明中，对于全量的备份则在同步节点102和备份节点103间建立一条定时的备份任务，则定时把生产NAS存储上的要备份的文件全部备份到备份NAS存储上。全量备份和上述的准实时增量备份可以并行处理。

优选地，对于数据一致性的检查，在本发明具体实施例中，可在同步节点102和备份节点103间建立定时的差异比对任务，做差异比对的检查，并对不一致的数据做同步操作。具体地，在同步节点和备份节点上建立定时的文件差异比对任务，发现文件差异时，如果发现该文件不在将要进行的文件变化操作记录内，则同步差异文件并记录文件不一致的记录。

差异比较和上述的准实时增量备份可以并行处理。在本发明中，差异比对任务是为了检查备份过程中是否有文件不一致的情况出现，在全量完成一次后，正常情况下不应该出现文件不一致的情况(正在增量同步的文件除外)，差异比对任务时考虑了这种例外的情景。

图2为本发明一种NAS准实时备份方法的步骤流程图。如图2所示，本发明一种NAS准实时备份方法，包括如下步骤：

步骤S1，于各生产源节点部署监控代理模块，实时监控并记录所共享的生产NAS存储的目录和文件的变化过程，并将记录发送给同步节点。也就是说，本发明中具有多个生产源节点，均连接并共享一个生产NAS存储，各生产源节点均部署监控代理模块，用于实时监控并记录所共享的生产NAS存储的目录和文件的变化过程，并将记录发送给同步节点。

步骤S2，于同步节点部署备份代理模块，接收各生产源节点所记录的文件变化，对接收到的记录信息进行合并分析处理，并根据分析结果对备份节点做同步操作或文件内容的同步。

具体地，所述同步节点为单独部署的服务器，作为同步主机节点，在所述同步节点上，要挂接NAS的共享目录，并部署备份代理程序，以用来完成全量备份以及增量备份。

在本发明具体实施例中，所述同步节点于接收到各生产源节点发送的文件变化的记录后，负责将该些记录信息合并，确定最近时间段内被操作变化的文件。优选地，所述同步节点在合并处理完各个生产源节点的文件变化的记录后，将所有来自于不同生产源节点的处理后的文件变化的操作记录进行一次全部的合并，该合并的目的是汇总所有的生产源节点文件变化的操作记录，该合并过程中主要对相同的文件所有操作及目前在存储上的状态来判断此文件是哪一种操作变化，这些操作有新建、修改、删除、重命名的操作，即进一步整理过滤重复记录，分析出哪些目录或文件被修改、新建、删除、重命名等操作。

当同步节点得到全局的文件变化的操作记录后，则将删除、新建、重命名的操作记录归为一类，这些操作发送给备份节点，备份节点则对应执行相应操作，从而使同步节点和备份节点上的状态达到同步；同步节点将修改的操作记录归为一类，将修改的操作转化为目录或文件的差异对比备份的操作同步该文件。

步骤S3，备份节点连接一备份NAS存储，以用来保存备份数据，所述备份节点根据接收到的同步节点发送的操作进行相应的处理。具体地说，当同步节点的备份代理程序中得到全局的文件变化的操作记录后，将删除、新建、重命名的操作记录归为一类，将该些操作发送给备份节点，备份节点则对应的执行该些操作，同步节点和备份节点上的状态就达到了同步；同步节点将修改的操作记录归为一类，此类的文件则需要通过同步节点和备份节点间文件差异的比对，同步差异的内容来完成文件内容的同步。

优选地，于步骤S2之前，还包括如下步骤：

对生产源节点上挂接的监控路径和同步节点上挂接的同步路径建立一一对应的映射关系，并保留在一路径映射表中；

当所述生产源节点将文件变化记录传输给所述同步节点时，根据该路径映射表进行路径的转换。

优选地，于步骤S3之前，还包括如下步骤：

对同步节点挂接的NAS挂接路径和备份节点上挂接的备份路径建立一一对应的映射关系，并保留在一路径映射表中，当所述同步节点对备份节点进行同步操作或文件内容的同步时，根据该路径映射表进行路径的转换。

优选地，本发明之NAS准实时备份方法，还包括如下步骤：

在所述同步节点和备份节点之间建立一条定时的备份任务，定时将所述生产NAS存储上的要备份的文件全部备份到所述备份NAS存储上，以实现全量备份。在本发明中，全量备份和上述的准实时增量备份可以并行处理。

优选地，本发明之NAS准实时备份方法，还包括如下步骤：

在所述同步节点和备份节点间建立定时的差异比对任务，进行差异比对的检查，并对不一致的数据进行同步操作并予以记录。具体地，在同步节点和备份节点上建立定时的文件差异比对任务，发现文件差异时，如果发现该文件不在将要进行的文件变化操作记录内，则同步差异文件并记录文件不一致的记录。在本发明中，差异比较和上述的准实时增量备份可以并行处理。

实施例

图3示出了多个生产源节点的集群共享同一个NAS存储目录的部署环境，以下结合图3，描述下本实施例的实施过程。

步骤1，若干个生产源节点共享一个生产NAS存储，为便于理解和描述，设定这些若干生产节点都共享该生产NAS存储上同一个目录。同步节点也共享该生产NAS存储上的目录。

步骤2，在备份节点上连接一个备份NAS存储，用来保存备份数据。

步骤3，在各生产源节点上部署监控代理程序，该监控代理程序的功能是监控目录和文件的变化过程的实时记录，并将记录发送给同步节点的备份代理程序。监控代理程序监控程序变化的方法可以用系统API的方式或基于文件系统IO捕获的内核模块来实现。

步骤4，文件路径的转换。在生产源节点和同步节点上NAS目录的挂接路径不一定是相同，也可能是windows和linux两种不同的路径表示形式，这就需要对生产节点上挂接的监控路径和同步节点上挂接的同步路径建立一一对应的映射关系，并保留在路径映射表中。

当生产节点将文件变化记录传输给同步节点时，需要根据路径映射表做路径的转换。这个路径转换的操作可以在生产节点的监控代理程序里发送记录时做，也可以在同步节点的备份代理程序里收到记录时做。为尽可能减小对生产节点的影响，本实施例选择在同步节点上做转换。

步骤5，在同步节点上文件记录的合并。同步节点上的备份代理程序收到生产节点的监控代理程序发送来的文件变化的记录，并将这些记录中的文件路径转换后，对这些记录进行合并分析处理，列出最近时间段内哪些文件被操作变化。

步骤6，同步节点的备份代理程序合并处理完各个生产节点的文件变化的记录后，还要将来所有来自于不同生产节点的处理后的文件变化的操作记录进行一次全部的合并，该合并的目的是汇总所有的生产节点文件变化的操作记录。该合并过程中主要对相同的文件所有操作及目前在存储上的状态来判断此文件是哪一种操作变化，这些操作有新建、修改、删除、重命名的操作。

步骤7，同步节点的备份代理程序在步骤6中得到全局的文件变化的操作记录后，把删除、新建、重命名的操作记录归为一类，这些操作发送给备份节点，备份节点把这些操作对应的执行一下，同步节点和备份节点上的状态就达到了同步；把修改的操作记录归为一类，此类的文件需要通过同步节点和备份节点间文件差异的比对并同步差异的内容来完成文件内容的同步。这里需说明的是，在同步节点和备份节点间也可能存在路径映射的情况，类似于步骤4，不再赘述。

步骤8，对全量数据做全备份。上述的步骤都是描述了对增量数据的做备份的方法，对于全量的备份需要在同步节点和备份节点间建立一条定时的备份任务，把生产NAS存储上的要备份的文件全部备份到备份NAS存储上。全备份和上述的准实时增量备份可以并行处理。

步骤9，对备份文件做定时的差异比较，在同步节点和备份节点上建立定时的文件差异比对任务，发现文件差异时，如果发现该文件不在将要进行的文件变化操作记录内，则同步差异文件并记录文件不一致的记录。差异比较和上述的准实时增量备份可以并行处理。差异比较是为了检查备份过程中是否有文件不一致的情况出现，在全量完成一次后，正常情况下不应该出现文件不一致的情况(正在增量同步的文件除外)差异比对任务时考虑了这种例外的情景。

综上所述，本发明一种NAS准实时备份系统及方法通过在一台独立的同步节点上部署备份代理程序，由各生产源节点上的监控代理程序将文件变化记录汇总到同步节点上，同步节点上的备份代理程序合并分析处理这些记录，分析出变化的文件并与备份节点做操作或文件内容的同步，本发明能够适应各种的NAS生产部署环境，对生产节点的影响非常小，文件数据同步的实时性能达到较高的秒级别。

上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何本领域技术人员均可在不违背本发明的精神及范畴下，对上述实施例进行修饰与改变。因此，本发明的权利保护范围，应如权利要求书所列。

Claims (8)

1.一种NAS准实时备份系统，包括：

若干生产源节点，连接并共享一个生产NAS存储，各生产源节点均部署监控代理模块，以实时监控并记录所共享的所述生产NAS存储的目录和文件的变化过程，并将该记录发送给同步节点；

同步节点，与各生产源节点共享所述生产NAS存储上的目录，所述同步节点部署备份代理模块，用于接收各生产源节点所记录的文件变化，对接收到的记录信息进行合并分析处理，并根据分析结果对备份节点做同步操作或文件内容的同步；该合并分析处理的方法为：

所述同步节点于接收到各生产源节点发送的文件变化的记录后，负责将该些记录信息合并，以确定最近时间段内被操作变化的文件；

所述同步节点在合并处理完各生产源节点的文件变化的记录后，将所有来自于不同生产源节点的处理后的文件变化的操作记录进行一次全部的合并，进一步整理过滤重复记录，分析出哪些目录或文件被修改、新建、删除、重命名等操作；

备份节点，连接一个备份NAS存储以用来保存备份数据，所述备份节点根据接收到的同步节点发送的操作进行相应的同步处理。

2.如权利要求1所述的一种NAS准实时备份系统，其特征在于：所述同步节点得到全局的文件变化的操作记录后，将删除、新建、重命名的操作记录归为一类，将该些操作发送给备份节点，所述备份节点则对应执行相应操作，从而使所述同步节点和备份节点上的状态达到同步；所述同步节点将修改的操作记录归为一类，将修改的操作转化为目录或文件的差异对比备份的操作同步相应文件。

3.如权利要求2所述的一种NAS准实时备份系统，其特征在于：对各生产源节点上挂接的监控路径和同步节点上挂接的同步路径建立一一对应的映射关系，并保留至一路径映射表中，当所述生产源节点将文件变化记录传输给同步节点时，根据该路径映射表进行路径的转换。

4.如权利要求3所述的一种NAS准实时备份系统，其特征在于：所述路径映射表及路径转换的操作实现在生产源节点端或同步节点端。

5.如权利要求3所述的一种NAS准实时备份系统，其特征在于：在所述同步节点和备份节点之间建立一条定时的全量备份任务，定时把所述生产NAS存储上的要备份的文件全部备份到所述备份NAS存储上。

6.如权利要求5所述的一种NAS准实时备份系统，其特征在于：在所述同步节点和备份节点间建立定时的差异比对任务，以定时进行差异比对的检查，并对不一致的数据做同步操作并予以记录。

7.如权利要求6所述的一种NAS准实时备份系统，其特征在于：所述全量备份任务、差异比对任务与准实时增量备份并行处理。

8.一种NAS准实时备份方法，包括如下步骤：

步骤S1，于各生产源节点部署监控代理模块，实时监控并记录所共享的生产NAS存储的目录和文件的变化过程，并将该记录发送给同步节点；

步骤S2，于同步节点部署备份代理模块，接收各生产源节点所记录的文件变化，对接收到的记录信息进行合并分析处理，并根据分析结果对备份节点做同步操作或文件内容的同步；该合并分析处理为：

所述同步节点于接收到各生产源节点发送的文件变化的记录后，负责将该些记录信息合并，以确定最近时间段内被操作变化的文件；

所述同步节点在合并处理完各生产源节点的文件变化的记录后，将所有来自于不同生产源节点的处理后的文件变化的操作记录进行一次全部的合并，进一步整理过滤重复记录，分析出哪些目录或文件被修改、新建、删除、重命名等操作；

步骤S3，备份节点连接一备份NAS存储，以用来保存备份数据，所述备份节点根据接收到的同步节点发送的操作进行相应的处理。

Images