CN112000516B - 一种nas准实时备份系统及方法 - Google Patents
一种nas准实时备份系统及方法 Download PDFInfo
- Publication number
- CN112000516B CN112000516B CN202010805042.8A CN202010805042A CN112000516B CN 112000516 B CN112000516 B CN 112000516B CN 202010805042 A CN202010805042 A CN 202010805042A CN 112000516 B CN112000516 B CN 112000516B
- Authority
- CN
- China
- Prior art keywords
- node
- backup
- file
- synchronization
- nas
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/14—Error detection or correction of the data by redundancy in operation
- G06F11/1402—Saving, restoring, recovering or retrying
- G06F11/1446—Point-in-time backing up or restoration of persistent data
- G06F11/1448—Management of the data involved in backup or backup restore
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/14—Error detection or correction of the data by redundancy in operation
- G06F11/1402—Saving, restoring, recovering or retrying
- G06F11/1446—Point-in-time backing up or restoration of persistent data
- G06F11/1458—Management of the backup or restore process
- G06F11/1464—Management of the backup or restore process for networked environments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/17—Details of further file system functions
- G06F16/178—Techniques for file synchronisation in file systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
- G06F3/0614—Improving the reliability of storage systems
- G06F3/0619—Improving the reliability of storage systems in relation to data integrity, e.g. data losses, bit errors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
- G06F3/0655—Vertical data movement, i.e. input-output transfer; data movement between one or more hosts and one or more storage devices
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
- G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Quality & Reliability (AREA)
- Computer Security & Cryptography (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种NAS准实时备份系统及方法,所述系统包括:若干生产源节点,连接并共享一个生产NAS存储,各生产源节点均部署监控代理模块,以实时监控并记录所共享的所述生产NAS存储的目录和文件的变化过程,并将记录发送给同步节点;同步节点,与各生产源节点共享所述生产NAS存储上的目录,所述同步节点部署备份代理模块,用于接收各生产源节点所记录的文件变化,对接收到的记录信息进行合并分析处理,并根据分析结果对备份节点做同步操作或文件内容的同步;备份节点,连接一个备份NAS存储以用来保存备份数据,所述备份节点根据接收到的同步节点发送的操作进行相应的同步处理。
Description
技术领域
本发明涉及计算机数据备份容灾技术领域,特别是涉及一种NAS(NetworkAttached Storage,网络附属存储)准实时备份系统及方法。
背景技术
NAS(Network Attached Storage,网络附属存储)根据其字面意思简单地说就是连接在网络上,具备资料存储功能的装置,因此也称为"网络存储器"。
NAS是一种专用数据存储服务器,工作站或服务器通过NFS(Network FileSystem,网络文件系统)或CIFS(Common Internet File System,通用互联网文件系统)来进行文件访问。
针对NAS数据备份,传统的方式主要采用定时扫描备份的方式,或文件目录监控加定时扫描备份的方式,其中,定时扫描备份的方式能够满足普通的NAS数据备份的需求,但实时性比较差,特别是海量数据的情况下,每一次备份的花费的时间会比较长;文件目录监控加定时扫描备份的方式,实现了每一次只备份变化的文件或目录,但需要在每个生产源节点上运行备份任务,无法适应多个生产源节点的集群共享同一个NAS存储目录的部署。而且无论定时扫描备份方式还是文件监控加定时扫描备份方式,因为涉及到要扫描文件,所以都会占用生产源节点一定的资源。
发明内容
为克服上述现有技术存在的不足,本发明之目的在于提供一种NAS准实时备份系统及方法,以能够适应多个生产源节点的集群共享同一个NAS存储目录的部署环境,无需在每个生产源节点上运行备份任务,减少对生产源节点资源的占用。
为达上述目的,本发明提出一种NAS准实时备份系统,包括:
若干生产源节点,连接并共享一个生产NAS存储,各生产源节点均部署监控代理模块,以实时监控并记录所共享的所述生产NAS存储的目录和文件的变化过程,并将记录发送给同步节点;
同步节点,与各生产源节点共享所述生产NAS存储上的目录,所述同步节点部署备份代理模块,用于接收各生产源节点所记录的文件变化,对接收到的记录信息进行合并分析处理,并根据分析结果对备份节点做同步操作或文件内容的同步;
备份节点,连接一个备份NAS存储以用来保存备份数据,所述备份节点根据接收到的同步节点发送的操作进行相应的同步处理。
优选地,所述同步节点于接收到各生产源节点发送的文件变化的记录后,负责将该些记录信息合并,以确定最近时间段内被操作变化的文件。
优选地,所述同步节点在合并处理完各生产源节点的文件变化的记录后,将所有来自于不同生产源节点的处理后的文件变化的操作记录进行一次全部的合并,进一步整理过滤重复记录,分析出哪些目录或文件被修改、新建、删除、重命名等操作。
优选地,所述同步节点得到全局的文件变化的操作记录后,将删除、新建、重命名的操作记录归为一类,将该些操作发送给备份节点,所述备份节点则对应执行相应操作,从而使所述同步节点和备份节点上的状态达到同步;所述同步节点将修改的操作记录归为一类,将修改的操作转化为目录或文件的差异对比备份的操作同步相应文件。
优选地,对各生产源节点上挂接的监控路径和同步节点上挂接的同步路径建立一一对应的映射关系,并保留至一路径映射表中,当所述生产源节点将文件变化记录传输给同步节点时,根据该路径映射表进行路径的转换。
优选地,所述路径映射表及路径转换的操作可以实现在生产源节点端或同步节点端。
优选地,在所述同步节点和备份节点之间建立一条定时的全量备份任务,定时把所述生产NAS存储上的要备份的文件全部备份到所述备份NAS存储上。
优选地,在所述同步节点和备份节点间建立定时的差异比对任务,以定时进行差异比对的检查,并对不一致的数据做同步操作并予以记录。
优选地,所述全量备份任务、差异比对任务与准实时增量备份并行处理。
为达到上述目的,本发明还提供一种NAS准实时备份方法,包括如下步骤:
步骤S1,于各生产源节点部署监控代理模块,实时监控并记录所共享的生产NAS存储的目录和文件的变化过程,并将记录发送给同步节点;
步骤S2,于同步节点部署备份代理模块,接收各生产源节点所记录的文件变化,对接收到的记录信息进行合并分析处理,并根据分析结果对备份节点做同步操作或文件内容的同步;
步骤S3,备份节点连接一备份NAS存储,以用来保存备份数据,所述备份节点根据接收到的同步节点发送的操作进行相应的处理。
与现有技术相比,本发明一种NAS准实时备份系统及方法通过在一台独立的同步节点上部署备份代理程序,由各生产源节点上的监控代理程序将文件变化记录汇总到同步节点上,同步节点上的备份代理程序合并分析处理这些记录,分析出变化的文件并与备份节点做操作或文件内容的同步,本发明能够适应各种的NAS生产部署环境,对生产节点的影响非常小,文件数据同步的实时性能达到较高的秒级别。
附图说明
图1为本发明一种NAS准实时备份系统的系统架构图;
图2为本发明一种NAS准实时备份方法的步骤流程图;
图3为本发明实施例之NAS准实时备份系统的系统架构图。
具体实施方式
以下通过特定的具体实例并结合附图说明本发明的实施方式,本领域技术人员可由本说明书所揭示的内容轻易地了解本发明的其它优点与功效。本发明亦可通过其它不同的具体实例加以施行或应用,本说明书中的各项细节亦可基于不同观点与应用,在不背离本发明的精神下进行各种修饰与变更。
图1为本发明一种NAS准实时备份系统的系统架构图。如图1所示,本发明一种NAS准实时备份系统,包括:
若干生产源节点101,连接并共享一个生产NAS存储,各生产源节点101均部署监控代理模块,用于实时监控并记录所共享的生产NAS存储的目录和文件的变化过程,并将记录发送给同步节点102。
在本发明具体实施例中,所应用的即是多个生产源节点101的集群共享同一个NAS存储目录的部署环境,即若干个生产源节点共享一个生产NAS存储,为便于理解和描述,设定这些若干生产节点都共享该生产NAS存储上同一个目录,并在各生产源节点101上部署监控代理程序,该监控代理程序的功能是监控目录和文件的变化过程的实时记录,并将记录发送给同步节点102,在本发明具体实施例中,监控代理程序监控程序变化的方法可以采用系统API的方式或基于文件系统IO捕获的内核模块来实现。
同步节点102,共享所述生产NAS存储上的目录,所述同步节点101部署备份代理模块,用于接收各生产源节点101所记录的文件变化,对接收到的记录信息进行合并分析处理,并根据分析结果对备份节点101做同步操作或文件内容的同步。
具体地,所述同步节点102为单独部署的服务器,作为同步主机节点,在所述同步节点上,要挂接NAS的共享目录,并部署备份代理程序,以用来完成全量备份以及增量备份。
所述同步节点102于接收到各生产源节点101发送的文件变化的记录后,负责将该些记录信息合并,即第一次合并,确定最近时间段内被操作变化的文件。第一次合并是对各生产源节点自身的发送的文件变化的记录信息的合并,例如,对于生产源节点A,则只是对生产源节点A的记录信息进行合并,优选地,所述同步节点102在合并处理完各个生产源节点的文件变化的记录后,还将所有来自于不同生产源节点的处理后的文件变化的操作记录进行一次全部的合并,即第二次合并,该第二次合并的目的是汇总所有的生产源节点文件变化的操作记录,该合并过程中主要对相同的文件所有操作及目前在存储上的状态来判断此文件是哪一种操作变化,这些操作有新建、修改、删除、重命名的操作,即进一步整理过滤重复记录,分析出哪些目录或文件被修改、新建、删除、重命名等操作,例如,生产节点A有write/dir/a.dat事件,生产节点B也有write/dir/a.dat事件,那么通过第二次合并则可将这两个来自不同生产节点的事件合并一个事件,只需要对该事件做一次同步,而无需两次,也就是说,生产节点A和生产节点B的跨节点合并在第一次合并是无法完成的。
当同步节点102得到全局的文件变化的操作记录后,则将删除、新建、重命名的操作记录归为一类,这些操作发送给备份节点103,备份节点103则对应执行相应操作,从而使同步节点102和备份节点103上的状态达到同步;同步节点102将修改的操作记录归为一类,将修改的操作转化为目录或文件的差异对比备份的操作同步该文件。
优选地,由于不同生产源节点101上的NAS挂接路径和同步节点102上的NAS挂接路径可能是不相同的,因此将文件变化的记录从生产源节点101上传到同步节点102上则需做一次路径的映射转换,统一转换到同步节点上的NAS挂接路径。
在本发明具体实施例中,为实现路径的映射转换,则对生产源节点上挂接的监控路径和同步节点上挂接的同步路径建立一一对应的映射关系,并保留在一路径映射表中,当生产源节点101将文件变化记录传输给同步节点102时,则根据该路径映射表进行路径的转换。
在本发明中,所述路径映射表及路径转换的操作可以实现在生产源节点101,例如所述路径映射表建立在各生产源节点101,在生产源节点的监控代理模块里发送文件变化记录时先根据路径映射表进行路径转换后将路径转换后的文件变化记录发送至同步节点;当然也可以实现在同步节点102上,即所述路径映射表建立在同步节点102,当同步节点的备份代理模块接收到各生产源节点101的文件变化记录时,根据路径映射表进行路径转换。尽可能减小对生产节点的影响,本发明具体实施例则选择在同步节点上做路径转换。
备份节点103,连接一个备份NAS存储,以用来保存备份数据,所述备份节点103根据接收到的同步节点102发送的操作进行相应的处理。具体地说,当同步节点的备份代理程序中得到全局的文件变化的操作记录后,将删除、新建、重命名的操作记录归为一类,将该些操作发送给备份节点103,备份节点103则对应的执行该些操作,同步节点和备份节点上的状态就达到了同步;同步节点102将修改的操作记录归为一类,此类的文件则需要通过同步节点和备份节点间文件差异的比对,同步差异的内容来完成文件内容的同步。
优选地,在本发明中,同步节点102和备份节点103间也可能存在NAS挂接路径可能是不相同的的情况,则也需进行路径的映射转换。与生产源节点和同步节点之间的路径转换类似,在本发明具体实施例中,为实现同步节点102和备份节点103之间路径的映射转换,则对同步节点挂接的NAS挂接路径和备份节点上挂接的备份路径建立一一对应的映射关系,同样也保留在一路径映射表中,当同步节点102对备份节点103进行同步操作或文件内容的同步时,根据该路径映射表进行路径的转换。
当然,与前述情况相同,这里路径映射表及路径转换的操作可以实现在同步节点102,也可以实现在备份节点103,在此不予赘述。
以上主要描述了增量数据的备份,但除了增量数据的备份,有时还需进行全量的备份。在本发明中,对于全量的备份则在同步节点102和备份节点103间建立一条定时的备份任务,则定时把生产NAS存储上的要备份的文件全部备份到备份NAS存储上。全量备份和上述的准实时增量备份可以并行处理。
优选地,对于数据一致性的检查,在本发明具体实施例中,可在同步节点102和备份节点103间建立定时的差异比对任务,做差异比对的检查,并对不一致的数据做同步操作。具体地,在同步节点和备份节点上建立定时的文件差异比对任务,发现文件差异时,如果发现该文件不在将要进行的文件变化操作记录内,则同步差异文件并记录文件不一致的记录。
差异比较和上述的准实时增量备份可以并行处理。在本发明中,差异比对任务是为了检查备份过程中是否有文件不一致的情况出现,在全量完成一次后,正常情况下不应该出现文件不一致的情况(正在增量同步的文件除外),差异比对任务时考虑了这种例外的情景。
图2为本发明一种NAS准实时备份方法的步骤流程图。如图2所示,本发明一种NAS准实时备份方法,包括如下步骤:
步骤S1,于各生产源节点部署监控代理模块,实时监控并记录所共享的生产NAS存储的目录和文件的变化过程,并将记录发送给同步节点。也就是说,本发明中具有多个生产源节点,均连接并共享一个生产NAS存储,各生产源节点均部署监控代理模块,用于实时监控并记录所共享的生产NAS存储的目录和文件的变化过程,并将记录发送给同步节点。
步骤S2,于同步节点部署备份代理模块,接收各生产源节点所记录的文件变化,对接收到的记录信息进行合并分析处理,并根据分析结果对备份节点做同步操作或文件内容的同步。
具体地,所述同步节点为单独部署的服务器,作为同步主机节点,在所述同步节点上,要挂接NAS的共享目录,并部署备份代理程序,以用来完成全量备份以及增量备份。
在本发明具体实施例中,所述同步节点于接收到各生产源节点发送的文件变化的记录后,负责将该些记录信息合并,确定最近时间段内被操作变化的文件。优选地,所述同步节点在合并处理完各个生产源节点的文件变化的记录后,将所有来自于不同生产源节点的处理后的文件变化的操作记录进行一次全部的合并,该合并的目的是汇总所有的生产源节点文件变化的操作记录,该合并过程中主要对相同的文件所有操作及目前在存储上的状态来判断此文件是哪一种操作变化,这些操作有新建、修改、删除、重命名的操作,即进一步整理过滤重复记录,分析出哪些目录或文件被修改、新建、删除、重命名等操作。
当同步节点得到全局的文件变化的操作记录后,则将删除、新建、重命名的操作记录归为一类,这些操作发送给备份节点,备份节点则对应执行相应操作,从而使同步节点和备份节点上的状态达到同步;同步节点将修改的操作记录归为一类,将修改的操作转化为目录或文件的差异对比备份的操作同步该文件。
步骤S3,备份节点连接一备份NAS存储,以用来保存备份数据,所述备份节点根据接收到的同步节点发送的操作进行相应的处理。具体地说,当同步节点的备份代理程序中得到全局的文件变化的操作记录后,将删除、新建、重命名的操作记录归为一类,将该些操作发送给备份节点,备份节点则对应的执行该些操作,同步节点和备份节点上的状态就达到了同步;同步节点将修改的操作记录归为一类,此类的文件则需要通过同步节点和备份节点间文件差异的比对,同步差异的内容来完成文件内容的同步。
优选地,于步骤S2之前,还包括如下步骤:
对生产源节点上挂接的监控路径和同步节点上挂接的同步路径建立一一对应的映射关系,并保留在一路径映射表中;
当所述生产源节点将文件变化记录传输给所述同步节点时,根据该路径映射表进行路径的转换。
优选地,于步骤S3之前,还包括如下步骤:
对同步节点挂接的NAS挂接路径和备份节点上挂接的备份路径建立一一对应的映射关系,并保留在一路径映射表中,当所述同步节点对备份节点进行同步操作或文件内容的同步时,根据该路径映射表进行路径的转换。
优选地,本发明之NAS准实时备份方法,还包括如下步骤:
在所述同步节点和备份节点之间建立一条定时的备份任务,定时将所述生产NAS存储上的要备份的文件全部备份到所述备份NAS存储上,以实现全量备份。在本发明中,全量备份和上述的准实时增量备份可以并行处理。
优选地,本发明之NAS准实时备份方法,还包括如下步骤:
在所述同步节点和备份节点间建立定时的差异比对任务,进行差异比对的检查,并对不一致的数据进行同步操作并予以记录。具体地,在同步节点和备份节点上建立定时的文件差异比对任务,发现文件差异时,如果发现该文件不在将要进行的文件变化操作记录内,则同步差异文件并记录文件不一致的记录。在本发明中,差异比较和上述的准实时增量备份可以并行处理。
实施例
图3示出了多个生产源节点的集群共享同一个NAS存储目录的部署环境,以下结合图3,描述下本实施例的实施过程。
步骤1,若干个生产源节点共享一个生产NAS存储,为便于理解和描述,设定这些若干生产节点都共享该生产NAS存储上同一个目录。同步节点也共享该生产NAS存储上的目录。
步骤2,在备份节点上连接一个备份NAS存储,用来保存备份数据。
步骤3,在各生产源节点上部署监控代理程序,该监控代理程序的功能是监控目录和文件的变化过程的实时记录,并将记录发送给同步节点的备份代理程序。监控代理程序监控程序变化的方法可以用系统API的方式或基于文件系统IO捕获的内核模块来实现。
步骤4,文件路径的转换。在生产源节点和同步节点上NAS目录的挂接路径不一定是相同,也可能是windows和linux两种不同的路径表示形式,这就需要对生产节点上挂接的监控路径和同步节点上挂接的同步路径建立一一对应的映射关系,并保留在路径映射表中。
当生产节点将文件变化记录传输给同步节点时,需要根据路径映射表做路径的转换。这个路径转换的操作可以在生产节点的监控代理程序里发送记录时做,也可以在同步节点的备份代理程序里收到记录时做。为尽可能减小对生产节点的影响,本实施例选择在同步节点上做转换。
步骤5,在同步节点上文件记录的合并。同步节点上的备份代理程序收到生产节点的监控代理程序发送来的文件变化的记录,并将这些记录中的文件路径转换后,对这些记录进行合并分析处理,列出最近时间段内哪些文件被操作变化。
步骤6,同步节点的备份代理程序合并处理完各个生产节点的文件变化的记录后,还要将来所有来自于不同生产节点的处理后的文件变化的操作记录进行一次全部的合并,该合并的目的是汇总所有的生产节点文件变化的操作记录。该合并过程中主要对相同的文件所有操作及目前在存储上的状态来判断此文件是哪一种操作变化,这些操作有新建、修改、删除、重命名的操作。
步骤7,同步节点的备份代理程序在步骤6中得到全局的文件变化的操作记录后,把删除、新建、重命名的操作记录归为一类,这些操作发送给备份节点,备份节点把这些操作对应的执行一下,同步节点和备份节点上的状态就达到了同步;把修改的操作记录归为一类,此类的文件需要通过同步节点和备份节点间文件差异的比对并同步差异的内容来完成文件内容的同步。这里需说明的是,在同步节点和备份节点间也可能存在路径映射的情况,类似于步骤4,不再赘述。
步骤8,对全量数据做全备份。上述的步骤都是描述了对增量数据的做备份的方法,对于全量的备份需要在同步节点和备份节点间建立一条定时的备份任务,把生产NAS存储上的要备份的文件全部备份到备份NAS存储上。全备份和上述的准实时增量备份可以并行处理。
步骤9,对备份文件做定时的差异比较,在同步节点和备份节点上建立定时的文件差异比对任务,发现文件差异时,如果发现该文件不在将要进行的文件变化操作记录内,则同步差异文件并记录文件不一致的记录。差异比较和上述的准实时增量备份可以并行处理。差异比较是为了检查备份过程中是否有文件不一致的情况出现,在全量完成一次后,正常情况下不应该出现文件不一致的情况(正在增量同步的文件除外)差异比对任务时考虑了这种例外的情景。
综上所述,本发明一种NAS准实时备份系统及方法通过在一台独立的同步节点上部署备份代理程序,由各生产源节点上的监控代理程序将文件变化记录汇总到同步节点上,同步节点上的备份代理程序合并分析处理这些记录,分析出变化的文件并与备份节点做操作或文件内容的同步,本发明能够适应各种的NAS生产部署环境,对生产节点的影响非常小,文件数据同步的实时性能达到较高的秒级别。
上述实施例仅例示性说明本发明的原理及其功效,而非用于限制本发明。任何本领域技术人员均可在不违背本发明的精神及范畴下,对上述实施例进行修饰与改变。因此,本发明的权利保护范围,应如权利要求书所列。
Claims (8)
1.一种NAS准实时备份系统,包括:
若干生产源节点,连接并共享一个生产NAS存储,各生产源节点均部署监控代理模块,以实时监控并记录所共享的所述生产NAS存储的目录和文件的变化过程,并将该记录发送给同步节点;
同步节点,与各生产源节点共享所述生产NAS存储上的目录,所述同步节点部署备份代理模块,用于接收各生产源节点所记录的文件变化,对接收到的记录信息进行合并分析处理,并根据分析结果对备份节点做同步操作或文件内容的同步;该合并分析处理的方法为:
所述同步节点于接收到各生产源节点发送的文件变化的记录后,负责将该些记录信息合并,以确定最近时间段内被操作变化的文件;
所述同步节点在合并处理完各生产源节点的文件变化的记录后,将所有来自于不同生产源节点的处理后的文件变化的操作记录进行一次全部的合并,进一步整理过滤重复记录,分析出哪些目录或文件被修改、新建、删除、重命名等操作;
备份节点,连接一个备份NAS存储以用来保存备份数据,所述备份节点根据接收到的同步节点发送的操作进行相应的同步处理。
2.如权利要求1所述的一种NAS准实时备份系统,其特征在于:所述同步节点得到全局的文件变化的操作记录后,将删除、新建、重命名的操作记录归为一类,将该些操作发送给备份节点,所述备份节点则对应执行相应操作,从而使所述同步节点和备份节点上的状态达到同步;所述同步节点将修改的操作记录归为一类,将修改的操作转化为目录或文件的差异对比备份的操作同步相应文件。
3.如权利要求2所述的一种NAS准实时备份系统,其特征在于:对各生产源节点上挂接的监控路径和同步节点上挂接的同步路径建立一一对应的映射关系,并保留至一路径映射表中,当所述生产源节点将文件变化记录传输给同步节点时,根据该路径映射表进行路径的转换。
4.如权利要求3所述的一种NAS准实时备份系统,其特征在于:所述路径映射表及路径转换的操作实现在生产源节点端或同步节点端。
5.如权利要求3所述的一种NAS准实时备份系统,其特征在于:在所述同步节点和备份节点之间建立一条定时的全量备份任务,定时把所述生产NAS存储上的要备份的文件全部备份到所述备份NAS存储上。
6.如权利要求5所述的一种NAS准实时备份系统,其特征在于:在所述同步节点和备份节点间建立定时的差异比对任务,以定时进行差异比对的检查,并对不一致的数据做同步操作并予以记录。
7.如权利要求6所述的一种NAS准实时备份系统,其特征在于:所述全量备份任务、差异比对任务与准实时增量备份并行处理。
8.一种NAS准实时备份方法,包括如下步骤:
步骤S1,于各生产源节点部署监控代理模块,实时监控并记录所共享的生产NAS存储的目录和文件的变化过程,并将该记录发送给同步节点;
步骤S2,于同步节点部署备份代理模块,接收各生产源节点所记录的文件变化,对接收到的记录信息进行合并分析处理,并根据分析结果对备份节点做同步操作或文件内容的同步;该合并分析处理为:
所述同步节点于接收到各生产源节点发送的文件变化的记录后,负责将该些记录信息合并,以确定最近时间段内被操作变化的文件;
所述同步节点在合并处理完各生产源节点的文件变化的记录后,将所有来自于不同生产源节点的处理后的文件变化的操作记录进行一次全部的合并,进一步整理过滤重复记录,分析出哪些目录或文件被修改、新建、删除、重命名等操作;
步骤S3,备份节点连接一备份NAS存储,以用来保存备份数据,所述备份节点根据接收到的同步节点发送的操作进行相应的处理。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010805042.8A CN112000516B (zh) | 2020-08-12 | 2020-08-12 | 一种nas准实时备份系统及方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010805042.8A CN112000516B (zh) | 2020-08-12 | 2020-08-12 | 一种nas准实时备份系统及方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112000516A CN112000516A (zh) | 2020-11-27 |
CN112000516B true CN112000516B (zh) | 2023-03-24 |
Family
ID=73463534
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010805042.8A Active CN112000516B (zh) | 2020-08-12 | 2020-08-12 | 一种nas准实时备份系统及方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112000516B (zh) |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105677703A (zh) * | 2015-12-25 | 2016-06-15 | 曙光云计算技术有限公司 | Nas文件系统及其访问方法和装置 |
JP2017097416A (ja) * | 2015-11-18 | 2017-06-01 | 富士通株式会社 | 制御装置,ストレージシステムおよび制御プログラム |
CN107015767A (zh) * | 2017-04-06 | 2017-08-04 | 南京三宝弘正视觉科技有限公司 | 一种nas设备、分布式处理系统和方法 |
CN107426288A (zh) * | 2017-05-26 | 2017-12-01 | 郑州云海信息技术有限公司 | 一种基于存储网络的资源共享调度方法和装置 |
CN109120478A (zh) * | 2018-08-28 | 2019-01-01 | 郑州云海信息技术有限公司 | Cifs共享最大连接数的测试方法、装置、设备及系统 |
CN111124301A (zh) * | 2019-12-18 | 2020-05-08 | 深圳供电局有限公司 | 一种对象存储设备的数据一致性存储方法及系统 |
CN111211930A (zh) * | 2019-12-31 | 2020-05-29 | 杭州趣链科技有限公司 | 一种区块链服务容灾备份容器化部署方法 |
CN111338881A (zh) * | 2020-02-29 | 2020-06-26 | 苏州浪潮智能科技有限公司 | 一种nas文件系统并行读写的自动化测试方法及装置 |
-
2020
- 2020-08-12 CN CN202010805042.8A patent/CN112000516B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017097416A (ja) * | 2015-11-18 | 2017-06-01 | 富士通株式会社 | 制御装置,ストレージシステムおよび制御プログラム |
CN105677703A (zh) * | 2015-12-25 | 2016-06-15 | 曙光云计算技术有限公司 | Nas文件系统及其访问方法和装置 |
CN107015767A (zh) * | 2017-04-06 | 2017-08-04 | 南京三宝弘正视觉科技有限公司 | 一种nas设备、分布式处理系统和方法 |
CN107426288A (zh) * | 2017-05-26 | 2017-12-01 | 郑州云海信息技术有限公司 | 一种基于存储网络的资源共享调度方法和装置 |
CN109120478A (zh) * | 2018-08-28 | 2019-01-01 | 郑州云海信息技术有限公司 | Cifs共享最大连接数的测试方法、装置、设备及系统 |
CN111124301A (zh) * | 2019-12-18 | 2020-05-08 | 深圳供电局有限公司 | 一种对象存储设备的数据一致性存储方法及系统 |
CN111211930A (zh) * | 2019-12-31 | 2020-05-29 | 杭州趣链科技有限公司 | 一种区块链服务容灾备份容器化部署方法 |
CN111338881A (zh) * | 2020-02-29 | 2020-06-26 | 苏州浪潮智能科技有限公司 | 一种nas文件系统并行读写的自动化测试方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
CN112000516A (zh) | 2020-11-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10049019B2 (en) | Data backup using metadata mapping | |
US7680834B1 (en) | Method and system for no downtime resychronization for real-time, continuous data protection | |
US7103619B1 (en) | System and method for automatic audit data archiving within a remote database backup system | |
AU2008201240B2 (en) | System and method for exporting data directly from deduplication storage to non-deduplication storage | |
US7873601B1 (en) | Backup of incremental metadata in block based backup systems | |
US8151140B2 (en) | Method and system for virtual on-demand recovery for real-time, continuous data protection | |
CN110704242B (zh) | 一种连续数据保护系统及方法 | |
KR20150070134A (ko) | 가상 데이터베이스를 생성하기 위한 소스 데이터베이스의 지정 시간 복사의 검색 | |
US7519870B1 (en) | Method and system for no downtime, initial data upload for real-time, continuous data protection | |
WO2014090002A1 (zh) | 一种数据同步的方法、装置及系统 | |
US20060294420A1 (en) | Isolating and storing configuration data for disaster recovery | |
US20080222456A1 (en) | Method and System for Implementing Dependency Aware First Failure Data Capture | |
CN109298978B (zh) | 一种指定位置的数据库集群的恢复方法及系统 | |
US20100017445A1 (en) | Backup control method and backup control device | |
US10318387B1 (en) | Automated charge backup modelling | |
CN113391952B (zh) | 一种云原生环境基于lvm快照的自动化备份方法 | |
US7085782B2 (en) | Log grooming in a multi-log environment | |
CN107229540A (zh) | 一种基于时间点的数据库恢复方法及系统 | |
US10223205B2 (en) | Disaster recovery data sync | |
CN112000516B (zh) | 一种nas准实时备份系统及方法 | |
US20070043969A1 (en) | Isolating and storing configuration data for disaster recovery for operating systems providing physical storage recovery | |
CN111581160A (zh) | 一种基于分布式文件管理系统的数据备份还原方法和系统 | |
CN105787135A (zh) | 一种用于数据库日志备份的方法与设备 | |
CN114238018B (zh) | 日志采集文件完整性检测方法、系统、装置及存储介质 | |
CN115203152A (zh) | 一种基于目录监控文件增量同步的方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |