CN110597778B - 一种分布式文件备份和监控的方法及装置 - Google Patents
一种分布式文件备份和监控的方法及装置 Download PDFInfo
- Publication number
- CN110597778B CN110597778B CN201910859098.9A CN201910859098A CN110597778B CN 110597778 B CN110597778 B CN 110597778B CN 201910859098 A CN201910859098 A CN 201910859098A CN 110597778 B CN110597778 B CN 110597778B
- Authority
- CN
- China
- Prior art keywords
- file
- files
- machine
- information
- backup
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 73
- 238000012544 monitoring process Methods 0.000 title claims abstract description 66
- 230000007717 exclusion Effects 0.000 claims description 18
- 238000004590 computer program Methods 0.000 claims description 6
- 230000005540 biological transmission Effects 0.000 claims description 3
- 230000000977 initiatory effect Effects 0.000 claims description 2
- 238000012423 maintenance Methods 0.000 abstract description 10
- 238000010586 diagram Methods 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 8
- 238000004891 communication Methods 0.000 description 5
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000007547 defect Effects 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- -1 electricity Substances 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/14—Error detection or correction of the data by redundancy in operation
- G06F11/1402—Saving, restoring, recovering or retrying
- G06F11/1446—Point-in-time backing up or restoration of persistent data
- G06F11/1448—Management of the data involved in backup or backup restore
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/18—File system types
- G06F16/182—Distributed file systems
- G06F16/184—Distributed file systems implemented as replicated file system
- G06F16/1844—Management specifically adapted to replicated file systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Quality & Reliability (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明实施例提供一种分布式文件备份和监控的方法及装置,包括:在与文件条目所对应的各台机器上,分别将所述文件条目所包含的、除所述机器排除文件以外的文件或文件夹的信息传输到服务器上,所述服务器从一台机器接收到多份具有相同消息摘要和大小的文件时,只保留其中的一份;比对所述文件条目所包含文件在不同机器间的版本,确定文件全部相同,或存在不相同的文件且所述不相同的文件为所述机器间差异文件,备份完成。本发明实施例所公开的分布式文件备份方法将文件条目作为备份的基准,对于同一个业务系统,操作界面上看到的文件条目只有一条,不会由于机器数量的增减、不同机器间文件的差异而有所变化,极大地降低了运维工作量。
Description
技术领域
本发明涉及计算机文件管理领域,尤其涉及一种分布式文件备份和监控的方法及装置。
背景技术
云计算(cloud computing)是分布式计算的一种,指的是通过网络“云”将巨大的数据计算处理程序分解成无数个小程序,然后通过多部服务器组成的系统处理和分析这些小程序,得到结果并返回给用户。云计算把许多计算资源集合起来,通过软件实现自动化管理,只需要很少的人参与,就能让资源被快速提供。也就是说,计算能力作为一种商品,可以在互联网上流通,就像水、电、煤气一样,可以方便地取用,且价格较为低廉。云计算是继互联网、计算机后在信息时代有一种新的革新,云计算是信息时代的一个大飞跃,未来的时代可能是云计算的时代。
随着云计算技术得到越来越广泛的应用,与之配套的运维技术也得到越来越多的重视。运维技术的好坏决定了云计算技术推广应用的成败,一个不时宕机的云计算系统必然不能被用户所接受。
云计算系统的运维技术中,文件安全防护是其中最重要的方面之一,只有保证了云计算系统中文件的安全性,云计算系统才能得到用户的信赖。但随着云计算技术的不断发展,云计算系统的规模在不断扩大,云计算系统所要管理的机器的数量也越来越多,与之相对应的,文件安全防护的工作量也越来越大。如有专业的文件备份与监控工具(产品)将有助于文件安全防护工作。
现有的文件备份与监控工具(产品)的工作逻辑是自上而下的监控和备份,即以业务系统的介质作为基准,去监控部署这份介质的机器的文件是否发生变更。但这种工作逻辑已经无法适应云计算技术发展的现实。随着云计算业务越来越复杂,业务系统的升级也越来越频繁,业务系统自身在运行时可能产生的与初始介质不同的文件越来越多,有可能导致在不同的机器,介质都会不同,极端情况下,每台机器就得定义一份介质作为监控的基准,这会导致相当大的运维工作量,从而降低了整个云计算系统的工作效率。
发明内容
本发明实施例提供一种分布式文件备份和监控的方法及装置,以克服现有的文件备份与监控产品运维工作量大的缺陷,从而降低运维工作量。
第一方面,本发明实施例提供一种分布式文件备份方法,包括:
在与文件条目所对应的各台机器上,分别将所述文件条目所包含的、除所述机器排除文件以外的文件或文件夹的信息传输到服务器上,所述服务器从一台机器接收到多份具有相同消息摘要和大小的文件时,只保留其中的一份;其中,所述文件条目为不同机器间能够被统一备份的文件或文件夹;所述文件条目的信息至少包括:所述文件条目所对应机器的信息、所述文件条目在机器中的路径信息、所述文件条目所包含的机器排除文件的信息、所述文件条目所包含的机器间差异文件的信息;所述文件的信息包括文件的消息摘要和大小,所述文件夹的信息包括子文件列表和大小;
比对所述文件条目所包含文件在不同机器间的版本,确定文件全部相同,或存在不相同的文件且所述不相同的文件为所述机器间差异文件,备份完成。
第二方面,本发明实施例提供一种分布式文件监控方法,所述分布式文件监控方法对所述分布式文件备份方法所得到的备份文件进行监控,包括:
监控所述文件条目的已备份文件,当所述已备份文件发生影响文件内容的变化且所述已备份文件并非所述机器排除文件,发出所述已备份文件已发生变化的信息。
第三方面,本发明实施例提供一种分布式文件备份装置,包括:
文件传输单元,用于在与所述文件条目所对应的各台机器上,分别将所述文件条目所包含的、除所述机器排除文件以外的文件或文件夹的信息传输到服务器上,所述服务器从一台机器接收到多份具有相同消息摘要和大小的文件时,只保留其中的一份;其中,所述文件条目为不同机器间能够被统一备份的文件或文件夹;所述文件条目的信息至少包括:所述文件条目所对应机器的信息、所述文件条目在机器中的路径信息、所述文件条目所包含的机器排除文件的信息、所述文件条目所包含的机器间差异文件的信息;所述文件的信息包括文件的消息摘要和大小,所述文件夹的信息包括子文件列表和大小;
机器间文件比对单元,用于比对所述文件条目所包含文件在不同机器间的版本,确定当文件全部相同,或存在不相同的文件且所述不相同的文件为所述机器间差异文件时,备份完成。
第四方面,本发明实施例提供一种分布式文件监控装置,所述分布式文件监控装置对所述分布式文件备份装置所得到的备份文件进行监控,包括:
监控单元,用于监控所述文件条目的已备份文件,当所述已备份文件发生影响文件内容的变化且所述已备份文件并非所述机器排除文件,发出所述已备份文件已发生变化的信息。
第五方面,本发明实施例提供一种服务器,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现如所述分布式文件备份方法的步骤,或执行所述程序时实现如所述分布式文件监控方法的步骤。
第六方面,本发明实施例提供一种非暂态计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现如所述分布式文件备份方法的步骤,或实现如所述分布式文件监控方法的步骤。
本发明实施例提供的分布式文件备份和监控的方法及装置将文件条目作为备份的基准,对于同一个业务系统,操作界面上看到的文件条目只有一条,不会由于机器数量的增减、不同机器间文件的差异而有所变化,极大地降低了运维工作量。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例中所涉及的文件条目的数据结构示意图;
图2为本发明实施例所提供的一种分布式文件备份方法的流程图;
图3为本发明另一实施例所提供的一种分布式文件备份方法的流程图;
图4为本发明又一实施例所提供的一种分布式文件备份方法的流程图;
图5为本发明实施例所公开的一种分布式文件监控方法的流程图;
图6为本发明另一实施例所公开的一种分布式文件监控方法的流程图;
图7为本发明又一实施例所公开的一种分布式文件监控方法的流程图;
图8为本发明实施例所公开的一种分布式文件备份装置的结构示意图;
图9为本发明实施例所公开的一种分布式文件监控装置的结构示意图;
图10为一种电子设备的实体结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明实施例所公开的分布式文件备份方法采用了自下而上的工作逻辑,把不同机器间可以统一备份和监控的文件或文件夹以一个文件条目的形式进行组织。为了便于理解,首先对文件条目进行定义。
在本发明实施例中,将监控的基准称为文件条目,一个文件条目里含有不同机器间可以统一备份和监控的文件夹或文件的信息。图1为本发明实施例中所涉及的文件条目的数据结构示意图,如图1所示,文件条目的信息可以存储在文件条目表中,所述文件条目表至少包括以下项:文件条目id、文件条目名称、文件条目类型、是否启用多路径配置、排除文件列表、描述、标签列表、是否开启监控、上一条异常信息、差异文件列表、文件条目的其他信息。其中,文件条目id项用于记录区分不同文件条目的身份识别信息,文件条目id可以由全数字组成,也可以是全字母组成,还可以是字母与数字的组合,还可以是本领域技术人员所能想到的其他id命名方式。文件条目id一般由机器自动生成,如一个文件条目id的表达式为:86adfrt-567decgh-iombe32。文件条目名称项用于记录文件条目的名称。与由机器自动生成的文件条目id相比,文件条目的名称一般由用户设定,因此其含义逻辑性强,更易被用户记忆与区分。文件条目类型项用于记录文件条目的类型,在本发明实施例中,所述文件条目的类型包括文件夹(Dir)和文件(File),若文件条目的类型为文件夹,则对其进行备份或监控时需对文件夹的子文件(包括子文件夹下的文件)进行备份或监控,若文件条目的类型为文件时,则对其进行备份或监控时只需对指定的一个文件进行备份或监控。是否启用多路径配置项用于指示所在的文件条目是否启用多路径配置,一旦启用多路径配置,则可对一台机器定义的多个文件夹进行备份或监控,如果不启动多路径配置,则只能对一台机器定义的一个文件夹进行备份或监控。排除文件列表项用于指示哪些机器中的哪些文件是可以被排除、无需备份或监控的,排除文件一般是运行过程中产生的文件,例如日志文件。描述项用于描述文件条目的标注信息,这些标注信息可以是用户添加的有助于用户理解的信息。标签列表项用于记录文件条目的标签,所述标签有助于对文件条目进行筛选,当文件条目较多时通过标签可方便地查找文件条目。是否开启监控项用于指示是否需要对所在文件条目进行监控。上一条异常信息项用于描述上一条异常的相关信息是什么。差异文件列表用于描述与当前文件条目所对应的机器之间有哪些差异文件,差异文件列表中所记录的差异文件通常是被允许存在的。文件条目的其他信息用于描述文件条目的非典型配置。在本发明实施例中,一个文件条目表中可以包含多个文件条目的信息,本领域技术人员应当了解,在本发明的其他实施例中,一个文件条目表也可只包含一个文件条目的信息,即一个文件条目对应一个文件条目表。
文件条目版本表为文件条目表的子表,文件条目版本表中包括有文件条目id项、创建用户项、创建时间项等信息。一个文件条目一般有多个版本,分别对应不同备份时刻的备份文件,因此一个文件条目通常对应有多个文件条目版本。这些文件条目版本可存放在一个文件条目版本表中。
机器文件表为文件条目版本表的子表,机器文件表用于记录机器上所存储的机器文件的文件信息。一机器文件表包括:机器文件id项、文件条目id项、文件条目版本项、机器id项、子条目名称项、子条目的子目录名称项、文件路径项、用户项、真实文件id项、子文件列表项、是否发生更改项、是否开启监控项、备份时间项、文件状态项。其中,机器文件id项用于记录区分不同机器文件的身份识别信息。文件条目id项用于记录区分不同文件条目的身份识别信息,通过文件条目id项可知道机器文件属于哪个文件条目。文件条目版本项用于记录文件条目的版本信息,通过文件条目版本项可知道机器文件属于文件条目的哪个版本。机器id项用于记录机器文件所属机器的身份识别信息。子条目名称项用于记录子条目的名称;所述子条目用于区分同一台机器的不同对比目录。例如,假如一台机器上部署了两个tomcat,若要对比和监控这两个tomcat文件夹的变化情况,可以对这台机器建立两个子条目。子条目的子目录名称项用于记录子条目的子目录名称,所述子目录是子条目的某一个目录的备份名称。文件路径项用于记录文件的存储路径。用户项用于记录用户的相关信息。真实文件id项用于记录当前机器文件所对应的真实文件的身份识别信息。所述真实文件为有着具体内容的、真正备份的文件,而机器文件则是真实文件在机器上的逻辑映射。子文件列表项用于记录当前机器文件所包含的子文件的信息。是否发生更改项用于记录当前的机器文件是否发生了更改。是否开启监控项用于指示是否需要对当前机器文件进行监控。备份时间项用于记录当前机器文件的备份时间。文件状态项用于记录当前机器文件的状态,所述状态包括:未同步备份、正在同步备份、备份成功、备份失败。
子文件表是机器文件表的子表,子文件表用于记录一个子文件的相关信息。当文件条目的类型为文件夹时,一般都需要创建子文件表,以对应其下的子目录或子文件。子文件表包括:子文件id项、目录文件id项、子文件名称项、子文件的相对路径项、子文件类型项、真实文件id项、子文件的子文件列表项、是否发生变更项、是否开启监控项、备份时间项、文件状态项。其中,子文件id项用于记录子文件的身份识别信息。目录文件id项用于记录目录文件的身份识别信息,通过目录文件id可了解当前的子文件属于哪一个机器文件的目录。子文件名称项用于记录子文件的名称。子文件的相对路径项用于记录子文件的相对路径。子文件类型项用于记录子文件的类型,如子文件是目录还是文件。真实文件id项用于记录真实文件的身份识别信息。子文件的子文件列表项用于记录当前子文件所包含的子文件的信息。是否发生更改项用于记录当前的子文件是否发生了更改。是否开启监控项用于指示是否需要对当前子文件进行监控。备份时间项用于记录当前子文件的备份时间。文件状态项用于记录当前子文件的状态。
子文件表还可能有另一个子文件表作为其子表。如一子文件的类型是目录时,它自身还可能包含子文件,此时,还需要按照前述的子文件表的数据结构为该下一级子文件创建子文件列表。以此类推,子文件表的下一级子文件表还可包含一个子文件表,直至最底层的子文件不再有自身的子文件为止。
图2为本发明实施例所提供的一种分布式文件备份方法的流程图,为了解决上述技术问题,如图2所示,本发明实施例公开了一种分布式文件备份方法,该方法涉及服务器与节点机器,所述服务器是指备份中心所在的机器,所述节点机器是备份中心的文件条目中定义的机器。该方法包括:
步骤201、在与文件条目所对应的各台机器上,分别将所述文件条目所包含的、除所述机器排除文件以外的文件或文件夹的信息传输到服务器上,所述服务器从一台机器接收到多份具有相同消息摘要和大小的文件时,只保留其中的一份;其中,
所述文件条目为不同机器间能够被统一备份的文件或文件夹;所述文件条目的信息至少包括:所述文件条目所对应机器的信息、所述文件条目在机器中的路径信息、所述文件条目所包含的机器排除文件的信息、所述文件条目所包含的机器间差异文件的信息;所述文件的信息包括文件的消息摘要和大小,所述文件夹的信息包括子文件列表和大小。在前文对文件条目的定义中,已经对文件条目所含信息的种类、各种信息的含义做了详细说明,在此不再对这些内容做重复描述。从对本步骤的描述可以知道,只要文件具有相同的消息摘要和大小,那么不管它在不同的机器上被保存有多少份,这些文件都会被视为一个文件进行备份。而对于像日志文件这样的文件,通过将其定义为机器排除文件,可避免对这些文件进行备份,有利于节约时间与资源。
步骤202、比对所述文件条目所包含文件在不同机器间的版本,确定当文件全部相同,或存在不相同的文件且所述不相同的文件为所述机器间差异文件时,备份完成。
本步骤中,所述机器间差异文件是机器间允许存在的不相同文件,因此若发现机器间差异文件则不会对备份过程的完成产生影响。
本发明实施例所公开的分布式文件备份方法,由于将文件条目作为备份的基准,不同机器上的文件或文件夹作为一个文件条目被统一备份,因此对于同一个业务系统,用户在分布式文件系统的操作界面上看到的文件条目只有一条,不会由于机器数量的增减、不同机器间文件的差异而有所变化,极大地降低了运维工作量。
基于上述任一实施例,图3为本发明另一实施例所提供的一种分布式文件备份方法的流程图,本发明实施例公开了一种分布式文件备份方法,该方法包括:
步骤301、在与文件条目所对应的各台机器上,分别将所述文件条目所包含的、除所述机器排除文件以外的文件或文件夹的信息传输到服务器上,所述服务器从一台机器接收到多份具有相同消息摘要和大小的文件时,只保留其中的一份;其中,
所述文件条目为不同机器间能够被统一备份的文件或文件夹;所述文件条目的信息至少包括:所述文件条目所对应机器的信息、所述文件条目在机器中的路径信息、所述文件条目所包含的机器排除文件的信息、所述文件条目所包含的机器间差异文件的信息;所述文件的信息包括文件的消息摘要和大小,所述文件夹的信息包括子文件列表和大小;
步骤302、比对所述文件条目所包含文件在不同机器间的版本,存在不相同的文件且所述不相同的文件并非机器间差异文件,修改文件条目后重新进行备份,直至比对所述文件条目所包含文件在不同机器间的版本,文件全部相同或不相同的文件为所述机器间差异文件,备份完成。
基于上述任一实施例,本发明实施例公开了一种分布式文件备份方法,该方法还包括:
在备份完毕后,将文件条目的备份文件压缩存储到网络存储设备上。
本发明实施例所公开的分布式文件备份方法将文件条目的备份文件压缩存储到网络存储设备上,有助于提升备份文件的安全性与获取的便利性。
基于上述任一实施例,图4为本发明又一实施例所提供的一种分布式文件备份方法的流程图,本发明实施例公开了一种分布式文件备份方法,该方法具体包括以下步骤:
步骤401、定义文件条目;
本步骤中,所述定义文件条目包括:将不同机器间能够被统一备份的文件或文件夹作为一个文件条目,设定文件条目所对应的机器、文件路径以及何种类型的文件能作为无需备份的机器排除文件或允许存在的机器间差异文件,是否启用多路径配置等。
步骤402、发起备份命令;
步骤403、获取文件条目中各台机器的文件信息;
步骤404、节点机器根据参数和文件条目中的设置查找相应的信息;
所述参数包括文件条目id、文件条目类型、子文件列表(如文件条目类型为文件夹)、文件大小和消息摘要(如文件条目类型为文件)等信息。
步骤405、判断所查找到的信息是否是文件夹,如果是,执行下一步,否则执行步骤407;
步骤406、返回文件夹所监控的子文件列表和大小,然后执行步骤408;其中,根据文件条目中的排除文件列表,可不向服务器返回符合排除规则的文件;
步骤407、返回文件的大小和md5值,然后执行下一步;
步骤408、取得节点机器的文件信息;
步骤409、判断所取得的文件信息是否为文件夹信息,如果是,执行下一步,否则,执行步骤412;
步骤410、保存该文件夹信息,并遍历该文件夹的子文件列表;
步骤411、判断子文件是否是文件夹,如果是,重新执行步骤404,否则,执行下一步;
步骤412、当前服务器是否存在与所取得的文件md5值和大小对应的文件,如果否,执行下一步,如果是,执行步骤416;
步骤413、向相应的节点机器请求远程拷贝文件到服务器中;
步骤414、节点机器根据参数返回文件的内容;
步骤415、服务器保存所接收到的文件内容;
步骤416、是否还有未处理的文件或文件夹,如果是,重新执行步骤409,否则,执行下一步;
步骤417、机器文件备份完毕;
步骤418、对文件条目中的多台机器进行机器间的文件比对;
步骤419、对查找出的不相同文件判断是否是文件条目中预定义的差异文件,如果是,执行步骤422,否则,执行下一步;
步骤420、提示用户需要更新文件条目的差异文件;
步骤421、更新差异文件后,重新发起备份命令,执行步骤402;
步骤422、备份完毕;
步骤423、在备份完毕后,将文件条目的备份文件压缩存储到网络存储设备上。
采用本发明实施例所公开的分布式文件备份方法后,对于同一个业务系统,操作界面上看到的文件条目只有一条,不会由于机器数量的增减、不同机器间文件的差异而有所变化,极大地降低了运维工作量。
基于上述任一实施例,本发明实施例还公开了一种分布式文件监控方法,该监控方法对前述分布式文件备份方法所得到的备份文件进行监控,以及时了解文件的变化情况。图5为本发明实施例所公开的一种分布式文件监控方法的流程图,如图所示,该方法包括:
步骤501、监控所述文件条目的已备份文件,当所述已备份文件发生影响文件内容的变化且所述已备份文件并非所述机器排除文件,发出所述已备份文件已发生变化的信息。
本发明实施例所公开的分布式文件监控方法能够对已备份的分布式文件做实时监控,一旦文件内容发生变化,可及时记录变化,保证了数据的安全性与可靠性。
基于上述任一实施例,本发明实施例还公开了一种分布式文件监控方法,该监控方法对前述分布式文件备份方法所得到的备份文件进行监控,以及时了解文件的变化情况。图6为本发明实施例所公开的一种分布式文件监控方法的流程图,如图所示,该方法包括:
步骤601、监控所述文件条目的已备份文件,当所述已备份文件发生影响文件内容的变化且所述已备份文件为所述机器排除文件,忽略所述已备份文件的变化。
基于上述任一实施例,本发明实施例还公开了一种分布式文件监控方法,该监控方法对前述分布式文件备份方法所得到的备份文件进行监控,以及时了解文件的变化情况。图7为本发明实施例所公开的一种分布式文件监控方法的流程图,如图所示,该方法包括:
步骤701、服务器发起监控文件条目的命令;
步骤702、节点机器获取文件条目的已经备份好的文件信息作为监控的基准信息;
步骤703、开始监控文件的变化情况,所述变化情况包括添加、删除、修改在内的实际影响文件内容的操作;
步骤704、一旦发现文件发生变化,判断发生变化的文件是否属于排除文件,如果是,执行步骤707,否则,执行下一步;
步骤705、发送文件的变化信息给服务器;
步骤706、服务器记录文件的变化信息;
步骤707、忽略文件的变化。
本发明实施例所公开的分布式文件监控方法能够对已备份的分布式文件做实时监控,一旦文件内容发生变化,可及时记录变化,保证了数据的安全性与可靠性。
基于上述任一实施例,本发明实施例还公开了一种分布式文件备份装置,图8为本发明实施例所公开的一种分布式文件备份装置的结构示意图,如图8所示,该装置包括:
文件传输单元801,用于在与所述文件条目所对应的各台机器上,分别将所述文件条目所包含的、除所述机器排除文件以外的文件或文件夹的信息传输到服务器上,所述服务器从一台机器接收到多份具有相同消息摘要和大小的文件时,只保留其中的一份;其中,所述文件条目为不同机器间能够被统一备份的文件或文件夹;所述文件条目的信息至少包括:所述文件条目所对应机器的信息、所述文件条目在机器中的路径信息、所述文件条目所包含的机器排除文件的信息、所述文件条目所包含的机器间差异文件的信息;所述文件的信息包括文件的消息摘要和大小,所述文件夹的信息包括子文件列表和大小;
机器间文件比对单元802,用于比对所述文件条目所包含文件在不同机器间的版本,确定当文件全部相同,或存在不相同的文件且所述不相同的文件为所述机器间差异文件时,备份完成。
本发明实施例所公开的分布式文件备份装置能够实时监控备份文件的变化情况,一旦文件内容发生变化,可及时记录变化,保证了数据的安全性与可靠性。
基于上述任一实施例,本发明实施例还公开了一种分布式文件监控装置,该分布式文件监控装置对所述分布式文件备份装置所得到的备份文件进行监控,图9为本发明实施例所公开的一种分布式文件监控装置的结构示意图,如图9所示,该监控装置包括:
监控单元901,用于监控所述文件条目的已备份文件,当所述已备份文件发生影响文件内容的变化且所述已备份文件并非所述机器排除文件,发出所述已备份文件已发生变化的信息。
图10示例了一种电子设备的实体结构示意图,如图10所示,该电子设备可以包括:处理器(processor)1010、通信接口(Communications Interface)1020、存储器(memory)1030和通信总线1040,其中,处理器1010,通信接口1020,存储器1030通过通信总线1040完成相互间的通信。处理器1010可以调用存储器1030中的逻辑指令,以执行如下方法:在与文件条目所对应的各台机器上,分别将所述文件条目所包含的、除所述机器排除文件以外的文件或文件夹的信息传输到服务器上,所述服务器从一台机器接收到多份具有相同消息摘要和大小的文件时,只保留其中的一份;比对所述文件条目所包含文件在不同机器间的版本,当文件全部相同或不相同的文件为所述机器间差异文件时,备份完成。
在另一个本发明实施例中,处理器1010还可以调用存储器1030中的逻辑指令,以执行如下方法:监控所述文件条目的已备份文件,当所述已备份文件发生影响文件内容的变化且所述已备份文件并非所述机器排除文件,发出所述已备份文件已发生变化的信息。
此外,上述的存储器1030中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面,本发明实施例还提供一种非暂态计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现以执行上述各实施例提供的方法,例如包括:在与文件条目所对应的各台机器上,分别将所述文件条目所包含的、除所述机器排除文件以外的文件或文件夹的信息传输到服务器上,所述服务器从一台机器接收到多份具有相同消息摘要和大小的文件时,只保留其中的一份;比对所述文件条目所包含文件在不同机器间的版本,当文件全部相同或不相同的文件为所述机器间差异文件时,备份完成。又例如包括:监控所述文件条目的已备份文件,当所述已备份文件发生影响文件内容的变化且所述已备份文件并非所述机器排除文件,发出所述已备份文件已发生变化的信息。
以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下,即可以理解并实施。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件。基于这样的理解,上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (9)
1.一种分布式文件备份方法,其特征在于,包括:
在与文件条目所对应的各台机器上,分别将所述文件条目所包含的、除所述机器排除文件以外的文件或文件夹的信息传输到服务器上,所述服务器从一台机器接收到多份具有相同消息摘要和大小的文件时,只保留其中的一份;其中,所述文件条目为不同机器间能够被统一备份的文件或文件夹;所述文件条目的信息至少包括:所述文件条目所对应机器的信息、所述文件条目在机器中的路径信息、所述文件条目所包含的机器排除文件的信息、所述文件条目所包含的机器间差异文件的信息;所述文件的信息包括文件的消息摘要和大小,所述文件夹的信息包括子文件列表和大小;
比对所述文件条目所包含文件在不同机器间的版本,确定文件全部相同或存在不相同的文件且所述不相同的文件为所述机器间差异文件,备份完成;
比对所述文件条目所包含文件在不同机器间的版本,存在不相同的文件且所述不相同的文件并非机器间差异文件,修改文件条目后重新进行备份。
2.根据权利要求1所述的分布式文件备份方法,其特征在于,还包括:备份完成后,将所述文件条目的备份文件压缩存储到网络存储设备上。
3.根据权利要求1所述的分布式文件备份方法,其特征在于,该方法进一步包括:
步骤S1、定义文件条目;
步骤S2、发起备份命令;
步骤S3、获取文件条目中各台机器的文件信息;
步骤S4、节点机器根据参数和文件条目中的设置查找相应的信息;
步骤S5、判断所查找到的信息是否是文件夹,如果是,执行下一步,否则执行步骤S7;
步骤S6、返回文件夹所监控的子文件列表和大小,然后执行步骤S8;其中,根据文件条目中的排除文件列表,不向服务器返回符合排除规则的文件;
步骤S7、返回文件的大小和消息摘要,然后执行下一步;
步骤S8、取得节点机器的文件信息;
步骤S9、判断所取得的文件信息是否为文件夹信息,如果是,执行下一步,否则,执行步骤S12;
步骤S10、保存该文件夹信息,并遍历该文件夹的子文件列表;
步骤S11、判断子文件是否是文件夹,如果是,重新执行步骤S4,否则,执行下一步;
步骤S12、当前服务器是否存在与所取得的文件消息摘要和大小对应的文件,如果否,执行下一步,如果是,执行步骤S16;
步骤S13、向相应的节点机器请求远程拷贝文件到服务器中;
步骤S14、节点机器根据参数返回文件的内容;
步骤S15、服务器保存所接收到的文件内容;
步骤S16、是否还有未处理的文件或文件夹,如果是,重新执行步骤S9,否则,执行下一步;
步骤S17、机器文件备份完毕;
步骤S18、对文件条目中的多台机器进行机器间的文件比对;
步骤S19、对查找出的不相同文件判断是否是文件条目中预定义的差异文件,如果是,执行步骤S22,否则,执行下一步;
步骤S20、提示用户需要更新文件条目的差异文件;
步骤S21、更新差异文件后,重新发起备份命令,执行步骤S2;
步骤S22、备份完毕;
步骤S23、在备份完毕后,将文件条目的备份文件压缩存储到网络存储设备上。
4.一种分布式文件监控方法,其特征在于,所述分布式文件监控方法对如所述权利要求1-3任一项所述分布式文件备份方法所得到的备份文件进行监控,包括:
监控所述文件条目的已备份文件,当所述已备份文件发生影响文件内容的变化且所述已备份文件并非所述机器排除文件,发出所述已备份文件已发生变化的信息。
5.根据权利要求4所述的分布式文件监控方法,其特征在于,监控所述文件条目的已备份文件,当所述已备份文件发生影响文件内容的变化且所述已备份文件为所述机器排除文件,忽略所述已备份文件的变化。
6.一种分布式文件备份装置,其特征在于,包括:
文件传输单元,用于在与所述文件条目所对应的各台机器上,分别将所述文件条目所包含的、除所述机器排除文件以外的文件或文件夹的信息传输到服务器上,所述服务器从一台机器接收到多份具有相同消息摘要和大小的文件时,只保留其中的一份;其中,所述文件条目为不同机器间能够被统一备份的文件或文件夹;所述文件条目的信息至少包括:所述文件条目所对应机器的信息、所述文件条目在机器中的路径信息、所述文件条目所包含的机器排除文件的信息、所述文件条目所包含的机器间差异文件的信息;所述文件的信息包括文件的消息摘要和大小,所述文件夹的信息包括子文件列表和大小;
机器间文件比对单元,用于比对所述文件条目所包含文件在不同机器间的版本,确定当文件全部相同,或存在不相同的文件且所述不相同的文件为所述机器间差异文件时,备份完成;
机器间文件比对单元,还用于比对所述文件条目所包含文件在不同机器间的版本,存在不相同的文件且所述不相同的文件并非机器间差异文件,修改文件条目后重新进行备份。
7.一种分布式文件监控装置,其特征在于,所述分布式文件监控装置对所述权利要求6所述分布式文件备份装置所得到的备份文件进行监控,包括:
监控单元,用于监控所述文件条目的已备份文件,当所述已备份文件发生影响文件内容的变化且所述已备份文件并非所述机器排除文件,发出所述已备份文件已发生变化的信息。
8.一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现如权利要求1至3任一项所述分布式文件备份方法的步骤,或实现如权利要求4或5所述分布式文件监控方法的步骤。
9.一种非暂态计算机可读存储介质,其上存储有计算机程序,其特征在于,该计算机程序被处理器执行时实现如权利要求1至3任一项所述分布式文件备份方法的步骤,或实现如权利要求4或5所述分布式文件监控方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910859098.9A CN110597778B (zh) | 2019-09-11 | 2019-09-11 | 一种分布式文件备份和监控的方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910859098.9A CN110597778B (zh) | 2019-09-11 | 2019-09-11 | 一种分布式文件备份和监控的方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110597778A CN110597778A (zh) | 2019-12-20 |
CN110597778B true CN110597778B (zh) | 2022-04-22 |
Family
ID=68859083
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910859098.9A Active CN110597778B (zh) | 2019-09-11 | 2019-09-11 | 一种分布式文件备份和监控的方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110597778B (zh) |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102169453A (zh) * | 2011-03-08 | 2011-08-31 | 杭州电子科技大学 | 一种文件在线备份方法 |
CN103761162A (zh) * | 2014-01-11 | 2014-04-30 | 深圳清华大学研究院 | 分布式文件系统的数据备份方法 |
CN104317942A (zh) * | 2014-10-31 | 2015-01-28 | 北京思特奇信息技术股份有限公司 | 一种基于Hadoop云平台的海量数据比对方法及系统 |
CN104410683A (zh) * | 2014-11-21 | 2015-03-11 | 四川神琥科技有限公司 | 一种数据备份方法 |
CN104866394A (zh) * | 2015-06-08 | 2015-08-26 | 肖选文 | 一种分布式文件备份方法和系统 |
US9734156B1 (en) * | 2013-09-13 | 2017-08-15 | Veritas Technologies | Systems and methods for leveraging data-deduplication capabilities of file systems |
CN108628706A (zh) * | 2018-05-02 | 2018-10-09 | 北京新桥信通科技股份有限公司 | 数据备份的方法、装置、系统及存储介质 |
CN109522160A (zh) * | 2018-11-29 | 2019-03-26 | 上海英方软件股份有限公司 | 通过保存文件信息摘要进行文件目录比较备份方法和系统 |
CN109583209A (zh) * | 2018-12-13 | 2019-04-05 | 许昌学院 | 一种用于防御勒索病毒的计算机安全保护系统及方法 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN100485630C (zh) * | 2005-11-21 | 2009-05-06 | 国际商业机器公司 | 具有中央控制的数据备份的方法和系统 |
US8769055B2 (en) * | 2009-04-24 | 2014-07-01 | Microsoft Corporation | Distributed backup and versioning |
CN102316131A (zh) * | 2010-07-02 | 2012-01-11 | 戴元顺 | 云平台系统智能备份 |
CN102141962B (zh) * | 2011-04-07 | 2013-06-19 | 北京航空航天大学 | 一种安全性分布式测试框架系统及其测试方法 |
US9229818B2 (en) * | 2011-07-20 | 2016-01-05 | Microsoft Technology Licensing, Llc | Adaptive retention for backup data |
CN103051721B (zh) * | 2012-12-26 | 2015-11-25 | 华为技术有限公司 | 一种事件通知方法及装置 |
CN105573732B (zh) * | 2014-10-14 | 2019-06-11 | 阿里巴巴集团控股有限公司 | 一种基于分布式系统的业务对象的处理方法和装置 |
CN108255647B (zh) * | 2018-01-18 | 2021-03-23 | 湖南麒麟信安科技股份有限公司 | 一种samba服务器集群下的高速数据备份方法 |
-
2019
- 2019-09-11 CN CN201910859098.9A patent/CN110597778B/zh active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102169453A (zh) * | 2011-03-08 | 2011-08-31 | 杭州电子科技大学 | 一种文件在线备份方法 |
US9734156B1 (en) * | 2013-09-13 | 2017-08-15 | Veritas Technologies | Systems and methods for leveraging data-deduplication capabilities of file systems |
CN103761162A (zh) * | 2014-01-11 | 2014-04-30 | 深圳清华大学研究院 | 分布式文件系统的数据备份方法 |
CN104317942A (zh) * | 2014-10-31 | 2015-01-28 | 北京思特奇信息技术股份有限公司 | 一种基于Hadoop云平台的海量数据比对方法及系统 |
CN104410683A (zh) * | 2014-11-21 | 2015-03-11 | 四川神琥科技有限公司 | 一种数据备份方法 |
CN104866394A (zh) * | 2015-06-08 | 2015-08-26 | 肖选文 | 一种分布式文件备份方法和系统 |
CN108628706A (zh) * | 2018-05-02 | 2018-10-09 | 北京新桥信通科技股份有限公司 | 数据备份的方法、装置、系统及存储介质 |
CN109522160A (zh) * | 2018-11-29 | 2019-03-26 | 上海英方软件股份有限公司 | 通过保存文件信息摘要进行文件目录比较备份方法和系统 |
CN109583209A (zh) * | 2018-12-13 | 2019-04-05 | 许昌学院 | 一种用于防御勒索病毒的计算机安全保护系统及方法 |
Also Published As
Publication number | Publication date |
---|---|
CN110597778A (zh) | 2019-12-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
TWI740901B (zh) | 執行資料恢復操作的方法及裝置 | |
CN107040578B (zh) | 数据同步方法、装置和系统 | |
CN105302533A (zh) | 代码同步方法和装置 | |
WO2019100635A1 (zh) | 自动化测试脚本的编辑方法、装置、终端设备及存储介质 | |
CN108920725B (zh) | 一种对象存储的方法及对象存储网关 | |
CN112596951A (zh) | 一种nas数据容灾方法、装置、设备及存储介质 | |
CN110063042B (zh) | 一种数据库故障的响应方法及其终端 | |
US11366821B2 (en) | Epsilon-closure for frequent pattern analysis | |
CN114328029B (zh) | 一种应用资源的备份方法、装置、电子设备及存储介质 | |
CN110597778B (zh) | 一种分布式文件备份和监控的方法及装置 | |
US20170078311A1 (en) | Maintenance of distributed computing systems | |
CN116226865A (zh) | 云原生应用的安全检测方法、装置、服务器、介质及产品 | |
CN115757270A (zh) | 一种文件版本管理系统、方法及计算机设备 | |
CN113687920B (zh) | 一种分布式系统的对象策略操作方法、装置及设备 | |
CN107438110A (zh) | 一种基于透明计算的终端数据迁移方法及系统 | |
CN114691781A (zh) | 一种数据同步方法、系统、装置、设备及介质 | |
CN103812908A (zh) | 云端文件处理方法以及系统 | |
CN113094367A (zh) | 数据处理方法、装置和服务器 | |
CN112364121A (zh) | 问卷pdf的自动创建方法、装置、存储介质及计算机设备 | |
CN110597854A (zh) | 基于fe工业互联网的数据分类方法及相关产品 | |
CN106293897B (zh) | 组件自动化调度系统 | |
CN110597828A (zh) | 一种数据库变更方法、装置、设备及存储介质 | |
CN113626409B (zh) | 一种测试资料处理方法、装置、设备及存储介质 | |
CN117149727B (zh) | 一种文件处理方法、装置、设备以及存储介质 | |
CN117008890B (zh) | 扩展应用开发系统及方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |