CN108255647B - 一种samba服务器集群下的高速数据备份方法 - Google Patents

一种samba服务器集群下的高速数据备份方法 Download PDF

Info

Publication number
CN108255647B
CN108255647B CN201810048721.8A CN201810048721A CN108255647B CN 108255647 B CN108255647 B CN 108255647B CN 201810048721 A CN201810048721 A CN 201810048721A CN 108255647 B CN108255647 B CN 108255647B
Authority
CN
China
Prior art keywords
backup
file
data
samba
target file
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810048721.8A
Other languages
English (en)
Other versions
CN108255647A (zh
Inventor
何枭
彭勇
蒋李
申锟铠
刘文清
杨涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hunan Qilin Xin'an Technology Co Ltd
Original Assignee
Hunan Qilin Xin'an Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hunan Qilin Xin'an Technology Co Ltd filed Critical Hunan Qilin Xin'an Technology Co Ltd
Priority to CN201810048721.8A priority Critical patent/CN108255647B/zh
Publication of CN108255647A publication Critical patent/CN108255647A/zh
Application granted granted Critical
Publication of CN108255647B publication Critical patent/CN108255647B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14Error detection or correction of the data by redundancy in operation
    • G06F11/1402Saving, restoring, recovering or retrying
    • G06F11/1446Point-in-time backing up or restoration of persistent data
    • G06F11/1448Management of the data involved in backup or backup restore
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14Error detection or correction of the data by redundancy in operation
    • G06F11/1402Saving, restoring, recovering or retrying
    • G06F11/1446Point-in-time backing up or restoration of persistent data
    • G06F11/1448Management of the data involved in backup or backup restore
    • G06F11/1453Management of the data involved in backup or backup restore using de-duplication of the data

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种samba服务器集群下的高速数据备份方法,实施步骤包括:预先通过备份设备B对存储设备A完成初始数据备份;等待数据备份操作被激活,当数据备份操作被激活时向各个samba服务器节点请求获取差异文件列表,所述差异文件列表包括samba服务器集群下各samba服务器节点截获的客户端发起的samba服务请求的目标文件信息;将所有的差异文件列表合并;基于合并后的差异文件列表通过备份设备B对存储设备A进行数据差异备份。本发明能够解决samba服务器集群环境下增量备份效率低、占用资源过高的问题,具有备份效率高、备份速度快、占用资源低的优点。

Description

一种samba服务器集群下的高速数据备份方法
技术领域
本发明涉及一种samba服务器集群下的高速文件备份方法,具体涉及一种集群环境下基于CIFS文件传输协议的高速数据备份方法。
背景技术
在军队、政府、银行和企业的私有内部网中,存在着很多NAS服务器,在当前大数据风靡的信息时代,数据量动辄几T至几百T,这对于数据备份的性能和准确性来说无疑是巨大的挑战。数据备份类型主要分为全量备份和增量备份两种类型,全量备份对需要备份的数据进行全盘备份,主要依赖于硬件性能和网络环境;增量备份则针对有变化的文件进行备份。现有的增量备份技术主要通过监控需要备份的文件或目录上特定的文件系统事件来决定是否备份该文件或目录,对文件系统事件的监控需要为每个文件创建监控标志,系统运行过程中需要一直监控文件系统事件,这将消耗系统很大的CPU和内存性能,当数据量急剧增长时,这种做法将变得非常不可行。
发明内容
本发明要解决的技术问题:针对现有技术的上述问题,提供一种samba服务器集群下的高速数据备份方法,本发明能够解决samba服务器集群环境下增量备份效率低、占用资源过高的问题,具有备份效率高、备份速度快、占用资源低的优点。
为了解决上述技术问题,本发明采用的技术方案为:
一种samba服务器集群下的高速数据备份方法,实施步骤包括:
1)预先通过备份设备B对存储设备A完成初始数据备份;
2)等待数据备份操作被激活,当数据备份操作被激活时跳转执行下一步;
3)向各个samba服务器节点请求获取差异文件列表,所述差异文件列表包括samba服务器集群下各samba服务器节点截获的客户端发起的samba服务请求的目标文件信息;
4)将所有的差异文件列表合并;
5)基于合并后的差异文件列表通过备份设备B对存储设备A进行数据差异备份。
优选地,步骤4)中将所有差异文件列表合并后还包括对列表中的项目进行排序、去重的过程。
优选地,步骤3)中请求获取的差异文件列表包括删除差异文件列表、一般差异文件列表,所述删除差异文件列表用于记录客户端发起的删除文件类samba服务请求的目标文件信息,所述一般差异文件列表用于记录客户端发起的新增或修改类samba服务请求的目标文件信息;步骤4)将所有的差异文件列表合并后得到合并后的删除差异文件列表以及一般差异文件列表。
优选地,步骤5)的详细步骤包括:
5.1)将合并后的删除差异文件列表中的目标文件从备份设备B中删除;
5.2)针对合并后的一般差异文件列表中的每一个目标文件,将目标文件的存储数据划分为数据块,针对存储设备A和备份设备B中的数据块进行比较判断是否发生变动,且将发生变动的数据块从存储设备A复制到备份设备B,并在备份设备B中组合生成与目标文件相同的临时文件,并将该临时文件重命名覆盖目标文件对应的备份文件。
优选地,步骤5.2)的详细步骤包括:
5.2.1)存储设备A从合并后的一般差异文件列表中遍历选择一个当前目标文件a1;
5.2.2)存储设备A将当前目标文件a1的信息发送给备份设备B;
5.2.3)备份设备B找到当前目标文件a1对应的备份目标文件a2,并将备份目标文件a2划分为大小固定的数据块并编号,同时记录数据块的起始偏移地址以及数据块长度;
5.2.4) 备份设备B将对备份目标文件a2划分的每个数据块根据其内容都计算CRC32校验码,并将对备份目标文件a2计算出的所有数据块的CRC32校验码跟随在对应的数据块序号后形成校验码集合,然后发送给存储设备A;
5.2.5)当存储设备A接收到备份目标文件a2的校验码集合后,对校验码集合中的每个数据块的CRC32校验码计算一个哈希值,并以该哈希值做哈希索引放入一个哈希表中,哈希表中的每一个条目都指向校验码集合中它所对应的CRC32校验码的数据块号码,对校验码集合根据哈希值进行排序,使得排序后的校验码集合中的顺序和哈希表中的顺序对应;
5.2.6)存储设备A主机将当前目标文件a1从第一个字节开始取相同的大小的数据块;针对取出的当前数据块,计算当前数据块的校验码并与校验码集合中的校验码进行匹配,如果当前数据块能够匹配上校验码集合中的某个数据块条目,则判定该数据块和备份目标文件a2中的数据块相同且不需要传输给备份设备B,存储设备A直接跳到该数据块的结尾偏移地址,从此偏移处继续取数据块进行匹配直至当前目标文件a1的尾部;如果当前数据块不能匹配上校验码集合中的任意数据条目,则判定该数据块是需要传输给备份设备B的非匹配数据块,存储设备A将跳转到当前数据块的下一个字节,从当前数据块的下一个字节处继续取数据块进行匹配直至当前目标文件a1的尾部;
5.2.7)存储设备A针对所有匹配的数据块只发送匹配数据块的附加信息传输给备份设备B,如果两个匹配数据块之间有非匹配的数据则将非匹配的数据块及其附加信息传输给备份设备B,所述附加信息包括数据块的起始位置和偏移量;备份设备B收到所有的匹配数据块的附加信息以及非匹配的数据块及其附加信息后,将所有的数据块重组得到与当前目标文件a1内容相同的临时文件,并将临时文件重命名替换备份设备B上存储的备份目标文件a2;
5.2.8)存储设备A判断合并后的一般差异文件列表是否已经遍历完毕,如果尚未遍历完毕,则从合并后的一般差异文件列表中遍历选择下一个当前目标文件a1并跳转执行步骤5.2.2);如果已经遍历完毕,则结束并退出。
优选地,本发明还包括各个samba服务器节点生成差异文件列表的步骤如下:
S1)各个samba服务器节点通过samba服务内置的Hook程序截获每一个客户端的samba服务请求,并通过哈希表记录最近记录过的文件操作,为每一个连接的客户端生成一个独立的临时差异文件列表;当截获一个客户端的samba服务请求时跳转执行下一步;
S2)判断截获的samba服务请求的目标文件是否已经在哈希表中存在,如果已经在哈希表中存在则丢弃该截获的samba服务请求;否则,将该截获的samba服务请求的目标文件写入哈希表中,并将该截获的samba服务请求的目标文件写入临时差异文件列表;
S3)判断客户端是否退出登录或者登录超过指定时间,如果客户端退出登录或者登录超过指定时间,则将该客户端的临时差异文件列表重命名为正式的差异文件列表。
优选地,步骤S1)中产生的临时差异文件列表保存在以当前samba服务器节点名称命名的目录下面。
本发明samba服务器集群下的高速数据备份方法具有下述优点:本发明samba服务器集群下的高速数据备份方法通过向各个samba服务器节点请求获取差异文件列表,差异文件列表包括samba服务器集群下各samba服务器节点截获的客户端发起的samba服务请求的目标文件信息,将所有的差异文件列表合并,基于合并后的差异文件列表通过备份设备B对存储设备A进行数据差异备份,能够解决samba服务器集群环境下增量备份效率低、占用资源过高的问题,具有备份效率高、备份速度快、占用资源低的优点。
附图说明
图1为本发明实施例samba服务器集群的拓扑结构示意图。
图2为本发明实施例方法的基本流程图。
图3为本发明实施例方法中差异文件列表合并及后续预处理的流程图。
图4为本发明实施例方法中进行数据差异备份的流程图。
图5为本发明实施例方法中生产差异文件列表的流程图。
具体实施方式
下文将以图1所示samba服务器集群为例,对本发明samba服务器集群下的高速数据备份方法进行进一步的详细说明。
参见图1,该samba服务器集群包括节点001~节点003共三个samba服务器节点,每一个samba服务器节点负责两个客户端,例如节点001负责客户端C1和C2,存储设备A为所有客户端提供存储网盘服务,备份设备B主要用于对存储设备A进行备份,所有samba服务器节点共享存储设备A和备份设备B。
如图2所示,本实施例samba服务器集群下的高速数据备份方法的实施步骤包括:
1)预先通过备份设备B对存储设备A完成初始数据备份;
2)等待数据备份操作被激活,当数据备份操作被激活时跳转执行下一步;
3)向各个samba服务器节点请求获取差异文件列表,所述差异文件列表包括samba服务器集群下各samba服务器节点截获的客户端发起的samba服务请求的目标文件信息;
4)将所有的差异文件列表合并;
5)基于合并后的差异文件列表通过备份设备B对存储设备A进行数据差异备份。
本实施例中,步骤3)中请求获取的差异文件列表包括删除差异文件列表、一般差异文件列表,所述删除差异文件列表用于记录客户端发起的删除文件类samba服务请求的目标文件信息,所述一般差异文件列表用于记录客户端发起的新增或修改类samba服务请求的目标文件信息;步骤4)将所有的差异文件列表合并后得到合并后的删除差异文件列表以及一般差异文件列表。
如图3所示,本实施例步骤4)中将所有差异文件列表合并后还包括对列表中的项目进行排序、去重的过程。由于存在多个samba服务器节点,以及每一个samba服务器节点都会为登录到自身节点的用户创建差异文件列表,所以当执行备份任务前,需要把所有samba服务器节点上为每个客户端生成的差异文件列表进行合并、排序、去重,从而能够简化数据备份操作,提高数据备份的效率。
如图4所示,本实施例步骤5)的详细步骤包括:
5.1)将合并后的删除差异文件列表中的目标文件从备份设备B中删除;
5.2)针对合并后的一般差异文件列表中的每一个目标文件,将目标文件的存储数据划分为数据块,针对存储设备A和备份设备B中的数据块进行比较判断是否发生变动,且将发生变动的数据块从存储设备A复制到备份设备B,并在备份设备B中组合生成与目标文件相同的临时文件,并将该临时文件重命名覆盖目标文件对应的备份文件。
参见图4,本实施例中一次备份任务执行实际分两个阶段完成,第一阶段先对备份源端删除的文件进行同步,第二阶段则对备份源端有修改或新增的文件进行同步。删除文件同步则只需为备份目标端提供删除文件列表直接在备份目标端执行删除操作即可;对于其他差异文件同步充分考虑到文件可能只是部分块内容有变动,为了节约流量提高备份效率,将差异文件划分为指定大小的块,先根据备份算法找出备份源端和备份目标端待同步文件有差异的块,然后再把有差异的块进行传输,接着备份目标端把备份源端传送的差异块和本地保存的相同块组合成一个和备份源端相同的临时文件,最后把临时文件重命名为差异文件名把备份目标的待备份文件覆盖即完成了同步。
本实施例中,步骤5.2)的详细步骤包括:
5.2.1)存储设备A从合并后的一般差异文件列表中遍历选择一个当前目标文件a1;
5.2.2)存储设备A将当前目标文件a1的信息发送给备份设备B;
5.2.3)备份设备B找到当前目标文件a1对应的备份目标文件a2,并将备份目标文件a2划分为大小固定的数据块并编号,同时记录数据块的起始偏移地址以及数据块长度;
5.2.4) 备份设备B将对备份目标文件a2划分的每个数据块根据其内容都计算CRC32校验码,并将对备份目标文件a2计算出的所有数据块的CRC32校验码跟随在对应的数据块序号后形成校验码集合,然后发送给存储设备A;
5.2.5)当存储设备A接收到备份目标文件a2的校验码集合后,对校验码集合中的每个数据块的CRC32校验码计算一个哈希值,并以该哈希值做哈希索引放入一个哈希表中,哈希表中的每一个条目都指向校验码集合中它所对应的CRC32校验码的数据块号码,对校验码集合根据哈希值进行排序,使得排序后的校验码集合中的顺序和哈希表中的顺序对应;
5.2.6)存储设备A主机将当前目标文件a1从第一个字节开始取相同的大小的数据块;针对取出的当前数据块,计算当前数据块的校验码并与校验码集合中的校验码进行匹配,如果当前数据块能够匹配上校验码集合中的某个数据块条目,则判定该数据块和备份目标文件a2中的数据块相同且不需要传输给备份设备B,存储设备A直接跳到该数据块的结尾偏移地址,从此偏移处继续取数据块进行匹配直至当前目标文件a1的尾部;如果当前数据块不能匹配上校验码集合中的任意数据条目,则判定该数据块是需要传输给备份设备B的非匹配数据块,存储设备A将跳转到当前数据块的下一个字节(匹配成功时跳过的是整个数据块,匹配不成功时跳过的仅是一个字节,以减少数据传输、提升备份效率),从当前数据块的下一个字节处继续取数据块进行匹配直至当前目标文件a1的尾部;
5.2.7)存储设备A针对所有匹配的数据块只发送匹配数据块的附加信息传输给备份设备B,如果两个匹配数据块之间有非匹配的数据则将非匹配的数据块及其附加信息传输给备份设备B,所述附加信息包括数据块的起始位置和偏移量;备份设备B收到所有的匹配数据块的附加信息以及非匹配的数据块及其附加信息后,将所有的数据块重组得到与当前目标文件a1内容相同的临时文件,并将临时文件重命名替换备份设备B上存储的备份目标文件a2;
5.2.8)存储设备A判断合并后的一般差异文件列表是否已经遍历完毕,如果尚未遍历完毕,则从合并后的一般差异文件列表中遍历选择下一个当前目标文件a1并跳转执行步骤5.2.2);如果已经遍历完毕,则结束并退出。
如图5所示,本实施例还包括各个samba服务器节点生成差异文件列表的步骤如下:
S1)各个samba服务器节点通过samba服务内置的Hook程序截获每一个客户端的samba服务请求,并通过哈希表记录最近记录过的文件操作,为每一个连接的客户端生成一个独立的临时差异文件列表;当截获一个客户端的samba服务请求时跳转执行下一步;
S2)判断截获的samba服务请求的目标文件是否已经在哈希表中存在,如果已经在哈希表中存在则丢弃该截获的samba服务请求;否则,将该截获的samba服务请求的目标文件写入哈希表中,并将该截获的samba服务请求的目标文件写入临时差异文件列表;
S3)判断客户端是否退出登录或者登录超过指定时间,如果客户端退出登录或者登录超过指定时间,则将该客户端的临时差异文件列表重命名为正式的差异文件列表。
本实施例中,步骤S1)中产生的临时差异文件列表保存在以当前samba服务器节点名称命名的目录下面,以此来减少节点之间的缓存冲突以及分散全局文件系统对同一目录频繁访问带来的性能问题。
在samba集群环境中,客户端分散登录在集群中每个节点上,每个客户端挂载一个网盘来读写文件。用户对网盘中文件的操作:创建文件、修改文件、删除文件、重命名文件等都会使用CIFS协议传送给服务端samba服务,本实施例中通过改造samba服务,在其置入Hook点截获所有的文件操作。此外本实施例通过改造samba服务,增加一个哈希表,该哈希表用于记录最近记录过的文件操作,以尽量避免重复记录,哈希表大小可根据内存大小进行调整,当哈希表满时,采用最近最少使用的方式淘汰掉对应记录项。对截获的每个文件操作首先会在哈希表缓存中检测是否已经有该文件的操作记录,如果有,则表示最近已经记录了该事件,为了避免不必要的重复记录,丢弃截获的事件;否则则将该文件名写入哈希表缓存中,并将其记录到对应的差异文件列表(删除操作记录到文件删除操作差异文件列表,其他操作记录到一般文件操作差异文件列表)。参见图1,例如C1客户端进行文件操作后,节点001服务器上samba服务内置的Hook程序将截获C1客户端的文件操作,最终节点001会根据C1用户ID为C1用户创建两个独立的临时差异文件列表,当用户退出登录或连续登录指定时间后会将该临时差异文件重命名为正式差异文件列表。在多节点多用户的集群环境中差异文件列表会产生多份差异文件列表,由于哈希表缓存的大小限制,差异文件列表中的文件记录可能会有重复,所以需要对差异文件列表进行统一预处理。预处理阶段首先会对所有节点产生的差异文件列表进行汇总合并得到删除差异文件列表、一般差异文件列表,然后对这两份文件进行排序和去重。在某些特殊的业务系统中可能也可以在该阶段完成相应的特殊处理。
以上所述仅是本发明的优选实施方式,本发明的保护范围并不仅局限于上述实施例,凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理前提下的若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。

Claims (5)

1.一种samba服务器集群下的高速数据备份方法,其特征在于实施步骤包括:
1)预先通过备份设备B对存储设备A完成初始数据备份;
2)等待数据备份操作被激活,当数据备份操作被激活时跳转执行下一步;
3)向各个samba服务器节点请求获取差异文件列表,所述差异文件列表包括samba服务器集群下各samba服务器节点截获的客户端发起的samba服务请求的目标文件信息;
4)将所有的差异文件列表合并;
5)基于合并后的差异文件列表通过备份设备B对存储设备A进行数据差异备份;
步骤5)的详细步骤包括:
5.1)将合并后的删除差异文件列表中的目标文件从备份设备B中删除;
5.2)针对合并后的一般差异文件列表中的每一个目标文件,将目标文件的存储数据划分为数据块,针对存储设备A和备份设备B中的数据块进行比较判断是否发生变动,且将发生变动的数据块从存储设备A复制到备份设备B,并在备份设备B中组合生成与目标文件相同的临时文件,并将该临时文件重命名覆盖目标文件对应的备份文件;
步骤5.2)的详细步骤包括:
5.2.1)存储设备A从合并后的一般差异文件列表中遍历选择一个当前目标文件a1;
5.2.2)存储设备A将当前目标文件a1的信息发送给备份设备B;
5.2.3)备份设备B找到当前目标文件a1对应的备份目标文件a2,并将备份目标文件a2划分为大小固定的数据块并编号,同时记录数据块的起始偏移地址以及数据块长度;
5.2.4)备份设备B将对备份目标文件a2划分的每个数据块根据其内容都计算CRC32校验码,并将对备份目标文件a2计算出的所有数据块的CRC32校验码跟随在对应的数据块序号后形成校验码集合,然后发送给存储设备A;
5.2.5)当存储设备A接收到备份目标文件a2的校验码集合后,对校验码集合中的每个数据块的CRC32校验码计算一个哈希值,并以该哈希值做哈希索引放入一个哈希表中,哈希表中的每一个条目都指向校验码集合中它所对应的CRC32校验码的数据块号码,对校验码集合根据哈希值进行排序,使得排序后的校验码集合中的顺序和哈希表中的顺序对应;
5.2.6)存储设备A主机将当前目标文件a1从第一个字节开始取相同的大小的数据块;针对取出的当前数据块,计算当前数据块的校验码并与校验码集合中的校验码进行匹配,如果当前数据块能够匹配上校验码集合中的某个数据块条目,则判定该数据块和备份目标文件a2中的数据块相同且不需要传输给备份设备B,存储设备A直接跳到该数据块的结尾偏移地址,从此偏移处继续取数据块进行匹配直至当前目标文件a1的尾部;如果当前数据块不能匹配上校验码集合中的任意数据条目,则判定该数据块是需要传输给备份设备B的非匹配数据块,存储设备A将跳转到当前数据块的下一个字节,从当前数据块的下一个字节处继续取数据块进行匹配直至当前目标文件a1的尾部;
5.2.7)存储设备A针对所有匹配的数据块只发送匹配数据块的附加信息传输给备份设备B,如果两个匹配数据块之间有非匹配的数据则将非匹配的数据块及其附加信息传输给备份设备B,所述附加信息包括数据块的起始位置和偏移量;备份设备B收到所有的匹配数据块的附加信息以及非匹配的数据块及其附加信息后,将所有的数据块重组得到与当前目标文件a1内容相同的临时文件,并将临时文件重命名替换备份设备B上存储的备份目标文件a2;
5.2.8)存储设备A判断合并后的一般差异文件列表是否已经遍历完毕,如果尚未遍历完毕,则从合并后的一般差异文件列表中遍历选择下一个当前目标文件a1并跳转执行步骤5.2.2);如果已经遍历完毕,则结束并退出。
2.根据权利要求1所述的samba服务器集群下的高速数据备份方法,其特征在于,步骤4)中将所有差异文件列表合并后还包括对列表中的项目进行排序、去重的过程。
3.根据权利要求1所述的samba服务器集群下的高速数据备份方法,其特征在于,步骤3)中请求获取的差异文件列表包括删除差异文件列表、一般差异文件列表,所述删除差异文件列表用于记录客户端发起的删除文件类samba服务请求的目标文件信息,所述一般差异文件列表用于记录客户端发起的新增或修改类samba服务请求的目标文件信息;步骤4)将所有的差异文件列表合并后得到合并后的删除差异文件列表以及一般差异文件列表。
4.根据权利要求1所述的samba服务器集群下的高速数据备份方法,其特征在于,还包括各个samba服务器节点生成差异文件列表的步骤如下:
S1)各个samba服务器节点通过samba服务内置的Hook程序截获每一个客户端的samba服务请求,并通过哈希表记录最近记录过的文件操作,为每一个连接的客户端生成一个独立的临时差异文件列表;当截获一个客户端的samba服务请求时跳转执行下一步;
S2)判断截获的samba服务请求的目标文件是否已经在哈希表中存在,如果已经在哈希表中存在则丢弃该截获的samba服务请求;否则,将该截获的samba服务请求的目标文件写入哈希表中,并将该截获的samba服务请求的目标文件写入临时差异文件列表;
S3)判断客户端是否退出登录或者登录超过指定时间,如果客户端退出登录或者登录超过指定时间,则将该客户端的临时差异文件列表重命名为正式的差异文件列表。
5.根据权利要求4所述的samba服务器集群下的高速数据备份方法,其特征在于,步骤S1)中产生的临时差异文件列表保存在以当前samba服务器节点名称命名的目录下面。
CN201810048721.8A 2018-01-18 2018-01-18 一种samba服务器集群下的高速数据备份方法 Active CN108255647B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810048721.8A CN108255647B (zh) 2018-01-18 2018-01-18 一种samba服务器集群下的高速数据备份方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810048721.8A CN108255647B (zh) 2018-01-18 2018-01-18 一种samba服务器集群下的高速数据备份方法

Publications (2)

Publication Number Publication Date
CN108255647A CN108255647A (zh) 2018-07-06
CN108255647B true CN108255647B (zh) 2021-03-23

Family

ID=62740828

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810048721.8A Active CN108255647B (zh) 2018-01-18 2018-01-18 一种samba服务器集群下的高速数据备份方法

Country Status (1)

Country Link
CN (1) CN108255647B (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11210177B2 (en) * 2018-10-02 2021-12-28 Acronis International Gmbh System and method for crash-consistent incremental backup of cluster storage
CN111124268B (zh) * 2018-10-31 2023-05-09 阿里巴巴集团控股有限公司 数据复制方法、装置、系统及电子设备
CN109710466A (zh) * 2019-01-03 2019-05-03 浪潮商用机器有限公司 一种数据备份方法及装置
CN110083614B (zh) * 2019-04-04 2023-06-06 中国银联股份有限公司 一种数据处理方法及服务器
CN111930557B (zh) * 2019-05-13 2024-05-28 阿里巴巴集团控股有限公司 数据的处理方法、装置及设备
CN110597778B (zh) * 2019-09-11 2022-04-22 北京宝兰德软件股份有限公司 一种分布式文件备份和监控的方法及装置
CN112131200B (zh) * 2020-09-15 2024-06-04 北京精一强远科技有限公司 一种基于cifs共享的分布式海量文件查询系统和方法
CN112685131A (zh) * 2020-12-18 2021-04-20 湖南麒麟信安科技股份有限公司 基于应用虚拟化打开本地文件的方法及装置
CN113238891A (zh) * 2021-03-19 2021-08-10 浪潮云信息技术股份公司 一种基于备份链的备份删除方法及系统
CN114020539B (zh) * 2022-01-05 2022-03-18 国家超级计算天津中心 基于云环境下的块存储自适应备份系统
CN115640170B (zh) * 2022-12-26 2023-03-21 交通运输部公路科学研究所 一种大数据同步备份及校验方法
CN117640667B (zh) * 2023-12-20 2024-07-12 河北网新科技集团股份有限公司 交易信息访问方法及装置、终端设备、存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104484599A (zh) * 2014-12-16 2015-04-01 北京奇虎科技有限公司 一种基于应用程序的行为处理方法和装置
US9152638B1 (en) * 2013-01-10 2015-10-06 Symantec Corporation Method and apparatus for file backup
CN105677450A (zh) * 2014-11-18 2016-06-15 中兴通讯股份有限公司 终端远程的操作方法及装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8862841B2 (en) * 2006-04-25 2014-10-14 Hewlett-Packard Development Company, L.P. Method and system for scaleable, distributed, differential electronic-data backup and archiving

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9152638B1 (en) * 2013-01-10 2015-10-06 Symantec Corporation Method and apparatus for file backup
CN105677450A (zh) * 2014-11-18 2016-06-15 中兴通讯股份有限公司 终端远程的操作方法及装置
CN104484599A (zh) * 2014-12-16 2015-04-01 北京奇虎科技有限公司 一种基于应用程序的行为处理方法和装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
"基于Linux的文件实时备份系统设计与实现";刘斌;《中国优秀硕士学位论文全文数据库 信息科技辑》;20150315(第03期);第I138-1488页 *
"基于差异数据的块级数据块备份系统";李自尊 等;《四川大学学报(自然科学版)》;20120731;第49卷(第4期);第783-789页 *

Also Published As

Publication number Publication date
CN108255647A (zh) 2018-07-06

Similar Documents

Publication Publication Date Title
CN108255647B (zh) 一种samba服务器集群下的高速数据备份方法
US10983961B2 (en) De-duplicating distributed file system using cloud-based object store
US10983868B2 (en) Epoch based snapshot summary
US9817710B2 (en) Self-describing data blocks stored with atomic write
US9495379B2 (en) Locality aware, two-level fingerprint caching
US7814149B1 (en) Client side data deduplication
US7702640B1 (en) Stratified unbalanced trees for indexing of data items within a computer system
US7478113B1 (en) Boundaries
US7366859B2 (en) Fast incremental backup method and system
US8370297B2 (en) Approach for optimizing restores of deduplicated data
US10387271B2 (en) File system storage in cloud using data and metadata merkle trees
US20060064416A1 (en) Method and system for data reduction
US20100082529A1 (en) Log Structured Content Addressable Deduplicating Storage
WO2017020576A1 (zh) 一种键值存储系统中文件压实的方法和装置
WO2013086969A1 (zh) 重复数据查找方法、装置及系统
JP2012256324A (ja) データ管理方法、および、複合型データ管理システム
US11544150B2 (en) Method of detecting source change for file level incremental backup
CN111522791B (zh) 一种分布式文件重复数据删除系统及方法
CN112069162B (zh) 流计算的数据处理方法、装置、计算机设备和存储介质
US20220188340A1 (en) Tracking granularity levels for accessing a spatial index
US11403024B2 (en) Efficient restoration of content
Xu et al. Reducing replication bandwidth for distributed document databases
US10380141B1 (en) Fast incremental backup method and system
CN109947730B (zh) 元数据恢复方法、装置、分布式文件系统及可读存储介质
CN115098519A (zh) 一种数据存储方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 410000 4th floor, Gongmei building, 156 Sany Avenue, Kaifu District, Changsha City, Hunan Province

Applicant after: Hunan Qilin Xin'an Technology Co., Ltd

Address before: 410000 4th floor, Gongmei building, 156 Sany Avenue, Kaifu District, Changsha City, Hunan Province

Applicant before: HUNAN KYLIN XINAN TECHNOLOGY Co.,Ltd.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant