CN106844095A - 文件备份方法、系统及具有该系统的客户端 - Google Patents

文件备份方法、系统及具有该系统的客户端 Download PDF

Info

Publication number
CN106844095A
CN106844095A CN201611228432.3A CN201611228432A CN106844095A CN 106844095 A CN106844095 A CN 106844095A CN 201611228432 A CN201611228432 A CN 201611228432A CN 106844095 A CN106844095 A CN 106844095A
Authority
CN
China
Prior art keywords
data
backup
bitmap
input
client
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201611228432.3A
Other languages
English (en)
Other versions
CN106844095B (zh
Inventor
鲍苏宁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Eisoo Information Technology Co Ltd
Original Assignee
Shanghai Eisoo Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Eisoo Information Technology Co Ltd filed Critical Shanghai Eisoo Information Technology Co Ltd
Priority to CN201611228432.3A priority Critical patent/CN106844095B/zh
Publication of CN106844095A publication Critical patent/CN106844095A/zh
Application granted granted Critical
Publication of CN106844095B publication Critical patent/CN106844095B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14—Error detection or correction of the data by redundancy in operation
    • G06F11/1402—Saving, restoring, recovering or retrying
    • G06F11/1446—Point-in-time backing up or restoration of persistent data
    • G06F11/1458—Management of the backup or restore process
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14—Error detection or correction of the data by redundancy in operation
    • G06F11/1402—Saving, restoring, recovering or retrying
    • G06F11/1446—Point-in-time backing up or restoration of persistent data
    • G06F11/1448—Management of the data involved in backup or backup restore
    • G06F11/1451—Management of the data involved in backup or backup restore by selection of backup contents
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14—Error detection or correction of the data by redundancy in operation
    • G06F11/1402—Saving, restoring, recovering or retrying
    • G06F11/1446—Point-in-time backing up or restoration of persistent data
    • G06F11/1458—Management of the backup or restore process
    • G06F11/1464—Management of the backup or restore process for networked environments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2201/00—Indexing scheme relating to error detection, to error correction, and to monitoring
    • G06F2201/815—Virtual
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2201/00—Indexing scheme relating to error detection, to error correction, and to monitoring
    • G06F2201/84—Using snapshots, i.e. a logical point-in-time copy of the data

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供一种文件备份方法、系统及客户端，文件备份方法包括：通过指定网络协议将服务器端上的一磁盘区域挂载在客户端上形成一虚拟磁盘；于客户端的内存上创建用于第一数据位图和第二数据位图；初始扫描备份数据源的系统位图，读取备份数据源内输入/输出数据，将读取到的备份数据源内输入/输出数据复制至虚拟磁盘；待备份数据源的系统位图扫描完毕后，根据预设的数据备份参数，监控第一数据位图和第二数据位图，通过第一数据位图记录的备份数据源内输入/输出数据的变化状况切换至第二数据位图，根据第二数据位图的变化，将发生变化的输入/输出数据复制到虚拟磁盘。本发明避免了耗时操作，能高效地备份小文件，又保证数据的可靠性。

Description

文件备份方法、系统及具有该系统的客户端
技术领域
本发明属于数据备份容灾领域，特别是涉及一种文件备份方法、系统及具有该系统的客户端。
背景技术
随着计算机技术的迅猛发展，如今绝大部分企业都使用计算机来运作自己的核心业务，由此而产生的数据也成为企业的核心财富，如何有效地保护这些核心数据也成为了企业面临的巨大挑战和关注的焦点。
目前对企业数据保护来说比较头疼困难的是海量小文件的备份。在实际的IT工作环境中，经常存在着文件数量非常巨大，每个文件的数据量又很小的情况，比如办公文件、图片文件、小视频等。这些文件变化并不频繁，对于这样的环境，传统的增量备份或者差异备份方式速度很慢，并且会耗费大量的时间和系统资源。这是由于传统的备份方法在备份时会对备份客户端中的每个文件进行特性描述，建立一个文件特性描述列表，在备份服务端也会建立相应的文件特性描述列表，在备份时会将两个特性列表进行对比，将那些在客户端和服务端不匹配的文件进行备份。对于海量小文件的环境，这种方法显然不合适，会耗费大量时间在文件特性列表的建立和对比上。此外，传统的方法以及一些改进的方法在备份小文件时都是从文件的角度对单个小文件进行复制备份，这其中包括了文件的打开、读取、关闭三个操作，在面对海量小文件时，这三个操作也是非常耗时的。
因此，如何提供一种文件备份方法、系统及具有该系统的客户端，以解决现有技术中针对海量小文件的备份操作非常耗时等缺陷，实已成为本领域从业者亟待解决的技术问题。
发明内容
鉴于以上所述现有技术的缺点，本发明的目的在于提供一种文件备份方法、系统及具有该系统的客户端，用于解决现有技术中针对海量小文件的备份操作非常耗时的问题。
为实现上述目的及其他相关目的，本发明一方面提供一种文件备份方法，应用于包括客户端和与所述客户端通信连接的服务器端的通信网络中，所述文件备份方法包括以下步骤：通过指定网络协议将所述服务器端上的一磁盘区域挂载在所述客户端上，形成一虚拟磁盘；在所述客户端的磁盘区域选择一备份数据源，且于所述客户端的内存上创建用于监控备份数据源的输入/输出数据的变化状况第一数据位图，和用于交换所述第一数据位图中输入/输出数据的变化状况的第二数据位图；初始扫描所述备份数据源的系统位图，读取所述备份数据源内输入/输出数据，并将读取到的所述备份数据源内输入/输出数据复制至所述客户端上形成的虚拟磁盘；待所述备份数据源的系统位图扫描完毕后，根据预设的数据备份参数，监控所述第一数据位图和第二数据位图，通过所述第一数据位图记录的所述备份数据源内输入/输出数据的变化状况切换至所述第二数据位图，根据所述第二数据位图所记录的变化，从备份数据源对应的数据块中读取发生变化的输入/输出数据，并将其复制到所述虚拟磁盘。
于本发明的一实施例中，待所述备份数据源的系统位图扫描完毕后，输出快照指令，以便所述服务器端对复制至所述客户端上形成的虚拟磁盘的输入/输出数据执行快照处理。
于本发明的一实施例中，所述备份数据源包括多个存储输入/输出数据的数据块，将每一数据块与一比特位相对应；初始扫描所述备份数据源的系统位图，当读取到与数据块相对应的比特位为1时，表示该数据块中存储有输入/输出数据，将该数据块中存储的输入/输出数据复制至所述客户端上形成的虚拟磁盘；同时，启动所述第一数据位图，以使其记录备份数据源中发生变化输入/输出数据；当读取到与数据块相对应的比特位为0时，表示该数据块中未存储输入/输出数据。
于本发明的一实施例中，所述预设的数据备份参数包括数据同步周期和快照周期。
于本发明的一实施例中，所述文件备份方法还包括：待所述备份数据源的系统位图扫描完毕后，判断当前时刻是否到达所述数据同步周期，若否，则继续监控第一数据位图记录的所述备份数据源内输入/输出数据的变化状况；若是，通过所述第一数据位图记录的所述备份数据源内输入/输出数据的变化状况切换至所述第二数据位图，并逐位扫描所述第二数据位图中与数据块对应的比特位，若与数据块对应的比特位为1，则读取所述第二数据位图中比特位为1对应的数据块，并将该数据块中的输入/输出数据复制至所述虚拟磁盘，复制后将该比特位置为0；在扫描完毕所述第二数据位图后，产生可恢复时间点。
于本发明的一实施例中，所述文件备份方法还包括：判断当前时间是否达到所述快照周期，若是，输出快照指令，以便所述服务器端对复制至所述客户端上形成的虚拟磁盘的发生变化的输入/输出数据执行快照处理；若否，则继续监控第一数据位图记录的所述备份数据源内输入/输出数据的变化状况。
本发明另一方面提供一种文件备份系统，应用于包括客户端和与所述客户端通信连接的服务器端的通信网络中，所述文件备份系统包括：挂载模块，用于通过指定网络协议将所述服务器端上的一磁盘区域挂载在所述客户端上，形成一虚拟磁盘；创建模块，用于在所述客户端的磁盘区域选择一备份数据源，于所述客户端的内存上创建用于监控备份数据源的输入/输出数据的变化状况的第一数据位图，和用于交换所述第一数据位图中输入/输出数据的变化状况的第二数据位图；初始化备份模块，用于初始扫描所述备份数据源的系统位图，读取所述备份数据源内输入/输出数据，并将读取到的所述备份数据源内输入/输出数据复制至所述客户端上形成的虚拟磁盘；增量备份模块，用于待所述备份数据源的系统位图扫描完毕后，根据预设的数据备份参数，监控所述第一数据位图和第二数据位图，通过所述第一数据位图记录的所述备份数据源内输入/输出数据的变化状况切换至所述第二数据位图，根据所述第二数据位图所记录的变化，从备份数据源对应的数据块中读取发生变化的输入/输出数据，并将其复制到所述虚拟磁盘。
于本发明的一实施例中，所述备份数据源包括多个存储输入/输出数据的数据块，将每一数据块与一比特位相对应；所述初始化备份模块用于初始扫描所述备份数据源的系统位图，当读取到与数据块相对应的比特位为1时，表示该数据块中存储有输入/输出数据，将该数据块中存储的输入/输出数据复制至所述客户端上形成的虚拟磁盘；启动所述第一数据位图，以使其记录备份数据源中发生变化的输入/输出数据；当读取到与数据块相对应的比特位为0时，表示该数据块中未存储输入/输出数据。
于本发明的一实施例中，所述预设的数据备份参数包括数据同步周期和快照周期；所述增量备份模块包括：第一增量处理单元，用于待所述备份数据源的系统位图扫描完毕后，判断当前时刻是否到达所述数据同步周期，若否，则继续监控第一数据位图记录的所述备份数据源内输入/输出数据的变化状况；若是，通过所述第一数据位图记录的所述备份数据源内输入/输出数据的变化状况切换至所述第二数据位图，并逐位扫描所述第二数据位图中与数据块对应的比特位，若与数据块对应的比特位为1，则读取所述第二数据位图中比特位为1对应的数据块，并将该数据块中的输入/输出数据复制至所述虚拟磁盘，复制后将该比特位置为0；在扫描完毕所述第二数据位图后，产生可恢复时间点；第二增量处理单元，用于判断当前时间是否达到所述快照周期，若是，输出快照指令，以便所述服务器端对复制至所述客户端上形成的虚拟磁盘的发生变化的输入/输出数据执行快照处理；若否，则继续监控第一数据位图记录的所述备份数据源内发生变化的输入/输出数据。
本发明又一方面提供一种客户端，所述客户端包括所述的文件备份系统
如上所述，本发明的文件备份方法、系统及具有该系统的客户端，具有以下有益效果：
本发明所述的文件备份方法、系统及具有该系统的客户端通过更新位图记录系统I/O变化，通过切换更新位图和交换位图来周期性同步数据，并且每隔一定时间周期对已备份数据做一次快照处理达到了避免了传统方法建立和对比文件特性描述列表的耗时操作，同时也避免了备份海量小文件时频繁的打开、读取、关闭文件的耗时操作，既能高效地备份小文件，又通过周期性打快照保证了数据的可靠性的技术效果。
附图说明
图1显示为本发明的文件备份方法的方法流程示意图。
图2显示为本发明所采用的iSCSI协议的协议结构示意图。
图3显示为本发明的文件备份方法中S5的具体流程示意图。
图4显示为本发明的文件备份系统于一实施例中的原理结构示意图。
图5显示为本发明的客户端于一实施例中的原理结构示意图。
元件标号说明
1 文件备份系统
11 挂载模块
12 创建模块
13 初始化备份模块
14 增量备份模块
141 第一增量处理单元
142 第二增量处理单元
2 客户端
S1～S5 步骤
S51～S59 步骤
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
本发明所述的文件备份方法、系统及具有该系统的客户端的技术原理为：
通过iSCSI协议将远端备份控制台上的一块磁盘区域挂载到本地生产机上的虚拟磁盘。在系统启动初始化数据复制的同时，创建两个位图——更新位图和交换位图，并启动其中的更新位图记录系统的I/O变化。当系统完成初始化复制时，切换更新位图和交换位图，切换后，更新位图继续记录系统变化I/O，同时扫描交换位图，将在初始化复制过程中有I/O变化的数据块读取并存储到虚拟磁盘中，扫描完成后重置交换位图，并对虚拟磁盘打一次快照。设置一个同步周期和一个快照周期，每隔一个同步周期的时间就将更新位图和交换位图的内容互换，扫描交换位图，得到一个可恢复时间点；每隔一个快照周期的时间就对虚拟磁盘打一次快照。这样就可以实现小文件的永久增量备份。
实施例一
本实施例提供一种文件备份方法，其特征在于，应用于包括客户端和与所述客户端通信连接的服务器端的通信网络中，所述文件备份方法包括以下步骤：
通过指定网络协议将所述服务器端上的一磁盘区域挂载在所述客户端上，形成一虚拟磁盘；
在所述客户端的磁盘区域选择一备份数据源，且于所述客户端的内存上创建用于监控备份数据源的输入/输出数据的变化状况的第一数据位图，和用于交换所述第一数据位图中输入/输出数据的变化状况的第二数据位图；
初始扫描所述备份数据源的系统位图，读取所述备份数据源内输入/输出数据，并将读取到的所述备份数据源内输入/输出数据复制至所述客户端上形成的虚拟磁盘；
待所述备份数据源的系统位图扫描完毕后，根据预设的数据备份参数，监控所述第一数据位图和第二数据位图，通过所述第一数据位图记录的所述备份数据源内输入/输出数据的变换状况切换至所述第二数据位图，根据所述第二数据位图所记录的变化，从备份数据源对应的数据块中读取发生变化的输入/输出数据，并将其复制到所述虚拟磁盘。
以下将结合图示对本实施例所提供的文件备份方法进行详细说明。本实施例所述的文件备份方法应用于包括客户端和与所述客户端通信连接的服务器端的通信网络中。所述客户端包括智能手机，平板电脑，笔记本电脑，台式机等终端设备。于本实施例中，所述客户端为笔记本电脑。所述笔记本电脑中硬盘分为卷C，卷D，卷E。请参阅图1，显示为文件备份方法的方法流程示意图。如图1所示，所述文件备份方法包括以下几个步骤：
S1，通过指定网络协议将所述服务器端上的一磁盘区域挂载在所述客户端上，形成一虚拟磁盘F。在本实施例中，所述指定网络协议为iSCSI协议。请参阅图2，显示为iSCSI协议的协议结构示意图。
S2，在所述客户端的磁盘区域选择一备份数据源(于本实施例中，选择所述客户端的卷D为备份数据源)，在所述客户端的系统启动初始数据复制的同时，在所述客户端的系统内存上创建第一数据位图和第二数据位图。在本实施例中，所述第一数据位图用于监控备份数据源卷D中输入/输出数据的变化状况。所述第一数据位图，又称为更新位图，也是一块内存缓冲区，该缓冲区中的每一个比特位对应于受监控的备份数据源的一个数据块，如果该比特位为1，则表示该数据块中有变化的I/O数据；如果该比特位为0则表示该数据块没有变化的I/O数据。一个数据块的大小可以通过用户自行设定，通常对应于系统的最小分配单元，即一个簇大小或者一个系统block大小。在本实施例中，所述输入/输出数据包括办公文件、图片文件、小视频等小文件。
所述第二数据位图，又称为交换位图，其大小等于所述更新位图的大小。所述第二数据位图用于交换所述第一数据位图中输入/输出数据的变化状况，以使得系统能够周期性将发生变化的数据块写入虚拟磁盘F中。
S3，初始扫描所述备份数据源的系统位图，读取所述备份数据源内输入/输出数据，并将读取到的所述备份数据源内输入/输出数据复制至所述客户端上形成的虚拟磁盘。在本实施例中，所述备份数据源(卷D)包括多个存储输入/输出数据的数据块，将每一数据块与一比特位相对应。所述比特位用1或0表示。与比特位为1对应的数据块，表示该数据块中存储的输入/输出数据；与比特位为0对应的数据块，表示该数据块中未存储输入/输出数据。
具体地，初始扫描所述备份数据源的系统位图，当读取到与数据块相对应的比特位为1时，表示该数据块中存储有输入/输出数据，将该数据块中存储的输入/输出数据复制至所述客户端上形成的虚拟磁盘F；当读取到与数据块相对应的比特位为0时，表示该数据块中未存储输入/输出数据。在本实施例中，初始化将卷D中存储的输入/输出数据复制至虚拟磁盘F的同时，启动所述更新位图，以使其记录卷D中多个数据块中发生变化的输入/输出数据。
S4，待所述备份数据源的系统位图扫描完毕后，输出快照指令至通过iSCSI协议与所述客户端连接的服务器端，以便所述服务器端对复制至所述客户端上形成的虚拟磁盘F的输入/输出数据执行快照处理。
S5，待所述备份数据源的系统位图扫描完毕后，根据预设的数据备份参数，监控所述第一数据位图和第二数据位图，通过所述第一数据位图记录的所述备份数据源内输入/输出数据的变化状况切换至所述第二数据位图，根据所述第二数据位图所记录的变化，从备份数据源对应的数据块中读取发生变化的输入/输出数据，并将其复制到所述虚拟磁盘。本实施例，所述预设的数据备份参数包括数据同步周期和快照周期。请参阅图3，显示为S5的具体流程示意图。如图3所示，所述S5具体包括以下几个步骤：
S51，待所述备份数据源的系统位图扫描完毕后，判断当前时刻是否到达所述数据同步周期，若否，则执行步骤S52，即继续监控第一数据位图记录的所述备份数据源内输入/输出数据的变化状况，即变化的输入/输出数据的数据块对应的比特位为1，未变化的数据块对应的比特位为0；若是，则执行步骤S53。
S53，通过所述第一数据位图记录的所述备份数据源内输入/输出数据的变化状况切换至所述第二数据位图，并逐位扫描所述第二数据位图中与数据块对应的比特位。
S54，判断是否扫描完毕所述第二数据位图，若是，则执行步骤S55，即在扫描完毕所述第二数据位图后，产生可恢复时间点。所述可恢复时间点，是可以将所述客户端的系统恢复到某个状态的时间点，本实施例中，每隔一数据同步周期，会将这段时间段内的变化I/O数据同步复制到所述服务器端上，每同步复制一次就会产生一个时间点，基于该时间点可以将系统恢复到该时间点所处的状态。例如，下午2点启动所述第一数据位图，以记录卷D中发生变化的输入/输出数据，每隔一数据同步周期(2小时)，那就是下午4点将下午2点到4点间变化I/O数据同步复制到所述服务器端上，那么下午2点就为可恢复时间点，基于该时间点可以将客户端的卷D恢复到下午2点时所处的状态。若否，则执行步骤S56。
S56，扫描所述第二数据位图中与数据块对应的比特位是否为1，若是，即与数据块对应的比特位为1，则执行步骤S57，读取所述第二数据位图中比特位为1对应的数据块，并将该数据块复制至所述虚拟磁盘，复制后将该比特位置为0。若否，则返回步骤S53，继续逐位扫描所述第二数据位图中与数据块对应的比特位。
在本实施例中，在执行完步骤S55后，继续执行步骤S58，判断当前时间是否达到所述快照周期，若是，则执行步骤S59，即输出快照指令，以便所述服务器端对复制至所述客户端上形成的虚拟磁盘的发生变化的输入/输出数据执行快照处理；若否，则返回步骤S52，继续监控第一数据位图记录的所述备份数据源内发生变化的输入/输出数据。
本实施例还提供一种文件备份系统1，应用于包括客户端和与所述客户端通信连接的服务器端的通信网络中。请参阅图4，显示为文件备份系统的原理结构示意图。如图4所示，所述文件备份系统1包括：挂载模块11、创建模块12、初始化备份模块13、及增量备份模块14。
所述挂载模块11用于通过指定网络协议将所述服务器端上的一磁盘区域挂载在所述客户端上，形成一虚拟磁盘。
与所述挂载模块11连接的创建模块12用于在所述客户端的磁盘区域选择一备份数据源，于所述客户端的内存上创建用于监控备份数据源中输入/输出数据的变化状况的第一数据位图，和用于交换所述第一数据位图中输入/输出数据的变化状况的第二数据位图。
与所述挂载模块11和创建模块12连接的初始化备份模块13用于初始扫描所述备份数据源的系统位图，读取所述备份数据源内输入/输出数据，并将读取到的所述备份数据源内输入/输出数据复制至所述客户端上形成的虚拟磁盘。在本实施例中，所述备份数据源包括多个存储输入/输出数据的数据块，将每一数据块与一比特位相对应。
具体地，所述初始化备份模块13用于初始扫描所述备份数据源的系统位图，当读取到与数据块相对应的比特位为1时，表示该数据块中存储有输入/输出数据，将该数据块中存储的输入/输出数据复制至所述客户端上形成的虚拟磁盘；启动所述第一数据位图，以使其记录备份数据源中发生变化的输入/输出数据；当读取到与数据块相对应的比特位为0时，表示该数据块中未存储输入/输出数据。
与所述挂载模块11、创建模块12和初始化备份模块13连接的增量备份模块14用于待所述备份数据源的系统位图扫描完毕后，根据预设的数据备份参数，监控所述第一数据位图和第二数据位图，通过所述第一数据位图记录的所述备份数据源内输入/输出数据的变化状况切换至所述第二数据位图，根据所述第二数据位图所记录的变化，从备份数据源对应的数据块中读取发生变化的输入/输出数据，并将其复制到所述虚拟磁盘。在本实施例中，所述预设的数据备份参数包括数据同步周期和快照周期。
具体地，继续参阅图4，所述增量备份模块14包括：
第一增量处理单元141用于待所述备份数据源的系统位图扫描完毕后，判断当前时刻是否到达所述数据同步周期，若否，则继续监控第一数据位图记录的所述备份数据源内输入/输出数据的变化状况；若是，通过所述第一数据位图记录的所述备份数据源内输入/输出数据的变化状况切换至所述第二数据位图，并逐位扫描所述第二数据位图中与数据块对应的比特位，若与数据块对应的比特位为1，则从卷D中读取所述第二数据位图中比特位为1对应的数据块，并将该数据块中的输入/输出数据复制至所述虚拟磁盘，复制后将该比特位置为0；在扫描完毕所述第二数据位图后，产生可恢复时间点。
第二增量处理单元142用于判断当前时间是否达到所述快照周期，若是，输出快照指令，以便所述服务器端对复制至所述客户端上形成的虚拟磁盘的发生变化的输入/输出数据执行快照处理；若否，则继续监控第一数据位图记录的所述备份数据源内输入/输出数据的变化状况。
本实施例所述的文件备份方法及系统通过更新位图记录系统I/O变化，通过切换更新位图和交换位图来周期性同步数据，并且每隔一定时间周期对已备份数据做一次快照处理。本实施例达到了所述的文件备份方法及系统避免了传统方法建立和对比文件特性描述列表的耗时操作，同时也避免了备份海量小文件时频繁的打开、读取、关闭文件的耗时操作，既能高效地备份小文件，又通过周期性打快照保证了数据的可靠性的技术效果。
实施例二
本实施例提供一种客户端2，请参阅图5，显示为客户端的原理结构示意图。如图5所示，所述客户端2包括实施例一中所描述的文件备份系统1。
综上所述，本发明所述的文件备份方法、系统及具有该系统的客户端通过更新位图记录系统I/O变化，通过切换更新位图和交换位图来周期性同步数据，并且每隔一定时间周期对已备份数据做一次快照处理达到了避免了传统方法建立和对比文件特性描述列表的耗时操作，同时也避免了备份海量小文件时频繁的打开、读取、关闭文件的耗时操作，既能高效地备份小文件，又通过周期性打快照保证了数据的可靠性的技术效果。所以，本发明有效克服了现有技术中的种种缺点而具高度产业利用价值。
上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。

Claims (10)

1.一种文件备份方法，其特征在于，应用于包括客户端和与所述客户端通信连接的服务器端的通信网络中，所述文件备份方法包括以下步骤：
通过指定网络协议将所述服务器端上的一磁盘区域挂载在所述客户端上，形成一虚拟磁盘；
在所述客户端的磁盘区域选择一备份数据源，且于所述客户端的内存上创建用于监控备份数据源的输入/输出数据的变化状况第一数据位图，和用于交换所述第一数据位图中输入/输出数据的变化状况的第二数据位图；
初始扫描所述备份数据源的系统位图，读取所述备份数据源内输入/输出数据，并将读取到的所述备份数据源内输入/输出数据复制至所述客户端上形成的虚拟磁盘；
待所述备份数据源的系统位图扫描完毕后，根据预设的数据备份参数，监控所述第一数据位图和第二数据位图，通过所述第一数据位图记录的所述备份数据源内输入/输出数据的变化状况切换至所述第二数据位图，根据所述第二数据位图所记录的变化，从备份数据源对应的数据块中读取发生变化的输入/输出数据，并将其复制到所述虚拟磁盘。
2.根据权利要求1所述的文件备份方法，其特征在于：待所述备份数据源的系统位图扫描完毕后，输出快照指令，以便所述服务器端对复制至所述客户端上形成的虚拟磁盘的输入/输出数据执行快照处理。
3.根据权利要求1所述的文件备份方法，其特征在于：所述备份数据源包括多个存储输入/输出数据的数据块，将每一数据块与一比特位相对应；
初始扫描所述备份数据源的系统位图，当读取到与数据块相对应的比特位为1时，表示该数据块中存储有输入/输出数据，将该数据块中存储的输入/输出数据复制至所述客户端上形成的虚拟磁盘；同时，启动所述第一数据位图，以使其记录备份数据源中发生变化输入/输出数据；
当读取到与数据块相对应的比特位为0时，表示该数据块中未存储输入/输出数据。
4.根据权利要求1所述的文件备份方法，其特征在于：所述预设的数据备份参数包括数据同步周期和快照周期。
5.根据权利要求3所述的文件备份方法，其特征在于：所述文件备份方法还包括：
待所述备份数据源的系统位图扫描完毕后，判断当前时刻是否到达所述数据同步周期，若否，则继续监控第一数据位图记录的所述备份数据源内输入/输出数据的变化状况；若是，通过所述第一数据位图记录的所述备份数据源内输入/输出数据的变化状况切换至所述第二数据位图，并逐位扫描所述第二数据位图中与数据块对应的比特位，若与数据块对应的比特位为1，则读取所述第二数据位图中比特位为1对应的数据块，并将该数据块中的输入/输出数据复制至所述虚拟磁盘，复制后将该比特位置为0；在扫描完毕所述第二数据位图后，产生可恢复时间点。
6.根据权利要求3所述的文件备份方法，其特征在于：所述文件备份方法还包括：
判断当前时间是否达到所述快照周期，若是，输出快照指令，以便所述服务器端对复制至所述客户端上形成的虚拟磁盘的发生变化的输入/输出数据执行快照处理；若否，则继续监控第一数据位图记录的所述备份数据源内输入/输出数据的变化状况。
7.一种文件备份系统，其特征在于，应用于包括客户端和与所述客户端通信连接的服务器端的通信网络中，所述文件备份系统包括：
挂载模块，用于通过指定网络协议将所述服务器端上的一磁盘区域挂载在所述客户端上，形成一虚拟磁盘；
创建模块，用于在所述客户端的磁盘区域选择一备份数据源，于所述客户端的内存上创建用于监控备份数据源的输入/输出数据的变化状况的第一数据位图，和用于交换所述第一数据位图中输入/输出数据的变化状况的第二数据位图；
初始化备份模块，用于初始扫描所述备份数据源的系统位图，读取所述备份数据源内输入/输出数据，并将读取到的所述备份数据源内输入/输出数据复制至所述客户端上形成的虚拟磁盘；
增量备份模块，用于待所述备份数据源的系统位图扫描完毕后，根据预设的数据备份参数，监控所述第一数据位图和第二数据位图，通过所述第一数据位图记录的所述备份数据源内输入/输出数据的变化状况切换至所述第二数据位图，根据所述第二数据位图所记录的变化，从备份数据源对应的数据块中读取发生变化的输入/输出数据，并将其复制到所述虚拟磁盘。
8.根据权利要求7所述的文件备份系统，其特征在于：所述备份数据源包括多个存储输入/输出数据的数据块，将每一数据块与一比特位相对应；
所述初始化备份模块用于初始扫描所述备份数据源的系统位图，当读取到与数据块相对应的比特位为1时，表示该数据块中存储有输入/输出数据，将该数据块中存储的输入/输出数据复制至所述客户端上形成的虚拟磁盘；启动所述第一数据位图，以使其记录备份数据源中发生变化的输入/输出数据；当读取到与数据块相对应的比特位为0时，表示该数据块中未存储输入/输出数据。
9.根据权利要求7所述的文件备份系统，其特征在于：所述预设的数据备份参数包括数据同步周期和快照周期；所述增量备份模块包括：
第一增量处理单元，用于待所述备份数据源的系统位图扫描完毕后，判断当前时刻是否到达所述数据同步周期，若否，则继续监控第一数据位图记录的所述备份数据源内输入/输出数据的变化状况；若是，通过所述第一数据位图记录的所述备份数据源内输入/输出数据的变化状况切换至所述第二数据位图，并逐位扫描所述第二数据位图中与数据块对应的比特位，若与数据块对应的比特位为1，则读取所述第二数据位图中比特位为1对应的数据块，并将该数据块中的输入/输出数据复制至所述虚拟磁盘，复制后将该比特位置为0；在扫描完毕所述第二数据位图后，产生可恢复时间点；
第二增量处理单元，用于判断当前时间是否达到所述快照周期，若是，输出快照指令，以便所述服务器端对复制至所述客户端上形成的虚拟磁盘的发生变化的输入/输出数据执行快照处理；若否，则继续监控第一数据位图记录的所述备份数据源内发生变化的输入/输出数据。
10.一种客户端，其特征在于，所述客户端包括如权利要求7-9中任一项所述的文件备份系统。
CN201611228432.3A 2016-12-27 2016-12-27 文件备份方法、系统及具有该系统的客户端 Active CN106844095B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611228432.3A CN106844095B (zh) 2016-12-27 2016-12-27 文件备份方法、系统及具有该系统的客户端

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611228432.3A CN106844095B (zh) 2016-12-27 2016-12-27 文件备份方法、系统及具有该系统的客户端

Publications (2)

Publication Number Publication Date
CN106844095A true CN106844095A (zh) 2017-06-13
CN106844095B CN106844095B (zh) 2020-04-28

Family

ID=59136786

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611228432.3A Active CN106844095B (zh) 2016-12-27 2016-12-27 文件备份方法、系统及具有该系统的客户端

Country Status (1)

Country Link
CN (1) CN106844095B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107577557A (zh) * 2017-08-24 2018-01-12 郑州云海信息技术有限公司 一种数据备份系统
CN108845895A (zh) * 2018-07-06 2018-11-20 无锡地铁集团有限公司 基于虚拟磁盘文件的流式增量备份方法及装置
CN109408295A (zh) * 2018-11-13 2019-03-01 郑州云海信息技术有限公司 一种基于分布式存储系统的克隆卷填充方法、装置及设备
CN110188068A (zh) * 2019-05-16 2019-08-30 上海爱数信息技术股份有限公司 一种保证文件系统数据一致性的卷级备份方法及装置
CN111143323A (zh) * 2019-12-02 2020-05-12 新华三大数据技术有限公司 Mpp数据库管理方法、装置及系统
CN112015592A (zh) * 2020-08-25 2020-12-01 云和恩墨(北京)信息技术有限公司 数据复制方法及装置
CN113568788A (zh) * 2021-09-26 2021-10-29 成都云祺科技有限公司 Linux非逻辑卷块设备的快照方法、系统及存储介质
CN114356849A (zh) * 2022-03-21 2022-04-15 联想凌拓科技有限公司 文件系统的数据管理方法及装置、电子设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2003062983A2 (en) * 2002-01-16 2003-07-31 Sun Microsystems, Inc. Method, system, and program for determining a modification of a system resource configuration
TW201035760A (en) * 2009-03-18 2010-10-01 Inventec Corp Method for backing up data of a server machine
CN102799503B (zh) * 2012-08-08 2015-06-10 浪潮(北京)电子信息产业有限公司 一种应用于大量小文件的恢复方法
CN105389230A (zh) * 2015-10-21 2016-03-09 上海爱数信息技术股份有限公司 一种结合快照技术的持续数据保护系统及方法
CN106776123A (zh) * 2016-11-25 2017-05-31 上海爱数信息技术股份有限公司 一种容灾实时数据复制方法及系统、备份客户端

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2003062983A2 (en) * 2002-01-16 2003-07-31 Sun Microsystems, Inc. Method, system, and program for determining a modification of a system resource configuration
TW201035760A (en) * 2009-03-18 2010-10-01 Inventec Corp Method for backing up data of a server machine
CN102799503B (zh) * 2012-08-08 2015-06-10 浪潮(北京)电子信息产业有限公司 一种应用于大量小文件的恢复方法
CN105389230A (zh) * 2015-10-21 2016-03-09 上海爱数信息技术股份有限公司 一种结合快照技术的持续数据保护系统及方法
CN106776123A (zh) * 2016-11-25 2017-05-31 上海爱数信息技术股份有限公司 一种容灾实时数据复制方法及系统、备份客户端

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107577557A (zh) * 2017-08-24 2018-01-12 郑州云海信息技术有限公司 一种数据备份系统
CN108845895A (zh) * 2018-07-06 2018-11-20 无锡地铁集团有限公司 基于虚拟磁盘文件的流式增量备份方法及装置
CN108845895B (zh) * 2018-07-06 2022-02-08 无锡地铁集团有限公司 基于虚拟磁盘文件的流式增量备份方法及装置
CN109408295A (zh) * 2018-11-13 2019-03-01 郑州云海信息技术有限公司 一种基于分布式存储系统的克隆卷填充方法、装置及设备
CN110188068A (zh) * 2019-05-16 2019-08-30 上海爱数信息技术股份有限公司 一种保证文件系统数据一致性的卷级备份方法及装置
CN111143323A (zh) * 2019-12-02 2020-05-12 新华三大数据技术有限公司 Mpp数据库管理方法、装置及系统
CN111143323B (zh) * 2019-12-02 2022-04-08 新华三大数据技术有限公司 Mpp数据库管理方法、装置及系统
CN112015592A (zh) * 2020-08-25 2020-12-01 云和恩墨(北京)信息技术有限公司 数据复制方法及装置
CN113568788A (zh) * 2021-09-26 2021-10-29 成都云祺科技有限公司 Linux非逻辑卷块设备的快照方法、系统及存储介质
CN114356849A (zh) * 2022-03-21 2022-04-15 联想凌拓科技有限公司 文件系统的数据管理方法及装置、电子设备及存储介质
CN114356849B (zh) * 2022-03-21 2022-05-17 联想凌拓科技有限公司 文件系统的数据管理方法及装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN106844095B (zh) 2020-04-28

Similar Documents

Publication Publication Date Title
CN106844095A (zh) 文件备份方法、系统及具有该系统的客户端
CN103631958B (zh) 一种页面自动适配实现内容多屏展示的方法
CN106776123A (zh) 一种容灾实时数据复制方法及系统、备份客户端
US9552186B2 (en) Data processing method and electronic device
CN106462454A (zh) 在电子设备之间继续活动
TW201232388A (en) Coordination of animations across multiple applications or processes
CA2993213A1 (en) Method and design for automated testing system
CN103188341B (zh) 远程管理系统、远程管理装置及远程管理方法
CN105190701B (zh) 基于原语的合成系统及方法
CN103456338A (zh) 影片放映管理设备与影片放映管理方法
US20150089383A1 (en) Virtual Desktop Infrastructure (VDI) Login Acceleration
CN111683260A (zh) 基于虚拟主播的节目视频生成方法、系统和存储介质
CN109977170A (zh) 一种政务内外网数据同步的方法及系统
CN112532896A (zh) 视频的制作方法、装置、电子设备以及存储介质
CN111274065B (zh) 一种基于软件的灾备方法及装置
CN111865632A (zh) 分布式数据存储集群的切换方法及切换指令发送方法和装置
CN108984334A (zh) 用于管理会话的方法和设备
CN112612851B (zh) 多中心数据同步方法及装置
CN107291387B (zh) 一种双控磁盘阵列的磁盘接入方法
CN112540735B (zh) 多屏同步显示方法、装置及系统以及计算机存储介质
CN108763017A (zh) 金融业务的应用软件数据处理方法、服务端及存储介质
CN114519434A (zh) 一种智能学习方法及系统
CN103986740A (zh) 一种支持多终端应用的永远在线架构的方法及设备及系统
CN110569231B (zh) 数据迁移方法、装置、设备和介质
CN107404511A (zh) 集群中服务器的替换方法及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant