CN111240893A - 一种基于数据流分片技术的备份和还原管理方法及系统 - Google Patents

一种基于数据流分片技术的备份和还原管理方法及系统 Download PDF

Info

Publication number
CN111240893A
CN111240893A CN201911371678.XA CN201911371678A CN111240893A CN 111240893 A CN111240893 A CN 111240893A CN 201911371678 A CN201911371678 A CN 201911371678A CN 111240893 A CN111240893 A CN 111240893A
Authority
CN
China
Prior art keywords
data
valve
backup
pool
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911371678.XA
Other languages
English (en)
Other versions
CN111240893B (zh
Inventor
张仪
张永生
杨璐
张晋锋
刘瑞贤
王榕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dawning Information Industry Beijing Co Ltd
Original Assignee
Dawning Information Industry Beijing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dawning Information Industry Beijing Co Ltd filed Critical Dawning Information Industry Beijing Co Ltd
Priority to CN201911371678.XA priority Critical patent/CN111240893B/zh
Publication of CN111240893A publication Critical patent/CN111240893A/zh
Application granted granted Critical
Publication of CN111240893B publication Critical patent/CN111240893B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14—Error detection or correction of the data by redundancy in operation
    • G06F11/1402—Saving, restoring, recovering or retrying
    • G06F11/1446—Point-in-time backing up or restoration of persistent data
    • G06F11/1458—Management of the backup or restore process
    • G06F11/1461—Backup scheduling policy
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14—Error detection or correction of the data by redundancy in operation
    • G06F11/1402—Saving, restoring, recovering or retrying
    • G06F11/1446—Point-in-time backing up or restoration of persistent data
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/50—Reducing energy consumption in communication networks in wire-line communication networks, e.g. low power modes or reduced link rate

Abstract

本发明公开了一种基于数据流分片技术的备份和还原管理方法及系统，该方法包括采集原始数据信息进行特征分析和备份策略的选择，输出数据流进行数据分割；在数据流分割过程中，对数据流分割出来的数据流产生的特征信息，进行管理记录；根据对原始数据特征进行分析的结果，约束输出被分割的数据，以将具有相同特征的数据块存放在同一个存储设备中；根据数据索引管理模块记录的信息或备份目录中的记录，进行数据特征整合；本发明通过对备份数据的特征分析，进行快速备份和还原；对不同的原始数据类型进行快速分析备份和恢复，能够对分散的数据文件和目录进行数据合并，然后按照顺序分片和存储，进而降低备份和恢复时间，实现业务和数据的快速恢复。

Description

一种基于数据流分片技术的备份和还原管理方法及系统
技术领域
本发明涉及数据处理技术领域，具体而言，为一种基于数据流分片技术的备份和还原管理方法及系统。
背景技术
随着互联网、移动互联网、物联网等技术的发展，数据的生产在飞速地发展，信息成了一个企业的战略资源，市场竞争和政策的管制要求越来越多的数据被长期的保存，需要对各类信息数据进行收集、保存和备份，从而进行用户行为分析、市场的研究。
现有技术中数据分布式存储和Raid(Redundant Arrays of Independent Disk，磁盘阵列)一定程度提升了数据的读写和灾备能力；分布式存储主要解决了大数据的存储问题，提升了数据的读写能力；Raid从一定程度上提升了数据的读写能力和冗余能力。
随着信息技术的不断发展，数据的量级逐年增加，从传统的GB到现在EP，实现指数级的增长。而随着大数据文件的普遍存在，给备份和容灾带来了挑战。在原始数据损坏的情况下，在千兆网络环境中恢复TB级别的数据往往就需要1天以上，往往会给应用业务带来不便。
传统大数据文件备份耗时长，恢复时间长，导致系统的恢复能力降低。Raid由于本身配置问题，导致数据的恢复能力较低。若raid结构损坏，不及时恢复，会大几率导致整个Raid系统崩溃，从而导致数据的不可逆的损坏。
分布式存储解决了传统大数据的存储问题，但并不适合所有的数据场景，如业务系统镜像进行和数据的存储备份和恢复，使用分布式存储不能充分发挥特长。
有鉴于此，特提出本发明。
发明内容
针对现有技术中的缺陷，本发明提供一种基于数据流分片技术的备份和还原管理方法及系统，以利于日常工作过程中数据文件的备份和快速恢复。
为了实现上述目的，本发明的技术方案为：
一种基于数据流分片技术的备份和还原管理方法，包括
采集原始数据信息，对原始数据特征进行分析和进行备份策略的选择，输出数据流；
获取数据流进行数据分割；
在数据流分割过程中，对数据流分割出来的数据流产生的特征信息，进行管理记录；
根据对原始数据特征进行分析的结果，约束输出被分割的数据，以将具有相同特征的数据块存放在同一个存储设备中；
根据数据索引管理模块记录的信息或备份目录中的记录，进行数据特征整合。
进一步的，上述的基于数据流分片技术的备份和还原管理方法中，所述采集原始数据信息，对原始数据特征进行分析和进行备份策略的选择，输出数据流中，所述原始数据特征至少包括目录结构信息和数据文件的大小信息，所述进行备份策略的选择包括
根据目录结构：若原始数据分散，则将存放于同一磁盘的多个子目录汇总；对汇总后的父目录数据进行压缩合并，然后对合并后的数据文件输入到数据池和数据阀门进行分片；
根据目录结构和数据文件的大小：若原始数据集中，且单个数据文件大小超过预设值，则记录数据文件的位置信息，直接流入数据池和数据阀门进行分片进行分片；
根据目录结构和数据文件的大小：小且分散的数据，进行数据合并，然后进入数据池和数据阀门进行分片；按顺序依次存储到备份服务器磁盘中；
根据数据文件的大小：针对超过预设值的文件，直接进入数据池和数据阀门进行数据分片，按顺序依次存储到备份服务器的磁盘中。
进一步的，上述的基于数据流分片技术的备份和还原管理方法中，所述获取数据流进行数据分割，包括
数据流通过数据输入管道到第一数据阀门，第一数据阀门打开，并在该数据流的头部设置头部标记；此时第一数据阀门打开，第二数据阀门关闭，允许数据流进入数据池；
当数据池盈满时，第一数据阀门关闭，第二数据阀门打开，终止数据流继续流入，允许数据流从数据池中输出；当数据全部输出时，第二数据阀门在数据的尾部设置尾部标记，标示数据块的尾部；
直至将数据文件的数据流依次类推完成全部数据分块。
进一步的，上述的基于数据流分片技术的备份和还原管理方法中，分割后的数据块包括头部标记、分块数据、尾部标记和hash信息。
进一步的，上述的基于数据流分片技术的备份和还原管理方法中，所述在数据流分割过程中，对数据流分割出来的数据流产生的特征信息，进行管理记录，包括对数据块增加的头部标记、尾部标记和数据块hash信息以及原始数据的目录结构信息，进行管理记录。
本发明还提供了一种基于数据流分片技术的备份和还原管理系统，包括：
数据特征分析模块，用于采集原始数据信息，根据原始数据特征进行分析和处理输出；
数据池和阀门模块，用于获取数据特征分析模块的数据流进行数据分割；
数据索引管理模块：用于跟随记录数据池和阀门模块的运行操作，以在数据池和阀门模块进行数据流分割时，对数据分割块增加的特征信息，进行管理记录；
数据特征存储模块：用于根据数据特征分析模块的分析结果，约束输出被分割的数据，从而将具有相同特征的数据分割块存放在同一个存储设备中；
数据恢复模块：根据数据索引管理模块记录的信息或备份目录中的记录，进行数据特征整合。
进一步的，上述的基于数据流分片技术的备份和还原管理系统中，所述数据特征分析模块对原始数据的目录结构和数据文件的大小特征进行分析；所述进行备份策略的选择包括：
根据目录结构：若原始数据分散，则将存放于同一磁盘的多个子目录汇总；对汇总后的父目录数据进行压缩合并，然后对合并后的数据文件输入到数据池和阀门模块进行分片；
根据目录结构和数据文件的大小：若原始数据集中，且单个数据文件大小超过预设值，则记录数据文件的位置信息，直接流入数据池和阀门模块进行分片进行分片；
根据目录结构和数据文件的大小：小且分散的数据，进行数据合并，然后输入数据池和阀门模块进行分片；并按顺序依次存储到备份服务器磁盘中；
根据数据文件的大小：针对超过预设值的文件，直接进入数据池和阀门模块进行数据分片，按顺序依次存储到备份服务器的磁盘中。
进一步的，上述的基于数据流分片技术的备份和还原管理系统中，所述数据池和阀门模块进行数据分割，包括
数据流通过数据输入管道到第一数据阀门，第一数据阀门打开，并在该数据流的头部设置头部标记；此时第一数据阀门打开，第二数据阀门关闭，允许数据流进入数据池；
当数据池盈满时，第一数据阀门关闭，第二数据阀门打开，终止数据流继续流入，允许数据流从数据池中输出；当数据全部输出时，第二数据阀门在数据的尾部设置尾部标记，标示数据块的尾部；
直至将数据文件的数据流依次类推完成全部数据分块。
进一步的，上述的基于数据流分片技术的备份和还原管理系统中，分割后的数据块包括头部标记、分块数据、尾部标记和hash信息。
进一步的，上述的基于数据流分片技术的备份和还原管理系统中，所述数据索引管理模块跟随记录数据池和阀门模块的运行操作，以在数据池和阀门模块进行数据流分割时，对数据块增加的头部标记、尾部标记和数据块hash信息进行管理记录。
与现有技术相比，本发明的有益效果为：
本发明方法和系统通过对备份数据的特征分析，进行备份策选择，继而快速备份和还原；对不同的原始数据类型进行快速分析备份和恢复，能够对分散的数据文件和目录进行数据合并，然后按照顺序分片和存储，进而降低备份和恢复时间，实现业务和数据的快速恢复。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍。在所有附图中，类似的元件或部分一般由类似的附图标记标识。附图中，各元件或部分并不一定按照实际的比例绘制。
图1为本发明一种基于数据流分片技术的备份和还原管理方法的流程示意图；
图2为本发明一种基于数据流分片技术的备份和还原管理系统的逻辑框图；
图3为本发明进行数据分割的示意图；
图4为数据块构成示意图；
图5为数据备份过程的一个具体实施例示意图；
图6为数据备份过程的另一个具体实施例示意图；
图7为数据还原的一个具体实施例示意图。
具体实施方式
下面将结合附图对本发明技术方案的实施例进行详细的描述。以下实施例仅用于更加清楚地说明本发明的技术方案，因此只作为示例，而不能以此来限制本发明的保护范围。
需要注意的是，除非另有说明，本申请使用的技术术语或者科学术语应当为本发明所属领域技术人员所理解的通常意义。
实施例1
如图1和图2所示的，一种基于数据流分片技术的备份和还原管理方法，包括：
S1.采集原始数据信息，对原始数据特征进行分析和进行备份策略的选择，输出数据流；
S2.获取数据流进行数据分割；
S3.在数据流分割过程中，对数据流分割出来的数据流产生的特征信息，进行管理记录；
S4.根据对原始数据特征进行分析的结果，约束输出被分割的数据，从而将具有相同特征的数据分割块存放在同一个存储设备中；
S5.根据数据索引管理模块记录的信息或备份目录中的记录，进行数据特征整合。
本发明方法主要用来对日常工作过程中数据文件的备份和快速恢复，根据磁盘中数据分布特征进行分析，处理以及根据数据特征进行数据备份，进而降低备份和恢复时间，实现业务和数据的快速恢复。
本发明方法的实现步骤不严格按照上述步骤编号顺序进行。
具体的，步骤S1.采集原始数据信息，对原始数据特征进行分析和进行备份策略的选择，输出数据流，包括：
获取原始数据信息，在数据备份前进行特征分析和处理，并输入数据流；其中原始数据信息的特征包括的目录结构和数据文件的大小等。具体的：
根据目录结构：若需备份的数据过于分散，存放于同一磁盘的多个子目录汇总；对汇总后的父目录数据进行压缩合并，然后对合并后的一个数据文件输入到数据池和阀门进行分片(即分块，下文同)；
根据目录结构和数据文件的大小：若需备份的数据比较集中，且单个数据文件较大，则记录数据文件的位置信息，直接流入数据池和阀门进行分片；
根据目录结构和数据文件的大小：小且分散的数据，进行数据合并，然后进行分片；按顺序依次存储到备份服务器磁盘中，可以减少数据读写磁盘的时间；
根据数据文件的大小：针对大文件，直接进行数据分片，按顺序依次存储到备份服务器的磁盘中。
S2.获取数据流进行数据分割
该步骤中，通过数据池和数据阀门实现，其中数据阀门是控制数据流入流出的管理组件，会为数据流设置头部和尾部标记；数据池是负责存储分割数据块大小的缓存；设置至少两个数据阀门在数据池的前后(即程序上的前后顺序)；
数据分割过程包括：
如图3中3a所示的，数据流通过数据输入管道到达数据阀门1(即第一数据阀门，设置在数据池之前)，数据阀门1打开，并在该数据流的头部(head)设置头部标记；此时数据阀门1打开，数据阀门2(第二数据阀门，设置在数据池输出之前)关闭，允许数据流进入数据池；
如图3中3b所示，当数据池盈满时，数据阀门1关闭，数据阀门2打开，终止数据流继续流入，允许数据流从数据池中输出；当数据全部输出时，数据阀门2在数据的尾部(tail)设置尾部标记，标示数据块的尾部；此时一个数据块分割完成，将大数据文件的数据流依次类推实现数据分块。
数据块包括头部标记、分块数据、尾部标记和hash信息，这些信息将被记录在特定模块中(如系统的数据索引管理模块)。
数据池和数据阀门处理后输出的数据块按照顺序头尾依次相接，并去掉头部和尾部标识，进行合并即为原始数据，如图4所示，被分块后的数据块1、数据块2以及数据块3中，tail1＝head2，tail2＝head3，同理，当n个数据块之间依次类推，按照顺序合并，并去掉头部和尾部标识，进行合并即为原始数据。
S3.在数据流分割过程中，对数据流分割出来的数据流产生的特征信息，进行管理记录；
跟随记录数据池和数据阀门的运行操作，以在数据池和数据阀门进行数据流分割时，对数据分割块(即数据块)增加的头部标记、尾部标记和数据块hash(哈希)信息，进行管理记录，保证数据的完整性。
进一步的，还对原始数据的目录结构信息进行记录和管理，以作为数据恢复的依据，快速恢复成原始数据的目录结构。
由于数据流为按照顺序进行的切片，从而头部标记和尾部标记有一一对应的关系，根据这些关系，进行数据分割和合并。
S4.根据对原始数据特征进行分析的结果，约束输出被分割的数据，从而将具有相同特征的数据分割块存放在同一个存储设备中；
根据对原始数据信息的分析结果，对被分割的数据进行约束输出，从而将具有相同特征的数据分割块存放在同一个存储设备中，从而达到有关联关系的数据可以加速恢复；其中相同特征包括目录结构等。
S5.根据数据索引管理模块记录的信息或备份目录中的记录，进行数据特征整合
根据记录的对数据分割块(即数据块)增加的头部标记、尾部标记和数据块hash(哈希)信息，或备份目录中record记录，进行数据特征整合，实现快速重组。在恢复数据时，根据数据块头部标记和尾部标记，以及顺序信息，进行数据块的合并；合并后去掉所有头部标记和尾部标记。
本发明方法通过对备份数据的特征分析，进行快速备份和还原；对不同的原始数据类型进行快速分析备份和恢复，能够对分散的数据文件和目录进行数据合并，然后按照顺序分片和存储，进而降低备份和恢复时间，实现业务和数据的快速恢复。
实施例2
另一方面，本发明还提供了实施上述方法的系统，包括
数据特征分析模块，用于采集原始数据信息，根据原始数据特征进行分析和进行备份策略的选择，输出数据流；
数据池和阀门模块，用于获取数据特征分析模块的数据流进行数据分割；
数据索引管理模块：用于跟随记录数据池和阀门模块的运行操作，以在数据池和阀门模块进行数据流分割时，对数据分割块增加的特征信息，进行管理记录；
数据特征存储模块：用于根据数据特征分析模块的分析结果，约束输出被分割的数据，从而将具有相同特征的数据分割块存放在同一个存储设备中；
数据恢复模块：根据数据索引管理模块记录的信息或备份目录中的记录，进行数据特征整合。
其中，数据特征分析模块：
获取原始数据信息，在数据备份前进行特征分析以便处理后输出到相应的模块中；其中原始数据信息包括目录结构和数据文件的大小等。具体的：
根据目录结构：若需备份的数据过于分散，存放于同一磁盘的多个子目录汇总；后续将对父目录数据进行压缩合并，然后对合并后的一个数据文件输入到数据池和阀门模块进行分片；
根据目录结构和数据文件的大小：若需备份的数据比较集中，且单个数据文件较大，则记录数据文件的位置信息，直接流入数据池和阀门模块进行分片进行分片；
根据目录结构和数据文件的大小：小且分散的数据，进行数据合并，然后进行分片；按顺序依次存储到备份服务器磁盘中，可以减少数据读写磁盘的时间；
根据数据文件的大小：针对大文件，直接进行数据分片，按顺序依次存储到备份服务器的磁盘中。
数据池和阀门模块：
该模块负责数据流的分割工作；其中阀门是控制数据流入流出的管理组件，是负责控制数据流代码来控制数据流截取时机，会为数据流设置头部和尾部标记；数据池是负责存储分割数据块大小的缓存(数据容器)；阀门设置在数据池的前后(即程序上的前后顺序)；
需要分片的数据输入到该模块中进行处理的过程包括：
如图3所示，数据流通过数据输入管道到达数据阀门1(即第一数据阀门，设置在数据池之前)，阀门1打开，并在该数据流的头部设置头部标记；此时数据阀门1打开，阀门2(即第二数据阀门，设置在数据池输出之前)关闭，允许数据流进入数据池；
当数据池盈满时，数据阀门1关闭，阀门2打开，终止数据流继续流入，允许数据流从数据池中输出；当数据全部输出时，阀门2在数据的尾部设置尾部标记，标示数据块的尾部；此时一个数据块分割完成，将大数据文件的数据流依次类推实现数据分块。
数据块包括头部标记、分块数据、尾部标记和hash信息，这些信息将存在数据索引管理模块中。
数据池和阀门模块输出的数据块按照顺序头尾依次相接，并去掉头部和尾部标识，进行合并即为原始数据，如图4所示，被分块后的数据块1、数据块2以及数据块3中，tail1＝head2，tail2＝head3，同理，当n个数据块之间依次类推，按照顺序合并，并去掉头部和尾部标识，进行合并即为原始数据。
数据索引管理模块：
跟随记录数据池和阀门模块的运行操作，以在数据池和阀门模块进行数据流分割时，对数据分割块(即数据块)增加的头部标记、尾部标记和数据块hash(哈希)信息，进行管理记录，保证数据的完整性。
数据索引管理模块还记录并管理原始数据的目录结构信息，在恢复时将这些信息反馈给数据恢复模块，恢复成原始数据的目录结构。
由于数据流为按照顺序进行的切片，从而头部标记和尾部标记有一一对应的关系，根据这些关系，进行数据分割和合并。
数据特征存储模块：
根据数据特征分析模块的分析结果，约束输出被数据池和阀门模块分割的数据，从而将具有相同特征的数据分割块存放在同一个存储设备中，从而达到有关联关系的数据可以加速恢复；其中相同特征包括目录结构等。
数据恢复模块：
根据数据索引管理模块记录的信息或备份目录中record记录，进行数据特征整合，实现快速重组。在恢复数据时，根据数据块头部标记和尾部标记，以及顺序信息，进行数据块的合并；合并后去掉所有头部标记和尾部标记。
显示模块，用于在整个工作过程中，展示数据源(备份源，即原始数据目录)和备份数据路径以及节点信息，以够快速定位备份的存放路径(备份端)。
如图5至图7所示的，本发明系统用于实现备份源和备份端的快速备份，针对不同工作场景，对原始数据进行分析，选择不同的备份策略；
A.针对某目录下存在比较多且分散的数据文件(file)时，先进行合并压缩再进行分片存储，如图5：
对于备份源下小且分散的数据，本系统经过对数据特征分析，选择合并压缩处理，然后输入到数据池和阀门模块进行切片(即分片、分割、分块)；数据分割过程中，记录索引信息，即分割产生的数据库头部标记、尾部标记等等，以利于后续快速恢复数据；经过分割后的数据，根据数据特征存储模块的约束，输入到对应的存储目录下(备份端)，以进行数据快速合并，完成备份。
B.针对某目录下存在多个较大的数据文件时，直接进行并发分片存储，如图6：
对于备份源下存在多个较大的数据文件，本系统经过对数据特征分析，选择直接输入到数据池和阀门模块进行切片(即分片、分割、分块)；数据分割过程中，记录索引信息，即分割产生的数据库头部标记、尾部标记等等，以利于后续快速恢复数据；经过分割后的数据，根据数据特征存储模块的约束，输入到对应的存储目录下(备份端)，以进行数据快速合并，完成备份。并且可以多个磁盘并行处理，提升处理效率。
通过将数据块存放在不同的硬盘中，实现顺序存储，能够极大的提升数据的读写速度，相比于一个大文件和若干的离散文件读写有较高的性能提升，从而提升备份和恢复效率。
如图7，恢复时，根据备份端的分片数据(数据块)以及记录在数据索引管理模块中的信息进行数据合并，输到恢复端(恢复目录)下，进行压缩和解压，保存。
本发明系统通过对备份数据的特征分析进行备份策略的选择，继而快速备份和还原，其中将数据分片(分块)、能将一个大容量的数据文件分割成若干较小文件进行备份并进行顺序存储，减少磁盘读写时寻找磁道的耗时，从而提升数据的备份和恢复能力；
决定磁盘读写性能的指标包括磁盘读写前寻找磁道能力、磁盘读写缓存大小，。磁盘缓存大小在生产时已经确定，没有性能提升空间，磁盘的寻道过程是机械方式的，决定了其随机读写速度将明显低于顺序读写；故本系统通过数据的顺序处理提升磁盘性能，减少备份还原的耗时；并且支持多个磁盘并发处理，通过针对不同目录下的数据，进行并发的分片和存储；通过减少单一硬盘的并发读写的进程数或线程数，并发多硬盘的顺序存储，提升不同目录下数据的备份效率；
数据还原(即恢复)时，依据数据索引管理模块记录的信息还原，即是对数据分块(数据块)的hash信息等的校验过程，保证数据的完整性和一致性；
通过展示数据源和备份数据路径和节点信息，够快速定位备份的存放路径。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围，其均应涵盖在本发明的权利要求和说明书的范围当中。

Claims (10)

1.一种基于数据流分片技术的备份和还原管理方法，其特征在于，包括
采集原始数据信息，对原始数据特征进行分析和进行备份策略的选择，输出数据流；
获取数据流进行数据分割；
在数据流分割过程中，对数据流分割出来的数据流产生的特征信息，进行管理记录；
根据对原始数据特征进行分析的结果，约束输出被分割的数据，以将具有相同特征的数据块存放在同一个存储设备中；
根据数据索引管理模块记录的信息或备份目录中的记录，进行数据特征整合。
2.根据权利要求1所述的基于数据流分片技术的备份和还原管理方法，其特征在于，所述采集原始数据信息，对原始数据特征进行分析和进行备份策略的选择，输出数据流中，所述原始数据特征至少包括目录结构信息和数据文件的大小信息，所述进行备份策略的选择包括
根据目录结构：若原始数据分散，则将存放于同一磁盘的多个子目录汇总；对汇总后的父目录数据进行压缩合并，然后对合并后的数据文件输入到数据池和数据阀门进行分片；
根据目录结构和数据文件的大小：若原始数据集中，且单个数据文件大小超过预设值，则记录数据文件的位置信息，直接流入数据池和数据阀门进行分片进行分片；
根据目录结构和数据文件的大小：小且分散的数据，进行数据合并，然后进入数据池和数据阀门进行分片；按顺序依次存储到备份服务器磁盘中；
根据数据文件的大小：针对超过预设值的文件，直接进入数据池和数据阀门进行数据分片，按顺序依次存储到备份服务器的磁盘中。
3.根据权利要求2所述的基于数据流分片技术的备份和还原管理方法，其特征在于，所述获取数据流进行数据分割，包括
数据流通过数据输入管道到第一数据阀门，第一数据阀门打开，并在该数据流的头部设置头部标记；此时第一数据阀门打开，第二数据阀门关闭，允许数据流进入数据池；
当数据池盈满时，第一数据阀门关闭，第二数据阀门打开，终止数据流继续流入，允许数据流从数据池中输出；当数据全部输出时，第二数据阀门在数据的尾部设置尾部标记，标示数据块的尾部；
直至将数据文件的数据流依次类推完成全部数据分块。
4.根据权利要求3所述的基于数据流分片技术的备份和还原管理方法，其特征在于，分割后的数据块包括头部标记、分块数据、尾部标记和hash信息。
5.根据权利要求4所述的基于数据流分片技术的备份和还原管理方法，其特征在于，所述在数据流分割过程中，对数据流分割出来的数据流产生的特征信息，进行管理记录，包括对数据块增加的头部标记、尾部标记和数据块hash信息以及原始数据的目录结构信息，进行管理记录。
6.一种基于数据流分片技术的备份和还原管理系统，其特征在于，包括：
数据特征分析模块，用于采集原始数据信息，根据原始数据特征进行分析和处理输出；
数据池和阀门模块，用于获取数据特征分析模块的数据流进行数据分割；
数据索引管理模块：用于跟随记录数据池和阀门模块的运行操作，以在数据池和阀门模块进行数据流分割时，对数据分割块增加的特征信息，进行管理记录；
数据特征存储模块：用于根据数据特征分析模块的分析结果，约束输出被分割的数据，从而将具有相同特征的数据分割块存放在同一个存储设备中；
数据恢复模块：根据数据索引管理模块记录的信息或备份目录中的记录，进行数据特征整合。
7.根据权利要求6所述的基于数据流分片技术的备份和还原管理系统，其特征在于，所述数据特征分析模块对原始数据的目录结构和数据文件的大小特征进行分析；所述进行备份策略的选择包括：
根据目录结构：若原始数据分散，则将存放于同一磁盘的多个子目录汇总；对汇总后的父目录数据进行压缩合并，然后对合并后的数据文件输入到数据池和阀门模块进行分片；
根据目录结构和数据文件的大小：若原始数据集中，且单个数据文件大小超过预设值，则记录数据文件的位置信息，直接流入数据池和阀门模块进行分片进行分片；
根据目录结构和数据文件的大小：小且分散的数据，进行数据合并，然后输入数据池和阀门模块进行分片；并按顺序依次存储到备份服务器磁盘中；
根据数据文件的大小：针对超过预设值的文件，直接进入数据池和阀门模块进行数据分片，按顺序依次存储到备份服务器的磁盘中。
8.根据权利要求7所述的基于数据流分片技术的备份和还原管理系统，其特征在于，所述数据池和阀门模块进行数据分割，包括
数据流通过数据输入管道到第一数据阀门，第一数据阀门打开，并在该数据流的头部设置头部标记；此时第一数据阀门打开，第二数据阀门关闭，允许数据流进入数据池；
当数据池盈满时，第一数据阀门关闭，第二数据阀门打开，终止数据流继续流入，允许数据流从数据池中输出；当数据全部输出时，第二数据阀门在数据的尾部设置尾部标记，标示数据块的尾部；
直至将数据文件的数据流依次类推完成全部数据分块。
9.根据权利要求7所述的基于数据流分片技术的备份和还原管理方法，其特征在于，分割后的数据块包括头部标记、分块数据、尾部标记和hash信息。
10.根据权利要求4所述的基于数据流分片技术的备份和还原管理方法，其特征在于，所述数据索引管理模块跟随记录数据池和阀门模块的运行操作，以在数据池和阀门模块进行数据流分割时，对数据块增加的头部标记、尾部标记和数据块hash信息进行管理记录。
CN201911371678.XA 2019-12-26 2019-12-26 一种基于数据流分片技术的备份和还原管理方法及系统 Active CN111240893B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911371678.XA CN111240893B (zh) 2019-12-26 2019-12-26 一种基于数据流分片技术的备份和还原管理方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911371678.XA CN111240893B (zh) 2019-12-26 2019-12-26 一种基于数据流分片技术的备份和还原管理方法及系统

Publications (2)

Publication Number Publication Date
CN111240893A true CN111240893A (zh) 2020-06-05
CN111240893B CN111240893B (zh) 2023-07-18

Family

ID=70874108

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911371678.XA Active CN111240893B (zh) 2019-12-26 2019-12-26 一种基于数据流分片技术的备份和还原管理方法及系统

Country Status (1)

Country Link
CN (1) CN111240893B (zh)

Citations (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1492362A (zh) * 2002-10-25 2004-04-28 联想(北京)有限公司 一种嵌入式数据库的数据备份和恢复方法
US20050216788A1 (en) * 2002-11-20 2005-09-29 Filesx Ltd. Fast backup storage and fast recovery of data (FBSRD)
CN101149694A (zh) * 2007-11-02 2008-03-26 西安三茗科技有限责任公司 基于块级的增量备份和整卷恢复的方法
CN101820426A (zh) * 2010-04-22 2010-09-01 华中科技大学 一种在线备份服务软件中的数据压缩方法
CN102053880A (zh) * 2011-01-07 2011-05-11 杭州电子科技大学 一种基于内容的Rar文件雕复方法
CN102169453A (zh) * 2011-03-08 2011-08-31 杭州电子科技大学 一种文件在线备份方法
CN102231860A (zh) * 2011-06-03 2011-11-02 南京远古科技有限公司 一种直播时移数据存储方法
US8200638B1 (en) * 2008-04-30 2012-06-12 Netapp, Inc. Individual file restore from block-level incremental backups by using client-server backup protocol
CN102609371A (zh) * 2012-02-16 2012-07-25 武汉噢易科技有限公司 基于数据安全的系统保护方法
CN102968460A (zh) * 2012-11-01 2013-03-13 陶光毅 基于光盘的数据库存储系统及利用该系统的方法
CN104050103A (zh) * 2014-06-06 2014-09-17 华中科技大学 一种用于数据恢复的缓存替换方法与系统
CN104102557A (zh) * 2014-06-27 2014-10-15 武汉理工大学 一种基于聚类的云计算平台数据备份方法
CN104580395A (zh) * 2014-12-22 2015-04-29 西安电子科技大学 一种基于现存云存储平台的多云协同存储中间件系统
CN105183371A (zh) * 2015-08-14 2015-12-23 山东大学 基于迁移均衡策略的用电信息分布式文件存储方法与装置
CN106227465A (zh) * 2016-07-15 2016-12-14 中国科学院软件研究所 一种环结构的数据放置方法
CN107015888A (zh) * 2017-03-30 2017-08-04 华中科技大学 一种基于子模模型的数据备份方法和系统
CN109101365A (zh) * 2018-08-01 2018-12-28 南京壹进制信息技术股份有限公司 一种基于源端数据重删的数据备份和恢复方法
CN109284069A (zh) * 2018-08-23 2019-01-29 郑州云海信息技术有限公司 一种存放备份数据的分布式存储系统及方法
CN109451006A (zh) * 2018-10-30 2019-03-08 北京锐安科技有限公司 一种数据传输方法、装置、服务器及计算机存储介质
CN109726042A (zh) * 2017-10-27 2019-05-07 群晖科技股份有限公司 文件备份装置及方法

Patent Citations (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1492362A (zh) * 2002-10-25 2004-04-28 联想(北京)有限公司 一种嵌入式数据库的数据备份和恢复方法
US20050216788A1 (en) * 2002-11-20 2005-09-29 Filesx Ltd. Fast backup storage and fast recovery of data (FBSRD)
CN101149694A (zh) * 2007-11-02 2008-03-26 西安三茗科技有限责任公司 基于块级的增量备份和整卷恢复的方法
US8200638B1 (en) * 2008-04-30 2012-06-12 Netapp, Inc. Individual file restore from block-level incremental backups by using client-server backup protocol
CN101820426A (zh) * 2010-04-22 2010-09-01 华中科技大学 一种在线备份服务软件中的数据压缩方法
CN102053880A (zh) * 2011-01-07 2011-05-11 杭州电子科技大学 一种基于内容的Rar文件雕复方法
CN102169453A (zh) * 2011-03-08 2011-08-31 杭州电子科技大学 一种文件在线备份方法
CN102231860A (zh) * 2011-06-03 2011-11-02 南京远古科技有限公司 一种直播时移数据存储方法
CN102609371A (zh) * 2012-02-16 2012-07-25 武汉噢易科技有限公司 基于数据安全的系统保护方法
CN102968460A (zh) * 2012-11-01 2013-03-13 陶光毅 基于光盘的数据库存储系统及利用该系统的方法
CN104050103A (zh) * 2014-06-06 2014-09-17 华中科技大学 一种用于数据恢复的缓存替换方法与系统
CN104102557A (zh) * 2014-06-27 2014-10-15 武汉理工大学 一种基于聚类的云计算平台数据备份方法
CN104580395A (zh) * 2014-12-22 2015-04-29 西安电子科技大学 一种基于现存云存储平台的多云协同存储中间件系统
CN105183371A (zh) * 2015-08-14 2015-12-23 山东大学 基于迁移均衡策略的用电信息分布式文件存储方法与装置
CN106227465A (zh) * 2016-07-15 2016-12-14 中国科学院软件研究所 一种环结构的数据放置方法
CN107015888A (zh) * 2017-03-30 2017-08-04 华中科技大学 一种基于子模模型的数据备份方法和系统
CN109726042A (zh) * 2017-10-27 2019-05-07 群晖科技股份有限公司 文件备份装置及方法
CN109101365A (zh) * 2018-08-01 2018-12-28 南京壹进制信息技术股份有限公司 一种基于源端数据重删的数据备份和恢复方法
CN109284069A (zh) * 2018-08-23 2019-01-29 郑州云海信息技术有限公司 一种存放备份数据的分布式存储系统及方法
CN109451006A (zh) * 2018-10-30 2019-03-08 北京锐安科技有限公司 一种数据传输方法、装置、服务器及计算机存储介质

Also Published As

Publication number Publication date
CN111240893B (zh) 2023-07-18

Similar Documents

Publication Publication Date Title
US9703640B2 (en) Method and system of performing incremental SQL server database backups
WO2020224023A1 (zh) 一种分布式存储系统中的重新分片方法及系统
US7567188B1 (en) Policy based tiered data deduplication strategy
CN109284069A (zh) 一种存放备份数据的分布式存储系统及方法
US8271456B2 (en) Efficient backup data retrieval
CN108319543A (zh) 一种计算机日志数据的异步处理方法及其介质、系统
US20040139127A1 (en) Backup system and method of generating a checkpoint for a database
US8812455B1 (en) Efficient data backup
CN103955530A (zh) 一种在线重复数据删除系统的数据重建优化方法
CN104063187A (zh) 适用于安防应用的硬盘文件系统及其运行方法
CN109683825B (zh) 一种存储系统在线数据压缩方法、装置及设备
CN103838645B (zh) 一种基于哈希的远程差异合成备份实现方法
CN103207916B (zh) 元数据处理的方法和装置
CN103942122B (zh) 一种识别AVI类型block的方法
CN111240893B (zh) 一种基于数据流分片技术的备份和还原管理方法及系统
CN105302669B (zh) 一种云备份过程中数据去重的方法和系统
CN108959456A (zh) 一种自动恢复补全数据的方法
CN104978241A (zh) 一种cow类型文件系统的数据恢复方法及装置
CN102253938A (zh) 一种文件写入、恢复方法和装置
CN103412802B (zh) 容灾数据文件访问控制列表备份的方法及装置
CN113507625B (zh) 一种自适应视频修复方法
KR101237746B1 (ko) 데이터 백업 장치 및 방법
CN109582646A (zh) 一种用于文件拆分的冗余和恢复方法及系统
CN111190874B (zh) 一种分布式存储的高可靠数据日志模块及其构建方法
CN105324764A (zh) 存储与目录数据分离的备份数据

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant