CN104765656A - 一种冷数据的备份方法及装置 - Google Patents

Abstract

本发明提供一种冷数据备份的方法及装置，该方法包括：将冷数据的元数据以数据库记录的形式存放在第一磁盘上；将冷数据的用户数据存放在第二盘上；利用所述数据库记录来存储所述用户数据的各种元数据信息。该装置包括：元数据备份单元，用于将冷数据的元数据以数据库记录的形式存放在第一磁盘上；其中，利用所述数据库记录来存储所述用户数据的各种元数据信息；用户数据备份单元，用于将冷数据的用户数据存放在第二磁盘上。本发明能够有效实现冷数据的高效备份。

Description

一种冷数据的备份方法及装置

技术领域

本发明涉及数据存储技术领域，具体涉及一种冷数据的备份方法及装置。

背景技术

现今社会是一个信息爆炸的社会，数据产生的量非常大，保存的数据也是越来越多，数据在使用一段时间以后，后面将变得越来越少用，成为冷数据，冷数据也随之急剧增加，对于如此大体量的冷数据如何保存将变成一个非常重要的问题。

现在的冷数据备份一般会做一个文件系统，然后将冷数据往文件系统上存放。

文件系统很多的特性都是为了大量并发访问，读写修改频繁，而冷数据几乎不会出现并发访问，只是用于查询，而文件系统要书写数据的大量元数据，使得冷数据的备份效率降低。

发明内容

本发明的主要目的提供一种具体涉及一种冷数据的备份方法及装置，能够实现冷数据更高效备份。

为了达到上述目的，本发明是通过如下技术方案实现的：

一种冷数据的备份方法，包括：

将冷数据的元数据以数据库记录的形式存放在第一磁盘上；

将冷数据的用户数据存放在第二盘上；

利用所述数据库记录来存储所述用户数据的各种元数据信息。

所述数据库记录包括：所述用户数据对应的文件名、地址数据索引表名称、创建时间、最后修改时间、存档时间、文件索引编号、关键词信息以及文件大小中的任意一个或多个；

其中，所述文件名为所述用户数据对应的真实的文件的名称；

所述地址索引表名称为地址索引表的名称，该地址索引表用于存放所述用户数据在第二磁盘中的存储位置信息；

所述创建时间为所述文件的创建时间；

所述最后修改时间为所述文件的最后修改时间；

所述存档时间为写入所述用户数据的时间；

所述文件索引编号为每个文件的编号；

所述关键词信息为所述文件所包含的关键词；

所述文件大小为所述文件的数据量大小。

所述地址数据索引表包括：段序号、起始块地址、结束块地址、逻辑磁盘名称、文件索引编号中的任意一个或多个，其中段序号表明该段所处文件的位置。

根据逻辑磁盘名称形成逻辑磁盘的bitmap表，每一个逻辑磁盘分区对应一张bitmap表，通过bitmap表记录对应的逻辑磁盘分区是否被占用。

进一步包括：利用所述数据库记录中的文件名和/或关键词信息，查找用户数据对应的所述地址索引表名称，并找到对应的地址索引表；

根据所找到的地址索引表中的段序号、起始块地址、结束块地址、逻辑磁盘名称中的任意一个或多个，在所述第二磁盘中查找所述用户数据；

根据所找到的地址索引表中的文件索引编号，将所查找到的用户数据进行排序。

一种冷数据的备份装置，包括：

元数据备份单元，用于将冷数据的元数据以数据库记录的形式存放在第一磁盘上；其中，利用所述数据库记录来存储所述用户数据的各种元数据信息。

用户数据备份单元，用于将冷数据的用户数据存放在第二磁盘上；

所述元数据备份单元中包括第一备份子单元，用于生成所述数据库记录，该数据库记录包括：所述用户数据对应的文件名、地址数据索引表名称、创建时间、最后修改时间、存档时间、文件索引编号、关键词信息以及文件大小中的任意一个或多个；

其中，所述文件名为所述用户数据对应的真实的文件的名称；

所述地址索引表名称为地址索引表的名称，该地址索引表用于存放所述用户数据在第二磁盘中的存储位置信息；

所述创建时间为所述文件的创建时间；

所述最后修改时间为所述文件的最后修改时间；

所述存档时间为写入所述用户数据的时间；

所述文件索引编号为每个文件的编号；

所述关键词信息为所述文件所包含的关键词；

所述文件大小为所述文件的数据量大小。

所述装置进一步包括：地址索引表生成单元，用于生成所述地址数据索引表，该地址索引表包括：段序号、起始块地址、结束块地址、逻辑磁盘名称、文件索引编号中的任意一个或多个，其中段序号表明该段所处文件的位置。

所述装置进一步包括：bitmap表生成单元，用于根据逻辑磁盘名称形成逻辑磁盘的bitmap表，每一个逻辑磁盘分区对应一张bitmap表，通过bitmap表记录对应的逻辑磁盘分区是否被占用。

所述装置进一步包括：用户数据查找单元，用于利用所述数据库记录中的文件名和/或关键词信息，查找用户数据对应的所述地址索引表名称，并找到对应的地址索引表；

根据所找到的地址索引表中的段序号、起始块地址、结束块地址、逻辑磁盘名称中的任意一个或多个，在所述第二磁盘中查找所述用户数据；

用户数据恢复单元，用于根据所找到的地址索引表中的文件索引编号，将所述用户数据查找单元所查找到的用户数据进行排序。

本发明实施例提供了一种冷数据备份方法及装置，实现了冷数据的元数据与用户数据的异地保存，将冷数据的元数据以数据库记录的形式存放在第一磁盘上，将冷数据的用户数据存放在第二盘上，利用所述数据库记录来存储所述用户数据的各种元数据信息通过检索第一磁盘上的冷数据的一条或几条元数据便能迅速调出第二磁盘上的相关冷数据，简化了冷数据的备份流程，提高了冷数据的备份性能。

附图说明

图1为本发明实施例提供一种冷数据备份的方法流程图；

图2为本发明另一个实施例提供一种冷数据备份的方法流程图；

图3为本发明实施例提供一个冷数据备份装置的结构示意图；

图4为本发明实施例提供另一个冷数据备份装置的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例提供了一种冷数据的备份方法，参见图1，该方法可以包括以下步骤：

步骤101：将冷数据的元数据以数据库记录的形式存放在第一磁盘上；

步骤102：将冷数据的用户数据存放在第二盘上；

步骤103：利用所述数据库记录来存储所述用户数据的各种元数据信息。

可见，本发明实施例能够实现用数据库的方式备份冷数据的元数据，并实现了元数据与用户数据的异地存储，简化了冷数据的备份流程，提高了冷数据的备份性能。

数据库记录包括：用户数据对应的文件名、地址索引表名称、创建时间、最后修改时间、存档时间、文件索引编号、关键词信息以及文件大小中的任意一个或多个；

其中，文件名为所述用户数据对应的真实的文件的名称；

地址索引表名称为地址索引表的名称，该地址索引表用于存放所述用户数据在第二磁盘中的存储位置信息；

创建时间为所述文件的创建时间；

最后修改时间为所述文件的最后修改时间；

存档时间为写入所述用户数据的时间；

文件索引编号为每个文件的编号；

关键词信息为所述文件所包含的关键词；

文件大小为所述文件的数据量大小。

可见，数据库的元数据信息较少，占用空间也相对较少，写入时较快捷，通过元数据找到地址索引表的名称可以用于查找用户数据在第二磁盘中的存储位置。

地址索引表包括：段序号、起始块地址、结束块地址、逻辑磁盘名称、文件索引编号中的任意一个或多个，其中段序号表明该段所处文件的位置。

可见，地址索引表记录了用户数据在第二磁盘上存储的具体数据信息，其中段序号表明了该信息的具体位置，便于直接查找第二磁盘上的该数据信息。

根据逻辑磁盘名称形成逻辑磁盘的bitmap表，每一个逻辑磁盘分区对应一张bitmap表，通过bitmap表记录对应的逻辑磁盘分区是否被占用。

通过逻辑磁盘的bitmap表来记录逻辑磁盘的空间占用情况，从而实现磁盘空间的合理分配。

利用数据库记录中的文件名和/或关键词信息，查找用户数据对应的地址索引表名称，并找到对应的地址索引表；再根据所找到的地址索引表中的段序号、起始块地址、结束块地址、逻辑磁盘名称中的任意一个或多个，在所述第二磁盘中查找所述用户数据；并根据所找到的地址索引表中的文件索引编号，将所查找到的用户数据进行排序。

可见，通过第一磁盘数据库中的文件名等关键词信息，找到对应的地址索引表，再根据地址索引表中的信息找到用户数据，信息查找方便快捷，并可根据文件索引编号为用户数据排序。

下面以备份多段视频中有一段视频为冷数据例，通过本发明一个实施例来详细说明针对某一个冷数据如何进行备份。参见图2，该过程包括：

步骤201：发出开始备份视频的指令；

步骤202：根据冷数据判断标准查找冷数据视频，将所要备份的冷数据视频查找出来，然后与冷备份存储进行握手并发出视频的备份请求；

步骤203：从存储设备中读出需要备份的冷数据视频的大小；

步骤204：将冷数据视频大小发给冷数据备份存储，备份存储根据视频大小分配存储空间，并修改bitmap表；

步骤205：备份存储在第一磁盘增加冷数据视频元数据数据库记录，视频元数据数据库记录包括：地址索引表名称、创建时间、最后修改时间、存档时间、文件索引编号、关键词信息以及文件大小；

步骤206：备份存储在第一磁盘增加视频的地址索引表，地址索引表包括：段序号、起始块地址、结束块地址、逻辑磁盘名称、文件索引编号；

步骤207：请求备份冷数据视频数据，并把冷数据视频数据写到第二磁盘分配好的块当中；

步骤208：检查冷数据视频备份是否成功；

步骤209：如果备份成功则返回成功，则在热存储中删除已经备份成功的冷数据视频；

步骤210：如果备份不成功，则释放第二磁盘分配的存储空间，并删除第一磁盘中与冷数据视频相关相关元数据数据库记录。

在利用上述图2所示过程进行了冷数据视频的备份后，还可以对备份的冷数据视频进行查找。具体的实现包括：利用冷数据视频元数据的数据库记录中的文件名和/或关键词信息，查找用户数据对应的地址索引表名称，并找到对应的地址索引表；

根据所找到的地址索引表中的段序号、起始块地址、结束块地址、逻辑磁盘名称中的任意一个或多个，在所述第二磁盘中查找冷数据视频的用户数据；

根据所找到的地址索引表中的文件索引编号，将所查找到的用户数据进行排序，从而最终得到了需要的冷数据视频。

本实施例以备份多段视频中的一段视频作为冷数据为例介绍了冷数据的备份方法，实现了视频的元数据在第一磁盘上采用数据库记录的方式保存，简化了视频元数据的条数，视频元数据对应的用户数据在第二磁盘上保存，提高了冷数据的备份效率；用户根据第一磁盘上视频的元数据信息找到地址索引表便能查找到第二磁盘上相关用户数据的位置，方便了用户读取该视频。

本发明的一个实施例提出了一冷数据备份的装置30，如图3所示，包括：

元数据备份单元301，用于将冷数据的元数据以数据库记录的形式存放在第一磁盘上；其中，利用数据库记录来存储所述用户数据的各种元数据信息；

用户数据备份单元302，用于将冷数据的用户数据存放在第二磁盘上。

在本发明另一个实施例中一冷数据备份的装置40，参见图4，元数据备份单元401中包括第一备份子单元403，用于生成所述数据库记录，该数据库记录包括：用户数据对应的文件名、地址数据索引表名称、创建时间、最后修改时间、存档时间、文件索引编号、关键词信息以及文件大小中的任意一个或多个；

其中，文件名为用户数据对应的真实的文件的名称；

地址索引表名称为地址索引表的名称，该地址索引表用于存放用户数据在第二磁盘中的存储位置信息；

创建时间为所述文件的创建时间；

最后修改时间为所述文件的最后修改时间；

存档时间为写入所述用户数据的时间；

文件索引编号为每个文件的编号；

关键词信息为所述文件所包含的关键词；

文件大小为所述文件的数据量大小。

在本发明一个实施例中，该装置进一步包括：地址索引表生成单元404，用于生成地址数据索引表，该地址索引表包括：段序号、起始块地址、结束块地址、逻辑磁盘名称、文件索引编号中的任意一个或多个，其中段序号表明该段所处文件的位置。

在本发明一个实施例中，所述该装置还进一步包括：bitmap表生成单元405，用于根据逻辑磁盘名称形成逻辑磁盘的bitmap表，每一个逻辑磁盘分区对应一张bitmap表，通过bitmap表记录对应的逻辑磁盘分区是否被占用。

在本发明一个实施例中，进一步地：

利用第一备份子单元403中的文件名和/或关键词信息，查找用户数据对应的地址索引表名称，并找到对应的地址索引表单元404。

在本发明一个实施例中，进一步地：

根据所找到的地址索引表单元404中的段序号、起始块地址、结束块地址、逻辑磁盘名称中的任意一个或多个，在所述第二磁盘的用户数据备份单元402中查找用户数据。

该装置还包括用户数据恢复单元406，用于根据所找到的地址索引表中的文件索引编号，将用户数据备份单元402中所查找到的用户数据进行排序。

可见，这种冷数据备份装置，通过对于冷数据的元数据与用户数据的异地存储，实现了冷数据的便捷备份与读取，减少了元数据占用的空间，提高了冷数据的备份效率。

本发明的实施例至少具有如下的有益效果：

1、本发明实施例提供了一种冷数据备份的方法，将冷数据的元数据以数据库的相关表格形式存储在第一磁盘，相关冷数据的用户数据存放在第二磁盘，由于元数据采用数据库的形式保存并且减少了保存的元数据数量，因此减少了元数据占用的存储空间，提高了冷数据的备份性能。

2、本发明中，在读取冷数据时，通过读取第一磁盘上的元数据信息，查找用户数据对应的所述地址索引表名称，并找到对应的地址索引表，根据地址索引表中的相关数据找到第二磁盘上的用户数据信息，实现了冷数据的快速读取。

上述设备内的各单元之间的信息交互、执行过程等内容，由于与本发明方法实施例基于同一构思，具体内容可参见本发明方法实施例中的叙述，此处不再赘述。

需要说明的是，在本文中，诸如第一和第二之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个······”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同因素。

本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储在计算机可读取的存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质中。

最后需要说明的是：以上所述仅为本发明的较佳实施例，仅用于说明本发明的技术方案，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所做的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (10)

1.一种冷数据的备份方法，其特征在于，包括：

将冷数据的元数据以数据库记录的形式存放在第一磁盘上；

将冷数据的用户数据存放在第二磁盘上；

利用所述数据库记录来存储所述用户数据的各种元数据信息。

2.根据权利要求1所述的方法，其特征在于，所述数据库记录包括：所述用户数据对应的文件名、地址索引表名称、创建时间、最后修改时间、存档时间、文件索引编号、关键词信息以及文件大小中的任意一个或多个；

其中，所述文件名为所述用户数据对应的真实的文件的名称；

所述地址索引表名称为地址索引表的名称，该地址索引表用于存放所述用户数据在第二磁盘中的存储位置信息；

所述创建时间为所述文件的创建时间；

所述最后修改时间为所述文件的最后修改时间；

所述存档时间为写入所述用户数据的时间；

所述文件索引编号为每个文件的编号；

所述关键词信息为所述文件所包含的关键词；

所述文件大小为所述文件的数据量大小。

3.根据权利要求2所述的方法，其特征在于，所述地址索引表包括：段序号、起始块地址、结束块地址、逻辑磁盘名称、文件索引编号中的任意一个或多个，其中段序号表明该段所处文件的位置。

4.根据权利要求1所述的方法，其特征在于，进一步包括：根据逻辑磁盘名称形成逻辑磁盘的bitmap表，每一个逻辑磁盘分区对应一张bitmap表，通过bitmap表记录对应的逻辑磁盘分区是否被占用。

5.根据权利要求3所述的方法，其特征在于，进一步包括：利用所述数据库记录中的文件名和/或关键词信息，查找用户数据对应的所述地址索引表名称，并找到对应的地址索引表；

根据所找到的地址索引表中的段序号、起始块地址、结束块地址、逻辑磁盘名称中的任意一个或多个，在所述第二磁盘中查找所述用户数据；

根据所找到的地址索引表中的文件索引编号，将所查找到的用户数据进行排序。

6.一种冷数据的备份装置，其特征在于，包括：

元数据备份单元，用于将冷数据的元数据以数据库记录的形式存放在第一磁盘上；其中，利用所述数据库记录来存储所述用户数据的各种元数据信息；

用户数据备份单元，用于将冷数据的用户数据存放在第二磁盘上。

7.根据权利要求6所述的装置，其特征在于，所述元数据备份单元中包括第一备份子单元，用于生成所述数据库记录，该数据库记录包括：所述用户数据对应的文件名、地址数据索引表名称、创建时间、最后修改时间、存档时间、文件索引编号、关键词信息以及文件大小中的任意一个或多个；

其中，所述文件名为所述用户数据对应的真实的文件的名称；

所述地址索引表名称为地址索引表的名称，该地址索引表用于存放所述用户数据在第二磁盘中的存储位置信息；

所述创建时间为所述文件的创建时间；

所述最后修改时间为所述文件的最后修改时间；

所述存档时间为写入所述用户数据的时间；

所述文件索引编号为每个文件的编号；

所述关键词信息为所述文件所包含的关键词；

所述文件大小为所述文件的数据量大小。

8.根据权利要求7所述的装置，其特征在于，进一步包括：地址索引表生成单元，用于生成所述地址数据索引表，该地址索引表包括：段序号、起始块地址、结束块地址、逻辑磁盘名称、文件索引编号中的任意一个或多个，其中段序号表明该段所处文件的位置。

9.根据权利要求6所述的装置，其特征在于，进一步包括：bitmap表生成单元，用于根据逻辑磁盘名称形成逻辑磁盘的bitmap表，每一个逻辑磁盘分区对应一张bitmap表，通过bitmap表记录对应的逻辑磁盘分区是否被占用。

10.根据权利要求8所述的装置，其特征在于，进一步包括：

用户数据查找单元，用于利用所述数据库记录中的文件名和/或关键词信息，查找用户数据对应的所述地址索引表名称，并找到对应的地址索引表；

根据所找到的地址索引表中的段序号、起始块地址、结束块地址、逻辑磁盘名称中的任意一个或多个，在所述第二磁盘中查找所述用户数据；

用户数据恢复单元，用于根据所找到的地址索引表中的文件索引编号，将所述用户数据查找单元所查找到的用户数据进行排序。