CN110196785B - 数据备份管理方法、装置及电子设备 - Google Patents

数据备份管理方法、装置及电子设备 Download PDF

Info

Publication number
CN110196785B
CN110196785B CN201810162275.3A CN201810162275A CN110196785B CN 110196785 B CN110196785 B CN 110196785B CN 201810162275 A CN201810162275 A CN 201810162275A CN 110196785 B CN110196785 B CN 110196785B
Authority
CN
China
Prior art keywords
storage unit
data
storage
tape library
buffer pool
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810162275.3A
Other languages
English (en)
Other versions
CN110196785A (zh
Inventor
吴晓
吕志明
王云祥
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Uniview Technologies Co Ltd
Original Assignee
Zhejiang Uniview Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Uniview Technologies Co Ltd filed Critical Zhejiang Uniview Technologies Co Ltd
Priority to CN201810162275.3A priority Critical patent/CN110196785B/zh
Publication of CN110196785A publication Critical patent/CN110196785A/zh
Application granted granted Critical
Publication of CN110196785B publication Critical patent/CN110196785B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14—Error detection or correction of the data by redundancy in operation
    • G06F11/1402—Saving, restoring, recovering or retrying
    • G06F11/1446—Point-in-time backing up or restoration of persistent data
    • G06F11/1456—Hardware arrangements for backup
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14—Error detection or correction of the data by redundancy in operation
    • G06F11/1402—Saving, restoring, recovering or retrying
    • G06F11/1446—Point-in-time backing up or restoration of persistent data
    • G06F11/1458—Management of the backup or restore process
    • G06F11/1461—Backup scheduling policy
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/061—Improving I/O performance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638—Organizing or formatting or addressing of data
    • G06F3/0644—Management of space entities, e.g. partitions, extents, pools
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0655—Vertical data movement, i.e. input-output transfer; data movement between one or more hosts and one or more storage devices
    • G06F3/0656—Data buffering arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671—In-line storage system
    • G06F3/0683—Plurality of storage devices
    • G06F3/0686—Libraries, e.g. tape libraries, jukebox
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671—In-line storage system
    • G06F3/0683—Plurality of storage devices
    • G06F3/0689—Disk arrays, e.g. RAID, JBOD

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Quality & Reliability (AREA)
  • Library & Information Science (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明实施例提供了一种数据备份管理方法、装置及电子设备，该方法包括：将缓冲池和磁带库分别划分为多个第一存储单元和第二存储单元；分别为缓冲池配置对应的缓冲池索引区、为磁带库配置对应的磁带库索引区；在获得待存储的数据时，根据磁带库索引区中存储的各第二存储单元的存储信息获得用于存储数据的第二存储单元，并获得与该第二存储单元对应的第一存储单元，将数据写入至该第一存储单元中；在数据全部写入至第一存储单元中后，将其迁移至磁带库中对应的第二存储单元。该数据备份管理方案将索引区域与数据存储区域分离，方便数据管理，并通过将索引数据缓存在缓冲池中，提高了存储检索效率，且利用磁带库实现数据备份，降低了管理成本。

Description

数据备份管理方法、装置及电子设备
技术领域
本发明涉及数据管理技术领域，具体而言，涉及一种数据备份管理方法、装置及电子设备。
背景技术
目前视频监控录像的备份大多数都使用磁盘存储，而有些重点项目对留存期要求很高，采用磁盘存储大大增加了成本。因此，如何实现一种可应对长留存期，且维护成本较低的备份方案是本领域技术人员亟待解决的技术难题。
发明内容
有鉴于此，本发明的目的在于，提供一种数据备份管理方法、装置及电子设备以解决上述问题。
本发明的较佳实施例提供一种数据备份管理方法，所述方法包括：
将缓冲池划分为多个第一存储单元，并将磁带库划分为多个第二存储单元；
分别为所述缓冲池配置对应的缓冲池索引区、为所述磁带库配置对应的磁带库索引区；
在获得待存储的数据时，根据所述磁带库索引区中存储的各所述第二存储单元的存储信息获得用于存储所述数据的第二存储单元，并获得与所述第二存储单元对应的第一存储单元，将获得的数据写入至所述第一存储单元中；
在待存储的所述数据全部写入至所述第一存储单元中后，将所述第一存储单元中缓存的数据迁移至所述磁带库中与所述第一存储单元对应的第二存储单元。
进一步地，所述方法还包括：
在获得读取指令时，根据该读取指令携带的数据信息检测所述缓冲池索引区中是否保存有该数据信息，若保存有，则根据所述缓冲池索引区中存储的数据信息在所述缓冲池中查找到所述数据信息对应的数据；
若所述缓冲池索引区中未保存有所述数据信息，则从所述磁带库索引区中查找到保存所述数据信息对应的数据的第二存储单元；
从查找到的第二存储单元中获得所述数据，并将所述数据迁移至所述缓冲池中。
进一步地，各所述第一存储单元携带有第一编号，各所述第二存储单元携带有第二编号，所述根据所述磁带库索引区中存储的各所述第二存储单元的存储信息获得用于存储所述数据的第二存储单元，并获得与所述第二存储单元对应的第一存储单元，将获得的数据写入至所述第一存储单元中的步骤，包括：
根据所述磁带库索引区中存储的各所述第二存储单元的存储信息，选择用于存储所述数据的第二存储单元；
获得选择出的第二存储单元的第二编号，根据所述第二编号按预设规则计算得到所述第二存储单元对应的第一存储单元的第一编号；
根据所述缓冲池索引区中的各第一存储单元的存储信息查找到所述第一编号对应的第一存储单元；
将获得的数据写入至查找到的第一存储单元中。
进一步地，所述根据所述第二编号按预设规则计算得到所述第二存储单元对应的第一存储单元的第一编号的步骤，包括：
根据所述第二编号以及所述缓冲池包含的第一存储单元的总数量计算得到所述第二存储单元对应的第一存储单元的第一编号。
进一步地，根据所述第二编号以及所述缓冲池包含的第一存储单元的总数量计算得到所述第二存储单元对应的第一存储单元的第一编号的步骤，包括：
将所述第二编号除以所述缓冲池包含的第一存储单元的总数量以得到商和余数；
将得到的余数作为所述第二存储单元对应的第一存储单元的第一编号，并将得到的余数和商进行保存。
进一步地，所述将所述第一存储单元中缓存的数据迁移至所述磁带库中与所述第一存储单元对应的第二存储单元的步骤，包括：
获得缓存所述数据的第一存储单元的第一编号；
将所述第一编号乘以进行数据写入时所存储的所述第一存储单元对应的商，并加上存储的对应的余数以得到所述磁带库中与该第一存储单元对应的第二存储单元的第二编号；
根据所述第二编号将所述第一存储单元中缓存的数据迁移至所述第二编号对应的第二存储单元。
进一步地，所述将获得的数据写入至所述第一存储单元中的步骤之后，所述方法还包括：
根据所述缓冲池中各第一存储单元的存储信息对所述缓冲池索引区中的存储信息进行更新，并根据所述磁带库中各所述第二存储单元的存储信息对所述磁带库索引区中的存储信息进行更新。
本发明的另一较佳实施例提供一种数据备份管理装置，所述装置包括：
划分模块，用于将缓冲池划分为多个第一存储单元，并将磁带库划分为多个第二存储单元；
配置模块，用于分别为所述缓冲池配置对应的缓冲池索引区、为所述磁带库配置对应的磁带库索引区；
写入模块，用于在获得待存储的数据时，根据所述磁带库索引区中存储的各所述第二存储单元的存储信息获得用于存储所述数据的第二存储单元，并获得与所述第二存储单元对应的第一存储单元，将获得的数据写入至所述第一存储单元中；
迁移模块，用于在待存储的所述数据全部写入至所述第一存储单元中后，将所述第一存储单元中缓存的数据迁移至所述磁带库中与所述第一存储单元对应的第二存储单元。
本发明的另一较佳实施例提供一种电子设备，包括：
存储器；
处理器；及
数据备份管理装置，包括一个或多个存储于所述存储器中并由所述处理器执行的软件功能模块，所述数据备份管理装置包括：
划分模块，用于将缓冲池划分为多个第一存储单元，并将磁带库划分为多个第二存储单元；
配置模块，用于分别为所述缓冲池配置对应的缓冲池索引区、为所述磁带库配置对应的磁带库索引区；
写入模块，用于在获得待存储的数据时，根据所述磁带库索引区中存储的各所述第二存储单元的存储信息获得用于存储所述数据的第二存储单元，并获得与所述第二存储单元对应的第一存储单元，将获得的数据写入至所述第一存储单元中；
迁移模块，用于在待存储的所述数据全部写入至所述第一存储单元中后，将所述第一存储单元中缓存的数据迁移至所述磁带库中与所述第一存储单元对应的第二存储单元。
本发明的另一较佳实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储有指令，当所述指令被执行时，实现上述的数据备份管理方法。
本发明实施例提供的数据备份管理方法、装置及电子设备，将索引区域及数据存储区域分离，通过索引区域分别对缓冲池的存储单元和磁带库的存储单元的存储信息进行管理，方便了数据存储入库，提高数据存储检索效率，便于后续数据读取。并且通过将数据缓存在缓冲池中，并在数据缓存完毕后再迁移至磁带库中，利用磁带库实现对数据的备份，大大降低了数据备份管理的成本，解决了现有技术中采用磁盘存储在面对长留存期时存在的成本较高的缺陷。
为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本发明较佳实施例提供的数据备份管理方法的应用场景示意图。
图2为本发明较佳实施例提供的磁盘阵列的示意性结构框图。
图3为本发明较佳实施例提供的数据备份管理方法的流程图。
图4为图3中步骤S105的子步骤的流程图。
图5为图4中步骤S1055的子步骤的流程图。
图6为图3中步骤S107的子步骤的流程图。
图7为本发明较佳实施例提供的数据备份管理方法的另一流程图。
图8为本发明较佳实施例提供的数据备份装置的功能模块框图。
图标：100-磁盘阵列；110-数据备份管理装置；111-划分模块；112-配置模块；113-写入模块；114-迁移模块；120-处理器；130-存储器；200-图像采集终端；300-备份服务器；400-元数据服务器；500-磁带库设备。
具体实施方式
下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本发明的描述中，除非另有明确的规定和限定，术语“安装”、“设置”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
请参阅图1，为本发明实施例提供的一种数据备份管理方法的应用场景示意图。该场景包括图像采集终端200、备份服务器300、元数据服务器400、磁盘阵列100以及磁带库设备500。所述图像采集终端200与所述备份服务器300通信连接，所述备份服务器300分别与所述元数据服务器400和所述磁盘阵列100通信连接，所述磁盘阵列100和所述元数据服务器400分别与所述磁带库设备500通信连接。在本实施例中，所述图像采集终端200可以为相机、摄像头等具有图像采集功能的终端设备。所述图像采集终端200将采集到的图像数据发送至所述备份服务器300，所述备份服务器300将所述图像数据发送至所述磁盘阵列100中进行缓存。在满足条件时，所述磁盘阵列100将缓存的图像数据迁移至所述磁带库设备500，以保存在磁带库中。
请参阅图2，为本发明实施例提供的一种电子设备的示意性结构框图。在本实施例中，所述电子设备可以为上述的磁盘阵列100，所述磁盘阵列100包括数据备份管理装置110、处理器120及存储器130。其中，所述存储器130与所述处理器120之间直接或间接的电性连接，以实现数据的传输或交互。所述数据备份管理装置110包括至少一个可以软件或固件的形式存储于所述存储器130中或固化在所述磁盘阵列100的操作系统中的软件功能模块。所述处理器120用于执行所述存储器130中存储的可执行模块，例如所述数据备份管理装置110包括的软件功能模块或计算机程序。
请参阅图3，是本发明实施例提供的一种应用于上述磁盘阵列100的数据备份管理方法的流程图。所应说明的是，本发明提供的方法不以图3及以下所述的具体顺序为限制。下面将对图3中示出的各步骤进行详细说明。
步骤S101，将缓冲池划分为多个第一存储单元，并将磁带库划分为多个第二存储单元。
步骤S103，分别为所述缓冲池配置对应的缓冲池索引区、为所述磁带库配置对应的磁带库索引区。
在本实施例中，所述磁盘阵列100包含数据存储区域以及目录索引区域，其中，所述数据存储区域为缓冲池，可将所述缓冲池划分为多个第一存储单元。所述磁带库设备500包含可用于存储数据的磁带库，可将所述磁带库划分为多个第二存储单元。所述目录索引区域包括针对所述缓冲池中的各第一存储单元的缓冲池索引区，以及针对所述磁带库中的各所述第二存储单元的磁带库索引区。
在进行数据存储之前，可预先对所述缓冲池以及所述磁带库进行格式化。根据缓冲池中各第一存储单元的划分情况以及存储信息配置缓冲池索引区，并根据磁带库中各第二存储单元的划分情况以及存储信息配置磁带库索引区。
在本实施例中，对于所述缓冲池，可以64M为单元进行划分以将所述缓冲池划分为多个，例如m个，大小为64M的第一存储单元。并且为各所述第一存储单元设置对应的第一编号。所述缓冲池索引区可记录所述缓冲池中第一存储单元的个数、各第一存储单元的占用情况、各第一存储单元的编号等等信息。
可选地，对于所述磁带库，同样可以64M为单元进行划分以将所述磁带库划分为多个，例如n个，大小为64M的第二存储单元。并且，为各所述第二存储单元设置对应的第二编号。一般性地，m<n。并且，需注意将第一存储单元和第二存储单元分别单独进行编号。所述磁带库索引区可用于记录磁带库中的第二存储单元的总个数、各第二存储单元的占用情况以及各第二存储单元的编号等等。
步骤S105，在获得待存储的数据时，根据所述磁带库索引区中存储的各所述第二存储单元的存储信息获得用于存储所述数据的第二存储单元，并获得与所述第二存储单元对应的第一存储单元，将获得的数据写入至所述第一存储单元中。
步骤S107，在待存储的所述数据全部写入至所述第一存储单元中后，将所述第一存储单元中缓存的数据迁移至所述磁带库中与所述第一存储单元对应的第二存储单元。
在图像采集终端200获得图像数据后，将该图像数据发送至所述备份服务器300，备份服务器300将图像数据转发至磁盘阵列100。在所述磁盘阵列100获得待存储的数据后，需要从磁带库中获得可用于存储该数据的第二存储单元，并根据该第二存储单元查找到与其对应的用于缓存该数据的第一存储单元，以在第一存储单元中进行数据缓存后，由元数据服务器400将数据迁移至第二存储单元中。
请参阅图4，在本实施例中，步骤S105可以包括步骤S1051、步骤S1053、步骤S1055以及步骤S1057四个子步骤。
步骤S1051，根据所述磁带库索引区中存储的各所述第二存储单元的存储信息，选择用于存储所述数据的第二存储单元。
步骤S1053，获得选择出的第二存储单元的第二编号，根据所述第二编号按预设规则计算得到所述第二存储单元对应的第一存储单元的第一编号。
步骤S1055，根据所述缓冲池索引区中的各第一存储单元的存储信息查找到所述第一编号对应的第一存储单元。
步骤S1057，将获得的数据写入至查找到的第一存储单元中。
在获得待存储的数据后，需要从磁带库中的多个第二存储单元中选择出可用于存储该数据的第二存储单元。可选地，磁带库索引区中记录有各第二存储单元的占用情况及编号等。可根据记录的各第二存储单元的占用情况，选择出当前处于空闲状态的第二存储单元。并获得选择出的第二存储单元各自对应的第二编号。若处于空闲状态的第二存储单元为多个，则根据各第二存储单元的第二编号的大小进行排序，选择第二编号靠前的第二存储单元预先进行存储。并在该第二存储单元进行数据存储后，对所述磁带库索引区中的存储信息进行更新，再按相同的方式选择出第二个可用于存储所述数据的第二存储单元，依次类推。
在选择出所述磁带库中可用于存储所述数据的第二存储单元以及对应的第二编号之后，需要获得与该第二存储单元对应的缓冲池中用于缓存该数据的第一存储单元。可选地，可根据所述第二编号按预设规则计算得到所述第二存储单元对应的第一存储单元的第一编号。可选地，根据所述第二编号以及所述缓冲池包含的第一存储单元的总数量计算得到所述第二存储单元对应的第一存储单元的第一编号，具体地，请参阅图5，上述步骤可按以下通过以下过程实现：
步骤S10551，将所述第二编号除以所述缓冲池包含的第一存储单元的总数量以得到商和余数。
步骤S10553，将得到的余数作为所述第二存储单元对应的第一存储单元的第一编号，并将得到的余数和商进行保存。
可选地，利用选择出的用于存储所述数据的第二存储单元对应的第二编号除以所述缓冲池中包含的第一存储单元的总数量，以得到该除法操作对应的商和余数。将得到的余数作为与该第二存储单元对应的第一存储单元对应的第一编号，即可用于缓存所述数据的第一存储单元的第一编号。并且，将得到的商和余数进行保存，以便于后续可用于数据迁移等操作。
在获得可用于缓存所述数据的第一存储单元的第一编号后，可根据所述缓冲池中记录的第一编号与第一存储单元的对应关系，查找到与获得的第一编号对应的第一存储单元。并将获得的数据写入至查找到的第一存储单元中。
应当理解，接收到待存储的数据可能较大导致一个第二存储单元无法完整存储所述数据，因此，需要将所述数据分别存储至多个第二存储单元中。对应地，则所述数据需要缓存至多个第一存储单元中。按上述的方式依次为所述数据分配对应的第二存储单元，再根据第二存储单元得到对应的第一存储单元，以依次对所述数据进行保存，直至所述数据完整缓存至所述缓冲池中为止。
在本实施例中，在每一个第一存储单元和第二存储单元的存储信息改变后，需根据所述缓冲池中各第一存储单元的存储信息对所述缓冲池索引区中的存储信息进行更新，并根据所述磁带库中各所述第二存储单元的存储信息对所述磁带库索引区中的存储信息进行更新，以便后续准确查找到存储位置。例如，某个第二存储单元从空闲状态到写入数据后转变为占用状态，则需要将磁带库索引区中该第二存储单元的占用情况进行更新。
本实施例中，在待存储的所述数据全部写入至对应的多个第一存储单元中后，需要将第一存储单元中缓存的数据迁移至所述磁带库中与所述第一存储单元对应的第二存储单元中。
请参阅图6，在本实施例中，步骤S107可以包括步骤S1071、步骤S1073以及步骤S1075三个子步骤。
步骤S1071，获得缓存所述数据的第一存储单元的第一编号。
步骤S1073，将所述第一编号乘以进行数据写入时所存储的所述第一存储单元对应的商，并加上存储的对应的余数以得到所述磁带库中与该第一存储单元对应的第二存储单元的第二编号。
步骤S1075，根据所述第二编号将所述第一存储单元中缓存的数据迁移至所述第二编号对应的第二存储单元。
本实施例中，若所述数据保存在一个第一存储单元中，则获得该第一存储单元的第一编号。若所述数据缓存在多个第一存储单元中，则需获得该多个第一存储单元中各第一存储单元对应的第一编号。
由上述可知，在获得待存储的数据后需要将所述数据写入至缓存池中进行缓存时，是根据选择出的第二存储单元的第二编号除以第一存储单元的总数量，将得到的余数作为用于缓存数据的第一存储单元的第一编号的，并在将其余数和商进行了保存。如此，则可将获得的缓存所述数据的第一存储单元的第一编号乘以所存储的商，并将结果加上所述余数以得到与该第一编号对应的第二编号。
根据所述磁带库索引区中记录的第二存储单元与第二编号之间的对应关系，查找到与计算得到的所述第二编号对应的第二存储单元。并将所述缓冲池中该第一存储单元中缓冲的数据写入迁移至所述第二存储单元中。若所述数据缓存在多个第一存储单元中，则按上述相同方式，以获得各第一存储单元对应的第二存储单元，以将所述数据完整迁移至磁带库中。
通过上述过程可实现待存储的数据的缓存以及迁移等，以实现对数据的备份管理。通过将索引区域及数据存储区域进行分离，并通过索引区域分别对缓冲池的存储单元和磁带库的存储单元的存储信息进行管理，方便了数据存储入库，提高了数据存储检索效率，便于后续数据读取。并且通过将数据缓存在缓冲池中，并在数据缓存完毕后再迁移至磁带库中，利用磁带库实现对数据的备份，大大降低了数据备份管理的成本。进一步地，请参阅图7，本实施例中所提供的数据备份管理方法还包括以下步骤：
步骤S201，在获得读取指令时，根据该读取指令携带的数据信息检测所述缓冲池索引区中是否保存有该数据信息，若保存有，则执行以下步骤S201，若未保存有，则执行以下步骤S205。
步骤S203，根据所述缓冲池索引区中存储的数据信息在所述缓冲池中查找到所述数据信息对应的数据。
步骤S205，从所述磁带库索引区中查找到保存所述数据信息对应的数据的第二存储单元。
步骤S207，从查找到的第二存储单元中获得所述数据，并将所述数据迁移至所述缓冲池中。
本实施例中所提供的数据备份管理方法还便于后续的数据读取，在获得数据的读取指令时，可获得该读取指令预读取的数据的数据信息，例如数据对应的文件名称、文件存储时间、文件大小等等。根据该数据信息首先查找缓冲池索引区，检测所述缓冲池索引区中是否记录有数据信息，若记录有，则可查找到该数据信息对应的第一存储单元，并从所述第一存储单元中获得所述数据信息对应的数据。如此，可在缓冲池中直接读取，使读取效率最大化。
若所述缓冲池索引区中未记录有所述数据信息，则需转至磁带库索引区进行查找以查看所述磁带库索引区中是否记录有所述数据信息。若所述磁带库索引区中记录有所述数据信息，则可根据该数据信息得到保存该数据信息对应的数据的第二存储单元。并从该第二存储单元中获得所述数据信息对应的数据。
由于数据的读取只能从缓冲池中进行读取，因此，在从磁带库的第二存储单元中获得所述待读取的数据后，需要将所述数据迁移回所述缓冲池，以便从缓冲池中读取所述数据。其中，对于将第二存储单元中的数据迁移回第一存储单元，可参考上述的相应描述，在此不再赘述。
可选地，在将所述数据从第二存储单元迁移回所述第一存储单元后，由于第一存储单元和第二存储单元的存储信息发生了改变，因此需要对所述缓冲池索引区中该第一存储单元的存储信息进行更新，并且对所述磁带库中该第二存储单元的存储信息进行更新。
请参阅图8，为本发明较佳实施例提供的应用于上述磁盘阵列100的数据备份管理装置110的功能模块框图。所述数据备份管理装置110包括划分模块111、配置模块112、写入模块113以及迁移模块114。
所述划分模块111用于将缓冲池划分为多个第一存储单元，并将磁带库划分为多个第二存储单元。所述划分模块111可用于执行图3中所示的步骤S101，具体的操作方法可参考步骤S101的详细描述。
所述配置模块112用于分别为所述缓冲池配置对应的缓冲池索引区、为所述磁带库配置对应的磁带库索引区。所述配置模块112可用于执行图3中所示的步骤S103，具体的操作方法可参考步骤S103的详细描述。
所述写入模块113用于在获得待存储的数据时，根据所述磁带库索引区中存储的各所述第二存储单元的存储信息获得用于存储所述数据的第二存储单元，并获得与所述第二存储单元对应的第一存储单元，将获得的数据写入至所述第一存储单元中。所述写入模块113可用于执行图3中所示的步骤S105，具体的操作方法可参考步骤S105的详细描述。
所述迁移模块114用于在待存储的所述数据全部写入至所述第一存储单元中后，将所述第一存储单元中缓存的数据迁移至所述磁带库中与所述第一存储单元对应的第二存储单元。所述迁移模块114可用于执行图3中所示的步骤S107，具体的操作方法可参考步骤S107的详细描述。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的装置的具体工作过程，可以参考前述方法中的对应过程，在此不再过多赘述。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到本发明可以通过硬件实现，也可以借助软件加必要通用硬件平台的方式来实现。基于这样的理解，本发明的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器或者网络设备等)执行本发明各个实施场景所述的方法。
综上所述，本发明实施例提供的数据备份管理方法、装置及电子设备，将索引区域与数据存储区域分离，通过索引区域分别对缓冲池的存储单元和磁带库的存储单元的存储信息进行管理，方便了数据存储入库，提高了数据存储检索效率，便于后续数据读取。并且通过将数据缓存在缓冲池中，并在数据缓存完毕后再迁移至磁带库中，利用磁带库实现对视频监控录像数据的备份，降低了数据备份管理的成本，解决了现有技术中采用磁盘存储在面对长留存期时存在的成本较高的缺陷。
在本申请所提供的实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本发明的实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种数据备份管理方法，其特征在于，所述方法包括：
将缓冲池划分为多个第一存储单元，并将磁带库划分为多个第二存储单元；
分别为所述缓冲池配置对应的缓冲池索引区、为所述磁带库配置对应的磁带库索引区，各所述第一存储单元携带有第一编号，各所述第二存储单元携带有第二编号，所述缓冲池索引区记录所述缓冲池中第一存储单元的个数、各第一存储单元的占用情况、各第一存储单元的编号，所述磁带库索引区记录磁带库中第二存储单元的个数、各第二存储单元的占用情况以及各第二存储单元的编号；
在获得待存储的数据时，根据所述磁带库索引区中存储的各所述第二存储单元的存储信息获得用于存储所述数据的第二存储单元，并获得与所述第二存储单元对应的第一存储单元，将获得的数据写入至所述第一存储单元中；
在待存储的所述数据全部写入至所述第一存储单元中后，将所述第一存储单元中缓存的数据迁移至所述磁带库中与所述第一存储单元对应的第二存储单元。
2.根据权利要求1所述的数据备份管理方法，其特征在于，所述方法还包括：
在获得读取指令时，根据该读取指令携带的数据信息检测所述缓冲池索引区中是否保存有该数据信息，若保存有，则根据所述缓冲池索引区中存储的数据信息在所述缓冲池中查找到所述数据信息对应的数据；
若所述缓冲池索引区中未保存有所述数据信息，则从所述磁带库索引区中查找到保存所述数据信息对应的数据的第二存储单元；
从查找到的第二存储单元中获得所述数据，并将所述数据迁移至所述缓冲池中。
3.根据权利要求1所述的数据备份管理方法，其特征在于，各所述第一存储单元携带有第一编号，各所述第二存储单元携带有第二编号，所述根据所述磁带库索引区中存储的各所述第二存储单元的存储信息获得用于存储所述数据的第二存储单元，并获得与所述第二存储单元对应的第一存储单元，将获得的数据写入至所述第一存储单元中的步骤，包括：
根据所述磁带库索引区中存储的各所述第二存储单元的存储信息，选择用于存储所述数据的第二存储单元；
获得选择出的第二存储单元的第二编号，根据所述第二编号按预设规则计算得到所述第二存储单元对应的第一存储单元的第一编号；
根据所述缓冲池索引区中的各第一存储单元的存储信息查找到所述第一编号对应的第一存储单元；
将获得的数据写入至查找到的第一存储单元中。
4.根据权利要求3所述的数据备份管理方法，其特征在于，所述根据所述第二编号按预设规则计算得到所述第二存储单元对应的第一存储单元的第一编号的步骤，包括：
根据所述第二编号以及所述缓冲池包含的第一存储单元的总数量计算得到所述第二存储单元对应的第一存储单元的第一编号。
5.根据权利要求4所述的数据备份管理方法，其特征在于，根据所述第二编号以及所述缓冲池包含的第一存储单元的总数量计算得到所述第二存储单元对应的第一存储单元的第一编号的步骤，包括：
将所述第二编号除以所述缓冲池包含的第一存储单元的总数量以得到商和余数；
将得到的余数作为所述第二存储单元对应的第一存储单元的第一编号，并将得到的余数和商进行保存。
6.根据权利要求5所述的数据备份管理方法，其特征在于，所述将所述第一存储单元中缓存的数据迁移至所述磁带库中与所述第一存储单元对应的第二存储单元的步骤，包括：
获得缓存所述数据的第一存储单元的第一编号；
将所述第一编号乘以进行数据写入时所存储的所述第一存储单元对应的商，并加上存储的对应的余数以得到所述磁带库中与该第一存储单元对应的第二存储单元的第二编号；
根据所述第二编号将所述第一存储单元中缓存的数据迁移至所述第二编号对应的第二存储单元。
7.根据权利要求1所述的数据备份管理方法，其特征在于，所述将获得的数据写入至所述第一存储单元中的步骤之后，所述方法还包括：
根据所述缓冲池中各第一存储单元的存储信息对所述缓冲池索引区中的存储信息进行更新，并根据所述磁带库中各所述第二存储单元的存储信息对所述磁带库索引区中的存储信息进行更新。
8.一种数据备份管理装置，其特征在于，所述装置包括：
划分模块，用于将缓冲池划分为多个第一存储单元，并将磁带库划分为多个第二存储单元；
配置模块，用于分别为所述缓冲池配置对应的缓冲池索引区、为所述磁带库配置对应的磁带库索引区，各所述第一存储单元携带有第一编号，各所述第二存储单元携带有第二编号，所述缓冲池索引区记录所述缓冲池中第一存储单元的个数、各第一存储单元的占用情况、各第一存储单元的编号，所述磁带库索引区记录磁带库中第二存储单元的个数、各第二存储单元的占用情况以及各第二存储单元的编号；
写入模块，用于在获得待存储的数据时，根据所述磁带库索引区中存储的各所述第二存储单元的存储信息获得用于存储所述数据的第二存储单元，并获得与所述第二存储单元对应的第一存储单元，将获得的数据写入至所述第一存储单元中；
迁移模块，用于在待存储的所述数据全部写入至所述第一存储单元中后，将所述第一存储单元中缓存的数据迁移至所述磁带库中与所述第一存储单元对应的第二存储单元。
9.一种电子设备，其特征在于，包括：
存储器；
处理器；及
数据备份管理装置，包括一个或多个存储于所述存储器中并由所述处理器执行的软件功能模块，所述数据备份管理装置包括：
划分模块，用于将缓冲池划分为多个第一存储单元，并将磁带库划分为多个第二存储单元；
配置模块，用于分别为所述缓冲池配置对应的缓冲池索引区、为所述磁带库配置对应的磁带库索引区，各所述第一存储单元携带有第一编号，各所述第二存储单元携带有第二编号，所述缓冲池索引区记录所述缓冲池中第一存储单元的个数、各第一存储单元的占用情况、各第一存储单元的编号，所述磁带库索引区记录磁带库中第二存储单元的个数、各第二存储单元的占用情况以及各第二存储单元的编号；
写入模块，用于在获得待存储的数据时，根据所述磁带库索引区中存储的各所述第二存储单元的存储信息获得用于存储所述数据的第二存储单元，并获得与所述第二存储单元对应的第一存储单元，将获得的数据写入至所述第一存储单元中；
迁移模块，用于在待存储的所述数据全部写入至所述第一存储单元中后，将所述第一存储单元中缓存的数据迁移至所述磁带库中与所述第一存储单元对应的第二存储单元。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有指令，当所述指令被执行时，实现权利要求1-7任意一项所述的数据备份管理方法。
CN201810162275.3A 2018-02-27 2018-02-27 数据备份管理方法、装置及电子设备 Active CN110196785B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810162275.3A CN110196785B (zh) 2018-02-27 2018-02-27 数据备份管理方法、装置及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810162275.3A CN110196785B (zh) 2018-02-27 2018-02-27 数据备份管理方法、装置及电子设备

Publications (2)

Publication Number Publication Date
CN110196785A CN110196785A (zh) 2019-09-03
CN110196785B true CN110196785B (zh) 2022-06-14

Family

ID=67750853

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810162275.3A Active CN110196785B (zh) 2018-02-27 2018-02-27 数据备份管理方法、装置及电子设备

Country Status (1)

Country Link
CN (1) CN110196785B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113448922A (zh) * 2021-08-30 2021-09-28 阿里云计算有限公司 数据归档的方法、访问数据的方法及各自的装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103513956A (zh) * 2012-06-26 2014-01-15 阿里巴巴集团控股有限公司 一种处理器处理数据的方法以及装置
CN104049918A (zh) * 2014-07-03 2014-09-17 浪潮集团有限公司 一种双控存储服务器的缓存管理方法
CN104391653A (zh) * 2014-10-31 2015-03-04 山东超越数控电子有限公司 一种基于数据块的高速缓存设计方法
CN105138292A (zh) * 2015-09-07 2015-12-09 四川神琥科技有限公司 磁盘数据读取方法
CN106557272A (zh) * 2015-09-30 2017-04-05 中国科学院软件研究所 一种高效的传感器历史数据归档方法
CN106775476A (zh) * 2016-12-19 2017-05-31 中国人民解放军理工大学 混合内存系统及其管理方法
CN107704339A (zh) * 2012-12-26 2018-02-16 华为终端有限公司 一种媒体文件备份的方法、装置及用户设备

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6549992B1 (en) * 1999-12-02 2003-04-15 Emc Corporation Computer data storage backup with tape overflow control of disk caching of backup data stream
CN100578650C (zh) * 2006-12-22 2010-01-06 四川川大智胜软件股份有限公司 新型智能磁带机的数据处理方法
JP2010122906A (ja) * 2008-11-19 2010-06-03 Hitachi Computer Peripherals Co Ltd リモートバックアップシステム及びリモートバックアップ方法
US9348837B2 (en) * 2013-12-05 2016-05-24 International Business Machines Corporation Index writing in a linear tape file system
JP5975473B2 (ja) * 2014-08-29 2016-08-23 インターナショナル・ビジネス・マシーンズ・コーポレーションＩｎｔｅｒｎａｔｉｏｎａｌ Ｂｕｓｉｎｅｓｓ Ｍａｃｈｉｎｅｓ Ｃｏｒｐｏｒａｔｉｏｎ バックアップ方法、リストア方法、ストレージ・システムおよびプログラム

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103513956A (zh) * 2012-06-26 2014-01-15 阿里巴巴集团控股有限公司 一种处理器处理数据的方法以及装置
CN107704339A (zh) * 2012-12-26 2018-02-16 华为终端有限公司 一种媒体文件备份的方法、装置及用户设备
CN104049918A (zh) * 2014-07-03 2014-09-17 浪潮集团有限公司 一种双控存储服务器的缓存管理方法
CN104391653A (zh) * 2014-10-31 2015-03-04 山东超越数控电子有限公司 一种基于数据块的高速缓存设计方法
CN105138292A (zh) * 2015-09-07 2015-12-09 四川神琥科技有限公司 磁盘数据读取方法
CN106557272A (zh) * 2015-09-30 2017-04-05 中国科学院软件研究所 一种高效的传感器历史数据归档方法
CN106775476A (zh) * 2016-12-19 2017-05-31 中国人民解放军理工大学 混合内存系统及其管理方法

Also Published As

Publication number Publication date
CN110196785A (zh) 2019-09-03

Similar Documents

Publication Publication Date Title
CN103064639B (zh) 数据存储方法及装置
CN110399310B (zh) 一种存储空间的回收方法及装置
CA2910211C (en) Object storage using multiple dimensions of object information
US20180314443A1 (en) Automatically organizing storage system
US10169165B2 (en) Restoring data
KR20200067962A (ko) Ssd에 데이터를 기록하는 방법 및 장치
JP2017079053A (ja) ストレージジャーナリングを改善する方法およびシステム
US10223038B2 (en) File management in a file system
US10366052B2 (en) Identifying partial update for tape file system
CN110147203B (zh) 一种文件管理方法、装置、电子设备及存储介质
CN109684271B (zh) 快照数据管理方法、装置、电子设备及机器可读存储介质
CN103425785A (zh) 数据存储系统及其用户数据存储、读取方法
CN110597762A (zh) 文件处理方法、装置、设备及存储介质
CN115840731A (zh) 文件处理方法、计算设备及计算机存储介质
CN104462148B (zh) 一种数据存储管理方法及装置
US8880794B2 (en) Populating a sparsely allocated memory in a storage array
CN110196785B (zh) 数据备份管理方法、装置及电子设备
CN114297196A (zh) 元数据存储方法、装置、电子设备及存储介质
CN104199687B (zh) 一种在虚拟机系统中处理数据的方法和装置
CN106156038B (zh) 数据存储方法和装置
CN105808451B (zh) 一种数据缓存方法以及相关装置
CN109710454A (zh) 一种云主机快照方法及装置
CN105573862B (zh) 一种恢复文件系统的方法和设备
CN115328696A (zh) 一种数据库中的数据备份方法
CN110795034B (zh) 存储系统的数据迁移方法、装置、设备及可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant