CN105487819A - 一种基于任务策略的内存级数据快速存储方法 - Google Patents

一种基于任务策略的内存级数据快速存储方法 Download PDF

Info

Publication number
CN105487819A
CN105487819A CN201510855156.2A CN201510855156A CN105487819A CN 105487819 A CN105487819 A CN 105487819A CN 201510855156 A CN201510855156 A CN 201510855156A CN 105487819 A CN105487819 A CN 105487819A
Authority
CN
China
Prior art keywords
metadata
internal memory
storage
pond
backup
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201510855156.2A
Other languages
English (en)
Inventor
王瀚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Eisoo Information Technology Co Ltd
Original Assignee
Shanghai Eisoo Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Eisoo Information Technology Co Ltd filed Critical Shanghai Eisoo Information Technology Co Ltd
Priority to CN201510855156.2A priority Critical patent/CN105487819A/zh
Publication of CN105487819A publication Critical patent/CN105487819A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0629—Configuration or reconfiguration of storage systems
    • G06F3/0631—Configuration or reconfiguration of storage systems by allocating resources to storage systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0608—Saving storage space on storage systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/061—Improving I/O performance
    • G06F3/0613—Improving I/O performance in relation to throughput
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0614—Improving the reliability of storage systems
    • G06F3/0619—Improving the reliability of storage systems in relation to data integrity, e.g. data losses, bit errors

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Security & Cryptography (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明涉及一种基于任务策略的内存级数据快速存储方法，包括以下步骤：1)创建备份任务与元数据池的一一对应关系，并为每一元数据池生成唯一标签；2)发起一备份任务，将对应的元数据池加载至对象存储服务器的内存中；3)通过元数据池对需要备份的元数据进行内存级数据存储。与现有技术相比，本发明通过任务策略将任务数据分流，并将服务器中的元数据数据池根据任务策略加载至内存，从而优化存储效率与速度，不依赖于磁盘I/O，具有降低存储容量、加快数据存储速度等优点。

Description

一种基于任务策略的内存级数据快速存储方法
技术领域
本发明属于计算机存储备份技术领域，涉及数据备份、重复数据删除、数据存储，尤其是涉及一种基于任务策略的内存级数据快速存储方法。
背景技术
随着互联网时代的进一步发展，世间万物也在逐渐地信息化数据化，计算机中需要存储的有效数据也成倍地增长。如果没有一个合理有效的方式对数据进行存储管理，那么随着数据的基数增长其存储和传输将会变得极其缓慢，存储和传输将成为负担。
传统存储系统是将对象存储记录为元数据信息，同时将数据写入磁盘，但是这种方式并不适用于互联网环境。绝对重复的数据及频繁的重复存储极为消耗空间，读取数据的速度也严重依赖于磁盘I/O性能，严重影响整体存储性能。这种情况下就需要一种可以提升速度的管理方法。
对于这种大量浪费空间的问题以及存储数据慢的问题，一般解决办法是使用全局重复数据删除技术，这种技术将存储的数据切分成细小的数据块，并为每个数据块建立一个唯一的指纹信息，并将指纹信息和数据块存储在目的端的磁盘上，每当一个新块被切分后便被送去目的端进行指纹查询，指纹不存在则指纹信息与数据便被传输至目的端。指纹信息由随机散列产生，相邻的数据块产生的散列值相差甚远，所以在目的端对散列值并不进行相邻存储，在进行指纹查询的时候采用分流的做法，然而这种做法并不能完美地解决速度慢的问题。随着数据量的增长，指纹在磁盘上进行指数倍的增长，不同的数据块查询变成了海量小数据的随机I/O，虽然可以通过LRU等缓存算法减少频繁的随机I/O，也可采用SSD加速随机读写性能，但是实际上磁盘I/O瓶颈依然是导致速度低下的原因。所以需要一种不依赖于磁盘I/O性便可以解决数据的快速存储的方法。
发明内容
本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种不依赖于磁盘I/O、存储容量低、数据存储速度快的基于任务策略的内存级数据快速存储方法。
本发明的目的可以通过以下技术方案来实现：
一种基于任务策略的内存级数据快速存储方法，包括以下步骤：
1)创建备份任务与元数据池的一一对应关系，并为每一元数据池生成唯一标签；
2)发起一备份任务，将对应的元数据池加载至对象存储服务器的内存中；
3)通过元数据池对需要备份的元数据进行内存级数据存储。
所述元数据池采用数据型结构存储到对象存储服务器中。
所述内存级数据存储具体为：
301)获取需要备份的元数据信息，对象存储服务器判断内存中是否存在与该元数据信息对应的元数据，若是，则直接删除需要备份的元数据，若否，则执行步骤302)；
302)将元数据信息缓存至元数据池的临时区域中；
303)接收需要备份的元数据信息及相应数据块并存储至对象文件系统，对象文件系统将数据块写入磁盘；
304)将元数据池临时区域中的元数据信息填放至内存区域中；
305)备份任务结束后，另开辟进行将元数据信息写入磁盘。
所述步骤303)中，对象文件系统将数据块写入磁盘时，同时保存存储顺序或引用顺序。
所述步骤305)中，任务结束后，将元数据池中的数据持久化。
与现有技术相比，本发明具有以下有益效果：
1)由于内存的存储量远远小于物理磁盘，所以不可能无节制使用，本发明设置了不同任务对应不同元数据池的任务策略，达到实时切换内存的效果，避免大数据情况下内存不够用的情况。
2)本发明根据任务将指定的元数据池加载至内存中，通过全内存方式加载至系统中，利用内存高吞吐、低延时、速度快的特点，解决当前备份存储系统中重删服务器，再通过查询元数据信息时进行频繁的随机磁盘I/O，造成随着数据量越大、备份存储速度越慢的问题，从而大幅度的提升备份存储速度。
3)本发明区分对象文件系统与元数据池，将元数据信息存入元数据池，而数据块存入对象文件系统，同时由对象文件系统记录数据块的存储顺序，屏蔽元数据池全部加载至内存掉电引起数据丢失的后果，而实际数据依然可以有对象文件系统恢复。
附图说明
图1为本发明的流程示意图；
图2为本发明的实现原理图。
具体实施方式
下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。
本实施例提供一种基于任务策略的内存级数据快速存储方法，适用于对象启用重复数据删除功能的备份存储系统，通过任务策略将任务数据分流，并将服务器中的元数据数据池根据任务策略加载至内存，从而优化存储效率与速度。如图1所示，该方法包括以下步骤：
1)创建备份任务与元数据池的一一对应关系，形成任务策略，并为每一元数据池生成唯一标签，元数据池采用数据型结构存储到对象存储服务器中；
2)发起一备份任务，将对应的元数据池加载至对象存储服务器的内存中；
3)通过元数据池对需要备份的元数据进行内存级数据存储。
上述存储方法的实施至少需要一台生产服务器和一台对象存储服务器，如图2所示，生产服务器内部署备份软件的客户端程序，对象存储服务器内部署快速元数据存储模块和对象文件系统。本实例采用的生产服务器与对象存储服务器操作系统为RedHatEnterprise5，数据为Oracle备份到出数据约2TB数据量。
内存级数据存储具体为：
301)客户端通过网络将元数据信息发送至对象存储服务器进行查询，快速元数据存储模块对接收到的元数据信息进行内存级别的查找，判断内存中是否存在与该元数据信息对应的元数据，若是，则直接删除需要备份的元数据，若否，则执行步骤302)；
302)快速元数据存储模块将元数据信息缓存至元数据池的临时区域中；
303)客户端接收到对象存储服务器的查询结果后，将元数据信息及相应数据块并存储至对象文件系统，对象文件系统将数据块写入磁盘，同时保存存储顺序或引用顺序；
304)数据存储完毕通知快速元数据存储模块将元数据池临时区域中的元数据信息填放至内存区域中；
305)备份任务结束后，另开辟进行将元数据信息写入磁盘，将元数据池中的数据持久化。

Claims (5)

1.一种基于任务策略的内存级数据快速存储方法，其特征在于，包括以下步骤：
1)创建备份任务与元数据池的一一对应关系，并为每一元数据池生成唯一标签；
2)发起一备份任务，将对应的元数据池加载至对象存储服务器的内存中；
3)通过元数据池对需要备份的元数据进行内存级数据存储。
2.根据权利要求1所述的基于任务策略的内存级数据快速存储方法，其特征在于，所述元数据池采用数据型结构存储到对象存储服务器中。
3.根据权利要求1所述的基于任务策略的内存级数据快速存储方法，其特征在于，所述内存级数据存储具体为：
301)获取需要备份的元数据信息，对象存储服务器判断内存中是否存在与该元数据信息对应的元数据，若是，则直接删除需要备份的元数据，若否，则执行步骤302)；
302)将元数据信息缓存至元数据池的临时区域中；
303)接收需要备份的元数据信息及相应数据块并存储至对象文件系统，对象文件系统将数据块写入磁盘；
304)将元数据池临时区域中的元数据信息填放至内存区域中；
305)备份任务结束后，另开辟进行将元数据信息写入磁盘。
4.根据权利要求3所述的基于任务策略的内存级数据快速存储方法，其特征在于，所述步骤303)中，对象文件系统将数据块写入磁盘时，同时保存存储顺序或引用顺序。
5.根据权利要求3所述的基于任务策略的内存级数据快速存储方法，其特征在于，所述步骤305)中，任务结束后，将元数据池中的数据持久化。
CN201510855156.2A 2015-11-30 2015-11-30 一种基于任务策略的内存级数据快速存储方法 Pending CN105487819A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510855156.2A CN105487819A (zh) 2015-11-30 2015-11-30 一种基于任务策略的内存级数据快速存储方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510855156.2A CN105487819A (zh) 2015-11-30 2015-11-30 一种基于任务策略的内存级数据快速存储方法

Publications (1)

Publication Number Publication Date
CN105487819A true CN105487819A (zh) 2016-04-13

Family

ID=55674824

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510855156.2A Pending CN105487819A (zh) 2015-11-30 2015-11-30 一种基于任务策略的内存级数据快速存储方法

Country Status (1)

Country Link
CN (1) CN105487819A (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101908077A (zh) * 2010-08-27 2010-12-08 华中科技大学 一种适用于云备份的重复数据删除方法
CN102456059A (zh) * 2010-10-21 2012-05-16 英业达股份有限公司 重复数据删除的处理系统
CN102722583A (zh) * 2012-06-07 2012-10-10 无锡众志和达存储技术有限公司 重复数据删除硬件加速装置和方法
CN103019887A (zh) * 2012-12-12 2013-04-03 华为技术有限公司 数据备份方法及装置
US8983968B2 (en) * 2011-06-01 2015-03-17 Inventec Corporation Method for processing duplicated data

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101908077A (zh) * 2010-08-27 2010-12-08 华中科技大学 一种适用于云备份的重复数据删除方法
CN102456059A (zh) * 2010-10-21 2012-05-16 英业达股份有限公司 重复数据删除的处理系统
US8983968B2 (en) * 2011-06-01 2015-03-17 Inventec Corporation Method for processing duplicated data
CN102722583A (zh) * 2012-06-07 2012-10-10 无锡众志和达存储技术有限公司 重复数据删除硬件加速装置和方法
CN103019887A (zh) * 2012-12-12 2013-04-03 华为技术有限公司 数据备份方法及装置

Similar Documents

Publication Publication Date Title
US10437662B2 (en) Crash recovery using non-volatile memory
US8868512B2 (en) Logging scheme for column-oriented in-memory databases
CN102222085B (zh) 一种基于相似性与局部性结合的重复数据删除方法
Santos et al. Real-time data warehouse loading methodology
CN102521269B (zh) 一种基于索引的计算机连续数据保护方法
US8825959B1 (en) Method and apparatus for using data access time prediction for improving data buffering policies
CN103902479A (zh) 一种基于元数据日志的元数据缓存快速重建机制
WO2013174305A1 (zh) 基于SSD的Key-Value型本地存储方法及系统
EP2562657B1 (en) Management of update transactions and crash recovery for columnar database
US10810092B2 (en) Checkpoints for document store
CN102831222A (zh) 一种基于重复数据删除的差量压缩方法
CN101841473B (zh) Mac地址表更新方法及装置
CN103488687A (zh) 用于大数据的搜索系统和搜索方法
EP3262511B1 (en) Automatic recovery of application cache warmth
US11550485B2 (en) Paging and disk storage for document store
CN105630834A (zh) 一种实现重复数据删除的方法及装置
CN101770412A (zh) 一种连续数据缓存系统及其数据缓存方法
CN103916459A (zh) 一种大数据归档存储系统
CN109101365A (zh) 一种基于源端数据重删的数据备份和恢复方法
CN111124258B (zh) 全闪存阵列的数据存储方法、装置、设备及可读存储介质
CN116186085A (zh) 一种基于缓存梯度冷热数据分层机制的键值存储系统及方法
US10416901B1 (en) Storage element cloning in presence of data storage pre-mapper with multiple simultaneous instances of volume address using virtual copies
US10802957B2 (en) Control modules, multi-level data storage devices, multi-level data storage methods, and computer readable media
CN103500147A (zh) 一种嵌入分层存储的pb级集群存储系统的方法
CN105487819A (zh) 一种基于任务策略的内存级数据快速存储方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20160413