CN111125002B - 一种基于分布式存储的数据备份归档方法和系统 - Google Patents
一种基于分布式存储的数据备份归档方法和系统 Download PDFInfo
- Publication number
- CN111125002B CN111125002B CN201911120266.9A CN201911120266A CN111125002B CN 111125002 B CN111125002 B CN 111125002B CN 201911120266 A CN201911120266 A CN 201911120266A CN 111125002 B CN111125002 B CN 111125002B
- Authority
- CN
- China
- Prior art keywords
- bucket
- file
- data
- information
- storage
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 37
- 238000012545 processing Methods 0.000 claims description 7
- 230000006870 function Effects 0.000 claims description 6
- 238000012360 testing method Methods 0.000 claims description 3
- 238000013500 data storage Methods 0.000 abstract description 8
- 230000008521 reorganization Effects 0.000 abstract description 4
- 230000008901 benefit Effects 0.000 description 3
- 238000004590 computer program Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 230000000903 blocking effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000002955 isolation Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/11—File system administration, e.g. details of archiving or snapshots
- G06F16/113—Details of archiving
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/14—Error detection or correction of the data by redundancy in operation
- G06F11/1402—Saving, restoring, recovering or retrying
- G06F11/1446—Point-in-time backing up or restoration of persistent data
- G06F11/1448—Management of the data involved in backup or backup restore
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/14—Error detection or correction of the data by redundancy in operation
- G06F11/1402—Saving, restoring, recovering or retrying
- G06F11/1446—Point-in-time backing up or restoration of persistent data
- G06F11/1458—Management of the backup or restore process
- G06F11/1464—Management of the backup or restore process for networked environments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/18—File system types
- G06F16/182—Distributed file systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
- G06F3/0614—Improving the reliability of storage systems
- G06F3/0619—Improving the reliability of storage systems in relation to data integrity, e.g. data losses, bit errors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
- G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Quality & Reliability (AREA)
- Human Computer Interaction (AREA)
- Computer Security & Cryptography (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明实施例公开了一种基于分布式存储的数据备份归档方法和系统，涉及数据存储领域。所述方法包括：配置存储桶维度的自定义初始参数；获取用户信息中的桶列表，并存入第一字典；获取资源池中的元数据信息，并根据元数据信息与桶列表中的桶名进行关联，组成第二字典；获取资源池中的对象数据信息，通过比较对象数据信息的时间戳与自定义初始参数中的时间大小，来判断是否进行文件备份归档；通过比较已备份归档的文件与原文件大小，以及，已备份归档文件与md5值的相似度，来判断是否删除原文件。本发明实施例能够针对存储内所有磁盘进行扫描，使数据存储更加稳定，通过桶名和桶ID进行多次字典重组，开启多线程进行数据备份归档，提高存储效率。
Description
技术领域
本发明实施例涉及数据存储领域，具体涉及一种基于分布式存储的数据备份归档方法和系统。
背景技术
随着互联网信息技术的迅速发展，每个企业积累了大量的数据，数据的有效保护和经济成本成为企业头等大事。为达到良好的数据保护和体现最佳经济效益，分布式存储应运而生，但数据及时有效备份归档仍是艰巨挑战。
分布式存储是将数据分散存储在多台独立的设备上，分布式网络存储系统采用可扩展的系统结构，利用多台存储服务器分担存储负荷，利用位置服务器定位存储信息，它不但提高了系统的可靠性、可用性和存取效率，还易于扩展。其中，分布式存储中的桶是存放数据文件的存储区域，池是分布式存储存放数据时的逻辑分区，起到租户隔离的作用。
数据在分布式存储设备中存放是以索引的形式存在的，以便于快速检索。在备份归档时，需要对已存数据进行大量、快速遍历，获得其创建时间戳，用以判断是否符合备份归档要求。假如在备份归档时间范围内，进行文件下载；假如不在备份归档时间范围内，跳过。对于符合备份归档要求的数据文件，比较已下载文件与原文件的大小与消息摘要算法第五版即md5值是否相同，如果相同，删除原文件，继续比较下一个文件；如果不相同，放弃，继续备份归档下一个文件。
然而，对分布式存储文件进行大量、快速遍历时，会造成数据索引繁忙，影响正常IO读写，会引起分布式存储内部节点心跳阻塞，造成磁盘无响应，存储进入非健康状态；且现有技术方案进行一次文件遍历只可扫描小于等于1000个文件，且不支持按照桶bucket维度自定义备份归档范围，也不支持按照桶维度自定义设置不同桶内文件归档备份时间。从而导致数据存储不稳定，数据存储压力大，效率低等问题。
发明内容
本发明实施例的目的在于提供一种基于分布式存储的数据备份归档方法和系统，用以解决现有数据备份不稳定，存储区压力大以及效率低的问题。
为实现上述目的，本发明实施例主要提供如下技术方案：
第一方面，本发明实施例提供了一种基于分布式存储的数据备份归档方法，
所述方法包括：配置存储桶维度的自定义初始参数；获取用户信息中的桶列表，并存入第一字典；获取资源池中的元数据信息，并根据所述元数据信息与桶列表中的桶名进行关联，组成第二字典；获取资源池中的对象数据信息，通过比较对象数据信息的时间戳与自定义初始参数中的时间大小，来判断是否进行文件备份归档；通过比较已备份归档的文件与原文件大小，以及，已备份归档文件与信息摘要算法md5值的相似度，来判断是否删除原文件。
进一步地，所述自定义初始参数包括备份归档范围和每一个存储桶的文件归档备份时间。
进一步地，所述获取用户信息中的桶列表，具体包括：通过对象存储接口获取分布式存储中的用户信息，所述用户信息包括密钥，根据密钥获取每个用户的桶列表。
进一步地，所述元数据信息包括桶ID和桶名，通过字典的赋值功能将元数据信息中的桶名与用户信息桶列表中的桶名进行匹配关联，合并成第二字典。
进一步地，所述对象数据信息包括桶ID、数据文件名称和数据文件时间戳。
进一步地，所述判断是否进行文件备份归档的方法，具体包括：如果对象数据信息中的数据文件时间戳大于自定义设置的备份时间，则将桶ID与第二字典进行合并，组成第三字典，所述第三字典包括密钥、桶名和数据文件名；如果对象数据信息的数据文件时间戳小于自定义设置的备份时间，则丢弃该对象数据，继续下一个数据处理。
进一步地，所述方法还包括：通过自定义配置参数遍历文件数量和字典中关键信息，开启多线程进行数据备份归档。
进一步地，判断是否删除所述原文件的方法，具体包括：如果已备份归档的文件与原文件大小相同，且已备份归档文件与信息摘要算法md5值完全相同，则删除原文件，继续下一个处理，反之，保留原文件。
第二方面，本发明实施例还提供一种基于分布式存储的数据备份归档方法系统，
所述系统包括：至少一个处理器和至少一个存储器；所述存储器用于存储一个或多个程序指令；所述处理器，用于运行一个或多个程序指令，用以执行一种基于分布式存储的数据备份归档方法。
第三方面，本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质中包含一个或多个程序指令，所述一个或多个程序指令用于被一种路测单元执行一种基于分布式存储的数据备份归档方法。
本发明实施例提供的技术方案至少具有如下优点：
本发明实施例提供的一种基于分布式存储的数据备份归档方法和系统通过自定义配置存储桶维度的自定义初始参数，对数据进行扫描，能够针对存储内所有磁盘，而不是针对索引所在的部分磁盘，使数据存储更加稳定，通过桶名和桶ID进行多次字典重组，开启多线程进行数据备份归档，能够提高存储效率。
附图说明
图1为本发明实施例提供的一种基于分布式存储的数据备份归档方法的步骤流程图。
图2为本发明实施例提供的一种基于分布式存储的数据备份归档系统的结构示意图。
具体实施方式
以下由特定的具体实施例说明本发明的实施方式，熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本发明的其他优点及功效。
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、接口、技术之类的具体细节，以便透彻理解本发明。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本发明。在其它情况中，省略对众所周知的系统、电路以及方法的详细说明，以免不必要的细节妨碍本发明的描述。
本发明实施例提供一种基于分布式存储的数据备份归档方法，该方法包括：
S1、配置存储桶维度的自定义初始参数；
现有技术在备份归档，进行大量文件快速遍历时，仅仅针对索引所在的部分磁盘，进行一次文件遍历只可扫描小于等于1000个文件，会造成数据索引繁忙，影响正常IO读写。对于此，本实施例采取自定义配置项来设置初始参数，初始参数包括备份归档范围和每一个存储桶的文件归档备份时间。且利用底层的rados接口，将压力分散在集群所有磁盘上。相比与当前技术，可使分布式存储内部节点心跳正常，无阻塞，集群可保持健康状态具有。且通过自定义可以使一次文件扫描遍历的数量大于1000个，极大地提高扫描效率。
需要说明的是，本实施例还通过自定义配置参数遍历文件数量和字典中关键信息，开启多线程进行数据备份归档。
S2、获取用户信息中的桶列表，并存入第一字典；
通过对象存储rados gate way接口，利用radosgw-admin user list获取分布式存储中的用户信息，该用户信息包括密钥access key和secret key，根据密钥获取每个用户的桶列表，可以表示为user＝{accesskey:secretkry}。
S3、获取资源池中的元数据信息，并根据元数据信息与桶列表中的桶名进行关联，组成第二字典；
元数据信息即default.rgw.meta中的信息，元数据信息包括桶ID和桶名，通过字典的赋值功能将元数据信息中的桶名与用户信息桶列表中的桶名进行匹配关联，合并成第二字典，第二字典的存储桶的格式可以记为：bucket＝{name:accesskey}。
S4、获取资源池中的对象数据信息，通过比较对象数据信息的时间戳与自定义初始参数中的时间大小，来判断是否进行文件备份归档；
对象数据信息即default.rgw.buckets.data中信息，对象数据信息包括桶ID、数据文件名称和数据文件时间戳，如果对象数据信息中的数据文件时间戳大于自定义设置的备份时间，则将桶ID与第二字典进行合并，组成第三字典，所述第三字典包括密钥、桶名和数据文件名，第三字典的格式可以记为：newdic＝{id:{name:accesskey}}。
如果对象数据信息的数据文件时间戳小于自定义设置的备份时间，则丢弃该对象数据，继续下一个数据处理。
利用上述方法进行备份归档文件的判断，使存储IOPS平均占用总体IOPS的0.9％，压力可忽略不计，磁盘响应延时和备份归档时间较之前平均缩短25％。
S5、通过比较已备份归档的文件与原文件大小，以及，已备份归档文件与信息摘要算法md5值的相似度，来判断是否删除原文件。
具体包括：如果已备份归档的文件与原文件大小相同，且已备份归档文件与信息摘要算法md5值完全相同，则删除原文件，继续下一个处理，反之，保留原文件。
本发明实施例通过自定义配置存储桶维度的自定义初始参数，对数据进行扫描，能够针对存储内所有磁盘，而不是针对索引所在的部分磁盘，使数据存储更加稳定，通过桶名和桶ID进行多次字典重组，开启多线程进行数据备份归档，能够提高存储效率。
与上述实施例对应的，本发明实施例提供一种基于分布式存储的数据备份归档方法系统，该系统包括：至少一个处理器02和至少一个存储器01；
存储器01用于存储一个或多个程序指令；
处理器02，用于运行一个或多个程序指令，用以执行一种基于分布式存储的数据备份归档方法。
与上述实施例对应的，本发明实施例还提供一种计算机可读存储介质，计算机存储介质中包含一个或多个程序指令，所述一个或多个程序指令用于被一种路测单元执行一种基于分布式存储的数据备份归档方法。
本实施例通过自定义配置存储桶维度的自定义初始参数，对数据进行扫描，能够针对存储内所有磁盘，而不是针对索引所在的部分磁盘，使数据存储更加稳定，通过桶名和桶ID进行多次字典重组，开启多线程进行数据备份归档，能够提高存储效率。
本发明所公开的实施例提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序指令，当所述计算机程序指令在计算机上运行时，使得计算机执行上述的方法。
在本发明实施例中，处理器可以是一种集成电路芯片，具有信号的处理能力。处理器可以是通用处理器、数字信号处理器(Digital Signal Processor，简称DSP)、专用集成电路(Application Specific工ntegrated Circuit，简称ASIC)、现场可编程门阵列(FieldProgrammable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。处理器读取存储介质中的信息，结合其硬件完成上述方法的步骤。
存储介质可以是存储器，例如可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。
其中，非易失性存储器可以是只读存储器(Read-Only Memory，简称ROM)、可编程只读存储器(Programmable ROM，简称PROM)、可擦除可编程只读存储器(Erasable PROM，简称EPROM)、电可擦除可编程只读存储器(Electrically EPROM，简称EEPROM)或闪存。
易失性存储器可以是随机存取存储器(Random Access Memory，简称RAM)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(Static RAM，简称SRAM)、动态随机存取存储器(Dynamic RAM，简称DRAM)、同步动态随机存取存储器(Synchronous DRAM，简称SDRAM)、双倍数据速率同步动态随机存取存储器(Double Data RateSDRAM，简称DDRSDRAM)、增强型同步动态随机存取存储器(EnhancedSDRAM，简称ESDRAM)、同步连接动态随机存取存储器(Synchlink DRAM，简称SLDRAM)和直接内存总线随机存取存储器(DirectRambus RAM，简称DRRAM)。
本发明实施例描述的存储介质旨在包括但不限于这些和任意其它适合类型的存储器。
本领域技术人员应该可以意识到，在上述一个或多个示例中，本发明所描述的功能可以用硬件与软件组合来实现。当应用软件时，可以将相应功能存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。计算机可读介质包括计算机存储介质和通信介质，其中通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。存储介质可以是通用或专用计算机能够存取的任何可用介质。
以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的技术方案的基础之上，所做的任何修改、等同替换、改进等，均应包括在本发明的保护范围之内。
Claims (5)
1.一种基于分布式存储的数据备份归档方法，其特征在于，所述方法包括：
配置存储桶维度的自定义初始参数；所述自定义初始参数包括备份归档范围和每一个存储桶的文件归档备份时间；
获取用户信息中的桶列表，并存入第一字典；所述获取用户信息中的桶列表，具体包括：通过对象存储接口获取分布式存储中的用户信息，所述用户信息包括密钥，根据密钥获取每个用户的桶列表；
获取资源池中的元数据信息，并根据所述元数据信息与桶列表中的桶名进行关联，组成第二字典；所述元数据信息包括桶ID和桶名，通过字典的赋值功能将元数据信息中的桶名与用户信息桶列表中的桶名进行匹配关联，合并成第二字典；
获取资源池中的对象数据信息，通过比较对象数据信息的时间戳与自定义初始参数中的时间大小，来判断是否进行文件备份归档；所述对象数据信息包括所述桶ID、数据文件名称和数据文件时间戳；所述判断是否进行文件备份归档的方法，具体包括：如果对象数据信息中的数据文件时间戳大于自定义设置的备份时间，则将所述桶ID和数据文件名称与第二字典进行合并，组成第三字典，所述第三字典包括所述桶ID、密钥、元数据信息中的桶名和数据文件名称；如果对象数据信息的数据文件时间戳小于自定义设置的备份时间，则丢弃该对象数据信息，继续下一个数据处理；
通过比较已备份归档的文件与原文件大小，以及，已备份归档文件与信息摘要算法md5值的相似度，来判断是否删除原文件。
2.如权利要求1所述的一种基于分布式存储的数据备份归档方法，其特征在于，所述方法还包括：通过自定义初始参数遍历原文件数量和字典中关键信息，开启多线程进行数据备份归档。
3.如权利要求1所述的一种基于分布式存储的数据备份归档方法，其特征在于，判断是否删除所述原文件的方法，具体包括：如果已备份归档的文件与原文件大小相同，且已备份归档文件与信息摘要算法md5值完全相同，则删除原文件，继续下一个处理，反之，保留原文件。
4.一种基于分布式存储的数据备份归档系统，其特征在于，所述系统包括：至少一个处理器和至少一个存储器；
所述存储器用于存储一个或多个程序指令；
所述处理器，用于运行一个或多个程序指令，用以执行如权利要求1-3任一项所述的一种基于分布式存储的数据备份归档方法。
5.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中包含一个或多个程序指令，所述一个或多个程序指令用于被一种路测单元执行如权利要求1-3任一项所述的一种基于分布式存储的数据备份归档方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911120266.9A CN111125002B (zh) | 2019-11-15 | 2019-11-15 | 一种基于分布式存储的数据备份归档方法和系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911120266.9A CN111125002B (zh) | 2019-11-15 | 2019-11-15 | 一种基于分布式存储的数据备份归档方法和系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111125002A CN111125002A (zh) | 2020-05-08 |
| CN111125002B true CN111125002B (zh) | 2023-10-27 |
Family
ID=70495958
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911120266.9A Active CN111125002B (zh) | 2019-11-15 | 2019-11-15 | 一种基于分布式存储的数据备份归档方法和系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111125002B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111831618A (zh) * | 2020-07-21 | 2020-10-27 | 北京青云科技股份有限公司 | 数据写入方法、数据读取方法、装置、设备及存储介质 |
| CN112100987A (zh) * | 2020-09-27 | 2020-12-18 | 中国建设银行股份有限公司 | 一种多源数据字典的转码方法及装置 |
| CN112286465B (zh) * | 2020-11-03 | 2023-02-21 | 浪潮云信息技术股份公司 | 一种rados gateway归档存储方法及系统 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103034701A (zh) * | 2012-12-05 | 2013-04-10 | 曙光信息产业(北京)有限公司 | 元数据文件格式转换方法 |
| CN103353867A (zh) * | 2005-12-29 | 2013-10-16 | 亚马逊科技公司 | 具有网络服务客户接口的分布式存储系统 |
| CN103514222A (zh) * | 2012-06-29 | 2014-01-15 | 无锡江南计算技术研究所 | 虚拟机映像的存储方法、管理方法、存储管理装置及系统 |
| CN110196784A (zh) * | 2017-12-25 | 2019-09-03 | 普利奥普斯有限公司 | 数据库及固态磁盘（ssd）控制器 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9619487B2 (en) * | 2012-06-18 | 2017-04-11 | International Business Machines Corporation | Method and system for the normalization, filtering and securing of associated metadata information on file objects deposited into an object store |
| US8805789B2 (en) * | 2012-09-12 | 2014-08-12 | International Business Machines Corporation | Using a metadata image of a file system and archive instance to backup data objects in the file system |
-
2019
- 2019-11-15 CN CN201911120266.9A patent/CN111125002B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103353867A (zh) * | 2005-12-29 | 2013-10-16 | 亚马逊科技公司 | 具有网络服务客户接口的分布式存储系统 |
| CN103514222A (zh) * | 2012-06-29 | 2014-01-15 | 无锡江南计算技术研究所 | 虚拟机映像的存储方法、管理方法、存储管理装置及系统 |
| CN103034701A (zh) * | 2012-12-05 | 2013-04-10 | 曙光信息产业(北京)有限公司 | 元数据文件格式转换方法 |
| CN110196784A (zh) * | 2017-12-25 | 2019-09-03 | 普利奥普斯有限公司 | 数据库及固态磁盘（ssd）控制器 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111125002A (zh) | 2020-05-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11853549B2 (en) | Index storage in shingled magnetic recording (SMR) storage system with non-shingled region | |
| CN111125002B (zh) | 一种基于分布式存储的数据备份归档方法和系统 | |
| US8799238B2 (en) | Data deduplication | |
| CN108319654B (zh) | 计算系统、冷热数据分离方法及装置、计算机可读存储介质 | |
| CN109800185B (zh) | 一种数据存储系统中的数据缓存方法 | |
| US7774313B1 (en) | Policy enforcement in continuous data protection backup systems | |
| KR20090026296A (ko) | 예측 데이터 로더 | |
| CN111723056B (zh) | 小文件的处理方法、装置、设备和存储介质 | |
| US11227635B2 (en) | Recording device, readout device, recording method, recording program, readout method, readout program, and magnetic tape | |
| US11176110B2 (en) | Data updating method and device for a distributed database system | |
| US20110093437A1 (en) | Method and system for generating a space-efficient snapshot or snapclone of logical disks | |
| EP3805944A1 (en) | Data page access method, storage engine, and computer readable storage medium | |
| CN111309720A (zh) | 时序数据的存储、读取方法、装置、电子设备及存储介质 | |
| CN111475508B (zh) | 一种优化叶子节点合并操作的高效索引方法 | |
| US8572338B1 (en) | Systems and methods for creating space-saving snapshots | |
| US20220164316A1 (en) | Deduplication method and apparatus | |
| CN109460438A (zh) | 消息数据存储方法、装置、计算机设备和存储介质 | |
| CN106776795B (zh) | 基于Hbase数据库的数据写入方法及装置 | |
| US11093453B1 (en) | System and method for asynchronous cleaning of data objects on cloud partition in a file system with deduplication | |
| RU2665272C1 (ru) | Способ и устройство для восстановления дедуплицированных данных | |
| CN104965835A (zh) | 一种分布式文件系统的文件读写方法及装置 | |
| CN109284070B (zh) | 一种基于stt-mram固态存储器件断电恢复方法 | |
| US20140320498A1 (en) | Terminal device, information processing method, and computer program product | |
| CN109271097B (zh) | 数据处理方法、数据处理装置和服务器 | |
| US8595271B1 (en) | Systems and methods for performing file system checks |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |