CN115202588A - 数据存储方法及装置、数据恢复方法及装置 - Google Patents

数据存储方法及装置、数据恢复方法及装置 Download PDF

Info

Publication number
CN115202588A
CN115202588A CN202211112729.9A CN202211112729A CN115202588A CN 115202588 A CN115202588 A CN 115202588A CN 202211112729 A CN202211112729 A CN 202211112729A CN 115202588 A CN115202588 A CN 115202588A
Authority
CN
China
Prior art keywords
target
data
compressed data
information
memory
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211112729.9A
Other languages
English (en)
Other versions
CN115202588B (zh
Inventor
熊艳辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Primitive Data Beijing Information Technology Co ltd
Original Assignee
Yunhe Enmo Beijing Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yunhe Enmo Beijing Information Technology Co ltd filed Critical Yunhe Enmo Beijing Information Technology Co ltd
Priority to CN202211112729.9A priority Critical patent/CN115202588B/zh
Publication of CN115202588A publication Critical patent/CN115202588A/zh
Application granted granted Critical
Publication of CN115202588B publication Critical patent/CN115202588B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/061—Improving I/O performance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14—Error detection or correction of the data by redundancy in operation
    • G06F11/1402—Saving, restoring, recovering or retrying
    • G06F11/1415—Saving, restoring, recovering or retrying at system level
    • G06F11/1435—Saving, restoring, recovering or retrying at system level using file system or storage system metadata
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14—Error detection or correction of the data by redundancy in operation
    • G06F11/1402—Saving, restoring, recovering or retrying
    • G06F11/1415—Saving, restoring, recovering or retrying at system level
    • G06F11/1441—Resetting or repowering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0614—Improving the reliability of storage systems
    • G06F3/0619—Improving the reliability of storage systems in relation to data integrity, e.g. data losses, bit errors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638—Organizing or formatting or addressing of data
    • G06F3/0643—Management of files
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671—In-line storage system
    • G06F3/0673—Single storage device
    • G06F3/0674—Disk device
    • G06F3/0676—Magnetic disk device
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Quality & Reliability (AREA)
  • Library & Information Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请公开了一种数据存储方法及装置、数据恢复方法及装置。其中，该方法包括：获取待存储数据；压缩待存储数据得到目标压缩数据，将目标压缩数据存储至目标内存中，并获取目标内存中所有压缩数据的统计信息；生成目标预写日志，将目标预写日志存储至数据库的日志文件库中，其中，目标预写日志中包括重定向信息，重定向信息用于表示目标压缩数据在目标内存中的存储地址；基于统计信息确定目标刷盘策略，并基于目标刷盘策略及目标预写日志将目标压缩数据写入目标磁盘中。本申请解决了相关技术中数据库进行数据压缩存储后在故障恢复时效率较低的技术问题。

Description

数据存储方法及装置、数据恢复方法及装置
技术领域
本申请涉及数据库技术领域，具体而言，涉及一种数据存储方法及装置、数据恢复方法及装置。
背景技术
目前，数据库的部署形态根据数据存储分布情况主要分为分布式和单机两种形态，随着用户数据存储量逐年增长，单个数据库实例的数据集大小以TB当量级别的已经很常见，但是存储成本也在增加，因此，数据库系统采用压缩数据的技术进行数据存储，以此来减少存储数据在磁盘上实际占用空间的大小，从而减少数据的存储成本。
当数据库系统发生故障时，为了不影响前端用户业务的连续性，相关技术人员通常利用系统本身提供的WAL（Write Ahead Log，预写日志）技术来恢复数据到故障点发生时刻的状态，若此时数据库开启了数据压缩功能，会引入了压缩恢复处理的额外开销，导致数据库系统的RTO（Recovery Time Object，恢复时间目标增加），从而影响系统业务的连续性。
针对上述的问题，目前尚未提出有效的解决方案。
发明内容
本申请实施例提供了一种数据存储方法及装置、数据恢复方法及装置，以至少解决相关技术中数据库进行数据压缩存储后在故障恢复时效率较低的技术问题。
根据本申请实施例的一个方面，提供了一种数据存储方法，包括：获取待存储数据；压缩待存储数据得到目标压缩数据，将目标压缩数据存储至目标内存中，并获取目标内存中所有压缩数据的统计信息；生成目标预写日志，将目标预写日志存储至数据库的日志文件库中，其中，目标预写日志中包括重定向信息，重定向信息用于表示目标压缩数据在目标内存中的存储地址；基于统计信息确定目标刷盘策略，并基于目标刷盘策略及目标预写日志将目标压缩数据写入目标磁盘中。
可选地，目标内存的类型至少包括以下之一：高速内存和保电内存，其中，高速内存的类型至少包括以下之一：固态硬盘存储介质和相变存储介质；保电内存用于在数据库系统掉电时保证存储的所有压缩数据不丢失。
可选地，统计信息中至少包括以下子信息之一：压缩数据的压缩级别信息和压缩频率信息，压缩数据占用目标内存空间的比例信息，目标内存的剩余可用空间信息。
可选地，在将目标预写日志存储至数据库的日志文件库中之后，还包括：将重定向信息存储至目标内存中用于存储元数据的元数据区域中。
可选地，基于统计信息确定目标刷盘策略，并基于目标刷盘策略及目标预写日志将目标压缩数据写入目标磁盘中，包括：确定统计信息中各个子信息的权重，并基于各个子信息及各个子信息的权重计算得到检查点确认值，检查点确认值用于判断是否生成检查点；在检查点确认值大于预设阈值时，在日志文件库中生成检查点 ；将日志文件库中位于检查点之前的所有第一预写日志对应的第一压缩数据写入目标磁盘中，其中，第一预写日志中包括目标预写日志，第一压缩数据中包括目标压缩数据。
可选地，在将日志文件库中位于检查点之前的所有第一预写日志对应的第一压缩数据写入目标磁盘中之后，还包括：删除日志文件库中的所有第一预写日志。
可选地，在获取待存储数据之后，还包括：直接将待存储数据写入目标磁盘中。
根据本申请实施例的另一方面，还提供了一种数据恢复方法，包括：获取目标预写日志，目标预写日志中包括重定向信息，重定向信息用于表示目标压缩数据在目标内存中的存储地址；基于重定向信息从目标内存中读取目标压缩数据，并将目标压缩数据写入目标磁盘中。
根据本申请实施例的另一方面，还提供了一种数据存储装置，包括：获取模块，用于获取待存储数据；压缩模块，用于压缩待存储数据得到目标压缩数据，将目标压缩数据存储至目标内存中，并获取目标内存中所有压缩数据的统计信息；生成模块，用于生成目标预写日志，将目标预写日志存储至数据库的日志文件库中，其中，目标预写日志中包括重定向信息，重定向信息用于表示目标压缩数据在目标内存中的存储地址；写入模块，用于基于统计信息确定目标刷盘策略，并基于目标刷盘策略及目标预写日志将目标压缩数据写入目标磁盘中。
根据本申请实施例的另一方面，还提供了一种数据恢复装置，包括：获取模块，用于获取目标预写日志，目标预写日志中包括重定向信息，重定向信息用于表示目标压缩数据在目标内存中的存储地址；写入模块，用于基于重定向信息从目标内存中读取目标压缩数据，并将目标压缩数据写入目标磁盘中。
根据本申请实施例的另一方面，还提供了一种非易失性存储介质，该非易失性存储介质包括存储的程序，其中，在程序运行时控制非易失性存储介质所在设备执行上述的数据存储方法或者数据恢复方法。
根据本申请实施例的另一方面，还提供了一种电子设备，该电子设备包括：存储器和处理器，其中，存储器中存储有计算机程序，处理器被配置为通过计算机程序执行上述的数据存储方法或者数据恢复方法。
在本申请实施例中，首先获取待存储数据；然后压缩待存储数据得到目标压缩数据，将目标压缩数据存储至目标内存中，并获取目标内存中所有压缩数据的统计信息；再生成目标预写日志，将目标预写日志存储至数据库的日志文件库中，其中，目标预写日志中包括重定向信息，重定向信息用于表示目标压缩数据在目标内存中的存储地址；最后基于统计信息确定目标刷盘策略，并基于目标刷盘策略及目标预写日志将目标压缩数据写入目标磁盘中。其中，通过记录目标压缩数据的重定向信息，使得在回放压缩数据WAL信息的流程中，不必额外存储相关的schema信息在WAL预写日志中，回放WAL预写日志也不需要通过解析schema信息实现压缩数据，减小了故障恢复流程中的开销成本，从而减小数据库系统的恢复时间目标；并通过重定向信息，实现快速查找到WAL信息记录的压缩数据在高速介质上的存储位置，减小了数据库系统的恢复时间目标；基于统计信息确定自适应的刷盘策略，可以有效控制WAL信息量，进而解决了相关技术中数据库进行数据压缩存储后在故障恢复时效率较低的技术问题。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1是根据本申请实施例的一种数据存储方法的流程示意图；
图2是根据本申请实施例的一种数据恢复方法的流程示意图；
图3是根据本申请实施例的一种数据存储装置的结构示意图；
图4是根据本申请实施例的一种数据恢复装置的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。
需要说明的是，本申请的说明书和权利要求书及附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
为了更好地理解本申请实施例，首先对本申请实施例描述过程中出现的部分名词或术语翻译解释如下：
Schema：数据库中逻辑表对象的逻辑结构,如逻辑表总共有几列信息,每一列存储的信息的数据类型,数据长度等。
压缩：通过分析数据的存储特征形式，如字符、整数、小数等，采用编码或者以较短的内容替换原有存储数据内容的技术，通过压缩的方法可以减少数据在磁盘等存储介质上占用的存储空间，降低存储成本。
数据恢复：当数据库系统出现故障，如软件、网络、供电故障等，导致正在运行的服务器无法对用户提供业务支持，系统重新上电时通过系统管理软件的故障恢复功能使系统业务恢复正常继续为用户提供支持的技术。
预写日志WAL：一种通过先写入日志，即记录用户业务对系统中的数据操作的详细信息，在合适的时刻再以异步的方式写入数据保证数据可以正确持久化到磁盘等存储介质上的技术。
检查点（checkpoint）：一般来说checkpoint是一个数据库事件，当checkpoint事件发生时数据库写进程会将脏块写入磁盘中，同时数据文件和控制文件的文件头也会被更新以记录checkpoint信息。采用checkpoint的优势在于，一是保证数据库的一致性，即脏数据写入硬盘，保证内存和硬盘上的数据是一样的；二是缩短实例恢复事件，实例恢复要把实例异常关闭前没有写出到硬盘的脏数据通过日志进行恢复，如果脏块过多，实例恢复的事件也会较少，checkpoint的发生可以减少脏块的数据，从而提高实例恢复的事件。
实施例1
目前，数据库的部署形态根据数据存储分布情况主要分为分布式和单机两种形态，无论哪种形态都可以支持一个或者多个数据库实例。随着用户数据存储量逐年增长，单个数据库实例的数据集以TB为量级别的已经很常见，但随之而来的存储成本也在增加。因此，数据库系统会采用压缩数据的技术进行数据存储，以此来减少存储数据在磁盘上实际占用空间的大小，从而减少数据的存储成本。
但当数据库系统发生故障时，为了不影响前端用户业务的连续性，数据库系统必须具备能快速恢复业务继续提供给用户服务的能力。当前，主流的解决方案是利用系统本身提供的WAL预写日志技术来恢复数据到故障点发生时刻的状态，在数据库开启了数据压缩场景下，压缩流程记录的WAL信息内容包括压缩级别、压缩算法等，在恢复的过程中就会根据WAL信息中记录的操作步骤进行恢复，当所有的WAL信息被解析并执行，数据库系统就会恢复到故障点发生时刻的状态，再配合系统其他的管理流程恢复系统继续为业务用户提供服务。
虽然，数据库系统采用压缩功能存储数据是可以减少存储成本，但是，在存储过程中，恢复数据压缩WAL信息的操作是调用压缩算法，在恢复流程中实时执行数据的压缩，压缩处理逻辑占用了故障恢复流程中大部分开销成本，从而数据库系统的RTO增加，影响系统业务的连续性，导致故障恢复时效率较低。
为了解决上述问题，本申请实施例提供了一种数据存储方法，实现在数据库压缩存储场景下系统故障时能够实现压缩数据的快速恢复。其关键技术点如下：采用直接记录压缩处理后数据的形式记录压缩流程的WAL信息，即只记录压缩后的重定向信息；动态数据存储，压缩数据的WAL信息存储在不同介质上进行管理，使得数据库系统恢复压缩数据效率更高；自适应数据刷盘策略控制算法，可以有效控制压缩数据的WAL日志量。
需要说明的是，在附图的程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
图1是根据本申请实施例的一种可选的数据存储方法的流程示意图，如图1所示，该方法至少包括步骤S102-S108，其中：
步骤S102，获取待存储数据。
其中，待存储数据可以是图片、视频、文件或流数据等。
在存储数据时，数据库系统可以根据软件逻辑是压缩还是非压缩来决定如何存储数据。具体地，若数据库系统中的软件逻辑为非压缩，则可以直接将待存储数据写入目标磁盘；若数据库系统中的软件逻辑为压缩，则通过步骤S104-S108实现数据存储，具体实施过程如下。
步骤S104，压缩待存储数据得到目标压缩数据，将目标压缩数据存储至目标内存中，并获取目标内存中所有压缩数据的统计信息。
其中，目标内存的类型至少包括以下之一：高速内存和保电内存，其中，高速内存的类型至少包括以下之一：固态硬盘存储介质（SSD，Solid State Disk）和相变存储介质（PCM，Phase-Change Memory）；保电内存用于在数据库系统掉电时保证存储的所有压缩数据不丢失。
具体地，当数据库开启压缩功能，可以将待存储数据进行压缩得到目标压缩数据，以此来减少存储数据在磁盘上实际占用空间的大小，然后可以将目标压缩数据存储至SSD、PCM等高速内存中，使得可以通过查找重定向信息在高速内存中的存储位置，确定对应目标压缩数据内容，以提高数据库系统恢复压缩数据时的效率，还可以将目标压缩数据存储至保电内存中，通过额外引入后台程序，保证在数据库系统掉电时，保电内容中的数据可以有效地存储在持久化介质上，因此，当数据库系统故障恢复上电后，首先将WAL信息存储至保电内存上。
需要说明的是，高速内存和保电内存的容量可以根据实际系统业务的具体负载配置进行选择，其容量选择不需要太大。
可选地，在每次将目标压缩数据存储至目标内存时，可以统计目标内存中所有压缩数据的统计信息，统计信息用于在日志文件中确定检查点，将位于检查点之前的预写日志对应的压缩数据写入至目标磁盘中，并将位于检查点之前的所有预写日志对应的压缩数据删除。其中，统计信息中至少包括以下子信息之一：压缩数据的压缩级别信息和压缩频率信息，压缩数据占用目标内存空间的比例信息，目标内存的剩余可用空间信息。
步骤S106，生成目标预写日志，将目标预写日志存储至数据库的日志文件库中，其中，目标预写日志中包括重定向信息，重定向信息用于表示目标压缩数据在目标内存中的存储地址。
其中，数据库的日志文件库中存储至少一个目标预写日志。
相关恢复压缩数据技术主要是记录WAL信息时记录相关被压缩数据的Schema信息，在进行压缩数据恢复时，需要额外读取schema信息，然后调用压缩算法在恢复流程中实时执行数据的压缩，该方法中压缩数据处理占用数据恢复流程的大部分开销成本，严重增加数据库系统的恢复时间目标，从而降低了恢复压缩数据的效率。
作为一种可选的实施方式，本申请实施例在将目标预写日志存储至数据库的日志文件中之后，还可以将重定向信息存储至目标内存中用于存储元数据的元数据区域中。
例如，由于在高速介质上采用一定的layout（布局）管理压缩数据之间的关系，高速介质中用于存储元数据的元数据区域中记录目标压缩数据的重定向信息，因此，可以通过查找到WAL信息记录的压缩数据在高速介质上的存储位置，从而读取相关数据内容，该恢复流程更简单，同时减小了数据库系统的恢复时间目标，并提升了恢复压缩数据的效率。
步骤S108，基于统计信息确定目标刷盘策略，并基于目标刷盘策略及目标预写日志将目标压缩数据写入目标磁盘中。
可选地，确定统计信息中各个子信息的权重，并基于各个子信息及各个子信息的权重计算得到检查点确认值，检查点确认值用于判断是否生成检查点；在检查点确认值大于预设阈值时，在日志文件库中生成检查点；将日志文件库中位于检查点之前的所有第一预写日志对应的第一压缩数据写入目标磁盘中，其中，第一预写日志中包括目标预写日志，第一压缩数据中包括目标压缩数据。
可选地，在将日志文件库中位于检查点之前的所有第一预写日志对应的第一压缩数据写入目标磁盘中之后，还可以删除日志文件库中的所有第一预写日志。
举例而言，可以使用目标压缩数据的统计信息综合作为影响因子，再通过加权算法控制数据库系统自适应选择检查点流程进行数据刷盘，使得数据库系统产生的数据压缩的目标预写日志量控制在有效范围内。
具体地，以压缩数据的压缩级别信息和压缩频率信息，压缩数据占用高速介质的比例信息，高速介质的剩余可用空间信息等为输入条件，并赋予上述输入信息不同的权重值，依据各子信息和各子信息的权重计算检查点的确认值，其中，检查点确认值用于判断是否生成检查点，最后，可以基于检查点确认值与预设阈值的比较结果，确定检查点，即当检查点确认值大于预设阈值时，在日志文件库中生成检查点，将日志文件库中位于检查点之前的所有预写日志对应的压缩数据写入目标磁盘中，并删除检查点之间的预写日志对应的压缩数据，当数据库系统发生故障时，也不必恢复这部分被删除的预写日志对应的压缩数据，从而减少数据库系统的内存占用，实现压缩数据可以根据数据库系统负载和压缩数据的统计信息合理控制，进而有效控制恢复流程中的数据恢复量。
在本申请实施例中，首先获取待存储数据；然后压缩待存储数据得到目标压缩数据，将目标压缩数据存储至目标内存中，并获取目标内存中所有压缩数据的统计信息；再生成目标预写日志，将目标预写日志存储至数据库的日志文件库中，其中，目标预写日志中包括重定向信息，重定向信息用于表示目标压缩数据在目标内存中的存储地址；最后基于统计信息确定目标刷盘策略，并基于目标刷盘策略及目标预写日志将目标压缩数据写入目标磁盘中。其中，通过记录目标压缩数据的重定向信息，使得在回放压缩数据WAL信息的流程中，不必额外存储相关的schema信息在WAL预写日志中，回放WAL预写日志也不需要通过解析schema信息实现压缩数据，减小了故障恢复流程中的开销成本，从而减小数据库系统的恢复时间目标；并通过重定向信息，实现快速查找到WAL信息记录的压缩数据在高速介质上的存储位置，减小了数据库系统的恢复时间目标；基于统计信息确定自适应的刷盘策略，可以有效控制WAL信息量，进而解决了相关技术中数据库进行数据压缩存储后在故障恢复时效率较低的技术问题。
实施例2
当前，对压缩数据进行恢复的相关技术主要是记录WAL信息时记录相关被压缩数据的Schema信息，在进行压缩数据恢复时，需要额外读取schema信息，然后调用压缩算法在恢复流程中实时执行数据的压缩，该方法中压缩数据处理占用数据恢复流程的大部分开销成本，严重增加数据库系统的恢复时间目标，从而降低了恢复压缩数据的效率。
为了解决上述问题，实现在数据库系统压缩存储场景下，数据库系统出现故障时能够实现压缩数据的快速恢复，本申请实施例还提供了一种数据恢复方法，图2是根据本申请实施例的一种可选的数据存储方法的流程示意图，如图2所示，该方法至少包括步骤S202-S204，其中：
步骤S202，获取目标预写日志，目标预写日志中包括重定向信息，重定向信息用于表示目标压缩数据在目标内存中的存储地址。
可选地，可以从数据库的日志文件库中直接获取目标预写日志，也可以先从目标内存中用于存储元数据的元数据区域中获取重定向信息，再通过重定向信息确定目标预写日志。
步骤S204，基于重定向信息从目标内存中读取目标压缩数据，并将目标压缩数据写入目标磁盘中。
可选地，目标内存的类型至少包括以下之一：高速内存和保电内存，其中，高速内存的类型至少包括以下之一：固态硬盘存储介质和相变存储介质；保电内存用于在数据库系统掉电时保证存储的所有压缩数据不丢失。
例如，由于在高速介质上采用一定的layout（布局）管理压缩数据之间的关系，高速介质中用于存储元数据的元数据区域中记录目标压缩数据的重定向信息，因此，可以通过查找到WAL信息记录的压缩数据在高速介质上的存储位置，从而读取相关数据内容，该恢复流程更简单，同时减小了数据库系统的恢复时间目标，并提升了恢复压缩数据的效率。
在本申请实施例中，首先获取目标预写日志，目标预写日志中包括重定向信息，重定向信息用于表示目标压缩数据在目标内存中的存储地址；再基于重定向信息从目标内存中读取目标压缩数据，并将目标压缩数据写入目标磁盘中。其中，通过记录目标压缩数据的重定向信息，使得在回放压缩数据WAL信息的流程中，不必额外存储相关的schema信息在WAL预写日志中，回放WAL预写日志也不需要通过解析schema信息实现压缩数据，减小了故障恢复流程中的开销成本，从而减小数据库系统的恢复时间目标；并通过重定向信息，实现快速查找到WAL信息记录的压缩数据在高速介质上的存储位置，减小了数据库系统的恢复时间目标，进而解决了相关技术中数据库进行数据压缩存储后在故障恢复时效率较低的技术问题。
实施例3
根据本申请实施例，还提供了一种用于实现上述数据存储方法的数据存储装置，如图3所示，该数据存储装置中至少包括获取模块31，压缩模块32，生成模块33和写入模块34，其中：
获取模块31，用于获取待存储数据。
其中，待存储数据可以是图片、视频、文件或流数据等。
在存储数据时，数据库系统可以根据软件逻辑是压缩还是非压缩来决定如何存储数据。具体地，若数据库系统中的软件逻辑为非压缩，则可以直接将待存储数据写入目标磁盘；若数据库系统中的软件逻辑为压缩，则压缩模块32、生成模块33和写入模块34实现数据存储，具体实施过程如下。
压缩模块32，用于压缩待存储数据得到目标压缩数据，将目标压缩数据存储至目标内存中，并获取目标内存中所有压缩数据的统计信息。
可选地，目标内存的类型至少包括以下之一：高速内存和保电内存，其中，高速内存的类型至少包括以下之一：固态硬盘存储介质和相变存储介质；保电内存用于在数据库系统掉电时保证存储的所有压缩数据不丢失。
可选地，统计信息中至少包括以下子信息之一：压缩数据的压缩级别信息和压缩频率信息，压缩数据占用目标内存空间的比例信息，目标内存的剩余可用空间信息。
需要说明的是，高速内存和保电内存的容量可以根据实际系统业务的具体负载配置进行选择，其容量选择不需要太大。
生成模块33，用于生成目标预写日志，将目标预写日志存储至数据库的日志文件库中，其中，目标预写日志中包括重定向信息，重定向信息用于表示目标压缩数据在目标内存中的存储地址。
作为一种可选的实施方式，在将目标预写日志存储至数据库的日志文件系统中之后，还可以将重定向信息存储至目标内存中用于存储元数据的元数据区域中。
写入模块34，用于基于统计信息确定目标刷盘策略，并基于目标刷盘策略及目标预写日志将目标压缩数据写入目标磁盘中。
可选地，确定统计信息中各个子信息的权重，并基于各个子信息及各个子信息的权重计算得到检查点确认值，检查点确认值用于判断是否生成检查点；在检查点确认值大于预设阈值时，在日志文件库中生成检查点 ；将日志文件库中位于检查点之前的所有第一预写日志对应的第一压缩数据写入目标磁盘中，其中，第一预写日志中包括目标预写日志，第一压缩数据中包括目标压缩数据。
作为一种可选的实施方式，在将日志文件库中位于检查点之前的所有第一预写日志对应的第一压缩数据写入目标磁盘中之后，还可以删除日志文件库中的所有第一预写日志。
作为一种可选的实施方式，在获取待存储数据之后，还可以直接将待存储数据写入目标磁盘中。
需要说明的是，本申请实施例中的数据存储装置中的各模块与实施例1中的数据存储方法的各实施步骤一一对应，由于实施例1中已经进行了详尽的描述，本实施例中部分未体现的细节可以参考实施例1，在此不再过多赘述。
实施例4
根据本申请实施例，还提供了一种用于实现上述数据恢复方法的数据恢复装置，如图4所示，该数据恢复装置中至少包括获取模块41和写入模块42，其中：
获取模块41，用于获取目标预写日志，目标预写日志中包括重定向信息，重定向信息用于表示目标压缩数据在目标内存中的存储地址。
可选地，可以从数据库的日志文件库中直接获取目标预写日志，也可以先从目标内存中用于存储元数据的元数据区域中获取重定向信息，再通过重定向信息确定目标预写日志。
写入模块42，用于基于重定向信息从目标内存中读取目标压缩数据，并将目标压缩数据写入目标磁盘中。
可选地，目标内存的类型至少包括以下之一：高速内存和保电内存，其中，高速内存的类型至少包括以下之一：固态硬盘存储介质和相变存储介质；保电内存用于在数据库系统掉电时保证存储的所有压缩数据不丢失。
例如，由于在高速介质上采用一定的layout（布局）管理压缩数据之间的关系，高速介质中用于存储元数据的元数据区域中记录目标压缩数据的重定向信息，因此，可以通过查找重定向信息在高速介质上的存储位置，从而读取相应的目标压缩数据，该流程更简单，恢复效率也更高。
需要说明的是，本申请实施例中的数据恢复装置中的各模块与实施例2中的数据恢复方法的各实施步骤一一对应，由于实施例2中已经进行了详尽的描述，本实施例中部分未体现的细节可以参考实施例2，在此不再过多赘述。
实施例5
根据本申请实施例，还提供了一种非易失性存储介质，该非易失性存储介质包括存储的程序，其中，在程序运行时控制非易失性存储介质所在设备执行实施例1中的数据存储方法和实施例2中的数据恢复方法。
根据本申请实施例，还提供了一种处理器，该处理器用于运行程序，其中，程序运行时执行实施例1中的数据存储方法和实施例2中的数据恢复方法。
根据本申请实施例，还提供了一种电子设备，该电子设备包括：存储器和处理器，其中，存储器中存储有计算机程序，处理器被配置为通过计算机程序执行实施例1中的数据存储方法和实施例2中的数据恢复方法。
可选地，程序运行时执行实现以下步骤：获取待存储数据；压缩待存储数据得到目标压缩数据，将目标压缩数据存储至目标内存中，并获取目标内存中所有压缩数据的统计信息；生成目标预写日志，将目标预写日志存储至数据库的日志文件库中，其中，目标预写日志中包括重定向信息，重定向信息用于表示目标压缩数据在目标内存中的存储地址；基于统计信息确定目标刷盘策略，并基于目标刷盘策略及目标预写日志将目标压缩数据写入目标磁盘中。
可选地，在每次将目标压缩数据存储至目标内存时，可以统计目标内存中所有压缩数据的统计信息，统计信息用于在日志文件中确定检查点，将位于检查点之前的预写日志对应的压缩数据写入至目标磁盘中，并将位于检查点之前的所有预写日志对应的压缩数据删除。其中，统计信息中至少包括以下子信息之一：压缩数据的压缩级别信息和压缩频率信息，压缩数据占用目标内存空间的比例信息，目标内存的剩余可用空间信息。
作为一种可选的实施方式，本申请实施例在将目标预写日志存储至数据库的日志文件中之后，还可以将重定向信息存储至目标内存中用于存储元数据的元数据区域中。
可选地，确定统计信息中各个子信息的权重，并基于各个子信息及各个子信息的权重计算得到检查点确认值，检查点确认值用于判断是否生成检查点；在检查点确认值大于预设阈值时，在日志文件库中生成检查点；将日志文件库中位于检查点之前的所有第一预写日志对应的第一压缩数据写入目标磁盘中，其中，第一预写日志中包括目标预写日志，第一压缩数据中包括目标压缩数据。
可选地，在将日志文件库中位于检查点之前的所有第一预写日志对应的第一压缩数据写入目标磁盘中之后，还可以删除日志文件库中的所有第一预写日志。
上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。
在本申请的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如单元的划分，可以为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可为个人计算机、服务器或者网络设备等）执行本申请各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
以上仅是本申请的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。

Claims (12)

1.一种数据存储方法，其特征在于，包括：
获取待存储数据；
压缩所述待存储数据得到目标压缩数据，将所述目标压缩数据存储至目标内存中，并获取所述目标内存中所有压缩数据的统计信息；
生成目标预写日志，将所述目标预写日志存储至数据库的日志文件库中，其中，所述目标预写日志中包括重定向信息，所述重定向信息用于表示所述目标压缩数据在所述目标内存中的存储地址；
基于所述统计信息确定目标刷盘策略，并基于所述目标刷盘策略及所述目标预写日志将所述目标压缩数据写入目标磁盘中。
2.根据权利要求1所述的方法，其特征在于，所述目标内存的类型至少包括以下之一：高速内存和保电内存，其中，所述高速内存的类型至少包括以下之一：固态硬盘存储介质和相变存储介质；所述保电内存用于在数据库系统掉电时保证存储的所有压缩数据不丢失。
3.根据权利要求1所述的方法，其特征在于，所述统计信息中至少包括以下子信息之一：所述压缩数据的压缩级别信息和压缩频率信息，所述压缩数据占用所述目标内存空间的比例信息，所述目标内存的剩余可用空间信息。
4.根据权利要求1所述的方法，其特征在于，在将所述目标预写日志存储至数据库的日志文件库中之后，所述方法还包括：
将所述重定向信息存储至所述目标内存中用于存储元数据的元数据区域中。
5.根据权利要求3所述的方法，其特征在于，基于所述统计信息确定目标刷盘策略，并基于所述目标刷盘策略及所述目标预写日志将所述目标压缩数据写入目标磁盘中，包括：
确定所述统计信息中各个所述子信息的权重，并基于各个所述子信息及各个所述子信息的权重计算得到检查点确认值，所述检查点确认值用于判断是否生成检查点；
在所述检查点确认值大于预设阈值时，在所述日志文件库中生成所述检查点；
将所述日志文件库中位于所述检查点之前的所有第一预写日志对应的第一压缩数据写入所述目标磁盘中，其中，所述第一预写日志中包括所述目标预写日志，所述第一压缩数据中包括所述目标压缩数据。
6.根据权利要求5所述的方法，其特征在于，在将所述日志文件库中位于所述检查点之前的所有第一预写日志对应的第一压缩数据写入所述目标磁盘中之后，所述方法还包括：
删除所述日志文件库中的所有所述第一预写日志。
7.根据权利要求1所述的方法，其特征在于，在获取待存储数据之后，所述方法还包括：
直接将所述待存储数据写入所述目标磁盘中。
8.一种数据恢复方法，其特征在于，包括：
获取目标预写日志，所述目标预写日志中包括重定向信息，所述重定向信息用于表示目标压缩数据在目标内存中的存储地址；
基于所述重定向信息从所述目标内存中读取所述目标压缩数据，并将所述目标压缩数据写入目标磁盘中。
9.一种数据存储装置，其特征在于，包括：
获取模块，用于获取待存储数据；
压缩模块，用于压缩所述待存储数据得到目标压缩数据，将所述目标压缩数据存储至目标内存中，并获取所述目标内存中所有压缩数据的统计信息；
生成模块，用于生成目标预写日志，将所述目标预写日志存储至数据库的日志文件库中，其中，所述目标预写日志中包括重定向信息，所述重定向信息用于表示所述目标压缩数据在所述目标内存中的存储地址；
写入模块，用于基于所述统计信息确定目标刷盘策略，并基于所述目标刷盘策略及所述目标预写日志将所述目标压缩数据写入目标磁盘中。
10.一种数据恢复装置，其特征在于，包括：
获取模块，用于获取目标预写日志，所述目标预写日志中包括重定向信息，所述重定向信息用于表示目标压缩数据在目标内存中的存储地址；
写入模块，用于基于所述重定向信息从所述目标内存中读取所述目标压缩数据，并将所述目标压缩数据写入目标磁盘中。
11.一种非易失性存储介质，其特征在于，所述非易失性存储介质包括存储的程序，其中，在所述程序运行时控制所述非易失性存储介质所在设备执行权利要求1至7中任意一项所述的数据存储方法或权利要求8所述的数据恢复方法。
12.一种电子设备，其特征在于，包括：存储器和处理器，其中，所述存储器中存储有计算机程序，所述处理器被配置为通过所述计算机程序执行权利要求1至7中任意一项所述的数据存储方法或权利要求8所述的数据恢复方法。
CN202211112729.9A 2022-09-14 2022-09-14 数据存储方法及装置、数据恢复方法及装置 Active CN115202588B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211112729.9A CN115202588B (zh) 2022-09-14 2022-09-14 数据存储方法及装置、数据恢复方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211112729.9A CN115202588B (zh) 2022-09-14 2022-09-14 数据存储方法及装置、数据恢复方法及装置

Publications (2)

Publication Number Publication Date
CN115202588A true CN115202588A (zh) 2022-10-18
CN115202588B CN115202588B (zh) 2022-12-27

Family

ID=83571918

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211112729.9A Active CN115202588B (zh) 2022-09-14 2022-09-14 数据存储方法及装置、数据恢复方法及装置

Country Status (1)

Country Link
CN (1) CN115202588B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116186142A (zh) * 2023-03-08 2023-05-30 深圳欧税通技术有限公司 一种基于物联网的跨境税务数据服务管理系统

Citations (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150074336A1 (en) * 2013-09-10 2015-03-12 Kabushiki Kaisha Toshiba Memory system, controller and method of controlling memory system
CN106648959A (zh) * 2016-09-07 2017-05-10 华为技术有限公司 数据存储的方法和存储系统
CN106886375A (zh) * 2017-03-27 2017-06-23 百度在线网络技术（北京）有限公司 存储数据的方法和装置
CN109408280A (zh) * 2017-08-17 2019-03-01 北京金山云网络技术有限公司 数据备份方法、装置及系统
CN109918352A (zh) * 2019-03-04 2019-06-21 北京百度网讯科技有限公司 存储器系统和存储数据的方法
CN110609813A (zh) * 2019-08-14 2019-12-24 北京华电天仁电力控制技术有限公司 一种数据存储系统及方法
US10698927B1 (en) * 2016-08-30 2020-06-30 Palantir Technologies Inc. Multiple sensor session and log information compression and correlation system
CN111880969A (zh) * 2020-07-30 2020-11-03 上海达梦数据库有限公司 存储节点恢复方法、装置、设备和存储介质
CN112181298A (zh) * 2020-09-25 2021-01-05 杭州宏杉科技股份有限公司 阵列访问方法、装置、存储设备及机器可读存储介质
CN112256485A (zh) * 2020-10-30 2021-01-22 网易（杭州）网络有限公司 数据备份方法、装置、介质和计算设备
CN112416889A (zh) * 2020-10-27 2021-02-26 中科曙光南京研究院有限公司 分布式存储系统
CN112527186A (zh) * 2019-09-18 2021-03-19 华为技术有限公司 一种存储系统、存储节点和数据存储方法
CN113076220A (zh) * 2020-01-06 2021-07-06 阿里巴巴集团控股有限公司 数据处理方法、装置、电子设备及计算机可读介质
CN113535666A (zh) * 2020-04-15 2021-10-22 华为技术有限公司 数据写入方法及装置、数据库系统、存储介质
CN113779087A (zh) * 2021-09-09 2021-12-10 苏州浪潮智能科技有限公司 一种基于远程直接内存访问的数据库高可用的方法、系统
CN113791934A (zh) * 2021-08-13 2021-12-14 阿里云计算有限公司 数据的恢复方法、计算设备及存储介质
CN114385368A (zh) * 2022-01-17 2022-04-22 维沃移动通信有限公司 预写日志的刷写方法和装置
CN114579532A (zh) * 2022-02-21 2022-06-03 阿里巴巴（中国）有限公司 处理预写日志的方法、装置及系统
CN114610533A (zh) * 2022-01-26 2022-06-10 阿里云计算有限公司 数据库处理方法以及装置
CN114610532A (zh) * 2022-01-26 2022-06-10 阿里云计算有限公司 数据库处理方法以及装置
CN114816224A (zh) * 2021-01-28 2022-07-29 华为技术有限公司 数据管理方法和数据管理装置

Patent Citations (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150074336A1 (en) * 2013-09-10 2015-03-12 Kabushiki Kaisha Toshiba Memory system, controller and method of controlling memory system
US10698927B1 (en) * 2016-08-30 2020-06-30 Palantir Technologies Inc. Multiple sensor session and log information compression and correlation system
CN106648959A (zh) * 2016-09-07 2017-05-10 华为技术有限公司 数据存储的方法和存储系统
CN106886375A (zh) * 2017-03-27 2017-06-23 百度在线网络技术（北京）有限公司 存储数据的方法和装置
CN109408280A (zh) * 2017-08-17 2019-03-01 北京金山云网络技术有限公司 数据备份方法、装置及系统
CN109918352A (zh) * 2019-03-04 2019-06-21 北京百度网讯科技有限公司 存储器系统和存储数据的方法
CN110609813A (zh) * 2019-08-14 2019-12-24 北京华电天仁电力控制技术有限公司 一种数据存储系统及方法
CN112527186A (zh) * 2019-09-18 2021-03-19 华为技术有限公司 一种存储系统、存储节点和数据存储方法
CN113076220A (zh) * 2020-01-06 2021-07-06 阿里巴巴集团控股有限公司 数据处理方法、装置、电子设备及计算机可读介质
CN113535666A (zh) * 2020-04-15 2021-10-22 华为技术有限公司 数据写入方法及装置、数据库系统、存储介质
CN111880969A (zh) * 2020-07-30 2020-11-03 上海达梦数据库有限公司 存储节点恢复方法、装置、设备和存储介质
CN112181298A (zh) * 2020-09-25 2021-01-05 杭州宏杉科技股份有限公司 阵列访问方法、装置、存储设备及机器可读存储介质
CN112416889A (zh) * 2020-10-27 2021-02-26 中科曙光南京研究院有限公司 分布式存储系统
CN112256485A (zh) * 2020-10-30 2021-01-22 网易（杭州）网络有限公司 数据备份方法、装置、介质和计算设备
CN114816224A (zh) * 2021-01-28 2022-07-29 华为技术有限公司 数据管理方法和数据管理装置
CN113791934A (zh) * 2021-08-13 2021-12-14 阿里云计算有限公司 数据的恢复方法、计算设备及存储介质
CN113779087A (zh) * 2021-09-09 2021-12-10 苏州浪潮智能科技有限公司 一种基于远程直接内存访问的数据库高可用的方法、系统
CN114385368A (zh) * 2022-01-17 2022-04-22 维沃移动通信有限公司 预写日志的刷写方法和装置
CN114610533A (zh) * 2022-01-26 2022-06-10 阿里云计算有限公司 数据库处理方法以及装置
CN114610532A (zh) * 2022-01-26 2022-06-10 阿里云计算有限公司 数据库处理方法以及装置
CN114579532A (zh) * 2022-02-21 2022-06-03 阿里巴巴（中国）有限公司 处理预写日志的方法、装置及系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116186142A (zh) * 2023-03-08 2023-05-30 深圳欧税通技术有限公司 一种基于物联网的跨境税务数据服务管理系统
CN116186142B (zh) * 2023-03-08 2023-12-22 深圳欧税通技术有限公司 一种基于物联网的跨境税务数据服务管理系统

Also Published As

Publication number Publication date
CN115202588B (zh) 2022-12-27

Similar Documents

Publication Publication Date Title
US7853750B2 (en) Method and an apparatus to store data patterns
CN100578470C (zh) 基于裸设备的音视频数据存取方法和装置
US5717951A (en) Method for storing and retrieving information on a magnetic storage medium via data blocks of variable sizes
US7676502B2 (en) Recovery point data view shift through a direction-agnostic roll algorithm
CN103019887B (zh) 数据备份方法及装置
JPH07168746A (ja) Ｂ樹木最適化のためのコンピュータ方法及び装置
CN102779080B (zh) 生成快照的方法、利用快照进行数据恢复的方法及装置
CN113626431A (zh) 一种基于lsm树的延迟垃圾回收的键值分离存储方法及系统
CN115202588B (zh) 数据存储方法及装置、数据恢复方法及装置
EP3835971A1 (en) Data processing apparatus, data processing program, and data processing method
US9514052B2 (en) Write-through-and-back-cache
CN107168651A (zh) 一种小文件聚合存储处理方法
CN115408149A (zh) 一种时序存储引擎内存设计及分配方法及装置
CN101169956A (zh) 盘装置
US20050262033A1 (en) Data recording apparatus, data recording method, program for implementing the method, and program recording medium
CN101237547A (zh) 用于数据和文件系统信息的记录设备和记录方法
CN101911198B (zh) 用于管理和编辑文件系统中文件的方法和装置
CN106873906A (zh) 用于管理元信息的方法和装置
CN108021562B (zh) 应用于分布式文件系统的存盘方法、装置及分布式文件系统
EP3819754B1 (en) Information processing apparatus and recording medium storing information processing program
CN107608626B (zh) 一种基于ssd raid阵列的多级缓存及缓存方法
CN117539690B (zh) 多磁盘数据的合并恢复方法、装置、设备、介质和产品
CN117519612B (zh) 基于索引在线拼接的海量小文件存储系统与方法
US20010018683A1 (en) High-speed audio/video information server and magnetic disk device extension method thereof
CN110990370B (zh) 一种基于GlusterFS分布式文件系统的分布式对象存储系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20221124

Address after: 100086 Room 1702-1703, Floor 15, No. 27, Zhichun Road, Haidian District, Beijing

Applicant after: Primitive Data (Beijing) Information Technology Co.,Ltd.

Address before: Room 1003, Block B, SOHO Phase II, Guanghua Road, No. 9 Guanghua Road, Chaoyang District, Beijing 100020

Applicant before: Yunhe enmo (Beijing) Information Technology Co.,Ltd.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant