CN109508144A - 一种日志处理方法及相关装置 - Google Patents

一种日志处理方法及相关装置 Download PDF

Info

Publication number
CN109508144A
CN109508144A CN201811002265.XA CN201811002265A CN109508144A CN 109508144 A CN109508144 A CN 109508144A CN 201811002265 A CN201811002265 A CN 201811002265A CN 109508144 A CN109508144 A CN 109508144A
Authority
CN
China
Prior art keywords
log
data
disk
aggregate file
operation information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811002265.XA
Other languages
English (en)
Other versions
CN109508144B (zh
Inventor
孔帅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhengzhou Yunhai Information Technology Co Ltd
Original Assignee
Zhengzhou Yunhai Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhengzhou Yunhai Information Technology Co Ltd filed Critical Zhengzhou Yunhai Information Technology Co Ltd
Priority to CN201811002265.XA priority Critical patent/CN109508144B/zh
Publication of CN109508144A publication Critical patent/CN109508144A/zh
Application granted granted Critical
Publication of CN109508144B publication Critical patent/CN109508144B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/061—Improving I/O performance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638—Organizing or formatting or addressing of data
    • G06F3/0643—Management of files

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Debugging And Monitoring (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请公开了一种日志处理方法，包括：对事务进行分离处理，得到操作信息和数据；对操作信息和写入位置标识进行封装处理得到日志，将日志保存至日志盘；根据写入位置标识将数据写入到对应的聚合文件，将聚合文件保存至数据盘。通过将操作信息和数据进行分离，日志盘中只保存操作信息和写入数据的位置，数据盘中只保存数据，总的来也就是在磁盘中只保存了一份操作信息和一份数据，避免了现有技术中将数据写入两次的情况，降低了磁盘写入的占有率，同时提高了磁盘的存储效率，提升存储系统的后端写入性能。本申请还公开了一种日志处理装置、服务器以及计算机可读存储介质，具有以上有益效果。

Description

一种日志处理方法及相关装置
技术领域
本申请涉及计算机技术领域，特别涉及一种日志处理方法、日志处理装置、服务器以及计算机可读存储介质。
背景技术
在分布式存储系统中，本地对象存储位于最底层，负责将数据实际写入磁盘中。现有技术中，当本地对象存储接收到上层发送的事务时，首先将事务封装成一条日志并写入日志盘中，然后将事务中的数据应用在聚合文件中，再将聚合文件写入到数据盘中。
由此可见，在将事务落在磁盘的过程中会将事务的数据部分在磁盘中写入两次，但是由于磁盘写入速度有限，会增加磁盘的压力，降低磁盘的写入带宽，影响存储系统的后端写入性能。
因此，如何降低在写入数据时的磁盘压力是本领域技术人员关注的重点问题。
发明内容
本申请的目的是提供一种日志处理方法、日志处理装置、服务器以及计算机可读存储介质，通过将操作信息和数据进行分离，日志盘中只保存操作信息和写入数据的位置，数据盘中只保存数据，总的来也就是在磁盘中只保存了一份操作信息和一份数据，避免了现有技术中将数据写入两次的情况，降低了磁盘写入的占有率，同时提高了磁盘的存储效率，提升存储系统的后端写入性能。
为解决上述技术问题，本申请提供一种日志处理方法，包括：
对事务进行分离处理，得到操作信息和数据；
对所述操作信息和写入位置标识进行封装处理得到日志，将所述日志保存至日志盘；其中，写入位置标识为对聚合文件进行写入位置申请得到的；
根据所述写入位置标识将所述数据写入到对应的聚合文件，将所述聚合文件保存至数据盘。
可选的，对所述操作信息和写入位置标识进行封装处理得到日志，将所述日志保存至日志盘，包括：
对聚合文件进行写入位置申请处理，得到写入位置标识；
对所述操作信息和所述写入位置标识进行事务封装处理，得到新事务；
对所述新事务进行日志封装处理得到所述日志，将所述日志保存至日志盘。
可选的，还包括：
当所述聚合文件保存至所述数据盘之后，将所述聚合文件的元数据更新到数据库。
可选的，还包括：
当所述元数据更新失败时，从所述日志盘中对应的日志读取到所述写入位置标识；
根据所述写入位置标识进行查找，得到所述聚合文件，根据所述聚合文件在所述数据库中更新所述元数据。
可选的，所述写入位置标识包括聚合文件标识和写入偏移量。
本申请还提供一种日志处理装置，包括：
事务数据分离模块，用于对事务进行分离处理，得到操作信息和数据；
日志盘存储模块，用于对所述操作信息和写入位置标识进行封装处理得到日志，将所述日志保存至日志盘；其中，写入位置标识为对聚合文件进行写入位置申请得到的；
数据盘存储模块，用于根据所述写入位置标识将所述数据写入到对应的聚合文件，将所述聚合文件保存至数据盘。
可选的，所述日志盘存储模块，包括：
写入位置申请单元，用于对聚合文件进行写入位置申请处理，得到写入位置标识；
事务封装单元，用于对所述操作信息和所述写入位置标识进行事务封装处理，得到新事务；
日志存储单元，用于对所述新事务进行日志封装处理得到所述日志，将所述日志保存至日志盘。
可选的，还包括：
元数据更新模块，用于当所述聚合文件保存至所述数据盘之后，将所述聚合文件的元数据更新到数据库。
本申请还提供一种服务器，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如上所述的日志处理方法的步骤。
本申请还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的日志处理方法的步骤。
本申请所提供的一种日志处理方法，包括：对事务进行分离处理，得到操作信息和数据；对所述操作信息和写入位置标识进行封装处理得到日志，将所述日志保存至日志盘；其中，写入位置标识为对聚合文件进行写入位置申请得到的；根据所述写入位置标识将所述数据写入到对应的聚合文件，将所述聚合文件保存至数据盘。
通过将操作信息和数据进行分离，日志盘中只保存操作信息和写入数据的位置，数据盘中只保存数据，总的来也就是在磁盘中只保存了一份操作信息和一份数据，避免了现有技术中将数据写入两次的情况，降低了磁盘写入的占有率，同时提高了磁盘的存储效率，提升存储系统的后端写入性能。
本申请还提供了一种日志处理装置、服务器以及计算机可读存储介质，具有以上有益效果，在此不做赘述。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本申请实施例所提供的一种日志处理方法的流程图；
图2为本申请实施例所提供的日志处理方法的操作信息保存处理的流程图；
图3为本申请实施例所提供的一种日志处理装置的结构示意图。
具体实施方式
本申请的核心是提供一种日志处理方法、日志处理装置、服务器以及计算机可读存储介质，通过将操作信息和数据进行分离，日志盘中只保存操作信息和写入数据的位置，数据盘中只保存数据，总的来也就是在磁盘中只保存了一份操作信息和一份数据，避免了现有技术中将数据写入两次的情况，降低了磁盘写入的占有率，同时提高了磁盘的存储效率，提升存储系统的后端写入性能。
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
现有技术中，当本地对象存储接收到上层发送的事务时，首先将事务封装成一条日志并写入日志盘中，然后将事务中的数据应用在聚合文件中，再将聚合文件写入到数据盘中。在将事务落在磁盘的过程中会将事务的数据部分在磁盘中写入两次，但是由于磁盘写入速度有限，会增加磁盘的压力，降低磁盘的写入带宽，影响存储系统的后端写入性能。
因此，本实施例提供一种日志处理方法，通过将操作信息和数据进行分离，日志盘中只保存操作信息和写入数据的位置，数据盘中只保存数据，总的来也就是在磁盘中只保存了一份操作信息和一份数据，避免了现有技术中将数据写入两次的情况，降低了磁盘写入的占有率，同时提高了磁盘的存储效率，提升存储系统的后端写入性能。
具体的，请参考图1，图1为本申请实施例所提供的一种日志处理方法的流程图。
该方法可以包括：
S101，对事务进行分离处理，得到操作信息和数据；
本步骤旨在对事务进行分离处理，得到操作信息和数据。一般的在现有技术中对事务的保存方式也是将操作信息和数据放在一起进行保存，因此，本步骤中的分离处理也就是将事务中的操作信息和数据分别读取出，作为单独的数据进行存放，分别得到操作信息和数据。
S102，对操作信息和写入位置标识进行封装处理得到日志，将日志保存至日志盘；其中，写入位置标识为对聚合文件进行写入位置申请得到的；
在步骤S101的基础上，本步骤旨在将得到的操作信息和写入位置标识封装为日志，再采用现有技术中的方法将该日志保存至日志盘中，也就是只将操作信息保存在日志盘中，而不需要在日志盘中也存储数据，从而降低存储系统中资源的浪费，提高资源利用率。
需要说明的是，在日常使用中需要通过日志盘所保存的日志获取到对应的数据，不仅仅是操作信息。因此，本步骤中为了通过日志读取到数据，还保存了写入位置标识，通过写入位置标识就可以在聚合文件中读取到对应的数据。
具体的，本步骤中的写入位置标识是对聚合文件进行写入位置申请得到的。其中，聚合文件是保存对象数据的文件，默认为64MB，超出时自动切换到新的聚合文件。所有的数据以追加写的方式写到聚合文件中。写入位置标识就是表示在聚合文件中应该写入的位置，通过该写入位置就可以读取到相应的数据。
具体的，写入位置标识包括聚合文件标志和写入偏移量，也就是聚合文件的ID，以及在该ID的聚合文件中的从什么地方开始写。
S103，根据写入位置标识将数据写入到对应的聚合文件，将聚合文件保存至数据盘。
在步骤S102的基础上，本步骤中将数据写入到写入位置标识所对应的聚合文件中，并将该聚合文件保存至数据盘，就完成了将事务数据保存至磁盘中。同时，日志盘只保存了操作信息，数据盘只保存了数据，避免了现有技术中需要将数据保存两次的情况。
可选的，本实施例还可以包括：
当聚合文件保存至数据盘之后，将聚合文件的元数据更新到数据库。
一般在聚合文件落盘在数据盘后，也就是将聚合文件保存在数据盘后需要将聚合文件的元数据更新在数据库中，以便使用到数据时可以从数据库中查询到相关元数据信息，进而在数据盘中获取到对应的数据。
此可选方案还可以包括：
当元数据更新失败时，从日志盘中对应的日志读取到写入位置标识；
根据写入位置标识进行查找，得到聚合文件，根据聚合文件在数据库中更新元数据。
但是在上一可选方案中，有可能在数据库更新元数据的阶段出现意外情况，导致元数据更新不成功，因此就需要本可选方案从日志盘中获取到对应的写入位置标识，再根据标识重新找到聚合文件，根据该聚合文件对数据库中的元数据进行更新，以便修复错误的元数据。
需要说明的是，本实施例中的日志盘和数据盘可以是同一个磁盘上的两个分区，例如，某个磁盘有两个分区，其中数据盘占第一个分区，日志盘占第二个分区。
综上，本实施例通过将操作信息和数据进行分离，日志盘中只保存操作信息和写入数据的位置，数据盘中只保存数据，总的来也就是在磁盘中只保存了一份操作信息和一份数据，避免了现有技术中将数据写入两次的情况，降低了磁盘写入的占有率，同时提高了磁盘的存储效率，提升存储系统的后端写入性能。
在上一实施例基础上，本实施例主要是针对上一实施例中如何将操作信息保存至日志盘的过程进行具体说明，其他部分与上一实施例大体相同，相同部分可以参考上一实施例，在此不做赘述。
请参考图2，图2为本申请实施例所提供的日志处理方法的操作信息保存处理的流程图。
该处理可以包括：
S201，对聚合文件进行写入位置申请处理，得到写入位置标识；
本步骤旨在对聚合文件进行写入位置申请处理，得到写入位置标识。其中，进行写入位置申请处理主要是确定数据在聚合文件中的写入位置，具体包括聚合文件的ID和写入偏移量。并且，再将数据根据该写入位置标识写入聚合文件，还可以通过该写入位置标识读取到对应的数据。
S202，对操作信息和写入位置标识进行事务封装处理，得到新事务；
在步骤S201的基础上，本步骤旨在将操作信息和写入位置标识进行事务封装处理，得到新事务。以便可以使用现有的存储流程，将操作信息和写入位置标识直接作为事务进行操作。
S203，对新事务进行日志封装处理得到日志，将日志保存至日志盘。
在步骤S202的基础上，本步骤旨在将新事务进行日志封装处理得到日志，将日志保存至日志盘中，以便完成日志盘中信息的落盘操作。
本实施例中通过将操作信息和写入位置标识封装为新事务，以便可以采用现有技术提供的流程进行操作，降低本技术方案的实施难度。
下面对本申请实施例提供的一种日志处理装置进行介绍，下文描述的一种日志处理装置与上文描述的一种日志处理方法可相互对应参照。
请参考图3，图3为本申请实施例所提供的一种日志处理装置的结构示意图。
该装置可以包括：
事务数据分离模块100，用于对事务进行分离处理，得到操作信息和数据；
日志盘存储模块200，用于对操作信息和写入位置标识进行封装处理得到日志，将日志保存至日志盘；其中，写入位置标识为对聚合文件进行写入位置申请得到的；
数据盘存储模块300，用于根据写入位置标识将数据写入到对应的聚合文件，将聚合文件保存至数据盘。
可选的，该日志盘存储模块200，可以包括：
写入位置申请单元，用于对聚合文件进行写入位置申请处理，得到写入位置标识；
事务封装单元，用于对操作信息和写入位置标识进行事务封装处理，得到新事务；
日志存储单元，用于对新事务进行日志封装处理得到日志，将日志保存至日志盘。
可选的，该装置，还可以包括
元数据更新模块，用于当聚合文件保存至数据盘之后，将聚合文件的元数据更新到数据库。
本申请实施例还提供一种服务器，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如以上实施例所述的日志处理方法的步骤。
本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如以上实施例所述的日志处理方法的步骤。
该计算机可读存储介质可以包括：U盘、移动硬盘、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
以上对本申请所提供的一种日志处理方法、日志处理装置、服务器以及计算机可读存储介质进行了详细介绍。本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以对本申请进行若干改进和修饰，这些改进和修饰也落入本申请权利要求的保护范围内。

Claims (10)

1.一种日志处理方法，其特征在于，包括：
对事务进行分离处理，得到操作信息和数据；
对所述操作信息和写入位置标识进行封装处理得到日志，将所述日志保存至日志盘；其中，写入位置标识为对聚合文件进行写入位置申请得到的；
根据所述写入位置标识将所述数据写入到对应的聚合文件，将所述聚合文件保存至数据盘。
2.根据权利要求1所述的日志处理方法，其特征在于，对所述操作信息和写入位置标识进行封装处理得到日志，将所述日志保存至日志盘，包括：
对聚合文件进行写入位置申请处理，得到写入位置标识；
对所述操作信息和所述写入位置标识进行事务封装处理，得到新事务；
对所述新事务进行日志封装处理得到所述日志，将所述日志保存至日志盘。
3.根据权利要求1所述的日志处理方法，其特征在于，还包括：
当所述聚合文件保存至所述数据盘之后，将所述聚合文件的元数据更新到数据库。
4.根据权利要求3所述的日志处理方法，其特征在于，还包括：
当所述元数据更新失败时，从所述日志盘中对应的日志读取到所述写入位置标识；
根据所述写入位置标识进行查找，得到所述聚合文件，根据所述聚合文件在所述数据库中更新所述元数据。
5.根据权利要求1所述的日志处理方法，其特征在于，所述写入位置标识包括聚合文件标识和写入偏移量。
6.一种日志处理装置，其特征在于，包括：
事务数据分离模块，用于对事务进行分离处理，得到操作信息和数据；
日志盘存储模块，用于对所述操作信息和写入位置标识进行封装处理得到日志，将所述日志保存至日志盘；其中，写入位置标识为对聚合文件进行写入位置申请得到的；
数据盘存储模块，用于根据所述写入位置标识将所述数据写入到对应的聚合文件，将所述聚合文件保存至数据盘。
7.根据权利要求6所述的日志处理装置，其特征在于，所述日志盘存储模块，包括：
写入位置申请单元，用于对聚合文件进行写入位置申请处理，得到写入位置标识；
事务封装单元，用于对所述操作信息和所述写入位置标识进行事务封装处理，得到新事务；
日志存储单元，用于对所述新事务进行日志封装处理得到所述日志，将所述日志保存至日志盘。
8.根据权利要求6所述的日志处理装置，其特征在于，还包括：
元数据更新模块，用于当所述聚合文件保存至所述数据盘之后，将所述聚合文件的元数据更新到数据库。
9.一种服务器，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如权利要求1至5任一项所述的日志处理方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至5任一项所述的日志处理方法的步骤。
CN201811002265.XA 2018-08-30 2018-08-30 一种日志处理方法及相关装置 Active CN109508144B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811002265.XA CN109508144B (zh) 2018-08-30 2018-08-30 一种日志处理方法及相关装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811002265.XA CN109508144B (zh) 2018-08-30 2018-08-30 一种日志处理方法及相关装置

Publications (2)

Publication Number Publication Date
CN109508144A true CN109508144A (zh) 2019-03-22
CN109508144B CN109508144B (zh) 2021-08-10

Family

ID=65745661

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811002265.XA Active CN109508144B (zh) 2018-08-30 2018-08-30 一种日志处理方法及相关装置

Country Status (1)

Country Link
CN (1) CN109508144B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109992441A (zh) * 2019-04-11 2019-07-09 苏州浪潮智能科技有限公司 一种固件日志收集方法、系统、设备及介质
CN110399101A (zh) * 2019-07-19 2019-11-01 苏州浪潮智能科技有限公司 一种磁盘的写操作处理方法、装置、系统及存储介质
CN111026728A (zh) * 2019-11-19 2020-04-17 山东中创软件商用中间件股份有限公司 一种日志数据处理方法及相关装置
CN111245933A (zh) * 2020-01-10 2020-06-05 上海德拓信息技术股份有限公司 一种基于日志的对象存储追加写实现方法
CN111563017A (zh) * 2020-04-28 2020-08-21 北京字节跳动网络技术有限公司 数据处理方法及装置
CN113076060A (zh) * 2021-03-10 2021-07-06 杭州又拍云科技有限公司 一种单点日志存储方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110055494A1 (en) * 2009-08-25 2011-03-03 Yahoo! Inc. Method for distributed direct object access storage
CN102306168A (zh) * 2011-08-23 2012-01-04 成都市华为赛门铁克科技有限公司 日志操作方法、装置及文件系统
CN106126600A (zh) * 2016-06-21 2016-11-16 浪潮电子信息产业股份有限公司 一种执行读写分离的方法、装置及系统
CN107402724A (zh) * 2017-07-31 2017-11-28 郑州云海信息技术有限公司 一种SSD中Journal元数据的保存方法及系统
CN107526544A (zh) * 2017-08-16 2017-12-29 国家电网公司 一种分布式存储Ceph集群硬件选型设计方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110055494A1 (en) * 2009-08-25 2011-03-03 Yahoo! Inc. Method for distributed direct object access storage
CN102306168A (zh) * 2011-08-23 2012-01-04 成都市华为赛门铁克科技有限公司 日志操作方法、装置及文件系统
CN106126600A (zh) * 2016-06-21 2016-11-16 浪潮电子信息产业股份有限公司 一种执行读写分离的方法、装置及系统
CN107402724A (zh) * 2017-07-31 2017-11-28 郑州云海信息技术有限公司 一种SSD中Journal元数据的保存方法及系统
CN107526544A (zh) * 2017-08-16 2017-12-29 国家电网公司 一种分布式存储Ceph集群硬件选型设计方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
SAGE WELL: "《ceph》", 23 March 2017 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109992441A (zh) * 2019-04-11 2019-07-09 苏州浪潮智能科技有限公司 一种固件日志收集方法、系统、设备及介质
CN110399101A (zh) * 2019-07-19 2019-11-01 苏州浪潮智能科技有限公司 一种磁盘的写操作处理方法、装置、系统及存储介质
CN110399101B (zh) * 2019-07-19 2023-01-10 苏州浪潮智能科技有限公司 一种磁盘的写操作处理方法、装置、系统及存储介质
CN111026728A (zh) * 2019-11-19 2020-04-17 山东中创软件商用中间件股份有限公司 一种日志数据处理方法及相关装置
CN111245933A (zh) * 2020-01-10 2020-06-05 上海德拓信息技术股份有限公司 一种基于日志的对象存储追加写实现方法
CN111563017A (zh) * 2020-04-28 2020-08-21 北京字节跳动网络技术有限公司 数据处理方法及装置
CN111563017B (zh) * 2020-04-28 2023-05-16 北京字节跳动网络技术有限公司 数据处理方法及装置
CN113076060A (zh) * 2021-03-10 2021-07-06 杭州又拍云科技有限公司 一种单点日志存储方法

Also Published As

Publication number Publication date
CN109508144B (zh) 2021-08-10

Similar Documents

Publication Publication Date Title
CN109508144A (zh) 一种日志处理方法及相关装置
CN109359222B (zh) 数据存储方法及系统、设备和存储介质
CN103136243B (zh) 基于云存储的文件系统去重方法及装置
CN106575244B (zh) 确保云应用的高可用性的修补过程
CN102750317B (zh) 数据持久化处理方法、装置及数据库系统
CN109325044A (zh) 一种数据库的审计日志处理方法及相关装置
CN109828721A (zh) 数据删除方法、装置、计算机设备及存储介质
CN110008142A (zh) 存储数据管理方法、装置、设备及计算机可读存储介质
CN107209714A (zh) 分布式存储系统及分布式存储系统的控制方法
CN109901946A (zh) 一种纠删码操作方法、装置、设备及存储介质
CN104657164B (zh) 软件升级处理方法和装置
CN106325756B (zh) 一种数据存储、数据计算方法和设备
KR102024005B1 (ko) 블록체인을 이용한 트랜잭션 처리 방법 및 이를 이용한 트랜잭션 서버
CN107967122A (zh) 一种块设备的数据写入方法、装置及介质
CN106371764A (zh) 一种虚拟块设备数据处理的方法及装置
CN110018996A (zh) 一种分布式存储系统的快照回滚方法及相关装置
CN106020735A (zh) 一种数据存储方法及数据存储装置
CN110083379A (zh) 一种服务器部件升级方法及相关装置
CN108052622A (zh) 一种基于非关系型数据库的存储方法、装置以及设备
CN107665255A (zh) 键值数据库数据变更的方法、装置、设备及存储介质
CN109614045A (zh) 一种元数据落盘方法、装置及相关设备
CN110262998A (zh) 一种对账数据处理方法及装置
CN106649869A (zh) 数据库大数据的统计方法及装置
CN103793382B (zh) 一种数据库的数据处理方法及系统
CN104361009B (zh) 一种基于倒排索引的实时索引方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant