CN112463048A - 一种compact处理速度的调整方法、装置、电子设备和介质 - Google Patents

一种compact处理速度的调整方法、装置、电子设备和介质 Download PDF

Info

Publication number
CN112463048A
CN112463048A CN202011344756.XA CN202011344756A CN112463048A CN 112463048 A CN112463048 A CN 112463048A CN 202011344756 A CN202011344756 A CN 202011344756A CN 112463048 A CN112463048 A CN 112463048A
Authority
CN
China
Prior art keywords
compact
processing speed
time
last
compact operation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011344756.XA
Other languages
English (en)
Other versions
CN112463048B (zh
Inventor
余思明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
New H3C Technologies Co Ltd Chengdu Branch
Original Assignee
New H3C Technologies Co Ltd Chengdu Branch
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by New H3C Technologies Co Ltd Chengdu Branch filed Critical New H3C Technologies Co Ltd Chengdu Branch
Priority to CN202011344756.XA priority Critical patent/CN112463048B/zh
Publication of CN112463048A publication Critical patent/CN112463048A/zh
Application granted granted Critical
Publication of CN112463048B publication Critical patent/CN112463048B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/061—Improving I/O performance
    • G06F3/0611—Improving I/O performance in relation to response time
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/16—File or folder operations, e.g. details of user interfaces specifically adapted to file systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638—Organizing or formatting or addressing of data
    • G06F3/0643—Management of files
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671—In-line storage system
    • G06F3/0673—Single storage device
    • G06F3/0674—Disk device
    • G06F3/0676—Magnetic disk device
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请提供了一种compact处理速度的调整方法、装置、电子设备和介质，所述方法应用于管理数据库的电子设备中，该方法包括：当开始执行本次合并compact操作时，记录本次compact操作的开始时间，并获取上一次compact操作的执行情况；确定当前用户业务在所述数据库的当前层所产生的文件的文件大小；基于所述开始时间、所述上一次compact操作的执行情况和所述当前层所产生的文件的文件大小，对compact处理速度进行调整，所述compact处理速度的调整通过调整磁盘IO单次读/写数据的大小实现。由此实现了自适应地调整compact处理速度，以保证磁盘的正常读写，以及同时避免影响用户业务。

Description

一种compact处理速度的调整方法、装置、电子设备和介质
技术领域
本申请涉及存储技术领域，尤其涉及一种compact处理速度的调整方法、装置、电子设备和介质。
背景技术
K-V数据库提供K-V格式入口entry的数据存储服务，支持对K-V数据库进行插入、查询、修改、删除等操作。在K-V数据进行归档永久化存储时，数据将被有序组织以文件的形式写入磁盘。伴随着新数据的不断写入，文件大小不断增大，导致数据有序固化到磁盘的处理耗时明显增大，对性能产生较大影响；基于此有一类K-V数据库(如leveldb、rocksdb)提出了分层组织的磁盘文件来实现对归档文件大小的控制，每层设定可存放的数据大小阈值，当顶层的数据量到达该阈值时，通过合并compact操作将数据转储到底层。而在对K-V数据库进行K-V数据删除操作时，为了提高效率，往往都不是实时进行删除操作，而是通过标记为删除状态并在合适的时机进行批量的空间回收，因此进行大量K-V数据的插入、修改、删除操作后，会导致存储K-V数据的文件不断增大且可能存在需要进行空间回收的K-V数据，此时则需要通过compact操作来对实现空间的回收和整理。
而compact操作的主要特征如下以文件为处理对象，在处理流程中需要频繁与磁盘进行IO交互，而磁盘作为用户进行数据库访问业务的底层处理单元，其IO处理的速度将影响用户的感知，因此应该需要尽量减少compact操作对用户业务的影响。compact操作的触发与用户的业务行为有关，如果用户业务压力较小，数据量的增速比较慢，则compact操作触发的时间间隔较长；如果用户业务压力较大，数据量增速块，则compact操作的频率会偏高。由于每层文件大小有最大限制，如果compact操作的效率过低，文件大小增长的速度过快，会导致文件大小到达最大阈值后续无法继续写入而形成阻塞，进而导致无法接受任何写性质的访问。
目前compact操作的处理流程为采用固定的compact处理速度(固定的磁盘IO大小)来进行文件的读写，导致compact处理速度不能适应各种用户业务场景，导致影响客户业务感知或者影响用户业务的正常处理。
因此，如何基于用户业务自适应调整compact处理速度，保证磁盘正常读写，避免影响用户业务是值得考虑的技术问题之一。
发明内容
有鉴于此，本申请提供一种compact处理速度的调整方法、装置、电子设备和介质，用以自适应调整compact处理速度，保证磁盘正常读写，避免影响用户业务。
具体地，本申请是通过如下技术方案实现的：
根据本申请的第一方面，提供一种compact处理速度的调整方法，应用于管理数据库的电子设备中，所述方法，包括：
当开始执行本次合并compact操作时，记录本次compact操作的开始时间，并获取上一次compact操作的执行情况；
确定当前用户业务在所述数据库的当前层所产生的文件的文件大小；
基于所述开始时间、所述上一次compact操作的执行情况和所述当前层所产生的文件的文件大小，对compact处理速度进行调整，所述compact处理速度的调整通过调整磁盘IO单次读/写数据的大小实现。
根据本申请的第二方面，提供一种compact处理速度的调整装置，应用于管理数据库的电子设备中，所述装置，包括：
记录模块，用于当开始执行本次合并compact操作时，记录本次compact操作的开始时间；
获取模块，用于获取上一次compact操作的执行情况；
确定模块，用于确定当前用户业务在所述数据库的当前层所产生的文件的文件大小；
调整模块，用于基于所述开始时间、所述上一次compact操作的执行情况和所述当前层所产生的文件的文件大小，对compact处理速度进行调整，所述compact处理速度的调整通过调整磁盘IO单次读/写数据的大小实现。
根据本申请的第三方面，提供一种电子设备，包括处理器和机器可读存储介质，机器可读存储介质存储有能够被处理器执行的计算机程序，处理器被计算机程序促使执行本申请实施例第一方面所提供的方法。
根据本申请的第四方面，提供一种机器可读存储介质，机器可读存储介质存储有计算机程序，在被处理器调用和执行时，计算机程序促使处理器执行本申请实施例第一方面所提供的方法。
本申请实施例的有益效果：
根据上一次compact操作的执行情况和本次compact操作的开始时间就可以确认当前compact操作能否满足数据库当前层中数据增长(在数据库当前层所产生的文件的文件大小)的速度，根据判断结果来调整本次compact处理速度，从而实现了自适应地调整compact处理速度，以保证磁盘的正常读写，以及同时避免影响用户业务。
附图说明
图1是本申请实施例提供的一种compact处理速度的调整方法的流程图；
图2是本申请实施例提供的另一种compact处理速度的调整方法的流程图；
图3是本申请实施例提供的再一种compact处理速度的调整方法的流程图；
图4是本申请实施例提供的一种compact处理速度的调整装置的框图；
图5是本申请实施例提供的一种实施compact处理速度的调整方法的硬件结构示意图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如本申请的一些方面相一致的装置和方法的例子。
在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相对应的列出项目的任何或所有可能组合。
应当理解，尽管在本申请可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
下面对本申请提供的compact处理速度的调整方法进行详细地说明。
参见图1，图1是本申请提供的一种compact处理速度的调整方法的流程图，该方法应用于管理数据库的电子设备中，该方法可包括如下所示步骤：
S101、当开始执行本次合并compact操作时，记录本次compact操作的开始时间，并获取上一次compact操作的执行情况。
具体地，本申请在compact处理过程中引入compact处理速度自适应调整功能，即当执行每一次compact操作时，记录各次compact操作的开始时间、结束时间等，得到各次compact操作的执行情况。而在执行每次compact操作时，会通过执行本申请提供的compact处理速度的调整方法来确认本次compact操作过程中是否需要对compact处理速度进行调整。
具体来说，在执行本次compact操作时，会记录本次compact操作的开始时间，以及获取执行上一次compact操作的执行情况，上一次compact操作的执行情况用于表征上一次compact操作的处理效率。
S102、确定当前用户业务在所述数据库的当前层所产生的文件的文件大小。
具体地，为了判断当前compact处理速度能否适应当前用户业务，则需要确定出当前用户业务在数据库的当前层所产生(新增)的文件的文件大小。
S103、基于所述开始时间、所述上一次compact操作的执行情况和所述当前层所产生的文件的文件大小，对compact处理速度进行调整，所述compact处理速度的调整通过调整磁盘IO单次读/写数据的大小实现。
具体地，根据上一次compact操作的执行情况和本次compact操作的开始时间就可以确认当前compact操作能否满足数据库当前层中数据增长(在数据库当前层所产生的文件的文件大小)的速度，根据判断结果来调整本次compact处理速度，从而实现了自适应地调整compact处理速度，以保证磁盘的正常读写，以及同时避免影响用户业务。
需要说明的是，compact处理流程需要频繁与磁盘进行IO交互，然而磁盘本身还需要为用户业务提供服务，因此，为了保证用户业务正常运行以及保证compact操作适应所产生的文件，需要动态调整compact处理速度，而compact处理速度具体可以通过调整磁盘IO单次读/写数据的大小来实现。当调大compact处理速度可以理解为将磁盘IO单次读/写数据的大小增大，也即通过让磁盘IO单次读/写更多的数据来实现调大compact处理速度；反之，调小compact处理速度可以理解为将磁盘IO单次读/写数据的大小缩小，也即通过让磁盘IO单次读/写较小的数据来实现调小compact处理速度。
可选地，本实施例上一次compact操作的执行情况包括上一次compact操作的开始时间和上一次compact操作的结束时间；则可以按照图2所示的流程实施步骤S103，包括以下步骤：
S201、判断当前层所产生的文件的文件大小是否达到设定阈值；若未到达设定阈值，则执行步骤S202；若达到设定阈值，则执行步骤S206。
本步骤中设定阈值可以用于表征阻塞的极限值，当所产生的文件的文件大小越接近该设定阈值，越表明文件急速增大，compact处理速度无法满足文件的急速增加，可能会形成阻塞。基于此原理，当确定出当前用户业务在数据库当前层所产生的文件的文件大小后，可以判断所产生的文件的文件大小是否达到上述设定阈值，如果未达到设定阈值表明当前的compact处理速度还能满足，目前还不会形成阻塞，则进一步可以执行步骤S202，以判断是否需要调整compact处理速度。
需要说明的是，上述设定阈值可以根据实际情况而定，如可以为经验值。
S202、基于上一次compact操作的结束时间和上一次compact操作的开始时间，确定执行所述上一次compact操作的耗时时间；以及确定所述本次compact操作的开始时间与所述上一次compact操作的结束时间之间的时间间隔。
具体地，通过确定执行上述compact操作的耗时时间可以评估出上一次compact操作的处理效率，即，耗时时间越长越表明上一次compact操作的处理效率越低，反之，耗时时间越短则越表明上一次compact操作的处理效率越高。然后通过确认本次compact操作的开始时间与上一次compact操作的结束时间之间的时间间隔，来衡量时间间隔这期间所增加的文件的文件增长速度，时间间隔越大，表明当前用户业务在数据库当前层所增加的文件的文件增长速度比较慢；而时间间隔越小，则表明当前用户业务在数据库当前层所增加的文件的文件增长速度比较快。
S203、判断所述时间间隔是否小于耗时时间；若小于，则执行步骤S204；若不小于，则执行步骤S205。
本步骤中，会判断时间间隔是否小于耗时时间，通过判断结果可以确认本次compact操作如果按照上一次compact操作的compact处理速度处理所产生的文件时，是否能够满足数据的增长速度(当前用户业务在数据库当前层所产生的文件的文件大小)，通过判断结果来调整compact处理速度。
S204、调大本次compact操作的compact处理速度。
本步骤中，当确认时间间隔小于耗时时间时，表明按照上一次compact操作的compact处理速度执行本次compact操作存在无法满足数据增长的速度的风险，故为了避免因无法及时处理新产生的文件而导致文件阻塞问题的发生，可以调大本次compact操作的compact处理速度，由此可以有更多的的磁盘资源为本次compact操作提供服务，加快本次compact操作的速率，进而避免用户业务阻塞。
具体地，具体可以通过增大磁盘IO单次读/写数据的大小来实现调大本次compact操作的compact处理速度，例如可以通过调整磁盘IO的IOPS和/或吞吐量来实现调整磁盘IO单次读/写数据的大小，磁盘IO的IOPS是指磁盘在一秒内进行IO读写的次数，而磁盘的吞吐量是指磁盘每秒IO的流量，即，磁盘写入加读出的数据的大小。为例方便理解，以调整磁盘IO的IOPS为例进行说明，则可以通过调大磁盘IO的IOPS，即增大磁盘在一秒内IO读写的次数，来实现调大本次compact操作的compact处理速度，调整磁盘的吞吐量的过程与调整磁盘IO的IOPS的过程一致，此处不再详细描述。
需要说明的是，调大compact处理速度时，具体的调大幅度可以根据实际情况而定，如等间隔调大等等。或者，也可以采用下述方法得到调整后的compact处理速度：基于历次确定出的时间间隔、耗时时间、所产生的文件的文件大小和历次compact操作的compact处理速度模拟仿真得到一个速度调整模型，然后将基于本次compact操作确定出的时间间隔、耗时时间、本次所产生的文件的文件大小和上一次compact操作的compact处理速度输入到上述速度调整模型中，输出调大的compact处理速度。
S205、调小本次compact操作的compact处理速度。
本步骤中，当确认时间间隔不小于compact操作时，则表明按照上一次compact操作的compact处理速度执行本次compact操作能够很好的满足数据增长的速度，则此时可以调小本次compact操作的compact处理速度，以减少本次compact操作对磁盘资源的过多占用，在一定程度上减缓compact操作的速率，释放更多的磁盘资源为用户业务提供服务，提升用户业务感知能力。
具体地，可以通过减少磁盘IO单次读/写数据的大小来实现调小本次compact操作的compact处理速度，例如还以通过调整磁盘IO的IOPS为例进行说明，则可以通过减少磁盘IO的IOPS，即减少磁盘在一秒内IO读写的次数，来实现调小本次compact操作的compact处理速度，调整磁盘的吞吐量的过程与调整磁盘IO的IOPS的过程一致，此处不再详细描述。
需要说明的是，调小compact处理速度时，具体的调小幅度可以根据实际情况而定，如等间隔调小等等。或者，也可以将基于本次compact操作确定出的时间间隔、耗时时间、本次所产生的文件的文件大小和上一次compact操作的compact处理速度输入到上述速度调整模型中，输出调小的compact处理速度
S206、将本次compact操作的compact处理速度调至最大处理速度。
具体地，当所产生的文件的文件大小达到上述设定阈值时，则表明当前所产生的文件的文件大小很大，很可能会造成阻塞，因此为了避免导致阻塞，本申请提出将本次compact操作的compact处理速度调至最大处理速度，以保证可以快速处理所产生的文件，进而避免文件的堆积所导致的阻塞。
通过实施图2的流程，实现了基于用户业务自适应调整compact处理速度，从而不仅可以保证磁盘的正常读写，还可以有效避免影响用户业务，提升用户业务感知力。
可选地，本实施例提供的compact处理速度的调整方法还可以包括图3所示的流程，包括以下步骤：
S301、判断数据库的当前层所产生的文件是否读取完成；若未读取完成，则执行步骤S302；若读取完成则执行步骤S305。
具体地，用户业务在数据库当前层新产生文件后，需要将新产生的文件写入磁盘中，因此需要图1所示的流程得到的调整后的compact处理速度读取从数据库的当前层所产生的文件，然后会判断是否读取完成。
S302、利用调整后的compact处理速度继续读取所述数据库的当前层所产生的文件并做合并处理。
本步骤中，若未读取完成，则会利用调整后的compact处理速度继续读取上述所产生的文件，然后并对读取到的文件进行合并处理，例如，与之前读取的文件进行合并处理等等。
S303、判断合并处理后的文件大小是否达到当前层对应的固化阈值；若达到固化阈值，则执行步骤S304；若未达到固化阈值，则继续执行步骤S301，直至将所述数据库的当前层所产生的文件读取完成为止。
本步骤中，由于数据库的每一层可存放的数据大小是固定的，因此当读取并合并后得到的文件的文件大小达到固化阈值时，则表明当前层已满，不能再继续读取文件，则需要执行步骤S304，而当未达到固化阈值时表明当前层还有空余，则可以继续执行步骤S301～S302的过程，直至将当前层所产生的文件读取完成为止。
S304、利用调整后的compact处理速度将合并后的文件写入到磁盘中。
具体地，当步骤S302中当前层达到固化阈值时，启动磁盘写入功能，即利用调整后的compact处理速度将合并后的文件写入到磁盘，也即，按照调整后的磁盘IO的IOPS或吞吐量将合并后的文件写入到磁盘中。需要说明的是，当执行写入操作后，还可以继续执行步骤S301的流程，以便完成所产生的文件的读取及写入。
S305、记录本次compact操作的结束时间，得到本次compact操作的执行情况。
具体地，当读取完成时，表明本次compact操作结束，则可以记录本次compact操作的结束时间，以得到本次compact操作的执行情况，以便为下一次compact操作做准备，从而可以实现compact处理速度的动态调整。
基于同一发明构思，本申请还提供了与上述compact处理速度的调整方法对应的compact处理速度的调整装置。该compact处理速度的调整装置的实施具体可以参考上述对compact处理速度的调整方法的描述，此处不再一一论述。
参见图4，图4是本申请一示例性实施例提供的一种compact处理速度的调整装置，应用于管理数据库的电子设备中，上述装置，包括：
记录模块401，用于当开始执行本次合并compact操作时，记录本次compact操作的开始时间；
获取模块402，用于获取上一次compact操作的执行情况；
确定模块403，用于确定当前用户业务在所述数据库的当前层所产生的文件的文件大小；
调整模块404，用于基于所述开始时间、所述上一次compact操作的执行情况和所述当前层所产生的文件的文件大小，对compact处理速度进行调整，所述compact处理速度的调整通过调整磁盘IO单次读/写数据的大小实现。
可选地，本实施例中上一次compact操作的执行情况包括上一次compact操作的开始时间和上一次compact操作的结束时间；则
上述调整模块404，具体用于判断所述当前层所产生的文件的文件大小是否达到设定阈值；若未达到所述设定阈值，则基于所述上一次compact操作的结束时间和所述上一次compact操作的开始时间，确定执行所述上一次compact操作的耗时时间；以及确定所述本次compact操作的开始时间与所述上一次compact操作的结束时间之间的时间间隔；若所述时间间隔小于所述耗时时间，则调大本次compact操作的compact处理速度；若所述时间间隔不小于所述耗时时间，则调小本次compact操作的compact处理速度。
可选地，上述调整模块404，还用于若达到所述设定阈值，则将本次compact操作的compact处理速度调至最大处理速度。
可选地，本实施例提供的compact处理速度的调整装置，还包括：
第一判断模块(图中未示出)，用于判断所述数据库的当前层所产生的文件是否读取完成；
读取模块(图中未示出)，用于若所述第一判断模块的判断结果为未读取完成，则利用调整后的compact处理速度继续读取所述数据库的当前层所产生的文件并做合并处理；
第二判断模块(图中未示出)，用于判断合并处理后的文件大小是否达到当前层对应的固化阈值；
写入模块(图中未示出)，用于若所述第二判断模块的判断结果为达到固化阈值，则利用调整后的compact处理速度将合并后的文件写入到磁盘中；
上述读取模块(图中未示出)，还用于若所述第二判断模块的判断结果为未达到固化阈值，则继续执行利用调整后的compact处理速度继续读取所述数据库的当前层所产生的文件并做合并处理的步骤，直至将所述数据库的当前层所产生的文件读取完成为止。
可选地，上述记录模块401，还用于若所述第一判断模块的判断结果为读取完成，则记录本次compact操作的结束时间，得到本次compact操作的执行情况。
基于同一发明构思，本申请实施例提供了一种电子设备，如图5所示，包括处理器501和机器可读存储介质502，机器可读存储介质502存储有能够被处理器501执行的计算机程序，处理器501被计算机程序促使执行本申请实施例所提供的compact处理速度的调整方法。
上述计算机可读存储介质可以包括RAM(Random Access Memory，随机存取存储器)、DDR SRAM(Double Data Rate Synchronous Dynamic Random Access Memory，双倍速率同步动态随机存储器)，也可以包括NVM(Non-volatile Memory，非易失性存储器)，例如至少一个磁盘存储器。可选的，计算机可读存储介质还可以是至少一个位于远离前述处理器的存储装置。
上述处理器可以是通用处理器，包括CPU(Central Processing Unit，中央处理器)、NP(Network Processor，网络处理器)等；还可以是DSP(Digital Signal Processor，数字信号处理器)、ASIC(Application Specific Integrated Circuit，专用集成电路)、FPGA(Field-Programmable Gate Array，现场可编程门阵列)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
另外，本申请实施例提供了一种机器可读存储介质，机器可读存储介质存储有计算机程序，在被处理器调用和执行时，计算机程序促使处理器执行本申请实施例所提供的compact处理速度的调整方法。
对于电子设备以及机器可读存储介质实施例而言，由于其涉及的方法内容基本相似于前述的方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
上述装置中各个单元/模块的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，在此不再赘述。
对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元/模块可以是或者也可以不是物理上分开的，作为单元/模块显示的部件可以是或者也可以不是物理单元/模块，即可以位于一个地方，或者也可以分布到多个网络单元/模块上。可以根据实际的需要选择其中的部分或者全部单元/模块来实现本申请方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
以上所述仅为本申请的较佳实施例而已，并不用以限制本申请，凡在本申请的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本申请保护的范围之内。

Claims (10)

1.一种compact处理速度的调整方法，其特征在于，应用于管理数据库的电子设备中，所述方法，包括：
当开始执行本次合并compact操作时，记录本次compact操作的开始时间，并获取上一次compact操作的执行情况；
确定当前用户业务在所述数据库的当前层所产生的文件的文件大小；
基于所述开始时间、所述上一次compact操作的执行情况和所述当前层所产生的文件的文件大小，对compact处理速度进行调整，所述compact处理速度的调整通过调整磁盘IO单次读/写数据的大小实现。
2.根据权利要求1所述的方法，其特征在于，所述上一次compact操作的执行情况包括上一次compact操作的开始时间和上一次compact操作的结束时间；则
基于所述开始时间、所述上一次compact操作的执行情况和所述当前层所产生的文件的文件大小，对compact处理速度进行调整，包括：
判断所述当前层所产生的文件的文件大小是否达到设定阈值；
若未达到所述设定阈值，则基于所述上一次compact操作的结束时间和所述上一次compact操作的开始时间，确定执行所述上一次compact操作的耗时时间；以及确定所述本次compact操作的开始时间与所述上一次compact操作的结束时间之间的时间间隔；
若所述时间间隔小于所述耗时时间，则调大本次compact操作的compact处理速度；
若所述时间间隔不小于所述耗时时间，则调小本次compact操作的compact处理速度。
3.根据权利要求2所述的方法，其特征在于，
若达到所述设定阈值，则将本次compact操作的compact处理速度调至最大处理速度。
4.根据权利要求1所述的方法，其特征在于，还包括：
判断所述数据库的当前层所产生的文件是否读取完成；
若未读取完成，则利用调整后的compact处理速度继续读取所述数据库的当前层所产生的文件并做合并处理；
判断合并处理后的文件大小是否达到当前层对应的固化阈值；
若达到固化阈值，则利用调整后的compact处理速度将合并后的文件写入到磁盘中；
若未达到固化阈值，则继续执行利用调整后的compact处理速度继续读取所述数据库的当前层所产生的文件并做合并处理的步骤，直至将所述数据库的当前层所产生的文件读取完成为止。
5.根据权利要求4所述的方法，其特征在于，还包括：
若读取完成，则记录本次compact操作的结束时间，得到本次compact操作的执行情况。
6.一种compact处理速度的调整装置，其特征在于，应用于管理数据库的电子设备中，所述装置，包括：
记录模块，用于当开始执行本次合并compact操作时，记录本次compact操作的开始时间；
获取模块，用于获取上一次compact操作的执行情况；
确定模块，用于确定当前用户业务在所述数据库的当前层所产生的文件的文件大小；
调整模块，用于基于所述开始时间、所述上一次compact操作的执行情况和所述当前层所产生的文件的文件大小，对compact处理速度进行调整，所述compact处理速度的调整通过调整磁盘IO单次读/写数据的大小实现。
7.根据权利要求6所述的装置，其特征在于，所述上一次compact操作的执行情况包括上一次compact操作的开始时间和上一次compact操作的结束时间；则
所述调整模块，具体用于判断所述当前层所产生的文件的文件大小是否达到设定阈值；若未达到所述设定阈值，则基于所述上一次compact操作的结束时间和所述上一次compact操作的开始时间，确定执行所述上一次compact操作的耗时时间；以及确定所述本次compact操作的开始时间与所述上一次compact操作的结束时间之间的时间间隔；若所述时间间隔小于所述耗时时间，则调大本次compact操作的compact处理速度；若所述时间间隔不小于所述耗时时间，则调小本次compact操作的compact处理速度。
8.根据权利要求7所述的装置，其特征在于，
所述调整模块，还用于若达到所述设定阈值，则将本次compact操作的compact处理速度调至最大处理速度。
9.一种电子设备，其特征在于，包括处理器和机器可读存储介质，所述机器可读存储介质存储有能够被所述处理器执行的计算机程序，所述处理器被所述计算机程序促使执行权利要求1-5任一项所述的方法。
10.一种机器可读存储介质，其特征在于，所述机器可读存储介质存储有计算机程序，在被处理器调用和执行时，所述计算机程序促使所述处理器执行权利要求1-5任一项所述的方法。
CN202011344756.XA 2020-11-26 2020-11-26 一种compact处理速度的调整方法、装置、电子设备和介质 Active CN112463048B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011344756.XA CN112463048B (zh) 2020-11-26 2020-11-26 一种compact处理速度的调整方法、装置、电子设备和介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011344756.XA CN112463048B (zh) 2020-11-26 2020-11-26 一种compact处理速度的调整方法、装置、电子设备和介质

Publications (2)

Publication Number Publication Date
CN112463048A true CN112463048A (zh) 2021-03-09
CN112463048B CN112463048B (zh) 2022-08-30

Family

ID=74808436

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011344756.XA Active CN112463048B (zh) 2020-11-26 2020-11-26 一种compact处理速度的调整方法、装置、电子设备和介质

Country Status (1)

Country Link
CN (1) CN112463048B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117725035A (zh) * 2024-01-30 2024-03-19 支付宝(杭州)信息技术有限公司 一种针对lsm树的文件合并方法及相关设备

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120110038A1 (en) * 2010-02-27 2012-05-03 Cleversafe, Inc. Compacting dispersed storage space
CN103608785A (zh) * 2013-06-21 2014-02-26 华为技术有限公司 一种文件读取方法、存储设备及读取系统
CN105159915A (zh) * 2015-07-16 2015-12-16 中国科学院计算技术研究所 可动态适应的lsm树合并方法及系统
CN105446653A (zh) * 2014-08-27 2016-03-30 阿里巴巴集团控股有限公司 一种数据合并方法和设备
CN105808160A (zh) * 2016-02-24 2016-07-27 鄞州浙江清华长三角研究院创新中心 基于SSD的mpCache混合存储系统
CN106030609A (zh) * 2013-12-04 2016-10-12 移动眼视力科技有限公司 用于模仿前车的系统和方法
US20170220719A1 (en) * 2016-02-01 2017-08-03 King Fahd University Of Petroleum And Minerals Multi-core compact executable trace processor
CN108874945A (zh) * 2018-06-04 2018-11-23 联想(北京)有限公司 一种数据处理方法及电子设备
CN109241022A (zh) * 2018-09-11 2019-01-18 天津理工大学 一种基于蓝光存储的档案管理系统及其蚁群搜索算法
CN109947353A (zh) * 2017-12-20 2019-06-28 浙江宇视科技有限公司 存储管理方法、固态硬盘及可读存储介质
CN109960686A (zh) * 2019-03-26 2019-07-02 北京百度网讯科技有限公司 数据库的日志处理方法和装置
CN111352908A (zh) * 2020-02-28 2020-06-30 北京奇艺世纪科技有限公司 基于lsm的数据存储方法、装置、存储介质及计算机设备
CN111767009A (zh) * 2020-06-24 2020-10-13 中国工商银行股份有限公司 磁盘清理方法、装置及设备
CN111862936A (zh) * 2020-07-28 2020-10-30 游艺星际(北京)科技有限公司 生成及发布作品的方法、装置、电子设备和存储介质

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120110038A1 (en) * 2010-02-27 2012-05-03 Cleversafe, Inc. Compacting dispersed storage space
CN103608785A (zh) * 2013-06-21 2014-02-26 华为技术有限公司 一种文件读取方法、存储设备及读取系统
CN106030609A (zh) * 2013-12-04 2016-10-12 移动眼视力科技有限公司 用于模仿前车的系统和方法
CN105446653A (zh) * 2014-08-27 2016-03-30 阿里巴巴集团控股有限公司 一种数据合并方法和设备
CN105159915A (zh) * 2015-07-16 2015-12-16 中国科学院计算技术研究所 可动态适应的lsm树合并方法及系统
US20170220719A1 (en) * 2016-02-01 2017-08-03 King Fahd University Of Petroleum And Minerals Multi-core compact executable trace processor
CN105808160A (zh) * 2016-02-24 2016-07-27 鄞州浙江清华长三角研究院创新中心 基于SSD的mpCache混合存储系统
CN109947353A (zh) * 2017-12-20 2019-06-28 浙江宇视科技有限公司 存储管理方法、固态硬盘及可读存储介质
CN108874945A (zh) * 2018-06-04 2018-11-23 联想(北京)有限公司 一种数据处理方法及电子设备
CN109241022A (zh) * 2018-09-11 2019-01-18 天津理工大学 一种基于蓝光存储的档案管理系统及其蚁群搜索算法
CN109960686A (zh) * 2019-03-26 2019-07-02 北京百度网讯科技有限公司 数据库的日志处理方法和装置
CN111352908A (zh) * 2020-02-28 2020-06-30 北京奇艺世纪科技有限公司 基于lsm的数据存储方法、装置、存储介质及计算机设备
CN111767009A (zh) * 2020-06-24 2020-10-13 中国工商银行股份有限公司 磁盘清理方法、装置及设备
CN111862936A (zh) * 2020-07-28 2020-10-30 游艺星际(北京)科技有限公司 生成及发布作品的方法、装置、电子设备和存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
蔡荀: "基于HDFS平台的海量小文件存储与访问优化策略研究", 《中国优秀博硕士学位论文全文数据库(硕士)信息科技辑》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117725035A (zh) * 2024-01-30 2024-03-19 支付宝(杭州)信息技术有限公司 一种针对lsm树的文件合并方法及相关设备

Also Published As

Publication number Publication date
CN112463048B (zh) 2022-08-30

Similar Documents

Publication Publication Date Title
US11704239B2 (en) Garbage collection method for storage medium, storage medium, and program product
CN111427859B (zh) 一种消息处理方法、装置、电子设备及存储介质
CN111324303B (zh) Ssd垃圾回收方法、装置、计算机设备及存储介质
CN107168651B (zh) 一种小文件聚合存储处理方法
CN106708912B (zh) 垃圾文件识别及管理方法、识别装置、管理装置和终端
CN111880731B (zh) 一种数据处理方法、装置及相关组件
CN113495847B (zh) 一种存储空间回收方法、系统及计算机存储介质
CN115344505B (zh) 一种基于感知分类的内存访问方法
CN112463048B (zh) 一种compact处理速度的调整方法、装置、电子设备和介质
CN108829345B (zh) 日志文件的数据处理方法和终端设备
CN102722456A (zh) 闪存存储设备的数据写入方法和闪存存储设备
CN115840654B (zh) 消息的处理方法、系统、计算设备及可读存储介质
CN103176753A (zh) 存储设备及其数据管理方法
CN111078593B (zh) 一种对象元数据的访问方法、系统及相关装置
CN114675785A (zh) 一种分布式存储方法、装置、系统以及介质
CN115858483A (zh) 日志分析与管理方法、终端及计算机可读存储介质
CN111176571A (zh) 一种本地对象的管理方法、装置、设备及介质
CN111143288A (zh) 一种数据存储方法、系统及相关装置
KR101221992B1 (ko) 데이터 로깅 장치
CN115794446B (zh) 一种消息处理方法、装置、电子设备和存储介质
CN112925629B (zh) 布隆过滤器动态调整方法、系统、电子设备及存储介质
CN112612415B (zh) 一种数据处理方法、装置、电子设备及存储介质
CN110875951B (zh) 一种调用消息并发量的统计方法及装置
CN111078122B (zh) 数据处理方法、装置和设备
CN109388613B (zh) 一种文件管理方法和电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant