CN110688379A - 一种数据存储方法、系统、存储介质及电子设备 - Google Patents

一种数据存储方法、系统、存储介质及电子设备 Download PDF

Info

Publication number
CN110688379A
CN110688379A CN201910887126.8A CN201910887126A CN110688379A CN 110688379 A CN110688379 A CN 110688379A CN 201910887126 A CN201910887126 A CN 201910887126A CN 110688379 A CN110688379 A CN 110688379A
Authority
CN
China
Prior art keywords
cache
container
lock
space
time length
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910887126.8A
Other languages
English (en)
Other versions
CN110688379B (zh
Inventor
谢有权
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Wave Intelligent Technology Co Ltd
Original Assignee
Suzhou Wave Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Wave Intelligent Technology Co Ltd filed Critical Suzhou Wave Intelligent Technology Co Ltd
Priority to CN201910887126.8A priority Critical patent/CN110688379B/zh
Publication of CN110688379A publication Critical patent/CN110688379A/zh
Application granted granted Critical
Publication of CN110688379B publication Critical patent/CN110688379B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2455—Query execution
    • G06F16/24552—Database cache management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533—Hypervisors; Virtual machine monitors
    • G06F9/45558—Hypervisor-specific management and integration aspects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533—Hypervisors; Virtual machine monitors
    • G06F9/45558—Hypervisor-specific management and integration aspects
    • G06F2009/45583—Memory management, e.g. access or allocation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Memory System Of A Hierarchy Structure (AREA)

Abstract

本申请公开了一种数据存储方法，所述数据存储方法包括记录存储引擎的任务处理数量和缓存锁延时的总时长；其中，所述缓存锁延时为获取缓存锁过程的时长，所述缓存锁为所述存储引擎的缓存容器的锁；当所述任务处理数量大于预设处理数量时，根据所述预设处理数量和所述缓存锁延时的总时长计算缓存锁平均延时时长；将所述缓存锁平均延时时长与标准时长区间进行比对，并根据比对结果调整所述缓存容器的容器空间，以便利用调整容器空间后的存储引擎执行数据存储任务。本申请能够降低获取缓存锁的延时，提高存储系统的数据存储效率。本申请还公开了一种数据存储系统、一种存储介质及一种电子设备，具有以上有益效果。

Description

一种数据存储方法、系统、存储介质及电子设备
技术领域
本申请涉及计算机技术领域，特别涉及一种数据存储方法、系统、一种存储介质及一种电子设备。
背景技术
随着分布式共享存储系统的快速发展，分布式共享存储系统的性能和安全性越来越关注。
相关技术中，分布式存储系统采用自管理裸盘的方式提升本地存储引擎的性能，对分布式存储系统进行优化，剔除XFS(日志文件系统)中大部分通用的功能，弥补对SSD支持的不足。但是，在上述相关技术中本地存储系统的cache容器最大缓存数量为固定值，这使得cache容器的访问量增加时会出现激烈的锁竞争，出现等待获取缓存锁的延时，从而影响本地存储系统的执行效率。
因此，如何降低获取缓存锁的延时，提高存储系统的数据存储效率是本领域技术人员目前需要解决的技术问题。
发明内容
本申请的目的是提供一种数据存储方法、系统、一种存储介质及一种电子设备，能够降低获取缓存锁的延时，提高存储系统的数据存储效率。
为解决上述技术问题，本申请提供一种数据存储方法，该数据存储方法包括：
记录存储引擎的任务处理数量和缓存锁延时的总时长；其中，所述缓存锁延时为获取缓存锁过程的时长，所述缓存锁为所述存储引擎的缓存容器的锁；
当所述任务处理数量大于预设处理数量时，根据所述预设处理数量和所述缓存锁延时的总时长计算缓存锁平均延时时长；
将所述缓存锁平均延时时长与标准时长区间进行比对，并根据比对结果调整所述缓存容器的容器空间，以便利用调整容器空间后的存储引擎执行数据存储任务。
可选的，根据比对结果调整所述缓存容器的容器空间包括：
当所述比对结果为所述缓存锁平均延时时长大于标准时长区间的最大值时，增加所述缓存容器的容器空间；
当所述比对结果为所述缓存锁平均延时时长小于标准时长区间的最小值时，减小所述缓存容器的容器空间。
可选的，增加所述缓存容器的容器空间包括：
根据第一时长差将所述缓存容器的容器空间增加第一预设值；其中，所述第一时长差为所述缓存锁平均延时时长与所述标准时长区间的最大值的差，所述第一时长差与所述第一预设值正相关；
相应的，减小所述缓存容器的容器空间包括：
根据第二时长差将所述缓存容器的容器空间减小第二预设值；其中，所述第二时长差为所述缓存锁平均延时时长与所述标准时长区间的最小值的差，所述第二时长差与所述第二预设值正相关。
可选的，所述根据比对结果调整所述缓存容器的容器空间包括：
根据所述比对结果确定目标容器空间大小，并根据所述目标容器空间大小执行缓存容器刷新操作。
可选的，所述根据比对结果确定目标容器空间大小包括：
查询当前时刻所述缓存容器的原始容器空间大小；
根据所述比对结果确定空间变化量；
根据所述原始容器空间大小和所述空间变化量确定所述目标容器空间大小。
可选的，还包括：
接收主机端发送的上层任务，将所述上层任务转化为所述存储引擎的本地任务。
可选的，在根据比对结果调整所述缓存容器的容器空间之后，还包括：
将所述任务处理数量和所述缓存锁延时的总时长重置为0。
本申请还提供了一种数据存储系统，该数据存储系统包括：
信息记录模块，用于记录存储引擎的任务处理数量和缓存锁延时的总时长；其中，所述缓存锁延时为获取缓存锁过程的时长，所述缓存锁为所述存储引擎的缓存容器的锁；
平均延时计算模块，用于当所述任务处理数量大于预设处理数量时，根据所述预设处理数量和所述缓存锁延时的总时长计算缓存锁平均延时时长；
空间调整模块，用于将所述缓存锁平均延时时长与标准时长区间进行比对，并根据比对结果调整所述缓存容器的容器空间，以便利用调整容器空间后的存储引擎执行数据存储任务。
本申请还提供了一种存储介质，其上存储有计算机程序，所述计算机程序执行时实现上述数据存储方法执行的步骤。
本申请还提供了一种电子设备，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器调用所述存储器中的计算机程序时实现上述数据存储方法执行的步骤。
本申请提供了一种数据存储方法，包括记录存储引擎的任务处理数量和缓存锁延时的总时长；其中，所述缓存锁延时为获取缓存锁过程的时长，所述缓存锁为所述存储引擎的缓存容器的锁；当所述任务处理数量大于预设处理数量时，根据所述预设处理数量和所述缓存锁延时的总时长计算缓存锁平均延时时长；将所述缓存锁平均延时时长与标准时长区间进行比对，并根据比对结果调整所述缓存容器的容器空间，以便利用调整容器空间后的存储引擎执行数据存储任务。
本申请首先确定存储引擎的任务处理数量和缓存锁延时的总时长，通过计算缓存锁平均延时时长确定缓存锁竞争的激烈程度。缓存锁平均延时时长越大缓存锁的需求量与供给量之差越大，即获取缓存锁的竞争越激烈；缓存锁平均延时时长越小缓存锁的需求量与供给量之差越小，即获取缓存锁的竞争越平和。根据缓存锁平均延时时长与标准时长区间的比对结果调整缓存容器的空间大小，能够降低获取缓存锁的延时，提高存储系统的数据存储效率。本申请同时还提供了一种数据存储系统、一种存储介质和一种电子设备，具有上述有益效果，在此不再赘述。
附图说明
为了更清楚地说明本申请实施例，下面将对实施例中所需要使用的附图做简单的介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例所提供的一种数据存储方法的流程图；
图2为本申请实施例所提供的一种本地存储引擎的数据处理方法的流程图；
图3为本申请实施例所提供的调整最大缓存数量的方法流程图；
图4为本申请实施例所提供的一种数据存储系统的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
下面请参见图1，图1为本申请实施例所提供的一种数据存储方法的流程图。
具体步骤可以包括：
S101：记录存储引擎的任务处理数量和缓存锁延时的总时长；
其中，本实施例可以应用于自管理裸设备的本地存储引擎系统，当接收到接收主机端发送的上层任务时，本实施例可以将所述上层任务转化为所述存储引擎的本地任务。本步骤中提到的任务处理数量可以为当前周期内存储引擎处理的本地任务的数量。本实施例中缓存锁延时为获取缓存锁过程的时长，缓存锁为所述存储引擎的缓存容器的锁；在执行数据存储任务时，存储引擎需要获取缓存容器的锁，缓存容器的容器空间越大，获取缓存锁的延时越低。缓存容器可以为存储系统的对象元数据缓存cache容器。
可以理解的是，在执行数据存储任务时获取一次缓存锁即可更新一次缓存锁延时的总时长，缓存锁延时的总时长为一种用于描述缓存锁竞争激烈程度的信息。
S102：当所述任务处理数量大于预设处理数量时，根据所述预设处理数量和所述缓存锁延时的总时长计算缓存锁平均延时时长；
其中，缓存锁延时的总时长可以反映缓存锁竞争激烈程度，本实施例可以预先设置任务处理数量的参考标准预设处理数量，以及该预设存储数量对应的标准时长区间。
本实施例不限定预设处理数量的具体取值，当预设处理数量取值很小时，本实施例可以根据任务处理数量和所述缓存锁延时的总时长计算缓存锁的实时延时时长，作为一种可行的实施方式，本实施例可以设置预设处理数量为10000，当任务处理数量大于10000时计算一次缓存锁平均延时时长。
具体的，本实施例可以将缓存锁延时的总时长除以预设处理数量得到缓存锁平均延时时长，缓存锁平均延时时长为描述处理引擎执行预设处理数量个数据存储任务时平均每一数据处理任务获取缓存锁所需的时长。缓存锁平均延时时长越大缓存锁的需求量与供给量之差越大，即获取缓存锁的竞争越激烈；缓存锁平均延时时长越小缓存锁的需求量与供给量之差越小，即获取缓存锁的竞争越平缓。
S103：将所述缓存锁平均延时时长与标准时长区间进行比对，并根据比对结果调整所述缓存容器的容器空间，以便利用调整容器空间后的存储引擎执行数据存储任务。
其中，本步骤建立在已经计算得到存储引擎处理预设处理数量个数据存储任务时的缓存所平均延时时长，进一步将缓存锁平均延时时长与标准时长区间进行比对。标准时长区间为预先设置的标准的缓存锁获取时间区间，当缓存锁平均延时时长在标准时长区间内时说明缓存锁竞争程度适中可以不改变最大缓存数量，当缓存锁平均延时时长大于标准时长区间的最大值时说明缓存锁竞争程度激烈可以增加最大缓存数量，当缓存锁平均延时时长小于标准时长区间的最小值时说明缓存锁竞争程度缓和可以减小最大缓存数量。在S103之前可以存在根据预设处理数量确定标准时长区间的操作。上述实施例中的缓存锁竞争程度可以用于描述缓存锁需求数量和缓存锁供给数量的相差程度。
进一步的，在根据比对结果调整所述缓存容器的容器空间之后，还可以将所述任务处理数量和所述缓存锁延时的总时长重置为0，以便当重新记录的任务处理数量达到10000时再次计算缓存锁平均延时时长。
本实施例首先确定存储引擎的任务处理数量和缓存锁延时的总时长，通过计算缓存锁平均延时时长确定缓存锁竞争的激烈程度。缓存锁平均延时时长越大缓存锁的需求量与供给量之差越大，即获取缓存锁的竞争越激烈；缓存锁平均延时时长越小缓存锁的需求量与供给量之差越小，即获取缓存锁的竞争越平和。根据缓存锁平均延时时长与标准时长区间的比对结果调整缓存容器的空间大小，能够降低获取缓存锁的延时，提高存储系统的数据存储效率。
进一步的，对于图1对应实施例的进一步补充说明，S103中根据比对结果调整所述缓存容器的容器空间的过程包括以下三种情况：
情况一：当所述比对结果为所述缓存锁平均延时时长大于标准时长区间的最大值时，根据第一时长差将所述缓存容器的容器空间增加第一预设值；其中，所述第一时长差为所述缓存锁平均延时时长与所述标准时长区间的最大值的差，所述第一时长差与所述第一预设值正相关。
情况二：当所述比对结果为所述缓存锁平均延时时长小于标准时长区间的最小值时，根据第二时长差将所述缓存容器的容器空间减小第二预设值；其中，所述第二时长差为所述缓存锁平均延时时长与所述标准时长区间的最小值的差，所述第二时长差与所述第二预设值正相关。
情况三：当所述比对结果为所述缓存锁平均延时时长在所述标准时长区间内时，不调整最大缓存数量，并将所述任务处理数量和所述缓存锁延时的总时长重置为0。
进一步的，对于图1对应实施例的进一步补充说明，S103中根据比对结果调整所述缓存容器的容器空间的操作可以为：根据所述比对结果确定目标容器空间大小，并根据所述目标容器空间大小执行缓存容器刷新操作。其中，根据所述比对结果确定目标容器空间大小的操作可以包括：查询当前时刻所述缓存容器的原始容器空间大小；根据所述比对结果确定空间变化量；根据所述原始容器空间大小和所述空间变化量确定所述目标容器空间大小。上述空间变化量可以为正值，也可以为负值；可以将原始空间大小加上空间变化量得到目标容器空间大小。
上述实施方式在确定目标容器空间大小之后，根据目标容器空间大小执行缓存容器刷新操作，以便根据目标容器空间大小增加或减小缓存容器的原空间大小，进而利用调整容器空间后的存储引擎执行数据存储任务。
下面通过在实际应用中的实施例说明上述实施例描述的流程。
请参见图2，图2为本申请实施例所提供的一种本地存储引擎的数据处理方法的流程图。本实施例所提供的本地存储引擎的数据处理方法，是基于自管理裸设备的本地存储引擎系统进行的优化。本实施例中cache锁即缓存锁，上限值valmax为上述实施例中标准时长区间的最大值，下限值valmin为上述实施中标准时长区间的最小值。
首先，本实施例可以从host主机端接收到待处理的事务，将上层事务转化成本地存储引擎本地的事务，然后累加计算任务处理数量，统计获取缓存锁延时的总时长SumDelay+＝(end-start)；判断任务处理数量cnt是否大于10000，大于则计算平均获取缓存锁(cache锁)的延时delay，判断延时delay的情况，如果延时delay大于上限值valmax，说明访问该缓存容器存在缓存锁的争抢需要增加缓存空间，可以调用设置缓存容器的接口，并将目标字段add_cache设置为true；如果延时delay小于下限值valmin，说明访问缓存容器的竞争很小，可以考虑不需要多余的缓存空间，可以减少缓存容器的空间大小，可以通过调用设置缓存容器的接口，将目标字段add_cach设置为false。
请参见图3，图3为本申请实施例所提供的调整最大缓存数量的方法流程图，可以先获取cache容器的原始容器空间大小old_num，然后根据目标字段add_cache判断是需要增加缓存容器的缓存空间还是减少缓存容器的缓存空间；最后进行缓存容器的缓存空间的刷新操作。在调整缓存容器的缓存空间之后，可以继续执行原有的处理流程，即处理数据存储任务的操作。
结合图2和图3，基于优化本地存储引擎写流程方法的具体步骤如下：
步骤A：在获取缓存锁之前记录初始时间点start，在获取缓存锁后记录结束时间点end；
步骤B：记录任务处理数量cnt，根据结束时间点end和初始时间点start更新延时统计的总时长SumDelay；
步骤C：判断任务处理数量cnt是否大于0，若否，则跳转到步骤J的操作；若是，则计算平均延时delay＝SumDelay/cnt，并将任务处理数量cnt赋值为0，进入步骤D；
步骤D：判断平均延时delay是否大于上限值valmax；若否，则跳转到步骤E的操作；若是，则将目标字段add_cache设置为true，并跳转到步骤F的操作；
步骤E：判断平均延时delay是否小于下限值valmin；若否，则跳转到步骤J的操作，若是，则将目标字段add_cache设置为false；
步骤F：获取缓存容器的原始容器空间大小old_num，并判断目标字段add_cache是否为true；若是，则进入步骤G；若否，则进入步骤H；
步骤G：将缓存容器的大小更新为old_num+2，并创建两个缓存对象添加到缓存容器中，跳转到步骤I的操作；
其中，本实施例可以将缓存对象的数量作为缓存容器空间大小的评价参数，当缓存对象增多时能够缓解缓存锁的竞争。
步骤H：将缓存容器的大小更新为old_num-2，并删除两个原缓存对象；
步骤I：对缓存容器中的缓存空间大小进行刷新，并将平均延时delay和总时长SumDelay设置为0。
步骤J：执行下一数据处理任务。
本实施例根据上层数据压力的大小增加或减少缓存容器的空间大小，提升本地存储引擎处理的效率和抗压的灵活性，可以在原有功能的基础上进行设计，保持了向下的兼容性。本实施例通过阈值的设定优化对象元数据缓存访问的竞争，以提升本地存储引擎处理上层压力的能力，优化本地存储引擎能并行的访问对象缓存的能力，提高本地存储引擎的性能。本实施例动态的改变缓存容器中缓存对象的数目，优化缓存锁的竞争，提升本地存储引擎写的性能。
请参见图4，图4为本申请实施例所提供的一种数据存储系统的结构示意图；
该系统可以包括：
信息记录模块100，用于记录存储引擎的任务处理数量和缓存锁延时的总时长；其中，所述缓存锁延时为获取缓存锁过程的时长，所述缓存锁为所述存储引擎的缓存容器的锁；
平均延时计算模块200，用于当所述任务处理数量大于预设处理数量时，根据所述预设处理数量和所述缓存锁延时的总时长计算缓存锁平均延时时长；
空间调整模块300，用于将所述缓存锁平均延时时长与标准时长区间进行比对，并根据比对结果调整所述缓存容器的容器空间，以便利用调整容器空间后的存储引擎执行数据存储任务。
本实施例首先确定存储引擎的任务处理数量和缓存锁延时的总时长，通过计算缓存锁平均延时时长确定缓存锁竞争的激烈程度。缓存锁平均延时时长越大缓存锁的需求量与供给量之差越大，即获取缓存锁的竞争越激烈；缓存锁平均延时时长越小缓存锁的需求量与供给量之差越小，即获取缓存锁的竞争越平和。根据缓存锁平均延时时长与标准时长区间的比对结果调整缓存容器的空间大小，能够降低获取缓存锁的延时，提高存储系统的数据存储效率。
进一步的，空间调整模块300包括：
第一调整单元，用于当所述比对结果为所述缓存锁平均延时时长大于标准时长区间的最大值时，增加所述缓存容器的容器空间；
第二调整单元，用于当所述比对结果为所述缓存锁平均延时时长小于标准时长区间的最小值时，减小所述缓存容器的容器空间。
进一步的，第一调整单元具体为用于根据第一时长差将所述缓存容器的容器空间增加第一预设值的单元；其中，所述第一时长差为所述缓存锁平均延时时长与所述标准时长区间的最大值的差，所述第一时长差与所述第一预设值正相关；
进一步的，第二调整单元具体为用于根据第二时长差将所述缓存容器的容器空间减小第二预设值的单元；其中，所述第二时长差为所述缓存锁平均延时时长与所述标准时长区间的最小值的差，所述第二时长差与所述第二预设值正相关。
进一步的，空间调整模块300具体为用于根据所述比对结果确定目标容器空间大小，并根据所述目标容器空间大小执行缓存容器刷新操作的模块。
进一步的，所述空间调整模块300包括：
查询单元，用于查询当前时刻所述缓存容器的原始容器空间大小；还用于根据所述比对结果确定空间变化量；
目标空间大小确定单元，用于根据所述原始容器空间大小和所述空间变化量确定所述目标容器空间大小；
刷新单元，用于根据所述目标容器空间大小执行缓存容器刷新操作的模块。
进一步的，还包括：
任务转化模块，用于接收主机端发送的上层任务，将所述上层任务转化为所述存储引擎的本地任务。
进一步的，还包括：
第二重置模块，用于在根据比对结果调整所述缓存容器的容器空间之后，将所述任务处理数量和所述缓存锁延时的总时长重置为0。
由于系统部分的实施例与方法部分的实施例相互对应，因此系统部分的实施例请参见方法部分的实施例的描述，这里暂不赘述。
本申请还提供了一种存储介质，其上存有计算机程序，该计算机程序被执行时可以实现上述实施例所提供的步骤。该存储介质可以包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
本申请还提供了一种电子设备，可以包括存储器和处理器，所述存储器中存有计算机程序，所述处理器调用所述存储器中的计算机程序时，可以实现上述实施例所提供的步骤。当然所述电子设备还可以包括各种网络接口，电源等组件。
说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以对本申请进行若干改进和修饰，这些改进和修饰也落入本申请权利要求的保护范围内。
还需要说明的是，在本说明书中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的状况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

Claims (10)

1.一种数据存储方法，其特征在于，包括：
记录存储引擎的任务处理数量和缓存锁延时的总时长；其中，所述缓存锁延时为获取缓存锁过程的时长，所述缓存锁为所述存储引擎的缓存容器的锁；
当所述任务处理数量大于预设处理数量时，根据所述预设处理数量和所述缓存锁延时的总时长计算缓存锁平均延时时长；
将所述缓存锁平均延时时长与标准时长区间进行比对，并根据比对结果调整所述缓存容器的容器空间，以便利用调整容器空间后的存储引擎执行数据存储任务。
2.根据权利要求1所述数据存储方法，其特征在于，根据比对结果调整所述缓存容器的容器空间包括：
当所述比对结果为所述缓存锁平均延时时长大于标准时长区间的最大值时，增加所述缓存容器的容器空间；
当所述比对结果为所述缓存锁平均延时时长小于标准时长区间的最小值时，减小所述缓存容器的容器空间。
3.根据权利要求2所述数据存储方法，其特征在于，增加所述缓存容器的容器空间包括：
根据第一时长差将所述缓存容器的容器空间增加第一预设值；其中，所述第一时长差为所述缓存锁平均延时时长与所述标准时长区间的最大值的差，所述第一时长差与所述第一预设值正相关；
相应的，减小所述缓存容器的容器空间包括：
根据第二时长差将所述缓存容器的容器空间减小第二预设值；其中，所述第二时长差为所述缓存锁平均延时时长与所述标准时长区间的最小值的差，所述第二时长差与所述第二预设值正相关。
4.根据权利要求1所述数据存储方法，其特征在于，所述根据比对结果调整所述缓存容器的容器空间包括：
根据所述比对结果确定目标容器空间大小，并根据所述目标容器空间大小执行缓存容器刷新操作。
5.根据权利要求4所述数据存储方法，其特征在于，所述根据所述比对结果确定目标容器空间大小包括：
查询当前时刻所述缓存容器的原始容器空间大小；
根据所述比对结果确定空间变化量；
根据所述原始容器空间大小和所述空间变化量确定所述目标容器空间大小。
6.根据权利要求1所述数据存储方法，其特征在于，还包括：
接收主机端发送的上层任务，将所述上层任务转化为所述存储引擎的本地任务。
7.根据权利要求1所述数据存储方法，其特征在于，在根据比对结果调整所述缓存容器的容器空间之后，还包括：
将所述任务处理数量和所述缓存锁延时的总时长重置为0。
8.一种数据存储系统，其特征在于，包括：
信息记录模块，用于记录存储引擎的任务处理数量和缓存锁延时的总时长；其中，所述缓存锁延时为获取缓存锁过程的时长，所述缓存锁为所述存储引擎的缓存容器的锁；
平均延时计算模块，用于当所述任务处理数量大于预设处理数量时，根据所述预设处理数量和所述缓存锁延时的总时长计算缓存锁平均延时时长；
空间调整模块，用于将所述缓存锁平均延时时长与标准时长区间进行比对，并根据比对结果调整所述缓存容器的容器空间，以便利用调整容器空间后的存储引擎执行数据存储任务。
9.一种电子设备，其特征在于，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器调用所述存储器中的计算机程序时实现如权利要求1至7任一项所述数据存储方法的步骤。
10.一种存储介质，其特征在于，所述存储介质中存储有计算机可执行指令，所述计算机可执行指令被处理器加载并执行时，实现如上权利要求1至7任一项所述数据存储方法的步骤。
CN201910887126.8A 2019-09-19 2019-09-19 一种数据存储方法、系统、存储介质及电子设备 Active CN110688379B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910887126.8A CN110688379B (zh) 2019-09-19 2019-09-19 一种数据存储方法、系统、存储介质及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910887126.8A CN110688379B (zh) 2019-09-19 2019-09-19 一种数据存储方法、系统、存储介质及电子设备

Publications (2)

Publication Number Publication Date
CN110688379A true CN110688379A (zh) 2020-01-14
CN110688379B CN110688379B (zh) 2022-04-29

Family

ID=69109436

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910887126.8A Active CN110688379B (zh) 2019-09-19 2019-09-19 一种数据存储方法、系统、存储介质及电子设备

Country Status (1)

Country Link
CN (1) CN110688379B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112561521A (zh) * 2020-12-03 2021-03-26 星宏传媒有限公司 一种海量电子红包数据处理方法、系统及设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090327854A1 (en) * 2008-06-30 2009-12-31 Yahoo!, Inc. Analysis of Database Performance Reports for Graphical Presentation of Summary Results
CN102280126A (zh) * 2010-06-13 2011-12-14 宇瞻科技股份有限公司 可扩充存储器单元的存储装置
CN106681830A (zh) * 2016-12-21 2017-05-17 深圳先进技术研究院 一种任务缓存空间监测方法和装置
CN110007867A (zh) * 2019-04-11 2019-07-12 苏州浪潮智能科技有限公司 一种缓存空间分配方法、装置、设备及存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090327854A1 (en) * 2008-06-30 2009-12-31 Yahoo!, Inc. Analysis of Database Performance Reports for Graphical Presentation of Summary Results
CN102280126A (zh) * 2010-06-13 2011-12-14 宇瞻科技股份有限公司 可扩充存储器单元的存储装置
CN106681830A (zh) * 2016-12-21 2017-05-17 深圳先进技术研究院 一种任务缓存空间监测方法和装置
CN110007867A (zh) * 2019-04-11 2019-07-12 苏州浪潮智能科技有限公司 一种缓存空间分配方法、装置、设备及存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112561521A (zh) * 2020-12-03 2021-03-26 星宏传媒有限公司 一种海量电子红包数据处理方法、系统及设备

Also Published As

Publication number Publication date
CN110688379B (zh) 2022-04-29

Similar Documents

Publication Publication Date Title
US9471497B2 (en) Methods for combining access history and sequentiality for intelligent prefetching and devices thereof
JP5744707B2 (ja) メモリ使用量照会ガバナのためのコンピュータ実装方法、コンピュータ・プログラム、およびシステム（メモリ使用量照会ガバナ）
US10649905B2 (en) Method and apparatus for storing data
CN107870732B (zh) 从固态存储设备冲刷页面的方法和设备
CN110636388A (zh) 一种业务请求分配方法、系统、电子设备及存储介质
CN111857597A (zh) 一种热点数据缓存方法、系统及相关装置
CN104035938A (zh) 一种性能持续集成数据处理的方法及装置
CN109582649A (zh) 一种元数据存储方法、装置、设备及可读存储介质
US11204812B2 (en) Information processing apparatus and distributed processing system
CN110688379B (zh) 一种数据存储方法、系统、存储介质及电子设备
CN114866563A (zh) 扩容方法、装置、系统和存储介质
CN105988941B (zh) 缓存数据处理方法和装置
CN111158601A (zh) 一种缓存中的io数据下刷方法、系统及相关装置
CN111708720A (zh) 一种数据缓存方法、装置、设备及介质
CN115640313A (zh) 智能查询计划缓存大小管理
CN111291252A (zh) 一种每秒查询率的调整方法、装置、电子设备及存储介质
CN109977074B (zh) 一种基于hdfs的lob数据处理方法及装置
CN112463378B (zh) 一种服务器资产扫描方法、系统、电子设备及存储介质
JP2009252050A (ja) サーバ負荷管理システム、サーバ負荷管理方法、サーバ負荷管理プログラム
CN110851452B (zh) 数据表连接处理方法及装置、电子设备和存储介质
CN111104381A (zh) 一种日志管理方法、装置、设备及计算机可读存储介质
CN110704489A (zh) 一种数据库的查询方法、装置、设备及计算机存储介质
CN110908604A (zh) 一种请求处理时延调整方法、装置、电子设备及存储介质
US8190407B2 (en) Method and system for evaluating a device during circuit simulation
CN111124943A (zh) 一种数据处理方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant