CN111008157B - 存储系统写缓存数据下发方法及相关组件 - Google Patents

存储系统写缓存数据下发方法及相关组件 Download PDF

Info

Publication number
CN111008157B
CN111008157B CN201911207148.1A CN201911207148A CN111008157B CN 111008157 B CN111008157 B CN 111008157B CN 201911207148 A CN201911207148 A CN 201911207148A CN 111008157 B CN111008157 B CN 111008157B
Authority
CN
China
Prior art keywords
data
write cache
issuing
storage system
data volume
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911207148.1A
Other languages
English (en)
Other versions
CN111008157A (zh
Inventor
甄凤远
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Inspur Data Technology Co Ltd
Original Assignee
Beijing Inspur Data Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Inspur Data Technology Co Ltd filed Critical Beijing Inspur Data Technology Co Ltd
Priority to CN201911207148.1A priority Critical patent/CN111008157B/zh
Publication of CN111008157A publication Critical patent/CN111008157A/zh
Application granted granted Critical
Publication of CN111008157B publication Critical patent/CN111008157B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00—Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02—Addressing or allocation; Relocation
    • G06F12/08—Addressing or allocation; Relocation in hierarchically structured memory systems, e.g. virtual memory systems
    • G06F12/0802—Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches
    • G06F12/0877—Cache access modes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14—Error detection or correction of the data by redundancy in operation
    • G06F11/1402—Saving, restoring, recovering or retrying
    • G06F11/1446—Point-in-time backing up or restoration of persistent data
    • G06F11/1458—Management of the backup or restore process
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2212/00—Indexing scheme relating to accessing, addressing or allocation within memory systems or architectures
    • G06F2212/10—Providing a specific technical effect
    • G06F2212/1016—Performance improvement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2212/00—Indexing scheme relating to accessing, addressing or allocation within memory systems or architectures
    • G06F2212/10—Providing a specific technical effect
    • G06F2212/1016—Performance improvement
    • G06F2212/1024—Latency reduction

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Quality & Reliability (AREA)
  • Memory System Of A Hierarchy Structure (AREA)

Abstract

本申请公开了存储系统写缓存数据下发方法，包括：确定事务调度到写缓存的并发处理阈值；当启动写缓存数据下发时，根据下发数据量以及写缓存完成数据量判断写缓存的待处理数据量是否达到并发处理阈值；若达到，暂停向写缓存的数据下发；若未达到，继续向写缓存的数据下发。该方法提出了一种可控的方式进行数据从事务到写缓存的下发策略，引入了事务调度到写缓存IO的并发阈值，只有当并发数量小于阈值的时候才开始对于事务IO下发线程的调度，减轻了写缓存的数据处理压力，也避免了上层主机IO超时的情况，提升了用户体验。本申请还提供了一种存储系统写缓存数据下发装置、设备及一种可读存储介质，具有上述有益效果。

Description

存储系统写缓存数据下发方法及相关组件
技术领域
本申请涉及数据存储技术领域，特别涉及一种存储系统写缓存数据下发方法、装置、设备及一种可读存储介质。
背景技术
元数据事务日志同步，是指在存储系统IO过程中，会将已经产生的元数据做事务操作，进行双控之间的事务日志同步，当发生掉电或者其他故障切换的时候会把事务日志持久化到磁盘上，当控制器上电或者恢复的时候会将事务日志信息从磁盘上重新加载上来进行事务日志重做，从而保证存储系统的数据一致性。当元数据事务日志完成同步后，会把同步好的请求下发到元数据写缓存，写缓存模块存储元数据以降低主机IO的数据响应时延。
传统方法下，事务日志模块在收到元数据并同步完成后立即将数据下发至写缓存模块，而由于写缓存模块的数据处理压力较大，写缓存模块经常会出现待缓存数据过多的情况，写缓存处理不过来时候会持续的导致数据积压，最后反而会导致上层主机IO超时，影响用户体验。
发明内容
本申请的目的是提供一种存储系统写缓存数据下发方法，该方法可以在后端处理繁忙时减轻数据缓存压力，减少主机IO超时情况的发生，提升存储系统的性能以及用户体验；本申请的另一目的是提供一种存储系统写缓存数据下发装置、设备及一种可读存储介质。
为解决上述技术问题，本申请提供一种存储系统写缓存数据下发方法，包括：
确定事务调度到写缓存的并发处理阈值；
当启动写缓存数据下发时，根据下发数据量以及写缓存完成数据量判断所述写缓存的待处理数据量是否达到所述并发处理阈值；
若达到，暂停向所述写缓存的数据下发；
若未达到，继续向所述写缓存的数据下发。
可选地，根据所述下发数据量以及所述写缓存完成数据量判断所述写缓存的待处理数据量是否达到所述并发处理阈值，包括：
当启动写缓存数据下发时，将所述下发数据量作为所述待处理数据量，并判断所述待处理数据量是否达到所述并发处理阈值；
若接收到IO回调信息，则判定所述待处理数据量未达到所述并发处理阈值；
则相应地，继续向所述写缓存的数据下发，包括：根据所述IO回调信息确定所述写缓存完成数据量；
根据所述写缓存完成数据量确定所述待处理数据量，并根据所述待处理数据量向所述写缓存进行数据下发。
可选地，所述存储系统写缓存数据下发方法还包括：采集指定时间间隔内存储系统的处理参数；
根据所述处理参数对所述并发处理阈值进行反馈调整。
可选地，根据所述处理参数对所述并发处理阈值进行反馈调整，包括：
收集预设周期内不同并发处理阈值下的所述处理参数；
调用机器学习模型对各所述并发处理阈值以及对应的所述处理参数进行分类统计，得到优化后的并发处理阈值。
可选地，采集指定时间间隔内存储系统的处理参数，包括：
采集指定时间间隔内存储系统的时延以及IOPS值。
本申请公开一种存储系统写缓存数据下发装置，包括：
阈值确定单元，用于确定事务调度到写缓存的并发处理阈值；
数据量判断单元，用于当启动写缓存数据下发时，根据下发数据量以及写缓存完成数据量判断所述写缓存的待处理数据量是否达到所述并发处理阈值；若达到，触发下发暂停单元；若未达到，触发数据下发单元；
所述下发暂停单元，用于暂停向所述写缓存的数据下发；
所述数据下发单元，用于继续向所述写缓存的数据下发。
可选地，所述数据量判断单元包括：
第一判断子单元，用于当启动写缓存数据下发时，将所述下发数据量作为所述待处理数据量，并判断所述待处理数据量是否达到所述并发处理阈值；
第一判定子单元，用于若接收到IO回调信息，则判定所述待处理数据量未达到所述并发处理阈值；
则相应地，所述数据下发单元包括：
第一确定子单元，用于根据所述IO回调信息确定所述写缓存完成数据量；
下发控制子单元，用于根据所述写缓存完成数据量确定所述待处理数据量，并根据所述待处理数据量向所述写缓存进行数据下发。
可选地，所述存储系统写缓存数据下发装置还包括：
参数采集单元，用于采集指定时间间隔内存储系统的处理参数；
阈值调整单元，用于根据所述处理参数对所述并发处理阈值进行反馈调整。
本申请公开一种存储系统写缓存数据下发设备，包括：
存储器，用于存储程序；
处理器，用于执行所述程序时实现所述存储系统写缓存数据下发方法的步骤。
本申请公开一种可读存储介质，所述可读存储介质上存储有程序，所述程序被处理器执行时实现所述存储系统写缓存数据下发方法的步骤。
本申请所提供的存储系统写缓存数据下发方法，包括：确定事务调度到写缓存的并发处理阈值；当启动写缓存数据下发时，根据下发数据量以及写缓存完成数据量判断写缓存的待处理数据量是否达到并发处理阈值；若达到，暂停向写缓存的数据下发；若未达到，继续向写缓存的数据下发。该方法提出了一种可控的方式进行数据从事务到写缓存的下发策略，引入了事务调度到写缓存IO的并发阈值，只有当并发数量小于阈值的时候才开始对于事务IO下发线程的调度，减轻了写缓存的数据处理压力，也避免了上层主机IO超时的情况，提升了用户体验。
本申请还提供了一种存储系统写缓存数据下发装置、设备及一种可读存储介质，具有上述有益效果，在此不再赘述。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本申请实施例提供的存储系统写缓存数据下发方法的流程图；
图2为本申请实施例提供的存储系统写缓存数据下发装置的结构框图；
图3为本申请实施例提供的存储系统写缓存数据下发设备的结构示意图。
具体实施方式
本申请的核心是提供一种存储系统写缓存数据下发方法，该方法可以在后端处理繁忙时减轻数据缓存压力，减少主机IO超时情况的发生，提升存储系统的性能以及用户体验；本申请的另一核心是提供一种存储系统写缓存数据下发装置、设备及一种可读存储介质。
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
当元数据事务日志完成同步后，会把同步好的请求下发到元数据写缓存，传统的下发方式是直接忽略下层的处理能力，收到数据后就发下去，不关心下方的压力，这样如果下层写缓存处理不过来的时候会持续的导致数据积压，最后反而会导致上层主机IO超时，影响用户体验。图1为本实施例提供的存储系统写缓存数据下发方法的流程图，该方法通过引入并发阈值，可以在后端处理繁忙时减轻数据缓存压力，减少主机IO超时情况的发生，提升存储系统的性能以及用户体验，该方法主要包括：
步骤s110、确定事务调度到写缓存的并发处理阈值；
事务调度指存储系统中的事务日志模块对接收到的IO数据进行事务操作的过程，在事务调度后事务日志模块会将数据下发至写缓存模块，将数据进行写缓存。传统方法下事务调度后直接将数据下发至写缓存进行数据处理，本实施例中引入事务调度到写缓存的并发处理阈值，该并发处理阈值指示写缓存模块对于数据操作后的IO数据进行并发处理的能力阈值，超出该阈值后可能会对写缓存模块产生较大的数据处理压力，应尽量保证写缓存模块在不超过该阈值的数据量下进行数据处理。
本实施例中对并发阈值的具体设定不做限定，可以根据实际写缓存模块的类型以及数据写入的总量需要进行经验设置。优选地，为了提升阈值设置的准确性，保证系统在不浪费处理能力的同时处理更多数据，可以进一步执行以下步骤：
(1)采集指定时间间隔内存储系统的处理参数；
存储系统的处理参数指示存储系统对于写缓存在内的数据处理效率，本实施例中主要指写缓存单元的数据处理参数。在此对具体获取的参数类型不做限定，可以为存储系统的时延以及IOPS值(Input/Output Per Second每秒的输入输出量)等，可以根据需要进行参数类型的设定。
(2)根据处理参数对并发处理阈值进行反馈调整。
通过根据系统实际数据处理情况实时调整并发阈值，在系统数据处理较慢时减少数据的下发，在系统数据处理快时增加数据处理量，可以在保证数据处理效率的同时，实现对系统数据处理能力的完美利用。
本实施例中对具体的反馈调整方式不做限定，比如可以直接比对临近两次不同处理阈值下的系统运行参数决定向上或者向下调整阈值等，优选地，根据处理参数对并发处理阈值进行反馈调整的过程具体可以包括以下步骤：
(2.1)收集预设周期内不同并发处理阈值下的处理参数；
(2.2)调用机器学习模型对各并发处理阈值以及对应的处理参数进行分类统计，得到优化后的并发处理阈值。
在一定的周期内收集不同的并发阈值时存储系统的处理参数，调用机器学习模型通过机器学习的方法进行分类统计，获取当前业务下的最佳并发值，通过机器学习进行最佳并发处理阈值的确定可以提升数据分析效率以及精准度，本实施例中仅以通过机器学习进行阈值优化为例进行介绍，其它优化手段均可参照本实施例的介绍，在此不再赘述。
步骤s120、当启动写缓存数据下发时，根据下发数据量以及写缓存完成数据量判断写缓存的待处理数据量是否达到并发处理阈值；若达到，触发步骤s130；若未达到，触发步骤s140；
步骤s130、暂停向写缓存的数据下发；
步骤s140、继续向写缓存的数据下发。
下发数据量为下发至写缓存模块的数据总量，指示已下发的所有待处理的任务总量；写缓存完成数据量指下发数据量中写缓存模块已处理完成的量，根据两者可以分析得到当前写缓存模块待处理的数据量，若待处理的数据量低于并发处理阈值时，指示当前待处理的数据量较少，可以继续向写缓存的任务数据下发，直至待处理的数据量达到并发处理阈值，具体地，由于数据下发的过程是持续进行的，若此时未达到并发处理阈值时，步骤s140中继续向写缓存的数据下发的过程可以不做任何处理，持续当前的数据下发过程即可，也可以直接跳转至步骤s120继续进行待处理数据量的判断；若某一时刻下待处理数据量过多，超过并发处理阈值，则指示当前写缓存模块的数据处理压力较大，此时为降低由于后端处理不及时导致的主机IO超时情况的发生，本实施例中将暂停写缓存数据的继续下发，直至写缓存的待处理数据量减少至低于并发处理阈值。
通过当元数据进行事务日志同步的时候，对于下发到写缓存的IO数量进行了并发阈值的限制，可以在后端处理繁忙的时候给前端负反馈，在相同业务下降低存储系统时延、提高存储系统的IOPS，大幅提存储系统的性能。
本实施例中对具体的根据下发数据量以及写缓存完成数据量分析当前写缓存模块待处理的数据量，并进行相应数据下发控制的具体实现过程不做限定，优选地，具体可以包括以下两个步骤：
(1)当启动写缓存数据下发时，将下发数据量作为待处理数据量，并判断待处理数据量是否达到并发处理阈值；
该步骤在启动写缓存数据下发时，在写缓存任意数据写入完成之前执行。
(2)若接收到IO回调信息，则判定待处理数据量未达到并发处理阈值；
IO回调指写缓存某部分数据写入完成后反馈的完成信息。
则相应地，继续向写缓存的数据下发继续向写缓存的数据下发的过程具体可以包括以下两个步骤：
(1)根据IO回调信息确定写缓存完成数据量；
(2)根据写缓存完成数据量确定待处理数据量，并根据待处理数据量向写缓存进行数据下发。
当下发到写缓存的IO数量达到一定阈值，停止从事务到写缓存的下发，当有IO回调的时候再继续出发线程的调度，进一步进行写缓存下发。本实施例提供的上述判断机制，可以在数据下发的同时立即控制数据下发两，减少了数据量比对过程带来的时延，可以提升数据下发控制的速度，保证写缓存模块待处理数据量可以一直保持在循环最快的范围。
另外，上述介绍中以单次循环过程为例进行介绍，需要说明的是，在单次判断待处理的数据量是否达到并发处理阈值后，为保证系统长期的高效数据处理，可以循环执行上述步骤，比如步骤s130暂停数据下发以及步骤s140继续向写缓存的数据下发之后，跳转至步骤s110根据下发数据量以及写缓存完成数据量判断写缓存的待处理数据量是否达到并发处理阈值，也可以在间隔一定时间后或继续执行其它步骤后再进行跳转，本实施例中对此不做限定。需要说明的是，在循环执行上述步骤时，本实施例中对上述步骤的结束触发机制不做限定，可以添加结束选项，在触发该选项时结束当前流程；也可以设定循环次数等，具体的可以根据实际使用需要进行设定，在此不再赘述。
基于上述介绍，本实施例提供的存储系统写缓存数据下发方法，该方法提出了一种可控的方式进行数据从事务到写缓存的下发策略，引入了事务调度到写缓存IO的并发阈值，只有当并发数量小于阈值的时候才开始对于事务IO下发线程的调度，减轻了写缓存的数据处理压力，也避免了上层主机IO超时的情况，提升了用户体验；另外，引入了通过收集不同并发阈值下系统时延和IOPS的数据，通过机器学习的方式最优值的分类统计，可以获取在当前业务下的最佳并发阈值，提升并发阈值的精准性，充分利用写缓存的数据处理能力以实现最高效率下的数据处理。
请参考图3，图3为本实施例提供的存储系统写缓存数据下发装置的结构框图；该装置可以包括：阈值确定单元210、数据量判断单元220、下发暂停单元230以及数据下发单元240。本实施例提供的存储系统写缓存数据下发装置可与上述存储系统写缓存数据下发方法相互对照。
其中，阈值确定单元210主要用于确定事务调度到写缓存的并发处理阈值；
数据量判断单元220主要用于当启动写缓存数据下发时，根据下发数据量以及写缓存完成数据量判断写缓存的待处理数据量是否达到并发处理阈值；若达到，触发下发暂停单元230；若未达到，触发数据下发单元240；
下发暂停单元230主要用于暂停向写缓存的数据下发；
数据下发单元240主要用于继续向写缓存的数据下发。
可选地，数据量判断单元包括：
第一判断子单元，用于当启动写缓存数据下发时，将下发数据量作为待处理数据量，并判断待处理数据量是否达到并发处理阈值；
第一判定子单元，用于若接收到IO回调信息，则判定待处理数据量未达到并发处理阈值；
则相应地，数据下发单元包括：
第一确定子单元，用于根据IO回调信息确定写缓存完成数据量；
下发控制子单元，用于根据写缓存完成数据量确定待处理数据量，并根据待处理数据量向写缓存进行数据下发。
可选地，存储系统写缓存数据下发装置中可以还包括：
参数采集单元，用于采集指定时间间隔内存储系统的处理参数；
阈值调整单元，用于根据处理参数对并发处理阈值进行反馈调整。
本实施例提供的存储系统写缓存数据下发装置可以在后端处理繁忙时减轻数据缓存压力，减少主机IO超时情况的发生，提升存储系统的性能以及用户体验。
本实施例提供一种存储系统写缓存数据下发设备，包括：存储器以及处理器。
其中，存储器用于存储程序；
处理器用于执行程序时实现如上述实施例介绍的存储系统写缓存数据下发方法的步骤，具体可参照上述存储系统写缓存数据下发方法的介绍。
请参考图3，为本实施例提供的存储系统写缓存数据下发设备的结构示意图，该存储系统写缓存数据下发设备可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(central processing units，CPU)322(例如，一个或一个以上处理器)和存储器332，一个或一个以上存储应用程序342或数据344的存储介质330(例如一个或一个以上海量存储设备)。其中，存储器332和存储介质330可以是短暂存储或持久存储。存储在存储介质330的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对数据处理设备中的一系列指令操作。更进一步地，中央处理器322可以设置为与存储介质330通信，在存储系统写缓存数据下发设备301上执行存储介质330中的一系列指令操作。
存储系统写缓存数据下发设备301还可以包括一个或一个以上电源326，一个或一个以上有线或无线网络接口350，一个或一个以上输入输出接口358，和/或，一个或一个以上操作系统341，例如Windows ServerTM，Mac OS XTM，UnixTM,LinuxTM，FreeBSDTM等等。
上面图1所描述的存储系统写缓存数据下发方法中的步骤可以由本实施例介绍的存储系统写缓存数据下发设备的结构实现。
本实施例公开一种可读存储介质，其上存储有程序，程序被处理器执行时实现如上述实施例介绍的存储系统写缓存数据下发方法的步骤，具体可参照上述实施例中对存储系统写缓存数据下发方法的介绍。
该可读存储介质具体可以为U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可存储程序代码的可读存储介质。
说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
以上对本申请所提供的存储系统写缓存数据下发方法、装置、设备及可读存储介质进行了详细介绍。本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以对本申请进行若干改进和修饰，这些改进和修饰也落入本申请权利要求的保护范围内。

Claims (8)

1.一种存储系统写缓存数据下发方法，其特征在于，包括：
确定事务调度到写缓存的并发处理阈值；
当启动写缓存数据下发时，根据下发数据量以及写缓存完成数据量判断所述写缓存的待处理数据量是否达到所述并发处理阈值；
若达到，暂停向所述写缓存的数据下发；
若未达到，继续向所述写缓存的数据下发；
其中，根据所述下发数据量以及所述写缓存完成数据量判断所述写缓存的待处理数据量是否达到所述并发处理阈值，包括：
当启动写缓存数据下发时，将所述下发数据量作为所述待处理数据量，并判断所述待处理数据量是否达到所述并发处理阈值；
若接收到IO回调信息，则判定所述待处理数据量未达到所述并发处理阈值；
则相应地，继续向所述写缓存的数据下发，包括：根据所述IO回调信息确定所述写缓存完成数据量；
根据所述写缓存完成数据量确定所述待处理数据量，并根据所述待处理数据量向所述写缓存进行数据下发。
2.如权利要求1所述的存储系统写缓存数据下发方法，其特征在于，还包括：采集指定时间间隔内存储系统的处理参数；
根据所述处理参数对所述并发处理阈值进行反馈调整。
3.如权利要求2所述的存储系统写缓存数据下发方法，其特征在于，根据所述处理参数对所述并发处理阈值进行反馈调整，包括：
收集预设周期内不同并发处理阈值下的所述处理参数；
调用机器学习模型对各所述并发处理阈值以及对应的所述处理参数进行分类统计，得到优化后的并发处理阈值。
4.如权利要求3所述的存储系统写缓存数据下发方法，其特征在于，采集指定时间间隔内存储系统的处理参数，包括：
采集指定时间间隔内存储系统的时延以及IOPS值。
5.一种存储系统写缓存数据下发装置，其特征在于，包括：
阈值确定单元，用于确定事务调度到写缓存的并发处理阈值；
数据量判断单元，用于当启动写缓存数据下发时，根据下发数据量以及写缓存完成数据量判断所述写缓存的待处理数据量是否达到所述并发处理阈值；若达到，触发下发暂停单元；若未达到，触发数据下发单元；
所述下发暂停单元，用于暂停向所述写缓存的数据下发；
所述数据下发单元，用于继续向所述写缓存的数据下发；
其中，所述数据量判断单元包括：
第一判断子单元，用于当启动写缓存数据下发时，将所述下发数据量作为所述待处理数据量，并判断所述待处理数据量是否达到所述并发处理阈值；
第一判定子单元，用于若接收到IO回调信息，则判定所述待处理数据量未达到所述并发处理阈值；
则相应地，所述数据下发单元包括：
第一确定子单元，用于根据所述IO回调信息确定所述写缓存完成数据量；
下发控制子单元，用于根据所述写缓存完成数据量确定所述待处理数据量，并根据所述待处理数据量向所述写缓存进行数据下发。
6.如权利要求5所述的存储系统写缓存数据下发装置，其特征在于，还包括：
参数采集单元，用于采集指定时间间隔内存储系统的处理参数；
阈值调整单元，用于根据所述处理参数对所述并发处理阈值进行反馈调整。
7.一种存储系统写缓存数据下发设备，其特征在于，包括：
存储器，用于存储程序；
处理器，用于执行所述程序时实现如权利要求1至4任一项所述存储系统写缓存数据下发方法的步骤。
8.一种可读存储介质，其特征在于，所述可读存储介质上存储有程序，所述程序被处理器执行时实现如权利要求1至4任一项所述存储系统写缓存数据下发方法的步骤。
CN201911207148.1A 2019-11-29 2019-11-29 存储系统写缓存数据下发方法及相关组件 Active CN111008157B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911207148.1A CN111008157B (zh) 2019-11-29 2019-11-29 存储系统写缓存数据下发方法及相关组件

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911207148.1A CN111008157B (zh) 2019-11-29 2019-11-29 存储系统写缓存数据下发方法及相关组件

Publications (2)

Publication Number Publication Date
CN111008157A CN111008157A (zh) 2020-04-14
CN111008157B true CN111008157B (zh) 2022-02-18

Family

ID=70113487

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911207148.1A Active CN111008157B (zh) 2019-11-29 2019-11-29 存储系统写缓存数据下发方法及相关组件

Country Status (1)

Country Link
CN (1) CN111008157B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111858419B (zh) * 2020-06-30 2022-03-22 山东云海国创云计算装备产业创新中心有限公司 一种数据传输方法、装置及设备
CN112486408B (zh) * 2020-11-06 2022-07-08 苏州浪潮智能科技有限公司 一种数据存储保护方法及装置
CN113778330B (zh) * 2021-08-05 2023-04-25 无锡融卡科技有限公司 一种基于Flash存储器的事务处理方法
CN113691638B (zh) * 2021-10-26 2022-01-07 湖南前行科创有限公司 物联网终端数据管控方法及系统
CN115586974B (zh) * 2022-12-12 2023-10-20 北京象帝先计算技术有限公司 内存控制器、系统、装置及电子设备

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101615132A (zh) * 2008-06-27 2009-12-30 国际商业机器公司 事务存储系统及其控制方法
CN102831077A (zh) * 2012-07-10 2012-12-19 中兴通讯股份有限公司 一种节约缓存资源的流量管理装置和方法
CN102902512A (zh) * 2012-08-31 2013-01-30 浪潮电子信息产业股份有限公司 一种基于多线程编程及消息队列的多线程并行处理方法
CN103761051A (zh) * 2013-12-17 2014-04-30 北京同有飞骥科技股份有限公司 一种基于持续数据多输入输出流并发写入性能优化方法
CN106202082A (zh) * 2015-04-30 2016-12-07 阿里巴巴集团控股有限公司 组装基础数据缓存的方法及装置
CN108471385A (zh) * 2017-02-23 2018-08-31 苏宁云商集团股份有限公司 一种针对分布式系统的流量控制方法及装置
CN109471816A (zh) * 2018-11-06 2019-03-15 西安微电子技术研究所 一种基于描述符的pcie总线dma控制器及数据传输控制方法
CN109710388A (zh) * 2019-01-09 2019-05-03 腾讯科技（深圳）有限公司 数据读取方法、装置、电子设备以及存储介质

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101387943B (zh) * 2008-09-08 2011-05-25 创新科存储技术（深圳）有限公司 一种存储设备以及缓存数据的方法
US9880745B2 (en) * 2016-06-21 2018-01-30 International Business Machines Corporation Reducing concurrency of garbage collection operations
CN109684236A (zh) * 2018-12-25 2019-04-26 广东浪潮大数据研究有限公司 一种数据写缓存控制方法、装置、电子设备和存储介质

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101615132A (zh) * 2008-06-27 2009-12-30 国际商业机器公司 事务存储系统及其控制方法
CN102831077A (zh) * 2012-07-10 2012-12-19 中兴通讯股份有限公司 一种节约缓存资源的流量管理装置和方法
CN102902512A (zh) * 2012-08-31 2013-01-30 浪潮电子信息产业股份有限公司 一种基于多线程编程及消息队列的多线程并行处理方法
CN103761051A (zh) * 2013-12-17 2014-04-30 北京同有飞骥科技股份有限公司 一种基于持续数据多输入输出流并发写入性能优化方法
CN106202082A (zh) * 2015-04-30 2016-12-07 阿里巴巴集团控股有限公司 组装基础数据缓存的方法及装置
CN108471385A (zh) * 2017-02-23 2018-08-31 苏宁云商集团股份有限公司 一种针对分布式系统的流量控制方法及装置
CN109471816A (zh) * 2018-11-06 2019-03-15 西安微电子技术研究所 一种基于描述符的pcie总线dma控制器及数据传输控制方法
CN109710388A (zh) * 2019-01-09 2019-05-03 腾讯科技（深圳）有限公司 数据读取方法、装置、电子设备以及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
多路Flash并行存储技术的研究与实现;陈川;《中国优秀硕士学位论文全文数据库 (信息科技辑)》;20120315;I137-60 *

Also Published As

Publication number Publication date
CN111008157A (zh) 2020-04-14

Similar Documents

Publication Publication Date Title
CN111008157B (zh) 存储系统写缓存数据下发方法及相关组件
EP3255553A1 (en) Transmission control method and device for direct memory access
WO2020248708A1 (zh) 一种Spark作业的提交方法及装置
CN103810048A (zh) 一种面向资源利用最优的线程数量自动调整方法及装置
CN109358805B (zh) 一种数据缓存方法
CN102541460A (zh) 一种多磁盘场景下的磁盘管理方法和设备
CN110795284B (zh) 一种数据恢复方法、装置、设备及可读存储介质
CN109218054B (zh) 终端动态配置、相应服务器实现方法、装置和存储介质
CN111061555A (zh) 一种基于Ansible的运维方法和相关装置
US11934665B2 (en) Systems and methods for ephemeral storage snapshotting
CN113010283A (zh) 线上服务方法、装置、电子设备和可读存储介质
CN101271387A (zh) 数据缓存器溢出的自动解除方法和装置
CN110275670A (zh) 控制存储设备中数据流的方法、装置、存储设备及存储介质
CN108234266B (zh) 总线型通讯网络的数据传输方法和装置及存储介质
WO2022016845A1 (zh) 一种多节点监控方法、装置、电子设备及存储介质
CN113608765A (zh) 数据处理方法、装置、设备以及存储介质
CN107330061B (zh) 一种基于分布式存储的文件删除方法及装置
CN111224811B (zh) 一种snmp请求监听系统、方法、装置及计算机可读存储介质
CN111104218B (zh) 存储系统数据同步方法、装置、设备及可读存储介质
WO2017198112A1 (zh) 一种切频方法、装置和计算机可读存储介质
CN112395053A (zh) 数据处理方法及装置
CN109582460B (zh) 一种Redis内存数据的淘汰方法和装置
US20230385159A1 (en) Systems and methods for preventing data loss
CN107247638B (zh) 一种数据备份方法、装置和系统
US11443191B2 (en) Computing device and parameter synchronization method implemented by computing device

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant