CN111104218A - 存储系统数据同步方法、装置、设备及可读存储介质 - Google Patents

存储系统数据同步方法、装置、设备及可读存储介质 Download PDF

Info

Publication number
CN111104218A
CN111104218A CN201911205147.3A CN201911205147A CN111104218A CN 111104218 A CN111104218 A CN 111104218A CN 201911205147 A CN201911205147 A CN 201911205147A CN 111104218 A CN111104218 A CN 111104218A
Authority
CN
China
Prior art keywords
processing
data synchronization
storage system
storage
task
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911205147.3A
Other languages
English (en)
Other versions
CN111104218B (zh
Inventor
甄凤远
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Inspur Data Technology Co Ltd
Original Assignee
Beijing Inspur Data Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Inspur Data Technology Co Ltd filed Critical Beijing Inspur Data Technology Co Ltd
Priority to CN201911205147.3A priority Critical patent/CN111104218B/zh
Publication of CN111104218A publication Critical patent/CN111104218A/zh
Application granted granted Critical
Publication of CN111104218B publication Critical patent/CN111104218B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14—Error detection or correction of the data by redundancy in operation
    • G06F11/1402—Saving, restoring, recovering or retrying
    • G06F11/1471—Saving, restoring, recovering or retrying involving logging of persistent data for recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14—Error detection or correction of the data by redundancy in operation
    • G06F11/1402—Saving, restoring, recovering or retrying
    • G06F11/1474—Saving, restoring, recovering or retrying in transactions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00—Indexing scheme relating to G06F9/00
    • G06F2209/50—Indexing scheme relating to G06F9/50
    • G06F2209/5018—Thread allocation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Quality & Reliability (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请公开了存储系统数据同步方法，当存储池的数量比较小的时候，即未达到切换标准时，采用一个池多线程的方式进行数据处理，充分发挥多线程的优势，提升数据处理效率；而当池的数量较多，即达到切换标准时，用一个线程来处理一个池或者多个池的实例，这样就可以在多池的情况下既可以充分利用CPU资源，又可以降低互斥等锁的情形，在单池的情况下多核心工作，有效避免CPU资源浪费的情况。该同步方式的引入，可以有效提升元数据事务同步过程中CPU的利用率，大大提高存储系统的性能。本申请还提供了一种存储系统数据同步装置、设备及一种可读存储介质，具有上述有益效果。

Description

存储系统数据同步方法、装置、设备及可读存储介质
技术领域
本申请涉及数据存储技术领域，特别涉及一种存储系统数据同步方法、装置、设备及一种可读存储介质。
背景技术
当存储系统在处理IO的过程中，为了提高处理效率降低IO时延，元数据在处理过程中通常会引入写缓存模块以降低主机IO的时延，但是在发生掉电或者故障场景的时候，由于写缓存模块中的数据会掉电丢失，可能会导致主机默认的数据存储序列与实际磁盘存储数据不一致情况的发生。为避免上述情况的发生，最大程度保证事务日志的安全，引入了事务日志模块通过双控日志同步保证存储系统的数据一致性。
事务日志模块通过双控日志同步保证存储系统的数据一致性，是指在存储系统IO过程中，会将已经产生的元数据做事务操作，进行双控之间的事务日志同步(将元数据写入写缓存模块的同时，备份至事务日志模块)。当发生掉电或者其他故障切换的时候会把事务日志模块中的事务日志持久化到磁盘上，当控制器上电或者恢复的时候会将事务日志信息从磁盘上重新加载上来进行事务日志重做，从而保证存储系统的数据一致性。
针对全闪存存储系统架构设计，一般都是按照存储池去分任务的，即一个存储池拥有一个事务实例(软件层面的一个对象)。常见的事务日志同步方式有两种，一种是一个事务实例分配一个固定的线程去做任务处理，这种情况下可以避免池间的加减锁等待，但是如果在用户创建池比较少的情况下，会成为性能瓶颈；另一种是不分事务实例的方式取分配线程，这种情况下虽然不会导致CPU利用率不高的情形，但是同时使用多个线程不分池的方式的情况下，池下会有全局链表需要加锁，当多个线程并发访问的时候，会产生等锁的时间，可能会引入池间的线程互斥等待，导致效率降低。
发明内容
本申请的目的是提供一种存储系统数据同步方法，该方法既可以充分利用CPU资源，又可以降低互斥等锁的情形，有效提升数据处理效率；本申请的另一目的是提供一种存储系统数据同步装置、设备及一种可读存储介质。
为解决上述技术问题，本申请提供一种存储系统数据同步方法，包括：
确定存储系统的存储池数量以及用于处理元数据事务日志的线程数量；
判断所述存储池数量是否达到切换标准；其中，所述切换标准根据所述线程数量确定得到；
若未达到，切换至单事务实例绑定多线程的处理策略进行数据同步处理；
若达到，切换至单线程绑定多事务实例的处理策略进行数据同步处理。
可选地，判断所述存储池数量是否达到切换标准，包括：
判断所述存储池数量是否大于或等于线程数量；
若否，判定所述存储池数量未达到切换标准；
若是，判定所述存储池数量达到切换标准。
可选地，所述切换至单事务实例绑定多线程的处理策略进行数据同步处理，包括：
统计目标存储池内的待处理任务；
将所述待处理任务按照第一分配机制分配至各目标线程进行任务处理；所述目标线程为所述目标存储池对应的处理线程。
可选地，将所述待处理任务按照第一分配机制分配至各目标线程进行任务处理，包括：
将所述待处理任务按照任务数量以及任务处理难度平均分配至各目标线程进行任务处理。
可选地，将所述待处理任务按照第一分配机制分配至各目标线程进行任务处理，包括：
将所述待处理任务按照第一分配机制分配至各目标线程进行多线程互斥任务处理。
可选地，所述切换至单线程绑定多事务实例的处理策略进行数据同步处理，包括：
统计各目标存储池下的待处理任务；
将所述待处理任务按照第二分配机制分配至目标线程进行任务处理；所述目标线程为各所述目标存储池对应的处理线程。
可选地，将所述待处理任务按照第二分配机制分配至目标线程进行任务处理，包括：
将所述待处理任务按照所属的存储池进行任务划分，得到各存储池对应的任务组；
从各所述任务组中平均调取指定数量的任务分配至所述目标线程进行任务处理。
本申请公开一种存储系统数据同步装置，包括：
数量确定单元，用于确定存储系统的存储池数量以及用于处理元数据事务日志的线程数量；
数量判断单元，用于判断所述存储池数量是否达到切换标准；其中，所述切换标准根据所述线程数量确定得到；若未达到，切换至第一处理单元；若达到，切换至第二处理单元；
所述第一处理单元，用于单事务实例绑定多线程的处理策略进行数据同步处理；
所述第二处理单元，用于单线程绑定多事务实例的处理策略进行数据同步处理。
本申请公开一种存储系统数据同步设备，包括：
存储器，用于存储程序；
处理器，用于执行所述程序时实现所述存储系统数据同步方法的步骤。
本申请公开一种可读存储介质，所述可读存储介质上存储有程序，所述程序被处理器执行时实现所述存储系统数据同步方法的步骤。
本申请所提供的存储系统数据同步方法，当存储池的数量比较小的时候，即未达到切换标准时，采用一个池多线程的方式进行数据处理，充分发挥多线程的优势，提升数据处理效率；而当池的数量较多，即达到切换标准时，用一个线程来处理一个池或者多个池的实例，这样就可以在多池的情况下既可以充分利用CPU资源，又可以降低互斥等锁的情形，在单池的情况下多核心工作，有效避免CPU资源浪费的情况。该同步方式的引入，可以有效提升元数据事务同步过程中CPU的利用率，大大提高存储系统的性能。
本申请还提供了一种存储系统数据同步装置、设备及一种可读存储介质，具有上述有益效果，在此不再赘述。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本申请实施例提供的存储系统数据同步方法的流程图；
图2为本申请实施例提供的存储系统数据同步装置的结构框图；
图3为本申请实施例提供的存储系统数据同步设备的结构示意图。
具体实施方式
本申请的核心是提供一种存储系统数据同步方法，该方法既可以充分利用CPU资源，又可以降低互斥等锁的情形，有效提升数据处理效率；本申请的另一核心是提供一种存储系统数据同步装置、设备及一种可读存储介质。
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
请参考图1，图1为本实施例提供的存储系统数据同步方法的流程图，该方法在元数据事务日志进行双控(一个存储设备有两个控制器)间同步过程中，通过感知存储池的数量，动态调整线程的使用方式，从而提高了CPU的利用率，提高存储系统性能，该方法主要包括：
步骤s110、确定存储系统的存储池数量以及用于处理元数据事务日志的线程数量；
确定存储系统的存储池数量以及用于处理元数据事务日志的线程数量的实现方式可以参照现有技术下的实现方式，本实施例中对此不做限定。
步骤s120、判断存储池数量是否达到切换标准；若未达到，触发步骤s130；若达到，触发步骤s140；
步骤s130、调用单事务实例绑定多线程的处理策略进行数据同步处理；
步骤s140、调用单线程绑定多事务实例的处理策略进行数据同步处理。
切换标准根据线程数量确定得到，本实施例中对具体的切换标准的设定不做限定，可选地，一种判断存储池数量是否达到切换标准的实现过程如下所示：判断存储池数量是否大于或等于线程数量；若否，判定存储池数量未达到切换标准；若是，判定存储池数量达到切换标准。则相应地，后续数据同步处理过程为：当存储池的数目小于线程数量的时候采用一个池多线程的方式进行数据处理，而当池的数量大于等于线程数量的时候，用一个线程来处理一个池或者多个池的实例。
该切换标准设置方式简单，且可以充分发挥多线程的优势，提升存储系统的性能利用率。本实施例中仅以上述切换标准为例进行介绍，其它切换标准(比如线程数量的1.5倍等)下的具体实现方式均可参照本实施例的介绍，在此不再赘述。
本实施例中在存储系统存储池的数量比较少的时候，即未达到切换标准时，采用单个事务实例(可以理解为池的对象)与多个线程(软件线程，用于处理事务请求)绑定的策略，充分发挥多线程的优势；在存储池的数量比较多的时候，即述存储池数量达到切换标准时，采用一个线程对应多个事务实例的方式，来降低池间锁等待引入的开销。这样就可以在多池的情况下即可以充分利用CPU资源，又可以降低互斥等锁的情形，在单池的情况下多核心工作，有效避免CPU资源浪费的情况。
其中，步骤s130切换至单事务实例(存储池)绑定多线程的处理策略进行数据同步处理中的“单事务实例绑定多线程的处理策略”指在数据同步处理中存在单个事务实例调用多个线程进行数据同步的方式，而并非限定所有数据同步处理过程中均采用每个事务实例均需调用多个线程，由于线程总数有限，可能无法做到每个事务实例均可以调用多个线程进行数据同步处理。比如一共三个线程，两个事务实例时，第一事务实例调用第一线程以及第二线程，第二事务实例调用第三线程，此时该种数据同步处理方式也可以称为单事务实例绑定多线程的处理策略。
则相应地，步骤s140切换至单线程绑定多事务实例的处理策略进行数据同步处理中的“单线程绑定多事务实例的处理策略”指在数据同步处理中存在单个线程处理多个事务实例的数据同步方式，而并非限定所有数据同步处理过程均采用单个线程处理多个事务实例的数据同步方式，具体可以参照上述介绍，在此不再赘述。
另外，单事务实例绑定多线程的处理策略进行数据同步处理的具体数据处理过程不做限定，可以根据该事务实例对应的存储池内的待处理任务的数量以及类型以及线程数量以及类型进行任务的分配。可选地，一种单事务实例绑定多线程的处理策略进行数据同步处理的过程具体包括：
(1)统计目标存储池内的待处理任务；
(2)将待处理任务按照第一分配机制分配至各目标线程进行任务处理；目标线程为目标存储池对应的处理线程。
其中对(2)中的第一分配机制不做限定，该机制可以根据任务类型、任务数量、线程数量以及线程类型等参数进行设置，为简化任务分配机制，保证各线程的充分利用，优选地，可以将待处理任务按照任务数量以及任务处理难度平均分配至各目标线程进行任务处理。平均任务分配可以保证各线程间待处理的任务数量一致，避出现一个线程空闲一个线程繁忙的情况。
而为了保证各线程间任务处理的独立性，避免各线程间相互干扰的情况发生，优选地，将待处理任务按照第一分配机制分配至各目标线程进行任务处理的过程具体可以为：将待处理任务按照第一分配机制分配至各目标线程进行多线程互斥任务处理。
上述方法中首先对所有待处理任务进行统计，统计后再根据进行统一下发，可以保证线程任务处理的全局规划，有利于充分利用各线程实现最高效的处理。当然，也可以在确定一个待处理任务后立即分配至空闲线程进行数据同步处理，本实施例中对单事务实例绑定多线程的处理策略进行数据同步处理的实现方式不做限定，仅以上述情况为例进行介绍，其它实现方式均可参照本实施例的介绍，在此不再赘述。
另外，对于步骤s140中单线程绑定多事务实例的处理策略进行数据同步处理的方式也不做限定，可参照上述对于步骤s130的介绍，具体地，一种实现方式如下：
(1)统计各目标存储池下的待处理任务；
(2)将待处理任务按照第二分配机制分配至目标线程进行任务处理；目标线程为各目标存储池对应的处理线程。
该种情况下一个线程需要负责多个存储池下的待处理任务，可以统计所有待处理的任务进行统一任务下发，也可以在生成任务之后直接添加至该线程的待处理任务列表中，不进行统一任务处理规划，在此不做限定。为避免该目标线程在一段时间内只处理某个存储池的任务，导致各存储池间任务处理进度不均衡的情况发生，优选地，将待处理任务按照第二分配机制分配至目标线程进行任务处理的过程具体可以包括以下步骤：
(1)将待处理任务按照所属的存储池进行任务划分，得到各存储池对应的任务组；
(2)从各任务组中平均调取指定数量的任务分配至目标线程进行任务处理。
例如，统计得到存储池1下的任务包括：任务1、任务2以及任务3，存储池2下的任务包括：任务4、任务5、任务6以及任务7，存储池3下的任务包括：任务8、任务9以及任务10，以指定数量为1为例，则可以按照以下顺序将各存储池下的任务逐一添加至目标线程的待处理任务列表中：任务1、任务4、任务8、任务2、任务5、任务9、任务3、任务6、任务10、任务7，按照每个存储池一个任务的顺序依次将各存储池下的任务添加至列表中，可以保证各存储池间的任务处理进度均衡。
本实施例中仅以上述任务处理方式为例进行介绍，其它处理方式均可参照本实施例的介绍，在此不再赘述。
其中，需要说明的是，针对全闪存存储系统架构设计，一般都是按照存储池去分任务的，即一个存储池拥有一个事务实例，事务实例的数量与存储池的数量相同，判断存储池的数量是否达到切换标准的过程也可以为判断事务实例的数量是否达到切换标准，该步骤本质在于确定存储池与线程间的数量差异，其它可以用于只是存储池数量的数据指标均可用于替换步骤s120中的存储池数量，在此不做限定。
本实施例中介绍的存储系统数据同步方法，当元数据进行事务日志同步的时候按照当前事务实例的个数进行线程的分配，具体地，当存储池的数量比较小的时候，即未达到切换标准时，采用一个池多线程的方式进行数据处理，充分发挥多线程的优势，提升数据处理效率；而当池的数量较多，即达到切换标准时，用一个线程来处理一个池或者多个池的实例，这样就可以在多池的情况下既可以充分利用CPU资源，又可以降低互斥等锁的情形，在单池的情况下多核心工作，有效避免CPU资源浪费的情况。该同步方式的引入，可以有效提升元数据事务同步过程中CPU的利用率，大大提高存储系统的性能。
请参考图2，图2为本实施例提供的存储系统数据同步装置的结构框图；该装置可以包括：数量确定单元210、数量判断单元220、第一处理单元230以及第二处理单元240。本实施例提供的存储系统数据同步装置可与上述存储系统数据同步方法相互对照。
其中，数量确定单元210主要用于确定存储系统的存储池数量以及用于处理元数据事务日志的线程数量；
数量判断单元220主要用于判断存储池数量是否达到切换标准；其中，切换标准根据线程数量确定得到；若未达到，切换至第一处理单元230；若达到，切换至第二处理单元240；
第一处理单元230主要用于单事务实例绑定多线程的处理策略进行数据同步处理；
第二处理单元240主要用于单线程绑定多事务实例的处理策略进行数据同步处理。
本实施例提供的存储系统数据同步装置既可以充分利用CPU资源，又可以降低互斥等锁的情形，有效提升数据处理效率。
本实施例提供一种存储系统数据同步设备，包括：存储器以及处理器。
其中，存储器用于存储程序；
处理器用于执行程序时实现如上述实施例介绍的存储系统数据同步方法的步骤，具体可参照上述存储系统数据同步方法的介绍。
请参考图3，为本实施例提供的存储系统数据同步设备的结构示意图，该存储系统数据同步设备可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(central processing units，CPU)322(例如，一个或一个以上处理器)和存储器332，一个或一个以上存储应用程序342或数据344的存储介质330(例如一个或一个以上海量存储设备)。其中，存储器332和存储介质330可以是短暂存储或持久存储。存储在存储介质330的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对数据处理设备中的一系列指令操作。更进一步地，中央处理器322可以设置为与存储介质330通信，在存储系统数据同步设备301上执行存储介质330中的一系列指令操作。
存储系统数据同步设备301还可以包括一个或一个以上电源326，一个或一个以上有线或无线网络接口350，一个或一个以上输入输出接口358，和/或，一个或一个以上操作系统341，例如Windows ServerTM，Mac OS XTM，UnixTM,LinuxTM，FreeBSDTM等等。
上面图1所描述的存储系统数据同步方法中的步骤可以由本实施例介绍的存储系统数据同步设备的结构实现。
本实施例公开一种可读存储介质，其上存储有程序，程序被处理器执行时实现如上述实施例介绍的存储系统数据同步方法的步骤，具体可参照上述实施例中对存储系统数据同步方法的介绍。
该可读存储介质具体可以为U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可存储程序代码的可读存储介质。
说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
以上对本申请所提供的存储系统数据同步方法、装置、设备及可读存储介质进行了详细介绍。本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以对本申请进行若干改进和修饰，这些改进和修饰也落入本申请权利要求的保护范围内。

Claims (10)

1.一种存储系统数据同步方法，其特征在于，包括：
确定存储系统的存储池数量以及用于处理元数据事务日志的线程数量；
判断所述存储池数量是否达到切换标准；其中，所述切换标准根据所述线程数量确定得到；
若未达到，切换至单事务实例绑定多线程的处理策略进行数据同步处理；
若达到，切换至单线程绑定多事务实例的处理策略进行数据同步处理。
2.如权利要求1所述的存储系统数据同步方法，其特征在于，判断所述存储池数量是否达到切换标准，包括：
判断所述存储池数量是否大于或等于线程数量；
若否，判定所述存储池数量未达到切换标准；
若是，判定所述存储池数量达到切换标准。
3.如权利要求1所述的存储系统数据同步方法，其特征在于，所述切换至单事务实例绑定多线程的处理策略进行数据同步处理，包括：
统计目标存储池内的待处理任务；
将所述待处理任务按照第一分配机制分配至各目标线程进行任务处理；所述目标线程为所述目标存储池对应的处理线程。
4.如权利要求3所述的存储系统数据同步方法，其特征在于，将所述待处理任务按照第一分配机制分配至各目标线程进行任务处理，包括：
将所述待处理任务按照任务数量以及任务处理难度平均分配至各目标线程进行任务处理。
5.如权利要求3所述的存储系统数据同步方法，其特征在于，将所述待处理任务按照第一分配机制分配至各目标线程进行任务处理，包括：
将所述待处理任务按照第一分配机制分配至各目标线程进行多线程互斥任务处理。
6.如权利要求1所述的存储系统数据同步方法，其特征在于，所述切换至单线程绑定多事务实例的处理策略进行数据同步处理，包括：
统计各目标存储池下的待处理任务；
将所述待处理任务按照第二分配机制分配至目标线程进行任务处理；所述目标线程为各所述目标存储池对应的处理线程。
7.如权利要求6所述的存储系统数据同步方法，其特征在于，将所述待处理任务按照第二分配机制分配至目标线程进行任务处理，包括：
将所述待处理任务按照所属的存储池进行任务划分，得到各存储池对应的任务组；
从各所述任务组中平均调取指定数量的任务分配至所述目标线程进行任务处理。
8.一种存储系统数据同步装置，其特征在于，包括：
数量确定单元，用于确定存储系统的存储池数量以及用于处理元数据事务日志的线程数量；
数量判断单元，用于判断所述存储池数量是否达到切换标准；其中，所述切换标准根据所述线程数量确定得到；若未达到，切换至第一处理单元；若达到，切换至第二处理单元；
所述第一处理单元，用于单事务实例绑定多线程的处理策略进行数据同步处理；
所述第二处理单元，用于单线程绑定多事务实例的处理策略进行数据同步处理。
9.一种存储系统数据同步设备，其特征在于，包括：
存储器，用于存储程序；
处理器，用于执行所述程序时实现如权利要求1至7任一项所述存储系统数据同步方法的步骤。
10.一种可读存储介质，其特征在于，所述可读存储介质上存储有程序，所述程序被处理器执行时实现如权利要求1至7任一项所述存储系统数据同步方法的步骤。
CN201911205147.3A 2019-11-29 2019-11-29 存储系统数据同步方法、装置、设备及可读存储介质 Active CN111104218B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911205147.3A CN111104218B (zh) 2019-11-29 2019-11-29 存储系统数据同步方法、装置、设备及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911205147.3A CN111104218B (zh) 2019-11-29 2019-11-29 存储系统数据同步方法、装置、设备及可读存储介质

Publications (2)

Publication Number Publication Date
CN111104218A true CN111104218A (zh) 2020-05-05
CN111104218B CN111104218B (zh) 2022-04-22

Family

ID=70421188

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911205147.3A Active CN111104218B (zh) 2019-11-29 2019-11-29 存储系统数据同步方法、装置、设备及可读存储介质

Country Status (1)

Country Link
CN (1) CN111104218B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111831438A (zh) * 2020-07-01 2020-10-27 Oppo广东移动通信有限公司 资源分配方法、装置、存储介质及电子设备
CN117112310A (zh) * 2023-10-18 2023-11-24 苏州元脑智能科技有限公司 后台任务进度保存和恢复方法、装置、设备及存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102393822A (zh) * 2011-11-30 2012-03-28 中国工商银行股份有限公司 批量调度系统及方法
CN105094992A (zh) * 2015-09-25 2015-11-25 浪潮(北京)电子信息产业有限公司 一种处理文件请求的方法与系统
CN107168794A (zh) * 2017-05-11 2017-09-15 腾讯科技（深圳）有限公司 数据请求的处理方法和装置
CN108509279A (zh) * 2018-04-16 2018-09-07 郑州云海信息技术有限公司 一种用于射电天文数据的处理方法、装置及存储介质
CN108920275A (zh) * 2018-06-25 2018-11-30 郑州云海信息技术有限公司 一种抓取黑盒日志的方法、装置、设备及计算机存储介质
CN109240802A (zh) * 2018-09-21 2019-01-18 北京百度网讯科技有限公司 请求处理方法和装置
US20190057121A1 (en) * 2017-08-16 2019-02-21 HGST, Inc. Predictable Allocation Latency in Fragmented Log Structured File Systems
CN110175130A (zh) * 2019-06-11 2019-08-27 深圳前海微众银行股份有限公司 集群系统性能的测试方法、装置、设备及可读存储介质

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102393822A (zh) * 2011-11-30 2012-03-28 中国工商银行股份有限公司 批量调度系统及方法
CN105094992A (zh) * 2015-09-25 2015-11-25 浪潮(北京)电子信息产业有限公司 一种处理文件请求的方法与系统
CN107168794A (zh) * 2017-05-11 2017-09-15 腾讯科技（深圳）有限公司 数据请求的处理方法和装置
US20190057121A1 (en) * 2017-08-16 2019-02-21 HGST, Inc. Predictable Allocation Latency in Fragmented Log Structured File Systems
CN108509279A (zh) * 2018-04-16 2018-09-07 郑州云海信息技术有限公司 一种用于射电天文数据的处理方法、装置及存储介质
CN108920275A (zh) * 2018-06-25 2018-11-30 郑州云海信息技术有限公司 一种抓取黑盒日志的方法、装置、设备及计算机存储介质
CN109240802A (zh) * 2018-09-21 2019-01-18 北京百度网讯科技有限公司 请求处理方法和装置
CN110175130A (zh) * 2019-06-11 2019-08-27 深圳前海微众银行股份有限公司 集群系统性能的测试方法、装置、设备及可读存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
MOHD HAIRUL NIZAM M. NASIR ET AL.: "《Thread-Level Parallelism & Shared-Memory Pool Techniques for Authorization of Credit Card System》", 《2008 INTERNATIONAL SYMPOSIUM ON COMMUNICATIONS AND INFORMATION TECHNOLOGIES》 *
仲济源 等: "《GIST特征提取的异构并发流计算实现》", 《计算机工程与应用》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111831438A (zh) * 2020-07-01 2020-10-27 Oppo广东移动通信有限公司 资源分配方法、装置、存储介质及电子设备
CN117112310A (zh) * 2023-10-18 2023-11-24 苏州元脑智能科技有限公司 后台任务进度保存和恢复方法、装置、设备及存储介质
CN117112310B (zh) * 2023-10-18 2024-02-20 苏州元脑智能科技有限公司 后台任务进度保存和恢复方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN111104218B (zh) 2022-04-22

Similar Documents

Publication Publication Date Title
US11200164B2 (en) Coordinated garbage collection in distributed systems
US9454389B2 (en) Abstracting a multithreaded processor core to a single threaded processor core
US8239869B2 (en) Method, system and apparatus for scheduling computer micro-jobs to execute at non-disruptive times and modifying a minimum wait time between the utilization windows for monitoring the resources
US20150161056A1 (en) Tracking guest memory characteristics for memory scheduling
CN112000455B (zh) 一种多线程任务处理方法、装置及电子设备
US20120266175A1 (en) Method and device for balancing load of multiprocessor system
US9547510B2 (en) Tracking guest memory characteristics for memory scheduling
CN111104218B (zh) 存储系统数据同步方法、装置、设备及可读存储介质
KR20110075295A (ko) 멀티코어 시스템 상에서 단위 작업을 할당하는 방법 및 그 장치
US20080177682A1 (en) Autonomic SMT System Tuning
KR20130087257A (ko) Ｇｐｕ의 자원 할당을 위한 방법 및 장치
US20150113252A1 (en) Thread control and calling method of multi-thread virtual pipeline (mvp) processor, and processor thereof
CN103365718A (zh) 一种线程调度方法、线程调度装置及多核处理器系统
US20130097382A1 (en) Multi-core processor system, computer product, and control method
WO2021253851A1 (zh) 一种集群分布式资源调度方法、装置、设备及存储介质
CN113467933B (zh) 分布式文件系统线程池优化方法、系统、终端及存储介质
Li et al. Improving preemptive scheduling with application-transparent checkpointing in shared clusters
CN110673927A (zh) 一种虚拟机的调度方法和装置
US20120324194A1 (en) Adjusting the amount of memory allocated to a call stack
US20200241902A1 (en) Memory scheduler using guest-originated statistics
US20090187614A1 (en) Managing Dynamically Allocated Memory in a Computer System
JP2007172611A (ja) 方法、記憶媒体（仮想共有環境におけるプロセッサの有効利用法）
JPWO2011104812A1 (ja) マルチコアプロセッサシステム、割込プログラム、および割込方法
EP2413240A1 (en) Computer micro-jobs
CN112395063B (zh) 一种动态多线程调度方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant