CN115840635A - 计算资源管理方法、电子设备和程序产品 - Google Patents
计算资源管理方法、电子设备和程序产品 Download PDFInfo
- Publication number
- CN115840635A CN115840635A CN202111101681.7A CN202111101681A CN115840635A CN 115840635 A CN115840635 A CN 115840635A CN 202111101681 A CN202111101681 A CN 202111101681A CN 115840635 A CN115840635 A CN 115840635A
- Authority
- CN
- China
- Prior art keywords
- resource
- enabled
- threads
- request frequency
- resources
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
- G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
- G06F9/5033—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering data affinity
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
- G06F3/0646—Horizontal data movement in storage systems, i.e. moving data in between storage devices or systems
- G06F3/0647—Migration mechanisms
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
- G06F3/061—Improving I/O performance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
- G06F3/0653—Monitoring storage devices or systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
- G06F3/0671—In-line storage system
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Software Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本公开的实施例提供了计算资源管理的方法、电子设备和程序产品。该方法可以包括基于在第一周期内接收到的来自存储设备的触发信号的数目,确定第一资源请求频率,触发信号是在存储设备中存储的经修改的元数据的数据量达到阈值数据量时生成的。该方法还可以包括基于在第一周期后的第二周期内接收到的来自存储设备的触发信号的数目,确定第二资源请求频率。此外,该方法可以包括基于第一资源请求频率与第二资源请求频率的比较,调整用于执行将存储设备中的经修改的元数据复制到存储介质的操作的计算资源。本公开的实施例能够使计算资源可以得到充分利用,并且可以使修改后的元数据被复制到磁盘上的操作被及时地执行。
Description
技术领域
本公开的实施例涉及计算机领域,并且更具体地,涉及计算资源管理方法、电子设备和程序产品。
背景技术
元数据是文件系统的支柱,大多数文件系统利用日志型文件系统来更改元数据,以便在可能发生的系统崩溃的情况下保持元数据的一致性。与此同时,对元数据的更改的具体内容将被写入元数据存储设备(例如,缓存,cache),并且计算设备将通过元数据存储设备执行真正意义上的元数据更改,即,将元数据的更改的具体内容从元数据存储设备写入存储介质(例如,磁盘)。传统的写入过程通常是基于经验为相应事务分配特定计算资源。例如,通过查表的方式直接确定用于执行该写入过程的线程的数目以及输入输出(IO)资源的数目。然而,由于数据写入的任务、存储设备的种类等方面的因素不同,传统的资源管理策略无法灵活地应对不同的场景,导致出现计算资源浪费或者元数据落盘不及时的问题。
发明内容
本公开的实施例提供了用于管理计算资源的方案。
在本公开的第一方面中,提供了一种计算资源管理方法。该方法可以包括基于在第一周期内接收到的来自存储设备的触发信号的数目,确定第一资源请求频率,所述触发信号是在所述存储设备中存储的经修改的元数据的数据量达到阈值数据量时生成的。该方法还可以包括基于在所述第一周期后的第二周期内接收到的来自所述存储设备的所述触发信号的数目,确定第二资源请求频率。此外,该方法可以包括基于所述第一资源请求频率与所述第二资源请求频率的比较,调整用于执行将所述存储设备中的所述经修改的元数据复制到存储介质的操作的计算资源。
在本公开的第二方面中,提供了一种电子设备,包括处理器;以及与处理器耦合的存储器,存储器具有存储于其中的指令,指令在被处理器执行时使电子设备执行动作,动作包括:基于在第一周期内接收到的来自存储设备的触发信号的数目,确定第一资源请求频率,所述触发信号是在所述存储设备中存储的经修改的元数据的数据量达到阈值数据量时生成的;基于在所述第一周期后的第二周期内接收到的来自所述存储设备的所述触发信号的数目,确定第二资源请求频率;以及基于所述第一资源请求频率与所述第二资源请求频率的比较,调整用于执行将所述存储设备中的所述经修改的元数据复制到存储介质的操作的计算资源。
在本公开的第三方面中,提供了一种计算机程序产品,计算机程序产品被有形地存储在计算机可读介质上并且包括机器可执行指令,机器可执行指令在被执行时使机器执行根据第一方面的方法的任意步骤。
提供发明内容部分是为了简化的形式来介绍对概念的选择,它们在下文的具体实施方式中将被进一步描述。发明内容部分无意标识本公开的关键特征或主要特征,也无意限制本公开的范围。
附图说明
通过结合附图对本公开示例性实施例进行更详细的描述,本公开的上述以及其它目的、特征和优势将变得更加明显,其中,在本公开示例性实施例中,相同或相似的参考标号通常代表相同或相似的部件。在附图中:
图1示出了根据本公开的实施例的示例环境的示意图;
图2示出了根据本公开的实施例的计算资源管理的过程的流程图;
图3A示出了根据本公开的实施例的确定触发信号的布尔值的过程的示意图;
图3B示出了根据本公开的实施例的确定触发信号的资源请求频率的过程的示意图;
图4示出了根据本公开的实施例的计算资源管理的状态机的示意图;
图5示出了根据本公开的实施例的另一示例环境的示意图;以及
图6示出了可以用来实施本公开的实施例的示例设备的框图。
具体实施方式
下面将参考附图中示出的若干示例实施例来描述本公开的原理。
在本文中使用的术语“包括”及其变形表示开放性包括,即“包括但不限于”。除非特别申明,术语“或”表示“和/或”。术语“基于”表示“至少部分地基于”。术语“一个示例实施例”和“一个实施例”表示“一组示例实施例”。术语“另一实施例”表示“一组另外的实施例”。术语“第一”、“第二”等等可以指代不同的或相同的对象。下文还可能包括其他明确的和隐含的定义。
如上所讨论的,为了使修改元数据的过程不会因为系统崩溃而发生元数据不一致的情况,引入了日志型文件系统。日志型文件系统的工作原理是:每次修改一个元数据之前,要将元数据的修改以一种较抽象的语言记录到日志中。该语言只描述修改的操作或者修改的事件,而并不真正用于执行该修改。用于记录日志的位置是日志设备,该日志设备可以利用永久不丢失的存储介质来实现。由此,修改元数据的响应将返回给用户。在完成记录日志的操作之后或同时,要修改元数据的存储设备。该存储设备可以是缓存,其为磁盘空间在文件系统中的唯一映像。缓存中的元数据的落盘(即,将元数据的修改最终写入磁盘的过程)是通过元数据刷新模块(metadata flush)执行的。当元数据被写入磁盘后,日志设备中记录的修改元数据的事件将被清楚,这样就经理了修改元数据的整个生命周期。
应理解,这样做的原因在于,如果发生系统故障,可以在任何情况下保证元数据的一致性。例如,1)如果系统故障发生在日志记录的过程中,则说明该修改的事件从未发生;2)如果系统故障发生在日志记录之后一直到元数据落盘的时间段内,由于日志设备中的记录没被清理,故可以在系统重启过程中执行日志重现(log replay),从而继续执行元数据的落盘等操作;3)如果系统故障发生在元数据落盘完成之后,修改元数据的时间会从日志设备中清楚,因此在系统故障后进行重启,就不会执行日志重现的操作了,并且此时元数据的修改已经落盘。因此,日志型文件系统可以是元数据修改的整个过程不会发生数据错误,保证了元数据的一致性。
然而,修改的元数据从缓存被复制到磁盘的落盘任务需要调用计算资源来完成。如前所述,传统的计算资源管理方案是,基于经验或通过查表的方式来为落盘任务分配一定量的线程以及每个线程可以启用的IO资源的数目。由于这种计算资源的分配方式不灵活且不精确,故可能导致由于计算资源不足所造成的元数据落盘不及时的问题,也可能导致由于计算资源过剩所造成的计算资源浪费的问题。
为了至少部分地解决上述缺点,本公开的实施例提供了一种新颖的计算资源管理方案。该方案能够在不显著提升计算工作量的前提下感知用于存储元数据的每个缓存的工作压力,进而调整被分配用于执行元数据的落盘操作的计算资源。也就是说,当相应缓存中存储的元数据的数据量大于一定阈值时,该缓存就向计算设备发送请求资源的触发信号。计算设备基于一周期内接收到的触发信号的数目来确定该周期内这些缓存的资源请求频率,在通过与上一周期进行比较,就可以确定当前的资源管理策略是否适用,并适当调整用于执行上述落盘任务的计算资源。由此,计算资源可以得到充分利用,并且落盘操作也可以被及时地执行。
图1示出了根据本公开实施例的示例环境100的示意图,在该示例环境100中,根据本公开实施例的设备和/或过程可以被实施。如图1所示,示例环境100可以包括存储设备110、计算设备120以及调整策略130。计算设备120计算在一个周期内接收到的由存储设备110中的缓存111、缓存112中的任一个发出的触发信号的数目,进而确定存储设备110的请求计算资源的频率。此外,计算设备120对相邻周期内的计算资源请求的频率进行比较,如果发现计算资源请求频率出现增加的趋势,则表明目前分配的计算资源不足以执行当前的落盘任务,由此可以生成用于调整计算资源的分配方式的调整策略130。
在某些实施例中,存储设备110包括用于存储修改后的元数据的(多个)缓存,如图1所示,缓存111和缓存112。这些缓存可以由其他各种类型的具有存储功能的设备所替换,包括但不限于,硬盘(HDD)、固态盘(SSD)、可移除盘、任何其他磁性存储设备和任何其他光学存储设备、或它们的任何组合。备选地或附加地,存储设备110还可以是用于存储用于描述元数据的修改操作的日志的日志设备。
在某些实施例中,计算设备120可以是任何具有计算能力的设备。作为非限制性示例,计算设备可以是任意类型的固定计算设备、移动计算设备或便携式计算设备,包括但不限于台式计算机、膝上型计算机、笔记本计算机、上网本计算机、平板计算机、智能手机等。计算设备的全部组件或一部分组件可以分布在云端。计算设备还可以采用云-边缘的架构。
下文将结合图2详细描述根据本公开实施例的计算资源管理的过程。为了便于理解,在下文描述中提及的具体数据均是示例性的,并不用于限定本公开的保护范围。可以理解,以下描述的实施例还可以包括未示出的附加动作和/或可以省略所示出的动作,本公开的范围在此方面不受限制。
图2示出了根据本公开的实施例的计算资源管理的过程200的流程图。在某些实施例中,过程200可以在图1中的计算设备120中实施。现参照图1描述根据本公开实施例的用于管理计算资源的过程200。为了便于理解,在下文描述中提及的具体实例均是示例性的,并不用于限定本公开的保护范围。
如图2所示,在202,计算设备120可以基于在第一周期内接收到的来自存储设备110的触发信号的数目,确定第一资源请求频率。应理解,这里描述的“触发信号”是在存储设备110中存储的经修改的元数据的数据量达到阈值数据量时生成的。
在某些实施例中,针对存储设备110中的每个存储设备,例如缓存111和缓存112,当缓存111、缓存112中的某个存储设备中存储的元数据的数据量超过其自身的最大存储容量的预定比例时,该存储设备会向计算设备120发出资源请求信号,即,触发信号。
为了感知当前的计算资源分配策略是否合适,计算设备120通过获取一段时间内的触发信号的数目来确定该段时间内的存储设备110发出计算资源请求的频率。为了节约计算资源,计算设备120可以仅基于在若干时间点处采集的是否接收到触发信号的布尔值来确定资源请求频率。下文将结合图3A和图3B来描述资源请求频率的确定过程。
图3A示出了根据本公开的实施例的确定触发信号的布尔值的过程的示意图。图3B示出了根据本公开的实施例的确定触发信号的资源请求频率的过程的示意图。
如图3A所示,计算设备120可以设置一个用于检测是否接收到触发信号的模块。对于每个时间点,可以用布尔值“0”来表示没有接收到触发信号,并且可以用布尔值“1”来表示接收到触发信号。因此,图3A中示出了在时间点t1、t2、t3、t4处检测到的值为“1”的布尔值。应理解,为了清楚示出的目的,图3A中仅简化地示出了时间点t1、t2、t3、t4处检测到的布尔值。
如图3A所示,时间点t1与t2的时间差小于时间点t2与t3的时间差,因此,如图3B所示,可以确定时间点t2处的接收到触发信号的频率要高于时间点t3处的频率。类似地,由于图3A中的时间点t4之后接收到的触发信号更加密集,故图3B中的时间点t4之后检测到的资源请求频率将更高。也就是说,可以利用一个固定值来除以图3A中的每个布尔值的时间差,从而可以依次确定每个周期的资源请求频率,例如,平均的资源请求频率。以此方式,可以仅利用较少的计算资源计算出每个周期的资源请求频率。
在某些实施例中,当检测并收集到一个周期内的多个时间点的触发信号时,可以利用经训练的资源请求频率确定模型来确定该周期的资源请求频率。应理解,资源请求频率确定模型可以是利用多组布尔值的训练数据以及与其对应的经标注的监督信息来训练得到的。
在某些实施例中,当检测并收集到一个周期内的多个时间点的触发信号时,可以利用诸如傅里叶变换的时域-频域转换算法来确定该周期的资源请求频率。
回到图2,在204,计算设备120可以基于在第一周期后的第二周期内接收到的来自存储设备110的触发信号的数目,确定第二资源请求频率。在某些实施例中,第一周期、第二周期仅是用于表示两个前后相邻或相隔较短时间的时间段,且这两个时间段的时间长度可以不同。
应理解,为了感知分配的计算资源是否足以完成修改的元数据的落盘任务,计算设备120可以监测存储设备110中存储的数据量是否超过阈值数据量。当存储设备110中存储的数据量超过阈值数据量时,存储设备110会向计算设备120发送触发信号。由此,计算设备可以通过确定资源请求频率的变化趋势来确定计算资源的调整策略130。
在某些实施例中,当计算设备120在一段时间内接收到的触发信号的数目增加时,这就说明当前的计算资源分配策略所分配的计算资源不足以执行元数据的落盘任务。而当计算设备120在一段时间内接收到的触发信号的数目减少时,这就说明当前的计算资源分配策略所分配的计算资源过剩,造成了计算资源浪费。由此,通过确定资源请求频率的变化趋势,可以为调整策略130的确定提供参考信息。
在206,计算设备120可以基于针对第一周期的第一资源请求频率与针对第二周期的第二资源请求频率的比较,调整用于执行将存储设备中的经修改的元数据复制到存储介质的操作的计算资源。
图4示出了根据本公开的实施例的计算资源管理的状态机400的示意图。如图4所示,状态机400从状态401开始,进入状态402。在402,计算设备120可以对第一资源请求频率与第二资源请求频率进行比较。如果第一资源请求频率低于第二资源请求频率,则进入状态403,以便增加计算资源。在403,计算设备120可以进一步对已启用的线程中已启用的输入输出IO资源的数目与阈值资源数目进行比较。如果已启用的线程中已启用的输入输出IO资源的数目小于阈值资源数目,则进入状态404,以便使该线程中的未启用的IO资源执行元数据落盘的操作,也就是说,进一步启用该线程中的IO资源,以便增加计算资源。另一方面,如果已启用的线程中已启用的输入输出IO资源的数目大于或等于阈值资源数目,则进入状态405,以便使未启用的附加线程执行元数据落盘的操作,也就是说,进一步启用其他空闲线程,以便增加计算资源。之后,可以在状态406中设置阈值资源数目。
应理解,上述“阈值资源数目”是基于在一个IO资源从被启用到被释放的过程中、被启用的其他IO资源的最大数目而确定的。也就是说,当连续地调用一个线程中的多个IO资源执行异步操作时,每个IO资源不需要等待前一个IO资源执行完异步操作后再开始执行相应异步操作,因此,作为示例,一个线程中的连续调用的多个IO资源中的第一个调用的IO资源从被调用开始、到被释放的时间内发生调用的其他IO资源的最大数据即为该线程能够实现并行IO的最大IO资源数目,即,“阈值资源数目”。通过确定阈值资源数目并以此确定是否启用线程或IO资源,可以充分地利用计算资源并及时处理元数据的落盘任务。
回到图4的状态402,如果第一资源请求频率高于第二资源请求频率,则进入状态407,以便减少用于执行上述落盘操作的计算资源。在407,计算设备120可以进一步对已启用的线程的数目与阈值线程数目进行比较。如果已启用的线程的数目大于阈值线程数目,则进入状态408,以便释放已启用的线程中的至少一个线程。也就是说,当启用了过多线程后,可以回收部分线程,以便节约计算资源。另一方面,如果已启用的线程的数目小于或等于阈值线程数目,则进入状态409,以便释放已启用的线程中的已启用的至少一个IO资源。
此外,还有可能出现第一资源请求频率等于第二资源请求频率的情况,即,状态410。在状态410中,表示当前的资源管理策略是适合的,因此无需改变计算资源的管理策略。
此外,在状态404、406、408和409之后,优选地,还可以进入状态411,用于检测经计算设备120确定的调整策略130所分配的计算资源是否低于下限计算资源,用于确保日志型文件系统可以正常运转。在状态412,当上述这些状态均完成后,一个周期的计算资源调整的过程就结束了。
以此方式,计算设备120可以基于各存储设备的具体工作状态来调整用于落盘操作的计算资源,从而使元数据修改的过程更加高效。
为了更进一步示出本公开的资源管理方案,下面将参照图5详细描述与图1的示例环境100相似的另一示例环境500。图5示出了根据本公开的实施例的另一示例环境500的示意图。在该示例环境500中,根据本公开实施例的设备和/或过程可以被实施。
如图5所示,示例环境500可以包括存储设备510、计算设备520、调整策略530以及日志设备540。存储设备510中包含多种用于存储元数据的缓存,例如,BMD缓存511、IB缓存512、CG缓存513或其他类型的缓存。这些缓存在检测到存储的数据量超过其自身的最大存储量的一定比例时,可以向计算设备520发出触发信号。此外,日志设备540用于响应于用户的修改元数据的请求来存储描述该元数据的修改事件。因此,除存储设备510中的诸如BMD缓存511、IB缓存512、CG缓存513的多个缓存之外,日志设备540也可以在其存储的日志数据的数据量超过其自身的阈值存储量时,向计算设备520发出触发信息。如上所述,计算设备520可以根据这些触发信息及其频率,确定调整策略530。
此外,如图5所示,计算设备520中进一步包含仲裁模块521、感测模块522、执行模块523。具体地,仲裁模块521被配置用于确定接收到的触发信息的级别,以便在同时接收到两种类型的触发信息时可以确定是否需要优先为某一触发信息对应的任务分配计算资源。作为示例,当接收到来自上述缓存的触发信号的同时接收到针对运行系统或日志设备540的触发信号时,在执行将经修改的元数据复制到存储介质的操作之前,执行停止运行系统或清空日志设备540的操作。
此外,仲裁模块521还被配置用于基于请求计算资源的频率的变化趋势来确定资源分配的计划。与此相关联地,感测模块522用于实时接收来自各存储设备或日志设备的触发信息,并且执行模块523被配置用于在仲裁模块521确定了资源分配的计划之后,开始相应的资源分配操作。
图6示出了可以用来实现本公开的实施例的示例电子设备600的示意性框图。例如,电子设备600可被用于实现图1中所示的计算设备120。如图所示,电子设备600包括中央处理单元(CPU)601,其可以根据存储在只读存储器(ROM)602中的计算机程序指令或者从存储单元608加载到随机访问存储器(RAM)603中的计算机程序指令,来执行各种适当的动作和处理。在RAM 603中,还可存储设备600操作所需的各种程序和数据。CPU 601、ROM 602以及RAM 603通过总线604彼此相连。输入/输出(I/O)接口605也连接至总线604。
设备600中的多个部件连接至I/O接口605,包括:输入单元606,例如键盘、鼠标等;输出单元607,例如各种类型的显示器、扬声器等;存储单元608,例如磁盘、光盘等;以及通信单元609,例如网卡、调制解调器、无线通信收发机等。通信单元609允许设备600通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
处理单元601执行上文所描述的各个方法和处理,例如过程200。例如,在一些实施例中,上文所描述的各个方法和处理可以被实现为计算机软件程序或计算机程序产品,其被有形地包含于机器可读介质,例如存储单元608。在一些实施例中,计算机程序的部分或者全部可以经由ROM 602和/或通信单元609而被载入和/或安装到设备600上。当计算机程序加载到RAM 603并由CPU 601执行时,可以执行上文描述的任何过程中的一个或多个步骤。备选地,在其他实施例中,CPU 601可以通过其他任何适当的方式(例如,借助于固件)而被配置为执行诸如过程200的过程。
本公开可以是方法、装置、系统和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质,其上载有用于执行本公开的各个方面的计算机可读程序指令。
计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是――但不限于――电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备、任意的非暂时性存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括:便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身,诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如,通过光纤电缆的光脉冲)、或者通过电线传输的电信号。
这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备,或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令,并转发该计算机可读程序指令,以供存储在各个计算/处理设备中的计算机可读存储介质中。
用于执行本公开操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码,所述编程语言包括面向对象的编程语言—诸如Smalltalk、C++等,以及常规的过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中,通过利用计算机可读程序指令的状态信息来个性化定制电子电路,例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA),该电子电路可以执行计算机可读程序指令,从而实现本公开的各个方面。
这里参照根据本公开实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本公开的各个方面。应当理解,流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合,都可以由计算机可读程序指令实现。
这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理单元,从而生产出一种机器,使得这些指令在通过计算机或其它可编程数据处理装置的处理单元执行时,产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中,这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作,从而,存储有指令的计算机可读介质则包括一个制造品,其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。
也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上,使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤,以产生计算机实现的过程,从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。
附图中的流程图和框图显示了根据本公开的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分,所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或动作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
以上已经描述了本公开的各实施方式,上述说明是示例性的,并非穷尽性的,并且也不限于所披露的各实施方式。在不偏离所说明的各实施方式的范围和精神的情况下,对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择,旨在最好地解释各实施方式的原理、实际应用或对市场中的技术的改进,或者使本技术领域的其他普通技术人员能理解本文披露的各实施方式。
Claims (15)
1.一种计算资源管理方法,包括:
基于在第一周期内接收到的来自存储设备的触发信号的数目,确定第一资源请求频率,所述触发信号是在所述存储设备中存储的经修改的元数据的数据量达到阈值数据量时生成的;
基于在所述第一周期后的第二周期内接收到的来自所述存储设备的所述触发信号的数目,确定第二资源请求频率;以及
基于所述第一资源请求频率与所述第二资源请求频率的比较,调整用于执行将所述存储设备中的所述经修改的元数据复制到存储介质的操作的计算资源。
2.根据权利要求1所述的方法,其中基于所述比较调整所述计算资源包括:
如果所述第一资源请求频率低于所述第二资源请求频率,增加所述计算资源。
3.根据权利要求2所述的方法,其中增加所述计算资源包括:
如果已启用的线程中已启用的输入输出IO资源的数目小于阈值资源数目,使所述线程中的未启用的IO资源执行所述复制的操作;或者
如果所述线程中已启用的IO资源的数目大于或等于所述阈值资源数目,使未启用的附加线程执行所述复制的操作。
4.根据权利要求3所述的方法,其中所述阈值资源数目是基于在一个IO资源从被启用到被释放的过程中、被启用的其他IO资源的最大数目而确定的。
5.根据权利要求1所述的方法,其中基于所述比较调整所述计算资源包括:
如果所述第一资源请求频率高于所述第二资源请求频率,减少用于执行所述复制的操作的计算资源。
6.根据权利要求5所述的方法,其中减少所述计算资源包括:
如果已启用的线程的数目大于阈值线程数目,释放所述已启用的线程中的至少一个线程;或者
如果所述已启用的线程的数目小于或等于所述阈值线程数目,释放所述已启用的线程中的已启用的至少一个IO资源。
7.根据权利要求1所述的方法,还包括:
响应于接收到针对运行系统或日志存储设备的控制信号,在执行将所述经修改的元数据复制到所述存储介质的操作之前,执行停止运行系统或所述清空日志存储设备的操作。
8.一种电子设备,包括:
处理器;以及
与所述处理器耦合的存储器,所述存储器具有存储于其中的指令,所述指令在被处理器执行时使所述电子设备执行动作,所述动作包括:
基于在第一周期内接收到的来自存储设备的触发信号的数目,确定第一资源请求频率,所述触发信号是在所述存储设备中存储的经修改的元数据的数据量达到阈值数据量时生成的;
基于在所述第一周期后的第二周期内接收到的来自所述存储设备的所述触发信号的数目,确定第二资源请求频率;以及
基于所述第一资源请求频率与所述第二资源请求频率的比较,调整用于执行将所述存储设备中的所述经修改的元数据复制到存储介质的操作的计算资源。
9.根据权利要求8所述的电子设备,其中基于所述比较调整所述计算资源包括:
如果所述第一资源请求频率低于所述第二资源请求频率,增加所述计算资源。
10.根据权利要求9所述的电子设备,其中增加所述计算资源包括:
如果已启用的线程中已启用的输入输出IO资源的数目小于阈值资源数目,使所述线程中的未启用的IO资源执行所述复制的操作;或者
如果所述线程中已启用的IO资源的数目大于或等于所述阈值资源数目,使未启用的附加线程执行所述复制的操作。
11.根据权利要求10所述的电子设备,其中所述阈值资源数目是基于在一个IO资源从被启用到被释放的过程中、被启用的其他IO资源的最大数目而确定的。
12.根据权利要求8所述的电子设备,其中基于所述比较调整所述计算资源包括:
如果所述第一资源请求频率高于所述第二资源请求频率,减少用于执行所述复制的操作的计算资源。
13.根据权利要求12所述的电子设备,其中减少所述计算资源包括:
如果已启用的线程的数目大于阈值线程数目,释放所述已启用的线程中的至少一个线程;或者
如果所述已启用的线程的数目小于或等于所述阈值线程数目,释放所述已启用的线程中的已启用的至少一个IO资源。
14.根据权利要求8所述的电子设备,所述动作还包括:
响应于接收到针对运行系统或日志存储设备的控制信号,在执行将所述经修改的元数据复制到所述存储介质的操作之前,执行停止运行系统或所述清空日志存储设备的操作。
15.一种计算机程序产品,所述计算机程序产品被有形地存储在计算机可读介质上并且包括机器可执行指令,所述机器可执行指令在被执行时使机器执行根据权利要求1至7中的任一项所述的方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111101681.7A CN115840635A (zh) | 2021-09-18 | 2021-09-18 | 计算资源管理方法、电子设备和程序产品 |
US17/743,573 US20230100110A1 (en) | 2021-09-18 | 2022-05-13 | Computing resource management method, electronic equipment and program product |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111101681.7A CN115840635A (zh) | 2021-09-18 | 2021-09-18 | 计算资源管理方法、电子设备和程序产品 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115840635A true CN115840635A (zh) | 2023-03-24 |
Family
ID=85574305
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111101681.7A Pending CN115840635A (zh) | 2021-09-18 | 2021-09-18 | 计算资源管理方法、电子设备和程序产品 |
Country Status (2)
Country | Link |
---|---|
US (1) | US20230100110A1 (zh) |
CN (1) | CN115840635A (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117234696B (zh) * | 2023-11-13 | 2024-01-19 | 北京控制工程研究所 | 高频率gnc系统多任务执行策略的确定方法及装置 |
-
2021
- 2021-09-18 CN CN202111101681.7A patent/CN115840635A/zh active Pending
-
2022
- 2022-05-13 US US17/743,573 patent/US20230100110A1/en active Pending
Also Published As
Publication number | Publication date |
---|---|
US20230100110A1 (en) | 2023-03-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11106579B2 (en) | System and method to manage and share managed runtime memory for java virtual machine | |
US10114740B2 (en) | Memory management techniques | |
US9684562B2 (en) | Automatic serial starting of resource groups on failover based on the prediction of aggregate resource usage | |
US8707308B1 (en) | Method for dynamic management of system resources through application hints | |
US9405572B2 (en) | Optimized resource allocation and management in a virtualized computing environment | |
US9619378B2 (en) | Dynamically optimizing memory allocation across virtual machines | |
US9760392B1 (en) | Adaptive throttling in hybrid storage environments | |
US9875056B2 (en) | Information processing system, control program, and control method | |
US9858120B2 (en) | Modifying memory space allocation for inactive tasks | |
CN111124267B (zh) | 数据写入的方法、设备和计算机程序产品 | |
AU2010319840A1 (en) | Allocating storage memory based on future use estimates | |
CN109213696B (zh) | 用于缓存管理的方法和设备 | |
US9904470B2 (en) | Tracking ownership of memory in a data processing system through use of a memory monitor | |
US9870400B2 (en) | Managed runtime cache analysis | |
CN115840635A (zh) | 计算资源管理方法、电子设备和程序产品 | |
JP6919277B2 (ja) | ストレージシステム、ストレージ管理装置、ストレージ管理方法、及びプログラム | |
US20240095076A1 (en) | Accelerating data processing by offloading thread computation | |
KR101887741B1 (ko) | 적응적 블록 캐시 운용 방법 및 이를 적용한 dbms | |
CN112463374A (zh) | 一种内存管理方法、装置、设备及存储介质 | |
CN114064357A (zh) | 数据备份方法、装置、电子设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |