CN113625951A - 一种桶生命周期配置方法、装置、设备及介质 - Google Patents

一种桶生命周期配置方法、装置、设备及介质 Download PDF

Info

Publication number
CN113625951A
CN113625951A CN202110741509.1A CN202110741509A CN113625951A CN 113625951 A CN113625951 A CN 113625951A CN 202110741509 A CN202110741509 A CN 202110741509A CN 113625951 A CN113625951 A CN 113625951A
Authority
CN
China
Prior art keywords
optimization
bucket
objective
target
configuration
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110741509.1A
Other languages
English (en)
Other versions
CN113625951B (zh
Inventor
王铂
陶桐桐
胡永刚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jinan Inspur Data Technology Co Ltd
Original Assignee
Jinan Inspur Data Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jinan Inspur Data Technology Co Ltd filed Critical Jinan Inspur Data Technology Co Ltd
Priority to CN202110741509.1A priority Critical patent/CN113625951B/zh
Publication of CN113625951A publication Critical patent/CN113625951A/zh
Application granted granted Critical
Publication of CN113625951B publication Critical patent/CN113625951B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0604—Improving or facilitating administration, e.g. storage management
    • G06F3/0607—Improving or facilitating administration, e.g. storage management by facilitating the process of upgrading existing storage systems, e.g. for improving compatibility between host and storage device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0629—Configuration or reconfiguration of storage systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0655—Vertical data movement, i.e. input-output transfer; data movement between one or more hosts and one or more storage devices
    • G06F3/0659—Command handling arrangements, e.g. command buffers, queues, command scheduling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/004—Artificial life, i.e. computing arrangements simulating life
    • G06N3/006—Artificial life, i.e. computing arrangements simulating life based on simulated virtual individual or collective life forms, e.g. social simulations or particle swarm optimisation [PSO]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • General Factory Administration (AREA)

Abstract

本申请公开了一种桶生命周期配置方法、装置、设备及介质，包括：确定桶生命周期的配置参数的可行域；基于所述可行域，利用预设多目标优化算法以第一优化目标和第二优化目标确定最优配置参数集；其中，所述第一优化目标为基于配置参数处理过期数据之后剩余过期数据相对于总过期数据的空间占比；所述第二优化目标为基于配置参数处理过期数据对应的集群性能占用率；从所述最优配置参数集中确定出目标配置参数，利用所述目标配置参数配置桶生命周期。这样，能够兼顾桶生命周期效果以及其他业务处理，从而提升系统性能。

Description

一种桶生命周期配置方法、装置、设备及介质
技术领域
本申请涉及对象存储技术领域，特别涉及一种桶生命周期配置方法、装置、设备及介质。
背景技术
在实际的存储过程中，部分数据不必长时间存储在系统中，因此往往需要数据过期删除的功能。在RGW(即RADOS(即Reliable Autonomic Distributed Object Store，可靠,自治,分布式对象存储)gateway，对象存储网关)中，针对数据的过期删除功能为桶生命周期，即LC(即lifecycle，生命周期)，该功能可以给桶设置一个规则，这个规则包括桶里的何种数据在何时会过期，以及过期之后是删除还是转移到其他存储空间。其中，桶生命周期的配置参数影响桶生命周期的执行效果。
在RGW中，当数据量超过一定范围时，由于的特性是遍历桶中所有的对象元数据之后把过期对象删除或转移，所以可能有对象在规定时间内没有被删除或转移，例如，设置3天后过期的对象可能在一周后才被删除或转移，造成空间的释放不及时，影响存储系统性能。然而盲目调高LC的转移或删除效率，又会因为LC对系统资源的占用而引发其他业务的处理问题。当前，桶生命周期的参数设置一般根据经验，但由于需要兼顾LC效果和其他业务的处理很难做出选择，难以适应现在大规模存储的多样化需求。
发明内容
有鉴于此，本申请的目的在于提供一种桶生命周期配置方法、装置、设备及介质，能够兼顾桶生命周期效果以及其他业务处理，从而提升系统性能。其具体方案如下：
第一方面，本申请公开了一种桶生命周期配置方法，包括：
确定桶生命周期的配置参数的可行域；
基于所述可行域，利用预设多目标优化算法以第一优化目标和第二优化目标确定最优配置参数集；其中，所述第一优化目标为基于配置参数处理过期数据之后剩余过期数据相对于总过期数据的空间占比；所述第二优化目标为基于配置参数处理过期数据对应的集群性能占用率；
从所述最优配置参数集中确定出目标配置参数，利用所述目标配置参数配置桶生命周期。
可选的，所述确定桶生命周期的配置参数的可行域，包括：
确定桶生命周期的并发线程数、最大对象数以及线程队列数的可行域。
可选的，所述第一优化目标以及所述第二优化目标的优化目标公式为：
Figure BDA0003141543690000021
其中，Er表示第一优化目标，Pr表示第二优化目标，mworker表示并发线程数，mwq表示线程队列数，mobj表示最大对象数，S表示过期数据总数，W表示集群总性能数据。
可选的，所述基于所述可行域，利用预设多目标优化算法以第一优化目标和第二优化目标确定最优配置参数集，包括：
基于所述可行域，利用多目标粒子群优化算法以第一优化目标和第二优化目标确定最优配置参数集。
可选的，所述基于所述可行域，利用多目标粒子群优化算法以第一优化目标和第二优化目标确定最优配置参数集，包括：
确定种群个数以及最大评价次数；
基于所述可行域、种群个数以及最大评价次数，利用多目标粒子群优化算法以第一优化目标和第二优化目标确定最优配置参数集。
第二方面，本申请公开了一种桶生命周期配置装置，包括：
参数可行域确定模块，用于确定桶生命周期的配置参数的可行域；
最优配置参数集确定模块，用于基于所述可行域，利用预设多目标优化算法以第一优化目标和第二优化目标确定最优配置参数集；其中，所述第一优化目标为基于配置参数处理过期数据之后剩余过期数据相对于总过期数据的空间占比；所述第二优化目标为基于配置参数处理过期数据对应的集群性能占用率；
桶生命周期配置模块，用于从所述最优配置参数集中确定出目标配置参数，利用所述目标配置参数配置桶生命周期。
可选的，所述参数可行域确定模块，具体用于：
确定桶生命周期的并发线程数、最大对象数以及线程队列数的可行域。
可选的，所述第一优化目标以及所述第二优化目标的优化目标公式为：
Figure BDA0003141543690000031
其中，Er表示第一优化目标，Pr表示第二优化目标，mworker表示并发线程数，mwq表示线程队列数，mobj表示最大对象数，S表示过期数据总数，W表示集群总性能数据。
第三方面，本申请公开了一种电子设备，包括：
存储器，用于保存计算机程序；
处理器，用于执行所述计算机程序，以实现前述的桶生命周期配置方法。
第四方面，本申请公开了一种计算机可读存储介质，用于保存计算机程序，所述计算机程序被处理器执行时实现前述的桶生命周期配置方法。
可见，本申请先确定桶生命周期的配置参数的可行域，之后基于所述可行域，利用预设多目标优化算法以第一优化目标和第二优化目标确定最优配置参数集；其中，所述第一优化目标为基于配置参数处理过期数据之后剩余过期数据相对于总过期数据的空间占比；所述第二优化目标为基于配置参数处理过期数据对应的集群性能占用率，最后从所述最优配置参数集中确定出目标配置参数，利用所述目标配置参数配置桶生命周期。也即，本申请以桶生命周期的配置参数为被优化参数，以基于配置参数处理过期数据之后剩余过期数据相对于总过期数据的空间占比，以及为基于配置参数处理过期数据对应的集群性能占用率为优化目标，其中，基于配置参数处理过期数据之后剩余过期数据相对于总过期数据的空间占比反映了桶生命周期的处理效果，基于配置参数处理过期数据对应的集群性能占用率反映了桶生命周期对其他业务的影响，这样的优化目标，能够兼顾桶生命周期效果以及其他业务处理，从而提升系统性能。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本申请公开的一种桶生命周期配置方法流程图；
图2为本申请提供的一种具体的多目标粒子群优化算法优化示意图；
图3为本申请公开的一种桶生命周期配置装置结构示意图；
图4为本申请公开的一种电子设备结构图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
在RGW中，当数据量超过一定范围时，由于的特性是遍历桶中所有的对象元数据之后把过期对象删除或转移，所以可能有对象在规定时间内没有被删除或转移，例如，设置3天后过期的对象可能在一周后才被删除或转移，造成空间的释放不及时，影响存储系统性能。然而盲目调高LC的转移或删除效率，又会因为LC对系统资源的占用而引发其他业务的处理问题。当前，桶生命周期的参数设置一般根据经验，但由于需要兼顾LC效果和其他业务的处理很难做出选择，难以适应现在大规模存储的多样化需求。为此，本申请提供了一种桶生命周期配置方案，能够兼顾桶生命周期效果以及其他业务处理，从而提升系统性能。
参见图1所示，本申请实施例公开了一种桶生命周期配置方法，包括：
步骤S11：确定桶生命周期的配置参数的可行域。
在具体的实施方式中，可以确定桶生命周期的并发线程数、最大对象数以及线程队列数的可行域。
也即，本申请实施例将影响桶生命周期效果的并发线程数、最大对象数以及线程队列数作为被优化参数。
步骤S12：基于所述可行域，利用预设多目标优化算法以第一优化目标和第二优化目标确定最优配置参数集；其中，所述第一优化目标为基于配置参数处理过期数据之后剩余过期数据相对于总过期数据的空间占比；所述第二优化目标为基于配置参数处理过期数据对应的集群性能占用率。
其中，所述第一优化目标以及所述第二优化目标的优化目标公式为：
Figure BDA0003141543690000051
其中，Er表示第一优化目标，Pr表示第二优化目标，mworker表示并发线程数，mwq表示线程队列数，mobj表示最大对象数，S表示过期数据总数，W表示集群总性能数据。
并且，W具体可以为集群每秒能够并发处理的数据量。
在具的实施方式中，基于所述可行域，利用MOPSO(即Multi-objective ParticleSwarm Optimization，多目标粒子群优化)算法以第一优化目标和第二优化目标确定最优配置参数集。
进一步的，本申请实施例确定种群个数以及最大评价次数；基于所述可行域、种群个数以及最大评价次数，利用多目标粒子群优化算法以第一优化目标和第二优化目标确定最优配置参数集。
具体的，利用多目标粒子群优化算法确定最优配置参数集的步骤，包括：输入LC的并发线程、LC的最大对象数、LC的线程队列数的可行域，种群个体数P，最大评价次数maxFES。
Step1：初始化种群，随机生成P个粒子，每个粒子表示一种可行的解决方案(即配置参数组，包括并发线程数、最大对象数以及线程队列数)，使用每个粒子的方案进行桶生命周期功能配置，并利用优化目标公式计算适应度值；
Step2：筛选粒子，确定每个粒子的历史最优pbest，并找出全局最优gbest；
其中，在初次迭代时，初始化每个粒子的历史最优pbest为其本身，并找出全局最优gbest。
Step3：根据速度和位置公式进行位置和速度的计算更新，根据优化目标公式对每一个粒子做评估操作得到新的粒子群；
Step4：更新最优解也即更新gbest，以及更新历史最优pbest；
Step5：达到最大评价次数则输出该种群中的Pareto解集，否则回到Step2；
Step6：得到的Pareto解集，也就是最优参数池。
需要指出的是，多目标粒子群优化算法可以在决策空间中找到近似PF(即ParetoFront，帕累托前沿)对应的非支配Pareto解集。决策者根据实际情况从解决方案集中选择解决方案。如图2所示，图2为本申请提供的一种具体的多目标粒子群优化算法优化示意图。其中，图2中左侧、右侧图的圆圈分别对应了Pareto最优解集和最优目标结果，方形表示非最优解以及非最优目标结果，f1和f2分别表示本申请中的Er和Pr。
也即，本申请实施例以桶生命周期功能和集群性能为目标，以发线程数、最大对象数以及线程队列数为被优化参数，利用多目标参数算法，得到最优配置参数集，将桶生命周期优化问题转化为多目标优化问题，利用多目标粒子群优化算法解决。
步骤S13：从所述最优配置参数集中确定出目标配置参数，利用所述目标配置参数配置桶生命周期。
在具体的实施方式中，用户可利用最优解集并结合自己的需求来配置集群，也即从最优解集中筛选出一组并发线程数、最大对象数以及线程队列数，配置桶生命周期，从而更好地发挥集群的性能。
可见，本申请实施例先确定桶生命周期的配置参数的可行域，之后基于所述可行域，利用预设多目标优化算法以第一优化目标和第二优化目标确定最优配置参数集；其中，所述第一优化目标为基于配置参数处理过期数据之后剩余过期数据相对于总过期数据的空间占比；所述第二优化目标为基于配置参数处理过期数据对应的集群性能占用率，最后从所述最优配置参数集中确定出目标配置参数，利用所述目标配置参数配置桶生命周期。也即，本申请以桶生命周期的配置参数为被优化参数，以基于配置参数处理过期数据之后剩余过期数据相对于总过期数据的空间占比，以及为基于配置参数处理过期数据对应的集群性能占用率为优化目标，其中，基于配置参数处理过期数据之后剩余过期数据相对于总过期数据的空间占比反映了桶生命周期的处理效果，基于配置参数处理过期数据对应的集群性能占用率反映了桶生命周期对其他业务的影响，这样的优化目标，能够兼顾桶生命周期效果以及其他业务处理，从而提升系统性能。
参见图3所示，本申请实施例公开了一种桶生命周期配置装置，包括：
参数可行域确定模块11，用于确定桶生命周期的配置参数的可行域；
最优配置参数集确定模块12，用于基于所述可行域，利用预设多目标优化算法以第一优化目标和第二优化目标确定最优配置参数集；其中，所述第一优化目标为基于配置参数处理过期数据之后剩余过期数据相对于总过期数据的空间占比；所述第二优化目标为基于配置参数处理过期数据对应的集群性能占用率；
桶生命周期配置模块13，用于从所述最优配置参数集中确定出目标配置参数，利用所述目标配置参数配置桶生命周期。
可见，本申请实施例先确定桶生命周期的配置参数的可行域，之后基于所述可行域，利用预设多目标优化算法以第一优化目标和第二优化目标确定最优配置参数集；其中，所述第一优化目标为基于配置参数处理过期数据之后剩余过期数据相对于总过期数据的空间占比；所述第二优化目标为基于配置参数处理过期数据对应的集群性能占用率，最后从所述最优配置参数集中确定出目标配置参数，利用所述目标配置参数配置桶生命周期。也即，本申请以桶生命周期的配置参数为被优化参数，以基于配置参数处理过期数据之后剩余过期数据相对于总过期数据的空间占比，以及为基于配置参数处理过期数据对应的集群性能占用率为优化目标，其中，基于配置参数处理过期数据之后剩余过期数据相对于总过期数据的空间占比反映了桶生命周期的处理效果，基于配置参数处理过期数据对应的集群性能占用率反映了桶生命周期对其他业务的影响，这样的优化目标，能够兼顾桶生命周期效果以及其他业务处理，从而提升系统性能。
其中，所述参数可行域确定模块11，具体用于：
确定桶生命周期的并发线程数、最大对象数以及线程队列数的可行域。
相应的，所述第一优化目标以及所述第二优化目标的优化目标公式为：
Figure BDA0003141543690000081
其中，Er表示第一优化目标，Pr表示第二优化目标，mworker表示并发线程数，mwq表示线程队列数，mobj表示最大对象数，S表示过期数据总数，W表示集群总性能数据。
在具体的实施方式中，最优配置参数集确定模块12，具体用于基于所述可行域，利用多目标粒子群优化算法以第一优化目标和第二优化目标确定最优配置参数集。
进一步的，最优配置参数集确定模块12，具体用于确定种群个数以及最大评价次数；基于所述可行域、种群个数以及最大评价次数，利用多目标粒子群优化算法以第一优化目标和第二优化目标确定最优配置参数集。
参见图4所示，本申请实施例公开了一种电子设备20，包括处理器21和存储器22；其中，所述存储器22，用于保存计算机程序；所述处理器21，用于执行所述计算机程序，前述实施例公开的桶生命周期配置方法。
关于上述桶生命周期配置方法的具体过程可以参考前述实施例中公开的相应内容，在此不再进行赘述。
并且，所述存储器22作为资源存储的载体，可以是只读存储器、随机存储器、磁盘或者光盘等，存储方式可以是短暂存储或者永久存储。
另外，所述电子设备20还包括电源23、通信接口24、输入输出接口25和通信总线26；其中，所述电源23用于为所述电子设备20上的各硬件设备提供工作电压；所述通信接口24能够为所述电子设备20创建与外界设备之间的数据传输通道，其所遵循的通信协议是能够适用于本申请技术方案的任意通信协议，在此不对其进行具体限定；所述输入输出接口25，用于获取外界输入数据或向外界输出数据，其具体的接口类型可以根据具体应用需要进行选取，在此不进行具体限定。
进一步的，本申请实施例还公开了一种计算机可读存储介质，用于保存计算机程序，其中，所述计算机程序被处理器执行时实现前述实施例公开的桶生命周期配置方法。
关于上述桶生命周期配置方法的具体过程可以参考前述实施例中公开的相应内容，在此不再进行赘述。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
以上对本申请所提供的一种桶生命周期配置方法、装置、设备及介质进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (10)

1.一种桶生命周期配置方法，其特征在于，包括：
确定桶生命周期的配置参数的可行域；
基于所述可行域，利用预设多目标优化算法以第一优化目标和第二优化目标确定最优配置参数集；其中，所述第一优化目标为基于配置参数处理过期数据之后剩余过期数据相对于总过期数据的空间占比；所述第二优化目标为基于配置参数处理过期数据对应的集群性能占用率；
从所述最优配置参数集中确定出目标配置参数，利用所述目标配置参数配置桶生命周期。
2.根据权利要求1所述的桶生命周期配置方法，其特征在于，所述确定桶生命周期的配置参数的可行域，包括：
确定桶生命周期的并发线程数、最大对象数以及线程队列数的可行域。
3.根据权利要求2所述的桶生命周期配置方法，其特征在于，所述第一优化目标以及所述第二优化目标的优化目标公式为：
Figure FDA0003141543680000011
其中，Er表示第一优化目标，Pr表示第二优化目标，mworker表示并发线程数，mwq表示线程队列数，mobj表示最大对象数，S表示过期数据总数，W表示集群总性能数据。
4.根据权利要求1至3任一项所述的桶生命周期配置方法，其特征在于，所述基于所述可行域，利用预设多目标优化算法以第一优化目标和第二优化目标确定最优配置参数集，包括：
基于所述可行域，利用多目标粒子群优化算法以第一优化目标和第二优化目标确定最优配置参数集。
5.根据权利要求4所述的桶生命周期配置方法，其特征在于，所述基于所述可行域，利用多目标粒子群优化算法以第一优化目标和第二优化目标确定最优配置参数集，包括：
确定种群个数以及最大评价次数；
基于所述可行域、种群个数以及最大评价次数，利用多目标粒子群优化算法以第一优化目标和第二优化目标确定最优配置参数集。
6.一种桶生命周期配置装置，其特征在于，包括：
参数可行域确定模块，用于确定桶生命周期的配置参数的可行域；
最优配置参数集确定模块，用于基于所述可行域，利用预设多目标优化算法以第一优化目标和第二优化目标确定最优配置参数集；其中，所述第一优化目标为基于配置参数处理过期数据之后剩余过期数据相对于总过期数据的空间占比；所述第二优化目标为基于配置参数处理过期数据对应的集群性能占用率；
桶生命周期配置模块，用于从所述最优配置参数集中确定出目标配置参数，利用所述目标配置参数配置桶生命周期。
7.根据权利要求6所述的桶生命周期配置装置，其特征在于，所述参数可行域确定模块，具体用于：
确定桶生命周期的并发线程数、最大对象数以及线程队列数的可行域。
8.根据权利要求7所述的桶生命周期配置装置，其特征在于，所述第一优化目标以及所述第二优化目标的优化目标公式为：
Figure FDA0003141543680000021
其中，Er表示第一优化目标，Pr表示第二优化目标，mworker表示并发线程数，mwq表示线程队列数，mobj表示最大对象数，S表示过期数据总数，W表示集群总性能数据。
9.一种电子设备，其特征在于，包括：
存储器，用于保存计算机程序；
处理器，用于执行所述计算机程序，以实现如权利要求1至5任一项所述的桶生命周期配置方法。
10.一种计算机可读存储介质，其特征在于，用于保存计算机程序，所述计算机程序被处理器执行时实现如权利要求1至5任一项所述的桶生命周期配置方法。
CN202110741509.1A 2021-06-30 2021-06-30 一种桶生命周期配置方法、装置、设备及介质 Active CN113625951B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110741509.1A CN113625951B (zh) 2021-06-30 2021-06-30 一种桶生命周期配置方法、装置、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110741509.1A CN113625951B (zh) 2021-06-30 2021-06-30 一种桶生命周期配置方法、装置、设备及介质

Publications (2)

Publication Number Publication Date
CN113625951A true CN113625951A (zh) 2021-11-09
CN113625951B CN113625951B (zh) 2023-12-26

Family

ID=78378725

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110741509.1A Active CN113625951B (zh) 2021-06-30 2021-06-30 一种桶生命周期配置方法、装置、设备及介质

Country Status (1)

Country Link
CN (1) CN113625951B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9355060B1 (en) * 2012-12-14 2016-05-31 Amazon Technologies, Inc. Storage service lifecycle policy transition management
CN107590283A (zh) * 2017-09-29 2018-01-16 浙江大华技术股份有限公司 一种文件回收方法、装置、服务器及计算机可读存储介质
WO2018036547A1 (zh) * 2016-08-26 2018-03-01 华为技术有限公司 一种数据处理的方法以及装置
CN112463069A (zh) * 2020-12-11 2021-03-09 苏州浪潮智能科技有限公司 一种存储垃圾回收的方法、装置、设备及可读介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9355060B1 (en) * 2012-12-14 2016-05-31 Amazon Technologies, Inc. Storage service lifecycle policy transition management
WO2018036547A1 (zh) * 2016-08-26 2018-03-01 华为技术有限公司 一种数据处理的方法以及装置
CN107590283A (zh) * 2017-09-29 2018-01-16 浙江大华技术股份有限公司 一种文件回收方法、装置、服务器及计算机可读存储介质
CN112463069A (zh) * 2020-12-11 2021-03-09 苏州浪潮智能科技有限公司 一种存储垃圾回收的方法、装置、设备及可读介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
SANDY SHENG: "Impact of ammunition performance on weapon reliability & life cycle cost", IEEE *
廖晋;金云智;吴迅达;梁豪;: "海上油气勘探目标全生命周期管理创新与实践", 石油科技论坛, no. 05 *
韩敏;何泳;郑丹晨;: "基于参考点的高维多目标粒子群算法", 控制与决策, no. 04 *

Also Published As

Publication number Publication date
CN113625951B (zh) 2023-12-26

Similar Documents

Publication Publication Date Title
Kash et al. No agent left behind: Dynamic fair division of multiple resources
CN108776934B (zh) 分布式数据计算方法、装置、计算机设备及可读存储介质
US20190196933A1 (en) Data visual analysis method, system and terminal and computer readable storage medium
CN109901921B (zh) 任务队列执行时间预测方法、装置及实现装置
CN110545246A (zh) 一种基于令牌桶的限流方法和装置
US20170286861A1 (en) Structured machine learning framework
US20130185427A1 (en) Traffic shaping based on request resource usage
CN108196959B (zh) Etl系统的资源管理方法及装置
CN111640020B (zh) 区块链中事务请求处理方法、装置、设备和介质
CN112764890A (zh) 调度备份任务的方法、设备和计算机程序产品
CN109189572B (zh) 一种资源预估方法及系统、电子设备和存储介质
CN111262726A (zh) 一种配置信息更新方法、装置及计算机可读存储介质
CN113779060A (zh) 数据查询方法和装置
CN111209104A (zh) 一种异构集群下Spark应用的能量感知调度方法
CN112001563B (zh) 一种话单量的管理方法、装置、电子设备及存储介质
CN113625951A (zh) 一种桶生命周期配置方法、装置、设备及介质
CN108446169B (zh) 一种作业调度方法及装置
Han et al. An adaptive scheduling algorithm for heterogeneous Hadoop systems
CN107589985B (zh) 一种面向大数据平台的两阶段作业调度方法及系统
CN116661960A (zh) 一种批量任务处理方法、装置、设备以及存储介质
CN105095382A (zh) 样本分布式聚类计算方法及装置
Liu et al. On-line preemptive scheduling of real-time services with profit and penalty
CN111309253B (zh) 一种机箱端口状态转换方法、装置、设备及存储介质
CN113726885A (zh) 一种流量配额的调整方法和装置
JP5441179B2 (ja) ジョブ実行管理システム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant