CN113625951B - 一种桶生命周期配置方法、装置、设备及介质 - Google Patents
一种桶生命周期配置方法、装置、设备及介质 Download PDFInfo
- Publication number
- CN113625951B CN113625951B CN202110741509.1A CN202110741509A CN113625951B CN 113625951 B CN113625951 B CN 113625951B CN 202110741509 A CN202110741509 A CN 202110741509A CN 113625951 B CN113625951 B CN 113625951B
- Authority
- CN
- China
- Prior art keywords
- optimization
- objective
- target
- determining
- life cycle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 53
- 238000005457 optimization Methods 0.000 claims abstract description 133
- 239000002245 particle Substances 0.000 claims description 25
- 238000011156 evaluation Methods 0.000 claims description 11
- 238000004590 computer program Methods 0.000 claims description 10
- 230000000694 effects Effects 0.000 abstract description 13
- 238000012545 processing Methods 0.000 abstract description 11
- 238000004891 communication Methods 0.000 description 5
- 238000012546 transfer Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000012217 deletion Methods 0.000 description 2
- 230000037430 deletion Effects 0.000 description 2
- 230000002567 autonomic effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
- G06F3/0604—Improving or facilitating administration, e.g. storage management
- G06F3/0607—Improving or facilitating administration, e.g. storage management by facilitating the process of upgrading existing storage systems, e.g. for improving compatibility between host and storage device
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
- G06F3/0629—Configuration or reconfiguration of storage systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
- G06F3/0655—Vertical data movement, i.e. input-output transfer; data movement between one or more hosts and one or more storage devices
- G06F3/0659—Command handling arrangements, e.g. command buffers, queues, command scheduling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
- G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/004—Artificial life, i.e. computing arrangements simulating life
- G06N3/006—Artificial life, i.e. computing arrangements simulating life based on simulated virtual individual or collective life forms, e.g. social simulations or particle swarm optimisation [PSO]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Biophysics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- General Factory Administration (AREA)
Abstract
本申请公开了一种桶生命周期配置方法、装置、设备及介质,包括:确定桶生命周期的配置参数的可行域;基于所述可行域,利用预设多目标优化算法以第一优化目标和第二优化目标确定最优配置参数集;其中,所述第一优化目标为基于配置参数处理过期数据之后剩余过期数据相对于总过期数据的空间占比;所述第二优化目标为基于配置参数处理过期数据对应的集群性能占用率;从所述最优配置参数集中确定出目标配置参数,利用所述目标配置参数配置桶生命周期。这样,能够兼顾桶生命周期效果以及其他业务处理,从而提升系统性能。
Description
技术领域
本申请涉及对象存储技术领域,特别涉及一种桶生命周期配置方法、装置、设备及介质。
背景技术
在实际的存储过程中,部分数据不必长时间存储在系统中,因此往往需要数据过期删除的功能。在RGW(即RADOS(即Reliable Autonomic Distributed Object Store,可靠,自治,分布式对象存储)gateway,对象存储网关)中,针对数据的过期删除功能为桶生命周期,即LC(即lifecycle,生命周期),该功能可以给桶设置一个规则,这个规则包括桶里的何种数据在何时会过期,以及过期之后是删除还是转移到其他存储空间。其中,桶生命周期的配置参数影响桶生命周期的执行效果。
在RGW中,当数据量超过一定范围时,由于的特性是遍历桶中所有的对象元数据之后把过期对象删除或转移,所以可能有对象在规定时间内没有被删除或转移,例如,设置3天后过期的对象可能在一周后才被删除或转移,造成空间的释放不及时,影响存储系统性能。然而盲目调高LC的转移或删除效率,又会因为LC对系统资源的占用而引发其他业务的处理问题。当前,桶生命周期的参数设置一般根据经验,但由于需要兼顾LC效果和其他业务的处理很难做出选择,难以适应现在大规模存储的多样化需求。
发明内容
有鉴于此,本申请的目的在于提供一种桶生命周期配置方法、装置、设备及介质,能够兼顾桶生命周期效果以及其他业务处理,从而提升系统性能。其具体方案如下:
第一方面,本申请公开了一种桶生命周期配置方法,包括:
确定桶生命周期的配置参数的可行域;
基于所述可行域,利用预设多目标优化算法以第一优化目标和第二优化目标确定最优配置参数集;其中,所述第一优化目标为基于配置参数处理过期数据之后剩余过期数据相对于总过期数据的空间占比;所述第二优化目标为基于配置参数处理过期数据对应的集群性能占用率;
从所述最优配置参数集中确定出目标配置参数,利用所述目标配置参数配置桶生命周期。
可选的,所述确定桶生命周期的配置参数的可行域,包括:
确定桶生命周期的并发线程数、最大对象数以及线程队列数的可行域。
可选的,所述第一优化目标以及所述第二优化目标的优化目标公式为:
其中,Er表示第一优化目标,Pr表示第二优化目标,mworker表示并发线程数,mwq表示线程队列数,mobj表示最大对象数,S表示过期数据总数,W表示集群总性能数据。
可选的,所述基于所述可行域,利用预设多目标优化算法以第一优化目标和第二优化目标确定最优配置参数集,包括:
基于所述可行域,利用多目标粒子群优化算法以第一优化目标和第二优化目标确定最优配置参数集。
可选的,所述基于所述可行域,利用多目标粒子群优化算法以第一优化目标和第二优化目标确定最优配置参数集,包括:
确定种群个数以及最大评价次数;
基于所述可行域、种群个数以及最大评价次数,利用多目标粒子群优化算法以第一优化目标和第二优化目标确定最优配置参数集。
第二方面,本申请公开了一种桶生命周期配置装置,包括:
参数可行域确定模块,用于确定桶生命周期的配置参数的可行域;
最优配置参数集确定模块,用于基于所述可行域,利用预设多目标优化算法以第一优化目标和第二优化目标确定最优配置参数集;其中,所述第一优化目标为基于配置参数处理过期数据之后剩余过期数据相对于总过期数据的空间占比;所述第二优化目标为基于配置参数处理过期数据对应的集群性能占用率;
桶生命周期配置模块,用于从所述最优配置参数集中确定出目标配置参数,利用所述目标配置参数配置桶生命周期。
可选的,所述参数可行域确定模块,具体用于:
确定桶生命周期的并发线程数、最大对象数以及线程队列数的可行域。
可选的,所述第一优化目标以及所述第二优化目标的优化目标公式为:
其中,Er表示第一优化目标,Pr表示第二优化目标,mworker表示并发线程数,mwq表示线程队列数,mobj表示最大对象数,S表示过期数据总数,W表示集群总性能数据。
第三方面,本申请公开了一种电子设备,包括:
存储器,用于保存计算机程序;
处理器,用于执行所述计算机程序,以实现前述的桶生命周期配置方法。
第四方面,本申请公开了一种计算机可读存储介质,用于保存计算机程序,所述计算机程序被处理器执行时实现前述的桶生命周期配置方法。
可见,本申请先确定桶生命周期的配置参数的可行域,之后基于所述可行域,利用预设多目标优化算法以第一优化目标和第二优化目标确定最优配置参数集;其中,所述第一优化目标为基于配置参数处理过期数据之后剩余过期数据相对于总过期数据的空间占比;所述第二优化目标为基于配置参数处理过期数据对应的集群性能占用率,最后从所述最优配置参数集中确定出目标配置参数,利用所述目标配置参数配置桶生命周期。也即,本申请以桶生命周期的配置参数为被优化参数,以基于配置参数处理过期数据之后剩余过期数据相对于总过期数据的空间占比,以及为基于配置参数处理过期数据对应的集群性能占用率为优化目标,其中,基于配置参数处理过期数据之后剩余过期数据相对于总过期数据的空间占比反映了桶生命周期的处理效果,基于配置参数处理过期数据对应的集群性能占用率反映了桶生命周期对其他业务的影响,这样的优化目标,能够兼顾桶生命周期效果以及其他业务处理,从而提升系统性能。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1为本申请公开的一种桶生命周期配置方法流程图;
图2为本申请提供的一种具体的多目标粒子群优化算法优化示意图;
图3为本申请公开的一种桶生命周期配置装置结构示意图;
图4为本申请公开的一种电子设备结构图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
在RGW中,当数据量超过一定范围时,由于的特性是遍历桶中所有的对象元数据之后把过期对象删除或转移,所以可能有对象在规定时间内没有被删除或转移,例如,设置3天后过期的对象可能在一周后才被删除或转移,造成空间的释放不及时,影响存储系统性能。然而盲目调高LC的转移或删除效率,又会因为LC对系统资源的占用而引发其他业务的处理问题。当前,桶生命周期的参数设置一般根据经验,但由于需要兼顾LC效果和其他业务的处理很难做出选择,难以适应现在大规模存储的多样化需求。为此,本申请提供了一种桶生命周期配置方案,能够兼顾桶生命周期效果以及其他业务处理,从而提升系统性能。
参见图1所示,本申请实施例公开了一种桶生命周期配置方法,包括:
步骤S11:确定桶生命周期的配置参数的可行域。
在具体的实施方式中,可以确定桶生命周期的并发线程数、最大对象数以及线程队列数的可行域。
也即,本申请实施例将影响桶生命周期效果的并发线程数、最大对象数以及线程队列数作为被优化参数。
步骤S12:基于所述可行域,利用预设多目标优化算法以第一优化目标和第二优化目标确定最优配置参数集;其中,所述第一优化目标为基于配置参数处理过期数据之后剩余过期数据相对于总过期数据的空间占比;所述第二优化目标为基于配置参数处理过期数据对应的集群性能占用率。
其中,所述第一优化目标以及所述第二优化目标的优化目标公式为:
其中,Er表示第一优化目标,Pr表示第二优化目标,mworker表示并发线程数,mwq表示线程队列数,mobj表示最大对象数,S表示过期数据总数,W表示集群总性能数据。
并且,W具体可以为集群每秒能够并发处理的数据量。
在具的实施方式中,基于所述可行域,利用MOPSO(即Multi-objective ParticleSwarm Optimization,多目标粒子群优化)算法以第一优化目标和第二优化目标确定最优配置参数集。
进一步的,本申请实施例确定种群个数以及最大评价次数;基于所述可行域、种群个数以及最大评价次数,利用多目标粒子群优化算法以第一优化目标和第二优化目标确定最优配置参数集。
具体的,利用多目标粒子群优化算法确定最优配置参数集的步骤,包括:输入LC的并发线程、LC的最大对象数、LC的线程队列数的可行域,种群个体数P,最大评价次数maxFES。
Step1:初始化种群,随机生成P个粒子,每个粒子表示一种可行的解决方案(即配置参数组,包括并发线程数、最大对象数以及线程队列数),使用每个粒子的方案进行桶生命周期功能配置,并利用优化目标公式计算适应度值;
Step2:筛选粒子,确定每个粒子的历史最优pbest,并找出全局最优gbest;
其中,在初次迭代时,初始化每个粒子的历史最优pbest为其本身,并找出全局最优gbest。
Step3:根据速度和位置公式进行位置和速度的计算更新,根据优化目标公式对每一个粒子做评估操作得到新的粒子群;
Step4:更新最优解也即更新gbest,以及更新历史最优pbest;
Step5:达到最大评价次数则输出该种群中的Pareto解集,否则回到Step2;
Step6:得到的Pareto解集,也就是最优参数池。
需要指出的是,多目标粒子群优化算法可以在决策空间中找到近似PF(即ParetoFront,帕累托前沿)对应的非支配Pareto解集。决策者根据实际情况从解决方案集中选择解决方案。如图2所示,图2为本申请提供的一种具体的多目标粒子群优化算法优化示意图。其中,图2中左侧、右侧图的圆圈分别对应了Pareto最优解集和最优目标结果,方形表示非最优解以及非最优目标结果,f1和f2分别表示本申请中的Er和Pr。
也即,本申请实施例以桶生命周期功能和集群性能为目标,以发线程数、最大对象数以及线程队列数为被优化参数,利用多目标参数算法,得到最优配置参数集,将桶生命周期优化问题转化为多目标优化问题,利用多目标粒子群优化算法解决。
步骤S13:从所述最优配置参数集中确定出目标配置参数,利用所述目标配置参数配置桶生命周期。
在具体的实施方式中,用户可利用最优解集并结合自己的需求来配置集群,也即从最优解集中筛选出一组并发线程数、最大对象数以及线程队列数,配置桶生命周期,从而更好地发挥集群的性能。
可见,本申请实施例先确定桶生命周期的配置参数的可行域,之后基于所述可行域,利用预设多目标优化算法以第一优化目标和第二优化目标确定最优配置参数集;其中,所述第一优化目标为基于配置参数处理过期数据之后剩余过期数据相对于总过期数据的空间占比;所述第二优化目标为基于配置参数处理过期数据对应的集群性能占用率,最后从所述最优配置参数集中确定出目标配置参数,利用所述目标配置参数配置桶生命周期。也即,本申请以桶生命周期的配置参数为被优化参数,以基于配置参数处理过期数据之后剩余过期数据相对于总过期数据的空间占比,以及为基于配置参数处理过期数据对应的集群性能占用率为优化目标,其中,基于配置参数处理过期数据之后剩余过期数据相对于总过期数据的空间占比反映了桶生命周期的处理效果,基于配置参数处理过期数据对应的集群性能占用率反映了桶生命周期对其他业务的影响,这样的优化目标,能够兼顾桶生命周期效果以及其他业务处理,从而提升系统性能。
参见图3所示,本申请实施例公开了一种桶生命周期配置装置,包括:
参数可行域确定模块11,用于确定桶生命周期的配置参数的可行域;
最优配置参数集确定模块12,用于基于所述可行域,利用预设多目标优化算法以第一优化目标和第二优化目标确定最优配置参数集;其中,所述第一优化目标为基于配置参数处理过期数据之后剩余过期数据相对于总过期数据的空间占比;所述第二优化目标为基于配置参数处理过期数据对应的集群性能占用率;
桶生命周期配置模块13,用于从所述最优配置参数集中确定出目标配置参数,利用所述目标配置参数配置桶生命周期。
可见,本申请实施例先确定桶生命周期的配置参数的可行域,之后基于所述可行域,利用预设多目标优化算法以第一优化目标和第二优化目标确定最优配置参数集;其中,所述第一优化目标为基于配置参数处理过期数据之后剩余过期数据相对于总过期数据的空间占比;所述第二优化目标为基于配置参数处理过期数据对应的集群性能占用率,最后从所述最优配置参数集中确定出目标配置参数,利用所述目标配置参数配置桶生命周期。也即,本申请以桶生命周期的配置参数为被优化参数,以基于配置参数处理过期数据之后剩余过期数据相对于总过期数据的空间占比,以及为基于配置参数处理过期数据对应的集群性能占用率为优化目标,其中,基于配置参数处理过期数据之后剩余过期数据相对于总过期数据的空间占比反映了桶生命周期的处理效果,基于配置参数处理过期数据对应的集群性能占用率反映了桶生命周期对其他业务的影响,这样的优化目标,能够兼顾桶生命周期效果以及其他业务处理,从而提升系统性能。
其中,所述参数可行域确定模块11,具体用于:
确定桶生命周期的并发线程数、最大对象数以及线程队列数的可行域。
相应的,所述第一优化目标以及所述第二优化目标的优化目标公式为:
其中,Er表示第一优化目标,Pr表示第二优化目标,mworker表示并发线程数,mwq表示线程队列数,mobj表示最大对象数,S表示过期数据总数,W表示集群总性能数据。
在具体的实施方式中,最优配置参数集确定模块12,具体用于基于所述可行域,利用多目标粒子群优化算法以第一优化目标和第二优化目标确定最优配置参数集。
进一步的,最优配置参数集确定模块12,具体用于确定种群个数以及最大评价次数;基于所述可行域、种群个数以及最大评价次数,利用多目标粒子群优化算法以第一优化目标和第二优化目标确定最优配置参数集。
参见图4所示,本申请实施例公开了一种电子设备20,包括处理器21和存储器22;其中,所述存储器22,用于保存计算机程序;所述处理器21,用于执行所述计算机程序,前述实施例公开的桶生命周期配置方法。
关于上述桶生命周期配置方法的具体过程可以参考前述实施例中公开的相应内容,在此不再进行赘述。
并且,所述存储器22作为资源存储的载体,可以是只读存储器、随机存储器、磁盘或者光盘等,存储方式可以是短暂存储或者永久存储。
另外,所述电子设备20还包括电源23、通信接口24、输入输出接口25和通信总线26;其中,所述电源23用于为所述电子设备20上的各硬件设备提供工作电压;所述通信接口24能够为所述电子设备20创建与外界设备之间的数据传输通道,其所遵循的通信协议是能够适用于本申请技术方案的任意通信协议,在此不对其进行具体限定;所述输入输出接口25,用于获取外界输入数据或向外界输出数据,其具体的接口类型可以根据具体应用需要进行选取,在此不进行具体限定。
进一步的,本申请实施例还公开了一种计算机可读存储介质,用于保存计算机程序,其中,所述计算机程序被处理器执行时实现前述实施例公开的桶生命周期配置方法。
关于上述桶生命周期配置方法的具体过程可以参考前述实施例中公开的相应内容,在此不再进行赘述。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其它实施例的不同之处,各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块,或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
以上对本申请所提供的一种桶生命周期配置方法、装置、设备及介质进行了详细介绍,本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想;同时,对于本领域的一般技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本申请的限制。
Claims (6)
1.一种桶生命周期配置方法,其特征在于,包括:
确定桶生命周期的配置参数的可行域;
基于所述可行域,利用预设多目标优化算法以第一优化目标和第二优化目标确定最优配置参数集;其中,所述第一优化目标为基于配置参数处理过期数据之后剩余过期数据相对于总过期数据的空间占比;所述第二优化目标为基于配置参数处理过期数据对应的集群性能占用率;
从所述最优配置参数集中确定出目标配置参数,利用所述目标配置参数配置桶生命周期;
所述确定桶生命周期的配置参数的可行域,包括:
确定桶生命周期的并发线程数、最大对象数以及线程队列数的可行域;
所述第一优化目标以及所述第二优化目标的优化目标公式为:
;
其中,Er表示第一优化目标,Pr表示第二优化目标,m worker 表示并发线程数,m wq 表示线程队列数,m obj 表示最大对象数,S表示过期数据总数,W表示集群总性能数据。
2.根据权利要求1所述的桶生命周期配置方法,其特征在于,所述基于所述可行域,利用预设多目标优化算法以第一优化目标和第二优化目标确定最优配置参数集,包括:
基于所述可行域,利用多目标粒子群优化算法以第一优化目标和第二优化目标确定最优配置参数集。
3.根据权利要求2所述的桶生命周期配置方法,其特征在于,所述基于所述可行域,利用多目标粒子群优化算法以第一优化目标和第二优化目标确定最优配置参数集,包括:
确定种群个数以及最大评价次数;
基于所述可行域、种群个数以及最大评价次数,利用多目标粒子群优化算法以第一优化目标和第二优化目标确定最优配置参数集。
4.一种桶生命周期配置装置,其特征在于,包括:
参数可行域确定模块,用于确定桶生命周期的配置参数的可行域;
最优配置参数集确定模块,用于基于所述可行域,利用预设多目标优化算法以第一优化目标和第二优化目标确定最优配置参数集;其中,所述第一优化目标为基于配置参数处理过期数据之后剩余过期数据相对于总过期数据的空间占比;所述第二优化目标为基于配置参数处理过期数据对应的集群性能占用率;
桶生命周期配置模块,用于从所述最优配置参数集中确定出目标配置参数,利用所述目标配置参数配置桶生命周期;
所述参数可行域确定模块,具体用于:
确定桶生命周期的并发线程数、最大对象数以及线程队列数的可行域;
所述第一优化目标以及所述第二优化目标的优化目标公式为:
;
其中,Er表示第一优化目标,Pr表示第二优化目标,m worker 表示并发线程数,m wq 表示线程队列数,m obj 表示最大对象数,S表示过期数据总数,W表示集群总性能数据。
5.一种电子设备,其特征在于,包括:
存储器,用于保存计算机程序;
处理器,用于执行所述计算机程序,以实现如权利要求1至3任一项所述的桶生命周期配置方法。
6.一种计算机可读存储介质,其特征在于,用于保存计算机程序,所述计算机程序被处理器执行时实现如权利要求1至3任一项所述的桶生命周期配置方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110741509.1A CN113625951B (zh) | 2021-06-30 | 2021-06-30 | 一种桶生命周期配置方法、装置、设备及介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110741509.1A CN113625951B (zh) | 2021-06-30 | 2021-06-30 | 一种桶生命周期配置方法、装置、设备及介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113625951A CN113625951A (zh) | 2021-11-09 |
CN113625951B true CN113625951B (zh) | 2023-12-26 |
Family
ID=78378725
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110741509.1A Active CN113625951B (zh) | 2021-06-30 | 2021-06-30 | 一种桶生命周期配置方法、装置、设备及介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113625951B (zh) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9355060B1 (en) * | 2012-12-14 | 2016-05-31 | Amazon Technologies, Inc. | Storage service lifecycle policy transition management |
CN107590283A (zh) * | 2017-09-29 | 2018-01-16 | 浙江大华技术股份有限公司 | 一种文件回收方法、装置、服务器及计算机可读存储介质 |
WO2018036547A1 (zh) * | 2016-08-26 | 2018-03-01 | 华为技术有限公司 | 一种数据处理的方法以及装置 |
CN112463069A (zh) * | 2020-12-11 | 2021-03-09 | 苏州浪潮智能科技有限公司 | 一种存储垃圾回收的方法、装置、设备及可读介质 |
-
2021
- 2021-06-30 CN CN202110741509.1A patent/CN113625951B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9355060B1 (en) * | 2012-12-14 | 2016-05-31 | Amazon Technologies, Inc. | Storage service lifecycle policy transition management |
WO2018036547A1 (zh) * | 2016-08-26 | 2018-03-01 | 华为技术有限公司 | 一种数据处理的方法以及装置 |
CN107590283A (zh) * | 2017-09-29 | 2018-01-16 | 浙江大华技术股份有限公司 | 一种文件回收方法、装置、服务器及计算机可读存储介质 |
CN112463069A (zh) * | 2020-12-11 | 2021-03-09 | 苏州浪潮智能科技有限公司 | 一种存储垃圾回收的方法、装置、设备及可读介质 |
Non-Patent Citations (3)
Title |
---|
Impact of ammunition performance on weapon reliability & life cycle cost;Sandy Sheng;IEEE;全文 * |
基于参考点的高维多目标粒子群算法;韩敏;何泳;郑丹晨;;控制与决策(第04期);全文 * |
海上油气勘探目标全生命周期管理创新与实践;廖晋;金云智;吴迅达;梁豪;;石油科技论坛(第05期);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN113625951A (zh) | 2021-11-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11018798B2 (en) | Auto-tuning reliability protocol in pub-sub RTPS systems | |
US8635577B2 (en) | Timing refinement re-routing | |
CN108733508B (zh) | 用于控制数据备份的方法和系统 | |
CN111930486B (zh) | 任务选取数据处理方法、装置、设备及存储介质 | |
US9684366B2 (en) | Distributed power management system with plurality of power management controllers controlling zone and component power caps of respective zones by determining priority of other zones | |
CN108196959B (zh) | Etl系统的资源管理方法及装置 | |
US20130185427A1 (en) | Traffic shaping based on request resource usage | |
US9740275B2 (en) | Method performed by an associated power management controller of a zone based on node power consumption and priority data for each of the plurality of zones | |
CN103888377A (zh) | 报文缓存方法及装置 | |
CN112764890A (zh) | 调度备份任务的方法、设备和计算机程序产品 | |
CN110209502B (zh) | 一种信息存储方法、装置、电子设备及存储介质 | |
CN112748847A (zh) | 管理存储系统中的存储空间的方法、设备和程序产品 | |
CN110784336A (zh) | 基于物联网的多设备智能定时延时场景设置方法及系统 | |
CN113625951B (zh) | 一种桶生命周期配置方法、装置、设备及介质 | |
Etessami et al. | Polynomial time algorithms for branching Markov decision processes and probabilistic min (max) polynomial Bellman equations | |
CN107589985B (zh) | 一种面向大数据平台的两阶段作业调度方法及系统 | |
CN108446343B (zh) | 区域聚合的方法、装置及电子设备 | |
CN113726885A (zh) | 一种流量配额的调整方法和装置 | |
EP3777047B1 (en) | System and method for resource management and resource allocation in a self-optimizing network of heterogeneous processing nodes | |
CN113591999A (zh) | 一种端边云联邦学习模型训练系统及方法 | |
CN110019313B (zh) | 资源优化方法、装置、设备及介质 | |
CN115550132A (zh) | 数据的采集方法、系统和生产者网元 | |
Krishnamurthy et al. | Gradient based policy optimization of constrained markov decision processes | |
US20150205276A1 (en) | Method for controlling a system | |
CN113377277A (zh) | 管理存储器的方法、设备和计算机程序产品 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |