CN114489499A - 一种分布式云存储平台性能参数的智能调优系统 - Google Patents

一种分布式云存储平台性能参数的智能调优系统 Download PDF

Info

Publication number
CN114489499A
CN114489499A CN202210052769.2A CN202210052769A CN114489499A CN 114489499 A CN114489499 A CN 114489499A CN 202210052769 A CN202210052769 A CN 202210052769A CN 114489499 A CN114489499 A CN 114489499A
Authority
CN
China
Prior art keywords
performance
parameters
parameter
training module
performance model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210052769.2A
Other languages
English (en)
Inventor
王迎彬
高传集
王腾飞
李超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Inspur Cloud Information Technology Co Ltd
Original Assignee
Inspur Cloud Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Inspur Cloud Information Technology Co Ltd filed Critical Inspur Cloud Information Technology Co Ltd
Priority to CN202210052769.2A priority Critical patent/CN114489499A/zh
Publication of CN114489499A publication Critical patent/CN114489499A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0653—Monitoring storage devices or systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Human Computer Interaction (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开一种分布式云存储平台性能参数的智能调优系统，涉及系统参数调节技术领域，包括服务端和客户端；服务端为多参数系统；客户端包括场景识别模块、数据训练模块和数据交互模块；场景识别模块自动识别业务场景，获取当前业务参数，并生成特定的测试命令，实现自动化监测；数据训练模块选用SVR算法构建系统参数及对应的性能模型，选用拟牛顿算法计算模型的极值点，获取当前最优的参数配置；数据交互模块首先利用最优参数在服务端自动构建系统可调节模块，随后将生成的特定测试命令发送至服务端，服务端执行测试命令，并反馈执行结果至数据训练模块，数据训练模块利用SVR算法进行参数寻优，实现性能参数的自动调优。本发明可以提高调优效率。

Description

一种分布式云存储平台性能参数的智能调优系统
技术领域
本发明涉及系统参数调节技术领域，具体的说是一种分布式云存储平台性能参数的智能调优系统。
背景技术
分布式云存储往往通过多参数调节其系统性能，不同参数值的设置会直接影响系统性能，例如rockesdb、cache tier和bcache等系统。为获取不同应用场景、不同参数下系统的性能极值，人工调节各项参数存在场景多、参数多、测试量大的问题。
发明内容
本发明针对目前技术发展的需求和不足之处，提供一种分布式云存储平台性能参数的智能调优系统。
本发明的一种分布式云存储平台性能参数的智能调优系统，解决上述技术问题采用的技术方案如下：
一种分布式云存储平台性能参数的智能调优系统，该系统包括服务端和客户端两部分；
服务端为多参数系统；
客户端包括场景识别模块、数据训练模块和数据交互模块，其中：
场景识别模块自动识别业务场景，获取当前业务场景的业务参数，并根据识别的业务场景生成特定的测试命令，实现自动化监测；
数据训练模块选用SVR算法构建系统参数及对应参数的性能模型，选用拟牛顿算法计算性能模型的极值点，获取当前最优的参数配置；
数据交互模块实现客户端和服务端的数据交互，首先利用数据训练模块得到的最优参数在服务端自动构建系统可调节模块，随后将场景识别模块根据业务场景生成的特定测试命令发送至服务端，服务端执行该测试命令，并将执行结果反馈至数据训练模块，数据训练模块利用SVR算法进行参数寻优，最终实现性能参数的自动调优。
进一步的，数据训练模块选用拟牛顿算法获取当前最优的参数配置后，继续选用CVT算法在性能模型的极值点周围重新取点，重新获取新的系统参数，并测试对应参数的性能，随后再次使用SVR算法获取性能模型，并使用拟牛顿算法获取性能模型的极值点；数据训练模块多次迭代获取性能模型极值点的过程，并在前后两次迭代的性能极值点比值达到设定阈值时，将最后一次构建的性能模型和取得的极值点作为最优的参数配置。
具体的，本智能调优系统对Ceph集群的cache tier池参数进行调优，调优过程如下：
(1)使用场景识别模块自动识别Ceph集群的业务场景，获取当前业务场景的blocksize参数，并针对当前业务场景生成特定的fio测试命令，实现自动化监测；
(2)数据交互模块根据Ceph集群的多组cache tier参数X1(x11,x12…x1i)…Xn(xn1,xn2…xni)，分别在服务端自动构建n个存储池作为系统可调节模块，并配置cache tier池，使用场景识别模块生成的fio测试命令分别测得n个存储池对应的IO性能值Y1…Yn；
(3)数据训练模块根据cache tier参数X1…Xn和对应的集群性能Y1…Yn，应用SVR算法计算集群IO参数的性能模型f(X)；
(4)数据训练模块采用拟牛顿法计算性能模型f(X)的极值点Yh以及对应的集群参数Xh；
(5)数据训练模块选用CVT算法在性能模型f(X)的极值点周围重新取点，重新获取新的系统参数，并测试对应参数的性能，随后再次应用SVR算法计算集群IO参数的性能模型f(X)，并返回执行步骤(4)，直至前后两个极值点处的性能比值达到设定阈值时，认为集群性能达到最优，取该点处的参数来配置集群cache tier池。
优选的，所涉及数据训练模块选用CVT算法在性能模型f(X)的极值点周围重新取点的过程中，新的取样点会逐渐向性能模型f(X)的极值点Yh移动。
可选的，执行步骤(3)，数据训练模块应用SVR算法计算集群IO参数的性能模型f(X)，具体流程如下：
(3.1)数据训练模块在cache tier参数可选范围Q∈R2中预选n个观测点，表示为Xi＝[xi1,xi2…xim]，各参数对应的集群IO性能点表示为Yi；
(3.2)引入非线性映射X→φ(X)，将数据映射到高维空间，那么，在精度ε下，集群IO参数的性能模型f(X)的非线性拟合函数可表示为：
Figure BDA0003474973930000031
其中，w表示函数的影响因子，b表示函数的偏移量；
(3.3)引入RBF高斯核函数：
Figure BDA0003474973930000032
支持向量为SVs，在计算过程中，假设在i个观测点中共有k个支持向量，则根据SVR算法的最优回归方程：
Figure BDA0003474973930000033
可得出集群IO参数的性能模型为：
Figure BDA0003474973930000034
其中，X代表cache tier参数选择(x1,x2…xm)，
σ参数控制函数的宽度，可选取cache tier参数设置的最大值，
αi和αi*为拉格朗日函数的参数，为SVR算法推导的过程参数，SVR算法采用工具箱实现，并不需要对其人工赋值，b表示函数的偏移量。
可选的，执行步骤(4)，数据训练模块采用拟牛顿法计算性能模型f(X)的极值点Yh以及对应的集群参数Xh，具体流程如下：
(4.1)数据训练模块首先利用性能模型f(X)当前两次迭代之间的位移和目标函数的梯度差构造Hessen矩阵近似阵的逆矩阵；
(4.2)数据训练模块随后使用拟牛顿法求解性能模型f(X)的极值点Yh以及对应的集群参数Xh。
进一步可选的，执行步骤(4.1)，数据训练模块构造Hessen矩阵近似阵的逆矩阵，具体操作为：
(4.1.1)将f(X)在Xk+1处展成Taylor级数，取二阶近似，得到：
Figure BDA0003474973930000041
(4.1.2)两边关于X求梯度，得到：
Figure BDA0003474973930000042
(4.1.3)令X＝Xk，sk＝Xk+1-Xk，且
Figure BDA0003474973930000043
jk＝gk+1-gk则有：
Figure BDA0003474973930000044
其中，
Figure BDA0003474973930000045
为Hessen矩阵；
(4.1.4)通过BFGS法构造Hessen矩阵的近似阵Bk+1，并计算近似阵Bk+1的逆矩阵Hk+1，如下：
Figure BDA0003474973930000046
逆矩阵Hk+1满足方程：
sk＝Hk+1jk，
该方程即为拟牛顿方程，利用拟牛顿方程沿拟牛顿方向dk＝-Hk gk进行搜索即可产生新的迭代点。
进一步可选的，执行步骤(4.2)，数据训练模块使用拟牛顿法求解性能模型f(X)的极值点Yh以及对应的集群参数Xh，具体操作为：
(4.2.1)令k＝0，H0为单位矩阵I，给定初始点X0＝(x0，y0)，设定收敛阈值为τ，迭代次数为N；
(4.2.2)计算性能模型f(X)的梯度
Figure BDA0003474973930000047
确定搜索方向dk＝-Hk gk；
(4.2.3)从Xk出发沿dk搜索，满足
Figure BDA0003474973930000051
令Xk+1＝Xk+λkdk；
(4.2.4)若║f(Xk+1)║≤τ，则停止迭代，得到最优解X＝Xk+1，进行步骤(4.2.6)，否则进行步骤(4.2.5)；
(4.2.5)若k＝N，则令X＝Xk+1，进行步骤(4.2.6)，否则令k＝k+1，返回步骤(4.2.2)；
(4.2.6)输出最优解X和最优解处的性能模型f(X)，即求得最优cache tier参数Xh以及极值点Yh。
本发明的一种分布式云存储平台性能参数的智能调优系统，与现有技术相比具有的有益效果是：
(1)本发明可以实现云存储平台全流程的自动化监测、自动化测试和自动化调优，降低了测试工作量；
(2)本发明的智能调优过程中，根据业务场景生成特定的测试命令，能更准确的获得所需性能，使用SVR算法计算系统参数和集群性能模型，可以量化两者的数量关系，根据性能模型应用拟牛顿法，可以计算性能模型的极值点，以判断最优的性能参数选择以及理论上的性能极值，根据性能模型使用CVT算法，可多次优化取样点位置，获得更准确的参数及性能模型。
附图说明
附图1是本发明实施例一的系统架构图；
附图2是本发明实施例一的系统调优流程图。
具体实施方式
为使本发明的技术方案、解决的技术问题和技术效果更加清楚明白，以下结合具体实施例，对本发明的技术方案进行清楚、完整的描述。
实施例一：
结合附图1，本实施例提出一种分布式云存储平台性能参数的智能调优系统，该系统包括服务端和客户端两部分。
服务端为多参数系统。
客户端包括场景识别模块、数据训练模块和数据交互模块，其中：
场景识别模块自动识别业务场景，获取当前业务场景的业务参数，并根据识别的业务场景生成特定的测试命令，实现自动化监测；
数据训练模块选用SVR算法构建系统参数及对应参数的性能模型，选用拟牛顿算法计算性能模型的极值点，获取当前最优的参数配置；
数据交互模块实现客户端和服务端的数据交互，首先利用数据训练模块得到的最优参数在服务端自动构建系统可调节模块，随后将场景识别模块根据业务场景生成的特定测试命令发送至服务端，服务端执行该测试命令，并将执行结果反馈至数据训练模块，数据训练模块利用SVR算法进行参数寻优，最终实现性能参数的自动调优。
数据训练模块选用拟牛顿算法获取当前最优的参数配置后，继续选用CVT算法在性能模型的极值点周围重新取点，重新获取新的系统参数，并测试对应参数的性能，随后再次使用SVR算法获取性能模型，并使用拟牛顿算法获取性能模型的极值点；数据训练模块多次迭代获取性能模型极值点的过程，并在前后两次迭代的性能极值点比值达到设定阈值时，将最后一次构建的性能模型和取得的极值点作为最优的参数配置。
结合附图2，基于本实施例的智能调优系统，以对Ceph集群的cache tier池参数进行调优为例，具体调优过程如下：
(1)使用场景识别模块自动识别Ceph集群的业务场景，获取当前业务场景的blocksize参数，并针对当前业务场景生成特定的fio测试命令，实现自动化监测。
(2)数据交互模块根据Ceph集群的多组cache tier参数X1(x11,x12…x1i)…Xn(xn1,xn2…xni)，分别在服务端自动构建n个存储池作为系统可调节模块，并配置cache tier池，使用场景识别模块生成的fio测试命令分别测得n个存储池对应的IO性能值Y1…Yn。
(3)数据训练模块根据cache tier参数X1…Xn和对应的集群性能Y1…Yn，应用SVR算法计算集群IO参数的性能模型f(X)，具体流程如下：
(3.1)数据训练模块在cache tier参数可选范围Q∈R2中预选n个观测点，表示为Xi＝[xi1,xi2…xim]，各参数对应的集群IO性能点表示为Yi；
(3.2)引入非线性映射X→φ(X)，将数据映射到高维空间，那么，在精度ε下，集群IO参数的性能模型f(X)的非线性拟合函数可表示为：
Figure BDA0003474973930000071
其中，w表示函数的影响因子，b表示函数的偏移量；
(3.3)引入RBF高斯核函数：
Figure BDA0003474973930000072
支持向量为SVs，在计算过程中，假设在i个观测点中共有k个支持向量，则根据SVR算法的最优回归方程：
Figure BDA0003474973930000073
可得出集群IO参数的性能模型为：
Figure BDA0003474973930000074
其中，X代表cache tier参数选择(x1,x2…xm)，
σ参数控制函数的宽度，可选取cache tier参数设置的最大值，
αi和αi*为拉格朗日函数的参数，为SVR算法推导的过程参数，SVR算法采用工具箱实现，并不需要对其人工赋值，b表示函数的偏移量。
(4)数据训练模块采用拟牛顿法计算性能模型f(X)的极值点Yh以及对应的集群参数Xh，具体流程如下：
(4.1)数据训练模块首先利用性能模型f(X)当前两次迭代之间的位移和目标函数的梯度差构造Hessen矩阵近似阵的逆矩阵，具体操作为：
(4.1.1)将f(X)在Xk+1处展成Taylor级数，取二阶近似，得到：
Figure BDA0003474973930000081
(4.1.2)两边关于X求梯度，得到：
Figure BDA0003474973930000082
(4.1.3)令X＝Xk，sk＝Xk+1-Xk，且
Figure BDA0003474973930000083
jk＝gk+1-gk则有：
Figure BDA0003474973930000084
其中，
Figure BDA0003474973930000085
为Hessen矩阵；
(4.1.4)通过BFGS法构造Hessen矩阵的近似阵Bk+1，并计算近似阵Bk+1的逆矩阵Hk+1，如下：
Figure BDA0003474973930000086
逆矩阵Hk+1满足方程：
sk＝Hk+1jk，
该方程即为拟牛顿方程，利用拟牛顿方程沿拟牛顿方向dk＝-Hk gk进行搜索即可产生新的迭代点。
(4.2)数据训练模块随后使用拟牛顿法求解性能模型f(X)的极值点Yh以及对应的集群参数Xh，具体操作为：
(4.2.1)令k＝0，H0为单位矩阵I，给定初始点X0＝(x0，y0)，设定收敛阈值为τ，迭代次数为N；
(4.2.2)计算性能模型f(X)的梯度
Figure BDA0003474973930000087
确定搜索方向dk＝-Hk gk；
(4.2.3)从Xk出发沿dk搜索，满足
Figure BDA0003474973930000088
令Xk+1＝Xk+λkdk；
(4.2.4)若║f(Xk+1)║≤τ，则停止迭代，得到最优解X＝Xk+1，进行步骤(4.2.6)，否则进行步骤(4.2.5)；
(4.2.5)若k＝N，则令X＝Xk+1，进行步骤(4.2.6)，否则令k＝k+1，返回步骤(4.2.2)；
(4.2.6)输出最优解X和最优解处的性能模型f(X)，即求得最优cache tier参数Xh以及极值点Yh。
(5)数据训练模块选用CVT算法在性能模型f(X)的极值点周围重新取点，重新获取新的系统参数，并测试对应参数的性能，随后再次应用SVR算法计算集群IO参数的性能模型f(X)，并返回执行步骤(4)，直至前后两个极值点处的性能比值达到设定阈值时，认为集群性能达到最优，取该点处的参数来配置集群cache tier池。
需要补充的是：数据训练模块选用CVT算法在性能模型f(X)的极值点周围重新取点的过程中，新的取样点会逐渐向性能模型f(X)的极值点Yh移动。
综上可知，采用本发明的一种分布式云存储平台性能参数的智能调优系统，可以实现云存储平台全流程的自动化监测、自动化测试和自动化调优，降低了测试工作量。
基于本发明的上述具体实施例，本技术领域的技术人员在不脱离本发明原理的前提下，对本发明所作出的任何改进和修饰，皆应落入本发明的专利保护范围。

Claims (8)

1.一种分布式云存储平台性能参数的智能调优系统，其特征在于,该系统包括服务端和客户端两部分；
所述服务端为多参数系统；
所述客户端包括场景识别模块、数据训练模块和数据交互模块，其中：
所述场景识别模块自动识别业务场景，获取当前业务场景的业务参数，并根据识别的业务场景生成特定的测试命令，实现自动化监测；
所述数据训练模块选用SVR算法构建系统参数及对应参数的性能模型，选用拟牛顿算法计算性能模型的极值点，获取当前最优的参数配置；
所述数据交互模块实现客户端和服务端的数据交互，首先利用数据训练模块得到的最优参数在服务端自动构建系统可调节模块，随后将场景识别模块根据业务场景生成的特定测试命令发送至服务端，服务端执行该测试命令，并将执行结果反馈至数据训练模块，数据训练模块利用SVR算法进行参数寻优，最终实现性能参数的自动调优。
2.根据权利要求1所述的一种分布式云存储平台性能参数的智能调优系统，其特征在于，所述数据训练模块选用拟牛顿算法获取当前最优的参数配置后，继续选用CVT算法在性能模型的极值点周围重新取点，重新获取新的系统参数，并测试对应参数的性能，随后再次使用SVR算法获取性能模型，并使用拟牛顿算法获取性能模型的极值点；所述数据训练模块多次迭代获取性能模型极值点的过程，并在前后两次迭代的性能极值点比值达到设定阈值时，将最后一次构建的性能模型和取得的极值点作为最优的参数配置。
3.根据权利要求2所述的一种分布式云存储平台性能参数的智能调优系统，其特征在于，所述系统对Ceph集群的cache tier池参数进行智能调优，具体调优过程如下：
(1)使用场景识别模块自动识别Ceph集群的业务场景，获取当前业务场景的blocksize参数，并针对当前业务场景生成特定的fio测试命令，实现自动化监测；
(2)数据交互模块根据Ceph集群的多组cache tier参数X1(x11,x12…x1i)…Xn(xn1,xn2…xni)，分别在服务端自动构建n个存储池作为系统可调节模块，并配置cache tier池，使用场景识别模块生成的fio测试命令分别测得n个存储池对应的IO性能值Y1…Yn；
(3)数据训练模块根据cache tier参数X1…Xn和对应的集群性能Y1…Yn，应用SVR算法计算集群IO参数的性能模型f(X)；
(4)数据训练模块采用拟牛顿法计算性能模型f(X)的极值点Yh以及对应的集群参数Xh；
(5)数据训练模块选用CVT算法在性能模型f(X)的极值点周围重新取点，重新获取新的系统参数，并测试对应参数的性能，随后再次应用SVR算法计算集群IO参数的性能模型f(X)，并返回执行步骤(4)，直至前后两个极值点处的性能比值达到设定阈值时，认为集群性能达到最优，取该点处的参数来配置集群cache tier池。
4.根据权利要求3所述的一种分布式云存储平台性能参数的智能调优系统，其特征在于，数据训练模块选用CVT算法在性能模型f(X)的极值点周围重新取点的过程中，新的取样点会逐渐向性能模型f(X)的极值点Yh移动。
5.根据权利要求3所述的一种分布式云存储平台性能参数的智能调优系统，其特征在于，执行步骤(3)，数据训练模块应用SVR算法计算集群IO参数的性能模型f(X)，具体流程如下：
(3.1)数据训练模块在cache tier参数可选范围Q∈R2中预选n个观测点，表示为Xi＝[xi1,xi2…xim]，各参数对应的集群IO性能点表示为Yi；
(3.2)引入非线性映射X→φ(X)，将数据映射到高维空间，那么，在精度ε下，集群IO参数的性能模型f(X)的非线性拟合函数可表示为：
Figure FDA0003474973920000021
其中，w表示函数的影响因子，b表示函数的偏移量；
(3.3)引入RBF高斯核函数：
Figure FDA0003474973920000031
支持向量为SVs，在计算过程中，假设在i个观测点中共有k个支持向量，则根据SVR算法的最优回归方程：
Figure FDA0003474973920000032
可得出集群IO参数的性能模型为：
Figure FDA0003474973920000033
其中，X代表cache tier参数选择(x1,x2…xm)，
σ参数控制函数的宽度，可选取cache tier参数设置的最大值，
αi和αi *为拉格朗日函数的参数，为SVR算法推导的过程参数，SVR算法采用工具箱实现，并不需要对其人工赋值，b表示函数的偏移量。
6.根据权利要求5所述的一种分布式云存储平台性能参数的智能调优系统，其特征在于，执行步骤(4)，数据训练模块采用拟牛顿法计算性能模型f(X)的极值点Yh以及对应的集群参数Xh，具体流程如下：
(4.1)数据训练模块首先利用性能模型f(X)当前两次迭代之间的位移和目标函数的梯度差构造Hessen矩阵近似阵的逆矩阵；
(4.2)数据训练模块随后使用拟牛顿法求解性能模型f(X)的极值点Yh以及对应的集群参数Xh。
7.根据权利要求6所述的一种分布式云存储平台性能参数的智能调优系统，其特征在于，执行步骤(4.1)，数据训练模块构造Hessen矩阵近似阵的逆矩阵，具体操作为：
(4.1.1)将f(X)在Xk+1处展成Taylor级数，取二阶近似，得到：
Figure FDA0003474973920000034
(4.1.2)两边关于X求梯度，得到：
Figure FDA0003474973920000041
(4.1.3)令X＝Xk，sk＝Xk+1-Xk，且
Figure FDA0003474973920000042
jk＝gk+1-gk则有：
Figure FDA0003474973920000043
其中，
Figure FDA0003474973920000044
为Hessen矩阵；
(4.1.4)通过BFGS法构造Hessen矩阵的近似阵Bk+1，并计算近似阵Bk+1的逆矩阵Hk+1，如下：
Figure FDA0003474973920000045
逆矩阵Hk+1满足方程：
sk＝Hk+1jk，
该方程即为拟牛顿方程，利用拟牛顿方程沿拟牛顿方向dk＝-Hk gk进行搜索即可产生新的迭代点。
8.根据权利要求7所述的一种分布式云存储平台性能参数的智能调优系统，其特征在于，执行步骤(4.2)，数据训练模块使用拟牛顿法求解性能模型f(X)的极值点Yh以及对应的集群参数Xh，具体操作为：
(4.2.1)令k＝0，H0为单位矩阵I，给定初始点X0＝(x0，y0)，设定收敛阈值为τ，迭代次数为N；
(4.2.2)计算性能模型f(X)的梯度
Figure FDA0003474973920000046
确定搜索方向dk＝-Hkgk；
(4.2.3)从Xk出发沿dk搜索，满足
Figure FDA0003474973920000047
令Xk+1＝Xk+λkdk；
(4.2.4)若║f(Xk+1)║≤τ，则停止迭代，得到最优解X＝Xk+1，进行步骤(4.2.6)，否则进行步骤(4.2.5)；
(4.2.5)若k＝N，则令X＝Xk+1，进行步骤(4.2.6)，否则令k＝k+1，返回步骤(4.2.2)；
(4.2.6)输出最优解X和最优解处的性能模型f(X)，即求得最优cache tier参数Xh以及极值点Yh。
CN202210052769.2A 2022-01-18 2022-01-18 一种分布式云存储平台性能参数的智能调优系统 Pending CN114489499A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210052769.2A CN114489499A (zh) 2022-01-18 2022-01-18 一种分布式云存储平台性能参数的智能调优系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210052769.2A CN114489499A (zh) 2022-01-18 2022-01-18 一种分布式云存储平台性能参数的智能调优系统

Publications (1)

Publication Number Publication Date
CN114489499A true CN114489499A (zh) 2022-05-13

Family

ID=81510989

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210052769.2A Pending CN114489499A (zh) 2022-01-18 2022-01-18 一种分布式云存储平台性能参数的智能调优系统

Country Status (1)

Country Link
CN (1) CN114489499A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117667901A (zh) * 2023-12-25 2024-03-08 武汉达梦数据技术有限公司 一种ceph参数推荐方法、装置、设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106126407A (zh) * 2016-06-22 2016-11-16 西安交通大学 一种针对分布式存储系统的性能监控调优系统及方法
US20170039236A1 (en) * 2015-08-06 2017-02-09 International Business Machines Corporation Vertical tuning of distributed analytics clusters
CN111125045A (zh) * 2019-11-13 2020-05-08 量子云未来（北京）信息科技有限公司 一种轻量级etl处理平台
CN111783894A (zh) * 2020-07-07 2020-10-16 浪潮云信息技术股份公司 一种云计算中心寻址方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170039236A1 (en) * 2015-08-06 2017-02-09 International Business Machines Corporation Vertical tuning of distributed analytics clusters
CN106126407A (zh) * 2016-06-22 2016-11-16 西安交通大学 一种针对分布式存储系统的性能监控调优系统及方法
CN111125045A (zh) * 2019-11-13 2020-05-08 量子云未来（北京）信息科技有限公司 一种轻量级etl处理平台
CN111783894A (zh) * 2020-07-07 2020-10-16 浪潮云信息技术股份公司 一种云计算中心寻址方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
蓝青;: "云计算分布式存储系统典型运维问题的分析", 通信与信息技术, no. 05 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117667901A (zh) * 2023-12-25 2024-03-08 武汉达梦数据技术有限公司 一种ceph参数推荐方法、装置、设备及存储介质

Similar Documents

Publication Publication Date Title
CN110619385B (zh) 基于多级剪枝的结构化网络模型压缩加速方法
CN110405343B (zh) 一种基于Bagging集成的预测模型与粒子群优化算法的激光焊接工艺参数优化方法
CN108627798B (zh) 基于线性判别分析和梯度提升树的wlan室内定位算法
CN112101430A (zh) 用于图像目标检测处理的锚框生成方法及轻量级目标检测方法
CN110287540B (zh) 一种基于精英群众差分进化算法的光伏电池参数辨识方法
CN114489499A (zh) 一种分布式云存储平台性能参数的智能调优系统
CN110515301B (zh) 一种结合dmpc的改进的admm算法
CN114330644A (zh) 一种基于结构搜索和通道剪枝的神经网络模型压缩方法
CN115906303A (zh) 一种基于机器学习的平面微波滤波器设计方法及装置
CN112949519A (zh) 目标检测方法、装置、设备及存储介质
CN106650028A (zh) 一种基于敏捷卫星设计参数的优化方法及系统
CN117013580A (zh) 基于预测的储能调控方法及其系统
CN117217282A (zh) 一种面向深度行人搜索模型的结构化剪枝方法
CN105809286B (zh) 一种基于代表数据重构的增量svr负荷预测方法
CN114722923A (zh) 一种轻量型的机电设备故障诊断方法
CN108132600B (zh) Mimo紧格式无模型控制器基于偏导信息的参数自整定方法
CN104361192A (zh) 一种压缩感知分析模型下的稀疏表示自适应重构方法
CN109783960A (zh) 一种基于网格部分细化的波达方向估计方法
CN113221278A (zh) 一种车载光电平台照准架轻量化方法
CN107862129B (zh) 一种基于moead的偏差区间偏好引导多目标决策优化方法
CN110826184B (zh) 一种在时变时滞下narx模型结构和参数的变分贝叶斯辨识方法
CN113743806A (zh) 一种电力系统非凸双目标最优潮流全局解的搜索方法
CN114429800A (zh) 基于模型融合的甲烷水合物生成速率预测方法及系统
CN111800209A (zh) 一种基于能量模型和动态权重因子的太阳能能量预测方法
CN116977652B (zh) 基于多模态图像生成的工件表面形貌生成方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination