CN112486418B - 一种基于Ceph纠删码的异构混合负载均衡存储方法 - Google Patents

一种基于Ceph纠删码的异构混合负载均衡存储方法 Download PDF

Info

Publication number
CN112486418B
CN112486418B CN202011462784.1A CN202011462784A CN112486418B CN 112486418 B CN112486418 B CN 112486418B CN 202011462784 A CN202011462784 A CN 202011462784A CN 112486418 B CN112486418 B CN 112486418B
Authority
CN
China
Prior art keywords
osd
node
decision matrix
osd node
ideal solution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011462784.1A
Other languages
English (en)
Other versions
CN112486418A (zh
Inventor
熊安萍
秦铭远
蒋溢
龙林波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing University of Post and Telecommunications
Original Assignee
Chongqing University of Post and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing University of Post and Telecommunications filed Critical Chongqing University of Post and Telecommunications
Priority to CN202011462784.1A priority Critical patent/CN112486418B/zh
Publication of CN112486418A publication Critical patent/CN112486418A/zh
Application granted granted Critical
Publication of CN112486418B publication Critical patent/CN112486418B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/061—Improving I/O performance
    • G06F3/0613—Improving I/O performance in relation to throughput
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/08—Error detection or correction by redundancy in data representation, e.g. by using checking codes
    • G06F11/10—Adding special bits or symbols to the coded information, e.g. parity check, casting out 9's or 11's
    • G06F11/1076—Parity data used in redundant arrays of independent storages, e.g. in RAID systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0655—Vertical data movement, i.e. input-output transfer; data movement between one or more hosts and one or more storage devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M13/00—Coding, decoding or code conversion, for error detection or error correction; Coding theory basic assumptions; Coding bounds; Error probability evaluation methods; Channel models; Simulation or testing of codes
    • H03M13/03—Error detection or forward error correction by redundancy in data representation, i.e. code words containing more digits than the source words
    • H03M13/05—Error detection or forward error correction by redundancy in data representation, i.e. code words containing more digits than the source words using block codes, i.e. a predetermined number of check bits joined to a predetermined number of information bits
    • H03M13/13—Linear codes
    • H03M13/15—Cyclic codes, i.e. cyclic shifts of codewords produce other codewords, e.g. codes defined by a generator polynomial, Bose-Chaudhuri-Hocquenghem [BCH] codes
    • H03M13/151—Cyclic codes, i.e. cyclic shifts of codewords produce other codewords, e.g. codes defined by a generator polynomial, Bose-Chaudhuri-Hocquenghem [BCH] codes using error location or error correction polynomials
    • H03M13/154—Error and erasure correction, e.g. by using the error and erasure locator or Forney polynomial
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Mathematical Physics (AREA)
  • Algebra (AREA)
  • Pure & Applied Mathematics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Quality & Reliability (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明涉及边缘存储技术领域，具体涉及一种基于Ceph纠删码的异构混合负载均衡存储方法，包括异构OSD集群节点定时上报包括磁盘I/O能力，纠删码平均计算时间在内的各类资源信息，构建OSD权重因子决策矩阵，并进行归一化处理得到规范化决策矩阵；使用TOPSIS法计算每个OSD到正负理想解的距离，并计算得到一组相对贴近度集合；根据OSD节点贴进度选择可用OSD节点集合，并采用哈希算法选择出主OSD节点作为目标节点，以达到负载均衡的目的；本发明在保证边缘存储系统的吞吐能力、系统的可扩展性和数据存储效率的基础之上有效利用存储节点的资源，考虑节点的负载状况，提高系统的吞吐能力。

Description

一种基于Ceph纠删码的异构混合负载均衡存储方法
技术领域
本发明涉及边缘存储技术领域，具体涉及一种基于Ceph纠删码的异构混合负载均衡存储方法。
背景技术
为了弥补云计算的不足，解决技术发展带来的新需求，边缘计算的概念应运而生。边缘计算的概念受启发于云计算，它是指在靠近物或数据源头的网络边缘侧，融合网络、计算、存储、应用核心能力的分布式开放平台，就近提供边缘智能服务。边缘计算多用于工业控制、无人驾驶、智慧家居等应用场景下，具有实时性高，移动性强，资源开销较小等特点。边缘计算提供的服务主要分为计算和存储两类，由边缘存储为边缘计算的发展提供可靠的支撑。
目前针对边缘存储的研究应用大部分集中在边缘存储架构，任务节点选择策略，高效的存储方式上，仍存在以下问题：
1)使用中心化分布式存储构建边缘存储架构作为底层存储支撑，但是如何保证系统的高可用性和提升系统整体吞吐能力是该方案被质疑的地方；以中心化分布式存储的代表技术HDFS为例，集群除需要维护工作节点之外，还需要维护元数据节点，并且每次读写任务都需要先向元数据节点请求获取响应数据之后，才能继续读写任务，这无疑影响了系统的工作效率；
2)目前大部分针对边缘存储的研究依然选择多副本策略作为保证数据可用性的方式，该方式可以提供更快的数据恢复效率，于此同时也造成了存储效率低，不能有效利用节点计算资源的弊端；
3)Ceph集群在使用纠删码作为数据存储方式时，通过主节点协调数据的编解码和数据的分发工作，没有考虑到主节点的任务负载、I/O负载和网络负载情况，这极大地制约了系统的吞吐能力。
发明内容
为了解决上述几种边缘存储研究应用领域的缺陷，本发明提出一种基于 Ceph纠删码的异构混合负载均衡存储方法，包括以下步骤：
S1、异构OSD集群节点定时上报包括磁盘I/O能力，纠删码平均计算时间在内的各类资源信息，构建OSD权重因子决策矩阵，并进行归一化处理得到规范化决策矩阵；
S2、使用TOPSIS法计算每个OSD到正负理想解的距离，并计算得到一组相对贴近度集合；
S3、根据OSD节点贴近度选择可用OSD节点集合，并采用哈希算法选择出主OSD节点作为目标节点，主OSD节点进行存储操作。
进一步的，所述资源信息至少包括CPU负载、I/O负载、剩余带宽、磁盘 I/O能力、内存利用率、纠删码平均计算时间。
进一步的，构建OSD权重因子决策矩阵，并进行归一化处理包括：
S11、构造OSD权重因子决策矩阵，该决策矩阵表示为：
Figure GDA0003782280060000021
S12、使用Min-Max归一化方法，利用权重因子决策矩阵M进行归一化处理，得到规范化决策矩阵M′，规范化决策矩阵M′中第i行、j列的元素表示为：
Figure GDA0003782280060000022
其中，Mij为权重因子决策矩阵M中第i行、j列的元素；Tcn表示第n个 OSD节点的纠删码平均计算时间；Enetn表示第n个OSD节点的剩余网络带宽； Ecn表示第n个OSD节点的当前CPU负载；Eion表示第n个OSD节点的I/O负载信息；Cion表示第n个OSD节点的磁盘I/O能力；Ern表示第n个OSD节点的内存利用率。
进一步的，加权决策矩阵的正理想解S+表示为：
Figure GDA0003782280060000031
加权决策矩阵的负理想解S-表示为：
Figure GDA0003782280060000032
其中，
Figure GDA0003782280060000033
为分别为所有OSD节点信息中x1～x6这 6个单个性能指标的最优值；
Figure GDA0003782280060000034
为分别为所有OSD节点信息中x1～x6这6个单个性能指标的最差值；
Figure GDA0003782280060000035
表示第i个OSD节点的第j个性能指标；性能指标可以从现有的性能指标中选择，此处不再赘述。
进一步的，一组相对贴近度集合的计算过程包括以下步骤：
S21、根据资源信息对OSD节点性能的影响比重的不同得到合适的加权系数矩阵，构造规范化加权决策矩阵；
S22、求解加权决策矩阵的正负理想解S+、S--，并计算各OSD节点到正负理想解之间的距离D+和D-；
S23、根据各OSD节点到正负理想解之间的距离计算各个OSD到正负理想解的相对贴近度，得到一组相对贴近度集合。
进一步的，各OSD节点到正理想解之间的距离D+表示为：
Figure GDA0003782280060000036
各OSD节点到负理想解之间的距离D-表示为：
Figure GDA0003782280060000037
其中，M′ij为规范化决策矩阵中的第i行、j列的元素；S+为加权决策矩阵的正理想解；S-为加权决策矩阵的负理想解。
进一步的，OSD节点到正负理想解的相对贴近度
Figure GDA0003782280060000041
表示为：
Figure GDA0003782280060000042
其中，
Figure GDA0003782280060000043
是OSD节点所完成的任务数，
Figure GDA0003782280060000044
为OSD节点完成读写任务所花费的平均时间，n为OSD节点的数量。
进一步的，步骤S3具体包括：
将得到的相对贴近度集合进行降序排序，得到一组有序的OSD相对贴近度集合；
从有序的OSD相对贴近度集合集合中选择k个相对贴近度集合最大的作为主OSD节点的候选；
从主OSD节点的候选中通过哈希计算选择出主OSD节点作为目标节点以达到负载均衡的目的。
本发明在Ceph集群使用纠删码方式提升存储效率的同时，考虑了底层设备的异构性和系统的负载均衡，提升了Ceph集群的吞吐能力。
附图说明
图1为本发明一种基于Ceph纠删码的异构混合负载均衡存储方法流程图；
图2为本发明一次成功Ceph纠删码写任务的实施例。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明提出一种基于Ceph纠删码的异构混合负载均衡存储方法，具体包括以下步骤：
S1、异构OSD集群节点定时上报包括磁盘I/O能力，纠删码平均计算时间在内的各类资源信息，构建OSD权重因子决策矩阵，并进行归一化处理得到规范化决策矩阵；
S2、使用TOPSIS法计算每个OSD到正负理想解的距离，并计算得到一组相对贴近度集合；
S3、根据OSD节点贴近度选择可用OSD节点集合，并采用哈希算法选择出主OSD节点作为目标节点，主OSD节点进行存储操作。
Ceph的存储过程是先将数据写入主OSD节点，然后由主OSD节点负责后续的编解码工作和数据分发工作。在写入时，主OSD节点将编码过后的数据发给目标的从OSD节点进行存储；在读取时也是由主OSD读取从OSD节点上存储的数据，进行解码工作并返回给客户端。
本发明的优选实施例在Ceph集群之外，通过采集OSD节点所在的主机信息，构建决策矩阵，求解各个OSD到正负理想解的相对贴近度，最终得到一组可用 OSD集合并通过Hash算法选择主OSD节点作为目标节点。
构建OSD权重因子决策矩阵时，具体包括以下步骤：
1)收集OSD节点定时上报的CPU负载、I/O负载、剩余带宽、磁盘I/O能力、内存利用率、纠删码平均计算时间等信息；
2)从缓存中读取该OSD节点最近有效的上报数据进行计算，若性能指标的数据变化率超出阈值或该性能指标的数值大于阈值，则进行数据更新；
3)将各OSD上报的数据进行归一化处理，得到可用于后续计算的有效数据。
构建OSD权重因子决策矩阵并使用TOPSIS法求解各个OSD到正负理想解的距离的过程如下：
1)根据步骤1构建的数据采集模型，构造OSD权重因子决策矩阵M，并使用Min-Max法进行归一化处理。权重因子决策矩阵M，归一化处理表达式M′ij表示如下：
Figure GDA0003782280060000061
其中，M表示该权重因子决策矩阵，Tc表示纠删码平均计算时间，Enet表示剩余网络带宽，Ec表示当前CPU负载，Eio表示I/O负载信息，Cio表示磁盘I/O 能力，Er表示内存利用率，下标1～n分别表示1～n个OSD节点。
Figure GDA0003782280060000062
2)根据各指标对OSD节点性能的影响比重的不同得到合适的加权系数矩阵Mweight，构造规范化加权决策矩阵NweightMatrix。加权系数矩阵Mweight，规范化加权决策矩阵NweightMatrix表示如下：
Mweight[WTc WEnet WEc WEio WCio Er]；
其中，WTc表示纠删码平均计算时间的加权系数，WEnet表示剩余带宽的加权系数，WEc表示CPU负载的加权系数，WEio表示I/O负载的加权系数，WCio表示磁盘I/O能力的加权系数，Er表示内存利用率的加权系数。
NweightMatrix＝Mweight×M′；
其中，Mweight为加权系数矩阵，M′为规范化决策矩阵。
3)求解加权决策矩阵的正负理想解S+，S-，并计算各OSD节点到正负理想解之间的距离D+，D-。正负理想解S+，S-，各OSD节点到正负理想解之间的距离D+和D-表示如下：
Figure GDA0003782280060000063
Figure GDA0003782280060000064
其中，
Figure GDA0003782280060000065
表示在所有OSD节点信息中单个性能指标的最优值，
Figure GDA0003782280060000066
表示在所有OSD节点信息中单个性能指标的最差值。
本发明在构建加权决策矩阵时，首先根据相关参考文献中不同性能指标对纠删码类型读写任务性能的影响设置加权矩阵的初始值，该值表示为：
[0.05,0.1,0.4,0.2,0.2,0.05]；
通过读写实验观察Ceph对象存储系统的读写吞吐量、读写实验、读写请求的成功率、读写带宽四个性能指标的变化，在初始值的基础上变化，在上述性能指标综合达到最优时确定加权矩阵的值。
由此可得该规范化加权决策矩阵的正负理想解，表示为：
Figure GDA0003782280060000071
Figure GDA0003782280060000072
Figure GDA0003782280060000073
Figure GDA0003782280060000074
其中，
Figure GDA0003782280060000075
分别代表每个OSD到正理想解、负理想解的距离，M′ij表示规范化加权决策矩阵，S+、S-分别代表该规范化加权决策矩阵的正负理想解。
根据各个OSD到正负理想解之间的距离
Figure GDA0003782280060000076
OSD所承载的任务数、 OSD处理读写任务的平均响应时间定义OSD节点到正负理想解的相对贴近度
Figure GDA0003782280060000077
相对贴近度表达式如下：
Figure GDA0003782280060000078
其中，
Figure GDA0003782280060000079
表示OSD节点承载的任务数，
Figure GDA00037822800600000710
表示OSD处理读写任务的平均响应时间。OSD节点承载的任务数和读写任务平均响应时间分别反映了该 OSD节点的任务负载情况和读写任务的处理能力。
计算各个OSD到正负理想解的相对贴近度，得到一组相对贴近度集合。该相对贴近度集合的表达式如下：
Figure GDA00037822800600000711
其中，CList表示该相对贴近度集合，
Figure GDA0003782280060000081
表示OSD节点到正负理想解的相对贴近度，值越大表示该OSD的性能越好。
对可用OSD集合进行Hash计算得到主OSD节点的过程如下：
1)将得到的相对贴近度集合进行降序排序，得到一组可用的OSD候选节点集合，选择可用OSD候选节点集合的过程如下：
Figure GDA0003782280060000082
上式公式表示从m个节点中选出n个相对贴合度较大的节点，n<m。
2)将得到的可用候选OSD节点集合作为Hash算法的输入，输出结果为主节点作为目标节点。主节点的选取过程如下：
Primary_OSD＝Hash(Task(osd1,osd2,…,osdm))；
其中Primary_OSD为本次读写任务的主OSD节点， Hash(Task(osd1,osd2,…,osdm))体现了将任务处理集合作为输入进行Hash计算选取主OSD的过程，即通过hash值选择m个OSD的过程。
作为可实现的通过hash值选择m个OSD的方式，包括但不限于将任务处理节点集合与读写对象的oid进行取模运算。本实施例将任务处理节点集合与读写对象的oid进行取模运算具体的计算过程如下：
Primary_OSD＝Task.get((Task.size-1)％oid)；
其中，Task.get表示从可用OSD候选节点集合中选取目标OSD节点的动作；Task.size为可用OSD候选节点集合的大小；oid为读写对象的oid；在通过hash 值选择m个OSD时，选择取模运算的值最大的m个OSD。
图2给出了一种具体的实施方式，从图中可以本发明过程主要包括3个步骤，具体为：
1.获取集群信息
异构OSD集群节点定时上报包括磁盘I/O能力、纠删码平均计算时间在内的各类资源信息并进行归一化处理。根据这些资源信息构建OSD权重因子决策矩阵。若计算相对贴近度的单元连续三次通信未能收到某OSD节点上报的资源信息，则主动向该OSD节点发送查询节点信息的请求，OSD节点回复并上报节点信息，之后对OSD节点上报的信息进行归一化处理并构建OSD权重因子决策矩阵。
2.获取OSD节点贴近度信息
通过上一步构建的OSD权重因子决策矩阵和通过实验最终确定的加权系数矩阵，得到规范化加权决策矩阵。确定规范化加权决策矩阵的正负理想解，并计算各个OSD节点到正负理想解之间的距离，之后计算各个OSD节点到正负理想解的相对贴近度。并将该相对贴近度发送给mon节点进行维护。
3.计算得到候选OSD节点集合
Ceph客户端在向Ceph集群中写入数据时，首先需要从mon节点中获取集群的映射关系，结合CRUSH算法计算得到一组OSD任务处理节点集合。同时，客户端请求计算相对贴近度的单元，获取各个OSD节点的贴近度信息，将OSD 任务处理节点集合按照相对贴近度逆序排序，得到可用OSD候选节点集合；并将该集合作为Hash算法的输入，与写入对象的oid进行取模运算，最终得到主 OSD节点作为目标任务节点。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (7)

1.一种基于Ceph纠删码的异构混合负载均衡存储方法，其特征在于，包括以下步骤：
S1、异构OSD集群节点定时上报包括磁盘I/O能力，纠删码平均计算时间在内的各类资源信息，构建OSD权重因子决策矩阵，并进行归一化处理得到规范化决策矩阵，具体包括：
S11、构造OSD权重因子决策矩阵，该决策矩阵表示为：
Figure FDA0003782280050000011
S12、使用Min-Max归一化方法，利用权重因子决策矩阵M进行归一化处理，得到规范化决策矩阵M′，规范化决策矩阵M′中第i行、j列的元素表示为：
Figure FDA0003782280050000012
其中，Mij为权重因子决策矩阵M中第i行、j列的元素；Tcn表示第n个OSD节点的纠删码平均计算时间；Enetn表示第n个OSD节点的剩余网络带宽；Ecn表示第n个OSD节点的当前CPU负载；Eion表示第n个OSD节点的I/O负载信息；Cion表示第n个OSD节点的磁盘I/O能力；Ern表示第n个OSD节点的内存利用率；
S2、使用TOPSIS法计算每个OSD到正负理想解的距离，并计算得到一组相对贴近度集合；
S3、根据OSD节点贴近度选择可用OSD节点集合，并采用哈希算法选择出主OSD节点作为目标节点，主OSD节点进行存储操作。
2.根据权利要求1所述的一种基于Ceph纠删码的异构混合负载均衡存储方法，其特征在于，所述资源信息至少包括CPU负载、I/O负载、剩余带宽、磁盘I/O能力、内存利用率、纠删码平均计算时间。
3.根据权利要求1所述的一种基于Ceph纠删码的异构混合负载均衡存储方法，其特征在于，加权决策矩阵的正理想解S+表示为：
Figure FDA0003782280050000021
加权决策矩阵的负理想解S-表示为：
Figure FDA0003782280050000022
其中，
Figure FDA0003782280050000023
为分别为所有OSD节点信息中x1～x6这6个单个性能指标的最优值；
Figure FDA0003782280050000024
为分别为所有OSD节点信息中x1～x6这6个单个性能指标的最差值；
Figure FDA0003782280050000025
表示第i个OSD节点的第j个性能指标。
4.根据权利要求1所述的一种基于Ceph纠删码的异构混合负载均衡存储方法，其特征在于，一组相对贴近度集合的计算过程包括以下步骤：
S21、根据资源信息对OSD节点性能的影响比重的不同得到合适的加权系数矩阵，构造规范化加权决策矩阵；
S22、求解加权决策矩阵的正负理想解S+、S--，并计算各OSD节点到正负理想解之间的距离D+和D-；
S23、根据各OSD节点到正负理想解之间的距离计算各个OSD到正负理想解的相对贴近度，得到一组相对贴近度集合。
5.根据权利要求4所述的一种基于Ceph纠删码的异构混合负载均衡存储方法，其特征在于，各OSD节点到正理想解之间的距离D+表示为：
Figure FDA0003782280050000026
各OSD节点到负理想解之间的距离D-表示为：
Figure FDA0003782280050000027
其中，M′ij为规范化决策矩阵中的第i行、j列的元素；S+为加权决策矩阵的正理想解；S-为加权决策矩阵的负理想解。
6.根据权利要求1所述的一种基于Ceph纠删码的异构混合负载均衡存储方法，其特征在于，OSD节点到正负理想解的相对贴近度
Figure FDA0003782280050000031
表示为：
Figure FDA0003782280050000032
其中，
Figure FDA0003782280050000033
是OSD节点所完成的任务数，Ti -1为OSD节点完成读写任务所花费的平均时间，n为OSD节点的数量；D+为各OSD节点到正理想解之间的距离；D-为各OSD节点到负理想解之间的距离。
7.根据权利要求1所述的一种基于Ceph纠删码的异构混合负载均衡存储方法，其特征在于，步骤S3具体包括：
将得到的相对贴近度集合进行降序排序，得到一组有序的OSD相对贴近度集合；
从有序的OSD相对贴近度集合集合中选择k个相对贴近度集合最大的作为主OSD节点的候选；
从主OSD节点的候选中通过哈希计算选择出主OSD节点作为目标节点以达到负载均衡的目的。
CN202011462784.1A 2020-12-14 2020-12-14 一种基于Ceph纠删码的异构混合负载均衡存储方法 Active CN112486418B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011462784.1A CN112486418B (zh) 2020-12-14 2020-12-14 一种基于Ceph纠删码的异构混合负载均衡存储方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011462784.1A CN112486418B (zh) 2020-12-14 2020-12-14 一种基于Ceph纠删码的异构混合负载均衡存储方法

Publications (2)

Publication Number Publication Date
CN112486418A CN112486418A (zh) 2021-03-12
CN112486418B true CN112486418B (zh) 2022-10-18

Family

ID=74916937

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011462784.1A Active CN112486418B (zh) 2020-12-14 2020-12-14 一种基于Ceph纠删码的异构混合负载均衡存储方法

Country Status (1)

Country Link
CN (1) CN112486418B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114116696B (zh) * 2021-11-25 2024-03-15 桂林电子科技大学 云存储系统中考虑节点选择机制的故障节点数据重构方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108205573A (zh) * 2016-12-20 2018-06-26 中兴通讯股份有限公司 一种数据分布式存储方法及系统
CN109121097A (zh) * 2018-08-06 2019-01-01 同济大学 一种基于异构车联网分簇的簇头选择方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10044374B2 (en) * 2015-07-30 2018-08-07 Quantum Corporation Adaptive erasure codes
US20170083603A1 (en) * 2015-09-18 2017-03-23 Qualcomm Incorporated Co-derived data storage patterns for distributed storage systems
CN110515724B (zh) * 2019-08-13 2022-05-10 新华三大数据技术有限公司 资源配置方法、装置、监视器及机器可读存储介质
CN111241052B (zh) * 2020-01-15 2022-02-11 北京航空航天大学 一种基于凸优化方法的分布式文件系统数据放置方法
CN111930317B (zh) * 2020-09-21 2021-03-09 柏科数据技术（深圳）股份有限公司 基于ceph数据分布方法、装置、服务器及存储介质

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108205573A (zh) * 2016-12-20 2018-06-26 中兴通讯股份有限公司 一种数据分布式存储方法及系统
CN109121097A (zh) * 2018-08-06 2019-01-01 同济大学 一种基于异构车联网分簇的簇头选择方法

Also Published As

Publication number Publication date
CN112486418A (zh) 2021-03-12

Similar Documents

Publication Publication Date Title
CN111190688B (zh) 一种面向云数据中心的Docker迁移方法及系统
WO2013066793A2 (en) Short-term load forecast using support vector regression and feature learning
CN108920100B (zh) 基于Ceph的读写模型优化和异构副本组合方法
CN113608670B (zh) 基于公平性和访问热度的区块链数据存储方法
CN107977167A (zh) 一种基于纠删码的分布式存储系统的退化读优化方法
CN112486418B (zh) 一种基于Ceph纠删码的异构混合负载均衡存储方法
CN103281374A (zh) 一种云存储中数据快速调度的方法
CN110018997B (zh) 一种基于hdfs的海量小文件存储优化方法
CN114064294B (zh) 移动边缘计算环境下的动态资源分配方法和系统
CN113342418B (zh) 基于区块链的分布式机器学习任务卸载方法
CN109189724B (zh) 提高视频监控系统音视频数据存储效率的方法及装置
CN111241052B (zh) 一种基于凸优化方法的分布式文件系统数据放置方法
CN113342504A (zh) 基于缓存的智能制造边缘计算任务调度方法及系统
CN117349026A (zh) 一种用于aigc模型训练的分布式算力调度系统
US10594620B1 (en) Bit vector analysis for resource placement in a distributed system
CN115759979A (zh) 基于rpa和流程挖掘的流程智能处理方法和系统
CN113064554B (zh) 基于分布式存储的最优存储节点匹配方法、装置及介质
CN112817982B (zh) 一种基于lsm树的动态幂律图存储方法
CN105912404B (zh) 一种基于磁盘的大规模图数据中寻找强连通分量的方法
CN112165721B (zh) 基于边缘计算的多服务任务的卸载和服务迁移方法
CN115016889A (zh) 一种用于云计算的虚拟机优化调度方法
CN111046321B (zh) 光伏电站运维策略优化方法和装置
CN101378406A (zh) 一种数据网格副本的选择方法
CN109960588A (zh) 一种针对异构内存集群的读请求调度方法及系统
CN112700074B (zh) 快递任务的规划方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant