CN109446020B - 云存储系统的动态评估方法以及装置 - Google Patents

云存储系统的动态评估方法以及装置 Download PDF

Info

Publication number
CN109446020B
CN109446020B CN201811108739.9A CN201811108739A CN109446020B CN 109446020 B CN109446020 B CN 109446020B CN 201811108739 A CN201811108739 A CN 201811108739A CN 109446020 B CN109446020 B CN 109446020B
Authority
CN
China
Prior art keywords
cloud storage
storage system
node
node degree
nodes
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811108739.9A
Other languages
English (en)
Other versions
CN109446020A (zh
Inventor
何振
王建荣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shuguang Cloud Computing Group Co ltd
Original Assignee
Shuguang Cloud Computing Group Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shuguang Cloud Computing Group Co ltd filed Critical Shuguang Cloud Computing Group Co ltd
Priority to CN201811108739.9A priority Critical patent/CN109446020B/zh
Publication of CN109446020A publication Critical patent/CN109446020A/zh
Application granted granted Critical
Publication of CN109446020B publication Critical patent/CN109446020B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • G06F11/3006—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system is distributed, e.g. networked systems, clusters, multiprocessor systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Mathematical Physics (AREA)
  • Quality & Reliability (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Supply And Distribution Of Alternating Current (AREA)

Abstract

本发明公开了一种云存储系统的动态评估方法以及装置，该动态评估方法包括：S1，对云存储系统建立动力系统演化模型；S2，根据动力系统演化模型计算出云存储系统的节点的节点度和节点度分布；S3，通过对节点度和节点度分布进行评估，判断云存储系统的节点的存储容量和存储性能。本发明的上述技术方案，实现了一种基于BA模型的云存储系统动态评估方法，能够通过复杂系统理论方法对云存储系统的特性进行分析，评估系统运行状态，从而可以预测和优化云存储服务质量。

Description

云存储系统的动态评估方法以及装置
技术领域
本发明涉及云计算技术领域，具体来说，涉及一种云存储系统的动态评估方法以及装置。
背景技术
随着互联网时代信息与数据的快速增长，科学、工程和商业计算领域需要处理大规模、海量的数据，对计算能力的需求远远超出自身IT架构的计算能力，这时就需要不断加大系统硬件投入来实现系统的可扩展性。云计算技术将数据、应用、服务存储在云端，充分利用数据中心强大的计算能力，实现用户业务系统的自适应性。
当云计算系统运算和处理的核心是大量数据的存储和管理时，云计算系统中就需要配置大量的存储设备，那么云计算系统就转变成为一个云存储系统，所以云存储是一个以数据存储和管理为核心的云计算系统。
云存储系统中大量的存储处理单元，其本质就是一个由大量节点构成的复杂网络，通过用复杂网络理论方法对云存储系统的特性进行分析，评估系统运行状态，从而可以预测和优化云存储服务质量。
发明内容
本发明提出一种云存储系统的动态评估方法以及动态评估装置，能够有效的评估云存储系统节点存储资源的容量以及性能状态。
本发明的技术方案是这样实现的：
根据本发明的一个方面，提供了一种云存储系统的动态评估方法，包括：
S1，对云存储系统建立动力系统演化模型；
S2，根据动力系统演化模型计算出云存储系统的节点的节点度和节点度分布；
S3，通过对节点度和节点度分布进行评估，判断云存储系统的节点的存储容量和存储性能。
根据本发明的实施例，在S2中，通过以下公式(1)计算节点度：
Figure BDA0001808559570000021
其中，
Figure BDA0001808559570000022
其中，ki(t)是云存储系统中第i个存储节点在t时刻的节点度，m表示接入云存储系统的新节点与系统中现有节点之间的链接数，c表示在云存储系统中由于某种原因断开链接的数目。
根据本发明的实施例，在S2中，计算节点度分布包括：
通过以下公式(2)计算P(k)：
Figure BDA0001808559570000023
其中，
Figure BDA0001808559570000024
其中，P(k)表示在t时刻云存储系统中存储节点度为k的概率。
根据本发明的实施例，在S2中，通过判断m和c得到γ，其中：
Figure BDA0001808559570000025
根据本发明的实施例，S3包括：
根据计算得到的ki(t)和P(k)来评估云存储系统的节点的存储容量和存储性能。
根据本发明的另一方面，提供了一种云存储系统的动态评估装置，包括顺序连接的以下模块：
模型建立模块，对云存储系统建立动力系统演化模型；
计算模块，根据动力系统演化模型计算出云存储系统的节点的节点度和节点度分布；
评估模块，通过对节点度和节点度分布进行评估，判断云存储系统的节点的存储容量和存储性能。
根据本发明的实施例，计算模块通过以下公式(1)计算节点度：
Figure BDA0001808559570000031
其中，
Figure BDA0001808559570000032
其中，ki(t)是云存储系统中第i个存储节点在t时刻的节点度，m表示接入云存储系统的新节点与系统中现有节点之间的链接数，c表示在云存储系统中由于某种原因断开链接的数目。
根据本发明的实施例，计算模块包括节点度分布计算子模块；
节点度分布计算子模块通过以下公式(2)计算P(k)：
Figure BDA0001808559570000033
其中，
Figure BDA0001808559570000034
其中，P(k)表示在t时刻云存储系统中存储节点度为k的概率。
本发明的上述技术方案，实现了一种基于BA模型的云存储系统动态评估方法，能够通过复杂系统理论方法对云存储系统的特性进行分析，评估系统运行状态，从而可以预测和优化云存储服务质量。通过对云存储系统建立动力系统演化模型，分析计算出系统中节点的度以及度分布；通过对节点的节点度进行评估，判断云存储系统中各节点的存储容量和存储性能；通过节点的节点度分布进行评估，分析云存储系统中节点度在整个系统节点中占用概率，可以了解系统的整体承载能力。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是根据本发明实施例的云存储系统的动态评估方法的流程图。
图2是云存储系统的节点数为50时的系统演化图。
图3是云存储系统的节点数为500时的系统演化图。
图4是云存储系统的节点度值分布图。
图5是云存储系统的节点度的概率分布图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，根据本发明实施例的云存储系统的动态评估方法包括以下步骤：
S10，对云存储系统建立动力系统演化模型；
S20，根据动力系统演化模型计算出云存储系统的节点的节点度和节点度分布；
S30，通过对节点度和节点度分布进行评估，判断云存储系统的节点的存储容量和存储性能。
本发明的上述技术方案，实现了一种基于BA模型(无标度网络模型)的云存储系统动态评估方法，能够通过复杂系统理论方法对云存储系统的特性进行分析，评估系统运行状态，从而可以预测和优化云存储服务质量。通过对云存储系统建立动力系统演化模型，分析计算出系统中节点的度以及度分布；通过对节点的节点度进行评估，判断云存储系统中各节点的存储容量和存储性能；通过节点的节点度分布进行评估，分析云存储系统中节点度在整个系统节点中占用概率，可以了解系统的整体承载能力。
根据本发明的实施例，在步骤S20中，通过以下公式(1)计算节点度：
Figure BDA0001808559570000041
其中，
Figure BDA0001808559570000042
其中，ki(t)是云存储系统中第i个存储节点在t时刻的节点度，m表示接入云存储系统的新节点与系统中现有节点之间的链接数，c表示在云存储系统中由于某种原因断开链接的数目。
根据本发明的实施例，在步骤S20中，计算节点度分布包括：
通过以下公式(2)计算P(k)：
Figure BDA0001808559570000051
其中，
Figure BDA0001808559570000052
其中，P(k)表示在t时刻云存储系统中存储节点度为k的概率。
根据本发明的实施例，在步骤S20中，可以通过判断m和c得到γ，其中：
Figure BDA0001808559570000053
根据本发明的实施例，步骤S30可以包括：根据计算得到的ki(t)和P(k)来评估云存储系统的节点的存储容量和存储性能。
示例分析：
云存储系统中开始存在5个节点随机连接；在每个时间段，云存储系统中由于某种原因2条链路被删除；在每个时间段，新增一个用于云存储的系统节点与已经存在于云存储系统中的4个系统节点进行链接。假设云存储系统的最终规模为500个系统节点。
可以得出当云存储系统中系统节点数为50时，云存储系统演化图如图2所示；当系统中节点数为500时，云存储系统演化图如图3所示。根据系统的演化机制，可以算出系统演化的节点度以及节点度分布，图4示出的是系统中各节点的节点度大小分布图，图5示出的是系统中节点度的概率分布图。从图4的节点度大小分布可以直观的看出云存储系统中各节点的存储容量和存储性能，而图5的节点度的概率分布可以直观看出在云存储系统中节点度在整个系统节点中占用概率，可以了解系统的整体承载能力。通过这两种方法的评估可以对云存储系统进行实时高效监控，可以对云存储系统的运行起到很好的预测效果，发现问题及时。
本发明能有多种不同形式的具体实施方式，上面以图2至图5为例结合附图对本发明的技术方案作举例说明，这并不意味着本发明所应用的具体实例只能局限在特定的流程或实施例结构中，本领域的普通技术人员应当了解，上文所提供的具体实施方案只是多种优选用法中的一些示例，任何体现本发明权利要求的实施方式均应在本发明技术方案所要求保护的范围之内。
根据本发明的实施例，还提供了一种云存储系统的动态评估装置，包括顺序连接的以下模块：
模型建立模块，对云存储系统建立动力系统演化模型；
计算模块，根据动力系统演化模型计算出云存储系统的节点的节点度和节点度分布；
评估模块，通过对节点度和节点度分布进行评估，判断云存储系统的节点的存储容量和存储性能。
根据本发明的实施例，计算模块通过以下公式(1)计算节点度：
Figure BDA0001808559570000061
其中，
Figure BDA0001808559570000062
其中，ki(t)是云存储系统中第i个存储节点在t时刻的节点度，m表示接入云存储系统的新节点与系统中现有节点之间的链接数，c表示在云存储系统中由于某种原因断开链接的数目。
根据本发明的实施例，计算模块包括节点度分布计算子模块；
节点度分布计算子模块通过以下公式(2)计算P(k)：
Figure BDA0001808559570000063
其中，
Figure BDA0001808559570000064
其中，P(k)表示在t时刻云存储系统中存储节点度为k的概率。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种云存储系统的动态评估方法，其特征在于，包括：
S1，对所述云存储系统建立动力系统演化模型；
S2，根据所述动力系统演化模型计算出所述云存储系统的节点的节点度和节点度分布；
S3，通过对所述节点度和所述节点度分布进行评估，判断所述云存储系统的节点的存储容量和存储性能，
在所述S2中，通过以下公式(1)计算所述节点度：
Figure FDA0003551960380000011
其中，
Figure FDA0003551960380000012
其中，ki(t)是云存储系统中第i个存储节点在t时刻的节点度，m表示接入云存储系统的新节点与系统中现有节点之间的链接数，c表示在云存储系统中由于某种原因断开链接的数目。
2.根据权利要求1所述的云存储系统的动态评估方法，其特征在于，在所述S2中，计算所述节点度分布包括：
通过以下公式(2)计算P(k)：
Figure FDA0003551960380000013
其中，
Figure FDA0003551960380000014
其中，P(k)表示在t时刻云存储系统中存储节点度为k的概率。
3.根据权利要求2所述的云存储系统的动态评估方法，其特征在于，在所述S2中，通过判断m和c得到γ，其中：
Figure FDA0003551960380000015
4.根据权利要求2所述的云存储系统的动态评估方法，其特征在于，所述S3包括：
根据计算得到的ki(t)和P(k)来评估所述云存储系统的节点的存储容量和存储性能。
5.一种云存储系统的动态评估装置，其特征在于，包括顺序连接的以下模块：
模型建立模块，对所述云存储系统建立动力系统演化模型；
计算模块，根据所述动力系统演化模型计算出所述云存储系统的节点的节点度和节点度分布；
评估模块，通过对所述节点度和所述节点度分布进行评估，判断所述云存储系统的节点的存储容量和存储性能，
所述计算模块通过以下公式(1)计算所述节点度：
Figure FDA0003551960380000021
其中，
Figure FDA0003551960380000022
其中，ki(t)是云存储系统中第i个存储节点在t时刻的节点度，m表示接入云存储系统的新节点与系统中现有节点之间的链接数，c表示在云存储系统中由于某种原因断开链接的数目。
6.根据权利要求5所述的云存储系统的动态评估装置，其特征在于，所述计算模块包括节点度分布计算子模块；
所述节点度分布计算子模块通过以下公式(2)计算P(k)：
Figure FDA0003551960380000023
其中，
Figure FDA0003551960380000024
其中，P(k)表示在t时刻云存储系统中存储节点度为k的概率。
CN201811108739.9A 2018-09-21 2018-09-21 云存储系统的动态评估方法以及装置 Active CN109446020B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811108739.9A CN109446020B (zh) 2018-09-21 2018-09-21 云存储系统的动态评估方法以及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811108739.9A CN109446020B (zh) 2018-09-21 2018-09-21 云存储系统的动态评估方法以及装置

Publications (2)

Publication Number Publication Date
CN109446020A CN109446020A (zh) 2019-03-08
CN109446020B true CN109446020B (zh) 2022-05-13

Family

ID=65533240

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811108739.9A Active CN109446020B (zh) 2018-09-21 2018-09-21 云存储系统的动态评估方法以及装置

Country Status (1)

Country Link
CN (1) CN109446020B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110532804B (zh) * 2019-09-05 2020-06-05 上海威固信息技术股份有限公司 一种基于大数据的安全存储控制方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102004671B (zh) * 2010-11-15 2013-03-13 北京航空航天大学 一种云计算环境下数据中心基于统计模型的资源管理方法
US10180995B2 (en) * 2013-07-15 2019-01-15 The Boeing Company System and method for assessing cumulative effects of a failure
CN104375622B (zh) * 2014-11-28 2017-02-01 广东石油化工学院 云计算中基于动态加权负载评估结果的能耗评估模型
US9772794B2 (en) * 2015-06-05 2017-09-26 University Of Florida Research Foundation, Incorporated Method and apparatus for big data cloud storage resource management
CN105677538B (zh) * 2016-01-11 2018-01-26 中国科学院软件研究所 一种基于故障预测的云计算系统自适应监测方法
CN105718364B (zh) * 2016-01-15 2018-07-17 西安交通大学 一种云计算平台中计算资源能力动态评估方法

Also Published As

Publication number Publication date
CN109446020A (zh) 2019-03-08

Similar Documents

Publication Publication Date Title
WO2018072711A1 (en) Distributed FP-Growth With Node Table For Large-Scale Association Rule Mining
CN109831386B (zh) 一种sdn下基于机器学习的最优路径选择算法
Bobbio et al. Analysis of large scale interacting systems by mean field method
CN113379176B (zh) 电信网络异常数据检测方法、装置、设备和可读存储介质
CN111930511A (zh) 一种基于机器学习的标识解析节点负载均衡装置
CN111431819A (zh) 一种基于序列化的协议流特征的网络流量分类方法和装置
CN113642700A (zh) 基于联邦学习和边缘计算的跨平台多模态舆情分析方法
CN112949914A (zh) 一种产业集群的识别方法、装置、存储介质及电子设备
CN111935140A (zh) 异常报文识别方法及装置
CN115759365A (zh) 光伏发电功率的预测方法及相关设备
CN109446020B (zh) 云存储系统的动态评估方法以及装置
CN115174353A (zh) 故障根因确定方法、装置、设备及介质
CN112507265B (zh) 基于树结构进行异常侦测的方法、装置及相关产品
CN116566696B (zh) 一种基于云计算的安全性评估系统及方法
CN113795032B (zh) 室分隐形故障的判断方法、装置、存储介质及设备
Aljulayfi et al. A Machine Learning based Context-aware Prediction Framework for Edge Computing Environments.
CN112486676B (zh) 一种基于边缘计算的数据共享分发装置
CN113487087A (zh) 一种设备使用寿命的预测方法、装置、计算机设备及计算机可读存储介质
Wong et al. Data Reduction with Real-Time Critical Data Forwarding for Internet-of-Things
CN102158357B (zh) 水平分解的单类闭合分叉汇集排队网络性能的分析方法
Zhang et al. Workload forecasting with hybrid stochastic configuration networks in clouds
CN116614431B (zh) 数据处理方法、装置、电子设备和计算机可读存储介质
CN111625436A (zh) 保险业务容量的管理方法、装置、电子设备及存储介质
CN109327329B (zh) 数据模型更新方法及装置
CN115756875B (zh) 面向流式数据的机器学习模型在线服务部署方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20211221

Address after: 100193 5 floor, 36 building, No. 8 Northeast Road, Haidian District, Beijing.

Applicant after: Shuguang Cloud Computing Group Co.,Ltd.

Address before: 100193 5 floor, 36 building, No. 8 Northeast Road, Haidian District, Beijing.

Applicant before: Shuguang Cloud Computing Group Co.,Ltd.

Applicant before: Dawning Information Industry (Beijing) Co.,Ltd.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant
CP03 Change of name, title or address

Address after: 100193 5 floor, 36 building, No. 8 Northeast Road, Haidian District, Beijing.

Patentee after: Shuguang Cloud Computing Group Co.,Ltd.

Country or region after: China

Address before: 100193 5 floor, 36 building, No. 8 Northeast Road, Haidian District, Beijing.

Patentee before: Shuguang Cloud Computing Group Co.,Ltd.

Country or region before: China

CP03 Change of name, title or address