CN110413231A - 一种多云环境下低成本高可用性的数据优化存储方法 - Google Patents

一种多云环境下低成本高可用性的数据优化存储方法 Download PDF

Info

Publication number
CN110413231A
CN110413231A CN201910640186.XA CN201910640186A CN110413231A CN 110413231 A CN110413231 A CN 110413231A CN 201910640186 A CN201910640186 A CN 201910640186A CN 110413231 A CN110413231 A CN 110413231A
Authority
CN
China
Prior art keywords
data
cost
availability
pareto
solution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910640186.XA
Other languages
English (en)
Inventor
王鹏伟
章昭辉
赵才辉
陈真
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Donghua University
National Dong Hwa University
Original Assignee
Donghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Donghua University filed Critical Donghua University
Priority to CN201910640186.XA priority Critical patent/CN110413231A/zh
Publication of CN110413231A publication Critical patent/CN110413231A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0604—Improving or facilitating administration, e.g. storage management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明提供的一种多云环境下低成本高可用性的数据优化存储方法，如图1所示，包括以下步骤：背景问题定义；云服务商信息收集；初始Pareto非劣解集生成；最优方案确定。本发明采用了Pareto最优解集的思想求解最小化成本同时最大化可用性的多目标优化模型，得到的结果比智能优化算法更完整，并且不会有多余的劣质解出现在最后的集合中。

Description

一种多云环境下低成本高可用性的数据优化存储方法
技术领域
本发明涉及数据存储优化方案选择和多目标求解领域，特别是涉及一种多云环境下低成本高可用性的数据优化存储方法。
背景技术
随着互联网、物联网、社交网络等相关技术的快速发展，“大数据”时代已经到来。数据量的爆炸性增长和用户对数据安全要求的不断提高让如何建立安全、高可用性的数据存储成为业界亟需解决的问题。相比于传统的数据存储模式，云存储减少了用户的硬件维护成本和人力投入，而且云存储具有易扩容、易管理、价格低等优点，随着云计算的蓬勃发展，许多云服务商纷纷推出了自己的云存储服务，比如Amazon S3、Microsoft AzureStorage、Google Cloud Storage以及Aliyun OSS等。
然而不同地区的同一个云服务商提供的同一功能云存储服务的价格存在异质性，提供相同功能的云存储服务在不同服务商之间也是不同的。例如，Microsoft Azure CloudStorage在澳大利亚东部地区的存储价格比USA东部地区和欧洲北部的低，但是澳大利亚东部地区的带宽价格比其它两个地区都要高；Amazon S3在USA Oregon的相比于USA东部的CenturyLink Cloud有较低的存储成本，但是Get操作成本较高。针对多云环境下的数据优化存储问题，用户最为关心的两个指标是成本和可用性，然而成本和可用性之间存在相互制约，用户想要从庞杂的云市场中选择满足自己需求的云存储服务面临着严峻的挑战。
发明内容
本发明的目的是：帮助用户从云市场中选择满足自己需求的云存储服务。
为了达到上述目的，本发明的技术方案是提供了一种多云环境下低成本高可用性的数据优化存储方法，其特征在于，包括以下步骤：
步骤1、定义用户在数据文件的存储过程所要支付的总成本，具体包括存储成本Pstor、Get操作成本Pop以及带宽成本Pnet；
步骤2、多云环境下数据存储方案选择问题是一个较为典型的多目标优化问题，其优化目标是在满足用户最低可用性约束的前提下最大化所选方案的数据可用性，同时最小化总成本，最终得到由一系列Pareto等级为1的个体组成的Pareto非劣解集P，再利用熵权法确定成本和可用性权重计算Pareto非劣解集P中各个解决方案的QoS，进而向用户推荐最优解决方案。其中，Pareto非劣解集P的求解过程包括以下步骤：
步骤201、从CloudHarmony上收集各云服务商所提供的数据存储服务的相关信息，并对收集到的信息进行初步的预处理和筛选；
步骤202、考虑到数据分存的erasure coding参数，分别使用控制染色体数量遍历各个erasure coding参数取值的方法以及通过分治法多次运行NDP算法，每次选取不同的erasure coding参数的方法初始化种群，并基于NSGA-II算法执行选择、交叉、变异、非支配排序，得到一系列Pareto等级为1的个体组成的Pareto非劣解集P。
基于步骤2的优选结果，利用熵权法确定成本和可用性权重计算Pareto非劣解集P中各个解决方案的QoS，进而向用户推荐最优解决方案，具体包括以下步骤：
对得到Pareto非劣解集P进行归一化处理，将所有非支配解归一化后的成本和可用性转化为一个大小为M×2的矩阵A，并计算各个目标所占的比重，并转换为各指标的信息熵权值，更进一步根据各项指标的权重计算每个非支配解对应的数据存储方案的QoS值，从中选出具有最大QoS值的数据存储方案作为向用户推荐的最优解决方案。
由于采用了上述的技术方案，本发明与现有技术相比，具有以下的优点和积极效果：本发明采用了Pareto最优解集的思想求解最小化成本同时最大化可用性的多目标优化模型，得到的结果比智能优化算法更完整，并且不会有多余的劣质解出现在最后的集合中。更进一步，通过信息熵的方法为用户推荐一个最优的数据存储方案，以帮助用户做出更加合理准确的决策。本发明具有快速高效，并且从成本、可用性等目标出发紧贴用户需求，对于在多云环境下确定适合的数据存储方案以及解决类似的多目标优化问题具有普遍适用性。可在企业中进行推广和应用，具有较强的社会及商业价值。
附图说明
图1是本发明的整体流程图；
图2是本发明中初始Pareto非劣集合生成算法流程图。
具体实施方式
下面结合具体实施例，进一步阐述本发明。应理解，这些实施例仅用于说明本发明而不用于限制本发明的范围。此外应理解，在阅读了本发明讲授的内容之后，本领域技术人员可以对本发明作各种改动或修改，这些等价形式同样落于本申请所附权利要求书所限定的范围。
本发明的实施方式涉及一种多云环境下低成本高可用性的数据优化存储方法，如图1所示，包括以下步骤：A.背景问题定义；B.云服务商信息收集；C.初始Pareto非劣解集生成；D.最优方案确定。
其中，步骤A具体包括：
A1.定义用户在数据文件的存储过程所要支付的总成本，具体包括存储成本Pstor、Get操作成本Pop以及带宽成本Pnet；
A2.定义数据存储方案选择的多目标优化问题，多云环境下的数据存储方案选择问题是一个较为典型的多目标优化问题，用户所关心的数据可用性和总成本是一对相互制约的因素。因此对于该问题，目标是最大化所选方案的数据可用性，同时在满足用户最低可用性约束的前提下最小化总成本，最终得到由一系列Pareto等级为1的个体组成的Pareto非劣解集P。再利用熵权法确定成本和可用性权重计算各个解决方案的QoS，进而向用户推荐最优解决方案。
步骤B具体包括：从CloudHarmony上收集各云服务商所提供的数据存储服务的相关信息，包括存储、带宽以及各种操作的价格等内容，并对收集到的原始数据进行初步的预处理和筛选，以方便后续操作。
本发明使用的部分云服务商所提供的数据存储服务的信息如下表所示：
步骤C具体包括：考虑到数据分存的erasure coding参数，分别使用控制染色体数量遍历各个erasure coding参数取值的方法以及通过分治法多次运行NDP算法，每次选取不同的erasure coding参数的方法初始化种群，并基于NSGA-II算法执行选择、交叉、变异、非支配排序等操作，得到一系列Pareto等级为1的个体组成的Pareto非劣解集P。
步骤D具体包括：对步骤C中得到Pareto解集进行归一化处理，将所有非支配解归一化后的成本和可用性转化为一个大小为M×2的矩阵A，并计算各个目标所占的比重，并转换为各指标的信息熵权值，更进一步即可根据各项指标的权重计算每个非支配解对应的数据存储方案的QoS值，从中选出具有最大QoS值的数据存储方案。
不难发现，本发明采用了Pareto最优解集的思想求解最小化成本同时最大化可用性的多目标优化模型，得到的结果比智能优化算法更完整，并且不会有多余的劣质解出现在最后的集合中。更进一步，通过信息熵的方法为用户推荐一个最优的数据存储方案，以帮助用户做出更加合理准确的决策。本发明具有快速高效，并且从成本、可用性等目标出发紧贴用户需求，对于在多云环境下确定适合的数据存储方案以及解决类似的多目标优化问题具有普遍适用性。可在企业中进行推广和应用，具有较强的社会及商业价值。

Claims (2)

1.一种多云环境下低成本高可用性的数据优化存储方法，其特征在于，包括以下步骤：
步骤1、定义用户在数据文件的存储过程所要支付的总成本，具体包括存储成本Pstor、Get操作成本Pop以及带宽成本Pnet；
步骤2、多云环境下数据存储方案选择问题是一个较为典型的多目标优化问题，其优化目标是在满足用户最低可用性约束的前提下最大化所选方案的数据可用性，同时最小化总成本，最终得到由一系列Pareto等级为1的个体组成的Pareto非劣解集P，再利用熵权法确定成本和可用性权重计算Pareto非劣解集P中各个解决方案的QoS，进而向用户推荐最优解决方案，其中，Pareto非劣解集P的求解过程包括以下步骤：
步骤201、从CloudHarmony上收集各云服务商所提供的数据存储服务的相关信息，并对收集到的信息进行初步的预处理和筛选；
步骤202、考虑到数据分存的erasure coding参数，分别使用控制染色体数量遍历各个erasure coding参数取值的方法以及通过分治法多次运行NDP算法，每次选取不同的erasure coding参数的方法初始化种群，并基于NSGA-II算法执行选择、交叉、变异、非支配排序，得到一系列Pareto等级为1的个体组成的Pareto非劣解集P。
2.如权利要求1所述的一种多云环境下低成本高可用性的数据优化存储方法，其特征在于，步骤2中，利用熵权法确定成本和可用性权重计算Pareto非劣解集P中各个解决方案的QoS，进而向用户推荐最优解决方案包括以下步骤：
对得到Pareto非劣解集P进行归一化处理，将所有非支配解归一化后的成本和可用性转化为一个大小为M×2的矩阵A，并计算各个目标所占的比重，并转换为各指标的信息熵权值，更进一步根据各项指标的权重计算每个非支配解对应的数据存储方案的QoS值，从中选出具有最大QoS值的数据存储方案作为向用户推荐的最优解决方案。
CN201910640186.XA 2019-07-16 2019-07-16 一种多云环境下低成本高可用性的数据优化存储方法 Pending CN110413231A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910640186.XA CN110413231A (zh) 2019-07-16 2019-07-16 一种多云环境下低成本高可用性的数据优化存储方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910640186.XA CN110413231A (zh) 2019-07-16 2019-07-16 一种多云环境下低成本高可用性的数据优化存储方法

Publications (1)

Publication Number Publication Date
CN110413231A true CN110413231A (zh) 2019-11-05

Family

ID=68361644

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910640186.XA Pending CN110413231A (zh) 2019-07-16 2019-07-16 一种多云环境下低成本高可用性的数据优化存储方法

Country Status (1)

Country Link
CN (1) CN110413231A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111061430A (zh) * 2019-11-27 2020-04-24 东南大学 一种多云环境下异构i/o细粒度感知的数据放置方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104811491A (zh) * 2015-04-17 2015-07-29 华南理工大学 一种基于遗传算法的云计算资源调度方法
CN105809279A (zh) * 2016-03-03 2016-07-27 河海大学 一种基于多目标量子混合蛙跳算法的水资源优化调度方法
CN107273184A (zh) * 2017-06-14 2017-10-20 沈阳师范大学 一种基于云端大数据迁移和处理成本的优化算法
CN107545364A (zh) * 2017-08-25 2018-01-05 合肥工业大学 激励型电力需求响应的用户响应策略优化方法
CN108173958A (zh) * 2018-01-05 2018-06-15 东华大学 一种多云环境下基于蚁群算法的数据优化存储方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104811491A (zh) * 2015-04-17 2015-07-29 华南理工大学 一种基于遗传算法的云计算资源调度方法
CN105809279A (zh) * 2016-03-03 2016-07-27 河海大学 一种基于多目标量子混合蛙跳算法的水资源优化调度方法
CN107273184A (zh) * 2017-06-14 2017-10-20 沈阳师范大学 一种基于云端大数据迁移和处理成本的优化算法
CN107545364A (zh) * 2017-08-25 2018-01-05 合肥工业大学 激励型电力需求响应的用户响应策略优化方法
CN108173958A (zh) * 2018-01-05 2018-06-15 东华大学 一种多云环境下基于蚁群算法的数据优化存储方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
PENGWEI WANG 等: "OPTIMIZING DATA PLACEMENT FOR COST EFFECTIVE AND HIGH AVAILABLE MULTI-CLOUD STORAGE", 《COMPUTING AND INFORMATICS》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111061430A (zh) * 2019-11-27 2020-04-24 东南大学 一种多云环境下异构i/o细粒度感知的数据放置方法

Similar Documents

Publication Publication Date Title
Sumida et al. Revenue-utility tradeoff in assortment optimization under the multinomial logit model with totally unimodular constraints
Liu et al. Study on multi-task oriented services composition and optimisation with the ‘Multi-Composition for Each Task’pattern in cloud manufacturing systems
CN105677765B (zh) 给用户推荐期望的功能序列的方法及系统
CN107451894B (zh) 数据处理方法、装置和计算机可读存储介质
Zhan et al. Reviews on decision making methods based on (fuzzy) soft sets and rough soft sets
CN105704255B (zh) 一种基于遗传算法的服务器负载均衡方法
Sultana et al. An integrated approach for multiple criteria supplier selection combining Fuzzy Delphi, Fuzzy AHP & Fuzzy TOPSIS
CN106776660A (zh) 一种信息推荐方法及装置
CN106530010A (zh) 融合时间因素的协同过滤方法和装置
Borkotokey et al. The Shapley value of cooperative games under fuzzy settings: a survey
Burlamaqui et al. Development as leapfrogging, not convergence, not catch-up: Towards Schumpeterian theories of finance and development
Wilson et al. Cloud adoption decision support for SMEs using Analytical Hierarchy Process (AHP)
Xue Intelligent system for products personalization and design using genetic algorithm
US9251113B1 (en) System for enabling participants to discuss, debate, connect and compare media and information
CN110413231A (zh) 一种多云环境下低成本高可用性的数据优化存储方法
Das et al. Computing optimal rebalance frequency for log-optimal portfolios
Ertugrul et al. Business mobile-line selection in Turkey by using fuzzy TOPSIS, one of the multi-criteria decision methods
US20170011038A1 (en) System and method for multiple factor sorting and user interface thereof
Eyvindson et al. Using uncertain preferential information from stakeholders to assess the acceptability of alternative forest management plans
Ludwig Memetic algorithms applied to the optimization of workflow compositions
CN108229572A (zh) 一种参数寻优方法及计算设备
de Moraes et al. An Efficiency Frontier based Model for Cloud Computing Provider Selection and Ranking.
Saha et al. A modified Brown and Gibson model for cloud service selection
Lu et al. A case study to select an optimal split-plot design for a mixture-process experiment based on multiple objectives
CN110781384B (zh) 一种基于优先级的内容推荐方法、装置、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20191105