CN107370802A - 一种基于交替方向乘子法的协同存储调度方法 - Google Patents

一种基于交替方向乘子法的协同存储调度方法 Download PDF

Info

Publication number
CN107370802A
CN107370802A CN201710558244.5A CN201710558244A CN107370802A CN 107370802 A CN107370802 A CN 107370802A CN 201710558244 A CN201710558244 A CN 201710558244A CN 107370802 A CN107370802 A CN 107370802A
Authority
CN
China
Prior art keywords
node
mrow
msub
edge cloud
storage
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710558244.5A
Other languages
English (en)
Inventor
吴冠霖
包卫东
朱晓敏
张耀鸿
刘宝宏
周文
陈俊杰
韩浩然
张国良
杨骋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
National University of Defense Technology
Original Assignee
National University of Defense Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by National University of Defense Technology filed Critical National University of Defense Technology
Priority to CN201710558244.5A priority Critical patent/CN107370802A/zh
Publication of CN107370802A publication Critical patent/CN107370802A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14—Network analysis or design
    • H04L41/142—Network analysis or design using statistical or mathematical methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14—Network analysis or design
    • H04L41/145—Network analysis or design involving simulating, designing, planning or modelling of a network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/60—Scheduling or organising the servicing of application requests, e.g. requests for application data transmissions using the analysis and optimisation of the required network resources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/60—Scheduling or organising the servicing of application requests, e.g. requests for application data transmissions using the analysis and optimisation of the required network resources
    • H04L67/63—Routing a service request depending on the request content or context

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Algebra (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Physics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mobile Radio Communication Systems (AREA)

Abstract

本发明公开了一种基于交替方向乘子法的协同存储调度方法，包括：获取移动边缘云内的节点相关信息，构建移动边缘云的总效用对应的优化模型；基于节点传输的基本原理，构建对应的约束公式；基于交替方向乘子法对优化模型按照预设的算法进行求解，得到优化模型对应优化的存储调度方案；采用优化的存储调度方案对移动边缘云内的相应节点进行存储调度任务。所述基于交替方向乘子法的协同存储调度方法通过考虑和整合移动边缘云内节点异质信息，经过迭代运算后，获得存储调度方案，提升云计算的性能；通过构建总效用的优化模型能够减少任务执行的延迟和系统运行的总成本、尽量使用节点本地信息、保证系统整体可靠性。

Description

一种基于交替方向乘子法的协同存储调度方法
技术领域
本发明涉及数据存储调度技术领域，特别是指一种基于交替方向乘子法的协同存储调度方法。
背景技术
最近，因为能够为大数据、物联网和智能家居等新兴技术提供更好地云服务，移动边缘云日益得到广泛的关注。移动边缘云(MEC，Mobile Edge Cloud)可以被视作为整合网络、计算、存储以及核心应用能力于一体的开放云平台。提出这种云计算新形式是为了有效扩展边缘网络环境下云计算效能的发挥，从而解决云计算服务内最主要的挑战之一：如何处理移动边缘应用日益增长的需求与移动边缘设备本地有限资源的矛盾。在移动边缘云这种形式下，所有节点从远端数据中心以及其它相连节点接收数据。同时它也实时产生各种形式如图片、视频、录音等的数据文件，所有这些数据文件可以通过存储在移动边缘云内各节点的方式从而提供更优质的即时服务的同时缓解数据中心的负载。进一步讲，在移动边缘云环境下节点间如何优化的调度存储相关资源对提升数据存储的性能有着重要的意义。
事实上，这种环境下的数据存储运行仍面临着众多挑战。第一，今天大多数云计算服务使用的仍是集中式算法，这很难满足移动边缘云最基本的要求。第二，移动边缘云内的大多数设备或应用都是高度时延敏感的。同时考虑远端数据中心具备的大量存储数据和各节点之间的有限带宽，尽管用户需要及时服务，但是长距离网络通讯带来的延迟是不可避免的，这势必将影响用户的体验。第三，现有的非集中式存储算法考虑并不全面，并不适应移动边缘云发展中体现出来的新特征。其中一些假设认为边缘节点的组合产生的资源池可以被认为是无限，但事实上边缘节点的资源池容量本身也被它们间复杂的结构和强流动性所限制。此外，经常变化的结构以及不稳定性会导致移动边缘云内未预测到的节点流失，这也将增加数据丢失的风险。最后，移动边缘云各节点信息具有显著的异质性特征，如电耗、带宽等等之间都具有较大的差异性。因此，在节点之间实现有效的通信和交互来满足移动边缘云的基础需求是不容易的。
随着当下各种类型数据量的日益增长，传统模式的压力越来越大，提高移动边缘云数据存储的有效性和可扩展性，共享和缓解数据中心的工作负载变得更为紧迫。有效的数据存储已经成为限制移动边缘云性能提升的关键因素，特别是在处理大规模或计算需求性应用的情况下。由此，在实现本申请的过程中发明人发现现有技术中移动边缘云存储调度的可靠性、稳定性以及能源利用率均不理想。
发明内容
有鉴于此，本发明的目的在于提出一种基于交替方向乘子法的协同存储调度方法，能够提高移动边缘云中节点极性存储调度的可靠性、稳定性以及能源利用率。
基于上述目的本发明提供的一种基于交替方向乘子法的协同存储调度方法，包括：
获取移动边缘云内的节点相关信息，并且基于节点相关信息构建移动边缘云的总效用对应的优化模型；其中，所述优化模型中包括系统可靠性、能耗使用效率以及节点撤出风险；
基于节点传输的基本原理，构建优化模型对应的约束公式；
基于交替方向乘子法对优化模型按照预设的算法进行求解，得到优化模型对应优化的存储调度方案；
采用优化的存储调度方案对移动边缘云内的相应节点进行存储调度任务。
可选的，所述基于交替方向乘子法对优化模型按照预设的算法进行求解的步骤包括：
对移动边缘云内的每个节点进行初始化；
基于当前时刻的节点相关信息，对优化模型对应当前时刻请求节点的子问题进行求解，得到请求节点的最优解并且发送到相应的移动边缘云节点中；
根据请求节点的最优解以及相应的节点信息，对优化模型对应存储节点的子问题进行求解，得到存储节点的最优解；
基于预设的更新公式对对偶变量进行更新并且将存储节点的最优解以及更新的对偶变量发送到相应的请求节点中；
重复上述迭代求解过程，直到满足预设的停止条件，得到优化的存储调度方案。
可选的，所述对移动边缘云内的每个节点进行初始化中需要初始化的参数包括：
请求节点中的任务请求相应节点的撤出效用损失基本单位、不同种类单位资源需求量、任务所需基本单位的总数目、不同请求节点任务对应的预设冗余标准、请求节点与不同存储节点之间任务存储子块的故障概率、故障后可修复概率以及存储节点对该请求节点的撤出概率；
存储节点中的存储节点对应的峰值、空闲功率、各存储节点功率加权平均利用率、单位电量相对重要性价格、节点能耗使用效率、节点有限的资源容量、所有的存储相关资源集合、当前已经使用的存储资源量。
可选的，请求节点的子问题的计算公式如下：
其中，I为请求节点的集合；N为存储节点的集合；xin为请求节点i做出的存储节点n所应承担的基本单位数目决策方案；Ri为请求节点i的任务所需基本单位的总数目；q为效用损失的基本单位；Min为节点撤出概率；θ为节点数据存储子块发生故障后可实现修复的概率；η为节点处理的数据存储子块的故障概率；mi为请求节点i冗余容错设计中预设的冗余标准；H为可靠性函数效用平衡权值；ρ为罚参数；为t时刻下存储节点n做出的关于承载来自请求节点i任务数目的决策方案；表示t时刻的对偶变量；
存储节点对应的子问题的计算公式如下：
其中，yin为辅助变量；rid为节点i的资源需求量；D为所有资源集合；d为资源维度；Lnd为节点n的资源容量；L‘nd为节点n已使用的资源；en为节点单位电量的相对重要性价格；Un节点n的能耗使用效率；为节点n的峰值功率；为节点n的空闲功率；vd为表示资源维度d对节点整体功率贡献的权值；
预设的更新公式为：
其中，表示t时刻的对偶变量；表示t+1时刻的对偶变量；表示t+1时刻的请求节点的最优解；表示t+1时刻的存储节点的最优解。
可选的，所述对优化模型对应当前时刻请求节点的子问题进行求解的步骤还包括：
读取初始化的参数信息；
根据最优化求解算法对问题相应的局部决策模块进行求解。
可选的，所述根据请求节点的最优解以及相应的节点信息，对优化模型对应存储节点的子问题进行求解的步骤包括：
将请求节点的最优解以及相关信息发送到相应的存储节点中；
存储节点读取相应数据和信息对问题进行求解，得到存储节点的最优解；其中，所述信息中包括节点自身的异质信息。
从上面所述可以看出，本发明提供的基于交替方向乘子法的协同存储调度方法考虑和整合移动边缘云内所有参与节点的异质信息，经过有限次数的迭代运算后，获得可行的存储解决方案，最终提升云计算的性能。通过构建总效用的优化模型能够最大限度地减少任务执行的延迟和系统运行的总成本，最大程度使用节点本地信息以及保证系统整体可靠性。因此，本申请所述基于交替方向乘子法的协同存储调度方法能够提高移动边缘云中节点极性存储调度的可靠性、稳定性以及能源利用率。
附图说明
图1为本发明提供的基于交替方向乘子法的协同存储调度方法的一个实施例的流程示意图；
图2为本发明提供的请求节点内进行决策求解的原理示意图；
图3为本发明提供的向周边节点进行信息传递的原理示意图；
图4为本发明提供的存储节点内进行决策求解的原理示意图；
图5为本发明提供的向请求节点传递信息的原理示意图；
图6为广州白云机场某区域内的平均请求数；
图7为60次平行试验所需迭代次数的示意图；
图8为ACMES-整体和ACMES-30在总成本，可靠性，PUE和撤出风险等指数上的对比；
图9为四种方法关于总成本的比较；
图10为与三种基线算法相比ACMES在总成本上的相对优势；
图11为四种方法关于可靠性的比较；
图12为与三种基线算法相比ACMES在可靠性上的相对优势；
图13为四种方法在能耗成本上的比较；
图14为与三种基线算法相比ACMES在能耗成本上的相对优势；
图15为四种方法在节点撤出成本控制上的比较；
图16为与三种基线算法相比ACMES在节点撤出成本上的相对优势。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。
需要说明的是，本发明实施例中所有使用“第一”和“第二”的表述均是为了区分两个相同名称非相同的实体或者非相同的参量，可见“第一”“第二”仅为了表述的方便，不应理解为对本发明实施例的限定，后续实施例对此不再一一说明。
申请人发现，通过对网络边缘环境下设备存储的整合，能够显著提升云计算的性能。但常用的算法不能适用于这种移动边缘云内的新的存储模式。为解决此问题，本申请提出了一种ACMES(Algorithm of Collaborative Mobile Edge Storage)的方法。该方法通过考虑和整合移动边缘云内所有参与节点的异质信息，经过有限次数的迭代运算后，获得可行的存储解决方案。ACMES能够最大限度地减少任务执行的延迟和系统运行的总成本，最大程度使用节点本地信息以及保证系统整体可靠性。同时，移动边缘云节点能够在保证能耗效率以及控制节点撤出风险的前提下自适应的调度资源完成存储任务。收敛分析证明了ACMES方法在实际应用中具有解决复杂的移动边缘云存储问题的能力。综合的实验证明了与其他三种常见算法(即ADM，RDM和ERASURE)相比，ACMES的综合优化效用分别平均高于其他三种算法41.72％，44.52％，22.94％。
因此，本申请的ACMES具有通过高效使用节点本地信息来实现系统可靠性、能耗效率和节点流失风险之间的最佳权衡的能力。当执行存储任务时，ACMES能够在移动边缘云各个节点上自适应的做决策来实现对他们存储能力的最佳使用。ACMES通过有效挖掘每个节点的存储容量和其他相关信息来分配存储任务且只需要很少的节点间通信。ACMES算法将存储任务信息分发给所有的参与节点并在此基础上制定主要决策。经过反复的交互、评估、迭代结果重新分配，最终将获得可行的解决方案。ACMES算法首先让每个单个节点结合本地所有相关信息进行计算，然后再集成初步结果重复进行运算，最终达到为存储放置和任务分配提供最佳解决方案的目标。与其他常见算法ADM、RDM和ERASURE的大量比较实验，证明了本申请提出的ACMES算法的优越性。此外，本申请是第一个从移动边缘云存储资源调度视角出发，同时综合考虑资源分配、任务调度以及节点异质信息，对边缘云存储模式进行了设计。本申请的优点至少包括：(1)提出了一种协同存储方案满足移动边缘云存储的具体需求。提出的方案能够最小化能耗和节点流失风险同时保证节点存储的可靠性。(2)提出了一种移动边缘云的各节点能通过交互自行决策的算法ACMES。通过自适应的分配存储任务到移动边缘云内的不同节点，ACMES能够最小化任务平均执行的延迟以及整体运营成本。(3)进行了收敛性分析并且与典型同类算法ADM、RDM和ERASURE进行了比较，来评估ACMES的性能。实验结果表明了ACMES方法在收敛速度、总成本、可靠性、能耗效率以及节点流失风险控制上的优势。
参照图1所示，为本发明提供的基于交替方向乘子法的协同存储调度方法的一个实施例的流程示意图。所述基于交替方向乘子法的协同存储调度方法包括：
步骤101，获取移动边缘云内的节点相关信息，并且基于节点相关信息构建移动边缘云的总效用对应的优化模型；其中，所述优化模型中包括系统可靠性、能耗使用效率以及节点撤出风险；所述优化模型是指对应总效用最小的计算模型，也即通过求解能够得到总效应最小的调度存储方案。
步骤102，基于节点传输的基本原理，构建优化模型对应的约束公式；
步骤103，基于交替方向乘子法对优化模型按照预设的算法进行求解，得到优化模型对应优化的存储调度方案；
步骤104，采用优化的存储调度方案对移动边缘云内的相应节点进行存储调度任务。
由上述实施例可知，所述基于交替方向乘子法的协同存储调度方法考虑和整合移动边缘云内所有参与节点的异质信息，经过有限次数的迭代运算后，获得可行的存储解决方案，最终提升云计算的性能。通过构建总效用的优化模型能够最大限度地减少任务执行的延迟和系统运行的总成本，最大程度使用节点本地信息以及保证系统整体可靠性。因此，本申请所述基于交替方向乘子法的协同存储调度方法能够提高移动边缘云中节点极性存储调度的可靠性、稳定性以及能源利用率。
在本申请一些可选的实施例中，所述基于交替方向乘子法对优化模型按照预设的算法进行求解的步骤包括：
对移动边缘云内的每个节点进行初始化；例如：令 等等；
基于当前时刻的节点相关信息，对优化模型对应当前时刻请求节点的子问题进行求解，得到请求节点的最优解并且发送到相应的移动边缘云节点中；例如：给定及本地其他相关信息如m、Ri和Min；
其中，请求节点对应的子问题的计算公式如下：
其中，I为请求节点的集合；N为存储节点的集合；xin为请求节点i做出的存储节点n所应承担的基本单位数目决策方案；Ri为请求节点i的任务所需基本单位的总数目；q为效用损失的基本单位；Min为节点撤出概率；θ为节点数据存储子块发生故障后可实现修复的概率；η为节点处理的数据存储子块的故障概率；mi为请求节点i冗余容错设计中预设的冗余标准；H为可靠性函数效用平衡权值；ρ为罚参数；为t时刻下存储节点n做出的关于承载来自请求节点i任务数目的决策方案；表示t时刻的对偶变量；
根据请求节点的最优解以及相应的节点信息，对优化模型对应存储节点的子问题进行求解，得到存储节点的最优解；例如：给定和
其中，存储节点对应的子问题的计算公式如下：
其中，yin为辅助变量；rid为节点i的资源需求量；D为所有资源集合；d为资源维度；Lnd为节点n的资源容量；L‘nd为节点n已使用的资源；en为节点单位电量的相对重要性价格；Un节点n的能耗使用效率；为节点n的峰值功率；为节点n的空闲功率；vd为表示资源维度d对节点整体功率贡献的权值。因此，在求解子问题的时候，还需要用到本地信息m,L‘nd，Un，vd等。
基于预设的更新公式对对偶变量进行更新并且将存储节点的最优解以及更新的对偶变量发送到相应的请求节点中；
其中，预设的更新公式为：
其中，表示t时刻的对偶变量；表示t+1时刻的对偶变量；表示t+1时刻的请求节点的最优解；表示t+1时刻的存储节点的最优解。
重复上述迭代求解过程，直到满足预设的停止条件，得到优化的存储调度方案。
在本申请一些可选的实施例中，所述对移动边缘云内的每个节点进行初始化中需要初始化的参数包括：
请求节点需要初始化对任务请求相应节点的撤出效用损失基本单位q，不同种类单位资源需求量ri＝{rid，d∈D}，任务所需基本单位的总数目Ri，不同请求节点任务对应的预设冗余标准mi，请求节点与不同存储节点之间任务存储子块的故障概率η和故障后可修复概率θ以及存储节点对该请求节点的撤出概率Min。
存储节点需要初始化分移动边缘云存储节点对应的峰值和空闲功率 各存储节点功率加权平均利用率vd、单位电量相对重要性价格en、节点能耗使用效率Un以及该节点有限的资源容量Ln＝{Lnd}，d∈D，所有的存储相关资源集合D，通常包含存储空间、待机时间、带宽等，当前已经使用的存储资源量L‘nd等等。如果节点无法有效在本地获得信息，将执行相应预设方案。初始化阶段定义
在本申请一些可选的实施例中，所述对优化模型对应当前时刻请求节点的子问题进行求解的步骤还包括：
读取初始化的参数信息；
根据最优化求解算法对问题相应的局部决策模块进行求解。
也即，需要读入已经被初始化的及本地相关其他信息如η、θ、q、H、m、Ri和Min等，并依赖最优化求解算法求解
参照图2所示，为本发明提供的请求节点内进行决策求解的原理示意图。各任务请求节点(r1,r2,r3,r4)根据本节点信息以及连通节点信息、任务需求信息等等信息资源，对自己负责的局部决策模块进行求解。
在本申请一些可选的实施例中，所述根据请求节点的最优解以及相应的节点信息，对优化模型对应存储节点的子问题进行求解的步骤包括：
将请求节点的最优解以及相关信息发送到相应的存储节点中；
存储节点读取相应数据和信息对问题进行求解，得到存储节点的最优解；其中，所述信息中包括节点自身的异质信息。
也即，将计算得出的信息传递到相邻存储节点，本地存储节点读取以及m、L‘nd、Un、vd等本地信息，每个移动云存储节点求解子问题得到最优解
参照图3和图4所示，分别为本发明提供的向周边节点进行信息传递的原理示意图以及存储节点内进行决策求解的原理示意图。将计算得到的预决策结果广播到其决策所涉及的移动边缘云节点。在图中这些决策被具体的方块表示。进而移动边缘云存储节点收集请求节点云内广播的相关信息，基于收到的计算结果以及自身节点异质性信息，执行自己所属决策模块。
参照图5所示，为本发明提供的向请求节点传递信息的原理示意图。移动边缘云节点将计算结果广播到相关请求节点，从而进入下一次迭代。
可选的，判断迭代停止条件的具体内容为：根据BOYD S等对交替方向乘子法基础理论为的研究结论，ACMES得到合适的优化结果需要满足各原始变量(primal variable)的偏导和约束条件为0，从最优条件中可以得到所谓的对偶残差(dual residuals)和初始残差(primal residuals)，其通用形式如下：
dual-residuals：sk+1＝ρATB(zk+1-Zk)
primal-residuals：rk+1＝Axk+1+Bzk+1-c
相对于优化条件来说，ACMES算法中停止条件的设置更难把握。而停止条件的设置，又与算法速度与效果直接相关。在实际应用中，通常根据初始残差(primal residuals)和对偶残差(dual residuals)足够小来进行判别，其阈值包含了绝对容忍度(absolutetolerance)和相对容忍度(relative tolerance)，其形式如下：
||rk||2≤∈Pri and||Sk||2≤∈dual
所述ρ和n分别表示维度和样本量。本申请可以设置绝对容忍度cmain和相对容忍度cdel分别为10-3和10-2。这些值已经足够小来产生实际中可接受的精度。
为了更清晰的说明本申请中提出的储存调度方法的突出特点，在一些可选的实施例中，还提供了所述基于交替方向乘子法的协同存储调度方法的研究过程，通过展示研究的内容来展示方法的优点。
首先，一个典型的移动边缘云是由众多差异化的节点组成。这些节点既是服务的使用者又是服务的提供者，尽管它们与远端数据中心相连，但无论从逻辑还是物理距离上它们的距离都极远。具体的讲，假设移动边缘云在某一时间段内有T个节点，其包括了所有的存储节点与请求节点，我们将其定义为集合T。用N(i.e.,N＝{1,2,3,…,n})代表移动边缘云内所有存储节点的集合，用I(i.e.,I＝{1,2,3,…,i})代表所有请求节点的集合，因此T＝N+I。在这种情况下，请求节点i∈I基于预先达成的协议规则与各存储节点n∈N进行连接。任一节点一旦有存储任务，它就将发送存储请求给相关节点。收到存储请求的节点将基于请求具体内容以及节点本地信息制定资源分配的决策。尽管移动边缘云可被视作无资源限制的远端云相连，但是相对较大的距离还是减少了源的可用性。
在移动边缘云内，各移动边缘节点同时具备发送和处理任务请求的能力，同时它们也具有不同种类的与存储调度相关的资源和信息，例如：存储能力，电量，功率和带宽。每一个移动边缘云节点n具有一个有限的资源容量Ln＝{Lnd}，d∈D，其中D表示所有的存储相关资源集合，包含存储空间、待机时间、带宽等。对每一种资源维度d，移动边缘云节点n上当前已经使用的存储资源标记为L‘nd。
请求节点中不同内容的请求任务，例如：不同的大小：10MB、10GB、500PB；不同的速度要求：高速、低速，对应存储节点不同能力特征，例如：物理距离、存储能力、电量、功率和带宽。为了最大化移动边缘云的整体效用，在上述基础上，本实施例重点研究如何处理相应节点之间的交互以及分发请求任务。
为了避免使用不同的标准来测量请求任务的大小，本申请使用基本单位作为其标准单位。在协同存储的过程中，定义完成任务发起节点i∈I一个基本单位数目的任务请求，所需配属的不同种类资源需求量为ri＝{rid，d∈D}。例如：如果r1＝{r11＝1，r12＝2，r13＝3}，代表着它需要保障至少1单位的存储资源，2单位的待机时间，3单位的带宽来完成1个基本单位的来自请求节点1的存储请求任务。因此任一移动边缘云节点n的资源限制被描述如下：
其中，任务的有效完成所需要的各资源数量是相互关联的，本文使用xin表示对于请求节点i产生的存储任务，移动边缘云节点n所应承担的基本单元数目。它同时满足此外，将来自请求节点i的任务所需基本单位的总数目标记为Ri。
为了能够在协同存储的过程中基于异质实时存储信息针对移动边缘与环境最大化存储效能，本实施例聚焦于三方面的限制条件：系统可靠性、能耗使用效率以及节点撤出风险。
在移动边缘云内，存储的可靠性通常与其冗余机制的设计以及任务发起节点在切割、广播过程的平均故障等率密切相关。为了对系统可靠性进行建模，用η表示某节点处理的数据存储子块的故障概率，θ表示该节点数据存储子块发生故障后可实现修复的概率，修复概率的大小与任务发起节点预设的文件切割存储时使用的冗余策略有关。χ(xin)表示执行任务xin中的可靠性风险，xin表示对于请求节点i产生的存储任务，移动边缘云节点n所应承担的基本单元数目。执行任务xin时所必须承担的可靠性风险为：
其中，mi表示请求节点i冗余容错设计中预设的冗余标准，通常为切割子块所需副本数量。
因为冗余部分已经作为存储文件整体的一部分，此处有关冗余部分的成本不再重复考虑。但需要注意的是任务发起节点i对存储数据进行切割、广播时，对不同的单位数目分发通常有不同的冗余容错标准，其完全丢失的概率根据标准制定的不同而不同。对于一个有I个任务需求发起节点参与的移动边缘云，其存储的可靠性可以表示为：系统可靠性风险根据冗余和容错标准而变化，同时与任务xin的大小有关。对移动边缘云内的协同存储系统来说，系统可靠性被定义如下：
考虑移动边缘云节点消耗的能耗成本，通常与提交到该移动边缘云各节点进行存储所需基本单位数目相关。本申请用P(xn)表示移动边缘云节点n存储过程的耗费功率。P(xn)可以建模成一个关于多个维度功率加权平均利用率的线形函数，描述如下：
其中，分别表示移动边缘云节点n的空闲和峰值功率，w(xin)表示移动边缘云节点n的加权平均利用率，因此有：
其中，vd表示资源维度d对节点整体功率贡献的权值，同时满足：
考虑到实际情况，假设不同种类的移动边缘设备对能耗控制有着不同的要求。同样单位的电量消耗对不同设备的影响与意义是不同的。因此本申请提出en表示一个移动边缘云节点单位电量的相对重要性价格，其为节点单位时耗与总电量的比值或者为一个节点补充单位电量所需的成本价格。整个移动边缘云的能耗使用被定义如下：
其中，Un表示移动边缘云节点n的能耗使用效率。对每个特定类型的移动边缘云节点来说，其PUE通常是一个常数。
移动边缘云构成节点的流失会导致更高的冗余修复成本。从而使移动边缘云协同存储产生额外开销并影响服务体验。本申请由于移动性、不适配等导致的断开连接的可能，关注对不同类型的请求节点各移动边缘节点存在的撤出风险，不同设备间在硬件、连接设置等方面的差异以及位置的不确定性，往往会导致这种节点撤出现象的产生。
假设在从请求节点i传输到存储节点n的过程中，节点撤出概率用Min进行定义。完成请求节点i存储任务过程所必须承担的节点撤出导致的效用损失的成本用CRiski进行表示，其通常认为与边缘网络平均损失有关，可被表示为∑nxinMin。CRiski随着任务请求的不同而不同，因此可以被建模为以下线性函数：
其中，q为效用损失的基本单位，包括必要的冗余、修复成本。很显然，当Min为0时，整体的效用损失也为0。
给定请求节点集合I，存储节点集合N以及上述所提到的其他运行时相关参数，本文通过关键目标变量xin确定如何分发任务从而实现系统可靠性、能耗和节点撤出风险之间权衡，从而实现总成本的最低。此外，为了更合理的反应整体效用表现，权衡不同单位之间的差异，我们赋予了可靠性函数效用平衡权值为H。问题的优化目标可以被表述如下：
目标函数(9)描述了所有节点的总效用，包括能耗成本、节点撤出风险成本和系统可靠性。约束(10)-(12)描述了一个节点的功率，可以根据公式(4)-(6)计算得来，约束(13)是各移动边缘云节点的存储资源容量约束，表示每一个维度的资源需求不能大于节点当前可用的容量。约束(14)确保来自各请求节点的任务请求，其都应当完全分发到各节点中去，使得请求得以满足。约束(15)描述了来自一个请求节点任务执行中的可靠性。约束(16)是对分发的基本单位数目的非负约束，现实中不存在为负的情况。
对于上述建模得到的公式，在移动边缘云计算资源有限的背景下直接使用基于集中式设计的算法具有诸多问题。网络的复杂性、高异质性，节点设备的移动性以及动态的拓扑结构都是我们在移动边缘环境下构建具有通用意义的分布式协同存储算法的重要原因。
本申请提出的ACMES算法借鉴了交替方向乘子法(ADMM)的基本思路。ADMM是一种整合了多乘子法良好收敛特性以及对偶上升方法可分解特性的方法。这种整合能够克服对偶分解方法收敛慢及易波动的缺点，使得它比较适合解决实用统计和机器学习领域中的大规模分布式优化问题。ADMM算法通常用来解决下面这种形式的问题：
min f(x)+g(y) (17)
s.t.Ax+By＝c， (18)
x∈C1，y∈C2 (19)
其中，f和g为凸函数，x∈Rn，y∈Rm表示两个变量。C1、C2分别表示Rn和Rm的非空凸子集。目标函数可以在两个变量集合x和y上分解，x和y通过一个线性的等式约束(18)耦合在一起。
跟多乘子法类似，可以得到如下增广拉格朗日函数：
其中，λ是等式约束(18)的对偶变量，ρ＞0是相关的罚参数。引入罚参数项可以提升稳定性并且加快收敛速度。
ADMM算法通过下面的迭代来求解这个对偶问题：
λt+1:＝λt+ρ(Axt+1+Byt+1-c)， (23)
其中，对偶变量更新使用的步长等于罚参数项ρ。系统被假设以时隙的方式运行(如：1,2,3,…，t)。主要变量x和y随着t的变化以一种交替的方式进行更新。
ADMM算法通常也可以写成一种缩放的形式，这种形式更方便。缩放形式的ADMM将增广拉格朗日中的线性和二次方项组合到一起，并且引入u＝(1/ρ)λ来进行缩放。具体来说，缩放形式的ADMM可以描述如下：
ut+1:＝ut+Axt+1+Byt+1-c， (26)
各种条件下ADMM方法的最优性和收敛性都可以得到保证，通常经过数十次迭代便可以收敛于一个中等精度。
为了更好的描述本移动边缘云环境下基于ACMES方法的协同存储，本研究将其具体流程形式，描绘成如下图2—图5所示。
Step1：如图2，各任务发起节点(r1,r2,r3,r4)根据本节点信息以及连通节点信息、任务需求信息等等信息资源，对自己负责的局部决策模块进行求解。
Step2：如图3，将Step1计算得到的决策方案广播到其决策所涉及的移动边缘云节点。在图中他们被具体的用方块表示。
Step3：如图4，移动边缘云节点收集请求节点云内广播的相关信息，基于收到的计算结果以及自身节点异质性信息，执行自己所属决策模块。
Step4：如图5所示，移动边缘云节点将Step3的计算结果广播到相关请求节点，从而进入下一次迭代。
反复执行Step2到Step4，直至所有节点满足收敛条件，收敛至最优解。
为了解决问题P1，首先将优化问题进行了变形，进而通过对方程的解离构建了ACMES算法。具体的，根据ADMM方法，为了解决问题P1，我们引入了新的辅助变量yin。由于yin＝xin，问题P1实际上等价于下述P2的形式。重新被构建的优化问题可以被表述如下：
P2:
上述公式满足ADMM理论，且目标函数可以在两个变量集合xin和yin上进行分解。xin控制的是节点撤出风险带来的效用损失以及系统整体可靠性，yin决定了分发这些存储需求的总能耗成本。目标函数(27)描述了所有节点的总效用，包括能耗成本、节点撤出风险成本和系统可靠性。约束(31)是各移动边缘云节点的存储资源容量约束，表示每一个维度的资源需求不能大于节点当前可用的容量。约束(32)确保来自各请求节点的任务请求，其都应当完全分发到各节点中去，使得请求得以满足。约束(34)是对分发的基本单位数目的非负约束，现实中不存在为负的情况。引入辅助变量yin的目的就在于将存储需求发起端和每个移动云节点的约束集进行分离，得到ADMM所需的形式，这个新问题的增广拉格朗日为：
其中P(yin)可以在公式(28)-(30)求得。
ACMES方法需要随着时隙t的变化交替性地更新变量xin和yin。具体到本研究的问题中来，根据公式(24)，第(t+1)次迭代过程中xin最小化步骤需要求解下面的问题：
其中，分别表示第t次迭代中y和缩放对偶变量u的值。注意到这个问题的目标函数和约束都是在请求节点i上可分离的。故这个问题在请求节点也是可分离的。具体来说，每个请求节点只需独立地解决下面的子问题便可以求解任一类型的存储请求，并且只需在节点i上独立运行：
将问题(36)分解成|I|个单计算任务(37)后我们可以在所有请求节点上分布式地求解xin最小化问题，yin最小化步骤也可以通过相似的方式求解。根据公式(25)，yin最小化过程需要求解下面的问题：
上述问题可以分解成|N|个在移动边缘云节点上的子问题进行求解。具体来说，每一个移动边缘云节点n需要解决如下问题：
与原始问题相比，每个存储节点上求解的子问题(39)规模小很多。它只需要求解|I|个变量和|I|+1个约束，并且可以通过标准的优化求解器进行求解。
获得最优的xt+1和yt+1后，ACMES迭代求解过程中最后一步是对偶变量的更新。其可以通过如下方式得到：
在线算法是ACMES的核心。基于上文的研究，ACMES可以被描述如下：
每个移动边缘云节点初始化，
Process-1：给定及一些本地其他信息如m、Ri和Min，每一个请求节点求解子问题(37)。然后每个请求节点将得到的最优解发送到相应移动云节点n。
Process-2：给定和每个移动云节点求解子问题(39)来得带最优解在求解子问题的时候，还需要用到本地信息m,L‘nd，Un，vd等。
Process-3：每一个移动云节点按照公式(40)更新对偶变量 然后将最优解和更新后的对偶变量发送到相应的请求节点i。
回到Process-1，直到到达停止点。
需要注意的是，ACMES在实际应用中可能碰到的一些问题或难点。首先，每次迭代中的Process-1求解请求节点子问题比较容易以一种并行的方式实现。请求节点分布式且小规模(O(10)-O(1))的特性使得这种并行算法在实际环境下的移动边缘云中实现是可行的。因为移动边缘云节点上的子问题本质上是一个小规模的凸优化问题，故在每个移动云节点上的计算复杂度比较低，对偶变量的更新过程也能够在每个移动边缘云节点上以一种并行的方式实现。
其次，受限通信资源、干扰环境和一些安全上的考量，使得不可能让任务发起节点和全部移动边缘云节点直接相连。但是，这个问题可以在一簇移动边缘云节点中部署一个代理来解决，通常移动边缘云中是存在专设服务器的。该代理主要负责处理每个任务需求发起节点和该代理下每个服务器之间的通信问题，包括所有中间结果，例如每次迭代x、y和u的传递。也可以收集一些本地信息，例如：单位成本价格和U信息。因为所有的簇代理都被同一个移动云边缘体系所有，这些通信通常都发生在移动云的内部网络，并且中间结果传输的数据量通常比存储任务本身处理的数据要小很多。因此，根绝这种的模式的特性，我们算法的消息传输开销较低。
最后，即使在收敛之前也可以被人为地终止。主要是因为ACMES对步长ρ不敏感，并且通常能够在几十次迭代之内找出一个实际中足够好的解。故在实际中，经过几十次迭代后使用早期中断机制来终止算法是安全、有效的，就像在后续实验中证明的那样，提前停止机制不会对算法性能造成明显的下降。
为了证明ACMES获得的性能改进，本申请基于真实移动边缘云网络的拓扑结构和实际工作负载统计量，将其与其他三个基线算法(ADM，RDM，ERASURE)进行了定量比较。
移动边缘云节点网络中包含了|N|＝30个节点。对于每个存储节点n的能耗使用效率PUE在0.45和0.85之间选取。由于移动云节点网络根据不同的实际背景有着不同的构成形式，节点可能为电脑、手机、pad、智能穿戴设备、传感器中任意的一种或多种交叉构成，所以定义移动边缘云节点的空闲功率为在0.45w-10w之间随机选取，峰值功率通常是空闲功率的4-20倍，这些参数都反映了当前主流移动云构成节点的硬件水平。
本申请主要考虑的各个任务请求D包含3个资源维度，即存储能力、待机时间与带宽。对每一个资源维度来说，每一个移动云节点具有的资源正则化在0-100的范围内，每个移动云节点当前已经使用的资源占总体的比率在0-1单位之间选取。
基于对广州白云机场用户连接远端服务真实数据的统计，利用其用户连入、使用数据，来模拟任务发起节点参与数量的变化。图6给出了编号E1-1A-1<E1-1-01>场景范围内，2016年9月11日、12日、13日从15时到17时，每十分钟内平均发起节点参与数量的三日平均值。这意味着某一时刻下同时并发的任务量也是并不相同的，各任务对每种维度的资源需求根据不同的预设也有着不同的比例。每个移动云节点对各存储需求发起端的流失率0.2-0.8之间，流失权衡价格q＝10-5，相当于一个具有1个单位的流失概率将对系统增加$0.01的成本损失。最后，经过实验性地尝试惩罚参数ρ＝{10-3，10-2，10-1，1，2，4，7，10，102，103}之后，设置ρ＝4。其拥有最好的收敛性和性能。
为了能够完整描述本申请提出ACMES算法所需迭代次数的的概率分布，本申请运用累积分布函数CDF(Cumulative Distribution Function)对ACMES算法60次运行收敛所需迭代次数的统计结果进行了处理。根据BOYD S等对交替方向乘子法基础理论为的研究结论，ACMES得到合适的优化结果需要满足各原始变量(primal variable)的偏导和约束条件为0，从最优条件中可以得到所谓的对偶残差(dual residuals)和初始残差(primalresiduals)，其通用形式如下：
dual-residuals：dk+1＝ρATB(zk+1-Zk)
primal-residuals：rk+1＝Axk+1+Bzk+1-c
相对于优化条件来说，ACMES算法中停止条件的设置更难把握。而停止条件的设置，又与算法速度与效果直接相关。在实际应用中，通常根据初始残差和对偶残差足够小来进行判别，其阈值包含了绝对容忍度(absolute tolerance)和相对容忍度(relativetolerance)，其形式如下：
||rk||2≤∈pri and||Sk||2≤∈dual
上面的ρ和n分别表示维度和样本量。本申请设置绝对容忍度cmain和相对容忍度cdel分别为10-3和10-2。这些值已经足够小来产生实际中可接受的精度。
如图7所示，算法在所有的运行当中都能在几十次迭代后收敛。在上述仿真试验中，它最多需要48次迭代就收敛，对90％的时间来说，它只需要30次以下的迭代就足以收敛，在40％的情况下算法能够实现在5次以内实现收敛，这些都证明了本申请提出的ACMES算法具有较快的收敛特性。
如上文所述，停止条件在不同问题中具有较大的差异性，更多的应针对具体应用进行评估，因此在达到收敛条件之前进行人为的停止是合理的。为了进一步验证实际工作环境中本申请中进一步使用所提出的ACMES算法进行30次迭代(ACMES-30)来评估其在早期过程中中断时的收敛质量。
如图8所示，本文比较了ACMES和ACMES-30在总成本、可靠性、能耗成本、流失损失上的结果。不难发现，总成本、可靠性、流失损失与I数目趋势较为相似，而能耗成本的不一样在于它更多的受各个移动云节点本身的差异化的能耗特征所影响，这是可以被理解的。在这三个小时的任务执行中，结果表明ACMES-30在总成本、可靠性、能耗成本、流失损失上的平均相对误差被控制在了0.126％、3.89％、1.63％、0.25％，尽管局部指标稍偏高，但仍是在可以接受的范围内，而且整体的控制范围表现优秀，因此本申请认为ADMM-30方法是有效的。
综上所述，实验表明ACMES算法能够快速的收敛于近似最优值，也证明了本申请提出的算法在实际应用中求解复杂移动云存储规划问题的潜力。
目前常用的三个基准算法被简单的描述如下：
随机分发法(RDM)：随机分发到各个移动云节点上。
平均分发法(ADM)：各请求节点将任务请求均匀分发到各移动边缘云节点。
ERASURE方法：预估移动云系统内各个构成节点的平均故障率，确定需要分发节点的数量，对各移动云节点的分发大小是相同的。属于集中式算法。该方法重点关注了存储的系统可靠性。
除了本申请提出的方法，其他的几种方法并没有使用未利用资源的信息。这种调度模式可能导致各节点出现资源容量违反的情况，即使是使用了移动边缘云系统内的总容量数据，即分配给移动边缘云各构成节点的存储任务量可能会大于该节点剩余的可用资源容量。这直接影响系统存储的可靠性与响应速度，尤其是在异构移动边缘节点和异构存储任务需求的移动边缘环境下，这更是一个被放大的严重问题。容量违反会随着存储任务量的增大而增大，而根据ACMES算法构建所依据的理论，除非当前的任务负载已经大到所有剩余资源即使完全利用都不能满足其要求的情况下，这种情况才会被考虑。
不考虑容量违反的情况，直接比较各种方法得出的分发结果，对于弱化容量违反现象的方法来说，这是不公平的。因此，在本申请中，针对方法性能的比较，主要考虑了任务请求远小于剩余可用资源的情况，即不会出现容量违反时的各算法性能比较。
图9对比了四种方法在不同时段内处理同样任务，所花费的总成本。四种方法总的趋势与不同时间内任务发起端口数目变化的趋势基本相同，这是易于被理解的，因为随着任务发起节点数目的增多，同一时刻下移动边缘云系统所需负载的工作量通常也会增加，而部分时间段的异常，则与节点单个任务需求的过大或过小有关。该图基本上显示出了本文提出的方法相对其他几种方法在整体性能上的优势。
为了进一步充分验证本文所提方法相对其他方法的性能差异，本文构建了相对优势对比图。在图10中，显示了不同时刻下，本申请所提出的ACMES方法相对于其他几种常见方法，所表现出来的在总成本控制上的性能优势比率。通过进一步计算，结果表明ACMES方法相对于其他三种方法在总成本控制方面的平均相对优势分别为41.72％，44.52％，22.94％。需要注意的是，随机方法在一些时候会比本文方法产生更具优势的结果，正如前文所述，这是因为ACMES方法设置了提前终止条件，得到的只是近似最优结果，并不是真正的最优结果，仍然有着一定的优化空间。但是正如整体结果显示，提前设置收敛条件在保证算法速度的同时，仍然实现了较高的性能。而随机方法尽管在有些时候会产生较好的结果，但是其较大的波动性，使得ACMES整体上仍然远优于该种方法。可以看出，随着场景的变化本文方法相对于其他几种方法的优势是在不断变化的，这与任务请求实际情况有关，如一些时候ERASURE方法会略优于本申请的方法，这与该方法更聚焦可靠性有关。但总的来看，在对总成本的控制上，本申请所提出的ACMES方法，表现出来了更好的性能。
图11对比了四种方法在不同时段内执行时系统整体的可靠性变化。四种方法在可靠性风险上的趋势直接影响着移动边缘云系统的可用性。如果说移动边缘云的存储是移动边缘云的基础，那么存储的可靠性则是基础的基础。系统整体的可靠性风险本文提出的方法能够实现跟ERASURE方法产生的最优可靠性风险近似的结果，这表明我们的ACMES方法能够在控制可靠性风险上获得一个可接受的解。
图12显示了ACMES方法相对于其他几种常见方法在可靠性风险上的性能差异。结果表明ACMES方法相对于其他三种方法在可靠性风险控制方面的平均相对优势分别为69.37％、65.51％、-4.09％，最大相对优势分别达到了97.20％、97.57％、70.55％。正如前文所述，ERASURE方法目的在于最优化的控制可靠性风险，尽管本方法与其在可靠性控制上仍有差距，但与其误差多数情况下都被控制在了2％-16％之间，这是一个可以被接收的范围。同时在一些情况下，ACMES也会产生在可靠性上优于他的算法
图13和14显示了相较于其他几种常用方法，本方法在系统能耗成本控制上显著的优势。相对于其他三种方法，在系统能耗成本控制方面本方法的平均相对优势分别达到了为54.68％、48.20％、13.04％，最大相对优势分别达到了121.10％、229.95％、74.24％。值得关注的是，尽管随机方法在某些场景下在系统能耗成本控制远优于本申请方法得出的结果，但这并不足以说明本申请方法在能耗控制方面的不足，通过与其他几个维度的比较也不难发现，这是因为其对其他因素的忽略所造成的。
图15、16比较了四种方法在控制节点撤出成本上的性能差异。节点动态流动是移动边缘云系统所表现出的重要特征之一。而在过往有关移动边缘云存储迁移的工作中，该特性并没有的到充分的考虑，而这通常会对数据存储工作带来极大的困扰。如图所示，本文所提出的方法相对于其他三种方法在节点流失损失控制方面的平均相对优势分别为28..90％，35.52％，19.78％，最大相对优势分别达到了84.98％，210.15％，81.91％。由于缺少对节点流失所造成成本的考虑，其他几种方法通常处于较低的水平，而有些情况下几种方法的结果比较接近，则是由于该情况下参与节点都具有较强的稳定性，弱化了节点流失所造成的影响所导致的。
简而言之，本申请中ACMES的所有性能指标都被充分证明是较好或者是可以接受的，因此ACMES可以解决当前被故意忽视或简化的异质性和动态挑战等带来的问题。此外，ACMES可以快速收敛到标准可接受的最佳解决方案。这些表明ACMES可有效用于整合移动边缘云上的异构节点和移动边缘云存储中的异构数据存储请求。
所属领域的普通技术人员应当理解：以上任何实施例的讨论仅为示例性的，并非旨在暗示本公开的范围(包括权利要求)被限于这些例子；在本发明的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，步骤可以以任意顺序实现，并存在如上所述的本发明的不同方面的许多其它变化，为了简明它们没有在细节中提供。
另外，为简化说明和讨论，并且为了不会使本发明难以理解，在所提供的附图中可以示出或可以不示出与集成电路(IC)芯片和其它部件的公知的电源/接地连接。此外，可以以框图的形式示出装置，以便避免使本发明难以理解，并且这也考虑了以下事实，即关于这些框图装置的实施方式的细节是高度取决于将要实施本发明的平台的(即，这些细节应当完全处于本领域技术人员的理解范围内)。在阐述了具体细节(例如，电路)以描述本发明的示例性实施例的情况下，对本领域技术人员来说显而易见的是，可以在没有这些具体细节的情况下或者这些具体细节有变化的情况下实施本发明。因此，这些描述应被认为是说明性的而不是限制性的。
尽管已经结合了本发明的具体实施例对本发明进行了描述，但是根据前面的描述，这些实施例的很多替换、修改和变型对本领域普通技术人员来说将是显而易见的。例如，其它存储器架构(例如，动态RAM(DRAM))可以使用所讨论的实施例。
本发明的实施例旨在涵盖落入所附权利要求的宽泛范围之内的所有这样的替换、修改和变型。因此，凡在本发明的精神和原则之内，所做的任何省略、修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种基于交替方向乘子法的协同存储调度方法，其特征在于，包括：
获取移动边缘云内的节点相关信息，并且基于节点相关信息构建移动边缘云的总效用对应的优化模型；其中，所述优化模型中包括系统可靠性、能耗使用效率以及节点撤出风险；
基于节点传输的基本原理，构建优化模型对应的约束公式；
基于交替方向乘子法对优化模型按照预设的算法进行求解，得到优化模型对应优化的存储调度方案；
采用优化的存储调度方案对移动边缘云内的相应节点进行存储调度任务。
2.根据权利要求1所述的方法，其特征在于，所述基于交替方向乘子法对优化模型按照预设的算法进行求解的步骤包括：
对移动边缘云内的每个节点进行初始化；
基于当前时刻的节点相关信息，对优化模型对应当前时刻请求节点的子问题进行求解，得到请求节点的最优解并且发送到相应的移动边缘云节点中；
根据请求节点的最优解以及相应的节点信息，对优化模型对应存储节点的子问题进行求解，得到存储节点的最优解；
基于预设的更新公式对对偶变量进行更新并且将存储节点的最优解以及更新的对偶变量发送到相应的请求节点中；
重复上述迭代求解过程，直到满足预设的停止条件，得到优化的存储调度方案。
3.根据权利要求2所述的方法，其特征在于，所述对移动边缘云内的每个节点进行初始化中需要初始化的参数包括：
请求节点中的任务请求相应节点的撤出效用损失基本单位、不同种类单位资源需求量、任务所需基本单位的总数目、不同请求节点任务对应的预设冗余标准、请求节点与不同存储节点之间任务存储子块的故障概率、故障后可修复概率以及存储节点对该请求节点的撤出概率；
存储节点中的存储节点对应的峰值、空闲功率、各存储节点功率加权平均利用率、单位电量相对重要性价格、节点能耗使用效率、节点有限的资源容量、所有的存储相关资源集合、当前已经使用的存储资源量。
4.根据权利要求2所述的方法，其特征在于，请求节点的子问题的计算公式如下：
<mrow> <munder> <mi>min</mi> <mi>x</mi> </munder> <munder> <mi>&amp;Sigma;</mi> <mrow> <mi>n</mi> <mo>&amp;Element;</mo> <mi>N</mi> </mrow> </munder> <mrow> <mo>(</mo> <msub> <mi>qx</mi> <mrow> <mi>i</mi> <mi>n</mi> </mrow> </msub> <msub> <mi>M</mi> <mrow> <mi>i</mi> <mi>n</mi> </mrow> </msub> <mo>-</mo> <mi>H</mi> <mo>(</mo> <mrow> <mn>1</mn> <mo>-</mo> <mfrac> <mrow> <msub> <mi>m</mi> <mi>i</mi> </msub> <mo>!</mo> <msup> <mrow> <mo>(</mo> <mfrac> <mi>&amp;eta;</mi> <mi>&amp;theta;</mi> </mfrac> <mo>)</mo> </mrow> <msub> <mi>m</mi> <mi>i</mi> </msub> </msup> </mrow> <mrow> <msubsup> <mi>&amp;Sigma;</mi> <mrow> <mi>k</mi> <mo>=</mo> <mn>0</mn> </mrow> <msub> <mi>m</mi> <mi>i</mi> </msub> </msubsup> <mfrac> <mrow> <msub> <mi>m</mi> <mi>i</mi> </msub> <mo>!</mo> <msup> <mrow> <mo>(</mo> <mfrac> <mi>&amp;eta;</mi> <mi>&amp;theta;</mi> </mfrac> <mo>)</mo> </mrow> <msub> <mi>m</mi> <mi>i</mi> </msub> </msup> <mo>!</mo> </mrow> <mrow> <mo>(</mo> <msub> <mi>m</mi> <mi>i</mi> </msub> <mo>-</mo> <mi>k</mi> <mo>)</mo> <mo>!</mo> </mrow> </mfrac> </mrow> </mfrac> <mrow> <mo>(</mo> <msub> <mi>x</mi> <mrow> <mi>i</mi> <mi>n</mi> </mrow> </msub> <mo>)</mo> </mrow> </mrow> <mo>)</mo> <mo>+</mo> <mo>(</mo> <mrow> <mi>&amp;rho;</mi> <mo>/</mo> <mn>2</mn> </mrow> <mo>)</mo> <msup> <mrow> <mo>(</mo> <mrow> <msub> <mi>x</mi> <mrow> <mi>i</mi> <mi>n</mi> </mrow> </msub> <mo>-</mo> <msubsup> <mi>y</mi> <mrow> <mi>i</mi> <mi>n</mi> </mrow> <mi>t</mi> </msubsup> <mo>+</mo> <msubsup> <mi>u</mi> <mrow> <mi>i</mi> <mi>n</mi> </mrow> <mi>t</mi> </msubsup> </mrow> <mo>)</mo> </mrow> <mn>2</mn> </msup> <mo>)</mo> </mrow> </mrow>
<mrow> <mi>s</mi> <mo>.</mo> <mi>t</mi> <mo>.</mo> <msub> <mi>&amp;Sigma;</mi> <mrow> <mi>n</mi> <mo>&amp;Element;</mo> <mi>N</mi> </mrow> </msub> <msub> <mi>x</mi> <mrow> <mi>i</mi> <mi>n</mi> </mrow> </msub> <mo>=</mo> <msub> <mi>R</mi> <mi>i</mi> </msub> <mo>,</mo> <msub> <mi>x</mi> <mrow> <mi>i</mi> <mi>n</mi> </mrow> </msub> <mo>&amp;GreaterEqual;</mo> <mn>0</mn> <mo>,</mo> <mo>&amp;ForAll;</mo> <mi>i</mi> <mo>&amp;Element;</mo> <mi>I</mi> </mrow>
其中，I为请求节点的集合；N为存储节点的集合；xin为请求节点i做出的存储节点n所应承担的基本单位数目决策方案；Ri为请求节点i的任务所需基本单位的总数目；q为效用损失的基本单位；Min为节点撤出概率；θ为节点数据存储子块发生故障后可实现修复的概率；η为节点处理的数据存储子块的故障概率；mi为请求节点i冗余容错设计中预设的冗余标准；H为可靠性函数效用平衡权值；ρ为罚参数；为t时刻下存储节点n做出的关于承载来自请求节点i任务数目的决策方案；表示t时刻的对偶变量；
存储节点对应的子问题的计算公式如下：
<mrow> <msub> <mi>y</mi> <mrow> <mi>i</mi> <mi>n</mi> </mrow> </msub> <mo>&amp;GreaterEqual;</mo> <mn>0</mn> <mo>,</mo> <mo>&amp;ForAll;</mo> <mi>i</mi> <mo>&amp;Element;</mo> <mi>I</mi> <mo>,</mo> <mo>&amp;ForAll;</mo> <mi>n</mi> <mo>&amp;Element;</mo> <mi>N</mi> </mrow>
其中，yin为辅助变量；rid为节点i的资源需求量；D为所有资源集合；d为资源维度；Lnd为节点n的资源容量；L‘nd为节点n已使用的资源；en为节点单位电量的相对重要性价格；Un节点n的能耗使用效率；为节点n的峰值功率；为节点n的空闲功率；vd为表示资源维度d对节点整体功率贡献的权值。因此，在求解子问题的时候，还需要用到本地信息m,L‘nd，Un，vd等。
预设的更新公式为：
<mrow> <msubsup> <mi>u</mi> <mrow> <mi>i</mi> <mi>n</mi> </mrow> <mrow> <mi>t</mi> <mo>+</mo> <mn>1</mn> </mrow> </msubsup> <mo>=</mo> <msubsup> <mi>u</mi> <mrow> <mi>i</mi> <mi>n</mi> </mrow> <mi>t</mi> </msubsup> <mo>+</mo> <msubsup> <mi>x</mi> <mrow> <mi>i</mi> <mi>n</mi> </mrow> <mrow> <mi>t</mi> <mo>+</mo> <mn>1</mn> </mrow> </msubsup> <mo>-</mo> <msubsup> <mi>y</mi> <mrow> <mi>i</mi> <mi>n</mi> </mrow> <mrow> <mi>t</mi> <mo>+</mo> <mn>1</mn> </mrow> </msubsup> </mrow>
其中，表示t时刻的对偶变量；表示t+1时刻的对偶变量；表示t+1时刻的请求节点的最优解；表示t+1时刻的存储节点的最优解。
5.根据权利要求2所述的方法，其特征在于，所述对优化模型对应当前时刻请求节点的子问题进行求解的步骤还包括：
读取初始化的参数信息；
根据最优化求解算法对问题相应的局部决策模块进行求解。
6.根据权利要求2所述的方法，其特征在于，所述根据请求节点的最优解以及相应的节点信息，对优化模型对应存储节点的子问题进行求解的步骤包括：
将请求节点的最优解以及相关信息发送到相应的存储节点中；
存储节点读取相应数据和信息对问题进行求解，得到存储节点的最优解；其中，所述信息中包括节点自身的异质信息。
CN201710558244.5A 2017-07-10 2017-07-10 一种基于交替方向乘子法的协同存储调度方法 Pending CN107370802A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710558244.5A CN107370802A (zh) 2017-07-10 2017-07-10 一种基于交替方向乘子法的协同存储调度方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710558244.5A CN107370802A (zh) 2017-07-10 2017-07-10 一种基于交替方向乘子法的协同存储调度方法

Publications (1)

Publication Number Publication Date
CN107370802A true CN107370802A (zh) 2017-11-21

Family

ID=60306279

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710558244.5A Pending CN107370802A (zh) 2017-07-10 2017-07-10 一种基于交替方向乘子法的协同存储调度方法

Country Status (1)

Country Link
CN (1) CN107370802A (zh)

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107910881A (zh) * 2017-12-06 2018-04-13 重庆大学 一种基于电网负载应急管理的admm控制方法
CN108108233A (zh) * 2017-11-29 2018-06-01 上海交通大学 任务多副本执行的集群作业调度方法及系统
CN108512890A (zh) * 2018-01-25 2018-09-07 中铝视拓智能科技有限公司 一种基于机架感知的容器云平台资源调度方法及系统
CN108667504A (zh) * 2018-03-22 2018-10-16 佛山市顺德区中山大学研究院 一种基于交替方向乘子法的无人飞行器中继系统分布式资源优化方法
CN109117856A (zh) * 2018-08-23 2019-01-01 中国联合网络通信集团有限公司 基于智能边缘云的人及物追踪方法、装置及系统
CN109190821A (zh) * 2018-08-30 2019-01-11 中国联合网络通信集团有限公司 基于边缘计算的灾难救援调度方法、装置和系统
CN109246761A (zh) * 2018-09-11 2019-01-18 北京工业大学 考虑延迟及能耗的基于交替方向乘子法的卸载方法
CN110135613A (zh) * 2018-10-23 2019-08-16 上海交通大学 一种基于纳什谈判的多虚拟电厂协同优化运行方案
CN110166986A (zh) * 2019-05-20 2019-08-23 中国人民解放军军事科学院战争研究院 一种移动设备云内协同数据共享方法及装置
CN110380891A (zh) * 2019-06-13 2019-10-25 中国人民解放军国防科技大学 一种边缘计算服务资源配置方法、装置与电子设备
CN110458293A (zh) * 2019-05-16 2019-11-15 重庆邮电大学 一种优化网络延迟的分布式admm机器学习方法
JP2020030691A (ja) * 2018-08-23 2020-02-27 株式会社日立製作所 最適化システム及び最適化方法
CN111158612A (zh) * 2020-04-02 2020-05-15 中国人民解放军国防科技大学 一种协同移动设备的边缘存储加速方法、装置及设备
CN111212128A (zh) * 2019-12-30 2020-05-29 北京邮电大学 基于边缘辅助的协作式Web AR多人服务系统及方法
CN111343260A (zh) * 2020-02-19 2020-06-26 北京航空航天大学 一种用于多云部署的流处理系统容错方法
CN111405467A (zh) * 2020-03-20 2020-07-10 腾讯科技（深圳）有限公司 车辆通信方法、车路协同系统、相关设备以及可读介质
CN111800284A (zh) * 2019-04-08 2020-10-20 阿里巴巴集团控股有限公司 边缘云节点集合的选择方法和装置以及电子设备
CN111800283A (zh) * 2019-04-08 2020-10-20 阿里巴巴集团控股有限公司 网络系统、服务提供与资源调度方法、设备及存储介质
CN114581222A (zh) * 2022-05-05 2022-06-03 支付宝(杭州)信息技术有限公司 一种资源分配方法、电子设备、应用程序及存储介质
CN114581223A (zh) * 2022-05-05 2022-06-03 支付宝(杭州)信息技术有限公司 分配任务处理方法、设备、分布式计算系统及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105791392A (zh) * 2016-02-16 2016-07-20 中国科学院信息工程研究所 基于移动网络的边缘服务通信方法及系统
CN106231607A (zh) * 2016-09-21 2016-12-14 北京佰才邦技术有限公司 一种资源分配的方法及基站

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105791392A (zh) * 2016-02-16 2016-07-20 中国科学院信息工程研究所 基于移动网络的边缘服务通信方法及系统
CN106231607A (zh) * 2016-09-21 2016-12-14 北京佰才邦技术有限公司 一种资源分配的方法及基站

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
CHENMENG WANG: ""Joint computation offloading,resource allocation and content caching in cellular networks with edge computing"", 《2017 IEEE INTERNATIONAL CONFERENCE ON COMMUNICATION》 *
GUANLIN WU: ""MECCAS: Collaborative Storage Algorithm Based on Alternating Direction Method of Multipliers on Mobile Edge Cloud"", 《2017 IEEE INTERNATIONAL CONFERENCE ON EDGE COMPUTING》 *

Cited By (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108108233A (zh) * 2017-11-29 2018-06-01 上海交通大学 任务多副本执行的集群作业调度方法及系统
CN108108233B (zh) * 2017-11-29 2021-10-01 上海交通大学 任务多副本执行的集群作业调度方法及系统
CN107910881A (zh) * 2017-12-06 2018-04-13 重庆大学 一种基于电网负载应急管理的admm控制方法
CN107910881B (zh) * 2017-12-06 2020-11-06 重庆大学 一种基于电网负载应急管理的admm控制方法
CN108512890A (zh) * 2018-01-25 2018-09-07 中铝视拓智能科技有限公司 一种基于机架感知的容器云平台资源调度方法及系统
CN108512890B (zh) * 2018-01-25 2020-12-29 中铝视拓智能科技有限公司 一种基于机架感知的容器云平台资源调度方法及系统
CN108667504A (zh) * 2018-03-22 2018-10-16 佛山市顺德区中山大学研究院 一种基于交替方向乘子法的无人飞行器中继系统分布式资源优化方法
CN108667504B (zh) * 2018-03-22 2020-11-13 佛山市顺德区中山大学研究院 一种基于交替方向乘子法的无人飞行器中继系统分布式资源优化方法
JP2020030691A (ja) * 2018-08-23 2020-02-27 株式会社日立製作所 最適化システム及び最適化方法
CN109117856A (zh) * 2018-08-23 2019-01-01 中国联合网络通信集团有限公司 基于智能边缘云的人及物追踪方法、装置及系统
CN109117856B (zh) * 2018-08-23 2021-01-29 中国联合网络通信集团有限公司 基于智能边缘云的人及物追踪方法、装置及系统
CN109190821B (zh) * 2018-08-30 2021-02-02 中国联合网络通信集团有限公司 基于边缘计算的灾难救援调度方法、装置和系统
CN109190821A (zh) * 2018-08-30 2019-01-11 中国联合网络通信集团有限公司 基于边缘计算的灾难救援调度方法、装置和系统
CN109246761B (zh) * 2018-09-11 2022-03-29 北京工业大学 考虑延迟及能耗的基于交替方向乘子法的卸载方法
CN109246761A (zh) * 2018-09-11 2019-01-18 北京工业大学 考虑延迟及能耗的基于交替方向乘子法的卸载方法
CN110135613B (zh) * 2018-10-23 2023-01-03 上海交通大学 一种基于纳什谈判的多虚拟电厂协同优化运行方案
CN110135613A (zh) * 2018-10-23 2019-08-16 上海交通大学 一种基于纳什谈判的多虚拟电厂协同优化运行方案
CN111800284A (zh) * 2019-04-08 2020-10-20 阿里巴巴集团控股有限公司 边缘云节点集合的选择方法和装置以及电子设备
CN111800283A (zh) * 2019-04-08 2020-10-20 阿里巴巴集团控股有限公司 网络系统、服务提供与资源调度方法、设备及存储介质
CN110458293A (zh) * 2019-05-16 2019-11-15 重庆邮电大学 一种优化网络延迟的分布式admm机器学习方法
CN110458293B (zh) * 2019-05-16 2023-03-31 重庆邮电大学 一种优化网络延迟的分布式admm机器学习方法
CN110166986A (zh) * 2019-05-20 2019-08-23 中国人民解放军军事科学院战争研究院 一种移动设备云内协同数据共享方法及装置
CN110380891A (zh) * 2019-06-13 2019-10-25 中国人民解放军国防科技大学 一种边缘计算服务资源配置方法、装置与电子设备
CN110380891B (zh) * 2019-06-13 2022-04-05 中国人民解放军国防科技大学 一种边缘计算服务资源配置方法、装置与电子设备
CN111212128A (zh) * 2019-12-30 2020-05-29 北京邮电大学 基于边缘辅助的协作式Web AR多人服务系统及方法
CN111343260A (zh) * 2020-02-19 2020-06-26 北京航空航天大学 一种用于多云部署的流处理系统容错方法
CN111343260B (zh) * 2020-02-19 2021-05-28 北京航空航天大学 一种用于多云部署的流处理系统容错方法
CN111405467A (zh) * 2020-03-20 2020-07-10 腾讯科技（深圳）有限公司 车辆通信方法、车路协同系统、相关设备以及可读介质
CN111405467B (zh) * 2020-03-20 2023-10-13 腾讯科技（深圳）有限公司 车辆通信方法、车路协同系统、相关设备以及可读介质
CN111158612A (zh) * 2020-04-02 2020-05-15 中国人民解放军国防科技大学 一种协同移动设备的边缘存储加速方法、装置及设备
CN114581222B (zh) * 2022-05-05 2022-08-12 支付宝(杭州)信息技术有限公司 一种资源分配方法、电子设备、应用程序及存储介质
CN114581223B (zh) * 2022-05-05 2022-07-29 支付宝(杭州)信息技术有限公司 分配任务处理方法、设备、分布式计算系统及存储介质
CN114581223A (zh) * 2022-05-05 2022-06-03 支付宝(杭州)信息技术有限公司 分配任务处理方法、设备、分布式计算系统及存储介质
CN114581222A (zh) * 2022-05-05 2022-06-03 支付宝(杭州)信息技术有限公司 一种资源分配方法、电子设备、应用程序及存储介质

Similar Documents

Publication Publication Date Title
CN107370802A (zh) 一种基于交替方向乘子法的协同存储调度方法
Chen et al. Dynamic task offloading for internet of things in mobile edge computing via deep reinforcement learning
Maqableh et al. Job scheduling for cloud computing using neural networks
Zhang et al. Optimal charging schemes for electric vehicles in smart grid: A contract theoretic approach
CN105978704B (zh) 用于创建新的云资源指令集体系结构的系统和方法
WO2021109588A1 (zh) 一种数据处理方法、装置、电子设备及可读存储介质
CN111984419B (zh) 一种边缘环境可靠性约束的复杂任务计算迁移方法
CN103530317A (zh) 云存储系统中一种能耗自适应的副本管理方法
Hosseini et al. Distributed control of electric vehicle fleets considering grid congestion and battery degradation
CN106855788A (zh) 一种堆空间的内存分配管理方法
Peng et al. Reliability-aware computation offloading for delay-sensitive applications in mec-enabled aerial computing
CN113032149B (zh) 基于演化博弈的边缘计算服务放置和请求分配方法及系统
Kumrai et al. Optimising operation management for multi‐micro‐grids control
CN104166581B (zh) 一种面向增量制造设备的虚拟化方法
Verma et al. Energy efficient virtual machine placement in cloud data centers using modified intelligent water drop algorithm
CN106874108A (zh) 移动云计算中最小化微云使用个数技术
Liang et al. Business value-aware task scheduling for hybrid IaaS cloud
Rong et al. A split Bregman method solving optimal reactive power dispatch for a doubly-fed induction generator-based wind farm
Duan et al. Lightweight federated reinforcement learning for independent request scheduling in microgrids
Jiang et al. A Task Offloading Method with Edge for 5G‐Envisioned Cyber‐Physical‐Social Systems
Chen et al. A Data Propagation Method of Internet of Vehicles Based on Sharding Blockchain
CN103634125A (zh) 一种基于动态流程组合的网络服务计费方法
Dey et al. Microgrid system allocation using a bi-level intelligent approach and demand-side management
Zimmermann et al. Projected gradient-tracking in multi-cluster games and its application to power management
Wang A Business Management Resource‐Scheduling Method based on Deep Learning Algorithm

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information

Inventor after: Bao Weidong

Inventor after: Yang Cheng

Inventor after: Yan Hui

Inventor after: Zhang Liang

Inventor after: Zhu Xiaomin

Inventor after: Wu Guanlin

Inventor after: Zhang Yaohong

Inventor after: Zhou Wen

Inventor after: Chen Junjie

Inventor after: Han Haoran

Inventor after: Zhang Guoliang

Inventor after: Wang Ji

Inventor before: Wu Guanlin

Inventor before: Yang Cheng

Inventor before: Bao Weidong

Inventor before: Zhu Xiaomin

Inventor before: Zhang Yaohong

Inventor before: Liu Baohong

Inventor before: Zhou Wen

Inventor before: Chen Junjie

Inventor before: Han Haoran

Inventor before: Zhang Guoliang

CB03 Change of inventor or designer information
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20171121

WD01 Invention patent application deemed withdrawn after publication