CN112287990B - 一种基于在线学习的边云协同支持向量机的模型优化方法 - Google Patents
一种基于在线学习的边云协同支持向量机的模型优化方法 Download PDFInfo
- Publication number
- CN112287990B CN112287990B CN202011152761.0A CN202011152761A CN112287990B CN 112287990 B CN112287990 B CN 112287990B CN 202011152761 A CN202011152761 A CN 202011152761A CN 112287990 B CN112287990 B CN 112287990B
- Authority
- CN
- China
- Prior art keywords
- edge
- server
- cloud server
- learning
- edge server
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 30
- 238000005457 optimization Methods 0.000 title claims abstract description 22
- 238000012706 support-vector machine Methods 0.000 title claims abstract description 12
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 33
- 238000012549 training Methods 0.000 claims abstract description 20
- 238000004891 communication Methods 0.000 claims abstract description 15
- 239000000284 extract Substances 0.000 claims abstract description 4
- 230000008569 process Effects 0.000 claims description 9
- 238000012360 testing method Methods 0.000 claims description 9
- 230000002776 aggregation Effects 0.000 claims description 5
- 238000004220 aggregation Methods 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 claims description 4
- 230000008901 benefit Effects 0.000 claims description 3
- 230000008859 change Effects 0.000 claims description 3
- 238000009826 distribution Methods 0.000 claims description 3
- 238000011478 gradient descent method Methods 0.000 claims description 2
- 239000000126 substance Substances 0.000 claims description 2
- 238000007635 classification algorithm Methods 0.000 abstract description 2
- 230000004931 aggregating effect Effects 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 150000001875 compounds Chemical class 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
- G06F9/45533—Hypervisors; Virtual machine monitors
- G06F9/45558—Hypervisor-specific management and integration aspects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
- G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
- G06F9/45533—Hypervisors; Virtual machine monitors
- G06F9/45558—Hypervisor-specific management and integration aspects
- G06F2009/45591—Monitoring or debugging support
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
- G06F9/45533—Hypervisors; Virtual machine monitors
- G06F9/45558—Hypervisor-specific management and integration aspects
- G06F2009/45595—Network integration; Enabling network access in virtual machine instances
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Medical Informatics (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Computer And Data Communications (AREA)
- Debugging And Monitoring (AREA)
Abstract
本发明公开了一种基于在线学习的边云协同支持向量机的模型优化方法，该方法能够有效地利用边缘处有限的计算和通信资源以获取最佳的分布式SVM分类算法性能。提出“Learning to Learn”的框架，用于在具有资源约束的异构边缘端服务器上进行有效的边云协同SVM学习。各个边缘端服务器独立的从云端服务器读取当前时刻的全局模型参数至本地服务器，从本地数据集中随机抽取一个小批量数据并在此批上进行SVM分类的迭代训练，随后将局部参数上传至云端服务器完成全局参数的更新。将每个边缘端服务器在云端服务器的协同策略的动态确定建模为在线优化问题，并设计了基于预算受限的时变资源消耗的Multi‑MAB模型的在线学习算法。同时本发明支持异步的学习模式，可用于监督学习任务。
Description
技术领域
本发明属于边缘计算/机器学习领域，具体涉及一种基于在线学习的边云协同支持向量机的模型优化方法。
背景技术
SVM(Support Vector Machines，支持向量机)是一种按监督学习的方式对数据进行二分类的线性分类器，其分类边界是对学习样本求解的最大间隔超平面。SVM克服了很多传统分类模型的过学习、局部极值点和维数灾难等缺点，已成为当前国内外机器学习领域备受关注的研究热点。
随着物联网的快速发展和4G/5G无线网络的普及，边缘网络服务的智能设备和传感器的数量及产生的数据量急剧增加。而可用于SVM分类的数据通常分布在各边缘端服务器上，要将所有数据统一汇聚到云端服务器以用于集中式SVM分类会消耗大量网络带宽，同时也存在诸如响应不及时、功耗高等问题。为了克服上述挑战，移动边缘计算(MEC)范例被提出，利用分布式边缘节点/服务器(如笔记本电脑、智能手机)的计算能力基于本地数据进行机器学习迭代，再将本地的模型参数上传至云端服务器进行全局模型更新。与传统的云计算范例相比，虽然其在带宽，延迟和保护隐私方面表现出巨大优势，但边缘端服务器通常只有有限的计算和存储资源，且它们与云的通信延迟也不同，因此仍然缺乏可以部署在异构且资源受限的边云系统中的算法。要同时解决边缘异质性和资源约束问题具有重要意义，但也具有难度：1)同步算法对于异构边缘资源是低效的，而对于异步算法，则很难在数学上精确建立SVM模型准确性与边缘资源消耗之间的关系；2)在实时动态系统中，本地的训练数据和异构边缘资源都可能是时变的，这将对边云协同SVM的最优决策产生不可预测的影响。
发明内容
本发明的目的在于提供一种基于在线学习的边云协同支持向量机的模型优化方法，以解决上述问题。
为实现上述目的，本发明采用以下技术方案：
一种基于在线学习的边云协同支持向量机的模型优化方法，包括以下步骤：
步骤1，初始化学习参数：云端服务器初始化全局支持向量机SVM参数，作为决策边界的超平面的法向量和截距w(0)，本地迭代所用数据批量大小b，各边缘服务器总资源约束R，针对每个边缘服务器的MAB臂的个数K，每个臂对应的迭代次数p(K)；
步骤2，下发全局模型参数和迭代次数：云端服务器发送当前时刻t的全局模型参数w(t)和迭代次数p(K)至所有边缘端服务器Ni；
步骤3，迭代更新本地模型参数：边缘端服务器在本地数据集中随机抽取一个数据量为b的batch，基于这个batch使用随机梯度下降的方法，分别对超平面的法向量和截距求梯度，按它们的梯度负方向来对超平面的法向量和截距执行更新，进行p(K)次迭代训练，得到新的本地超平面参数wi(t)；
步骤4，获取资源消耗量：记录边缘端服务器Ni本地迭代训练所消耗的时间ci,1和边缘端服务器向云端服务器上传参数所消耗的时间ci,2，更新各边缘端服务器的总资源约束R；
步骤5，更新全局参数：边缘端服务器Ni将局部超平面参数wi(t)上传至云端服务器，云端服务器使用当前的全局超平面参数w(t)和wi(t)来更新全局模型参数；
步骤6，更新臂对应的收益和支付成本：云端服务器为每一个边缘端服务器设置一个多臂老虎机，分别对每个边缘端服务器进行决策；根据全局超平面参数w(t)和云端服务器的测试数据得出全局模型的精度，作为MAB中当前臂p(K)的收益值，资源消耗量作为当前臂p(K)的支付成本值；
步骤7，更新迭代次数：云端服务器根据在线算法选择新的臂，作为新的迭代次数；
步骤8，发送新的初始值：云端服务器将w(t)和p(K)发送给当前边缘端服务器，作为进行本地SVM的初始值；
步骤9，迭代更新：当前边缘端服务器接收到新的w(t)和p(K)后，独立并行重复步骤3-8，不断迭代；
步骤10，停止学习：当云端服务器检测到所有边缘服务器的总资源都用完时结束学习，w(t)为最终SVM模型训练的结果，云端服务器将训练结果广播给各边缘端服务器，完成学习。
进一步的，步骤5中，具体包括：
全局参数更新方式采用的是异步更新；云端服务器仅请求一个/一组边缘端服务器
上传其本地模型参数wi(t)并使用当前的全局参数w(t)和wi(t)来更新全局模型参数，公式如下
其中，
进一步的，步骤6中，具体包括：
云服务器对每个边缘服务器i的动态协同策略都被建模成一个在线学习问题，其中使用二进制变量
和/>
分别代表在时隙t边缘服务器i是否本地迭代和全局更新，针对i在时隙t的更新决策为/>
进而协同决策为/>
基于上述内容，用St＝<D1,D2,...,Dt>表示云端服务器的协同策略；
同时，定义学习效用值为u(Dt；Bt)，Bt表示云端服务器进行测试的batch数据，测试所用的全局模型参数是云端服务器接收到各边缘端服务器的局部模型参数后与当前全局模型参数加权聚合更新得到的；资源预算约束：对于边缘端服务器i，定义它在协同学习中的资源约束为Ri＝(ri,1,ri,2)，分别代表计算资源总量和通信资源总量，且将资源视为同类型时，Ri表示为标量；云端服务器的工作是针对每个边缘服务器来确定其最佳协同策略ST，使得在消耗完所有i的资源Ri之前，在时隙T，最大化整个学习过程中的平均学习效用值；具体而言，每个边缘服务器都将建模为以下优化问题：
进一步的，步骤7中，具体包括：云服务器针对资源受限且异质的各个边缘端服务器都将上述在线优化问题建模为MAB问题，称为Multi-MAB模型；云端服务器针对各边缘端服务器确定其在给定资源预算约束的情况下寻找最佳决策的序列，即选择各边缘端服务器在下一时隙进行SVM训练的迭代次数，每个决策(的执行所消耗的资源是可变的；
在时变资源消耗的情况下，云端服务器需要自动识别和适应学习过程中每个决策的成本变化，该种情况下为每个决策保持一个时变置信度上限值
其中，
是云端服务器选择决策PI后消耗的资源的平均值，然后云端服务器选择具有最大/>
值的决策，该决策对应的迭代次数将会下发给边缘端服务器i。
进一步的，步骤6中，还假设每次迭代消耗的资源是时变的，即一次本地迭代消耗的计算资源
的一次全局聚合消耗的通信资源/>
是服从某个概率分布的，进一步的，对于各个边缘服务器i，它们的计算和通信资源严重异质，即进行SVM迭代训练一次所消耗的资源相差悬殊。
与现有技术相比，本发明有以下技术效果：
本发明提供的在边缘服务器资源异构且受限的边云系统框架下基于在线学习的边云协同SVM算法，实现云端服务器采用基于带预算约束的多个多臂老虎机算法的在线学习方法对各个边缘端服务器上的学习任务独立进行动态智能决策，优化在边缘端服务器计算和通信资源异构且受限的边缘智能场景下的边云协同SVM算法准确度。基于Docker容器的真实网络测试场景和模拟环境的实验结果表明，随着边缘服务器资源异质度的增加，相较目前最先进的OL4EL-Sync和AC-Sync算法，可实现算法精度15％的提升，同时，在模拟环境中，当边缘端服务器个数达到100时，SVM分类准确度远优于同步算法。
附图说明
图1为边云系统框架下异步SVM算法的示意图；
图2为本发明所提方法的流程图；
图3为给定各边缘端服务器的资源约束下在不同异质度时算法运行的精度(真实网络边缘)。其中，基于SVM的晶圆故障(智能制造)分类作为性能评估的监督学习任务。
图4为给定各边缘端服务器的资源约束下本发明提出的算法的精度结果(模拟环境)。
具体实施方式
下面结合附图对本发明作进一步详细描述。
首先针对资源异构且受限的边缘系统，将每个边缘端服务器的边云协同动态学习策略(局部迭代/全局聚合)建模为一个在线优化问题，以实现SVM算法精确度与资源消耗之间的权衡；然后提出了基于预算受限的多个多臂老虎机(Multi-MAB)模型的在线算法的相应解决方案，还特别针对具有时变资源限制的场景开发了算法；同时该算法支持异步学习模式，可用于SVM线性分类等监督学习任务。该方法能够有效地利用边缘处有限的计算和通信资源以获取最佳的分布式SVM分类算法性能。提出了一种新的“Learning to Learn”的框架，用于在具有资源约束的异构边缘端服务器上进行有效的边云协同SVM学习。各个边缘端服务器独立的从云端服务器读取当前时刻的全局模型参数至本地服务器，从本地数据集中随机抽取一个小批量数据并在此批上进行SVM分类的迭代训练，随后将局部参数上传至云端服务器完成全局参数的更新。将每个边缘端服务器在云端服务器的协同策略的动态确定(即边缘端服务器上的本地迭代的分配以及协同学习过程消耗的资源量)建模为在线优化问题，并设计了基于预算受限的时变资源消耗的Multi-MAB模型的在线学习算法。同时本发明支持异步的学习模式，可用于监督学习任务。
参考图1，考虑到边缘端服务器上的本地晶圆故障图片数据上传至云端服务器需要高成本和隐私暴露风险，所以将原始数据存储在边缘端服务器，仅将局部模型参数上传到云端服务器。边缘端服务器采用完全异步的方式与云端服务器进行通信来完成边云协同SVM学习任务。
参考图1与图2，本发明提供了资源受限且异质的边云系统框架下基于在线学习的边云协同SVM算法，边缘端服务器从云端服务器读取全局模型参数(SVM超平面的法向量和截距)，并基于本地数据集进行SVM分类的迭代训练，随后将本地模型参数上传至云端服务器以完全异步的方式完成全局模型参数的更新。同时考虑到各边缘端服务器的计算和通信资源受限且异质，会导致同步算法低效，将云端服务器上协同策略的动态确定(即针对每个边缘端服务器上的本地迭代的分配以及协同学习过程消耗的资源量)建模为在线优化问题，并提出了基于预算受限的多个多臂老虎机(Multi-MAB)模型的在线学习算法求解上述问题。具体过程包括以下步骤：
1)初始化云端服务器学习参数：随机初始化全局模型参数w(0)，为每个边缘服务器设置其总资源约束；
2)云端服务器协同策略与学习效用值：参考图1，云服务器对每个边缘服务器i的动态协同策略都被建模成一个在线学习问题，其中使用二进制变量
和/>
分别代表在时隙t边缘服务器i是否本地迭代和全局更新，所以针对i在时隙t的更新决策为
进而协同决策为/>
基于上述内容，可用St＝<D1,D2,...,Dt>表示云端服务器的协同策略。同时，定义学习效用值为u(Dt；Bt)，Bt表示云端服务器进行测试的batch数据，参考图2，测试所用的全局模型参数是云端服务器接收到各边缘端服务器的局部模型参数后与当前全局模型参数加权聚合更新得到的；
3)资源预算约束：参考图1，对于边缘端服务器i，定义它在协同学习中的资源约束为Ri＝(ri,1,ri,2)，分别代表计算资源总量和通信资源总量，且将资源视为同类型(如时间、金钱花费等)时，Ri可表示为标量。此外，还假设每次迭代消耗的资源是时变的，即一次本地迭代消耗的计算资源ct i,1的一次全局聚合消耗的通信资源ct i,2是服从某个概率分布的，进一步的，对于各个边缘服务器i，它们的计算和通信资源严重异质，即进行SVM迭代训练一次所消耗的资源相差悬殊；
4)在线优化问题：参考图1，云端服务器的工作是针对每个边缘服务器来确定其最佳协同策略ST，使得在消耗完所有i的资源Ri之前(在时隙T)最大化整个学习过程中的平均学习效用值。具体而言，每个边缘服务器都将建模为以下优化问题；
显然，这是一个典型的在线优化问题，即在计算和通信资源限制下最大化平均模型效用。
5)在线优化问题建模成多个多臂老虎机(Multi-MAB，Multi Multi-armedbandit)问题：参考图1，对于边缘端服务器i，定义全局更新间隔为两个相邻全局更新之间的局部迭代次数。例如，边缘端服务器i在三个时隙的更新决策是<(1,0),(1,0),(1,0)>，那么它的全局更新间隔就为3，代表着边缘端服务器i要进行三次本地迭代在进行全局更新。用
表示边缘端服务器i在时隙t的全局更新间隔，进而定义云端服务器的选择集合为
其中pmax表示最大更新间隔，I是预定义的整数，用于将所有可能的间隔(≤pmax)划分为J。映射到MAB模型中，pI∈P就对应一个手臂。因此，协同策略也可以映射为/>
这是一个确定的MAB手臂集合。
6)MAB问题的求解：云端服务器针对各边端服务器确定其在给定资源预算约束的情况下寻找最佳决策(拉臂)的序列，即选择各边缘端服务器在下一时隙进行SVM训练的迭代次数，每个决策(拉臂动作)的执行所消耗的资源是可变的。
在时变资源消耗的情况下，云端服务器需要自动识别和适应学习过程中每个决策的成本变化，该种情况下为每个决策保持一个时变置信度上限值
其中，
是云端服务器选择决策PI后消耗的资源的平均值，然后云端服务器选择具有最大/>
值的决策，该决策对应的迭代次数将会下发给边缘端服务器i。
参考图3，这幅图是SVM在真实网络测试平台系统上训练的结果，对比算法是本发明提出的OL4ESL-async算法、其相应的同步算法和两种已有分布式算法，其中边缘端服务器的资源是异构的且资源(时间)预算设置为5,000毫秒，这里，资源异质性被定义为最快边缘端服务器的处理速度与最慢边缘端服务器的处理速度的比率。通过这幅图可以发现边缘端服务器的异质性越高，OL4ESL-async的性能越好，OL4ESL-sync和两个比较算法的性能越差。具体来说，OL4ESL-async比AC-sync的算法精度高15％，且OL4ESL-sync也略微优于AC-sync。这是因为OL4EL-sync的所有计算都在云上执行，使得边缘资源消耗少于AC-sync算法。另外，请注意，如果允许更长的训练时间，则可以改善图3中所示的算法精度。
参考图4，这幅图是为了研究OL4ESL算法的可扩展性，使用Docker Compose进行了不同数量的边缘端服务器的模拟，边缘端服务器的个数从3到100，对比算法是本发明提出的OL4ESL-async在不同的资源异构性下和OL4ESL-sync的比较。通过这幅图可以发现，随着边缘端服务器数量的增加，OL4ESL-async的性能变得更好，OL4ESL-sync的效果在边缘端服务器资源同质的情况下表现很好。
Claims (4)
1.一种基于在线学习的边云协同支持向量机的模型优化方法，其特征在于，包括以下步骤：
步骤1，初始化学习参数：云端服务器初始化全局支持向量机SVM参数，作为决策边界的超平面的法向量和截距w(0)，本地迭代所用数据批量大小b，各边缘服务器总资源约束R，针对每个边缘服务器的MAB臂的个数K，每个臂对应的迭代次数p(K)；
步骤2，下发全局模型参数和迭代次数：云端服务器发送当前时刻t的全局模型参数w(t)和迭代次数p(K)至所有边缘端服务器Ni；
步骤3，迭代更新本地模型参数：边缘端服务器在本地数据集中随机抽取一个数据量为b的batch，基于这个batch使用随机梯度下降的方法，分别对超平面的法向量和截距求梯度，按它们的梯度负方向来对超平面的法向量和截距执行更新，进行p(K)次迭代训练，得到新的本地超平面参数wi(t)；
步骤4，获取资源消耗量：记录边缘端服务器Ni本地迭代训练所消耗的时间ci,1和边缘端服务器向云端服务器上传参数所消耗的时间ci,2，更新各边缘端服务器的总资源约束R；
步骤5，更新全局参数：边缘端服务器Ni将局部超平面参数wi(t)上传至云端服务器，云端服务器使用当前的全局超平面参数w(t)和wi(t)来更新全局模型参数；
步骤6，更新臂对应的收益和支付成本：云端服务器为每一个边缘端服务器设置一个多臂老虎机，分别对每个边缘端服务器进行决策；根据全局超平面参数w(t)和云端服务器的测试数据得出全局模型的精度，作为MAB中当前臂p(K)的收益值，资源消耗量作为当前臂p(K)的支付成本值；
步骤7，更新迭代次数：云端服务器根据在线算法选择新的臂，作为新的迭代次数；
步骤8，发送新的初始值：云端服务器将w(t)和p(K)发送给当前边缘端服务器，作为进行本地SVM的初始值；
步骤9，迭代更新：当前边缘端服务器接收到新的w(t)和p(K)后，独立并行重复步骤3-8，不断迭代；
步骤10，停止学习：当云端服务器检测到所有边缘服务器的总资源都用完时结束学习，w(t)为最终SVM模型训练的结果，云端服务器将训练结果广播给各边缘端服务器，完成学习；
步骤7中，具体包括：云服务器针对资源受限且异质的各个边缘端服务器都将在线优化问题建模为MAB问题，称为Multi-MAB模型；云端服务器针对各边缘端服务器确定其在给定资源预算约束的情况下寻找最佳决策的序列，即选择各边缘端服务器在下一时隙进行SVM训练的迭代次数，每个决策的执行所消耗的资源是可变的；
在时变资源消耗的情况下，云端服务器需要自动识别和适应学习过程中每个决策的成本变化，该种情况下为每个决策保持一个时变置信度上限值
其中，
是云端服务器选择决策PI后消耗的资源的平均值，然后云端服务器选择具有最大/>
值的决策，该决策对应的迭代次数将会下发给边缘端服务器i。
2.根据权利要求1所述的一种基于在线学习的边云协同支持向量机的模型优化方法，其特征在于，步骤5中，具体包括：
全局参数更新方式采用的是异步更新；云端服务器仅请求一个/一组边缘端服务器
上传其本地模型参数wi(t)并使用当前的全局参数w(t)和wi(t)来更新全局模型参数，公式如下
其中，α0＝0，
3.根据权利要求1所述的一种基于在线学习的边云协同支持向量机的模型优化方法，其特征在于，步骤6中，具体包括：
云服务器对每个边缘服务器i的动态协同策略都被建模成一个在线学习问题，其中使用二进制变量
和/>
分别代表在时隙t边缘服务器i是否本地迭代和全局更新，针对i在时隙t的更新决策为/>
进而协同决策为/>
基于上述内容，用St＝<D1,D2,...,Dt>表示云端服务器的协同策略；
同时，定义学习效用值为u(Dt；Bt)，Bt表示云端服务器进行测试的batch数据，测试所用的全局模型参数是云端服务器接收到各边缘端服务器的局部模型参数后与当前全局模型参数加权聚合更新得到的；资源预算约束：对于边缘端服务器i，定义它在协同学习中的资源约束为Ri＝(ri,1,ri,2)，分别代表计算资源总量和通信资源总量，且将资源视为同类型时，且资源为时间时，Ri表示为标量；云端服务器的工作是针对每个边缘服务器来确定其最佳协同策略ST，使得在消耗完所有i的资源Ri之前，在时隙T，最大化整个学习过程中的平均学习效用值；具体而言，每个边缘服务器都将建模为以下优化问题：
4.根据权利要求3所述的一种基于在线学习的边云协同支持向量机的模型优化方法，其特征在于，步骤6中，还假设每次迭代消耗的资源是时变的，即一次本地迭代消耗的计算资源ct i,1的一次全局聚合消耗的通信资源ct i,2是服从某个概率分布的，进一步的，对于各个边缘服务器i，它们的计算和通信资源严重异质，即进行SVM迭代训练一次所消耗的资源相差悬殊。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011152761.0A CN112287990B (zh) | 2020-10-23 | 2020-10-23 | 一种基于在线学习的边云协同支持向量机的模型优化方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011152761.0A CN112287990B (zh) | 2020-10-23 | 2020-10-23 | 一种基于在线学习的边云协同支持向量机的模型优化方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112287990A CN112287990A (zh) | 2021-01-29 |
| CN112287990B true CN112287990B (zh) | 2023-06-30 |
Family
ID=74423377
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011152761.0A Active CN112287990B (zh) | 2020-10-23 | 2020-10-23 | 一种基于在线学习的边云协同支持向量机的模型优化方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112287990B (zh) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110968426B (zh) * | 2019-11-29 | 2022-02-22 | 西安交通大学 | 一种基于在线学习的边云协同k均值聚类的模型优化方法 |
| CN113872322A (zh) * | 2021-09-06 | 2021-12-31 | 广西电网有限责任公司电力科学研究院 | 一种基于深度学习的微电网云边协同控制方法 |
| CN114237172A (zh) * | 2021-11-30 | 2022-03-25 | 浙江大学衢州研究院 | 基于机器学习的自优化被控变量选择方法和装置 |
| CN114422349B (zh) * | 2022-03-30 | 2022-06-10 | 南京邮电大学 | 基于云边端协同的深度学习模型训练和推理架构部署方法 |
| CN116032666B (zh) * | 2023-03-29 | 2023-09-22 | 广东致盛技术有限公司 | 一种基于学习模型的边云协同设备伪装识别方法及系统 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111754000A (zh) * | 2020-06-24 | 2020-10-09 | 清华大学 | 质量感知的边缘智能联邦学习方法及系统 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101389004B (zh) * | 2007-09-13 | 2010-06-09 | 中国科学院自动化研究所 | 一种基于在线学习的运动目标分类方法 |
| CN106022528B (zh) * | 2016-05-26 | 2019-06-11 | 上海电力学院 | 一种基于密度峰值层次聚类的光伏电站短期功率预测方法 |
| US11710065B2 (en) * | 2019-04-01 | 2023-07-25 | Adobe Inc. | Utilizing a bayesian approach and multi-armed bandit algorithms to improve distribution timing of electronic communications |
| CN110705646B (zh) * | 2019-10-09 | 2021-11-23 | 南京大学 | 一种基于模型动态更新的移动设备流式数据识别方法 |
| CN110968426B (zh) * | 2019-11-29 | 2022-02-22 | 西安交通大学 | 一种基于在线学习的边云协同k均值聚类的模型优化方法 |
| CN111625994B (zh) * | 2020-05-25 | 2022-10-25 | 齐鲁工业大学 | 一种基于动态集成神经网络的多源信息融合火灾预测方法 |
-
2020
- 2020-10-23 CN CN202011152761.0A patent/CN112287990B/zh active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111754000A (zh) * | 2020-06-24 | 2020-10-09 | 清华大学 | 质量感知的边缘智能联邦学习方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112287990A (zh) | 2021-01-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112287990B (zh) | 一种基于在线学习的边云协同支持向量机的模型优化方法 | |
| CN110968426B (zh) | 一种基于在线学习的边云协同k均值聚类的模型优化方法 | |
| CN108416465B (zh) | 一种移动云环境下的工作流优化方法 | |
| CN112788605B (zh) | 基于双延迟深度确定性策略边缘计算资源调度方法和系统 | |
| CN117313789A (zh) | 使用神经网络的黑盒优化 | |
| CN110910004A (zh) | 一种多重不确定性的水库调度规则提取方法及系统 | |
| CN116503676B (zh) | 一种基于知识蒸馏小样本增量学习的图片分类方法及系统 | |
| CN114585006B (zh) | 基于深度学习的边缘计算任务卸载和资源分配方法 | |
| CN112685504A (zh) | 一种面向生产过程的分布式迁移图学习方法 | |
| CN115686846B (zh) | 边缘计算中融合图神经网络和强化学习的容器集群在线部署方法 | |
| Li et al. | Short term prediction of photovoltaic power based on FCM and CG-DBN combination | |
| CN114118567A (zh) | 一种基于双通路融合网络的电力业务带宽预测方法 | |
| CN114650321A (zh) | 用于边缘计算的任务调度方法及边缘计算终端 | |
| Liu et al. | A survey of artificial bee colony algorithm | |
| Kim et al. | FedGPO: Heterogeneity-Aware Global Parameter optimization for Efficient Federated Learning | |
| Mohammad et al. | Optimal task allocation for mobile edge learning with global training time constraints | |
| CN116431281A (zh) | 一种基于鲸鱼优化算法的虚拟机迁移方法 | |
| Duan et al. | Lightweight federated reinforcement learning for independent request scheduling in microgrids | |
| Liang et al. | Stochastic Stackelberg Game Based Edge Service Selection for Massive IoT Networks | |
| Feng et al. | Task distribution offloading algorithm based on DQN for sustainable vehicle edge network | |
| CN113572647B (zh) | 一种基于强化学习的区块链-边缘计算联合系统 | |
| Vijayasekaran et al. | Resource scheduling in edge computing IoT networks using hybrid deep learning algorithm | |
| Guo et al. | Multi-level federated learning mechanism with reinforcement learning optimizing in smart city | |
| Zhang et al. | Computational Task Offloading Algorithm Based on Deep Reinforcement Learning and Multi-Task Dependency | |
| CN113485718B (zh) | 面向边云协同系统中的上下文感知AIoT应用程序部署方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |