CN115293367A - 小样本非平衡数据约束下调度模型的混合联邦学习方法 - Google Patents
小样本非平衡数据约束下调度模型的混合联邦学习方法 Download PDFInfo
- Publication number
- CN115293367A CN115293367A CN202211056853.8A CN202211056853A CN115293367A CN 115293367 A CN115293367 A CN 115293367A CN 202211056853 A CN202211056853 A CN 202211056853A CN 115293367 A CN115293367 A CN 115293367A
- Authority
- CN
- China
- Prior art keywords
- node
- model
- layer
- learning method
- small sample
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000000034 method Methods 0.000 title claims abstract description 46
- 238000013528 artificial neural network Methods 0.000 claims abstract description 21
- 238000004364 calculation method Methods 0.000 claims abstract description 15
- 230000011218 segmentation Effects 0.000 claims abstract description 14
- 238000012163 sequencing technique Methods 0.000 claims abstract description 3
- 230000008569 process Effects 0.000 claims description 15
- 230000009466 transformation Effects 0.000 claims description 7
- 230000008859 change Effects 0.000 claims description 5
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 4
- 230000006870 function Effects 0.000 claims description 4
- 230000000977 initiatory effect Effects 0.000 claims description 4
- 239000011159 matrix material Substances 0.000 claims description 4
- 230000004913 activation Effects 0.000 claims description 3
- 238000013135 deep learning Methods 0.000 claims description 3
- 210000002569 neuron Anatomy 0.000 claims description 3
- 230000003068 static effect Effects 0.000 claims description 3
- 230000000694 effects Effects 0.000 abstract description 4
- 238000010586 diagram Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
- G06N20/20—Ensemble learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Data Mining & Analysis (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Mathematical Physics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Molecular Biology (AREA)
- Bioethics (AREA)
- Computer Hardware Design (AREA)
- Computer Security & Cryptography (AREA)
- Medical Informatics (AREA)
Abstract
本发明公开了小样本非平衡数据约束下调度模型的混合联邦学习方法，涉及联邦学习技术领域，获取可用的边缘节点并收集小样本数据资源信息，对各个节点计算每层深度神经网络所需的时间进行测量，包括前向传播和后向传播两个阶段，将可用边缘节点按照计算能力进行排序，并选择其中算力最强的作为目标节点，对模型进行分割，检查初始节点的存储资源是否能够部署其对应的分割后的部分模型；如不能则将分割位置前移。本发明对模型进行分割，检查初始节点的存储资源是否能够部署其对应的分割后的部分模型，如不能则将分割位置前移，直到满足节点的存储能力，可以对各参与方所训练的局部模型进行更细粒度的考虑，提高了混合联邦学习的效果。
Description
技术领域
本发明涉及联邦学习技术领域，尤其涉及小样本非平衡数据约束下调度模型的混合联邦学习方法。
背景技术
联邦学习是一种分布式机器学习技术，其核心思想是通过在多个拥有本地数据的数据源之间进行分布式模型训练，在不需要交换本地个体或样本数据的前提下，仅通过交换模型参数或中间结果的方式，构建基于虚拟融合数据下的全局模型，从而实现数据隐私保护和数据共享计算的平衡，即“数据可用不可见”、“数据不动模型动”的应用新范式。
随着社会的不断发展，联邦学习应用十分广泛，在小样本非平衡数据约束下调度模型常常也需要用混合联邦学习方法进行学习，现有的混合联邦学习方法无法对各参与方所训练的局部模型进行更细粒度的考虑，影响混合联邦学习的效果，因此具有待改进的空间。
发明内容
本发明的目的是为了解决现有技术中存在的缺点，而提出的小样本非平衡数据约束下调度模型的混合联邦学习方法。其优点在于对模型进行分割，检查初始节点的存储资源是否能够部署其对应的分割后的部分模型，如不能则将分割位置前移，直到满足节点的存储能力，可以对各参与方所训练的局部模型进行更细粒度的考虑，提高了混合联邦学习的效果。
为了实现上述目的，本发明采用了如下技术方案：
小样本非平衡数据约束下调度模型的混合联邦学习方法，包括以下步骤：
步骤一：获取可用的边缘节点并收集小样本数据资源信息；
步骤二：对各个节点计算每层深度神经网络所需的时间进行测量，包括前向传播和后向传播两个阶段；
步骤三：将可用边缘节点按照计算能力进行排序，并选择其中算力最强的作为目标节点，对模型进行分割；
步骤四：检查初始节点的存储资源是否能够部署其对应的分割后的部分模型；如不能则将分割位置前移，直到满足节点的存储能力；
步骤五：检查目标节点的存储资源是否能够部署其对应的分割后的部分模型，如果可以，则分割结束；如果不能，并且当前节点已是唯一剩余的可用边缘节点，转至步骤六，否则，转至步骤三；
步骤六：回溯到上一次分割并成功部署时的状态，将分割位置前移一个节点重新部署，并转至步骤四；如果每个备都仅部署了一个节点，并且当前节点的存储资源仍然不足，则部署失败，从而完成混合联邦学习。
本发明进一步设置为，在对模型进行分割时需要用到分割公式，所述分割公式为
其中scr为初始节点编号，dst为目标节点编号。
本发明进一步设置为，对于多个子问题的求解，如果不考虑节点的存储能力，那么每次对目标模型进行二分时，由于初始节点已经确定，此时使得总执行时间最小化的最优选择是将剩余可用边缘节点中计算能力最强的节点作为另外一部分模型部署的目标节点。
本发明进一步设置为，在联邦学习或者一般的深度学习应用中，服务提供方会预先确定好所要使用的深度神经网络，并且实际使用的网络结构会根据用户需求的不同而随之变化，但是，从整个执行过程来看，所使用的神经网络是静态的，一旦其确定下来，就不会在模型训练过程中再发生变化。
本发明进一步设置为，正因为如此，其每层的计算量和输入输出的数据大小可以在运行之前进行准确的测量，而无需对运行时期进行考虑。
本发明进一步设置为，所述深度神经网络的训练过程由多个重复的训练步骤组成，每个步骤可以分为两个阶段，分别为前向传播和反向传播，前向传播的计算沿着有向无环图中箭头的方向，而反向传播则恰好与箭头方向相反。
本发明进一步设置为，所述前向传播阶段每层的输入首先经过一次仿射变换，由于这是一个线性的组合过程，无法表现较为复杂的函数，深度神经网络会在变换后增加一个非线性激活单元，提高模型的拟合能力，逐层计算后，最终在输出层计算出一个预测值。
本发明进一步设置为，所述后向传播阶段为了能够修正每层的权重使得预测值更加接近真实值，神经网络将预测值和真实值之间的误差经过处理后逐层往回传播，以求取每个神经元的梯度，从而修正对应的权重，因此，每层的计算量是由这两个阶段的计算量叠加而成的。
本发明进一步设置为，所述混合联邦学习方法核心采用inception网络结构，所述inception网络结构保证了整个网络的稀疏性，并且可以充分利用高性能的算力计算密集矩阵，由于该网络结构中存在分支结构，无法采用链式拓扑对其进行建模。
本发明的有益效果为：该小样本非平衡数据约束下调度模型的混合联邦学习方法，可以将可用边缘节点按照计算能力进行排序，并选择其中算力最强的作为目标节点，对模型进行分割，检查初始节点的存储资源是否能够部署其对应的分割后的部分模型，如不能则将分割位置前移，直到满足节点的存储能力，可以对各参与方所训练的局部模型进行更细粒度的考虑，提高了混合联邦学习的效果。
附图说明
图1为本发明提出的小样本非平衡数据约束下调度模型的混合联邦学习方法的流程结构示意图；
图2为本发明提出的小样本非平衡数据约束下调度模型的混合联邦学习方法的inception网络结构结构示意图；
图3为本发明提出的小样本非平衡数据约束下调度模型的混合联邦学习方法的模型切割结构示意图。
具体实施方式
下面结合具体实施方式对本专利的技术方案作进一步详细地说明。
下面详细描述本专利的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本专利，而不能理解为对本专利的限制。
在本专利的描述中，需要理解的是，术语“中心”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本专利和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本专利的限制。
在本专利的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“设置”应做广义理解，例如，可以是固定相连、设置，也可以是可拆卸连接、设置，或一体地连接、设置。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本专利中的具体含义。
参照图1和图3，小样本非平衡数据约束下调度模型的混合联邦学习方法，包括以下步骤：
步骤一：获取可用的边缘节点并收集小样本数据资源信息；
步骤二：对各个节点计算每层深度神经网络所需的时间进行测量，包括前向传播和后向传播两个阶段；
步骤三：将可用边缘节点按照计算能力进行排序，并选择其中算力最强的作为目标节点，对模型进行分割；
步骤四：检查初始节点的存储资源是否能够部署其对应的分割后的部分模型；如不能则将分割位置前移，直到满足节点的存储能力；
步骤五：检查目标节点的存储资源是否能够部署其对应的分割后的部分模型，如果可以，则分割结束；如果不能，并且当前节点已是唯一剩余的可用边缘节点，转至步骤六，否则，转至步骤三；
步骤六：回溯到上一次分割并成功部署时的状态，将分割位置前移一个节点重新部署，并转至步骤四；如果每个备都仅部署了一个节点，并且当前节点的存储资源仍然不足，则部署失败，从而完成混合联邦学习。
在本实施例中，在对模型进行分割时需要用到分割公式，分割公式为，其中scr为初始节点编号，dst为目标节点编号，对于多个子问题的求解，如果不考虑节点的存储能力，那么每次对目标模型进行二分时，由于初始节点已经确定，此时使得总执行时间最小化的最优选择是将剩余可用边缘节点中计算能力最强的节点作为另外一部分模型部署的目标节点。
在本实施例中，在联邦学习或者一般的深度学习应用中，服务提供方会预先确定好所要使用的深度神经网络，并且实际使用的网络结构会根据用户需求的不同而随之变化，但是，从整个执行过程来看，所使用的神经网络是静态的，一旦其确定下来，就不会在模型训练过程中再发生变化，正因为如此，其每层的计算量和输入输出的数据大小可以在运行之前进行准确的测量，而无需对运行时期进行考虑。
在本实施例中，深度神经网络的训练过程由多个重复的训练步骤组成，每个步骤可以分为两个阶段，分别为前向传播和反向传播，前向传播的计算沿着有向无环图中箭头的方向，而反向传播则恰好与箭头方向相反，前向传播阶段每层的输入首先经过一次仿射变换，由于这是一个线性的组合过程，无法表现较为复杂的函数，深度神经网络会在变换后增加一个非线性激活单元，提高模型的拟合能力，逐层计算后，最终在输出层计算出一个预测值，后向传播阶段为了能够修正每层的权重使得预测值更加接近真实值，神经网络将预测值和真实值之间的误差经过处理后逐层往回传播，以求取每个神经元的梯度，从而修正对应的权重，因此，每层的计算量是由这两个阶段的计算量叠加而成的。
参照图2，混合联邦学习方法核心采用inception网络结构，inception网络结构保证了整个网络的稀疏性，并且可以充分利用高性能的算力计算密集矩阵，由于该网络结构中存在分支结构，无法采用链式拓扑对其进行建模。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。
Claims (9)
1.小样本非平衡数据约束下调度模型的混合联邦学习方法，其特征在于，包括以下步骤：
步骤一：获取可用的边缘节点并收集小样本数据资源信息；
步骤二：对各个节点计算每层深度神经网络所需的时间进行测量，包括前向传播和后向传播两个阶段；
步骤三：将可用边缘节点按照计算能力进行排序，并选择其中算力最强的作为目标节点，对模型进行分割；
步骤四：检查初始节点的存储资源是否能够部署其对应的分割后的部分模型；如不能则将分割位置前移，直到满足节点的存储能力；
步骤五：检查目标节点的存储资源是否能够部署其对应的分割后的部分模型，如果可以，则分割结束；如果不能，并且当前节点已是唯一剩余的可用边缘节点，转至步骤六，否则，转至步骤三；
步骤六：回溯到上一次分割并成功部署时的状态，将分割位置前移一个节点重新部署，并转至步骤四；如果每个备都仅部署了一个节点，并且当前节点的存储资源仍然不足，则部署失败，从而完成混合联邦学习。
2.根据权利要求1所述的小样本非平衡数据约束下调度模型的混合联邦学习方法，其特征在于，在对模型进行分割时需要用到分割公式，所述分割公式为
其中scr为初始节点编号，dst为目标节点编号。
3.根据权利要求2所述的小样本非平衡数据约束下调度模型的混合联邦学习方法，其特征在于，对于多个子问题的求解，如果不考虑节点的存储能力，那么每次对目标模型进行二分时，由于初始节点已经确定，此时使得总执行时间最小化的最优选择是将剩余可用边缘节点中计算能力最强的节点作为另外一部分模型部署的目标节点。
4.根据权利要求1所述的小样本非平衡数据约束下调度模型的混合联邦学习方法，其特征在于，在联邦学习或者一般的深度学习应用中，服务提供方会预先确定好所要使用的深度神经网络，并且实际使用的网络结构会根据用户需求的不同而随之变化，但是，从整个执行过程来看，所使用的神经网络是静态的，一旦其确定下来，就不会在模型训练过程中再发生变化。
5.根据权利要求4所述的小样本非平衡数据约束下调度模型的混合联邦学习方法，其特征在于，正因为如此，其每层的计算量和输入输出的数据大小可以在运行之前进行准确的测量，而无需对运行时期进行考虑。
6.根据权利要求1所述的小样本非平衡数据约束下调度模型的混合联邦学习方法，其特征在于，所述深度神经网络的训练过程由多个重复的训练步骤组成，每个步骤可以分为两个阶段，分别为前向传播和反向传播，前向传播的计算沿着有向无环图中箭头的方向，而反向传播则恰好与箭头方向相反。
7.根据权利要求6所述的小样本非平衡数据约束下调度模型的混合联邦学习方法，其特征在于，所述前向传播阶段每层的输入首先经过一次仿射变换，由于这是一个线性的组合过程，无法表现较为复杂的函数，深度神经网络会在变换后增加一个非线性激活单元，提高模型的拟合能力，逐层计算后，最终在输出层计算出一个预测值。
8.根据权利要求7所述的小样本非平衡数据约束下调度模型的混合联邦学习方法，其特征在于，所述后向传播阶段为了能够修正每层的权重使得预测值更加接近真实值，神经网络将预测值和真实值之间的误差经过处理后逐层往回传播，以求取每个神经元的梯度，从而修正对应的权重，因此，每层的计算量是由这两个阶段的计算量叠加而成的。
9.根据权利要求1所述的小样本非平衡数据约束下调度模型的混合联邦学习方法，其特征在于，所述混合联邦学习方法核心采用inception网络结构，所述inception网络结构保证了整个网络的稀疏性，并且可以充分利用高性能的算力计算密集矩阵，由于该网络结构中存在分支结构，无法采用链式拓扑对其进行建模。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211056853.8A CN115293367A (zh) | 2022-08-30 | 2022-08-30 | 小样本非平衡数据约束下调度模型的混合联邦学习方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211056853.8A CN115293367A (zh) | 2022-08-30 | 2022-08-30 | 小样本非平衡数据约束下调度模型的混合联邦学习方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115293367A true CN115293367A (zh) | 2022-11-04 |
Family
ID=83832442
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211056853.8A Withdrawn CN115293367A (zh) | 2022-08-30 | 2022-08-30 | 小样本非平衡数据约束下调度模型的混合联邦学习方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115293367A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116932228A (zh) * | 2023-09-14 | 2023-10-24 | 湖南希赛网络科技有限公司 | 一种基于志愿者计算的边缘ai任务调度和资源管理系统 |
-
2022
- 2022-08-30 CN CN202211056853.8A patent/CN115293367A/zh not_active Withdrawn
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116932228A (zh) * | 2023-09-14 | 2023-10-24 | 湖南希赛网络科技有限公司 | 一种基于志愿者计算的边缘ai任务调度和资源管理系统 |
| CN116932228B (zh) * | 2023-09-14 | 2023-12-12 | 湖南希赛网络科技有限公司 | 一种基于志愿者计算的边缘ai任务调度和资源管理系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102611938B1 (ko) | 신경망을 사용한 통합 회로 플로어 플랜 생성 | |
| CN106201651A (zh) | 神经形态芯片的模拟器 | |
| CN107391542A (zh) | 一种基于文件知识图谱的开源软件社区专家推荐方法 | |
| CN113762595B (zh) | 通行时间预测模型训练方法、通行时间预测方法及设备 | |
| CN102176200A (zh) | 一种软件测试用例自动生成方法 | |
| CN107038261B (zh) | 一种基于数据图谱、信息图谱和知识图谱的处理架构资源可动态抽象的语义建模方法 | |
| CN107665172A (zh) | 一种基于复杂加权软件网络的软件缺陷预测方法 | |
| CN107330589A (zh) | 卫星网络协调风险的定量化评估方法及系统 | |
| CN107453928A (zh) | 一种电力通信网节点重要度评价方法及装置 | |
| CN107632590A (zh) | 一种基于优先级的底事件排序方法 | |
| CN112541584A (zh) | 深度神经网络模型并行模式选择方法 | |
| Xie et al. | Origin-based algorithms for traffic assignment: algorithmic structure, complexity analysis, and convergence performance | |
| CN106295803A (zh) | 深度神经网络的构建方法 | |
| CN115293367A (zh) | 小样本非平衡数据约束下调度模型的混合联邦学习方法 | |
| CN113221475A (zh) | 一种用于高精度流场分析的网格自适应方法 | |
| CN104267936B (zh) | 基于树语义的异步动态下推网络可达性分析方法 | |
| CN106201706A (zh) | 一种粒子群服务选择方法和系统 | |
| CN113784380A (zh) | 一种采用图注意力网络与融合邻域的拓扑预测方法 | |
| CN109492697A (zh) | 图片检测网络训练方法及图片检测网络训练装置 | |
| CN105808805A (zh) | 一种基于混合诊断模型的测试性建模方法 | |
| CN112052622A (zh) | 一种云平台下深度多视图语义文档表示的缺陷处置方法 | |
| CN103886169A (zh) | 一种基于AdaBoost的链路预测算法 | |
| CN115001978B (zh) | 一种基于强化学习模型的云租户虚拟网络智能映射方法 | |
| CN110189230A (zh) | 一种动态分区的解析化模型的构建方法 | |
| CN115617034A (zh) | 多智能体的环境探索方法、装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WW01 | Invention patent application withdrawn after publication | ||
| WW01 | Invention patent application withdrawn after publication |
Application publication date: 20221104 |