CN113033653B - 一种边-云协同的深度神经网络模型训练方法 - Google Patents
一种边-云协同的深度神经网络模型训练方法 Download PDFInfo
- Publication number
- CN113033653B CN113033653B CN202110306836.4A CN202110306836A CN113033653B CN 113033653 B CN113033653 B CN 113033653B CN 202110306836 A CN202110306836 A CN 202110306836A CN 113033653 B CN113033653 B CN 113033653B
- Authority
- CN
- China
- Prior art keywords
- model
- training
- cloud
- edge
- selecting
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012549 training Methods 0.000 title claims abstract description 56
- 238000003062 neural network model Methods 0.000 title claims abstract description 20
- 238000000034 method Methods 0.000 title claims abstract description 13
- 238000005457 optimization Methods 0.000 claims description 18
- 238000012360 testing method Methods 0.000 claims description 12
- 238000011056 performance test Methods 0.000 claims description 6
- 238000001514 detection method Methods 0.000 claims 1
- 238000013528 artificial neural network Methods 0.000 abstract 1
- 210000002569 neuron Anatomy 0.000 abstract 1
- 230000006870 function Effects 0.000 description 6
- 238000013473 artificial intelligence Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Image Analysis (AREA)
Abstract
一种边‑云协同的深度神经网络模型训练方法，先由中心云训练得到一个普适化模型，随后将该模型迁移到边缘服务器上，边缘服务器对该普适化模型进行微调和再训练，微调的方式是冻结普适化模型除最后一层以外的所有神经网络层的参数，再修改最后一层全连接层的参数(主要通过修改神经元的个数实现)，然后以自身的个性化数据为训练数据集，再训练该普适化模型，得到一个能够表征当前场景个性化特点的且准确率更高的个性化DNN模型。本发明提升模型预测准确率。
Description
技术领域
本发明属于边缘智能技术领域，涉及一种在边缘云-中心云系统中对深度神经网络模型进行训练以提升模型预测准确率的方法。
背景技术
边缘智能是指结合边缘计算实现的人工智能，将深度学习应用的大部分计算任务部署到边缘云而非中心云，既可以满足深度学习应用对于低时延的需求，又能保证深度学习应用的服务质量，从而实现了边缘计算和人工智能的双赢。边缘智能的发展对边缘计算和人工智能具有双向共赢的优势：一方面，边缘数据可以借助智能算法释放潜力，提供更高的可用性。另一方面，边缘计算能为智能算法提供更多的数据和应用场景。
由于深度神经网络模型的训练过程需要大量的计算存储资源，而边缘云的计算存储资源相对有限，和中心云无法比拟，另外，边缘数据具有单一性，用单一数据训练得到的模型通常性能不佳，因此边缘云独自进行模型训练往往不能得到较高的模型准确率。边-云协同进行模型训练是一种高效的模型训练方式，这种方式可以共同利用中心云和边缘云的优势，先在中心云训练得到一个高准确率的普适化模型，再将该模型迁移至边缘云加以微调和再训练，构建一个更符合边缘场景需求的个性化模型。
发明内容
为了解决边缘数据单一且边缘云服务器计算能力有限，无法训练一个高准确率的深度神经网络模型问题，本发明提出了一种在边缘云-中心云系统中，通过边-云协同训练深度神经网络模型的方案。该方案借助中心云的力量为边缘云提供强大的计算存储资源，能够预训练得到一个准确率较高的普适化模型，边缘云在普适化模型的基础上再训练得到一个符合自身场景特点的准确率更高的个性化模型。
为了实现上述过程，本发明提供以下的技术方案：
一种边-云协同的深度神经网络模型训练方法，包括如下步骤：
步骤1：中心云资源丰富，存有分类广泛且全面的海量数据，这些数据均经过有效标记，十分适合普适化模型的训练，首先根据任务类型选取输入数据集用来进行模型训练，将这些数据定义为input_c；
步骤2：根据任务的类型选取合适的深度神经网络模型框架，将选取的神经网络模型框架定义为Model_pre；
步骤3：将input_c按比例k:1划分为训练集train_c和测试集validate_c；
步骤4：选择或定义一个当前网络的误差损失函数lossFunction_c，选择或定义一个适合当前网络的优化器optimizer_c，并选择一个迭代次数epoch_c，开始Model_pre的迭代优化训练；
步骤5：首先随机初始化Model_pre中的各个参数；
步骤6：在train_c数据集上进行Model_pre的优化训练，并用lossFunction_c计算其输出值与期望值的误差loss，随后将误差loss进行反向传播，并用optimizer_c进行Model_pre中各个参数的优化；
步骤7：结束一次网络训练后使用validate_c数据集对训练后的Model_pre进行性能测试，计算其测试准确率accuracy_c；
步骤8：将步骤6和步骤7重复epoch_c次循环，并选择保留accuracy_c最高的一组模型参数为最终在中心云预训练得到的普适化模型Model_pre；
步骤9：中心云将Model_pre发送给边缘云；
步骤10：边缘云根据任务类型选取输入数据集用来进行模型训练，该数据集是存储在边缘云的个性化数据集，从处在这个边缘网络中的用户中收集得到，将这些数据定义为input_e；
步骤11：边缘云在Model_pre的基础上进行模型的微调和再训练，首先冻结Model_pre中第1层至第n-1层的参数，并根据input_e的特点调整最后一层全连接层的参数，将修改后的Model_pre定义为Model_e；
步骤12：将input_e按比例k:1划分为训练集train_e和测试集validate_e；
步骤13：选择或定义一个当前网络的误差损失函数lossFunction_e，选择或定义一个适合当前网络的优化器optimizer_e，并选择一个合适的迭代次数epoch_e，开始Model_e的迭代优化训练；
步骤14：在train_e数据集上进行Model_e的优化训练，并用lossFunction_e计算其输出值与期望值的误差loss，随后将误差loss进行反向传播，并用optimizer_e进行Model_e中各个参数的优化；
步骤15：结束一次网络训练后使用validate_e数据集对训练后的Model_e进行性能测试，计算其测试准确率accuracy_e；
步骤16：将步骤14和步骤15重复epoch_e次循环，并选择保留accuracy_e最高的一组模型参数为最终在边缘云经过微调和再训练得到的个性化模型Model_e；
步骤17：结束。
进一步，所述步骤2中，针对图像识别任务，选取ResNet。
本发明提出的一种边-云协同的深度神经网络模型训练方法，先由中心云训练得到一个普适化模型，相较于从零开始在边缘云训练完整的深度神经网络模型，该普适化模型借助中心云强大的计算能力和丰富的存储资源，能够得到较高的准确率；随后将该模型迁移到边缘服务器上，边缘服务器根据自身特点对该普适化模型进行微调，然后以存储在边缘云上的个性化数据为训练数据集，再训练该普适化模型，得到一个能够表征当前场景个性化特点的深度神经网络模型，该网络模型的准确率较之普适化模型又有了明显的提高。
本发明的有益效果为：能够有效地、大幅度地提升模型的准确率。
附图说明
图1为中心云-边缘云系统模型。
具体实施方式
下面结合附图对本发明做进一步说明。
参照图1，一种边-云协同的深度神经网络模型训练方法，包括如下步骤：
步骤1：中心云资源丰富，存有分类广泛且全面的海量数据，这些数据均经过有效标记，十分适合普适化模型的训练。如图1所示，在本中心云-边缘云系统中解决的是图像分类问题，首先选取适合图像分类的输入数据集用来进行模型训练，本系统选择的是ImageNet数据集，将该数据集定义为input_c；
步骤2：针对图像识别任务，选取ResNet作为深度神经网络模型框架；
步骤3：将input_c按比例10:1划分为训练集train_c和测试集validate_c；
步骤4：选择误差损失函数lossFunction_c为交叉熵损失函数，它主要用于度量两个概率分布间的差异性。选择优化器optimizer_c为Adam优化器，其优点是参数的更新不受梯度的伸缩变换影响，超参数具有很好的解释性，且通常无需调整或仅需很少的微调，并选择一个合适的迭代次数epoch_c为50次，开始Model_pre的迭代优化训练；
步骤5：首先随机初始化Model_pre中的各个参数；
步骤6：在train_c数据集上进行Model_pre的优化训练，并用lossFunction_c计算其输出值与期望值的误差loss，随后将误差loss进行反向传播，并用optimizer_c进行Model_pre中各个参数的优化；
步骤7：结束一次网络训练后使用validate_c数据集对训练后的Model_pre进行性能测试，计算其测试准确率accuracy_c；
步骤8：将步骤6和步骤7重复epoch_c次循环，并选择保留accuracy_c最高的一组模型参数为最终在中心云预训练得到的普适化模型Model_pre；
步骤9：中心云将Model_pre发送给边缘云；
步骤10：边缘云将该边缘场景中有关图像分类的数据作为输入数据集，用来进行图像分类模型训练，将这些数据定义为input_e；
步骤11：边缘云在Model_pre的基础上进行模型的微调和再训练，首先冻结Model_pre中第1层至第n-1层的参数，并根据input_e的特点调整最后一层全连接层的参数，例如该场景中共有10类图像，则将最后一层全连接层的输出个数改为10，将修改后的Model_pre定义为Model_e；
步骤12：将input_e按比例10:1划分为训练集train_e和测试集validate_e；
步骤13：选择误差损失函数lossFunction_c为交叉熵损失函数，选择优化器optimizer_c为Adam优化器，并选择一个合适的迭代次数epoch_c为20次，开始Model_e的迭代优化训练；
步骤14：在train_e数据集上进行Model_e的优化训练，并用lossFunction_e计算其输出值与期望值的误差loss，随后将误差loss进行反向传播，并用optimizer_e进行Model_e中各个参数的优化；
步骤15：结束一次网络训练后使用validate_e数据集对训练后的Model_e进行性能测试，计算其测试准确率accuracy_e；
步骤16：将步骤14和步骤15重复epoch_e次循环，并选择保留accuracy_e最高的一组模型参数为最终在边缘云经过微调和再训练得到的个性化模型Model_e；
步骤17：结束。
本说明书的实施例所述的内容仅仅是对发明构思的实现形式的列举，仅作说明用途。本发明的保护范围不应当被视为仅限于本实施例所陈述的具体形式，本发明的保护范围也及于本领域的普通技术人员根据本发明构思所能想到的等同技术手段。
Claims (3)
1.一种边-云协同的深度神经网络模型训练方法，其特征在于，所述方法包括如下步骤：
步骤1：首先根据任务类型选取输入数据集用来进行模型训练，将这些数据定义为input_c；
步骤2：根据任务的类型选取深度神经网络模型框架，将选取的神经网络模型框架定义为Model_pre；
步骤3：将input_c按比例k:1划分为训练集train_c和测试集validate_c；
步骤4：选择或定义一个当前网络的误差损失函数lossFunction_c，选择或定义一个适合当前网络的优化器optimizer_c，并选择一个迭代次数epoch_c，开始Model_pre的迭代优化训练；
步骤5：首先随机初始化Model_pre中的各个参数；
步骤6：在train_c数据集上进行Model_pre的优化训练，并用lossFunction_c计算其输出值与期望值的误差loss，随后将误差loss进行反向传播，并用optimizer_c进行Model_pre中各个参数的优化；
步骤7：结束一次网络训练后使用validate_c数据集对训练后的Model_pre进行性能测试，计算其测试准确率accuracy_c；
步骤8：将步骤6和步骤7重复epoch_c次循环，并选择保留accuracy_c最高的一组模型参数为最终在中心云预训练得到的普适化模型Model_pre；
步骤9：中心云将Model_pre发送给边缘云；
步骤10：边缘云根据任务类型选取输入数据集用来进行模型训练，该数据集是存储在边缘云的个性化数据集，从处在这个边缘网络中的用户中收集得到，将这些数据定义为input_e；
步骤11：边缘云在Model_pre的基础上进行模型的微调和再训练，首先冻结Model_pre中第1层至第n-1层的参数，并根据input_e的特点调整最后一层全连接层的参数，将修改后的Model_pre定义为Model_e；
步骤12：将input_e按比例k:1划分为训练集train_e和测试集validate_e；
步骤13：选择或定义一个适合当前网络的误差损失函数lossFunction_e，选择或定义一个适合当前网络的优化器optimizer_e，并选择一个合适的迭代次数epoch_e，开始Model_e的迭代优化训练；
步骤14：在train_e数据集上进行Model_e的优化训练，并用lossFunction_e计算其输出值与期望值的误差loss，随后将误差loss进行反向传播，并用optimizer_e进行Model_e中各个参数的优化；
步骤15：结束一次网络训练后使用validate_e数据集对训练后的Model_e进行性能测试，计算其测试准确率accuracy_e；
步骤16：将步骤14和步骤15重复epoch_e次循环，并选择保留accuracy_e最高的一组模型参数为最终在边缘云经过微调和再训练得到的个性化模型Model_e；
步骤17：结束。
2.如权利要求1所述的一种边-云协同的深度神经网络模型训练方法，其特征在于，所述步骤2中，针对图像识别任务，选取ResNet。
3.如权利要求1所述的一种边-云协同的深度神经网络模型训练方法，其特征在于，所述步骤2中，针对目标检测任务，选取Yolo。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110306836.4A CN113033653B (zh) | 2021-03-23 | 2021-03-23 | 一种边-云协同的深度神经网络模型训练方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110306836.4A CN113033653B (zh) | 2021-03-23 | 2021-03-23 | 一种边-云协同的深度神经网络模型训练方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113033653A CN113033653A (zh) | 2021-06-25 |
| CN113033653B true CN113033653B (zh) | 2024-04-19 |
Family
ID=76473149
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110306836.4A Active CN113033653B (zh) | 2021-03-23 | 2021-03-23 | 一种边-云协同的深度神经网络模型训练方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113033653B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113487156A (zh) * | 2021-06-30 | 2021-10-08 | 同济大学 | 一种基于云-边架构的工人行为监控识别方法及装置 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110472667A (zh) * | 2019-07-19 | 2019-11-19 | 广东工业大学 | 基于反卷积神经网络的小目标分类方法 |
| CN111695640A (zh) * | 2020-06-18 | 2020-09-22 | 南京信息职业技术学院 | 地基云图识别模型训练方法及地基云图识别方法 |
| CN112381178A (zh) * | 2020-12-07 | 2021-02-19 | 西安交通大学 | 一种基于多损失特征学习的医学影像分类方法 |
| CN112486686A (zh) * | 2020-11-30 | 2021-03-12 | 之江实验室 | 基于云边协同的定制化深度神经网络模型压缩方法及系统 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11288567B2 (en) * | 2018-09-04 | 2022-03-29 | Nec Corporation | Method for training deep neural network (DNN) using auxiliary regression targets |
-
2021
- 2021-03-23 CN CN202110306836.4A patent/CN113033653B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110472667A (zh) * | 2019-07-19 | 2019-11-19 | 广东工业大学 | 基于反卷积神经网络的小目标分类方法 |
| CN111695640A (zh) * | 2020-06-18 | 2020-09-22 | 南京信息职业技术学院 | 地基云图识别模型训练方法及地基云图识别方法 |
| CN112486686A (zh) * | 2020-11-30 | 2021-03-12 | 之江实验室 | 基于云边协同的定制化深度神经网络模型压缩方法及系统 |
| CN112381178A (zh) * | 2020-12-07 | 2021-02-19 | 西安交通大学 | 一种基于多损失特征学习的医学影像分类方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113033653A (zh) | 2021-06-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109948029B (zh) | 基于神经网络自适应的深度哈希图像搜索方法 | |
| CN111353582B (zh) | 一种基于粒子群算法的分布式深度学习参数更新方法 | |
| WO2022027937A1 (zh) | 一种神经网络压缩方法、装置、设备及存储介质 | |
| KR20170106338A (ko) | 모델 압축 및 미세-튜닝 | |
| US11551076B2 (en) | Event-driven temporal convolution for asynchronous pulse-modulated sampled signals | |
| US20210019652A1 (en) | Concurrent optimization of machine learning model performance | |
| US11704570B2 (en) | Learning device, learning system, and learning method | |
| CN111079780A (zh) | 空间图卷积网络的训练方法、电子设备及存储介质 | |
| CN111353545A (zh) | 一种基于稀疏网络迁移的植株病虫害识别方法 | |
| CN111224905B (zh) | 一种大规模物联网中基于卷积残差网络的多用户检测方法 | |
| Gope et al. | Ternary hybrid neural-tree networks for highly constrained iot applications | |
| CN111694977A (zh) | 一种基于数据增强的车辆图像检索方法 | |
| CN115829027A (zh) | 一种基于对比学习的联邦学习稀疏训练方法及系统 | |
| CN113033653B (zh) | 一种边-云协同的深度神经网络模型训练方法 | |
| CN116384504A (zh) | 联邦迁移学习系统 | |
| US20230076290A1 (en) | Rounding mechanisms for post-training quantization | |
| CN112836822A (zh) | 基于宽度学习的联邦学习策略优化方法和装置 | |
| CN115577797B (zh) | 一种基于本地噪声感知的联邦学习优化方法及系统 | |
| CN116010832A (zh) | 联邦聚类方法、装置、中心服务器、系统和电子设备 | |
| CN115660116A (zh) | 基于稀疏适配器的联邦学习方法及系统 | |
| CN114861917A (zh) | 贝叶斯小样本学习的知识图谱推理模型、系统及推理方法 | |
| CN108932550B (zh) | 一种基于模糊密集稀疏密集算法进行图像分类的方法 | |
| Hsieh et al. | MS-DARTS: Mean-Shift Based Differentiable Architecture Search | |
| CN117372785B (zh) | 一种基于特征簇中心压缩的图像分类方法 | |
| AU2021105155A4 (en) | Task-based sampling network for Point Cloud Classification |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |