CN116128036A - 基于云边协同架构的增量学习方法、装置、设备及介质 - Google Patents
基于云边协同架构的增量学习方法、装置、设备及介质 Download PDFInfo
- Publication number
- CN116128036A CN116128036A CN202211574707.4A CN202211574707A CN116128036A CN 116128036 A CN116128036 A CN 116128036A CN 202211574707 A CN202211574707 A CN 202211574707A CN 116128036 A CN116128036 A CN 116128036A
- Authority
- CN
- China
- Prior art keywords
- edge
- cloud
- model
- incremental
- training
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 71
- 238000012549 training Methods 0.000 claims abstract description 75
- 238000012216 screening Methods 0.000 claims abstract description 15
- 230000006870 function Effects 0.000 claims description 28
- 238000004590 computer program Methods 0.000 claims description 16
- 230000005012 migration Effects 0.000 claims description 11
- 238000013508 migration Methods 0.000 claims description 11
- 230000002787 reinforcement Effects 0.000 claims description 10
- 238000011478 gradient descent method Methods 0.000 claims description 8
- 238000003860 storage Methods 0.000 claims description 8
- 230000008014 freezing Effects 0.000 claims description 7
- 238000007710 freezing Methods 0.000 claims description 7
- 238000013528 artificial neural network Methods 0.000 claims description 6
- 238000001914 filtration Methods 0.000 claims 1
- 238000004891 communication Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 4
- 238000013473 artificial intelligence Methods 0.000 description 3
- 238000013526 transfer learning Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000009776 industrial production Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000004931 aggregating effect Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Molecular Biology (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Feedback Control In General (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种基于云边协同架构的增量学习方法、装置、设备及介质，该方法包括：基于从各边缘节点收集的原始数据训练得到云端基础模型；基于各所述边缘节点的自有数据和所述云端基础模型，训练得到各所述边缘节点对应的边缘模型；对各所述边缘节点产生的增量数据进行筛选，得到增量数据集，所述增量数据是所述边缘节点基于所述边缘模型产生的；通过所述增量数据集对所述云端基础模型进行增量学习训练，得到更新后的云端基础模型。本发明通过云边协同架构，解决了模型泛化能力、模型准确率和推理时延三项重要指标难以同时满足业务需求的问题，通过云端训练策略保证云端基础模型在多个场景下能保持较好的泛化能力。
Description
技术领域
本发明涉及人工智能技术领域，尤其涉及一种基于云边协同架构的增量学习方法、装置、设备及介质。
背景技术
人工智能已经渗透到了工业生产的各个领域，在现阶段，计算机视觉技术在工业质检领域还存在较多的技术瓶颈，由于工业生产过程中各类机械高速运转，对人工智能算法的部署方式和推理时延带来了极大的挑战。目前，如何平衡模型泛化能力和准确率解决方案可以归纳为以下四类：1、云端训练，云端推理；2、云端训练，边缘推理；3、边缘训练，边缘推理；4、云边协同的联邦学习。
上述四种方法分别存在一定的局限性。首先采用云端训练，云端推理架构，在推理服务方面会存在较大的网络延迟问题，通常无法满足大部分工业级需求；采用云端训练，边缘推理架构，算法模型无法根据业务数据实时迭代更新，由于目标变量的统计特性通常会随时间发生变化，在使用一段时间后模型会出现漂移和退化现象；采用边缘训练，边缘推理架构，难以充分利用跨场景的共性数据，通过边缘算力训练模型效率较低，同时模型容易出现过拟合，泛化性能和鲁棒性较差，也难以支撑海量数据量下的模型训练；采用云边协同的联邦学习架构，可以充分利用云端和边缘端的数据资源，目前通常基于专家系统等方法进行模型的简单集成，模型预测结果的可解释性相对较差，在新场景下的泛化能力也难以保证。
发明内容
本发明提供一种基于云边协同架构的增量学习方法、装置、设备及介质，用以解决现有如何平衡模型泛化能力和准确率解决方案存在的上述技术问题。
本发明提供一种基于云边协同架构的增量学习方法，包括：
基于从各边缘节点收集的原始数据训练得到云端基础模型；
基于各所述边缘节点的自有数据和所述云端基础模型，训练得到各所述边缘节点对应的边缘模型；
对各所述边缘节点产生的增量数据进行筛选，得到增量数据集，所述增量数据是所述边缘节点基于所述边缘模型产生的；
通过所述增量数据集对所述云端基础模型进行增量学习训练，得到更新后的云端基础模型。
根据本发明提供的一种基于云边协同架构的增量学习方法，所述基于从各边缘节点收集的原始数据训练得到云端基础模型包括：
将带权聚焦损失函数作为神经网络优化的损失函数，基于梯度下降方法以及从各边缘节点收集的原始数据进行模型训练，得到云端基础模型。
根据本发明提供的一种基于云边协同架构的增量学习方法，所述基于各所述边缘节点的自有数据和所述云端基础模型，训练得到各所述边缘节点对应的边缘模型包括：
将所述云端基础模型下发到各所述边缘节点；
冻结所述云端基础模型的骨干网络，将各所述边缘节点的自有数据作为模型训练输入；
基于迁移学习方法和聚焦损失函数对所述云端基础模型进行小样本迁移学习，得到各所述边缘节点对应的边缘模型。
根据本发明提供的一种基于云边协同架构的增量学习方法，所述基于各所述边缘节点的自有数据和所述云端基础模型，训练得到各所述边缘节点对应的边缘模型之后包括：
将所述边缘节点在第一时间周期内产生的数据作为模型输入，通过增量学习方法更新所述边缘模型；
将所述边缘节点在第二时间周期内产生的增量数据上传至云端服务器，所述第二时间周期为所述第一时间周期的正整数倍。
根据本发明提供的一种基于云边协同架构的增量学习方法，所述对各所述边缘节点产生的增量数据进行筛选，得到增量数据集包括：
通过强化学习策略对各所述边缘节点产生的增量数据进行筛选；
通过聚类算法对筛选后的增量数据进行划分，得到增量数据集。
根据本发明提供的一种基于云边协同架构的增量学习方法，所述通过所述增量数据集对所述云端基础模型进行增量学习训练，得到更新后的云端基础模型包括：
通过所述增量数据集和所述增量学习方法，对所述云端基础模型进行训练和更新，得到更新后的云端基础模型。
本发明还提供一种基于云边协同架构的增量学习装置，包括：
云端基础模型确定模块，用于基于从各边缘节点收集的原始数据训练得到云端基础模型；
边缘模型确定模块，用于基于各所述边缘节点的自有数据和所述云端基础模型，训练得到各所述边缘节点对应的边缘模型；
增量数据集确定模块，用于对各所述边缘节点产生的增量数据进行筛选，得到增量数据集，所述增量数据是所述边缘节点基于所述边缘模型产生的；
模型训练更新模块，用于通过所述增量数据集对所述云端基础模型进行增量学习训练，得到更新后的云端基础模型。
本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述基于云边协同架构的增量学习方法。
本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述基于云边协同架构的增量学习方法。
本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述基于云边协同架构的增量学习方法。
本发明提供的基于云边协同架构的增量学习方法、装置、设备及介质，基于从各边缘节点收集的原始数据训练得到云端基础模型，然后基于各边缘节点的自有数据和云端基础模型，训练得到各边缘节点对应的边缘模型，继而对各边缘节点产生的增量数据进行筛选，得到增量数据集，其中，增量数据是边缘节点基于边缘模型产生的，通过增量数据集对云端基础模型进行增量学习训练，得到更新后的云端基础模型，通过云边协同架构，解决了模型泛化能力、模型准确率和推理时延三项重要指标难以同时满足业务需求的问题，通过云端训练策略保证云端基础模型在多个场景下能保持较好的泛化能力。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的基于云边协同架构的增量学习方法的流程示意图之一；
图2是本发明提供的基于云边协同架构的增量学习方法的步骤示意图；
图3是本发明提供的基于云边协同架构的增量学习方法的流程示意图之二；
图4是本发明提供的基于云边协同架构的增量学习装置的结构示意图；
图5是本发明提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
下面结合图1-图3描述本发明的基于云边协同架构的增量学习方法。
请参照图1，本发明提供一种基于云边协同架构的增量学习方法，包括：
步骤100，基于从各边缘节点收集的原始数据训练得到云端基础模型；
具体地，从各个边缘节点收集原始数据，将收集得到的原始数据加入到数据集中，得到模型训练的初始数据集D0，并将初始数据集存储在云端节点，然后通过采用本实施例提出的带权聚焦损失函数作为神经网络优化的损失函数，基于梯度下降的方法进行模型训练，得到初始化的云端基础模型，即本实施例中的云端基础模型。
步骤200，基于各所述边缘节点的自有数据和所述云端基础模型，训练得到各所述边缘节点对应的边缘模型；
具体地，将云端基础模型下发至各个边缘节点，首先，冻结云端基础模型的骨干网络，然后通过迁移学习的方法，将各个边缘节点的自有的数据作为云端基础模型训练的输入，将聚焦损失函数作为模型训练的损失函数，对云端基础模型进行小样本迁移学习，得到多个边缘端模型，即本实施例中的边缘模型，如图2所示，图2中的边缘服务器即本实施例中的边缘节点。
步骤300，对各所述边缘节点产生的增量数据进行筛选，得到增量数据集，所述增量数据是所述边缘节点基于所述边缘模型产生的；
具体地，利用边缘节点采集到的生产数据进行模型增量学习，分别设置两个时间周期Tedge和Tcloud，Tcloud＝nTedge，其中，n为正整数，在每个时间周期Tedge结束时，以边缘节点产生的增量数据dedge作为边缘模型的输入，通过增量学习方法更新边缘模型，在每个时间周期Tcloud结束时，将该时间段内各个边缘节点产生的增量数据上传至云端服务器。云端服务器通过强化学习策略对边缘服务器上传的增量数据进行筛选，通过聚类算法将各个边缘服务器上传的增量数据划分为若干个类别，从而筛选出对提升模型泛化能力最有帮助的数据集，即本实施例中的增量数据集。
步骤400，通过所述增量数据集对所述云端基础模型进行增量学习训练，得到更新后的云端基础模型。
具体地，利用筛选得到的增量数据集，基于增量学习的方法对云端基础模型进行训练和更新，得到更新后的云端基础模型。筛选得到的增量数据集作为云端基础模型的训练数据，利用增量学习方法，冻结云端基础模型的骨干网络，最后通过梯度下降算法得到更新后的云端基础模型。
在本实施例中，基于从各边缘节点收集的原始数据训练得到云端基础模型，然后基于各边缘节点的自有数据和云端基础模型，训练得到各边缘节点对应的边缘模型，继而对各边缘节点产生的增量数据进行筛选，得到增量数据集，其中，增量数据是边缘节点基于边缘模型产生的，通过增量数据集对云端基础模型进行增量学习训练，得到更新后的云端基础模型，通过云边协同架构，解决了模型泛化能力、模型准确率和推理时延三项重要指标难以同时满足业务需求的问题，通过云端训练策略保证云端基础模型在多个场景下能保持较好的泛化能力。
在一个实施例中，本申请实施例提供的增量学习方法，还可以包括：
步骤110，将带权聚焦损失函数作为神经网络优化的损失函数，基于梯度下降方法以及从各边缘节点收集的原始数据进行模型训练，得到云端基础模型。
具体地，从各个边缘节点收集原始数据，将收集得到的原始数据加入到数据集中，得到模型训练的初始数据集，并将初始数据集存储在云端节点，然后将本实施例提出的带权聚焦损失函数作为神经网络优化的损失函数，基于梯度下降的方法以及从各边缘节点收集的原始数据进行模型训练，得到初始化的云端基础模型，即本实施例中的云端基础模型，云端基础模型主要包括One-stage目标检测算法，例如YOLO系列算法，云端基础模型主要包括骨干网络、颈部网络以及头部网络，其中，骨干网络用于在图像的不同颗粒度上抽取并聚合图像特征，颈部网络用于将抽取的图像特征进行集成，并将图像特征传递到头部网络，头部网络用于基于图像特征进行预测，生成边界框、类别以及置信度等结果。
带权聚焦损失函数如公式1所示，其中，WFLk(pt)表示第k个边缘模型上类别t的损失函数，pt表示该类别t预测的置信度，置信度越高产生的损失越少，
表示各个边缘模型宏观F1得分的平均值，F1k表示第k个边缘模型的宏观F1得分。若边缘模型的F1得分较高，那么难易样本带来的损失差异较小，反之，难易样本带来的损失差异较大。通过引入带权聚焦损失函数作为模型训练的损失函数，一方面可以平衡难易样本带来的影响，解决边缘节点内的样本不平衡的问题，另一方面也可以平衡边缘节点间的不平衡问题，使得云端基础模型在训练的过程中更聚焦于低准确率的边缘节点数据。
本实施例提出了一种新的带权聚焦损失函数，综合考虑了各个边缘节点间性能不平衡，以及边缘节点内样本不平衡两个因素对模型损失造成的影响大小，提升了云端基础模型的泛化能力。
请参照图3，在一个实施例中，本申请实施例提供的基于云边协同架构的增量学习方法，还可以包括：
步骤201，将所述云端基础模型下发到各所述边缘节点；
步骤202，冻结所述云端基础模型的骨干网络，将各所述边缘节点的自有数据作为模型训练输入；
步骤203，基于迁移学习方法和聚焦损失函数对所述云端基础模型进行小样本迁移学习，得到各所述边缘节点对应的边缘模型。
具体地，将云端基础模型下发至各个边缘节点，首先，冻结云端基础模型的骨干网络，然后通过迁移学习的方法，将各个边缘节点的自有的数据作为云端基础模型训练的输入，将聚焦损失函数作为模型训练的损失函数，对云端基础模型进行小样本迁移学习，得到m个边缘端模型
即本实施例中的边缘模型。本实施例中的迁移学习方法主要通过冻结云端基础模型的骨干网络的参数进行模型训练，通过梯度下降的方法对上述实施例中的颈部网络和头部网络进行学习。
本实施例采用迁移学习和增量学习的方法，一方面解决了边缘端算力资源不足的问题，另一方面也解决了模型漂移和退化问题。
在一个实施例中，本申请实施例提供的基于云边协同架构的增量学习方法，还可以包括：
步骤210，将所述边缘节点在第一时间周期内产生的数据作为模型输入，通过增量学习方法更新所述边缘模型；
步骤220，将所述边缘节点在第二时间周期内产生的增量数据上传至云端服务器，所述第二时间周期为所述第一时间周期的正整数倍。
具体地，利用边缘节点采集到的生产数据进行模型增量学习，分别设置两个时间周期Tedge和Tcloud，即本实施例中的第一时间周期和第二时间周期，Tcloud＝nTedge，其中，n为正整数，其中，各个边缘模型增量学习的时间间隔为Tedge，将第k个边缘节点在第t个时间段内产生的数据样本集dt,k作为第k个边缘节点对应的边缘模型增量学习的数据输入，将边缘模型
作为预训练模型，基于梯度下降方法冻结边缘模型骨干网和颈部网络进行增量学习，得到新的模型
经过时间周期Tcloud后，将该时间段内各个边缘节点产生的增量数据上传至云端服务器。
本实施例通过增量学习的方法将边缘节点产生的增量数据上传到云端服务器，有助于进一步提升模型泛化能力。
在一个实施例中，本申请实施例提供的基于云边协同架构的增量学习方法，还可以包括：
步骤310，通过强化学习策略对各所述边缘节点产生的增量数据进行筛选；
步骤320，通过聚类算法对筛选后的增量数据进行划分，得到增量数据集。
具体地，云端服务器通过强化学习策略对边缘服务器上传的增量数据进行筛选，其中，m个边缘节点在第T个时间周期上传的数据集为(DT1,DT2,...,DTm)，基于云端基础模型的骨干网络抽取的图像特征，通过DBSCAN(Density-Based Spatial Clustering ofApplications with Noise，基于密度的噪声应用空间聚类)等聚类算法对各个数据集分别进行聚类操作，将各个数据集分别划分为C个子集，划分后的数据一共包含C×m个子集
从而筛选出对提升模型泛化能力最有帮助的增量数据形成数据集，即本实施例中的增量数据集。
本实施例通过强化学习技术，对边缘端上传的数据进行筛选，只保留对模型泛化能力提升较大的部分数据，有助于进一步提升模型泛化能力。
在一个实施例中，本申请实施例提供的基于云边协同架构的增量学习方法，还可以包括：
步骤410，通过所述增量数据集和所述增量学习方法，对所述云端基础模型进行训练和更新，得到更新后的云端基础模型。
具体地，将上述数据子集筛选结果作为强化学习的状态函数st。将增加或删除某些子集作为动作函数at，将筛选得到的数据集作为云端基础模型的训练数据，对云端基础模型进行增量学习，将模型F1得分的变化情况作为强化学习的奖励函数rt。通过PolicyGradient(策略梯度)和Actor-Critic(Q-Learning算法和Policy Gradient算法的结合)等强化学习算法搜索最优的数据子集组合，将筛选得到的数据作为云端模型的训练数据D1，D1作为云端基础模型的训练数据，利用增量学习方法，冻结云端基础模型的骨干网络，最后通过梯度下降算法得到更新后的云端基础模型。
本实施例通过增量数据集和增量学习方法，对云端基础模型进行训练和更新，提升了云端基础模型的泛化能力。
下面对本发明提供的增量学习装置进行描述，下文描述的增量学习装置与上文描述的增量学习方法可相互对应参照。
请参照图4，本发明还提供一种基于云边协同架构的增量学习装置，包括：
云端基础模型确定模块401，用于基于从各边缘节点收集的原始数据训练得到云端基础模型；
边缘模型确定模块402，用于基于各所述边缘节点的自有数据和所述云端基础模型，训练得到各所述边缘节点对应的边缘模型；
增量数据集确定模块403，用于对各所述边缘节点产生的增量数据进行筛选，得到增量数据集，所述增量数据是所述边缘节点基于所述边缘模型产生的；
模型训练更新模块404，用于通过所述增量数据集对所述云端基础模型进行增量学习训练，得到更新后的云端基础模型。
可选地，所述云端基础模型确定模块包括：
云端基础模型确定单元，用于将带权聚焦损失函数作为神经网络优化的损失函数，基于梯度下降方法以及从各边缘节点收集的原始数据进行模型训练，得到云端基础模型。
可选地，所述边缘模型确定模块包括：
云端基础模型下发单元，用于将所述云端基础模型下发到各所述边缘节点；
骨干网络冻结单元，用于冻结所述云端基础模型的骨干网络，将各所述边缘节点的自有数据作为模型训练输入；
边缘模型确定单元，用于基于迁移学习方法和聚焦损失函数对所述云端基础模型进行小样本迁移学习，得到各所述边缘节点对应的边缘模型。
可选地，所述增量学习装置包括：
边缘模型更新模块，用于将所述边缘节点在第一时间周期内产生的数据作为模型输入，通过增量学习方法更新所述边缘模型；
增量数据上传模块，用于将所述边缘节点在第二时间周期内产生的增量数据上传至云端服务器，所述第二时间周期为所述第一时间周期的正整数倍。
可选地，所述增量数据集确定模块包括：
增量数据筛选单元，用于通过强化学习策略对各所述边缘节点产生的增量数据进行筛选；
增量数据集确定单元，用于通过聚类算法对筛选后的增量数据进行划分，得到增量数据集。
可选地，所述模型训练更新模块包括：
模型训练更新单元，用于通过所述增量数据集和所述增量学习方法，对所述云端基础模型进行训练和更新，得到更新后的云端基础模型。
图5示例了一种电子设备的实体结构示意图，如图5所示，该电子设备可以包括：处理器(processor)510、通信接口(Communications Interface)520、存储器(memory)530和通信总线540，其中，处理器510，通信接口520，存储器530通过通信总线540完成相互间的通信。处理器510可以调用存储器530中的逻辑指令，以执行增量学习方法。
此外，上述的存储器530中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各方法所提供的基于云边协同架构的增量学习方法。
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的基于云边协同架构的增量学习方法。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种基于云边协同架构的增量学习方法，其特征在于，包括：
基于从各边缘节点收集的原始数据训练得到云端基础模型；
基于各所述边缘节点的自有数据和所述云端基础模型，训练得到各所述边缘节点对应的边缘模型；
对各所述边缘节点产生的增量数据进行筛选，得到增量数据集，所述增量数据是所述边缘节点基于所述边缘模型产生的；
通过所述增量数据集对所述云端基础模型进行增量学习训练，得到更新后的云端基础模型。
2.根据权利要求1所述的基于云边协同架构的增量学习方法，其特征在于，所述基于从各边缘节点收集的原始数据训练得到云端基础模型包括：
将带权聚焦损失函数作为神经网络优化的损失函数，基于梯度下降方法以及从各边缘节点收集的原始数据进行模型训练，得到云端基础模型。
3.根据权利要求1所述的基于云边协同架构的增量学习方法，其特征在于，所述基于各所述边缘节点的自有数据和所述云端基础模型，训练得到各所述边缘节点对应的边缘模型包括：
将所述云端基础模型下发到各所述边缘节点；
冻结所述云端基础模型的骨干网络，将各所述边缘节点的自有数据作为模型训练输入；
基于迁移学习方法和聚焦损失函数对所述云端基础模型进行小样本迁移学习，得到各所述边缘节点对应的边缘模型。
4.根据权利要求1所述的基于云边协同架构的增量学习方法，其特征在于，所述基于各所述边缘节点的自有数据和所述云端基础模型，训练得到各所述边缘节点对应的边缘模型之后包括：
将所述边缘节点在第一时间周期内产生的数据作为模型输入，通过增量学习方法更新所述边缘模型；
将所述边缘节点在第二时间周期内产生的增量数据上传至云端服务器，所述第二时间周期为所述第一时间周期的正整数倍。
5.根据权利要求1所述的基于云边协同架构的增量学习方法，其特征在于，所述对各所述边缘节点产生的增量数据进行筛选，得到增量数据集包括：
通过强化学习策略对各所述边缘节点产生的增量数据进行筛选；
通过聚类算法对筛选后的增量数据进行划分，得到增量数据集。
6.根据权利要求4所述的基于云边协同架构的增量学习方法，其特征在于，所述通过所述增量数据集对所述云端基础模型进行增量学习训练，得到更新后的云端基础模型包括：
通过所述增量数据集和所述增量学习方法，对所述云端基础模型进行训练和更新，得到更新后的云端基础模型。
7.一种基于云边协同架构的增量学习装置，其特征在于，包括：
云端基础模型确定模块，用于基于从各边缘节点收集的原始数据训练得到云端基础模型；
边缘模型确定模块，用于基于各所述边缘节点的自有数据和所述云端基础模型，训练得到各所述边缘节点对应的边缘模型；
增量数据集确定模块，用于对各所述边缘节点产生的增量数据进行筛选，得到增量数据集，所述增量数据是所述边缘节点基于所述边缘模型产生的；
模型训练更新模块，用于通过所述增量数据集对所述云端基础模型进行增量学习训练，得到更新后的云端基础模型。
8.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至6任一项所述基于云边协同架构的增量学习方法。
9.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述基于云边协同架构的增量学习方法。
10.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述基于云边协同架构的增量学习方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211574707.4A CN116128036A (zh) | 2022-12-08 | 2022-12-08 | 基于云边协同架构的增量学习方法、装置、设备及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211574707.4A CN116128036A (zh) | 2022-12-08 | 2022-12-08 | 基于云边协同架构的增量学习方法、装置、设备及介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116128036A true CN116128036A (zh) | 2023-05-16 |
Family
ID=86301909
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211574707.4A Pending CN116128036A (zh) | 2022-12-08 | 2022-12-08 | 基于云边协同架构的增量学习方法、装置、设备及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116128036A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116644802A (zh) * | 2023-07-19 | 2023-08-25 | 支付宝(杭州)信息技术有限公司 | 模型训练方法及装置 |
| CN117250911A (zh) * | 2023-11-13 | 2023-12-19 | 西北工业大学 | Cam软件模型调用方法、系统、设备及介质 |
-
2022
- 2022-12-08 CN CN202211574707.4A patent/CN116128036A/zh active Pending
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116644802A (zh) * | 2023-07-19 | 2023-08-25 | 支付宝(杭州)信息技术有限公司 | 模型训练方法及装置 |
| CN117250911A (zh) * | 2023-11-13 | 2023-12-19 | 西北工业大学 | Cam软件模型调用方法、系统、设备及介质 |
| CN117250911B (zh) * | 2023-11-13 | 2024-03-19 | 西北工业大学 | Cam软件模型调用方法、系统、设备及介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108334936B (zh) | 基于迁移卷积神经网络的故障预测方法 | |
| CN109829057B (zh) | 一种基于图二阶相似性的知识图谱实体语义空间嵌入方法 | |
| CN116128036A (zh) | 基于云边协同架构的增量学习方法、装置、设备及介质 | |
| CN105512676A (zh) | 一种智能终端上的食物识别方法 | |
| CN111989696A (zh) | 具有顺序学习任务的域中的可扩展持续学习的神经网络 | |
| CN113128620B (zh) | 一种基于层次关系的半监督领域自适应图片分类方法 | |
| CN112115967B (zh) | 一种基于数据保护的图像增量学习方法 | |
| Chandra et al. | Encoding subcomponents in cooperative co-evolutionary recurrent neural networks | |
| US20240028744A1 (en) | Dynamic network risk predicting method based on a graph neural network | |
| CN116363452B (zh) | 任务模型训练方法以及装置 | |
| CN116089883B (zh) | 用于提高已有类别增量学习新旧类别区分度的训练方法 | |
| Anand et al. | Black magic in deep learning: How human skill impacts network training | |
| Nguyen et al. | Robust learning under label noise with iterative noise-filtering | |
| CN114584406B (zh) | 一种联邦学习的工业大数据隐私保护系统及方法 | |
| CN114723011A (zh) | 一种面向动态图链接预测的高阶时序超图卷积网络运行方法 | |
| CN111160526A (zh) | 基于mape-d环形结构的深度学习系统在线测试方法与装置 | |
| CN113987236A (zh) | 基于图卷积网络的视觉检索模型的无监督训练方法和装置 | |
| CN116633639B (zh) | 基于无监督与有监督融合强化学习的网络入侵检测方法 | |
| CN117058394A (zh) | 一种零样本语义分割方法 | |
| CN116701647A (zh) | 基于嵌入向量与迁移学习融合的知识图谱补全方法及装置 | |
| CN116883786A (zh) | 图数据增广方法、装置、计算机设备及可读存储介质 | |
| CN116052168A (zh) | 基于单目标域图像的跨域语义分割模型生成方法及装置 | |
| CN115019342A (zh) | 一种基于类关系推理的濒危动物目标检测方法 | |
| CN110059117A (zh) | 一种教学大数据的分析处理方法及装置 | |
| CN115641474A (zh) | 基于高效学生网络的未知类型缺陷检测方法与装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |