CN114882335A - 基于联邦学习框架面向感算云一体化的智能图像传感装置 - Google Patents

基于联邦学习框架面向感算云一体化的智能图像传感装置 Download PDF

Info

Publication number
CN114882335A
CN114882335A CN202210481409.4A CN202210481409A CN114882335A CN 114882335 A CN114882335 A CN 114882335A CN 202210481409 A CN202210481409 A CN 202210481409A CN 114882335 A CN114882335 A CN 114882335A
Authority
CN
China
Prior art keywords
layer
learning framework
federal learning
intelligent image
fuzzy
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210481409.4A
Other languages
English (en)
Other versions
CN114882335B (zh
Inventor
曹斌
赵建伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hebei University of Technology
Original Assignee
Hebei University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hebei University of Technology filed Critical Hebei University of Technology
Priority to CN202210481409.4A priority Critical patent/CN114882335B/zh
Publication of CN114882335A publication Critical patent/CN114882335A/zh
Priority to US18/155,461 priority patent/US11881014B2/en
Application granted granted Critical
Publication of CN114882335B publication Critical patent/CN114882335B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/043—Architecture, e.g. interconnection topology based on fuzzy logic, fuzzy membership or fuzzy inference, e.g. adaptive neuro-fuzzy inference systems [ANFIS]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/086—Learning methods using evolutionary algorithms, e.g. genetic algorithms or genetic programming
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/098—Distributed learning, e.g. federated learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/0985—Hyperparameter optimisation; Meta-learning; Learning-to-learn
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/12—Computing arrangements based on biological models using genetic models
    • G06N3/126—Evolutionary algorithms, e.g. genetic algorithms or genetic programming
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G06N5/045—Explanation of inference; Explainable artificial intelligence [XAI]; Interpretable artificial intelligence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Analysis (AREA)
  • Fuzzy Systems (AREA)
  • Computational Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Physiology (AREA)
  • Genetics & Genomics (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于联邦学习框架面向感算云一体化的智能图像传感装置，所述装置包括：智能图像传感器、边缘服务器与远端的云；其中，所述智能图像传感器用于感知并生成图像，将所述图像上传至边缘服务器；所述边缘服务器作为客户端，所述远端的云作为服务器；所述客户端基于收到的图像、提出的联邦学习框架对卷积模糊粗糙神经网络进行训练；所述智能图像传感器从客户端下载训练后的卷积模糊粗糙神经网络的权重参数，基于训练后的权重参数对图像进行分类与识别。本发明对图像传感器采集的数据进行高效学习，通过神经演化搜索轻量级深度学习架构，并部署于图像传感器以自动对感知的图像进行判别与分析。

Description

基于联邦学习框架面向感算云一体化的智能图像传感装置
技术领域
本发明涉及图像传感器领域，尤其涉及一种基于联邦学习框架面向感算云一体化的智能图像传感装置。
背景技术
图像传感器采集和处理的数据具有很大的应用价值和经济价值。但是，采集和处理大量的图像传感器数据，存在隐私泄漏的风险。联邦学习(FL)是解决隐私泄漏的可靠解决方案。FL可用于多机构合作，只传播深度学习(DL)模型，不传播监控数据。从而突破数据孤岛，实现间接数据共享。由于其对图像信息的隐私保护特性，FL可以拓展到智能图像传感器的环境感知和监控领域。
DL模型已广泛应用于图像学习，DL模型有助于FL准确进行目标识别。通常情况下，DL模型中参数较多，如果FL模型频繁上传到远端的云服务器，通信成本较高。为此，许多学者对高效的FL框架进行了研究。
卷积神经网络(CNN)已成功地应用于图像识别领域，且其性能优异。但其缺点是，深度CNN被视为一个黑盒，缺乏可解释性。虽然已有学者对可解释性进行了研究，例如：设计了专门的损失项、提供热图来方便决策等，然而，很少有文献将可解释性与FL相结合。另外，神经网络架构是手工设定的，无法满足实际应用中的多种需要。
发明内容
本发明提供了一种基于联邦学习框架面向感算云一体化的智能图像传感装置，本发明为提升图像传感器的智能，提出了自适应联邦学习框架，并对图像传感器采集的数据进行高效学习，通过神经演化搜索轻量级深度学习架构，并部署于图像传感器以自动对感知的图像进行判别与分析，详见下文描述：
一种基于联邦学习框架面向感算云一体化的智能图像传感装置，所述装置包括：智能图像传感器、边缘服务器与远端的云，
其中，所述智能图像传感器用于感知并生成图像，将所述图像上传至边缘服务器；所述边缘服务器作为客户端，所述远端的云作为服务器；
所述客户端基于收到的图像、提出的联邦学习框架对卷积模糊粗糙神经网络进行训练；所述智能图像传感器从客户端下载训练后的卷积模糊粗糙神经网络的权重参数，基于训练后的权重参数对图像进行分类与识别。
其中，所述联邦学习框架为：
1)每隔一定数目的epoch，对各个客户端检查训练改进次数、停滞次数或准确率提升程度，若三个条件中的任意一个达到对应的阈值，则将当前客户端作为候选客户端；
2)检查完所有客户端后，若候选客户端的数量高于客户端总数的一半，则对候选客户端更新训练信息；
3)候选客户端上传DL模型的权重参数至服务器，服务器对权重参数进行聚合，将聚合后的权重参数发送回所有的候选客户端；
4)重复执行上述步骤1)-3)，直至达到预定义的训练epoch数，流程结束。
进一步地，所述卷积模糊粗糙神经网络为：
扩展层被模糊化层代替，接下来的层看作是模糊规则层、粗糙层和输出层；
在模糊化层，利用两个隶属函数，将每个特征值变换为两个隶属度，使通道数增加一倍；
利用全局池化将每个特征图约简到单个值，视为模糊规则层，通过对同一图的隶属度进行平均，得到模糊规则的激活强度；
特征混合层利用多个1×1滤波器混合输入特征，可视为粗糙层，滤波权值为粗糙隶属度，采用滤波权值的绝对值；
将分类器层作为输出层，使用连接权值绝对值，消除偏置单元。
其中，所述卷积模糊粗糙神经网络不设置结果层，或结果节点的输出均为1。
所述传感装置还包括：对所述卷积模糊粗糙神经网络的参数进行初始化，具体为：
将两个隶属函数的a参数分别初始化为1和-1；参数σ的取值为1；a为期望值，σ为标准差；
如果期望值a和标准差σ的随机赋值在[-1,1]范围内或相近范围内，则MFs对[-1,1]随机赋值的隶属度较高，σ越小，输出值越小。
本发明提供的技术方案的有益效果是：
1、本发明有效降低了联邦学习的通信成本；
2、提升深度学习模型的可解释性；
3、通过神经演化得到适用于图像传感器的轻量级深度学习神经网络架构。
附图说明
图1为基于联邦学习框架面向感算云一体化的智能图像传感装置的结构示意图；
图2为联邦学习框架算法的示意图；
图3为两个动态块的移动网第3代(MobileNetV3)和提出的CFRNN的示意图；
图4为基于NSGA-II算法的示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面对本发明实施方式作进一步地详细描述。
为了解决背景技术中的问题，本发明实施例还对下述技术进行了研究：
模糊理论强调信息系统中知识的模糊性。粗糙集理论强调信息系统中知识的不可分辨性，用于处理各种不完全信息，例如：不确定性和不完全性，并从中发现隐藏的规律。模糊粗糙理论可以处理复杂的数据并生成可解释的知识。模糊粗糙神经网络(FRNN)可以通过演化算法(EAs)构建和优化，以解决现实世界中的复杂问题。
神经演化，或基于演化的神经架构搜索，可以自动搜索最佳网络架构和超参数等。这可用于FL环境，同时考虑网络性能与复杂度，实现多目标优化。并且，可以通过从超网中继承权重参数，极大提升优化效率。
一种基于联邦学习框架面向感算云一体化的智能图像传感装置，参见图1，该智能图像传感装置包括：智能图像传感器、边缘服务器与远端的云。
其中，智能图像传感器用于感知并生成图像，将图像上传至边缘服务器；边缘服务器作为客户端，远端的云作为服务器，边缘服务器基于收到的图像、提出的联邦学习框架与卷积模糊粗糙神经网络(CFRNN)进行训练；训练完成后，智能图像传感器从边缘服务器下载训练好的权重，自主进行图像的分类与识别等任务。
进一步地，为了减少在FL中上传和下载DL模型参数的通信负担，一种简单的方法是在每隔预定义个数的代(epoch)后交换信息，而不是在每个epoch后交换信息。为了进一步提高效率，如果提高精度的次数、提高的精度或停滞次数达到预定义的阈值，则客户端成为DL模型上传的候选对象。如果超过一半的客户端成为候选客户端，中央服务器就会通知候选客户端上传本地模型参数，并将聚合的DL模型发送回候选客户端。
其中，上述的epoch的个数根据实际应用中的需要进行设定，本发明实施例对此不做限制。
1、联邦学习框架
参见图2，上述提出的联邦学习框架具体为：
每训练1个epoch后，记录训练准确率是否有改善或停滞；每隔一定数目的epoch，对于各个客户端，检查训练改进次数、停滞次数或准确率提升程度，若三者中任意一个达到对应的阈值，则将当前客户端作为候选客户；检查完所有客户端后，若候选客户端的数量高于客户端总数的一半，则这些候选客户端需要更新训练信息(例如：将当前准确率设为最新准确率，准确率提升次数与停滞次数设置0)，上传DL模型权重参数到服务器，服务器进行聚合后，将更新的DL模型权重参数发送回候选客户端。这个过程将不断进行，直到预定义的训练epoch数用尽。
其中，上述的各个阈值根据实际应用中的需要进行设定，本发明实施例对此不做限制。
2、卷积模糊粗糙神经网络(CFRNN)
主干CNN是改良的MobileNetV3，为轻量化深度神经网络，包括2个动态块，复杂度降低，适用于移动设备和物联网。在图3中，展示了两个块的MobileNetV3和提出的CFRNN。通过比较这两种体系架构，可以看到，在CFRNN中，最终的扩展层被模糊化层所取代，接下来的层可以看作是模糊规则层、粗糙层和输出层。它们的差异可以概括如下：
在最初的最终扩展层中，输入特征图通过一系列1×1过滤器扩展到更多的通道：
Figure BDA0003628006390000041
Figure BDA0003628006390000042
Figure BDA0003628006390000043
其中，OFEL表示最终的输出(输入)扩展层，σFEL表示激活函数，c表示通道，h(w)表示特征图的高度(宽度)，
Figure BDA0003628006390000044
表示最后的扩展层的输入特征图通道数，wFEL表示过滤器的权重，IFEL表示输入的特征图，
Figure BDA0003628006390000045
表示最终扩展层输出特征图的通道数，
Figure BDA0003628006390000046
表示输入特征图的高度(宽度)。
在模糊化层，利用两个隶属函数(MF)，将每个特征值变换为两个隶属度，从而使通道数增加一倍，在此，使用高斯MF：
Figure BDA0003628006390000051
其中，fMF表示MF，u表示输入，a与σ表示参数。在图3中，有64个输入特征图，通过模糊化，可以得到两组隶属度图，每组隶属度图有64个通道。
通过将最后的扩展层替换为模糊化层，参数数量从128×64减少到2×2，大大降低了复杂度。在两个块的MobileNetV3中，利用全局池化将每个特征图约简到单个值，可以将其视为CFRNN中的模糊规则层。通过对同一图的隶属度进行平均，进而得到模糊规则的激活强度。
特征混合层利用多个1×1滤波器混合输入特征。在CFRNN中，该层可视为粗糙层，滤波权值为粗糙隶属度。由于粗糙隶属度在[0,1]之间，所以采用滤波权值的绝对值。
最后，分类器层为全连接层，输出节点数等于待分类的类数。在CFRNN中，这是输出层，类似于粗糙层，使用了连接权值绝对值。此外，消除了偏置单元。为简单起见，与FRNN不同的是，它没有结果层，或者结果节点的输出都是固定的数值1。
在模糊化层，利用高斯隶属函数(MFs)对输入的特征图进行变换。由于高斯MFs与卷积层和全连接层的操作有很大的不同，传统的初始化方法是不适合的。因此，本发明实施例提出了一种手工设计的初始化方案，如下：
参数a：由于在前一层应用了批标准化，输入特征图中的值大约在[-1,1]。为了将高隶属度值与高绝对激活值的像素相关联，两个高斯MFs中的a参数分别初始化为1和-1。
参数σ：由于输入的特征图值在[-1,1]之间，为了保持输出值在[0,1]，scale参数σ被简单地设置为1。
反之，如果期望值a和标准差σ的随机赋值在[-1,1]范围内或相近范围内，则MFs对[-1,1]随机赋值的隶属度较高，标准差σ越小，输出值越小。这将降低网络的可解释性，大大降低网络的收敛速度，使网络陷入较差的局部最优，精度较低。
3、神经演化
基于上述提出的CFRNN超网络，本发明实施例又设计了一个灵活的搜索空间，如下：
1)对动态块中的激活函数类型进行优化，共有六种类型。
2)块之间的基阶宽度被视为变量并进行优化。
表1中列出了搜索空间中考虑的所有超参数。
表1：参数设置
Figure BDA0003628006390000052
Figure BDA0003628006390000061
在神经演化过程中，网络的准确性通常比其复杂性更为重要。然而，在MOEAs中，不同的目标被平等对待。因此，在基于多目标演化算法(MOEA)的神经演化中，准确性和复杂性的目标是同时优化的，没有侧重。针对这一问题，结合MOEA和演化算法(EA)，即NSGA-II和遗传算法(GA)，本发明实施例提出了一种模因算法。MOEA同时对这两个目标进行了优化，而EA着重于提高准确性。与MOEA与EA相对应，有两个存档，一个保存非支配解，另一个记录精度较高的解集。伪代码详细介绍在图4中。
首先，初始化种群，并直接用初始化的种群作为NSGA-II与GA算法的存档种群；在进化的每一代，基于NSGA-II算法及其存档种群生成一半种群，基于GA算法与其存档种群生成另一半种群；组合所有的后代种群；综合考虑后代种群与NSGA-II的存档种群，基于非占优排序与拥挤距离，更新生成NSGA-II的存档种群；综合考虑后代种群与GA的存档种群，基于准确率，更新生成GA的存档种群；最终，重复进行演化，直到达到预定义的代数，组合NSGA-II与GA算法的存档种群作为最终的种群并输出。
下面结合具体的实验数据对上述的图像传感装置进行可行性验证：
表2：自适应联邦学习的参数设置
Figure BDA0003628006390000062
Figure BDA0003628006390000071
其中，上述的自适应联邦学习的参数设置可参考表2，其中，前4个符号均对应两个值，前面值用于训练超网，后面值用于神经演化。在边缘服务器收集足够的图像之后，基于自适应联邦学习框架进行超网的训练。远端的云作为服务器，边缘服务器作为客户端，对提出的CFRNN超网进行训练。
在自适应联邦环境下，基于训练好的超网，基于提出的模因NSGA-II神经演化算法采样子网，搜索准确率高、且具有结构简单的神经架构。
预期效果：相比于静态联邦学习，自适应联邦学习框架大致能降低35％～50％的通信成本，且准确率损失很少；神经演化能采样出准确率相当，FLOPs明显较低的CFRNN神经架构。
本发明实施例对各器件的型号除做特殊说明的以外，其他器件的型号不做限制，只要能完成上述功能的器件均可。
本领域技术人员可以理解附图只是一个优选实施例的示意图，上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.一种基于联邦学习框架面向感算云一体化的智能图像传感装置，其特征在于，所述装置包括：智能图像传感器、边缘服务器与远端的云；
其中，所述智能图像传感器用于感知并生成图像，将所述图像上传至边缘服务器；所述边缘服务器作为客户端，所述远端的云作为服务器；
所述客户端基于收到的图像、提出的联邦学习框架对卷积模糊粗糙神经网络进行训练；所述智能图像传感器从客户端下载训练后的卷积模糊粗糙神经网络的权重参数，基于训练后的权重参数对图像进行分类与识别。
2.根据权利要求1所述的一种基于联邦学习框架面向感算云一体化的智能图像传感装置，其特征在于，所述联邦学习框架为：
1)每隔一定数目的epoch，对各个客户端检查训练改进次数、停滞次数或准确率提升程度，若三个条件中的任意一个达到对应的阈值，则将当前客户端作为候选客户端；
2)检查完所有客户端后，若候选客户端的数量高于客户端总数的一半，则对候选客户端更新训练信息；
3)候选客户端上传DL模型的权重参数至服务器，服务器对权重参数进行聚合，将聚合后的权重参数发送回所有的候选客户端；
4)重复执行上述步骤1)-3)，直至达到预定义的训练epoch数，流程结束。
3.根据权利要求1所述的一种基于联邦学习框架面向感算云一体化的智能图像传感装置，其特征在于，所述卷积模糊粗糙神经网络为：
扩展层被模糊化层代替，接下来的3层依次看作为模糊规则层、粗糙层和输出层；
在模糊化层，利用两个隶属函数，将每个特征值变换为两个隶属度，使通道数增加一倍；
利用全局池化将每个特征图约简到单个值，视为模糊规则层，通过对同一图的隶属度进行平均，得到模糊规则的激活强度；
特征混合层利用多个1×1滤波器混合输入特征，可视为粗糙层，滤波权值为粗糙隶属度，采用滤波权值的绝对值；
将分类器层作为输出层，使用连接权值绝对值，消除偏置单元。
4.根据权利要求1或3所述的一种基于联邦学习框架面向感算云一体化的智能图像传感装置，其特征在于，在所述卷积模糊粗糙神经网络中不设置结果层，或结果节点的输出均为1。
5.根据权利要求3所述的一种基于联邦学习框架面向感算云一体化的智能图像传感装置，其特征在于，所述传感装置还包括：对所述卷积模糊粗糙神经网络的参数进行初始化，具体为：
将两个隶属函数的a参数分别初始化为1和-1；参数σ的取值为1；a为期望值，σ为标准差；
如果期望值a和标准差σ的随机赋值在[-1,1]范围内或相近范围内，则MFs对[-1,1]随机赋值的隶属度较高，标准差σ越小，输出值越小。
CN202210481409.4A 2022-05-05 2022-05-05 基于联邦学习框架面向感算云一体化的智能图像传感装置 Active CN114882335B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202210481409.4A CN114882335B (zh) 2022-05-05 2022-05-05 基于联邦学习框架面向感算云一体化的智能图像传感装置
US18/155,461 US11881014B2 (en) 2022-05-05 2023-01-17 Intelligent image sensing device for sensing-computing-cloud integration based on federated learning framework

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210481409.4A CN114882335B (zh) 2022-05-05 2022-05-05 基于联邦学习框架面向感算云一体化的智能图像传感装置

Publications (2)

Publication Number Publication Date
CN114882335A true CN114882335A (zh) 2022-08-09
CN114882335B CN114882335B (zh) 2023-07-28

Family

ID=82673117

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210481409.4A Active CN114882335B (zh) 2022-05-05 2022-05-05 基于联邦学习框架面向感算云一体化的智能图像传感装置

Country Status (2)

Country Link
US (1) US11881014B2 (zh)
CN (1) CN114882335B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115860135A (zh) * 2022-11-16 2023-03-28 中国人民解放军总医院 使用超网解决异构联邦学习的方法、设备及介质
CN116070714A (zh) * 2023-01-10 2023-05-05 天津大学 基于联邦学习和神经架构搜索的云边协同训练方法及系统

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117877103B (zh) * 2024-03-13 2024-05-24 宁波市眼科医院 一种基于深度元学习的角膜炎智能筛查方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112949837A (zh) * 2021-04-13 2021-06-11 中国人民武装警察部队警官学院 一种基于可信网络的目标识别联邦深度学习方法
CN113435604A (zh) * 2021-06-16 2021-09-24 清华大学 一种联邦学习优化方法及装置
CN113723619A (zh) * 2021-08-31 2021-11-30 南京大学 一种基于训练阶段感知策略的联邦学习训练方法
CN113850272A (zh) * 2021-09-10 2021-12-28 西安电子科技大学 基于本地差分隐私的联邦学习图像分类方法
CN114265913A (zh) * 2021-12-30 2022-04-01 内蒙古大学 工业物联网边缘设备上基于联邦学习的空时预测算法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109495533B (zh) * 2017-09-13 2022-04-15 京东方科技集团股份有限公司 一种智能物联网管理系统及方法
US11184234B2 (en) * 2019-04-16 2021-11-23 Ciena Corporation Self-optimizing fabric architecture and self-assembling network
WO2021121585A1 (en) * 2019-12-18 2021-06-24 Telefonaktiebolaget Lm Ericsson (Publ) Methods for cascade federated learning for telecommunications network performance and related apparatus
US20230068386A1 (en) * 2020-02-03 2023-03-02 Intel Corporation Systems and methods for distributed learning for wireless edge dynamics

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112949837A (zh) * 2021-04-13 2021-06-11 中国人民武装警察部队警官学院 一种基于可信网络的目标识别联邦深度学习方法
CN113435604A (zh) * 2021-06-16 2021-09-24 清华大学 一种联邦学习优化方法及装置
CN113723619A (zh) * 2021-08-31 2021-11-30 南京大学 一种基于训练阶段感知策略的联邦学习训练方法
CN113850272A (zh) * 2021-09-10 2021-12-28 西安电子科技大学 基于本地差分隐私的联邦学习图像分类方法
CN114265913A (zh) * 2021-12-30 2022-04-01 内蒙古大学 工业物联网边缘设备上基于联邦学习的空时预测算法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115860135A (zh) * 2022-11-16 2023-03-28 中国人民解放军总医院 使用超网解决异构联邦学习的方法、设备及介质
CN115860135B (zh) * 2022-11-16 2023-08-01 中国人民解放军总医院 基于超网的异构联邦学习方法、设备及介质
CN116070714A (zh) * 2023-01-10 2023-05-05 天津大学 基于联邦学习和神经架构搜索的云边协同训练方法及系统
CN116070714B (zh) * 2023-01-10 2024-03-08 天津大学 基于联邦学习和神经架构搜索的云边协同训练方法及系统

Also Published As

Publication number Publication date
US20230360384A1 (en) 2023-11-09
CN114882335B (zh) 2023-07-28
US11881014B2 (en) 2024-01-23

Similar Documents

Publication Publication Date Title
CN114882335A (zh) 基于联邦学习框架面向感算云一体化的智能图像传感装置
CN109948029B (zh) 基于神经网络自适应的深度哈希图像搜索方法
US11010658B2 (en) System and method for learning the structure of deep convolutional neural networks
WO2022121289A1 (en) Methods and systems for mining minority-class data samples for training neural network
Chen et al. Application of improved convolutional neural network in image classification
CN115358305A (zh) 一种基于边界样本迭代生成的增量学习鲁棒性提升方法
Li et al. 3D convolutional generative adversarial networks for missing traffic data completion
Sguerra et al. Image classification using sum-product networks for autonomous flight of micro aerial vehicles
CN113643303A (zh) 基于双路注意力编解码网络的三维图像分割方法
CN112770256B (zh) 一种无人机自组织网络中的节点轨迹预测方法
CN111291193B (zh) 一种知识图谱在零次学习上的运用方法
Basirat et al. Learning Task-specific Activation Functions using Genetic Programming.
CN115294402B (zh) 一种基于去冗余多阶混合训练的半监督车辆分类方法
Pathak et al. A New Salp Swarm Algorithm for the Numerical Optimization Problems Based on An Elite Opposition-based Learning
CN115809747A (zh) 一种基于金字塔式因果网络的耦合信息流长期预测方法
Pan et al. The application of rough set and Kohonen network to feature selection for object extraction
CN113704570A (zh) 基于自监督学习式进化的大规模复杂网络社区检测方法
Saranya et al. Context Aware Data Fusion on Massive IOT Data in Dynamic IOT Analytics.
Sarkar et al. An incremental pruning strategy for fast training of CNN models
Georgiou et al. Evolutionary Adaptive Schemes of Probabilistic Neural Networks
Połap et al. Lightweight CNN based on Spatial Features for a Vehicular Damage Detection System
Jiang et al. A study of the Naive Bayes classification based on the Laplacian matrix
CN113033669B (zh) 一种基于可学习的特征图过滤与图注意力网络的视觉场景识别方法
Han et al. An Urban Traffic Flow Prediction Approach Integrating External Factors Based on Deep Learning and Knowledge Graph
CN113378731B (zh) 基于卷积神经网络及能量约束的绿地水系矢量提取方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
EE01 Entry into force of recordation of patent licensing contract
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20220809

Assignee: TIANDY TECHNOLOGIES Co.,Ltd.

Assignor: Hebei University of Technology

Contract record no.: X2024980004282

Denomination of invention: Intelligent Image Sensing Device for Cloud Integration Based on Federated Learning Framework

Granted publication date: 20230728

License type: Common License

Record date: 20240411