CN113379708A - 一种基于联邦学习的空调外机外观检测方法及系统 - Google Patents
一种基于联邦学习的空调外机外观检测方法及系统 Download PDFInfo
- Publication number
- CN113379708A CN113379708A CN202110660622.7A CN202110660622A CN113379708A CN 113379708 A CN113379708 A CN 113379708A CN 202110660622 A CN202110660622 A CN 202110660622A CN 113379708 A CN113379708 A CN 113379708A
- Authority
- CN
- China
- Prior art keywords
- model
- federal learning
- detection
- air conditioner
- data set
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 146
- 238000012549 training Methods 0.000 claims abstract description 53
- 238000000034 method Methods 0.000 claims abstract description 33
- 238000005070 sampling Methods 0.000 claims abstract description 22
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 40
- 238000004422 calculation algorithm Methods 0.000 claims description 32
- 238000000605 extraction Methods 0.000 claims description 13
- 230000010354 integration Effects 0.000 claims description 13
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 10
- 238000002372 labelling Methods 0.000 claims description 10
- 238000012360 testing method Methods 0.000 claims description 10
- 238000012545 processing Methods 0.000 claims description 9
- 238000010276 construction Methods 0.000 claims description 8
- 230000004927 fusion Effects 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000009499 grossing Methods 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 238000004806 packaging method and process Methods 0.000 claims description 3
- 238000011176 pooling Methods 0.000 claims description 3
- 241000512668 Eunectes Species 0.000 description 10
- 238000009826 distribution Methods 0.000 description 6
- 230000005540 biological transmission Effects 0.000 description 5
- 238000010801 machine learning Methods 0.000 description 4
- 238000005457 optimization Methods 0.000 description 4
- 230000003044 adaptive effect Effects 0.000 description 3
- 238000004220 aggregation Methods 0.000 description 2
- 230000002776 aggregation Effects 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000005315 distribution function Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000012821 model calculation Methods 0.000 description 2
- 230000004931 aggregating effect Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Biology (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Computational Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Quality & Reliability (AREA)
- Air Conditioning Control Device (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种基于联邦学习的空调外机外观检测方法及系统，步骤如下：(1)获取少量空调外机图像并存储在本地，人工标注后作为初始数据集；(2)建立检测模型；(3)使用步骤(2)训练好的检测模型对空调外机图像进行检测，将检测结果错误或置信度低的检测结果作为扩展数据集；(4)在初始数据集和扩展数据集中随机采样，继续训练步骤(2)训练好的检测模型，训练检测模型完成后，使用检测模型对空调外机图像进行检测。本发明首先构建样本较少的初始数据集进行模型训练，然后根据检测结果与实际结果的对比建立扩展数据集，针对性地增加样本，从而使用较少的样本增加检测准确率。
Description
技术领域
本发明涉及一种基于联邦学习的空调外机外观检测方法及系统，属于人工智能技术领域。
背景技术
随着人工智能技术的快速发展，机器学习被应用到越来越多的领域中。联邦学习是一种分布式机器学习方法，它能够在大量分散的数据上进行模型训练，而不需要先将数据整合起来。首先中央服务器将初始模型下发给多个客户端，客户端根据本地的数据计算模型更新，然后将更新数据发送到中央服务器，最后由中央服务器完成各个客户端的数据整合并得到新的模型。
空调外机外观检测是空调外机制造流程中重要的一环，主要检测项目包括商标是否正确、出气栅是否安装、连接管配置是否正确等问题。使用机器学习技术可以很好地完成这项任务，但是机器学习需要先进行数据集构建，包括获得大量的数据、汇总数据并分类、人工标注数据，在实际操作前难以估计标注多少数据能够满足准确率要求。为此，提出本发明一种基于联邦学习的空调外机外观检测方法及系统。
发明内容
针对现有技术的不足，本发明提供一种基于联邦学习的空调外机外观检测方法及系统，首先构建样本较少的初始数据集进行模型训练，然后根据检测结果与实际结果的对比建立扩展数据集，针对性地增加样本，从而使用较少的样本增加检测准确率。并且本发明包含检测模型的在线更新，可以在检测过程中根据样本的实际情况构建新的扩展数据集，从而更新检测模型，提高检测准确率。
术语解释：
YOLO v4：YOLO是一种基于卷积神经网络的快速准确的物体检测算法，v4表示第四代，与上一代相比检测准确率有较大提升。
CSPDarknet53：Darknet53是一种卷积神经网络，由23个残差块和多个卷积层组成，共53层，CSPDarknet53是将部分转移层引入Darknet53中，从而最大化梯度联合的差异，避免不同的层学习到重复的梯度信息。
PANet：路径聚合网络(Path Aggregation Network)，通过自下而上的路径增强，使特征层次结构在较低层的位置信号得到增强，从而聚合不同尺度下、不同层次的特征。
SGD：朴素随机梯度下降算法(Stochastic Gradient Descent)，用于训练神经网络。
Adam：自适应矩估计法(Adaptive Moment Estimation)，一种自适应学习率的梯度下降算法，用于训练神经网络。
本发明的技术方案如下：
一种基于联邦学习的空调外机外观检测方法，步骤如下：
(1)多个联邦学习客户端拍摄获取少量空调外机图像并存储在本地，人工标注后作为初始数据集；
(2)联邦学习服务端基于YOLO v4建立用于空调外机外观检测的检测模型，如图3所示，该检测模型包括CSPDarknet53特征提取网络和PANet网络，CSPDarknet53特征提取网络结合PANet网络实现不同尺寸的特征融合，联邦学习服务端将检测模型下发到所有联邦学习客户端，联邦学习客户端并使用初始数据集训练该检测模型；
(3)训练模型完成后，联邦学习客户端使用步骤(2)训练好的检测模型对空调外机图像进行检测，检测结果存入联邦学习客户端数据库，联邦学习客户端将记录检测结果置信度低于60％的数据，并基于实际的结果判断检测模型检测结果是否正确，将检测结果错误或置信度低的检测结果作为扩展数据集；保存在联邦学习客户端本地；
(4)联邦学习客户端在初始数据集和扩展数据集中随机采样，继续训练步骤(2)训练好的检测模型，训练检测模型完成后，联邦学习客户端使用检测模型对空调外机图像进行检测。
根据本发明优选的，检测模型结构如图3所示，CSPDarknet53特征提取网络包括依次连接的1个32滤波器的卷积层，1个64滤波器的残差块、2个128滤波器的残差块、8个256滤波器的残差块、8个512滤波器的残差块和4个1024滤波器的残差块；
将红绿蓝三通道的图像缩放为416×416输入网络，首先经过1个32滤波器的卷积层并归一化，然后经过1个64滤波器的残差块、2个128滤波器的残差块、8个256滤波器的残差块、8个512滤波器的残差块、4个1024滤波器的残差块；
将2个256滤波器的残差块的输出作为PANet的第一输入；
将2个512滤波器的残差块的输出作为PANet的第二输入；
最后一个残差块的输出再经过三个卷积层和空间金字塔池化层，作为PANet的第三个输入；
PANet网络包括若干个上采样层、若干个连接层、若干个卷积层和若干个下采样层，
第三输入一方面经过连接层和5个卷积层与第二输出下采样结果融合后作为第三输出，另一方面经过卷积层和上采样层，与第二输入经过连接层和5个卷积层融合，融合结果一方面经过连接层和5个卷积层与第一输出下采样结果融合后作为第二输出，另一方面再次经过卷积层和上采样层，与第一输入经过连接层和5个卷积层融合，并得到第一输出。
第一输出下采样和融合后得到第二输出，第二输出下采样和融合后得到第三输出，以此实现不同维度特征增强和融合，输出三组不同维度的特征，最后使用Python程序根据特征判断是否合格。
根据本发明优选的，训练过程使用SGD或Adam梯度下降算法更新检测模型中的权重参数，SGD算法和Adam算法的梯度计算公式分别如式(Ⅰ)和式(Ⅳ)所述；
ηSGD＝αgt (Ⅰ)
mt＝β1mt-1+(1-β1)gt (Ⅱ)
其中ηSGD为SGD算法得到的梯度，ηAdam为Adam算法得到的梯度，α,β1,β2为参数，gt为当前梯度，mt为当前时刻的动量，mt-1为上一时刻的动量，Vt为当前时刻的二阶动量，Vt-1为上一时刻的二阶动量，ε为平滑项。
根据本发明优选的，步骤(1)中人工标注的具体过程为，使用YoloLabel软件(Yolo标注工具)选择要标注的图像，拖拽选择空调外机所在的矩形区域，然后拖拽选择要检测的目标(例如商标或出气栅)所在的矩形区域，标注完成后软件自动对标注数据和图像数据进行处理并生成数据集。
根据本发明优选的，步骤(2)、步骤(4)中的训练模型过程为：检测模型训练每一阶段完成后，联邦学习客户端将检测模型参数的更新数据打包加密后上传到联邦学习服务端，由联邦学习服务端进行检测模型参数整合；
检测模型参数整合完成后，联邦学习服务端将完整检测模型加密后下发到所有联邦学习客户端，然后继续下一轮次模型训练和参数更新，直至检测模型检测准确率符合要求。
进一步优选的，参数整合，是指：联邦学习服务端将收到的更新数据解密后，基于联邦平均算法整合所有数据并得到新的检测模型，联邦学习客户端通过下列SGD算法计算：
ηk,SGD＝αgk,t (4)
联邦学习服务端整合所有参数
其中，ηk,SGD为第k个客户端使用SGD算法得到的梯度，wt为t时刻模型全体参数，wt+1为t+1时刻即下一时刻模型全体参数，n为所有客户端中样本总数，K为联邦学习客户端总数，nk为第k个客户端中样本个数，gk,t为第k个客户端t时刻的梯度。
根据本发明优选的，步骤(3)中，若联邦学习客户端负载过大，则联邦学习服务端接收联邦学习客户端上传的空调外机图像，运行检测模型对图像进行检测，检测完成后返回结果到联邦学习客户端。
根据本发明优选的，步骤(4)中，联邦学习客户端按照训练集比测试集为8:2的比例分别在初始数据集和扩展数据集中随机采样。
一种基于联邦学习的空调外机外观检测系统，包括联邦学习服务端(即中央服务器)和联邦学习客户端，其中，
联邦学习客户端为计算机，包括图像拍摄装置，拍摄空调外机图像后保存在本地或上传联邦学习服务端，联邦学习客户端还包含数据集构建模块、模型训练模块和数据编码模块，数据集构建模块用于初始数据集和扩展数据集的构建，模型训练模块用于根据本地数据集训练模型，对联邦学习服务端下发的模型进行参数调整，使其能够完成检测任务，数据编码模块用于根据训练后的模型与初始模型得到更新参数，然后压缩加密后上传到联邦学习服务端。
联邦学习服务端为计算机，包括模型建立模块和模型分发模块，通过模型建立模块生成进行空调外机外观检测需要的模型，然后通过模型分发模块下发到联邦学习客户端。
根据本发明优选的，所述联邦学习服务端包含参数整合模块，接收联邦学习客户端上传的参数更新数据后对模型执行梯度下降求和以优化模型。
进一步优选的，所述参数整合模块使用TensorFlow-Federated框架编写，联邦学习服务端收联邦学习客户端上传的更新数据，解密后基于联邦平均算法整合所有数据并得到新的模型。
根据本发明优选的，所述联邦学习服务端包含模型计算和运行模块，当客户端负载过大时，接收联邦学习客户端上传的空调外机图像，运行检测模型对图像进行检测，检测完成后返回结果到联邦学习客户端。
根据本发明优选的，所述联邦学习服务端为Windows系统，包含使用Anaconda配置的Python运行环境，安装MySQL数据库，用于检测结果数据的存储。
所述Python运行环境包含使用Anaconda配置的TensorFlow和TensorFlow-Federated框架，用于构建、训练、计算和运行空调外机外观检测的模型，所述Python运行环境还包含OpenCV库，用于图像处理。
根据本发明优选的，所述联邦学习服务端的模型建立模块使用TensorFlow框架编写，使用YOLOv4网络结构，包含特征提取层和特征检测层，其中特征提取层使用预训练的参数，特征检测层初始化为随机参数；
所述联邦学习服务端的模型分发模块基于HTTP协议实现分发功能，联邦学习客户端向联邦学习服务端发起HTTP请求，联邦学习服务端首先挂起请求，直到初始模型建立完毕后返回给联邦学习客户端。
根据本发明优选的，所述联邦学习客户端使用Windows系统，包含使用Anaconda配置的Python运行环境；
所述Python运行环境包含使用Anaconda配置的TensorFlow和TensorFlow-Federated框架，用于模型训练，即根据本地数据集训练模型，对联邦学习服务端下发的模型进行参数调整，使其能够完成检测任务。
进一步优选的，所述Python运行环境还包含OpenCV库，用于拍摄空调外机图像并进行亮度对比度调整等初步处理。
根据本发明优选的，所述联邦学习客户端的数据集构建模块运行于Python环境中，包含图形用户界面，用于人工标注数据，并构建用于模型训练的数据集。
根据本发明优选的，所述联邦学习客户端的数据编码模块使用TensorFlow-Federated框架实现，主要功能是通过LZMA算法打包和压缩更新数据，然后使用HTTPS协议加密传输，以节省数据传输开销并保证数据安全。
根据本发明优选的，所述联邦学习服务端与联邦学习客户端通过网络拓扑结构连接，拓扑结构可以为总线型、星型或树型，保证联邦学习客户端可以通过网络访问联邦学习服务端，实现模型的下载、更新数据的上传和客户端负载过大时图像的上传。
根据本发明优选的，所述联邦学习服务端和联邦学习客户端为Windows系统，包含使用Anaconda配置的Python运行环境，所述Python运行环境包含PyTorch框架，用于构建、训练、计算和运行用于空调外机外观检测的模型；
所述联邦学习服务端的模型建立模块、参数整合模块、联邦学习客户端的数据编码模块均使用PyTorch框架编写，实现空调外机外观检测模型的建立，检测模型参数的整合与更新，通过压缩、打包和加密更新数据，节省数据传输开销并保证数据安全。
根据本发明优选的，所述联邦学习服务端和联邦学习客户端均为Ubuntu系统，包含使用apt配置的Python运行环境和pip(Python包管理工具)，所述联邦学习服务端安装有MariaDB数据库，用于检测结果的存储。
所述联邦学习服务端的Python运行环境包含使用pip配置的TensorFlow和TensorFlow-Federated框架，用于构建、训练、计算和运行空调外机外观检测的模型，所述Python运行环境还包含OpenCV库，用于图像处理。
所述联邦学习客户端的Python运行环境包含使用pip配置的TensorFlow和TensorFlow-Federated框架，用于模型训练，即根据本地数据集训练模型，对联邦学习服务端下发的模型进行参数调整，使其能够完成检测任务，所述Python运行环境还包含OpenCV库，用于拍摄空调外机图像并进行亮度对比度调整等初步处理。
根据本发明优选的，所述联邦学习服务端和联邦学习客户端均为Ubuntu系统，包含Docker容器，所述Docker容器中包含使用apt配置的Python运行环境、pip、检测程序和OpenCV库。
所述Docker容器包含使用pip配置的TensorFlow和TensorFlow-Federated框架，所述联邦学习服务端还包含另一个安装MySQL数据库的Docker容器，用于检测结果的存储。
本发明的有益效果在于：
1、本发明首先构建样本较少的初始数据集进行模型训练，然后根据检测结果与实际结果的对比建立扩展数据集，针对性地增加样本，从而使用较少的样本增加检测准确率。并且本发明包含检测模型的在线更新，可以在检测过程中根据样本的实际情况构建新的扩展数据集，从而更新检测模型，提高检测准确率。
2、相比于中心化的空调外机外观检测系统在中心服务器训练模型和进行外观检测，本发明提出的系统仅将更新数据压缩加密后上传到中心服务器，然后下载参数整合后的模型在联邦学习客户端上进行识别，大大节省了网络传输开销，降低了检测延迟。同时由于数据集保存在本地联邦学习客户端上，可以确保数据安全不泄露。
附图说明
图1为本发明的系统结构图。
图2为本发明的检测方法流程图。
图3为本发明的空调外机外观检测模型结构图。
具体实施方式
下面通过实施例并结合附图对本发明做进一步说明，但不限于此。
实施例1：
如图1-3所示，本实施例提供一种基于联邦学习的空调外机外观检测系统，包括联邦学习服务端(即中央服务器)和联邦学习客户端，其中，
联邦学习客户端为计算机，包含图像拍摄装置，拍摄空调外机图像后保存在本地或上传联邦学习服务端，联邦学习客户端还包含数据集构建模块、模型训练模块和数据编码模块，数据集构建模块用于初始数据集和扩展数据集的构建，模型训练模块用于根据本地数据集训练模型，对联邦学习服务端下发的模型进行参数调整，使其能够完成检测任务，数据编码模块用于根据训练后的模型与初始模型得到更新参数，然后压缩加密后上传到联邦学习服务端。
联邦学习服务端为计算机，包含模型建立模块和模型分发模块，通过模型建立模块生成进行空调外机外观检测需要的模型，然后通过模型分发模块下发到联邦学习客户端。
所述联邦学习服务端包含参数整合模块，接收联邦学习客户端上传的参数更新数据后对模型执行梯度下降求和以优化模型。
所述参数整合模块使用TensorFlow-Federated框架编写，联邦学习服务端收联邦学习客户端上传的更新数据，解密后基于联邦平均算法整合所有数据并得到新的模型。
所述联邦学习服务端包含模型计算和运行模块，当客户端负载过大时，接收联邦学习客户端上传的空调外机图像，运行检测模型对图像进行检测，检测完成后返回结果到联邦学习客户端。
所述联邦学习服务端为Windows系统，包含使用Anaconda配置的Python运行环境，安装MySQL数据库，用于检测结果数据的存储。
所述Python运行环境包含使用Anaconda配置的TensorFlow和TensorFlow-Federated框架，用于构建、训练、计算和运行空调外机外观检测的模型，所述Python运行环境还包含OpenCV库，用于图像处理。
所述联邦学习服务端的模型建立模块使用TensorFlow框架编写，使用YOLOv4网络结构，包含特征提取层和特征检测层，其中特征提取层使用预训练的参数，特征检测层初始化为随机参数；
所述联邦学习服务端的模型分发模块基于HTTP协议实现分发功能，联邦学习客户端向联邦学习服务端发起HTTP请求，联邦学习服务端首先挂起请求，直到初始模型建立完毕后返回给联邦学习客户端。
所述联邦学习客户端使用Windows系统，包含使用Anaconda配置的Python运行环境；
所述Python运行环境包含使用Anaconda配置的TensorFlow和TensorFlow-Federated框架，用于模型训练，即根据本地数据集训练模型，对联邦学习服务端下发的模型进行参数调整，使其能够完成检测任务。
所述Python运行环境还包含OpenCV库，用于拍摄空调外机图像并进行亮度对比度调整等初步处理。
所述联邦学习客户端的数据集构建模块运行于Python环境中，包含图形用户界面，用于人工标注数据，并构建用于模型训练的数据集。
所述联邦学习客户端的数据编码模块使用TensorFlow-Federated框架实现，主要功能是通过LZMA算法打包和压缩更新数据，然后使用HTTPS协议加密传输，以节省数据传输开销并保证数据安全。
所述联邦学习服务端与联邦学习客户端通过网络拓扑结构连接，拓扑结构可以为总线型、星型或树型，保证联邦学习客户端可以通过网络访问联邦学习服务端，实现模型的下载、更新数据的上传和客户端负载过大时图像的上传。
上述基于联邦学习的空调外机外观检测系统的检测方法，步骤如下：
(1)多个联邦学习客户端拍摄获取少量空调外机图像并存储在本地，人工标注后作为初始数据集；
(2)联邦学习服务端基于YOLO v4建立用于空调外机外观检测的检测模型，如图3所示，该检测模型包括CSPDarknet53特征提取网络和PANet网络，CSPDarknet53特征提取网络结合PANet网络实现不同尺寸的特征融合，联邦学习服务端将检测模型下发到所有联邦学习客户端，联邦学习客户端并使用初始数据集训练该检测模型；
(3)训练模型完成后，联邦学习客户端使用步骤(2)训练好的检测模型对空调外机图像进行检测，检测结果存入联邦学习客户端数据库，联邦学习客户端将记录检测结果置信度低于60％的数据，并基于实际的结果判断检测模型检测结果是否正确，将检测结果错误或置信度低的检测结果作为扩展数据集；保存在联邦学习客户端本地；
(4)联邦学习客户端在初始数据集和扩展数据集中随机采样，继续训练步骤(2)训练好的检测模型，训练检测模型完成后，联邦学习客户端使用检测模型对空调外机图像进行检测。
根据本发明优选的，检测模型结构如图3所示，CSPDarknet53特征提取网络包括依次连接的1个32滤波器的卷积层，1个64滤波器的残差块、2个128滤波器的残差块、8个256滤波器的残差块、8个512滤波器的残差块和4个1024滤波器的残差块；
将红绿蓝三通道的图像缩放为416×416输入网络，首先经过1个32滤波器的卷积层并归一化，然后经过1个64滤波器的残差块、2个128滤波器的残差块、8个256滤波器的残差块、8个512滤波器的残差块、4个1024滤波器的残差块；
将2个256滤波器的残差块的输出作为PANet的第一输入；
将2个512滤波器的残差块的输出作为PANet的第二输入；
最后一个残差块的输出再经过三个卷积层和空间金字塔池化层，作为PANet的第三个输入；
PANet网络包括若干个上采样层、若干个连接层、若干个卷积层和若干个下采样层，
第三输入一方面经过连接层和5个卷积层与第二输出下采样结果融合后作为第三输出，另一方面经过卷积层和上采样层，与第二输入经过连接层和5个卷积层融合，融合结果一方面经过连接层和5个卷积层与第一输出下采样结果融合后作为第二输出，另一方面再次经过卷积层和上采样层，与第一输入经过连接层和5个卷积层融合，并得到第一输出。
第一输出下采样和融合后得到第二输出，第二输出下采样和融合后得到第三输出，以此实现不同维度特征增强和融合，输出三组不同维度的特征，最后使用Python程序根据特征判断是否合格。
训练过程使用SGD或Adam梯度下降算法更新检测模型中的权重参数，SGD算法和Adam算法的梯度计算公式分别如式(Ⅰ)和式(4)所述；
ηSGD＝αgt (1)
mt＝β1mt-1+(1-β1)gt (2)
其中ηSGD为SGD算法得到的梯度，ηAdam为Adam算法得到的梯度，α,β1,β2为参数，gt为当前梯度，mt为当前时刻的动量，mt-1为上一时刻的动量，Vt为当前时刻的二阶动量，Vt-1为上一时刻的二阶动量，ε为平滑项。
步骤(1)中人工标注的具体过程为，使用YoloLabel软件(Yolo标注工具)选择要标注的图像，拖拽选择空调外机所在的矩形区域，然后拖拽选择要检测的目标(例如商标或出气栅)所在的矩形区域，标注完成后软件自动对标注数据和图像数据进行处理并生成数据集。
步骤(2)、步骤(4)中的训练模型过程为：检测模型训练每一阶段完成后，联邦学习客户端将检测模型参数的更新数据打包加密后上传到联邦学习服务端，由联邦学习服务端进行检测模型参数整合；
检测模型参数整合完成后，联邦学习服务端将完整检测模型加密后下发到所有联邦学习客户端，然后继续下一轮次模型训练和参数更新，直至检测模型检测准确率符合要求。
参数整合，是指：联邦学习服务端将收到的更新数据解密后，基于联邦平均算法整合所有数据并得到新的检测模型，联邦学习客户端通过下列SGD算法计算：
ηk,SGD＝αgk,t (4)
联邦学习服务端整合所有参数
其中，ηk,SGD为第k个客户端使用SGD算法得到的梯度，wt为t时刻模型全体参数，wt+1为t+1时刻即下一时刻模型全体参数，n为所有客户端中样本总数，K为联邦学习客户端总数，nk为第k个客户端中样本个数，gk,t为第k个客户端t时刻的梯度。
根据本发明优选的，步骤(3)中，若联邦学习客户端负载过大，则联邦学习服务端接收联邦学习客户端上传的空调外机图像，运行检测模型对图像进行检测，检测完成后返回结果到联邦学习客户端。
步骤(4)中，联邦学习客户端按照训练集比测试集为8:2的比例分别在初始数据集和扩展数据集中随机采样。
实施例2：
一种基于联邦学习的空调外机外观检测系统，如实施例1所述，不同之处在于，所述联邦学习服务端和联邦学习客户端为Windows系统，包含使用Anaconda配置的Python运行环境，所述Python运行环境包含PyTorch框架，用于构建、训练、计算和运行用于空调外机外观检测的模型；
所述联邦学习服务端的模型建立模块、参数整合模块、联邦学习客户端的数据编码模块均使用PyTorch框架编写，实现空调外机外观检测模型的建立，检测模型参数的整合与更新，通过压缩、打包和加密更新数据，节省数据传输开销并保证数据安全。
实施例3：
一种基于联邦学习的空调外机外观检测系统，如实施例1所述，不同之处在于，所述联邦学习服务端和联邦学习客户端均为Ubuntu系统，包含使用apt配置的Python运行环境和pip(Python包管理工具)，所述联邦学习服务端安装有MariaDB数据库，用于检测结果的存储。
所述联邦学习服务端的Python运行环境包含使用pip配置的TensorFlow和TensorFlow-Federated框架，用于构建、训练、计算和运行空调外机外观检测的模型，所述Python运行环境还包含OpenCV库，用于图像处理。
所述联邦学习客户端的Python运行环境包含使用pip配置的TensorFlow和TensorFlow-Federated框架，用于模型训练，即根据本地数据集训练模型，对联邦学习服务端下发的模型进行参数调整，使其能够完成检测任务，所述Python运行环境还包含OpenCV库，用于拍摄空调外机图像并进行亮度对比度调整等初步处理。
实施例4：
一种基于联邦学习的空调外机外观检测系统，如实施例1所述，不同之处在于，所述联邦学习服务端和联邦学习客户端均为Ubuntu系统，包含Docker容器，所述Docker容器中包含使用apt配置的Python运行环境、pip、检测程序和OpenCV库。
所述Docker容器包含使用pip配置的TensorFlow和TensorFlow-Federated框架，所述联邦学习服务端还包含另一个安装MySQL数据库的Docker容器，用于检测结果的存储。
Claims (10)
1.一种基于联邦学习的空调外机外观检测方法，其特征在于，步骤如下：
(1)获取少量空调外机图像并存储在本地，人工标注后作为初始数据集；
(2)基于YOLO v4建立用于空调外机外观检测的检测模型，该检测模型包括CSPDarknet53特征提取网络和PANet网络，CSPDarknet53特征提取网络结合PANet网络实现不同尺寸的特征融合，检测并使用初始数据集训练该检测模型；
(3)使用步骤(2)训练好的检测模型对空调外机图像进行检测，记录检测结果置信度低于60％的数据，并基于实际的结果判断检测模型检测结果是否正确，将检测结果错误或置信度低的检测结果作为扩展数据集；
(4)在初始数据集和扩展数据集中随机采样，继续训练步骤(2)训练好的检测模型，训练检测模型完成后，使用检测模型对空调外机图像进行检测。
2.如权利要求1所述的基于联邦学习的空调外机外观检测方法，其特征在于，CSPDarknet53特征提取网络包括依次连接的1个32滤波器的卷积层，1个64滤波器的残差块、2个128滤波器的残差块、8个256滤波器的残差块、8个512滤波器的残差块和4个1024滤波器的残差块；
将红绿蓝三通道的图像缩放为416×416输入网络，首先经过1个32滤波器的卷积层并归一化，然后经过1个64滤波器的残差块、2个128滤波器的残差块、8个256滤波器的残差块、8个512滤波器的残差块、4个1024滤波器的残差块；
将2个256滤波器的残差块的输出作为PANet的第一输入；
将2个512滤波器的残差块的输出作为PANet的第二输入；
最后一个残差块的输出再经过三个卷积层和空间金字塔池化层，作为PANet的第三个输入；
PANet网络包括若干个上采样层、若干个连接层、若干个卷积层和若干个下采样层，
第三输入一方面经过连接层和5个卷积层与第二输出下采样结果融合后作为第三输出，另一方面经过卷积层和上采样层，与第二输入经过连接层和5个卷积层融合，融合结果一方面经过连接层和5个卷积层与第一输出下采样结果融合后作为第二输出，另一方面再次经过卷积层和上采样层，与第一输入经过连接层和5个卷积层融合，并得到第一输出。
3.如权利要求1所述的基于联邦学习的空调外机外观检测方法，其特征在于，训练过程使用SGD或Adam梯度下降算法更新检测模型中的权重参数，SGD算法和Adam算法的梯度计算公式分别如式(Ⅰ)和式(Ⅳ)所述；
ηSGD＝αgt (Ⅰ)
mt＝β1mt-1+(1-β1)gt (Ⅱ)
其中ηSGD为SGD算法得到的梯度，ηAdam为Adam算法得到的梯度，α,β1,β2为参数，gt为当前梯度，mt为当前时刻的动量，mt-1为上一时刻的动量，Vt为当前时刻的二阶动量，Vt-1为上一时刻的二阶动量，ε为平滑项。
4.如权利要求1所述的基于联邦学习的空调外机外观检测方法，其特征在于，步骤(1)中人工标注的具体过程为，使用YoloLabel软件选择要标注的图像，拖拽选择空调外机所在的矩形区域，然后拖拽选择要检测的目标所在的矩形区域，标注完成后软件自动对标注数据和图像数据进行处理并生成数据集。
5.如权利要求1所述的基于联邦学习的空调外机外观检测方法，其特征在于，步骤(2)、步骤(4)中的训练模型过程为：检测模型训练每一阶段完成后，将检测模型参数的更新数据打包加密进行检测模型参数整合；
检测模型参数整合完成后，将完整检测模型加密后继续下一轮次模型训练和参数更新，直至检测模型检测准确率符合要求。
6.如权利要求5所述的基于联邦学习的空调外机外观检测方法，其特征在于，参数整合，是指：联邦学习服务端将收到的更新数据解密后，基于联邦平均算法整合所有数据并得到新的检测模型，联邦学习客户端通过下列SGD算法计算：
ηk,SGD＝αgk,t (4)
联邦学习服务端整合所有参数
其中，ηk,SGD为第k个客户端使用SGD算法得到的梯度，wt为t时刻模型全体参数，wt+1为t+1时刻即下一时刻模型全体参数，n为所有客户端中样本总数，K为联邦学习客户端总数，nk为第k个客户端中样本个数，gk,t为第k个客户端t时刻的梯度。
7.如权利要求1所述的基于联邦学习的空调外机外观检测方法，其特征在于，步骤(3)中，若联邦学习客户端负载过大，则联邦学习服务端接收联邦学习客户端上传的空调外机图像，运行检测模型对图像进行检测，检测完成后返回结果到联邦学习客户端。
8.如权利要求1所述的基于联邦学习的空调外机外观检测方法，其特征在于，步骤(4)中，按照训练集比测试集为8:2的比例分别在初始数据集和扩展数据集中随机采样。
9.一种基于联邦学习的空调外机外观检测系统，其特征在于，包括联邦学习服务端和联邦学习客户端，其中，
联邦学习客户端包括图像拍摄装置，拍摄空调外机图像后保存在本地或上传联邦学习服务端，联邦学习客户端还包含数据集构建模块、模型训练模块和数据编码模块，数据集构建模块用于初始数据集和扩展数据集的构建，模型训练模块用于根据本地数据集训练模型，对联邦学习服务端下发的模型进行参数调整，使其能够完成检测任务，数据编码模块用于根据训练后的模型与初始模型得到更新参数，然后压缩加密后上传到联邦学习服务端；
联邦学习服务端包括模型建立模块和模型分发模块，通过模型建立模块生成进行空调外机外观检测需要的模型，然后通过模型分发模块下发到联邦学习客户端。
10.如权利要求9所述的基于联邦学习的空调外机外观检测系统，其特征在于，所述联邦学习服务端包含参数整合模块，接收联邦学习客户端上传的参数更新数据后对模型执行梯度下降求和以优化模型；
优选的，所述参数整合模块使用TensorFlow-Federated框架编写，联邦学习服务端收联邦学习客户端上传的更新数据，解密后基于联邦平均算法整合所有数据并得到新的模型；
优选的，所述联邦学习服务端与联邦学习客户端通过网络拓扑结构连接，拓扑结构为总线型、星型或树型。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2021102173490 | 2021-02-26 | ||
| CN202110217349 | 2021-02-26 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113379708A true CN113379708A (zh) | 2021-09-10 |
Family
ID=77574413
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110660622.7A Pending CN113379708A (zh) | 2021-02-26 | 2021-06-15 | 一种基于联邦学习的空调外机外观检测方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113379708A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114280399A (zh) * | 2021-12-22 | 2022-04-05 | 上海尤比酷电气有限公司 | 一种基于负载特性的电气设备异常诊断方法及装置 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107087019A (zh) * | 2017-03-14 | 2017-08-22 | 西安电子科技大学 | 一种端云协同计算架构及任务调度装置及方法 |
| CN109214426A (zh) * | 2018-08-08 | 2019-01-15 | 王新维 | 一种物体外观检测的方法及深度神经网络模型 |
| CN110069706A (zh) * | 2019-03-25 | 2019-07-30 | 华为技术有限公司 | 数据处理的方法、端侧设备、云侧设备和端云协同系统 |
| CN111611610A (zh) * | 2020-04-12 | 2020-09-01 | 西安电子科技大学 | 联邦学习信息处理方法、系统、存储介质、程序、终端 |
| CN111985562A (zh) * | 2020-08-20 | 2020-11-24 | 复旦大学 | 一种保护端侧隐私的端云协同训练系统 |
| CN112116103A (zh) * | 2020-09-17 | 2020-12-22 | 北京大学 | 基于联邦学习的个人资质评估方法、装置及系统及存储介质 |
| CN112257774A (zh) * | 2020-10-20 | 2021-01-22 | 平安科技（深圳）有限公司 | 基于联邦学习的目标检测方法、装置、设备及存储介质 |
| CN112288043A (zh) * | 2020-12-23 | 2021-01-29 | 飞础科智慧科技(上海)有限公司 | 窑炉表面缺陷检测方法、系统和介质 |
-
2021
- 2021-06-15 CN CN202110660622.7A patent/CN113379708A/zh active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107087019A (zh) * | 2017-03-14 | 2017-08-22 | 西安电子科技大学 | 一种端云协同计算架构及任务调度装置及方法 |
| CN109214426A (zh) * | 2018-08-08 | 2019-01-15 | 王新维 | 一种物体外观检测的方法及深度神经网络模型 |
| CN110069706A (zh) * | 2019-03-25 | 2019-07-30 | 华为技术有限公司 | 数据处理的方法、端侧设备、云侧设备和端云协同系统 |
| CN111611610A (zh) * | 2020-04-12 | 2020-09-01 | 西安电子科技大学 | 联邦学习信息处理方法、系统、存储介质、程序、终端 |
| CN111985562A (zh) * | 2020-08-20 | 2020-11-24 | 复旦大学 | 一种保护端侧隐私的端云协同训练系统 |
| CN112116103A (zh) * | 2020-09-17 | 2020-12-22 | 北京大学 | 基于联邦学习的个人资质评估方法、装置及系统及存储介质 |
| CN112257774A (zh) * | 2020-10-20 | 2021-01-22 | 平安科技（深圳）有限公司 | 基于联邦学习的目标检测方法、装置、设备及存储介质 |
| CN112288043A (zh) * | 2020-12-23 | 2021-01-29 | 飞础科智慧科技(上海)有限公司 | 窑炉表面缺陷检测方法、系统和介质 |
Non-Patent Citations (6)
| Title |
|---|
| ALEXEY BOCHKOVSKIY ET AL: "YOLOv4: Optimal Speed and Accuracy of Object Detection", 《ARXIV:2004.10934V1》 * |
| CHIEN-YAO WANG ET AL: "CSPNet: A New Backbone that can Enhance Learning Capability of CNN", 《2020 IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION WORKSHOPS》 * |
| SHU LIU ET AL: "Path Aggregation Network for Instance Segmentation", 《ARXIV:1803.01534V4》 * |
| 保罗·加莱奥内等: "《TensorFlow 2.0神经网路实践》", 31 July 2020 * |
| 吴建明: "服务化部署框架Paddle Serving", 《知乎》 * |
| 董洪义: "《深度学习之PyTorch物体检测实战》", 31 March 2020 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114280399A (zh) * | 2021-12-22 | 2022-04-05 | 上海尤比酷电气有限公司 | 一种基于负载特性的电气设备异常诊断方法及装置 |
| CN114280399B (zh) * | 2021-12-22 | 2024-03-12 | 上海尤比酷电气有限公司 | 一种基于负载特性的电气设备异常诊断方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11138516B2 (en) | GPU enhanced graph model build and scoring engine | |
| CN108229479B (zh) | 语义分割模型的训练方法和装置、电子设备、存储介质 | |
| CN109977921B (zh) | 一种输电线路隐患检测方法 | |
| CN107786388B (zh) | 一种基于大规模网络流数据的异常检测系统 | |
| CN109191453A (zh) | 用于生成图像类别检测模型的方法和装置 | |
| CN111368980B (zh) | 状态检测方法、装置、设备及存储介质 | |
| CN108764456B (zh) | 机载目标识别模型构建平台、机载目标识别方法及设备 | |
| WO2019177733A1 (en) | Deterministic labeled data generation and artificial intelligence training pipeline | |
| CN114362367A (zh) | 面向云边协同的输电线路监测系统和方法、识别系统和方法 | |
| CN104883278A (zh) | 一种利用机器学习对网络设备进行分类的方法 | |
| CN110009614A (zh) | 用于输出信息的方法和装置 | |
| CN113037783B (zh) | 一种异常行为检测方法及系统 | |
| CN114912705A (zh) | 一种联邦学习中异质模型融合的优化方法 | |
| CN110826453A (zh) | 一种通过提取人体关节点坐标的行为识别方法 | |
| CN108460216B (zh) | 航天器测控覆盖分析设计平台 | |
| CN115269342B (zh) | 一种基于边缘计算的监测云平台及其监测方法 | |
| CN113284144B (zh) | 一种基于无人机的隧道检测方法及装置 | |
| CN110263748A (zh) | 用于发送信息的方法和装置 | |
| CN113379708A (zh) | 一种基于联邦学习的空调外机外观检测方法及系统 | |
| CN110070106A (zh) | 烟雾检测方法、装置及电子设备 | |
| CN114332659A (zh) | 基于轻量化模型下发的输电线路缺陷巡检方法和装置 | |
| CN117171686A (zh) | 一种基于联邦学习的智能电网异常数据的检测方法及系统 | |
| US11074710B2 (en) | Image-based framework for improving location estimate accuracy in indoor positioning systems | |
| CN114401063B (zh) | 基于轻量化模型的边缘设备协同频谱智能监测方法和系统 | |
| Ganchenko et al. | Neural network software diagnosis system of telemetry data |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210910 |
|
| RJ01 | Rejection of invention patent application after publication |