CN112802006B - 一种基于深度学习的边缘计算电机油污识别方法 - Google Patents
一种基于深度学习的边缘计算电机油污识别方法 Download PDFInfo
- Publication number
- CN112802006B CN112802006B CN202110176958.6A CN202110176958A CN112802006B CN 112802006 B CN112802006 B CN 112802006B CN 202110176958 A CN202110176958 A CN 202110176958A CN 112802006 B CN112802006 B CN 112802006B
- Authority
- CN
- China
- Prior art keywords
- deep learning
- learning model
- oil leakage
- data set
- sample data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000013135 deep learning Methods 0.000 title claims abstract description 22
- 238000000034 method Methods 0.000 title claims abstract description 22
- 238000004364 calculation method Methods 0.000 title claims abstract description 14
- 239000010705 motor oil Substances 0.000 title claims description 10
- 238000013136 deep learning model Methods 0.000 claims abstract description 100
- 230000006870 function Effects 0.000 claims abstract description 38
- 238000012549 training Methods 0.000 claims abstract description 28
- 238000005520 cutting process Methods 0.000 claims abstract description 21
- 238000001514 detection method Methods 0.000 claims abstract description 18
- 239000003921 oil Substances 0.000 claims description 53
- 238000013527 convolutional neural network Methods 0.000 claims description 11
- 238000010586 diagram Methods 0.000 claims description 7
- 238000004519 manufacturing process Methods 0.000 claims description 5
- 238000013528 artificial neural network Methods 0.000 claims description 4
- 230000002159 abnormal effect Effects 0.000 claims description 3
- 238000011478 gradient descent method Methods 0.000 claims description 3
- 239000011159 matrix material Substances 0.000 claims description 3
- 230000001629 suppression Effects 0.000 claims description 3
- 238000012545 processing Methods 0.000 abstract description 3
- 238000000926 separation method Methods 0.000 abstract description 2
- 238000011161 development Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 238000009776 industrial production Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 238000005260 corrosion Methods 0.000 description 1
- 230000007797 corrosion Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000003912 environmental pollution Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 238000011179 visual inspection Methods 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Biophysics (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于深度学习的边缘计算电机油污识别方法,包含S1.制作样本数据集;S2.在Amazon SageMaker中完成深度学习模型的训练及裁剪,即在YOLOv3算法的置信度损失函数中引入Focal loss,利用损失函数来训练及修剪深度学习模型;S3.远程部署深度学习模型到搭建AWS IoT Greengrass环境的边缘设备中;S4.在边缘设备中导入实时拍摄的工业机器图片,通过深度学习模型自动识别是否发生油液渗漏并输出结果。所述油污识别方法实现了深度学习模型训练、裁剪和推理预测分离的目的,在云端训练及裁剪深度学习模型,上述剪裁后的深度学习模型适应边缘设备的资源和算力;在本地边缘设备使用深度学习模型进行油污检测,满足了油污识别数据实时处理的需求,所述深度学习模型小且精度高。
Description
技术领域
本发明属于深度学习领域,更具体地,涉及一种基于深度学习的边缘计算电机油污识别方法。
背景技术
随着工业技术的发展,机器设备已经渗透到了多种领域,在工业生产线等生产过程中得到了广泛的应用。工业机器的正常工作在工业化生产过程中起着至关重要的作用。对于以油液作为介质来减小摩擦损耗,改善运行工况的工业机器来说,油液渗漏是一种典型的重复多发性问题。油液渗漏一般由工业机器使用过程中所产生的疲劳和应力腐蚀所造成的。油液渗漏不仅会造成油液浪费、周围环境污染,还会增加生产成本、降低生产率。因此油液渗漏检测技术变得很重要。为尽量消除这些隐患,企业工厂采取一系列油液渗漏检测方法,比如目测、光学、热学等,但这些方法大都依靠人工进行,具有成本高、自动化程度低的特点,无法及时、快速、准确的检测出油液渗漏。
深度学习的概念自2006年由Hinton等人提出以来,神经网络开始快速发展,并吸引了众多研究者的注意。深度学习作为机器学习研究中的一个新的领域,利用非监督式或半监督式的特征学习和分层特征提取高效算法来替代手工获取特征,成为学术界和工业界的热点,而深度卷积神经网络也成为自动驾驶汽车、语言翻译、对象识别、医疗诊断、自动聊天、自动写作、艺术品生成、植物识别等应用的主流神经网络。但是随着智能化的发展推进,传统的将采集数据后上传到云端服务器进行电机油污识别的方式已经无法满足电机油污识别数据实时处理的需求,这就需要将用于识别电机油污的深度学习模型部署在算力和资源受限的边缘设备上,在靠近数据源的一端直接运行;然而具备高精度的深度学习模型在训练时对计算机本身的硬件设备需求较高,因此无法在算力和资源受限的边缘设备上进行深度学习模型的高精度训练,因此需要找到一种基于深度学习的边缘计算电机油污识别方法。
发明内容
为了解决上述问题,本发明提供一种基于深度学习的边缘计算电机油污识别方法,所述基于深度学习的边缘设备油污识别方法实现了深度学习模型训练、裁剪和推理预测分离的目的,在云端训练及裁剪深度学习模型,上述剪裁后的深度学习模型适应边缘设备的资源和算力;在本地边缘设备使用深度学习模型进行油污检测,满足了油污识别数据实时处理的需求,同时在利用包含了结合Focal loss的置信度损失函数的损失函数来训练及裁剪深度学习模型实现了模型小且精度高的要求。
为了实现以上目的,本发明采取的一种技术方案是:
一种基于深度学习的边缘计算电机油污识别方法,包含以下步骤:
S1:收集发生油液渗漏的工业机器图片,制作样本数据集;
S2:在Amazon SageMaker中完成深度学习模型的训练及裁剪,即在YOLOv3算法的置信度损失函数中引入Focal loss,利用损失函数来训练及修剪深度学习模型;
S3:通过亚马逊云将Amazon SageMaker中训练及裁剪后的深度学习模型远程部署到搭建AWS IoT Greengrass环境的边缘设备中;
S4:在边缘设备中导入实时拍摄的工业机器图片,通过深度学习模型自动识别是否发生油液渗漏并输出结果。
进一步地,步骤S1包括:
收集发生油液渗漏的工业机器图片,手动标注出工业机器图片发生油液渗漏的机器部位,将油液渗漏点在机器部位的位置记为其中/>是第j个油液渗漏点在第k张图片中的坐标位置,/>分别为第j个油液渗漏点在第k张图片中的宽和高,N为第k张图片中油液渗漏点的数量,制作样本数据集。
进一步地,步骤S2包含以下步骤:
S21:构建深度学习模型,在YOLOv3算法中采用Focal loss调节样本数据集中的正负样本对深度学习模型的贡献,在置信度损失函数中引入Focal loss;
S22:在Amazon SageMaker中训练深度学习模型,将样本数据集中的图片调整至416*416,将调整后的图片送入卷积神经网络,对调整后的图片分别进行32倍降采样、16倍降采样及8倍降采样,分别得到13*13、26*26和52*52三种特征图,根据三种特征图计算深度学习模型预测值和样本数据集真实值之间的损失函数值,采用反向传播算法和梯度下降方法来训练卷积神经网络直至深度学习模型收敛,从而得到检测工业机器油液渗漏的深度学习模型;
S23:在Amazon SageMaker中裁剪深度学习模型,依次对卷积神经网络中每个卷积层的各个输入通道设定一个权重系数,所述权重系数向量β计算公式如下:
其中,||.||F是F范数,N为样本数量,Xi是输入卷积核的第i个通道的数值矩阵,Wi是卷积核W的第i个通道中的滤波器权值,c为卷积核W的通道数,βi是β的第i个元素,λ是惩罚系数其初始值为0,||.||1是L1正则项;
通过逐渐增加λ调整各卷积层的输入通道权重系数向量β中零元素的数量,通过裁剪权重系数为0的通道及和通道对应的卷积核得到裁剪后的深度学习模型
利用部分样本数据集再次进入步骤S22进行训练深度学习模型直至深度学习模型收敛;
判断深度学习模型的模型大小是否达到预设的阈值,如果达到预设的阈值停止裁剪并将裁剪后的深度学习模型利用样本数据集再次进入步骤S22进行训练深度学习模型直至收敛得到最终的深度学习模型/>否则进入步骤S23进行裁剪深度学习模型。
进一步地,步骤S21中的引入Focal loss的置信度损失函数表达式如下:
其中,S2为样本数据集中图片被分割成的网格数,每个网格产生B个先验框,表示第i个网格的第j个先验框负责这个目标对象,/>表示第i个网格的第j个先验框不负责这个目标对象,/>为置信度,权重系数α=0.25,动态缩放因子γ=2。
进一步地,步骤S4包含以下步骤:
S41:在边缘设备中导入实时拍摄的工业机器图片,通过Lambda函数调用部署在边缘设备中的深度学习模型;
S42:深度学习模型中的卷积神经网络对输入的工业机器图片提取特征图并进行预测,得到所有预测框,根据置信度分值和IOU值采用非极大值抑制法去除冗余的预测框,得到最终的油液渗漏检测结果,对检测结果进行输出并对异常的图片进行报警。
本发明的技术方案相比现有技术具有以下优点:
(1)在Amazon SageMaker中完成深度学习模型的训练及裁剪,利用包含了结合Focal loss的置信度损失函数的损失函数来训练及裁剪深度学习模型,减低了深度学习模型的计算量且提高了预测精度,上述剪裁后的深度学习模型适应边缘设备的资源和算力;在本地边缘设备使用上述深度学习模型进行油污检测,边缘设备作为最接近工业机器的终端装置,可以及时、精确地对工业机器出现油液渗漏现象进行识别,并做出报警响应,提高了对工业机器油液渗漏现象的检测速度和效率、提高了自动化程度、降低了人工检测的成本;
(2)在亚马逊云端通过Amazon SageMaker对深度学习模型进行训练和优化,降低深度学习模型的计算量,提高深度学习模型在边缘设备中的推理速度。通过亚马逊云将Amazon SageMaker中训练优化后的深度学习模型远程部署到边缘设备中,实现深度学习模型训练和推理预测分离的目的,降低在现场运行环境中更新深度学习模型的人力和时间成本。
附图说明
图1为本发明一实施例中提供的基于深度学习的边缘计算电机油污识别方法对应的系统结构图;
图2为本发明一实施例中提供的的基于深度学习的边缘计算电机油污识别方法的流程图;
图3为本发明一实施例中提供的深度学习模型的训练及裁剪流程图;
图4位本发明一实施例中提供的深度学习模型的裁剪示意图;
图5为本发明一实施例中边缘设备检测流程图。
具体实施方式
以上对本发明的具体实施例进行了描述。需要理解的是,本发明并不局限于上述特定实施方式,本领域技术人员可以在权利要求的范围内做出各种变形或修改,这并不影响本发明的实质内容。
如图1所示,基于深度学习的边缘计算电机油污识别方法对应的系统包含AmazonSageMaker、亚马逊云、边缘设备和摄像头,所述Amazon SageMaker用于训练及裁剪深度学习模型,利用亚马逊云将深度学习模型部署至搭建AWS IoT Greengrass环境的边缘设备,同时所述边缘设备在亚马逊云上完成注册,边缘设备采用NVIDIA Jetson TX2开发板,所述摄像头用于实时拍摄工业机器的视频流,在边缘设备中按照固定的帧间隔抓取视频帧图片,通过Lambda函数将抓取的视频帧图片送入部署的模型进行预测推理并输出结果,所述外置摄像头采用e-con Systems See3CAM_CU135 USB网络摄像头;
如图2所示,一种基于深度学习的边缘计算电机油污识别方法,包含以下步骤:
S1:收集发生油液渗漏的工业机器图片,制作样本数据集;
S2:在Amazon SageMaker中完成深度学习模型的训练及裁剪,即在YOLOv3算法的置信度损失函数中引入Focal loss,利用损失函数来训练及修剪深度学习模型;
S3:通过亚马逊云将Amazon SageMaker中训练及裁剪后的深度学习模型远程部署到搭建AWS IoT Greengrass环境的边缘设备中;
S4:在边缘设备中导入实时拍摄的工业机器图片,通过深度学习模型自动识别是否发生油液渗漏并输出结果。
在Amazon SageMaker中完成深度学习模型的训练及裁剪,利用包含了结合Focalloss的置信度损失函数的损失函数来训练及裁剪深度学习模型,减低了深度学习模型的计算量且提高了预测精度,上述剪裁后的深度学习模型适应边缘设备的资源和算力;在本地边缘设备使用上述深度学习模型进行油污检测,边缘设备作为最接近工业机器的终端装置,可以及时、精确地对工业机器出现油液渗漏现象进行识别,提高了对工业机器油液渗漏现象的检测速度和效率、提高了自动化程度、降低了人工检测的成本;
其中,步骤S1包括:
收集发生油液渗漏的工业机器图片,手动标注出工业机器图片发生油液渗漏的机器部位,将油液渗漏点在机器部位的位置记为其中/>是第j个油液渗漏点在第k张图片中的坐标位置,/>分别为第j个油液渗漏点在第k张图片中的宽和高,N为第k张图片中油液渗漏点的数量,制作样本数据集,所述样本数据集中还包括油污类别,由于本发明中仅涉及一类油污,因此类别损失函数的取值一直为0。
步骤S2包含以下步骤:
S21:构建深度学习模型,在YOLOv3算法中采用Focal loss调节样本数据集中的正负样本对深度学习模型的贡献,在置信度损失函数中引入Focal loss;
由于在YOLOv3深度学习算法的单阶段目标检测过程中,通过卷积神经网络对训练样本数据集中每张图像提取特征,得到三种规格的特征图(13*13、26*26、52*52),特征图中每个网格都会有3种先验框,其中绝大多数的先验框内不包含任何目标,容易造成正负样本不平衡的问题;在YOLOv3深度学习算法的损失函数中引入Focal loss,通过给数量较少的正样本设置较大的权重系数,提高其对模型的贡献,相应的,数量较大的负样本权重系数较小,其对模型的贡献会相对削弱,从而适当的提高YOLOv3深度学习模型在裁剪后的精确度;
S22:在Amazon SageMaker中训练深度学习模型,将样本数据集中的图片调整至416*416,将调整后的图片送入卷积神经网络,对调整后的图片分别进行32倍降采样、16倍降采样及8倍降采样,分别得到13*13、26*26和52*52三种特征图,根据三种特征图计算深度学习模型预测值和样本数据集真实值之间的损失函数值,采用反向传播算法和梯度下降方法来训练卷积神经网络直至深度学习模型收敛,从而得到检测工业机器油液渗漏的深度学习模型;所述深度学习模型收敛可以采用设置损失度函数的最大阈值、或者采用设置训练次数观测损失度函数输出值的变化趋势进行判断;
13*13、26*26和52*52三个大小的特征图用来检测大尺寸、中尺寸以及小尺寸的油液渗漏点,其中,每种特征图对应3个先验框,共计9个先验框((10x13),(16x30),(33x23),(30x61),(62x45),(59x119),(116x90),(156x198),(373x326));损失函数包含位置损失函数、置信度损失函数及类别损失函数,每一个预测是一个(5+1)=6维向量,5表示边框坐标(x,y,宽,高)和边框置信度,1表示类别数(单类),其中边框坐标(x,y,宽,高)对应位置损失函数、类别对应类别损失函数、边框置信度对应置信度损失函数。
因此,在步骤S21中的引入Focal loss的置信度损失函数表达式如下:
其中,S2(S=13、26、52)为样本数据集中图片被分割成的网格数,每个网格产生B=3个先验框,表示第i个网格的第j个先验框负责这个目标对象,/>表示第i个网格的第j个先验框不负责这个目标对象,/>为置信度,权重系数α=0.25,动态缩放因子γ=2。
S23:在Amazon SageMaker中裁剪深度学习模型,如图3及图4所示,依次对卷积神经网络中每个卷积层的各个输入通道设定一个权重系数,所述权重系数向量β计算公式如下:
其中,||.||F是F范数,N为样本数量,Xi是输入卷积核的第i个通道的数值矩阵,Wi是卷积核W的第i个通道中的滤波器权值,c为卷积核W的通道数,βi是β的第i个元素,λ是惩罚系数其初始值为0,||.||1是L1正则项;
通过逐渐增加λ调整各卷积层的输入通道权重系数向量β中零元素的数量,通过裁剪权重系数为0的通道及和通道对应的卷积核得到裁剪后的深度学习模型如图4所示,输入特征图中虚线表示的是权重系数为零的特征图通道,相应的,卷积核中虚线标注的为该特征图通道对应的卷积核,裁剪后的输入特征图与裁剪后的卷积核计算后获得新的输出特征图集合;
利用部分样本数据集再次进入步骤S22进行训练深度学习模型直至深度学习模型收敛,本实施例中样本数据集中图片数量为636个,设置训练学习率为0.001,训练轮数epoch为300,每批次训练图片数batch_size为16,裁剪过程中选用20批样本进行微调深度学习模型;
判断深度学习模型的模型大小是否达到预设的阈值,如果达到预设的阈值停止裁剪并将裁剪后的深度学习模型利用样本数据集再次进入步骤S22进行训练深度学习模型直至收敛得到最终的深度学习模型/>否则进入步骤S23进行裁剪深度学习模型,在本实施例中选用的预设阈值为第一次训练完模型大小的50%;
进一步地,如图5所示,步骤S4包含以下步骤:
S41:在边缘设备中导入实时拍摄的工业机器图片,通过Lambda函数调用部署在边缘设备中的深度学习模型;
S42:深度学习模型中的卷积神经网络对输入的工业机器图片提取特征图并进行预测,得到所有预测框,根据置信度分值和IOU值采用非极大值抑制法去除冗余的预测框,得到最终的油液渗漏检测结果,对检测结果进行输出并对异常的图片进行报警。
以上所述仅为本申请的优选实施例而已,并不用于限制本申请,对于本领域的技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。
Claims (3)
1.一种基于深度学习的边缘计算电机油污识别方法,其特征在于,包含以下步骤:
S1:收集发生油液渗漏的工业机器图片,制作样本数据集;
S2:在Amazon SageMaker中完成深度学习模型的训练及裁剪,即在YOLOv3算法的置信度损失函数中引入Focal loss,利用损失函数来训练及修剪深度学习模型;
S3:通过亚马逊云将Amazon SageMaker中训练及裁剪后的深度学习模型远程部署到搭建AWS IoT Greengrass环境的边缘设备中;
S4:在边缘设备中导入实时拍摄的工业机器图片,通过深度学习模型自动识别是否发生油液渗漏并输出结果;
步骤S1包括:
收集发生油液渗漏的工业机器图片,手动标注出工业机器图片发生油液渗漏的机器部位,将油液渗漏点在机器部位的位置记为其中是第j个油液渗漏点在第k张图片中的坐标位置,/>分别为第j个油液渗漏点在第k张图片中的宽和高,N为第k张图片中油液渗漏点的数量,制作样本数据集;
步骤S2包含以下步骤:
S21:构建深度学习模型,在YOLOv3算法中采用Focal loss调节样本数据集中的正负样本对深度学习模型的贡献,在置信度损失函数中引入Focal loss;
S22:在Amazon SageMaker中训练深度学习模型,将样本数据集中的图片调整至416*416,将调整后的图片送入卷积神经网络,对调整后的图片分别进行32倍降采样、16倍降采样及8倍降采样,分别得到13*13、26*26和52*52三种特征图,根据三种特征图计算深度学习模型预测值和样本数据集真实值之间的损失函数值,采用反向传播算法和梯度下降方法来训练卷积神经网络直至深度学习模型收敛,从而得到检测工业机器油液渗漏的深度学习模型;
S23:在Amazon SageMaker中裁剪深度学习模型,依次对卷积神经网络中每个卷积层的各个输入通道设定一个权重系数,所述权重系数向量β计算公式如下:
其中,||.||F是F范数,N为样本数量,Xi是输入卷积核的第i个通道的数值矩阵,Wi是卷积核W的第i个通道中的滤波器权值,c为卷积核W的通道数,βi是β的第i个元素,λ是惩罚系数其初始值为0,||.||1是L1正则项;
通过逐渐增加λ调整各卷积层的输入通道权重系数向量β中零元素的数量,通过裁剪权重系数为0的通道及和通道对应的卷积核得到裁剪后的深度学习模型
利用部分样本数据集再次进入步骤S22进行训练深度学习模型直至深度学习模型收敛;
判断深度学习模型的模型大小是否达到预设的阈值,如果达到预设的阈值停止裁剪并将裁剪后的深度学习模型利用样本数据集再次进入步骤S22进行训练深度学习模型直至收敛得到最终的深度学习模型/>否则进入步骤S23进行裁剪深度学习模型。
2.根据权利要求1所述的一种基于深度学习的边缘计算电机油污识别方法,其特征在于,步骤S21中的引入Focal loss的置信度损失函数表达式如下:
其中,S2为样本数据集中图片被分割成的网格数,每个网格产生B个先验框,表示第i个网格的第j个先验框负责这个目标对象,/>表示第i个网格的第j个先验框不负责这个目标对象,/>为置信度,权重系数α=0.25,动态缩放因子γ=2。
3.根据权利要求2所述的一种基于深度学习的边缘计算电机油污识别方法,其特征在于,步骤S4包含以下步骤:
S41:在边缘设备中导入实时拍摄的工业机器图片,通过Lambda函数调用部署在边缘设备中的深度学习模型;
S42:深度学习模型中的卷积神经网络对输入的工业机器图片提取特征图并进行预测,得到所有预测框,根据置信度分值和IOU值采用非极大值抑制法去除冗余的预测框,得到最终的油液渗漏检测结果,对检测结果进行输出并对异常的图片进行报警。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110176958.6A CN112802006B (zh) | 2021-02-07 | 2021-02-07 | 一种基于深度学习的边缘计算电机油污识别方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110176958.6A CN112802006B (zh) | 2021-02-07 | 2021-02-07 | 一种基于深度学习的边缘计算电机油污识别方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112802006A CN112802006A (zh) | 2021-05-14 |
CN112802006B true CN112802006B (zh) | 2024-03-22 |
Family
ID=75814861
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110176958.6A Active CN112802006B (zh) | 2021-02-07 | 2021-02-07 | 一种基于深度学习的边缘计算电机油污识别方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112802006B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115525141A (zh) * | 2021-06-25 | 2022-12-27 | 中国科学院深圳先进技术研究院 | 一种带有ai芯片的智能交互手套及其交互方法、存储介质 |
CN114202725A (zh) * | 2021-12-07 | 2022-03-18 | 牧原食品股份有限公司 | 一种基于智能视觉的沼液外溢监视方法及系统 |
CN117076900A (zh) * | 2023-09-26 | 2023-11-17 | 腾讯科技(深圳)有限公司 | 数据处理方法、装置、设备及存储介质 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110048894A (zh) * | 2019-04-24 | 2019-07-23 | 广东省智能机器人研究院 | 一种用于油气生产的多井数据采集与智能监控方法及系统 |
CN110346093A (zh) * | 2019-06-14 | 2019-10-18 | 广西电网有限责任公司电力科学研究院 | 基于智能巡检平台的油浸式套管渗漏油检测系统及方法 |
CN111217062A (zh) * | 2020-03-12 | 2020-06-02 | 河海大学 | 一种基于边缘计算和深度学习的垃圾箱垃圾识别方法 |
WO2020181685A1 (zh) * | 2019-03-12 | 2020-09-17 | 南京邮电大学 | 一种基于深度学习的车载视频目标检测方法 |
CN112036463A (zh) * | 2020-08-26 | 2020-12-04 | 国家电网有限公司 | 一种基于深度学习的电力设备缺陷检测识别方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020180887A1 (en) * | 2019-03-04 | 2020-09-10 | Iocurrents, Inc. | Near real-time detection and classification of machine anomalies using machine learning and artificial intelligence |
-
2021
- 2021-02-07 CN CN202110176958.6A patent/CN112802006B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020181685A1 (zh) * | 2019-03-12 | 2020-09-17 | 南京邮电大学 | 一种基于深度学习的车载视频目标检测方法 |
CN110048894A (zh) * | 2019-04-24 | 2019-07-23 | 广东省智能机器人研究院 | 一种用于油气生产的多井数据采集与智能监控方法及系统 |
CN110346093A (zh) * | 2019-06-14 | 2019-10-18 | 广西电网有限责任公司电力科学研究院 | 基于智能巡检平台的油浸式套管渗漏油检测系统及方法 |
CN111217062A (zh) * | 2020-03-12 | 2020-06-02 | 河海大学 | 一种基于边缘计算和深度学习的垃圾箱垃圾识别方法 |
CN112036463A (zh) * | 2020-08-26 | 2020-12-04 | 国家电网有限公司 | 一种基于深度学习的电力设备缺陷检测识别方法 |
Non-Patent Citations (1)
Title |
---|
基于边缘计算与深度学习的输电设备异物检测方法;路艳巧等;《中国电力》;第27-33页 * |
Also Published As
Publication number | Publication date |
---|---|
CN112802006A (zh) | 2021-05-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112802006B (zh) | 一种基于深度学习的边缘计算电机油污识别方法 | |
JP6931402B2 (ja) | ディスプレイの品質検出方法、装置、電子機器及び記憶媒体 | |
CN110287849B (zh) | 一种适用于树莓派的轻量化深度网络图像目标检测方法 | |
US20200357109A1 (en) | Method for detecting display screen quality, apparatus, electronic device and storage medium | |
CN111461212B (zh) | 一种用于点云目标检测模型的压缩方法 | |
CN112365468A (zh) | 基于AA-gate-Unet的海上风电塔筒涂层缺陷检测方法 | |
CN111652853A (zh) | 一种基于深度卷积神经网络的磁粉探伤检测方法 | |
CN101140216A (zh) | 基于数字图像处理技术的气液两相流流型识别方法 | |
CN110909623B (zh) | 三维目标检测方法及三维目标检测器 | |
CN110097047B (zh) | 一种基于深度学习采用单线激光雷达的车辆检测方法 | |
CN112581386B (zh) | 一种全自动避雷器检测与跟踪方法 | |
CN111368637B (zh) | 一种基于多掩模卷积神经网络的搬运机器人识别目标方法 | |
CN115170816A (zh) | 多尺度特征提取系统、方法和风机桨叶缺陷检测方法 | |
CN113657423A (zh) | 适用于小体积零件与堆叠零件的目标检测方法及其应用 | |
Peng et al. | Non-uniform illumination image enhancement for surface damage detection of wind turbine blades | |
CN110334775B (zh) | 一种基于宽度学习的无人机线路故障识别方法和装置 | |
Diaz et al. | Fast detection of wind turbine blade damage using cascade mask r-dscnn-aided drone inspection analysis | |
TAN et al. | Research on surface defect detection technology of wind turbine blade based on UAV image | |
Yu et al. | Machine vision problem for fast recognition of surface defects of thermoelectric cooler components based on deep learning method | |
Özer et al. | Low-cost AI-based solar panel detection drone design and implementation for solar power systems | |
CN111898422A (zh) | 一种电力设备辨识方法、系统及存储介质 | |
Wu et al. | Rapid detection of defect structures in graphene by the machine learning | |
CN118115414B (zh) | 一种船舶清洗机器人用视觉检测系统 | |
CN116310999B (zh) | 一种水力发电站库区大型漂浮物检测方法 | |
Yue et al. | Slab Rotation Angles Intelligent Detection Method Based on Perspective Transformation and Boundary Fixed Point Algorithm |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |