CN113570571A - 一种工业边缘端动力电池缺陷检测方法及系统 - Google Patents

一种工业边缘端动力电池缺陷检测方法及系统 Download PDF

Info

Publication number
CN113570571A
CN113570571A CN202110852408.1A CN202110852408A CN113570571A CN 113570571 A CN113570571 A CN 113570571A CN 202110852408 A CN202110852408 A CN 202110852408A CN 113570571 A CN113570571 A CN 113570571A
Authority
CN
China
Prior art keywords
training
model
welding defect
neural network
welding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110852408.1A
Other languages
English (en)
Inventor
张力
刁涛
杨亚涛
马君显
陶凯
杨顺情
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Dade Laser Technology Co ltd
Shenzhen University
Original Assignee
Shenzhen Dade Laser Technology Co ltd
Shenzhen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Dade Laser Technology Co ltd, Shenzhen University filed Critical Shenzhen Dade Laser Technology Co ltd
Priority to CN202110852408.1A priority Critical patent/CN113570571A/zh
Publication of CN113570571A publication Critical patent/CN113570571A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/082Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Software Systems (AREA)
  • Quality & Reliability (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

本发明公开了一种工业边缘端动力电池缺陷检测方法及系统,利用工业像机,获得焊接缺陷样本,并对焊接缺陷样本进行数据处理,得到焊接缺陷工业数据集;以神经网络MobileNetV2为基础,对提取杂特征层进行剪枝,对输入通道数进行扩展,得到超轻量神经网络;通过超轻量神经网络对焊接缺陷工业数据集进行首次多轮数据训练;将具备泛化能力训练模型作为教师模型,通过知识蒸馏方法进一步训练,得到知识蒸馏学生模型;将知识蒸馏学生模型部署到具有神经计算棒的嵌入式树莓派上,应用于工业边缘端,对焊接缺陷进行实时监测;一种工业边缘端动力电池缺陷检测系统,具有较高的分类准确率与漏检率,轻量化设计适用于工业边缘端部署。

Description

一种工业边缘端动力电池缺陷检测方法及系统
技术领域
本发明涉及工业边缘端智能检测算法及系统领域,更具体地说,本发明涉及一种工业边缘端动力电池缺陷检测方法及系统。
背景技术
动力电池作为汽车生产的重要组成部分,为了防止动力电池在运行过程中遭遇挤压、碰撞而使内部压力升高引起不可预测的爆炸,动力电池需要在表面使用激光焊接上一块防爆阀。因此对动力电池防爆阀的质量的好坏直接影响动力电池的安全性能。但是自动化的激光焊接在实现了高效的生产的同时,如何对焊接质量进行高效的质检,识别缺陷类型以帮助企业分析缺陷产生的原因,从根源上降低甚至避免缺陷的产生,从而避免发生安全事故,减少经济损失,也成为了一个值得深入研究的问题。传统的人工质检虽然能够通过检测的经验积累识别出一些难以辨识的缺陷,但是其检测往往会受到人的主观经验和各种生理因素的影响,已无法适应大规模的准确检测。本发明通过基于计算机视觉的检测方法来自动检测激光焊接缺陷,具有稳定高效的特点,并通过深度模型压缩技术,结合边缘AI硬件可以满足工业边缘端的部署与高效应用,可以从根本上避免人为因素导致的检测错误;
专利号CN107610085A提出了基于分水岭算法的视觉图像检测方法来对不锈钢表面的焊接缺陷进行检测;
传统的机器视觉方法在检测上仍然存在以下问题:1.检测速度相对较慢,漏检率较高且维护成本高昂;2.容易受到采集图像的光照、颜色、曲率等变量的影响,使得最终的装配验证程序极其困难;3.难以正确区分功能缺陷和外观缺陷而导致误检。因此,如今很多的工业缺陷检测任务开始使用深度学习方法来实现并达到了突破性的效果,但是学术研究中衡量卷积神经网络的主要指标为检测准确率,设计出来的模型往往比较复杂,参数量和计算量都较大,而在工业场景上的应用往往需要把模型部署在边缘端的嵌入式设备上来解决云端计算存在的通信阻塞、实时性等问题;
因此,有必要提出一种工业边缘端动力电池缺陷检测方法及系统,以至少部分地解决现有技术中存在的问题。
发明内容
在发明内容部分中引入了一系列简化形式的概念,这将在具体实施方式部分中进一步详细说明。本发明的发明内容部分并不意味着要试图限定出所要求保护的技术方案的关键特征和必要技术特征,更不意味着试图确定所要求保护的技术方案的保护范围。
为至少部分地解决上述问题,本发明提供了一种工业边缘端动力电池缺陷检测方法,包括:
S100、利用工业像机,获得焊接缺陷样本,并对焊接缺陷样本进行数据处理,得到焊接缺陷工业数据集;
S200、以神经网络MobileNetV2为基础,贴和焊接缺陷工业数据集,对提取杂特征层进行剪枝,对输入通道数进行扩展,得到超轻量神经网络;
S300、通过超轻量神经网络对焊接缺陷工业数据集进行首次多轮数据训练,得到具备泛化能力神经网络训练模型;
S400、将具备泛化能力训练模型作为教师模型,通过知识蒸馏方法进一步训练,得到知识蒸馏学生模型;将知识蒸馏学生模型部署到具有神经计算棒的嵌入式树莓派上,应用于工业边缘端,对焊接缺陷进行实时监测。
优选的,S100包括:
S101、利用自动化的激光焊接设备中的工业像机,获得足量焊接缺陷样本,将焊接缺陷样本进行存储;
S102、将焊接缺陷样本进行分类定义,包括:分类定义焊洞焊接缺陷样本、分类定义焊高接缺陷样本、分类定义焊塌接缺陷样本、分类定义防爆阀损坏接缺陷样本、分类定义漏焊接缺陷样本以及分类定义正常焊塌样本;
S103、将焊接缺陷样本随机按设定的比例进行分集,得到得到焊接缺陷工业数据集;焊接缺陷工业数据集包括:焊接缺陷样本训练集、焊接缺陷样本验证集和焊接缺陷样本测试集。
优选的,S200包括:
S201、保留基本神经网络MobileNetV2的基本网络结构,并对用于提取复杂特征的步幅为1的层进行剪枝;
S202、对输入通道数进行扩展;数据输入过程中,根据输入数据传输速率计算所需的输入通道数,输入数据传输速率根据神经网络输出数据传输速率通过设定的输入输出传递函数进行确定;
S203、在数据传输从零初始状态到第一传输时刻,计算出输入数据传输速率所需的输入通道数,判定输入数据传输速率所需的输入通道数是否大于第一输入通道数;
S204、当计算出的输入数据传输速率所需的输入通道数不大于第一输入通道数时,则保持第一输入通道数进行输入数据传输;当计算出的输入数据传输速率所需的输入通道数大于第一输入通道数时,则扩展第二输入通道数进行输入数据扩展传输;
S205、通过对用于提取复杂特征的步幅为1的层进行剪枝以及对输入通道数进行扩展,得到超轻量神经网络。
优选的,S300包括:
S301、通过超轻量神经网络在对焊接缺陷工业数据集的焊接缺陷样本训练集上进行首次的多轮训练,每轮训练后使用焊接缺陷样本验证集进行验证;
S302、根据焊接缺陷样本验证集验证结果,判定焊接缺陷样本训练集与焊接缺陷样本验证集的准确率与损失度是否符合设定准确率和设定损失度;如焊接缺陷样本训练集与焊接缺陷样本验证集的准确率与损失度不符合设定准确率和设定损失度,则继续进行训练;如焊接缺陷样本训练集与焊接缺陷样本验证集的准确率与损失度符合设定准确率和设定损失度,则训练结束;
S303、训练结束后神经网络模型不出现过拟合或欠拟合情况,具备泛化能力,得到具备泛化能力神经网络训练模型。
优选的,S400包括:
S401、引入知识蒸馏方法,以首次训练得到的具备泛化能力神经网络训练模型作为教师模型再度训练;对所述具备泛化能力神经网络训练模型教师模型对应的软目标通过教师模型交叉损失函数进行迭代处理,获得再度训练教师模型;
S402、根据再度训练教师模型,通过知识蒸馏再度训练;基于所述具备泛化能力神经网络训练模型建立强化训练学生模型,利用所述强化训练学生模型通过强化训练学生模型硬目标确定通过学生模型交叉损失函数和通过教师模型交叉损失函数进行综合迭代计算,获得知识蒸馏模型最终损失函数,得到知识蒸馏学生模型;
S403、将通过知识蒸馏训练得到的知识蒸馏学生模型进行保存,并转化格式能够与openvino工具包相结合;将知识蒸馏学生模型部署到具有神经计算棒的嵌入式树莓派上,组成结合边缘AI设备与卷积神经网络的动力电池焊接缺陷实时检测系统,应用于工业边缘端,并对动力电池防爆阀焊接缺陷进行实时检测。
一种工业边缘端动力电池缺陷检测系统,包括:
焊接缺陷工业数据分系统,用于利用工业像机,获得焊接缺陷样本,并对焊接缺陷样本进行数据处理,得到焊接缺陷工业数据集;
超轻量神经网络分系统,用于以神经网络MobileNetV2为基础,贴和焊接缺陷工业数据集,对提取杂特征层进行剪枝,对输入通道数进行扩展,得到超轻量神经网络;
泛化神经网络训练分系统,通过超轻量神经网络对焊接缺陷工业数据集进行首次多轮数据训练,得到具备泛化能力神经网络训练模型;
知识蒸馏缺陷监测分系统,将具备泛化能力训练模型作为教师模型,通过知识蒸馏方法进一步训练,得到知识蒸馏学生模型;将知识蒸馏学生模型部署到具有神经计算棒的嵌入式树莓派上,应用于工业边缘端,对焊接缺陷进行实时监测。
优选的,所述焊接缺陷工业数据分系统,包括:
工业数据采集存储子系统,用于利用自动化的激光焊接设备中的工业像机,获得足量焊接缺陷样本,将焊接缺陷样本进行存储;
焊接缺陷样本分类子系统,用于将焊接缺陷样本进行分类定义,包括:分类定义焊洞焊接缺陷样本、分类定义焊高接缺陷样本、分类定义焊塌接缺陷样本、分类定义防爆阀损坏接缺陷样本、分类定义漏焊接缺陷样本以及分类定义正常焊塌样本;
焊接缺陷样本分集子系统,用于将焊接缺陷样本随机按设定的比例进行分集,得到得到焊接缺陷工业数据集;焊接缺陷工业数据集包括:焊接缺陷样本训练集、焊接缺陷样本验证集和焊接缺陷样本测试集。
优选的,所述超轻量神经网络分系统,包括:
基本网络结构剪枝子系统,用于通过保留基本神经网络MobileNetV2的基本网络结构,并对用于提取复杂特征的步幅为1的层进行剪枝;
输入通道扩展子系统,用于对输入通道数进行扩展;数据输入过程中,根据输入数据传输速率计算所需的输入通道数,输入数据传输速率根据神经网络输出数据传输速率通过设定的输入输出传递函数进行确定;
数据传输状态计算子系统,用于在数据传输从零初始状态到第一传输时刻,计算出输入数据传输速率所需的输入通道数,判定输入数据传输速率所需的输入通道数是否大于第一输入通道数;
数据传输状态判定子系统,用于当计算出的输入数据传输速率所需的输入通道数不大于第一输入通道数时,则保持第一输入通道数进行输入数据传输;当计算出的输入数据传输速率所需的输入通道数大于第一输入通道数时,则扩展第二输入通道数进行输入数据扩展传输;
超轻量神经网络模型子系统,通过对用于提取复杂特征的步幅为1的层进行剪枝以及对输入通道数进行扩展,得到超轻量神经网络。
优选的,所述泛化神经网络训练分系统,包括:
神经网络训练验证子系统,用于通过超轻量神经网络在对焊接缺陷工业数据集的焊接缺陷样本训练集上进行首次的多轮训练,每轮训练后使用焊接缺陷样本验证集进行验证;
神经网络训练判定子系统,用于根据焊接缺陷样本验证集验证结果,判定焊接缺陷样本训练集与焊接缺陷样本验证集的准确率与损失度是否符合设定准确率和设定损失度;如焊接缺陷样本训练集与焊接缺陷样本验证集的准确率与损失度不符合设定准确率和设定损失度,则继续进行训练;如焊接缺陷样本训练集与焊接缺陷样本验证集的准确率与损失度符合设定准确率和设定损失度,则训练结束;
泛化训练模型子系统,用于在训练结束后神经网络模型不出现过拟合或欠拟合情况,具备泛化能力,得到具备泛化能力神经网络训练模型。
优选的,所述知识蒸馏缺陷监测分系统,包括:
知识蒸馏教师模型子系统,通过引入知识蒸馏方法,以首次训练得到的具备泛化能力神经网络训练模型作为教师模型再度训练;对所述具备泛化能力神经网络训练模型教师模型对应的软目标通过教师模型交叉损失函数进行迭代处理,获得再度训练教师模型;
知识蒸馏学生模型子系统,根据再度训练教师模型,通过知识蒸馏再度训练;基于所述具备泛化能力神经网络训练模型建立强化训练学生模型,利用所述强化训练学生模型通过强化训练学生模型硬目标确定通过学生模型交叉损失函数和通过教师模型交叉损失函数进行综合迭代计算,获得知识蒸馏模型最终损失函数,得到知识蒸馏学生模型;
智能模型工业边缘应用检测子系统,用于将通过知识蒸馏训练得到的知识蒸馏学生模型进行保存,并转化格式能够与openvino工具包相结合;将知识蒸馏学生模型部署到具有神经计算棒的嵌入式树莓派上,组成结合边缘AI设备与卷积神经网络的动力电池焊接缺陷实时检测系统,应用于工业边缘端,并对动力电池防爆阀焊接缺陷进行实时检测。
相比现有技术,本发明至少包括以下有益效果:
利用工业像机进行大量工业摄像拍摄,获得焊接缺陷样本,并对焊接缺陷样本进行数据处理,得到焊接缺陷工业数据集;对焊接缺陷样本进行数据处理包括:数据分类定义,数据比例分集;以神经网络MobileNetV2为基础,贴和焊接缺陷工业数据集,对提取杂特征层进行剪枝,对输入通道数进行扩展,得到超轻量神经网络;神经网络MobileNetV2是轻量神经网络的一种创新改进模型,先压缩后扩张,避免对特征的破坏;通过超轻量神经网络对焊接缺陷工业数据集进行首次多轮数据训练,得到具备泛化能力神经网络训练模型;将具备泛化能力训练模型作为教师模型,通过知识蒸馏方法进一步训练,得到知识蒸馏学生模型;将知识蒸馏学生模型部署到具有神经计算棒的嵌入式树莓派上,应用于工业边缘端,对焊接缺陷进行实时监测;
本发明改进了MobilenetV2网络结构使其适用于焊接缺陷分类,使算法具备优良的分类准确率,同时引入知识蒸馏方法,对模型损失函数进行监督,进一步提高分类精度,最后结合Openvino工具包与神经计算棒在边缘端进行工业部署,大大提高算法推断识别图片的速度;可以实现自动化提取特征并实时检测缺陷,具有较高的分类准确率与漏检率,轻量化的模型设计结合深度压缩技术并且有效结合边缘AI硬件使本发明适用于工业边缘端部署;可以使用不同模型作为教师模型来指导最终的轻量化模型训练,以调节最终模型权重;模型的输入通道与卷积核数目可以根据实际需求进行改变;基于深度神经网络,在保证现有神经网络模型性能不变的情况下,利用深度模型压缩技术,有效减小神经网络模型的计算量和存储空间,使其能够在资源受限的嵌入式设备上高效地部署;该方法不仅能有效克服传统机器视觉中准确率低、维护成本高昂等问题,还能将检测算法部署到工业边缘端,提高实时性与灵活性,满足工业应用。
本发明所述的一种工业边缘端动力电池缺陷检测方法及系统,本发明的其它优点、目标和特征将部分通过下面的说明体现,部分还将通过对本发明的研究和实践而为本领域的技术人员所理解。
附图说明
附图用来提供对本发明的进一步理解,并且构成说明书的一部分,与本发明的实施例一起用于解释本发明,并不构成对本发明的限制。在附图中:
图1为本发明所述的一种工业边缘端动力电池缺陷检测方法步骤图。
图2为本发明所述的一种工业边缘端动力电池缺陷检测方法及系统知识蒸馏模型图。
图3为本发明所述的一种工业边缘端动力电池缺陷检测方法及系统样本图。
图4为本发明所述的一种工业边缘端动力电池缺陷检测方法及系统超轻量神经网络图。
图5为本发明所述的一种工业边缘端动力电池缺陷检测系统图。
具体实施方式
下面结合附图以及实施例对本发明做进一步的详细说明,以令本领域技术人员参照说明书文字能够据以实施。
如图1-4所示,本发明提供了一种工业边缘端动力电池缺陷检测方法,包括:
S100、利用工业像机,获得焊接缺陷样本,并对焊接缺陷样本进行数据处理,得到焊接缺陷工业数据集;
S200、以神经网络MobileNetV2为基础,贴和焊接缺陷工业数据集,对提取杂特征层进行剪枝,对输入通道数进行扩展,得到超轻量神经网络;
S300、通过超轻量神经网络对焊接缺陷工业数据集进行首次多轮数据训练,得到具备泛化能力神经网络训练模型;
S400、将具备泛化能力训练模型作为教师模型,通过知识蒸馏方法进一步训练,得到知识蒸馏学生模型;将知识蒸馏学生模型部署到具有神经计算棒的嵌入式树莓派上,应用于工业边缘端,对焊接缺陷进行实时监测。
上述技术方案的工作原理为:利用工业像机进行大量工业摄像拍摄,获得焊接缺陷样本,并对焊接缺陷样本进行数据处理,得到焊接缺陷工业数据集;对焊接缺陷样本进行数据处理包括:数据分类定义,数据比例分集;以神经网络MobileNetV2为基础,贴和焊接缺陷工业数据集,对提取杂特征层进行剪枝,对输入通道数进行扩展,得到超轻量神经网络;神经网络MobileNetV2是轻量神经网络的一种创新改进模型,先压缩后扩张,避免对特征的破坏;通过超轻量神经网络对焊接缺陷工业数据集进行首次多轮数据训练,得到具备泛化能力神经网络训练模型;将具备泛化能力训练模型作为教师模型,通过知识蒸馏方法进一步训练,得到知识蒸馏学生模型;将知识蒸馏学生模型部署到具有神经计算棒的嵌入式树莓派上,应用于工业边缘端,对焊接缺陷进行实时监测。
上述技术方案的有益效果为:利用工业像机进行大量工业摄像拍摄,获得焊接缺陷样本,并对焊接缺陷样本进行数据处理,得到焊接缺陷工业数据集;对焊接缺陷样本进行数据处理包括:数据分类定义,数据比例分集;以神经网络MobileNetV2为基础,贴和焊接缺陷工业数据集,对提取杂特征层进行剪枝,对输入通道数进行扩展,得到超轻量神经网络;神经网络MobileNetV2是轻量神经网络的一种创新改进模型,先压缩后扩张,避免对特征的破坏;通过超轻量神经网络对焊接缺陷工业数据集进行首次多轮数据训练,得到具备泛化能力神经网络训练模型;将具备泛化能力训练模型作为教师模型,通过知识蒸馏方法进一步训练,得到知识蒸馏学生模型;将知识蒸馏学生模型部署到具有神经计算棒的嵌入式树莓派上,应用于工业边缘端,对焊接缺陷进行实时监测;
本发明改进了MobilenetV2网络结构使其适用于焊接缺陷分类,使算法具备优良的分类准确率,同时引入知识蒸馏方法,对模型损失函数进行监督,进一步提高分类精度,最后结合Openvino工具包与神经计算棒在边缘端进行工业部署,大大提高算法推断识别图片的速度;可以实现自动化提取特征并实时检测缺陷,具有较高的分类准确率与漏检率,轻量化的模型设计结合深度压缩技术并且有效结合边缘AI硬件使本发明适用于工业边缘端部署;可以使用不同模型作为教师模型来指导最终的轻量化模型训练,以调节最终模型权重;模型的输入通道与卷积核数目可以根据实际需求进行改变;基于深度神经网络,在保证现有神经网络模型性能不变的情况下,利用深度模型压缩技术,有效减小神经网络模型的计算量和存储空间,使其能够在资源受限的嵌入式设备上高效地部署;该方法不仅能有效克服传统机器视觉中准确率低、维护成本高昂等问题,还能将检测算法部署到工业边缘端,提高实时性与灵活性,满足工业应用。
在一个实施例中,S100包括:
S101、利用自动化的激光焊接设备中的工业像机,获得足量焊接缺陷样本,将焊接缺陷样本进行存储;
S102、将焊接缺陷样本进行分类定义,包括:分类定义焊洞焊接缺陷样本、分类定义焊高接缺陷样本、分类定义焊塌接缺陷样本、分类定义防爆阀损坏接缺陷样本、分类定义漏焊接缺陷样本以及分类定义正常焊塌样本;
S103、将焊接缺陷样本随机按设定的比例进行分集,得到得到焊接缺陷工业数据集;焊接缺陷工业数据集包括:焊接缺陷样本训练集、焊接缺陷样本验证集和焊接缺陷样本测试集。
上述技术方案的工作原理为:通过自动化的激光焊接设备中的工业像机,获得足量焊接缺陷样本,将焊接缺陷样本进行存储;足量焊接缺陷样本包括:4万张焊接缺陷样本图像;将焊接缺陷样本进行分类定义,包括:分类定义焊洞焊接缺陷样本、分类定义焊高接缺陷样本、分类定义焊塌接缺陷样本、分类定义防爆阀损坏接缺陷样本、分类定义漏焊接缺陷样本以及分类定义正常焊塌样本;将焊接缺陷样本随机按设定的比例进行分集,得到得到焊接缺陷工业数据集;分集比例为8:1:1;焊接缺陷工业数据集包括:焊接缺陷样本训练集、焊接缺陷样本验证集和焊接缺陷样本测试集;整体过程原理为:制作焊接缺陷数据集,利用自动化的激光焊接设备中的工业像机,获得了约4万张焊接缺陷样本,将缺陷定义为6类,再将缺陷样本随机按比例8:1:1分为训练集,验证集,测试集。
上述技术方案的有益效果为:通过自动化的激光焊接设备中的工业像机,获得足量焊接缺陷样本,将焊接缺陷样本进行存储;足量焊接缺陷样本包括:4万张焊接缺陷样本图像;将焊接缺陷样本进行分类定义,包括:分类定义焊洞焊接缺陷样本、分类定义焊高接缺陷样本、分类定义焊塌接缺陷样本、分类定义防爆阀损坏接缺陷样本、分类定义漏焊接缺陷样本以及分类定义正常焊塌样本;将焊接缺陷样本随机按设定的比例进行分集,得到得到焊接缺陷工业数据集;分集比例为8:1:1;焊接缺陷工业数据集包括:焊接缺陷样本训练集、焊接缺陷样本验证集和焊接缺陷样本测试集;整体过程原理为:制作焊接缺陷数据集,利用自动化的激光焊接设备中的工业像机,获得了约4万张焊接缺陷样本,将缺陷定义为6类,再将缺陷样本随机按比例8:1:1分为训练集,验证集,测试集;可以实现自动化获取图像,提取特征并实时检测缺陷,具有较高的分类准确率与漏检率,使其能够在资源受限的嵌入式设备上高效地部署。
在一个实施例中,S200包括:
S201、保留基本神经网络MobileNetV2的基本网络结构,并对用于提取复杂特征的步幅为1的层进行剪枝;
S202、对输入通道数进行扩展;数据输入过程中,根据输入数据传输速率计算所需的输入通道数,输入数据传输速率根据神经网络输出数据传输速率通过设定的输入输出传递函数进行确定;
S203、在数据传输从零初始状态到第一传输时刻,计算出输入数据传输速率所需的输入通道数,判定输入数据传输速率所需的输入通道数是否大于第一输入通道数;
S204、当计算出的输入数据传输速率所需的输入通道数不大于第一输入通道数时,则保持第一输入通道数进行输入数据传输;当计算出的输入数据传输速率所需的输入通道数大于第一输入通道数时,则扩展第二输入通道数进行输入数据扩展传输;
S205、通过对用于提取复杂特征的步幅为1的层进行剪枝以及对输入通道数进行扩展,得到超轻量神经网络;
输入数据传输速率计算公式如下:
Vsdc=Nsdk×log2(1+Pxh/Wpj)
其中,Vsdc表示输入数据传输速率,Nsdk表示输入数据传输的带宽,Pxh是输入数据信号功率,Wpj是输入数据噪声功率;当输入数据传输的带宽Nsdk=128Mbit/s,输入数据信号功率和输入数据噪声功率之比Pxh/Wpj=1023,则输入数据传输速率计算结果为:
Wpj=128Mbits/s×log2(1+1023)=1280Mbits/s
在保留神经网络MobileNetV2基本网络结构的前提下,对一些用于提取复杂特征的步幅为1的层进行剪枝,此外为了提升精度,对输入通道数进行扩展,可以从32通道扩展到64通道;并能通过智能运算检测,实现自动扩展;如果第一输入通道数的最大穿输速率是800Mbits/s,当输入数据传输速率为1280Mbits/s时,则扩展第二输入通道数进行输入数据扩展传输;最终得到更加轻量化且更贴合本工业数据集的神经网络。
上述技术方案的工作原理为:通过保留基本神经网络MobileNetV2的基本网络结构,并对用于提取复杂特征的步幅为1的层进行剪枝;通过对步幅为1的层神经网络剪枝,舍去对输出数据结果贡献度较小的神经元;对输入通道数进行扩展;数据输入过程中,根据输入数据传输速率计算所需的输入通道数,输入数据传输速率根据神经网络输出数据传输速率通过设定的输入输出传递函数进行确定;在数据传输从零初始状态到第一传输时刻,计算出输入数据传输速率所需的输入通道数,判定输入数据传输速率所需的输入通道数是否大于第一输入通道数;当计算出的输入数据传输速率所需的输入通道数不大于第一输入通道数时,则保持第一输入通道数进行输入数据传输;当计算出的输入数据传输速率所需的输入通道数大于第一输入通道数时,则扩展第二输入通道数进行输入数据扩展传输;通过对用于提取复杂特征的步幅为1的层进行剪枝以及对输入通道数进行扩展,得到超轻量神经网络;以适用于移动端的神经网络MobileNetV2为基础,进行改进;
输入数据传输速率计算公式如下:
Vsdc=Nsdk×log2(1+Pxh/Wpj)
其中,Vsdc表示输入数据传输速率,Nsdk表示输入数据传输的带宽,Pxh是输入数据信号功率,Wpj是输入数据噪声功率;当输入数据传输的带宽Nsdk=128Mbit/s,输入数据信号功率和输入数据噪声功率之比Pxh/Wpj=1023,则输入数据传输速率计算结果为:
Wpj=128Mbits/s×log2(1+1023)=1280Mbits/s
在保留神经网络MobileNetV2基本网络结构的前提下,对一些用于提取复杂特征的步幅为1的层进行剪枝,此外为了提升精度,对输入通道数进行扩展,可以从32通道扩展到64通道;并能通过智能运算检测,实现自动扩展;如果第一输入通道数的最大穿输速率是800Mbits/s,当输入数据传输速率为1280Mbits/s时,则扩展第二输入通道数进行输入数据扩展传输;最终得到更加轻量化且更贴合本工业数据集的神经网络。
上述技术方案的有益效果为:通过保留基本神经网络MobileNetV2的基本网络结构,并对用于提取复杂特征的步幅为1的层进行剪枝;通过对步幅为1的层神经网络剪枝,舍去对输出数据结果贡献度较小的神经元;对输入通道数进行扩展;数据输入过程中,根据输入数据传输速率计算所需的输入通道数,输入数据传输速率根据神经网络输出数据传输速率通过设定的输入输出传递函数进行确定;在数据传输从零初始状态到第一传输时刻,计算出输入数据传输速率所需的输入通道数,判定输入数据传输速率所需的输入通道数是否大于第一输入通道数;当计算出的输入数据传输速率所需的输入通道数不大于第一输入通道数时,则保持第一输入通道数进行输入数据传输;当计算出的输入数据传输速率所需的输入通道数大于第一输入通道数时,则扩展第二输入通道数进行输入数据扩展传输;通过对用于提取复杂特征的步幅为1的层进行剪枝以及对输入通道数进行扩展,得到超轻量神经网络;以适用于移动端的神经网络MobileNetV2为基础,进行改进;在保留神经网络MobileNetV2基本网络结构的前提下,对一些用于提取复杂特征的步幅为1的层进行剪枝,此外为了提升精度,对输入通道数进行扩展,可以从32通道扩展到64通道;并能通过智能运算检测,实现自动扩展;最终得到更加轻量化且更贴合本工业数据集的神经网络;改进了MobilenetV2网络结构使其适用于焊接缺陷分类,使算法具备优良的分类准确率;轻量化的模型设计结合深度压缩技术并且有效结合边缘AI硬件使本发明适用于工业边缘端部署。
在一个实施例中,S300包括:
S301、通过超轻量神经网络在对焊接缺陷工业数据集的焊接缺陷样本训练集上进行首次的多轮训练,每轮训练后使用焊接缺陷样本验证集进行验证;
S302、根据焊接缺陷样本验证集验证结果,判定焊接缺陷样本训练集与焊接缺陷样本验证集的准确率与损失度是否符合设定准确率和设定损失度;如焊接缺陷样本训练集与焊接缺陷样本验证集的准确率与损失度不符合设定准确率和设定损失度,则继续进行训练;如焊接缺陷样本训练集与焊接缺陷样本验证集的准确率与损失度符合设定准确率和设定损失度,则训练结束;
S303、训练结束后神经网络模型不出现过拟合或欠拟合情况,具备泛化能力,得到具备泛化能力神经网络训练模型。
上述技术方案的工作原理为:将改进后的神经网络在划分出的训练集上进行首次的多轮训练,每轮训练后使用验证集进行验证,来确定训练效果;直至训练集与验证集的准确率与损失结果相近,表明模型没有出现过拟合或者欠拟合的情况,具备泛化能力;通过超轻量神经网络在对焊接缺陷工业数据集的焊接缺陷样本训练集上进行首次的多轮训练,每轮训练后使用焊接缺陷样本验证集进行验证;根据焊接缺陷样本验证集验证结果,判定焊接缺陷样本训练集与焊接缺陷样本验证集的准确率与损失度是否符合设定准确率和设定损失度;如焊接缺陷样本训练集与焊接缺陷样本验证集的准确率与损失度不符合设定准确率和设定损失度,则继续进行训练;如焊接缺陷样本训练集与焊接缺陷样本验证集的准确率与损失度符合设定准确率和设定损失度,则训练结束;训练结束后神经网络模型不出现过拟合或欠拟合情况,具备泛化能力,得到具备泛化能力神经网络训练模型。
上述技术方案的有益效果为:通过超轻量神经网络在对焊接缺陷工业数据集的焊接缺陷样本训练集上进行首次的多轮训练,每轮训练后使用焊接缺陷样本验证集进行验证;根据焊接缺陷样本验证集验证结果,判定焊接缺陷样本训练集与焊接缺陷样本验证集的准确率与损失度是否符合设定准确率和设定损失度;如焊接缺陷样本训练集与焊接缺陷样本验证集的准确率与损失度不符合设定准确率和设定损失度,则继续进行训练;如焊接缺陷样本训练集与焊接缺陷样本验证集的准确率与损失度符合设定准确率和设定损失度,则训练结束;训练结束后神经网络模型不出现过拟合或欠拟合情况,具备泛化能力,得到具备泛化能力神经网络训练模型;将改进后的神经网络在划分出的训练集上进行首次的多轮训练,每轮训练后使用验证集进行验证,来确定训练效果;直至训练集与验证集的准确率与损失结果相近,模型将不会出现过拟合或者欠拟合的情况具备泛化能力。
在一个实施例中,S400包括:
S401、引入知识蒸馏方法,以首次训练得到的具备泛化能力神经网络训练模型作为教师模型再度训练;对所述具备泛化能力神经网络训练模型教师模型对应的软目标通过教师模型交叉损失函数进行迭代处理,获得再度训练教师模型;
S402、根据再度训练教师模型,通过知识蒸馏再度训练;基于所述具备泛化能力神经网络训练模型建立强化训练学生模型,利用所述强化训练学生模型通过强化训练学生模型硬目标确定通过学生模型交叉损失函数和通过教师模型交叉损失函数进行综合迭代计算,获得知识蒸馏模型最终损失函数,得到知识蒸馏学生模型;
S403、将通过知识蒸馏训练得到的知识蒸馏学生模型进行保存,并转化格式能够与openvino工具包相结合;将知识蒸馏学生模型部署到具有神经计算棒的嵌入式树莓派上,组成结合边缘AI设备与卷积神经网络的动力电池焊接缺陷实时检测系统,应用于工业边缘端,并对动力电池防爆阀焊接缺陷进行实时检测。
上述技术方案的工作原理为:引入知识蒸馏方法,以首次训练得到的具备泛化能力神经网络训练模型作为教师模型再度训练;对所述具备泛化能力神经网络训练模型教师模型对应的软目标通过教师模型交叉损失函数进行迭代处理,获得再度训练教师模型;根据再度训练教师模型,通过知识蒸馏再度训练,获得知识蒸馏学生模型;基于所述具备泛化能力神经网络训练模型建立强化训练学生模型,利用所述强化训练学生模型通过强化训练学生模型硬目标确定通过学生模型交叉损失函数和通过教师模型交叉损失函数进行综合迭代计算,获得知识蒸馏模型最终损失函数,得到知识蒸馏学生模型;将通过知识蒸馏训练得到的知识蒸馏学生模型进行保存,并转化格式能够与openvino工具包相结合;将知识蒸馏学生模型部署到具有神经计算棒的嵌入式树莓派上,组成结合边缘AI设备与卷积神经网络的动力电池焊接缺陷实时检测系统,应用于工业边缘端,并对动力电池防爆阀焊接缺陷进行实时检测;引入知识蒸馏方法以首次训练得到的模型作为教师模型再度训练,最终得到一个准确率相比第一次训练更高的学生模型;将最终训练得到的模型进行保存,并转化格式,结合openvino工具包,将神经网络模型部署到插入了英特尔的神经计算棒的嵌入式设备树莓派上,实现对焊接缺陷的实时监测。
上述技术方案的有益效果为:引入知识蒸馏方法,以首次训练得到的具备泛化能力神经网络训练模型作为教师模型再度训练;对所述具备泛化能力神经网络训练模型教师模型对应的软目标通过教师模型交叉损失函数进行迭代处理,获得再度训练教师模型;根据再度训练教师模型,通过知识蒸馏再度训练,获得知识蒸馏学生模型;基于所述具备泛化能力神经网络训练模型建立强化训练学生模型,利用所述强化训练学生模型通过强化训练学生模型硬目标确定通过学生模型交叉损失函数和通过教师模型交叉损失函数进行综合迭代计算,获得知识蒸馏模型最终损失函数,得到知识蒸馏学生模型;将通过知识蒸馏训练得到的知识蒸馏学生模型进行保存,并转化格式能够与openvino工具包相结合;将知识蒸馏学生模型部署到具有神经计算棒的嵌入式树莓派上,组成结合边缘AI设备与卷积神经网络的动力电池焊接缺陷实时检测系统,应用于工业边缘端,并对动力电池防爆阀焊接缺陷进行实时检测;引入知识蒸馏方法以首次训练得到的模型作为教师模型再度训练,最终得到一个准确率相比第一次训练更高的学生模型;将最终训练得到的模型进行保存,并转化格式,结合openvino工具包,将神经网络模型部署到插入了英特尔的神经计算棒的嵌入式设备树莓派上,实现对焊接缺陷的实时监测;可对模型损失函数进行监督,进一步提高分类精度,最后结合Openvino工具包与神经计算棒在边缘端进行工业部署,大大提高算法推断识别图片的速度;可以实现自动化提取特征并实时检测缺陷,具有较高的分类准确率与漏检率,轻量化的模型设计结合深度压缩技术并且有效结合边缘AI硬件使本发明适用于工业边缘端部署;可以使用不同模型作为教师模型来指导最终的轻量化模型训练,以调节最终模型权重;模型的输入通道与卷积核数目可以根据实际需求进行改变;基于深度神经网络,在保证现有神经网络模型性能不变的情况下,利用深度模型压缩技术,有效减小神经网络模型的计算量和存储空间,使其能够在资源受限的嵌入式设备上高效地部署;该方法不仅能有效克服传统机器视觉中准确率低、维护成本高昂等问题,还能将检测算法部署到工业边缘端,提高实时性与灵活性,满足工业应用。
如图5所示,本发明提供了一种工业边缘端动力电池缺陷检测系统,包括:
焊接缺陷工业数据分系统,用于利用工业像机,获得焊接缺陷样本,并对焊接缺陷样本进行数据处理,得到焊接缺陷工业数据集;
超轻量神经网络分系统,用于以神经网络MobileNetV2为基础,贴和焊接缺陷工业数据集,对提取杂特征层进行剪枝,对输入通道数进行扩展,得到超轻量神经网络;
泛化神经网络训练分系统,通过超轻量神经网络对焊接缺陷工业数据集进行首次多轮数据训练,得到具备泛化能力神经网络训练模型;
知识蒸馏缺陷监测分系统,将具备泛化能力训练模型作为教师模型,通过知识蒸馏方法进一步训练,得到知识蒸馏学生模型;将知识蒸馏学生模型部署到具有神经计算棒的嵌入式树莓派上,应用于工业边缘端,对焊接缺陷进行实时监测。
上述技术方案的工作原理为:利用工业像机进行大量工业摄像拍摄,获得焊接缺陷样本,并对焊接缺陷样本进行数据处理,得到焊接缺陷工业数据集;对焊接缺陷样本进行数据处理包括:数据分类定义,数据比例分集;以神经网络MobileNetV2为基础,贴和焊接缺陷工业数据集,对提取杂特征层进行剪枝,对输入通道数进行扩展,得到超轻量神经网络;神经网络MobileNetV2是轻量神经网络的一种创新改进模型,先压缩后扩张,避免对特征的破坏;通过超轻量神经网络对焊接缺陷工业数据集进行首次多轮数据训练,得到具备泛化能力神经网络训练模型;将具备泛化能力训练模型作为教师模型,通过知识蒸馏方法进一步训练,得到知识蒸馏学生模型;将知识蒸馏学生模型部署到具有神经计算棒的嵌入式树莓派上,应用于工业边缘端,对焊接缺陷进行实时监测。
上述技术方案的有益效果为:
利用工业像机进行大量工业摄像拍摄,获得焊接缺陷样本,并对焊接缺陷样本进行数据处理,得到焊接缺陷工业数据集;对焊接缺陷样本进行数据处理包括:数据分类定义,数据比例分集;以神经网络MobileNetV2为基础,贴和焊接缺陷工业数据集,对提取杂特征层进行剪枝,对输入通道数进行扩展,得到超轻量神经网络;神经网络MobileNetV2是轻量神经网络的一种创新改进模型,先压缩后扩张,避免对特征的破坏;通过超轻量神经网络对焊接缺陷工业数据集进行首次多轮数据训练,得到具备泛化能力神经网络训练模型;将具备泛化能力训练模型作为教师模型,通过知识蒸馏方法进一步训练,得到知识蒸馏学生模型;将知识蒸馏学生模型部署到具有神经计算棒的嵌入式树莓派上,应用于工业边缘端,对焊接缺陷进行实时监测;
本发明改进了MobilenetV2网络结构使其适用于焊接缺陷分类,使算法具备优良的分类准确率,同时引入知识蒸馏方法,对模型损失函数进行监督,进一步提高分类精度,最后结合Openvino工具包与神经计算棒在边缘端进行工业部署,大大提高算法推断识别图片的速度;可以实现自动化提取特征并实时检测缺陷,具有较高的分类准确率与漏检率,轻量化的模型设计结合深度压缩技术并且有效结合边缘AI硬件使本发明适用于工业边缘端部署;可以使用不同模型作为教师模型来指导最终的轻量化模型训练,以调节最终模型权重;模型的输入通道与卷积核数目可以根据实际需求进行改变;基于深度神经网络,在保证现有神经网络模型性能不变的情况下,利用深度模型压缩技术,有效减小神经网络模型的计算量和存储空间,使其能够在资源受限的嵌入式设备上高效地部署;该方法不仅能有效克服传统机器视觉中准确率低、维护成本高昂等问题,还能将检测算法部署到工业边缘端,提高实时性与灵活性,满足工业应用。
在一个实施例中,所述焊接缺陷工业数据分系统,包括:
工业数据采集存储子系统,用于利用自动化的激光焊接设备中的工业像机,获得足量焊接缺陷样本,将焊接缺陷样本进行存储;
焊接缺陷样本分类子系统,用于将焊接缺陷样本进行分类定义,包括:分类定义焊洞焊接缺陷样本、分类定义焊高接缺陷样本、分类定义焊塌接缺陷样本、分类定义防爆阀损坏接缺陷样本、分类定义漏焊接缺陷样本以及分类定义正常焊塌样本;
焊接缺陷样本分集子系统,用于将焊接缺陷样本随机按设定的比例进行分集,得到得到焊接缺陷工业数据集;焊接缺陷工业数据集包括:焊接缺陷样本训练集、焊接缺陷样本验证集和焊接缺陷样本测试集。
上述技术方案的工作原理为:通过自动化的激光焊接设备中的工业像机,获得足量焊接缺陷样本,将焊接缺陷样本进行分类定义;足量焊接缺陷样本包括:4万张焊接缺陷样本图像;将焊接缺陷样本进行分类定义包括:分类定义焊洞焊接缺陷样本、分类定义焊高接缺陷样本、分类定义焊塌接缺陷样本、分类定义防爆阀损坏接缺陷样本、分类定义漏焊接缺陷样本以及分类定义正常焊塌样本;将焊接缺陷样本随机按设定的比例进行分集,得到得到焊接缺陷工业数据集;分集比例为8:1:1;焊接缺陷工业数据集包括:焊接缺陷样本训练集、焊接缺陷样本验证集和焊接缺陷样本测试集;整体过程原理为:制作焊接缺陷数据集,利用自动化的激光焊接设备中的工业像机,获得了约4万张焊接缺陷样本,将缺陷定义为6类,再将缺陷样本随机按比例8:1:1分为训练集,验证集,测试集。
上述技术方案的有益效果为:通过自动化的激光焊接设备中的工业像机,获得足量焊接缺陷样本,将焊接缺陷样本进行分类定义;足量焊接缺陷样本包括:4万张焊接缺陷样本图像;将焊接缺陷样本进行分类定义包括:分类定义焊洞焊接缺陷样本、分类定义焊高接缺陷样本、分类定义焊塌接缺陷样本、分类定义防爆阀损坏接缺陷样本、分类定义漏焊接缺陷样本以及分类定义正常焊塌样本;将焊接缺陷样本随机按设定的比例进行分集,得到得到焊接缺陷工业数据集;分集比例为8:1:1;焊接缺陷工业数据集包括:焊接缺陷样本训练集、焊接缺陷样本验证集和焊接缺陷样本测试集;整体过程原理为:制作焊接缺陷数据集,利用自动化的激光焊接设备中的工业像机,获得了约4万张焊接缺陷样本,将缺陷定义为6类,再将缺陷样本随机按比例8:1:1分为训练集,验证集,测试集;可以实现自动化获取图像,提取特征并实时检测缺陷,具有较高的分类准确率与漏检率,使其能够在资源受限的嵌入式设备上高效地部署。
在一个实施例中,所述超轻量神经网络分系统,包括:
基本网络结构剪枝子系统,用于通过保留基本神经网络MobileNetV2的基本网络结构,并对用于提取复杂特征的步幅为1的层进行剪枝;
输入通道扩展子系统,用于对输入通道数进行扩展;数据输入过程中,根据输入数据传输速率计算所需的输入通道数,输入数据传输速率根据神经网络输出数据传输速率通过设定的输入输出传递函数进行确定;
数据传输状态计算子系统,用于在数据传输从零初始状态到第一传输时刻,计算出输入数据传输速率所需的输入通道数,判定输入数据传输速率所需的输入通道数是否大于第一输入通道数;
数据传输状态判定子系统,用于当计算出的输入数据传输速率所需的输入通道数不大于第一输入通道数时,则保持第一输入通道数进行输入数据传输;当计算出的输入数据传输速率所需的输入通道数大于第一输入通道数时,则扩展第二输入通道数进行输入数据扩展传输;
超轻量神经网络模型子系统,通过对用于提取复杂特征的步幅为1的层进行剪枝以及对输入通道数进行扩展,得到超轻量神经网络;
输入数据传输速率计算公式如下:
Vsdc=Nsdk×log2(1+Pxh/Wpj)
其中,Vsdc表示输入数据传输速率,Nsdk表示输入数据传输的带宽,Pxh是输入数据信号功率,Wpj是输入数据噪声功率;当输入数据传输的带宽Nsdk=128Mbit/s,输入数据信号功率和输入数据噪声功率之比Pxh/Wpj=1023,则输入数据传输速率计算结果为:
Wpj=128Mbits/s×log2(1+1023)=1280Mbits/s
在保留神经网络MobileNetV2基本网络结构的前提下,对一些用于提取复杂特征的步幅为1的层进行剪枝,此外为了提升精度,对输入通道数进行扩展,可以从32通道扩展到64通道;并能通过智能运算检测,实现自动扩展;如果第一输入通道数的最大穿输速率是800Mbits/s,当输入数据传输速率为1280Mbits/s时,则扩展第二输入通道数进行输入数据扩展传输;最终得到更加轻量化且更贴合本工业数据集的神经网络。
上述技术方案的工作原理为:通过保留基本神经网络MobileNetV2的基本网络结构,并对用于提取复杂特征的步幅为1的层进行剪枝;通过对步幅为1的层神经网络剪枝,舍去对输出数据结果贡献度较小的神经元;对输入通道数进行扩展;数据输入过程中,根据输入数据传输速率计算所需的输入通道数,输入数据传输速率根据神经网络输出数据传输速率通过设定的输入输出传递函数进行确定;在数据传输从零初始状态到第一传输时刻,计算出输入数据传输速率所需的输入通道数,判定输入数据传输速率所需的输入通道数是否大于第一输入通道数;当计算出的输入数据传输速率所需的输入通道数不大于第一输入通道数时,则保持第一输入通道数进行输入数据传输;当计算出的输入数据传输速率所需的输入通道数大于第一输入通道数时,则扩展第二输入通道数进行输入数据扩展传输;通过对用于提取复杂特征的步幅为1的层进行剪枝以及对输入通道数进行扩展,得到超轻量神经网络;以适用于移动端的神经网络MobileNetV2为基础,进行改进;
输入数据传输速率计算公式如下:
Vsdc=Nsdk×log2(1+Pxh/Wpj)
其中,Vsdc表示输入数据传输速率,Nsdk表示输入数据传输的带宽,Pxh是输入数据信号功率,Wpj是输入数据噪声功率;当输入数据传输的带宽Nsdk=128Mbit/s,输入数据信号功率和输入数据噪声功率之比Pxh/Wpj=1023,则输入数据传输速率计算结果为:
Wpj=128Mbits/s×log2(1+1023)=1280Mbits/s
在保留神经网络MobileNetV2基本网络结构的前提下,对一些用于提取复杂特征的步幅为1的层进行剪枝,此外为了提升精度,对输入通道数进行扩展,可以从32通道扩展到64通道;并能通过智能运算检测,实现自动扩展;如果第一输入通道数的最大穿输速率是800Mbits/s,当输入数据传输速率为1280Mbits/s时,则扩展第二输入通道数进行输入数据扩展传输;最终得到更加轻量化且更贴合本工业数据集的神经网络。
上述技术方案的有益效果为:通过保留基本神经网络MobileNetV2的基本网络结构,并对用于提取复杂特征的步幅为1的层进行剪枝;通过对步幅为1的层神经网络剪枝,舍去对输出数据结果贡献度较小的神经元;对输入通道数进行扩展;数据输入过程中,根据输入数据传输速率计算所需的输入通道数,输入数据传输速率根据神经网络输出数据传输速率通过设定的输入输出传递函数进行确定;在数据传输从零初始状态到第一传输时刻,计算出输入数据传输速率所需的输入通道数,判定输入数据传输速率所需的输入通道数是否大于第一输入通道数;当计算出的输入数据传输速率所需的输入通道数不大于第一输入通道数时,则保持第一输入通道数进行输入数据传输;当计算出的输入数据传输速率所需的输入通道数大于第一输入通道数时,则扩展第二输入通道数进行输入数据扩展传输;通过对用于提取复杂特征的步幅为1的层进行剪枝以及对输入通道数进行扩展,得到超轻量神经网络;以适用于移动端的神经网络MobileNetV2为基础,进行改进;在保留神经网络MobileNetV2基本网络结构的前提下,对一些用于提取复杂特征的步幅为1的层进行剪枝,此外为了提升精度,对输入通道数进行扩展,可以从32通道扩展到64通道;并能通过智能运算检测,实现自动扩展;运算方式更加精简运算速度更快;最终得到更加轻量化且更贴合本工业数据集的神经网络;改进了MobilenetV2网络结构使其适用于焊接缺陷分类,使算法具备优良的分类准确率;轻量化的模型设计结合深度压缩技术并且有效结合边缘AI硬件使本发明适用于工业边缘端部署。
在一个实施例中,所述泛化神经网络训练分系统,包括:
神经网络训练验证子系统,用于通过超轻量神经网络在对焊接缺陷工业数据集的焊接缺陷样本训练集上进行首次的多轮训练,每轮训练后使用焊接缺陷样本验证集进行验证;
神经网络训练判定子系统,用于根据焊接缺陷样本验证集验证结果,判定焊接缺陷样本训练集与焊接缺陷样本验证集的准确率与损失度是否符合设定准确率和设定损失度;如焊接缺陷样本训练集与焊接缺陷样本验证集的准确率与损失度不符合设定准确率和设定损失度,则继续进行训练;如焊接缺陷样本训练集与焊接缺陷样本验证集的准确率与损失度符合设定准确率和设定损失度,则训练结束;
泛化训练模型子系统,用于在训练结束后神经网络模型不出现过拟合或欠拟合情况,具备泛化能力,得到具备泛化能力神经网络训练模型。
上述技术方案的工作原理为:将改进后的神经网络在划分出的训练集上进行首次的多轮训练,每轮训练后使用验证集进行验证,来确定训练效果;直至训练集与验证集的准确率与损失结果相近,表明模型没有出现过拟合或者欠拟合的情况,具备泛化能力;通过超轻量神经网络在对焊接缺陷工业数据集的焊接缺陷样本训练集上进行首次的多轮训练,每轮训练后使用焊接缺陷样本验证集进行验证;根据焊接缺陷样本验证集验证结果,判定焊接缺陷样本训练集与焊接缺陷样本验证集的准确率与损失度是否符合设定准确率和设定损失度;如焊接缺陷样本训练集与焊接缺陷样本验证集的准确率与损失度不符合设定准确率和设定损失度,则继续进行训练;如焊接缺陷样本训练集与焊接缺陷样本验证集的准确率与损失度符合设定准确率和设定损失度,则训练结束;训练结束后神经网络模型不出现过拟合或欠拟合情况,具备泛化能力,得到具备泛化能力神经网络训练模型。
上述技术方案的有益效果为:通过超轻量神经网络在对焊接缺陷工业数据集的焊接缺陷样本训练集上进行首次的多轮训练,每轮训练后使用焊接缺陷样本验证集进行验证;根据焊接缺陷样本验证集验证结果,判定焊接缺陷样本训练集与焊接缺陷样本验证集的准确率与损失度是否符合设定准确率和设定损失度;如焊接缺陷样本训练集与焊接缺陷样本验证集的准确率与损失度不符合设定准确率和设定损失度,则继续进行训练;如焊接缺陷样本训练集与焊接缺陷样本验证集的准确率与损失度符合设定准确率和设定损失度,则训练结束;训练结束后神经网络模型不出现过拟合或欠拟合情况,具备泛化能力,得到具备泛化能力神经网络训练模型;将改进后的神经网络在划分出的训练集上进行首次的多轮训练,每轮训练后使用验证集进行验证,来确定训练效果;直至训练集与验证集的准确率与损失结果相近,模型将不会出现过拟合或者欠拟合的情况具备泛化能力。
在一个实施例中,所述知识蒸馏缺陷监测分系统,包括:
知识蒸馏教师模型子系统,通过引入知识蒸馏方法,以首次训练得到的具备泛化能力神经网络训练模型作为教师模型再度训练;对所述具备泛化能力神经网络训练模型教师模型对应的软目标通过教师模型交叉损失函数进行迭代处理,获得再度训练教师模型;
知识蒸馏学生模型子系统,根据再度训练教师模型,通过知识蒸馏再度训练;基于所述具备泛化能力神经网络训练模型建立强化训练学生模型,利用所述强化训练学生模型通过强化训练学生模型硬目标确定通过学生模型交叉损失函数和通过教师模型交叉损失函数进行综合迭代计算,获得知识蒸馏模型最终损失函数,得到知识蒸馏学生模型;
智能模型工业边缘应用检测子系统,用于将通过知识蒸馏训练得到的知识蒸馏学生模型进行保存,并转化格式能够与openvino工具包相结合;将知识蒸馏学生模型部署到具有神经计算棒的嵌入式树莓派上,组成结合边缘AI设备与卷积神经网络的动力电池焊接缺陷实时检测系统,应用于工业边缘端,并对动力电池防爆阀焊接缺陷进行实时检测。
上述技术方案的工作原理为:引入知识蒸馏方法,以首次训练得到的具备泛化能力神经网络训练模型作为教师模型再度训练;对所述具备泛化能力神经网络训练模型教师模型对应的软目标通过教师模型交叉损失函数进行迭代处理,获得再度训练教师模型;根据再度训练教师模型,通过知识蒸馏再度训练,获得知识蒸馏学生模型;基于所述具备泛化能力神经网络训练模型建立强化训练学生模型,利用所述强化训练学生模型通过强化训练学生模型硬目标确定通过学生模型交叉损失函数和通过教师模型交叉损失函数进行综合迭代计算,获得知识蒸馏模型最终损失函数,得到知识蒸馏学生模型;将通过知识蒸馏训练得到的知识蒸馏学生模型进行保存,并转化格式能够与openvino工具包相结合;将知识蒸馏学生模型部署到具有神经计算棒的嵌入式树莓派上,组成结合边缘AI设备与卷积神经网络的动力电池焊接缺陷实时检测系统,应用于工业边缘端,并对动力电池防爆阀焊接缺陷进行实时检测;引入知识蒸馏方法以首次训练得到的模型作为教师模型再度训练,最终得到一个准确率相比第一次训练更高的学生模型;将最终训练得到的模型进行保存,并转化格式,结合openvino工具包,将神经网络模型部署到插入了英特尔的神经计算棒的嵌入式设备树莓派上,实现对焊接缺陷的实时监测。
上述技术方案的有益效果为:引入知识蒸馏方法,以首次训练得到的具备泛化能力神经网络训练模型作为教师模型再度训练;对所述具备泛化能力神经网络训练模型教师模型对应的软目标通过教师模型交叉损失函数进行迭代处理,获得再度训练教师模型;根据再度训练教师模型,通过知识蒸馏再度训练,获得知识蒸馏学生模型;基于所述具备泛化能力神经网络训练模型建立强化训练学生模型,利用所述强化训练学生模型通过强化训练学生模型硬目标确定通过学生模型交叉损失函数和通过教师模型交叉损失函数进行综合迭代计算,获得知识蒸馏模型最终损失函数,得到知识蒸馏学生模型;将通过知识蒸馏训练得到的知识蒸馏学生模型进行保存,并转化格式能够与openvino工具包相结合;将知识蒸馏学生模型部署到具有神经计算棒的嵌入式树莓派上,组成结合边缘AI设备与卷积神经网络的动力电池焊接缺陷实时检测系统,应用于工业边缘端,并对动力电池防爆阀焊接缺陷进行实时检测;引入知识蒸馏方法以首次训练得到的模型作为教师模型再度训练,最终得到一个准确率相比第一次训练更高的学生模型;将最终训练得到的模型进行保存,并转化格式,结合openvino工具包,将神经网络模型部署到插入了英特尔的神经计算棒的嵌入式设备树莓派上,实现对焊接缺陷的实时监测;可对模型损失函数进行监督,进一步提高分类精度,最后结合Openvino工具包与神经计算棒在边缘端进行工业部署,大大提高算法推断识别图片的速度;可以实现自动化提取特征并实时检测缺陷,具有较高的分类准确率与漏检率,轻量化的模型设计结合深度压缩技术并且有效结合边缘AI硬件使本发明适用于工业边缘端部署;可以使用不同模型作为教师模型来指导最终的轻量化模型训练,以调节最终模型权重;模型的输入通道与卷积核数目可以根据实际需求进行改变;基于深度神经网络,在保证现有神经网络模型性能不变的情况下,利用深度模型压缩技术,有效减小神经网络模型的计算量和存储空间,使其能够在资源受限的嵌入式设备上高效地部署;该方法不仅能有效克服传统机器视觉中准确率低、维护成本高昂等问题,还能将检测算法部署到工业边缘端,提高实时性与灵活性,满足工业应用。
尽管本发明的实施方案已公开如上,但其并不仅仅限于说明书和实施方式中所列运用,它完全可以被适用于各种适合本发明的领域,对于熟悉本领域的人员而言,可容易地实现另外的修改,因此在不背离权利要求及等同范围所限定的一般概念下,本发明并不限于特定的细节与这里示出与描述的图例。

Claims (10)

1.一种工业边缘端动力电池缺陷检测方法,其特征在于,包括:
S100、利用工业像机,获得焊接缺陷样本,并对焊接缺陷样本进行数据处理,得到焊接缺陷工业数据集;
S200、以神经网络MobileNetV2为基础,贴和焊接缺陷工业数据集,对提取杂特征层进行剪枝,对输入通道数进行扩展,得到超轻量神经网络;
S300、通过超轻量神经网络对焊接缺陷工业数据集进行首次多轮数据训练,得到具备泛化能力神经网络训练模型;
S400、将具备泛化能力训练模型作为教师模型,通过知识蒸馏方法进一步训练,得到知识蒸馏学生模型;将知识蒸馏学生模型部署到具有神经计算棒的嵌入式树莓派上,应用于工业边缘端,对焊接缺陷进行实时监测。
2.根据权利要求1所述的一种工业边缘端动力电池缺陷检测方法,其特征在于,S100包括:
S101、利用自动化的激光焊接设备中的工业像机,获得足量焊接缺陷样本,将焊接缺陷样本进行存储;
S102、将焊接缺陷样本进行分类定义,包括:分类定义焊洞焊接缺陷样本、分类定义焊高接缺陷样本、分类定义焊塌接缺陷样本、分类定义防爆阀损坏接缺陷样本、分类定义漏焊接缺陷样本以及分类定义正常焊塌样本;
S103、将焊接缺陷样本随机按设定的比例进行分集,得到得到焊接缺陷工业数据集;焊接缺陷工业数据集包括:焊接缺陷样本训练集、焊接缺陷样本验证集和焊接缺陷样本测试集。
3.根据权利要求1所述的一种工业边缘端动力电池缺陷检测方法,其特征在于,S200包括:
S201、保留基本神经网络MobileNetV2的基本网络结构,并对用于提取复杂特征的步幅为1的层进行剪枝;
S202、对输入通道数进行扩展;数据输入过程中,根据输入数据传输速率计算所需的输入通道数,输入数据传输速率根据神经网络输出数据传输速率通过设定的输入输出传递函数进行确定;
S203、在数据传输从零初始状态到第一传输时刻,计算出输入数据传输速率所需的输入通道数,判定输入数据传输速率所需的输入通道数是否大于第一输入通道数;
S204、当计算出的输入数据传输速率所需的输入通道数不大于第一输入通道数时,则保持第一输入通道数进行输入数据传输;当计算出的输入数据传输速率所需的输入通道数大于第一输入通道数时,则扩展第二输入通道数进行输入数据扩展传输;
S205、通过对用于提取复杂特征的步幅为1的层进行剪枝以及对输入通道数进行扩展,得到超轻量神经网络。
4.根据权利要求1所述的一种工业边缘端动力电池缺陷检测方法,其特征在于,S300包括:
S301、通过超轻量神经网络在对焊接缺陷工业数据集的焊接缺陷样本训练集上进行首次的多轮训练,每轮训练后使用焊接缺陷样本验证集进行验证;
S302、根据焊接缺陷样本验证集验证结果,判定焊接缺陷样本训练集与焊接缺陷样本验证集的准确率与损失度是否符合设定准确率和设定损失度;如焊接缺陷样本训练集与焊接缺陷样本验证集的准确率与损失度不符合设定准确率和设定损失度,则继续进行训练;如焊接缺陷样本训练集与焊接缺陷样本验证集的准确率与损失度符合设定准确率和设定损失度,则训练结束;
S303、训练结束后神经网络模型不出现过拟合或欠拟合情况,具备泛化能力,得到具备泛化能力神经网络训练模型。
5.根据权利要求1所述的一种工业边缘端动力电池缺陷检测方法,其特征在于,S400包括:
S401、引入知识蒸馏方法,以首次训练得到的具备泛化能力神经网络训练模型作为教师模型再度训练;对所述具备泛化能力神经网络训练模型教师模型对应的软目标通过教师模型交叉损失函数进行迭代处理,获得再度训练教师模型;
S402、根据再度训练教师模型,通过知识蒸馏再度训练;基于所述具备泛化能力神经网络训练模型建立强化训练学生模型,利用所述强化训练学生模型通过强化训练学生模型硬目标确定通过学生模型交叉损失函数和通过教师模型交叉损失函数进行综合迭代计算,获得知识蒸馏模型最终损失函数,得到知识蒸馏学生模型;
S403、将通过知识蒸馏训练得到的知识蒸馏学生模型进行保存,并转化格式能够与openvino工具包相结合;将知识蒸馏学生模型部署到具有神经计算棒的嵌入式树莓派上,组成结合边缘AI设备与卷积神经网络的动力电池焊接缺陷实时检测系统,应用于工业边缘端,并对动力电池防爆阀焊接缺陷进行实时检测。
6.一种工业边缘端动力电池缺陷检测系统,其特征在于,包括:
焊接缺陷工业数据分系统,用于利用工业像机,获得焊接缺陷样本,并对焊接缺陷样本进行数据处理,得到焊接缺陷工业数据集;
超轻量神经网络分系统,用于以神经网络MobileNetV2为基础,贴和焊接缺陷工业数据集,对提取杂特征层进行剪枝,对输入通道数进行扩展,得到超轻量神经网络;
泛化神经网络训练分系统,通过超轻量神经网络对焊接缺陷工业数据集进行首次多轮数据训练,得到具备泛化能力神经网络训练模型;
知识蒸馏缺陷监测分系统,将具备泛化能力训练模型作为教师模型,通过知识蒸馏方法进一步训练,得到知识蒸馏学生模型;将知识蒸馏学生模型部署到具有神经计算棒的嵌入式树莓派上,应用于工业边缘端,对焊接缺陷进行实时监测。
7.根据权利要求6所述的一种工业边缘端动力电池缺陷检测系统,其特征在于,所述焊接缺陷工业数据分系统,包括:
工业数据采集存储子系统,用于利用自动化的激光焊接设备中的工业像机,获得足量焊接缺陷样本,将焊接缺陷样本进行存储;
焊接缺陷样本分类子系统,用于将焊接缺陷样本进行分类定义,包括:分类定义焊洞焊接缺陷样本、分类定义焊高接缺陷样本、分类定义焊塌接缺陷样本、分类定义防爆阀损坏接缺陷样本、分类定义漏焊接缺陷样本以及分类定义正常焊塌样本;
焊接缺陷样本分集子系统,用于将焊接缺陷样本随机按设定的比例进行分集,得到得到焊接缺陷工业数据集;焊接缺陷工业数据集包括:焊接缺陷样本训练集、焊接缺陷样本验证集和焊接缺陷样本测试集。
8.根据权利要求6所述的一种工业边缘端动力电池缺陷检测系统,其特征在于,所述超轻量神经网络分系统,包括:
基本网络结构剪枝子系统,用于通过保留基本神经网络MobileNetV2的基本网络结构,并对用于提取复杂特征的步幅为1的层进行剪枝;
输入通道扩展子系统,用于对输入通道数进行扩展;数据输入过程中,根据输入数据传输速率计算所需的输入通道数,输入数据传输速率根据神经网络输出数据传输速率通过设定的输入输出传递函数进行确定;
数据传输状态计算子系统,用于在数据传输从零初始状态到第一传输时刻,计算出输入数据传输速率所需的输入通道数,判定输入数据传输速率所需的输入通道数是否大于第一输入通道数;
数据传输状态判定子系统,用于当计算出的输入数据传输速率所需的输入通道数不大于第一输入通道数时,则保持第一输入通道数进行输入数据传输;当计算出的输入数据传输速率所需的输入通道数大于第一输入通道数时,则扩展第二输入通道数进行输入数据扩展传输;
超轻量神经网络模型子系统,通过对用于提取复杂特征的步幅为1的层进行剪枝以及对输入通道数进行扩展,得到超轻量神经网络。
9.根据权利要求6所述的一种工业边缘端动力电池缺陷检测系统,其特征在于,所述泛化神经网络训练分系统,包括:
神经网络训练验证子系统,用于通过超轻量神经网络在对焊接缺陷工业数据集的焊接缺陷样本训练集上进行首次的多轮训练,每轮训练后使用焊接缺陷样本验证集进行验证;
神经网络训练判定子系统,用于根据焊接缺陷样本验证集验证结果,判定焊接缺陷样本训练集与焊接缺陷样本验证集的准确率与损失度是否符合设定准确率和设定损失度;如焊接缺陷样本训练集与焊接缺陷样本验证集的准确率与损失度不符合设定准确率和设定损失度,则继续进行训练;如焊接缺陷样本训练集与焊接缺陷样本验证集的准确率与损失度符合设定准确率和设定损失度,则训练结束;
泛化训练模型子系统,用于在训练结束后神经网络模型不出现过拟合或欠拟合情况,具备泛化能力,得到具备泛化能力神经网络训练模型。
10.根据权利要求6所述的一种工业边缘端动力电池缺陷检测系统,其特征在于,所述知识蒸馏缺陷监测分系统,包括:
知识蒸馏教师模型子系统,通过引入知识蒸馏方法,以首次训练得到的具备泛化能力神经网络训练模型作为教师模型再度训练;对所述具备泛化能力神经网络训练模型教师模型对应的软目标通过教师模型交叉损失函数进行迭代处理,获得再度训练教师模型;
知识蒸馏学生模型子系统,根据再度训练教师模型,通过知识蒸馏再度训练;基于所述具备泛化能力神经网络训练模型建立强化训练学生模型,利用所述强化训练学生模型通过强化训练学生模型硬目标确定通过学生模型交叉损失函数和通过教师模型交叉损失函数进行综合迭代计算,获得知识蒸馏模型最终损失函数,得到知识蒸馏学生模型;
智能模型工业边缘应用检测子系统,用于将通过知识蒸馏训练得到的知识蒸馏学生模型进行保存,并转化格式能够与openvino工具包相结合;将知识蒸馏学生模型部署到具有神经计算棒的嵌入式树莓派上,组成结合边缘AI设备与卷积神经网络的动力电池焊接缺陷实时检测系统,应用于工业边缘端,并对动力电池防爆阀焊接缺陷进行实时检测。
CN202110852408.1A 2021-07-27 2021-07-27 一种工业边缘端动力电池缺陷检测方法及系统 Pending CN113570571A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110852408.1A CN113570571A (zh) 2021-07-27 2021-07-27 一种工业边缘端动力电池缺陷检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110852408.1A CN113570571A (zh) 2021-07-27 2021-07-27 一种工业边缘端动力电池缺陷检测方法及系统

Publications (1)

Publication Number Publication Date
CN113570571A true CN113570571A (zh) 2021-10-29

Family

ID=78168092

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110852408.1A Pending CN113570571A (zh) 2021-07-27 2021-07-27 一种工业边缘端动力电池缺陷检测方法及系统

Country Status (1)

Country Link
CN (1) CN113570571A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114972952A (zh) * 2022-05-29 2022-08-30 重庆科技学院 一种基于模型轻量化的工业零部件缺陷识别方法
CN115272981A (zh) * 2022-09-26 2022-11-01 山东大学 云边共学习输电巡检方法与系统
CN115861736A (zh) * 2022-12-14 2023-03-28 广州科盛隆纸箱包装机械有限公司 基于知识蒸馏的高速瓦楞纸箱印刷缺陷检测方法、系统及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200090314A1 (en) * 2018-09-13 2020-03-19 Virtual Control Limited System and method for determining a condition of an object
CN112116560A (zh) * 2020-08-20 2020-12-22 华南理工大学 一种焊接图像缺陷识别方法、装置、存储介质及设备
CN112464718A (zh) * 2020-10-23 2021-03-09 西安电子科技大学 一种基于YOLO-Terse网络的目标检测方法及存储介质
CN112699958A (zh) * 2021-01-11 2021-04-23 重庆邮电大学 一种基于剪枝和知识蒸馏的目标检测模型压缩与加速方法
CN113033547A (zh) * 2021-02-27 2021-06-25 北京工业大学 一种基于MobileNetV2的焊接状态分类方法
CN113077416A (zh) * 2021-03-12 2021-07-06 宁波职业技术学院 一种基于图像处理的焊点焊接缺陷检测方法与系统
CN113158969A (zh) * 2021-05-10 2021-07-23 上海畅选科技合伙企业(有限合伙) 一种苹果外观缺陷识别系统及方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200090314A1 (en) * 2018-09-13 2020-03-19 Virtual Control Limited System and method for determining a condition of an object
CN112116560A (zh) * 2020-08-20 2020-12-22 华南理工大学 一种焊接图像缺陷识别方法、装置、存储介质及设备
CN112464718A (zh) * 2020-10-23 2021-03-09 西安电子科技大学 一种基于YOLO-Terse网络的目标检测方法及存储介质
CN112699958A (zh) * 2021-01-11 2021-04-23 重庆邮电大学 一种基于剪枝和知识蒸馏的目标检测模型压缩与加速方法
CN113033547A (zh) * 2021-02-27 2021-06-25 北京工业大学 一种基于MobileNetV2的焊接状态分类方法
CN113077416A (zh) * 2021-03-12 2021-07-06 宁波职业技术学院 一种基于图像处理的焊点焊接缺陷检测方法与系统
CN113158969A (zh) * 2021-05-10 2021-07-23 上海畅选科技合伙企业(有限合伙) 一种苹果外观缺陷识别系统及方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
周志华 等: "手机锂电池自动化焊接缺陷的检测与判定", 《现代制造技术与装备》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114972952A (zh) * 2022-05-29 2022-08-30 重庆科技学院 一种基于模型轻量化的工业零部件缺陷识别方法
CN114972952B (zh) * 2022-05-29 2024-03-22 重庆科技学院 一种基于模型轻量化的工业零部件缺陷识别方法
CN115272981A (zh) * 2022-09-26 2022-11-01 山东大学 云边共学习输电巡检方法与系统
CN115861736A (zh) * 2022-12-14 2023-03-28 广州科盛隆纸箱包装机械有限公司 基于知识蒸馏的高速瓦楞纸箱印刷缺陷检测方法、系统及存储介质
CN115861736B (zh) * 2022-12-14 2024-04-26 广州科盛隆纸箱包装机械有限公司 基于知识蒸馏的高速瓦楞纸箱印刷缺陷检测方法、系统及存储介质

Similar Documents

Publication Publication Date Title
CN113570571A (zh) 一种工业边缘端动力电池缺陷检测方法及系统
CN111339882B (zh) 基于实例分割的输电线路隐患检测方法
CN109272500B (zh) 基于自适应卷积神经网络的织物分类方法
CN113592814B (zh) 新能源动力电池安全防爆阀激光焊接表面缺陷检测方法
CN112232328A (zh) 基于卷积神经网络的遥感影像建筑区提取方法、装置
CN113205039A (zh) 基于多dcnn网络的电力设备故障图像识别勘灾系统及方法
CN111709477A (zh) 一种基于改进MobileNet网络进行垃圾分类的方法及工具
CN115456955A (zh) 一种球笼防尘罩内部毛刺缺陷检测方法
CN111223087A (zh) 一种基于生成对抗网络的桥梁裂缝自动检测方法
CN115147383A (zh) 一种基于轻量化YOLOv5模型的绝缘子状态快速检测方法
CN113642486A (zh) 一种具有机载前端识别模型的无人机配网巡检方法
CN112487938A (zh) 一种利用深度学习算法实现垃圾分类的方法
CN116977292A (zh) 一种太阳能电池片虚焊检测方法
CN115035381A (zh) 一种SN-YOLOv5的轻量化目标检测网络及农作物采摘检测方法
CN114863118A (zh) 一种基于输电线路外部隐患自学习识别系统、方法
CN114897857A (zh) 基于轻量型神经网络的太阳能电池缺陷检测方法
CN113971775A (zh) 一种基于优化yolov4算法的违章行为识别方法及系统
CN114627044A (zh) 一种基于深度学习的太阳能光伏组件热斑检测方法
CN115830302B (zh) 一种多尺度特征提取融合配电网设备定位识别方法
CN116363075A (zh) 一种光伏组件热斑检测方法、系统和电子设备
CN116206214A (zh) 一种基于轻量化卷积神经网络和双注意力的自动识别滑坡方法、系统、设备及介质
CN116486231A (zh) 一种基于改进YOLOv5的混凝土裂缝检测方法
CN114359578A (zh) 病虫害识别智能终端应用方法及系统
CN114120159A (zh) 输电线路销钉缺陷检测方法及装置
CN113610837A (zh) 基于深度学习和边缘计算的外绝缘设备放电故障诊断方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination