CN114240923A - 基于机器视觉的全自动bldc电机绕线机产品缺陷检测方法 - Google Patents

基于机器视觉的全自动bldc电机绕线机产品缺陷检测方法 Download PDF

Info

Publication number
CN114240923A
CN114240923A CN202111611195.XA CN202111611195A CN114240923A CN 114240923 A CN114240923 A CN 114240923A CN 202111611195 A CN202111611195 A CN 202111611195A CN 114240923 A CN114240923 A CN 114240923A
Authority
CN
China
Prior art keywords
network
automatic
bldc motor
winding machine
motor winding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111611195.XA
Other languages
English (en)
Inventor
高德欣
杜玉蓉
杨清
王怀志
李学强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qingdao University of Science and Technology
Original Assignee
Qingdao University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qingdao University of Science and Technology filed Critical Qingdao University of Science and Technology
Priority to CN202111611195.XA priority Critical patent/CN114240923A/zh
Publication of CN114240923A publication Critical patent/CN114240923A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及绕线机产品的缺陷检测技术领域，具体公开基于机器视觉的全自动BLDC电机绕线机产品缺陷检测方法，包括步骤：S1：选取全自动BLDC电机绕线机缺陷产品图像数据，构建全自动BLDC电机绕线机缺陷产品数据集；S2：对缺陷产品数据集进行预处理，得到预处理数据集，并将其按VOC格式划分为训练集、测试集和验证集；S3：将ShuffleNet网络作为主干网络，构建轻量化改进的YOLOv4网络；S4：使用预处理数据集对改进的YOLOv4网络进行训练，得到缺陷检测网络；S5：将全自动BLDC电机绕线机产品数据输入缺陷检测网络，得到产品的缺陷检测结果。本发明中YOLOv4主干网络为ShuffleNetv2网络，并对其相关模块进行轻量化改进，可以大幅度降低网络参数，减少计算量，提升检测网络的速度与精度。

Description

基于机器视觉的全自动BLDC电机绕线机产品缺陷检测方法
技术领域
本发明涉及绕线机产品的缺陷检测技术领域，具体公开了基于机器视觉的全自动BLDC电机绕线机产品缺陷检测方法。
背景技术
近年来，为了适应高效率、高产量的生产要求，全自动绕线机逐渐替代传统绕线机，全自动机种一般采用多头联动设计，采用可编程控制器作为设备的控制核心，配合机械手、气动控制元件和执行附件来完成自动排线、自动缠脚、自动剪线、自动装卸骨架等功能，这种机型的生产效率极高，大大的降低了对人工的依赖，生产品质比较稳定，非常适合产量要求高的加工场合。
无刷直流电机(Brushless Direct Current Motor，BLDC电机)，其具有更高的寿命和更小的运转噪声，因此逐步取代有刷电机。全自动BLDC电机绕线机是生产这种电机的关键设备之一，伴随着无刷直流电机的兴起，全自动BLDC 电机绕线机数量也逐渐增多，由于全自动BLDC电机绕线机线圈绕制时因导针和骨架旋转之间的配合误差，震动等原因不可避免地会产生缺陷，如凸起、飞出、断线和跨线等。这些缺陷会导致线圈产生的磁场不均匀，影响线圈的使用性能。线圈凸起、飞出、断线和跨线等缺陷可以通过外观直接辨别，行业中目前以人工检测为主，人工检测存在诸多不确定因素，可靠性不足，存在漏检问题、效率低、成本高等，促使产业朝着自动识别、智能检测的方向发展。
目前线圈的常用检测方法有CT检测和超声波检测，但其对工作环境的要求较高，较难实现自动化检测，不能被广泛应用。
还有用工业相机直接代替人眼的检测，虽然该方法安全可靠、无辐射、准确性及灵活性较人工检测有显著提升，但其智能化程度较低。
为了克服上述问题，可利用深度学习技术，实现深度学习目标检测，目前目标检测领域的深度学习算法主要分为两大类：两阶段式(Two-stage)目标检测算法和单阶段式(One-stage)目标检测算法。YOLO深度学习检测算法是一种典型的One-stage算法模型，其网络结构主要由三个主要部件组成：主干网络 (Backbone)、加强特征提取网络(Neck)和预测网络(Head)，其中Backbone 为不同图像细粒度上聚合并形成图像特征的卷积神经网络，Neck为一系列混合和组合图像特征的网络层，并将图像特征传递到预测层，Head用于对图像特征进行预测，生成边界框和预测类别。
发明内容
本发明针对全自动BLDC电机绕线机产品缺陷问题，提出了基于机器视觉的全自动BLDC电机绕线机产品缺陷检测方法。以全自动BLDC电机绕线机产品线圈为研究对象，对其外观合格性检测，结合深度学习目标检测的缺陷检测方法，解决现有方法的不足，对线圈表面缺陷进行精确的视觉检测。
为实现上述目的，本发明提供基于机器视觉的全自动BLDC电机绕线机产品缺陷检测方法，具体包括如下步骤：
S1：选取全自动BLDC电机绕线机缺陷产品图像数据，构建全自动BLDC 电机绕线机缺陷产品数据集；
S2：对缺陷产品数据集进行预处理，得到预处理数据集，并将其按VOC格式划分为训练集、测试集和验证集；
S3：将ShuffleNet网络作为主干网络，构建轻量化改进的YOLOv4网络；
S4：使用预处理数据集对改进的YOLOv4网络进行训练，得到缺陷检测网络；
S5：将全自动BLDC电机绕线机产品数据输入缺陷检测网络，得到产品的缺陷检测结果。
进一步的，所述步骤S1具体为：选取的全自动BLDC电机绕线机缺陷产品图像，包括全自动BLDC电机绕线机产品线圈的凸起图像、飞出图像、断线图像和跨线图像。
进一步的，所述步骤S2对缺陷产品数据集进行预处理，得到预处理数据集，具体包括以下步骤：
(1)图片筛选，对选取的缺陷产品图片进行筛选，保留满足输入尺寸要求的缺陷产品图片；
(2)图片增强，为了避免缺陷产品数据集过小使训练的网络模型出现过拟合现象，需要对缺陷产品图片采取数据增强的方法提高模型的鲁棒性和泛化能力。常用数据扩充发对缺陷图像进行数据增强，例如：更改图像曝光度、饱和度、色度以及位置旋转变换；
(3)缺陷标注，对筛选、增强后的缺陷产品图片使用labelImg(图像标注工具)进行缺陷标签标注，包括凸起、飞出、断线、跨线。
进一步的，将标注后的预处理数据集按照VOC数据格式，依据7:2:1比例，划分为训练集、测试集和验证集。
进一步的，所述步骤S3具体为：
改进后的YOLOv4主干网络为ShuffleNet网络，加强特征提取网络中的卷积层为深度可分离卷积，网络中激活函数为Mish激活函数，并对其轻量化中的 Resblock-body模块进行相应改进。
优选的，ShuffleNet网络为ShuffleNetv2网络，ShuffleNetv2优势在于引入了逐点分组卷积(降低参数量和计算量)与通道混洗(确保信息充分融合)。
标准卷积过程中参数量为：
Cin×K×K×Cout (1)
分组卷积的参数量为：
Figure BDA0003435508300000021
上式中，Cin为输入通道数，Cout为输出通道数，K×K为卷积核的大小，G 为分组数量，对比式(1)和式(2)，分组卷积可将参数量减少为原来的1/G。
优选的，深度可分离卷积＝深度卷积+逐点卷积，与标准卷积相比参数量更少，计算速度快。深度可分离卷积可将传统卷积的计算量压缩为：
Figure BDA0003435508300000022
式(3)中，H×W为输出feature map的空间大小，由公式可知，计算速度约为传统卷积的1/K2。
优选的，网络中的激活函数为Mish激活函数，Mish激活函数是光滑函具有较好的泛化能力和结果的有效优化能力，可以提高结果的质量，公式如
Mish＝x*tanh(ln(1+ex)) (4)
其导数为：
Figure BDA0003435508300000031
ω＝4(x+1)+4e2x+e3x+ex(4x+6) (6)
δ＝2ex+e2x+2 (7)
优选的，将Resblock-body中的ResNet(残差网络)模块替换为DRSN(残差收缩网络)模块。残差收缩网络为深度学习+软阈值化+注意力机制，其中软阈值化是信号降噪算法的核心步骤，可以通过以下公式来实现：
Figure BDA0003435508300000032
其输出对于输入的导数为：
Figure BDA0003435508300000033
上式中，x为变量，y为输出量，τ为阈值(非负值)，由公式(9)可知，软阈值化的导数为0或1，可减小深度学习算法遭遇梯度弥散和梯度爆炸的风险。
进一步的，所述步骤S4具体包括以下步骤：
(1)采用所述训练集训练轻量化改进的YOLOv4网络，得到全自动BLDC 电机绕线机产品缺陷检测网络；
(2)采用所述测试集用于评估所述全自动BLDC电机绕线机产品缺陷检测网络模型的性能；
(3)采用所述验证集对所述全自动BLDC电机绕线机产品缺陷检测网络模型的参数进行调整。
对比现有技术，本发明具有如下的有益效果：
(1)本发明将深度学习目标检测网络引入线圈缺陷检测中，解决了人为检测时缺失的实时性及准确性问题，有效提高全自动BLDC电机绕线机产品线圈缺陷的检测效率和成功率；
(2)本发明将YOLOv4的主干提取网络CSPDarkNet53网络替换为 ShuffleNet网络，大幅度降低网络参数，从而减少计算量，提升检测网络速度；
(3)本发明卷积层为深度可分离卷积，其在各个通道上采用不同的卷积核提取不同的特征，大大节约了参数量；
(4)本发明网络中激活函数为Mish激活函数，提升了模型泛化能力和结果的有效优化能力，可以提高检测结果的质量；
(5)本发明采用残差收缩网路模型进行缺陷检测，很好地解决了检测中噪声的误差问题，不仅提高了检测的准确率，也加强了深度学习网络从含噪图像中提取特征的能力。
附图说明
图1为本发明基于机器视觉的全自动BLDC电机绕线机产品缺陷检测方法的步骤图；
图2为全自动BLDC电机绕线机的产品典型缺陷图；
图3为本发明实施例提供的缺陷检测网络的结构图；
图4为改进ShuffleNetv2网络结构图；
图5为改进残差收缩网络整体结构图。
具体实施方式
下面结合说明书附图对本发明的具体实施方法做进一步详细的说明。实施本发明的过程、条件、实验条件等，除以下专门提及的内容之外，均为本领域的普遍知识和公知常识，本发明没有特别限制内容。
为了对全自动绕线机产品线圈的表面绕线缺陷进行精确的视觉检测，本发明实施例提供基于机器视觉的全自动绕线机缺陷检测方法，结合深度学习目标检测中一种典型的One-stage算法模型——YOLOv4，并对其进行轻量化改进。如图1 所示，本发明基于机器视觉的全自动BLDC电机绕线机缺陷检测方法主要包括以下步骤：
S1：选取全自动BLDC电机绕线机缺陷产品图像数据，构建全自动BLDC 电机绕线机产品缺陷数据集；
S2：对所述缺陷产品数据集进行预处理，得到预处理数据集，并将预处理数据集按VOC格式划分为训练集、测试集和验证集；
S3：将ShuffleNet网络作为主干网络，构建轻量化改进的YOLOv4网络；
S4：使用所述预处理数据集对改进的YOLOv4网络进行训练，得到缺陷检测网络；
S5：将全自动BLDC电机绕线机产品数据输入缺陷检测网络，得到产品的缺陷检测结果。
对于步骤S1：选取的全自动BLDC电机绕线机缺陷产品图像，包括全自动 BLDC电机绕线机产品线圈的凸起图像、飞出图像、断线图像和跨线图像。
选取如图2所示的众多图像数据构成缺陷数据集。如图2(a)所示，选取的图像为全自动BLDC电机六轴内绕式绕线机产品合格品图像，用于与缺陷图像进行比较；图2(b)所示，选取全自动BLDC电机三轴内绕式绕线机，缺陷为被绕物因绕制层数过多，致使线圈线未整齐缠绕，出现线圈凸起问题；图2(c) 所示，选取全自动BLDC电机十二轴内绕式绕线机，缺陷为两头缠绕速度过快导致导线飞出，偏离主轴；图2(d)所示，缺陷为全自动BLDC电机绕线机偏离设定绕线距离，发生跨线。
对于步骤S2：对步骤S1中选取的缺陷产品数据集进行预处理，得到预处理数据集，具体包括以下步骤：
(1)图片筛选，对选取的缺陷产品图片进行筛选，保留满足输入尺寸要求的缺陷产品图片；
(2)图片处理，为了避免缺陷产品数据集过小使训练的网络模型出现过拟合现象，需要对缺陷产品图片采取数据增强的方法提高模型的鲁棒性和泛化能力。常用数据扩充发对缺陷图像进行数据增强，例如：更改图像曝光度、饱和度、色度以及位置旋转变换等；
(3)缺陷标注，对筛选、增强后的缺陷图片使用labelImg(图像标注工具) 进行缺陷标签标注，包括凸起、飞出、断线、跨线。
对于步骤S2：将标注后的预处理数据集按照VOC数据格式，依据7:2:1比例，划分为训练集、测试集和验证集。
对于步骤S3：构建轻量化改进的YOLOv4网络，为了便于理解本发明的实施例，首先对如图3所示的缺陷检测网络模型进行介绍，从左到右依次包括主干网络(Backbone)、加强特征提取网络(Neck)和预测网络(Head)。
Backbone为不同图像细粒度上聚合并形成图像特征的卷积神经网络，Neck 为一系列混合和组合图像特征的网络层，并将图像特征传递到预测层，Head用于对图像特征进行预测，生成边界框和预测类别。
为了减少计算量，提升检测网络速度，主干网络采用ShuffleNetv2网络。ShuffleNetv2优势在于引入了逐点分组卷积(降低参数量和计算量)与通道混洗 (确保信息充分融合)，该结构可大幅度降低网络参数，从而减少计算量，提升检测网络速度。
标准卷积过程中，上一层特征图中每个通道的所有特征信息都会通过卷积操作输出到下一层特征图每个通道中。
标准卷积过程中参数量为：
Cin×K×K×Cout (1)
分组卷积(Group Convolution，GC)在标准卷积的基础上，对输入特征与卷积核进行分组，分组后的卷积核只和同组的输入特征进行卷积操作，从而减少参数量。
分组卷积的参数量为：
Figure BDA0003435508300000051
上式中，Cin为输入通道数，Cout为输出通道数，K×K为卷积核的大小，G 为分组数量，对比式(1)和式(2)，分组卷积可将参数量减少为原来的1/G。
如图4(a)所示，在每个单元的开始，通过通道分离(Channel Split)将c 特征通道的输入分为两支，分别带有c-c'和c'个通道。左侧分支不采取任何操作，右侧分支进行2次Covn1*1和1次DWCovn3*3，输入和输出通道相同。卷积之后，把两个分支拼接(Concat)起来，从而通道数量保持不变，然后进行通道混洗(Channel Shuffle)操作来保证两个分支信息充分融合。
如图4(b)所示，是一个下采样模块，每个分支均有步长(Stride)＝2的卷积操作，特征图维度大小减半，最终输出通道数加倍，主要起减小特征图维度的作用，可进一步减少了网络模型的计算量。
其中DWCovn3*3为卷积核为3的深度可分离卷积，深度可分离卷积＝深度卷积+逐点卷积，与标准卷积相比参数量更少，计算速度约为传统卷积的1/9。
标准卷积的乘法计算量为：
H×W×Cin×Cout×3×3 (3)
标准卷积的参数量为：
Cin×Cout×3×3 (4)
深度可分离卷积的总乘法计算量为：
H×W×Cin×3×3+H×W×Cin×Cout (5)
深度可分离卷积的参数量为：
Cout×3×3+Cin×Cout×3×3 (6)
深度可分离卷积将传统卷积的计算量压缩为：
Figure BDA0003435508300000061
上式中，H×W为输出feature map的空间大小，Cin为输入通道数，Cout为输出通道数，3×3为卷积核的大小。
Mish激活函数相较于ReLU激活函数的优点在于：在负值时并非完全截断，更好的保证信息流入；以上无边界避免了由于封顶而导致的饱和；最重要的一点在于梯度下降效果更好，从而保证曲线上几乎所有点的平滑。平滑的激活函数允许更好的信息深入神经网络，确保模型有更高的准确性和泛化，因此本发明网络中激活函数使用Mish激活函数，Mish激活函数公式如下：
Mish＝x*tanh(ln(1+ex)) (8)
其导数为：
Figure BDA0003435508300000062
ω＝4(x+1)+4e2x+e3x+ex(4x+6) (10)
δ＝2ex+e2x+2 (11)
本发明针对全自动BLDC电机绕线机产品缺陷进行检测，对于精准度要求极高，单纯轻量化的结构设计会牺牲网络模型部分复杂特征提取能力，因此在分析成分复杂，噪声干扰严重的全自动BLDC电机绕线机产品缺陷检测时，模型性能会受到很大影响，检测精度偏低。为同时兼顾结构轻量化设计及图像缺陷检测性能提高，因此本发明在此轻量化基础上进行残差块改进，将Resblock-body 中的ResNet模块替换为DRSN模块。
残差收缩网络为深度学习+软阈值化+注意力机制，软阈值化和深度学习的结合是一种有效的消除噪声信息和构建高判别性特征的方式。在残差网络模型基础上加入注意力机制建立残差收缩网络模型，通过注意力机制注意到重要的特征，将他们保留下来，从而加强深度神经网络从含噪声信号中提取有用特征的能力。
注意力机制就是将注意力集中于局部关键信息的机制，可以分为两步：第一，通过全局扫描，发现局部有用信息；第二，增强有用信息并抑制冗余。
软阈值化是信号降噪算法的核心步骤，它的用处是将绝对值低于某个阈值的特征置为零，将其他的特征也朝着零将绝对值某个阈值的特征删除掉，绝对值大于这个阈值的特征朝着零的方向进行收缩，可以通过以下公式来实现：
Figure BDA0003435508300000071
软阈值化的输出对于输入的导数为：
Figure BDA0003435508300000072
上式中，x为变量，y为输出量，τ为阈值(非负值)，由式(13)可知，软阈值化的导数要么是1，要么是0，可减小深度学习算法遭遇梯度弥散和梯度爆炸的风险。
残差收缩网络首先求取输入特征图的所有特征的绝对值，然后经过全局平均池化层(GlobalAverage Pooling，GAP)和参数平均值，获得一个特征，记为A，在另一条路径中，GAP之后的特征图，被输入到一个小型的全连接网络。全连接网络以Sigmoid函数作为最后一层，将输出归一化到[0，1]区间，获得一个系数，记为α，最终的阈值可以表示为α×A。因此，阈值表示一个0和1之间的数字×特征图的绝对值的平均。通过这种方式，即保证了阈值为正，也不会太大。最后，堆叠一定数量的基本模块以及卷积层、批标准化(BatchNormalization， BN)、激活函数(Activation function)、全局均值池化(GlobalAveragePooling， GAP)以及全连接输出层(Fully Connected，FC)，得到如图5所示的深度残差收缩网络的整体结构图。
对于步骤S4：使用所述预处理数据集对轻量化改进的YOLOv4网络进行训练，具体包括以下步骤：
(1)采用所述训练集训练轻量化改进的YOLOv4网络，得到全自动BLDC 电机绕线机产品缺陷检测网络；
(2)采用所述测试集评估所述全自动BLDC电机绕线机产品缺陷检测网络模型的性能；
(3)采用所述验证集对所述全自动BLDC电机绕线机产品缺陷检测网络模型的参数进行调整。
如果测试结果符合预期效果，则将其应用到实际项目当中，否则需要验证集对网络的结构、参数进行调整，重新构建缺陷产品检测网络模型。
对于步骤S5：将全自动BLDC电机绕线机产品图像数据输入缺陷检测网络，得到所述产品的缺陷检测结果。操作人员可以借鉴检测结果，对全自动BLDC 电机绕线机进行检查和维修，使其快速恢复至正常运行状态。
具体如下：将图2所示全自动BLDC电机绕线机缺陷产品图像输入缺陷检测网络，经过主干网络ShuffleNetv2网络中的逐点分组卷积与通道混洗操作对图像进行轻量化处理可减少参数量与计算量；通过残差收缩网络中的注意力机制注意到全自动绕线机产品重要的特征，将他们保留下来，接着经过软阈值化将“噪声”朝着零的方向进行收缩，从而提高缺陷检测结果的准确率；接着进入加强特征提取网络，将原有标准卷积更改为深度可分离卷积，在原有基础上减少了参数量与计算量，从而提升网络计算速度，使预测网络产生的检测结果更加的高效、精准。
综上所述，本发明实施例提出的基于全自动BLDC电机绕线机产品缺陷检测方法，改进后的YOLOv4主干网络为ShuffleNetv2轻量化网络，根据全自动 BLDC电机绕线机缺陷产品检测实际需求，对ShuffleNetv2网络进行改进，其中卷积层为深度可分离卷积，轻量化网络中的Resblock-body中的ResNet模块替换为DRSN模块。经过以上改进，可以大幅度降低网络参数，减少计算量，提高检测的速度与精度，同时增强深度学习网络从含噪图像中提取特征的能力，解决人为检测时缺失的实时性及准确性问题。
虽然本发明已以较佳实施例披露如上，但本发明并非限定于此。任何本领域技术人员，在不脱离本发明的精神和范围内，均可作各种变动与修改，因此本发明的保护范围应当以权利要求所限定的范围为准。

Claims (10)

1.基于机器视觉的全自动BLDC电机绕线机产品缺陷检测方法，其特征在于，包括以下步骤：
S1：选取全自动BLDC电机绕线机缺陷产品图像数据，构建全自动BLDC电机绕线机缺陷产品数据集；
S2：对缺陷产品数据集进行预处理，得到预处理数据集，并将其按VOC格式划分为训练集、测试集和验证集；
S3：将ShuffleNet网络作为主干网络，构建轻量化改进的YOLOv4网络；
S4：使用预处理数据集对改进的YOLOv4网络进行训练，得到缺陷检测网络；
S5：将全自动BLDC电机绕线机产品数据输入缺陷检测网络，得到产品的缺陷检测结果。
2.根据权利要求1所述的基于机器视觉的全自动BLDC电机绕线机产品缺陷检测方法，其特征在于，所述步骤S1选取的全自动BLDC电机绕线机缺陷产品图像，包括全自动BLDC电机绕线机产品线圈的凸起图像、飞出图像、断线图像和跨线图像。
3.根据权利要求1所述的基于机器视觉的全自动BLDC电机绕线机产品缺陷检测方法，其特征在于，所述步骤S2对步骤S1中选取的缺陷产品数据集进行预处理，得到预处理数据集，并按VOC格式进行数据集划分，具体包括以下步骤：
(1)图片筛选，对选取的缺陷产品图片进行筛选，保留满足输入尺寸要求的缺陷产品图片；
(2)图片增强，为了避免缺陷产品数据集过小使训练的网络模型出现过拟合现象，需要对缺陷产品图片采取数据增强的方法提高模型的鲁棒性和泛化能力。常用数据扩充发对缺陷图像进行数据增强，例如：更改图像曝光度、饱和度、色度以及位置旋转变换；
(3)缺陷标注，对筛选、增强后的缺陷图片使用labelImg软件进行缺陷标签标注，包括凸起、飞出、断线、跨线；
(4)数据集划分，将标注后的预处理数据集按照VOC数据格式，依据7∶2∶1比例，划分为训练集、测试集和验证集。
4.根据权利要求1所述的基于机器视觉的全自动BLDC电机绕线机产品缺陷检测方法，其特征在于，所述步骤S3改进YOLOv4网络具体为：
改进后的YOLOv4主干网络为ShuffleNet网络，加强特征提取网络中的卷积层为深度可分离卷积，网络中激活函数为Mish激活函数，并对其轻量化网络中的Resblock-body模块进行相应改进。
5.根据权利要求4所述的基于机器视觉的全自动BLDC电机绕线机产品缺陷检测方法，其特征在于，ShuffleNet网络为ShuffleNetv2网络，ShuffleNetv2优势在于引入了逐点分组卷积与通道混洗。
标准卷积过程中参数量为：
Cin×K×K×Cout (1)
分组卷积的参数量为：
Figure FDA0003435508290000011
上式中，Cin为输入通道数，Cout为输出通道数，K×K为卷积核的大小，G为分组数量，对比式(1)和式(2)，分组卷积可将参数量减少为原来的1/G。
6.根据权利要求4所述的基于机器视觉的全自动BLDC电机绕线机产品缺陷检测方法，其特征在于，深度可分离卷积＝深度卷积+逐点卷积，与标准卷积相比参数量更少，计算速度快。
标准卷积的乘法计算量为：
H×W×Cin×Cout×K×K (3)
标准卷积的参数量为：
Cin×Cout×K×K (4)
深度可分离卷积的总乘法计算量为：
H×W×Cin×K×K+H×W×Cin×Cout (5)
深度可分离卷积的参数量为：
Cout×K×K+Cin×Cout×K×K (6)
深度可分离卷积可将传统卷积的计算量压缩为：
Figure FDA0003435508290000021
上式中，H×W为输出feature map的空间大小，由式(7)可知，计算速度约为传统卷积的1/K2。
7.根据权利要求4所述的基于机器视觉的全自动BLDC电机绕线机产品缺陷检测方法，其特征在于，网络中激活函数为Mish激活函数，Mish激活函数是光滑函数，具有较好的泛化能力和结果的有效优化能力，可以提高结果的质量，
公式如下：
Mish＝x*tanh(ln(1+ex)) (8)
其导数为：
Figure FDA0003435508290000022
ω＝4(x+1)+4e2x+e3x+ex(4x+6) (10)
δ＝2ex+e2x+2 (11) 。
8.根据权利要求4所述的基于机器视觉的全自动BLDC电机绕线机产品缺陷检测方法，其特征在于，将Resblock-body中的ResNet模块替换为DRSN模块。残差收缩网络为深度学习+软阈值化+注意力机制，其中软阈值化是信号降噪算法的核心步骤，可以通过以下公式来实现：
Figure FDA0003435508290000031
其输出对于输入的导数为：
Figure FDA0003435508290000032
上式中，x为变量，y为输出量，τ为阈值，由式(13)可知，导数为0或1，可减小深度学习算法遭遇梯度弥散和梯度爆炸的风险。
9.根据权利要求1所述的基于机器视觉的全自动BLDC电机绕线机产品缺陷检测方法，其特征在于，所述步骤S4使用所述预处理数据集进行训练，具体包括以下步骤：
(1)采用所述训练集数据训练轻量化改进的YOLOv4网络，得到全自动BLDC电机绕线机产品缺陷检测网络；
(2)采用所述测试集评估所述全自动BLDC电机绕线机产品缺陷检测网络模型的性能；
(3)采用所述验证集对所述全自动BLDC电机绕线机产品缺陷检测网络模型的参数进行调整。
10.根据权利要求1所述的基于机器视觉的全自动BLDC电机绕线机产品缺陷检测方法，其特征在于，所述步骤S5：将全自动BLDC电机绕线机产品图像数据输入缺陷检测网络，得到产品的缺陷检测结果。
具体如下：选取全自动BLDC电机绕线机产品图像数据输入上述缺陷检测网络，经过主干网络ShuffleNetv2网络中的逐点分组卷积与通道混洗操作对图像进行轻量化处理；经过Resblock-body残差收缩网络中的注意力机制注意到产品重要的特征，将他们保留下来，接着经过软阈值化将“噪声”朝着零的方向进行收缩；进入加强特征提取网络，卷积层为深度可分离卷积，在原有基础上减少了参数量与计算量，从而提升网络计算速度，使预测网络产生的检测结果更加的高效、精准。
CN202111611195.XA 2021-12-27 2021-12-27 基于机器视觉的全自动bldc电机绕线机产品缺陷检测方法 Pending CN114240923A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111611195.XA CN114240923A (zh) 2021-12-27 2021-12-27 基于机器视觉的全自动bldc电机绕线机产品缺陷检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111611195.XA CN114240923A (zh) 2021-12-27 2021-12-27 基于机器视觉的全自动bldc电机绕线机产品缺陷检测方法

Publications (1)

Publication Number Publication Date
CN114240923A true CN114240923A (zh) 2022-03-25

Family

ID=80763326

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111611195.XA Pending CN114240923A (zh) 2021-12-27 2021-12-27 基于机器视觉的全自动bldc电机绕线机产品缺陷检测方法

Country Status (1)

Country Link
CN (1) CN114240923A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116168259A (zh) * 2023-04-26 2023-05-26 厦门微图软件科技有限公司 一种应用于oled点灯系统的自动缺陷分类算法
CN117524915A (zh) * 2024-01-08 2024-02-06 杭州广立微电子股份有限公司 网格状绕线薄弱点检测方法、装置和计算机设备

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116168259A (zh) * 2023-04-26 2023-05-26 厦门微图软件科技有限公司 一种应用于oled点灯系统的自动缺陷分类算法
CN116168259B (zh) * 2023-04-26 2023-08-08 厦门微图软件科技有限公司 一种应用于oled点灯系统的自动缺陷分类方法
CN117524915A (zh) * 2024-01-08 2024-02-06 杭州广立微电子股份有限公司 网格状绕线薄弱点检测方法、装置和计算机设备
CN117524915B (zh) * 2024-01-08 2024-05-14 杭州广立微电子股份有限公司 网格状绕线薄弱点检测方法、装置和计算机设备

Similar Documents

Publication Publication Date Title
CN106960195B (zh) 一种基于深度学习的人群计数方法及装置
CN114240923A (zh) 基于机器视觉的全自动bldc电机绕线机产品缺陷检测方法
CN111815605B (zh) 基于分步深度学习的轨枕缺陷检测方法及存储介质
CN110712202B (zh) 异形元器件抓取方法、装置、系统、控制装置及存储介质
CN111382785B (zh) 一种gan网络模型及实现样本自动清洗、辅助标记的方法
CN108664981A (zh) 显著图像提取方法及装置
WO2021238420A1 (zh) 图像去雾方法、终端及计算机存储介质
CN112926641A (zh) 基于多模态数据的三阶段特征融合旋转机械故障诊断方法
CN112819748B (zh) 一种带钢表面缺陷识别模型的训练方法及装置
CN112149694B (zh) 一种基于卷积神经网络池化模块的图像处理方法、系统、存储介质及终端
CN111881743B (zh) 一种基于语义分割的人脸特征点定位方法
CN112084911B (zh) 一种基于全局注意力的人脸特征点定位方法及系统
CN110349167A (zh) 一种图像实例分割方法及装置
CN115187820A (zh) 轻量化的目标检测方法、装置、设备、存储介质
CN111091122A (zh) 一种多尺度特征卷积神经网络的训练和检测方法、装置
CN110618129A (zh) 一种电网线夹自动检测与缺陷识别方法及装置
CN110659572A (zh) 基于双向特征金字塔的视频动作检测方法
CN116721057A (zh) 基于Transformer的缺陷检测方法及装置
CN114529534A (zh) 基于机器视觉的全自动空心杯电机绕线机产品缺陷检测方法
CN114511701A (zh) 温室果实识别方法及装置
CN112800952B (zh) 一种基于改进ssd算法的海洋生物识别方法及系统
CN112597794A (zh) 一种视频匹配的方法
CN111797782A (zh) 基于图像特征的车辆检测方法和系统
CN115641330B (zh) 一种基于图像处理的软性线路板缺陷检测方法及系统
KR102131243B1 (ko) 딥러닝 및 연결성 그래프에 기초한 식물 영역 추출 시스템 및 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination