CN109584228A - 基于二值图像和模型迁移学习的转子绕线图像检测方法 - Google Patents

基于二值图像和模型迁移学习的转子绕线图像检测方法 Download PDF

Info

Publication number
CN109584228A
CN109584228A CN201811430291.2A CN201811430291A CN109584228A CN 109584228 A CN109584228 A CN 109584228A CN 201811430291 A CN201811430291 A CN 201811430291A CN 109584228 A CN109584228 A CN 109584228A
Authority
CN
China
Prior art keywords
image
model
training
rotor winding
transfer learning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811430291.2A
Other languages
English (en)
Inventor
陈刚
贾友彬
张小国
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Southeast University
Original Assignee
Southeast University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Southeast University filed Critical Southeast University
Priority to CN201811430291.2A priority Critical patent/CN109584228A/zh
Publication of CN109584228A publication Critical patent/CN109584228A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Quality & Reliability (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于二值图像和模型迁移学习的转子绕线图像检测方法，根据RGB特征将转子绕线训练集图像进行二值化操作，并对二值图像进行去干扰处理，得到转子绕线二值图像构成的训练集；利用ImageNet数据集对Inception‑V3模型进行预训练，得到预训练模型；利用转子绕线二值图像构成的训练集对预训练模型的全连接层进行微调，得到最终的模型；利用最终的模型对根据RGB特征二值化后的待测图像进行检测，进而实现对待测图像的精确检测，与现有技术相比，本发明通过综合二值化图像与迁移学习两种方法，有效地避免了背景和光照因素对检测精度的影响，也解决了训练样本不足的问题，缩短了检测时间并提高了检测准确率。

Description

基于二值图像和模型迁移学习的转子绕线图像检测方法
技术领域
本发明涉及数字图像处理与视觉检测方法，针对转子挂钩处的绕线形态提供了一种检测方法，具体的说，涉及一种基于二值图像和模型迁移学习的转子绕线图像检测方法。
背景技术
随着我国工业自动化与智能化水平的不断提升，电机作为能实现电能转换为机械能的关键产品，被广泛地应用于工业、农业等领域的大型机电设备中，甚至是电梯、冰箱、空调等通用设备中去，随之而来的是，作为电机转动系统的核心部件——转子，其需求量亦在不断增长。
在转子生产过程中，其挂钩处需要和铜丝线环绕，由于操作的不规范性与铜丝自身属性限制，挂钩处易出现断线、漏挂等问题，进而影响产品质量。目前这一环节主要依靠人工抽检，受外界环境干扰与人自身疲劳等因素的影响，检测效率较低，因而，结合目前生产的实际需求，立足于我国数字图像处理与视觉检测方法的现状，如何快速而又准确地检测出挂钩处绕线的合格性成为亟待解决的问题，对城市政治经济、科学技术等方面的发展意义重大。
近年来，卷积神经网络(CNN)已经成功地应用于图像识别，但是它需要大量的标记样本，并且要求目标数据集和源数据集之间几乎没有数据集偏差(由转子绕线图像的背景和光照不同导致)。利用CNN识别转子绕线的难点在于不同类型转子的绕线图像数据存在较大的数据集偏差，标记样本有限。我们提出了一种新的基于模型的迁移学习方法来应对这些挑战。为了解决数据集偏差的问题，提出了一种新的图像二值化方法来获得二值转子绕线图像。使用二值图像训练和测试模型可以显著减少数据集偏差的干扰。同时，我们提出了基于模型的转移学习模型构建方法，该方法基于使用ImageNet数据集训练的Inception-V3模型，用于解决有限标记样本的问题。对比实验表明，用二值图像训练和测试的基于模型的传递学习模型明显优于现有的其他模型，能够实现转子图像的稳定和准确检测。
发明内容
发明目的：本发明的目的在于解决现有的转子绕线图像的检测精度受背景和光照因素的影响，并且存在训练样本不足的问题。本文针对这些问题提出了一种基于二值图像和模型迁移学习的转子绕线图像检测方法，有效地避免了背景和光照因素对检测精度的影响，同时也避免了训练样本不足的问题，实现了转子绕线的自动化和高精度检测。
技术方案：为解决上述问题，本发明提供以下技术方案：
本发明正是针对转子挂钩处的绕线形态进行研究，通过将待测挂线区域图像进行二值化处理并将ImageNet数据集训练的Inception-V3模型迁移到转子绕线图像的数据集上，进而实现转子图像的自动检测。针对待测图像的检测精度受背景和光照因素的影响以及训练样本不足的问题，本文提出了一种基于二值图像和模型迁移学习的转子绕线图像检测方法，有效地避免了背景和光照因素对检测精度的影响，同时也避免了训练样本不足的问题。
技术方案：为实现上述目的，本发明提供以下技术方案：一种基于二值图像和模型迁移学习的转子绕线图像检测方法，具体包括如下步骤：
S1：根据RGB特征将转子绕线训练集图像进行二值化操作，并对二值化图像进行去干扰处理，得到转子绕线二值图构成的训练集；
S2：利用ImageNet数据集对Inception-V3模型进行预训练，并保存模型，得到预训练模型；
S3：利用转子绕线二值图构成的训练集对预训练模型的全连接层进行微调，得到最终的模型；
S4：利用最终的模型对根据RGB特征二值化的待测图像进行检测，进而实现待测图像的精确检测。
进一步地，所述S1中干扰处理是根据彩色图像每个像素的RGB值的特征对RGB值分别进行二值化，得到三通道的二值图像。
由于模型的输入图像要求是三通道的图像，因此并不对二值化之后的图像进行灰度化处理。
进一步地，所述S1中二值化干扰处理是采用公式(1)对RGB的值进行二值化，
其中，VR代表R通道的像素值，VG代表G通道的像素值，VB代表B通道的像素值。
进一步地，所述S1中对二值化图像进行去干扰处理，从区域质心坐标与面积两方面对干扰区域进行筛选。
进一步地，所述S2中Inception-V3模型经ImageNet训练之后，保存训练之后的所有模型参数和模型图结构，得到预训练模型。
进一步地，所述S3中的模型训练过程为只对Inception-V3预训练模型的全连接层的参数进行微调，其他参数保持不变，且训练数据集是二值图，训练之后保存所有模型参数和模型图结构，得到最终模型。
本申请采用的转子绕线训练集大小为2400，且转子绕线的训练集和检测样本需要二值化， ImageNet并不是转子绕线的图像，ImageNet不需要二值化。
进一步地，所述S4中的检测过程为，先要将待测的转子绕线图像根据RGB值的特征进行二值化，之后用保存的最终模型对二值化之后的待测转子绕线图像进行检测。
有益效果：与现有技术相比，本发明提出了一种基于二值图像和模型迁移学习的转子绕线图像检测方法，通过综合二值化图像与迁移学习两种方法，实现了两种方法的能力结合，有效地避免了背景和光照因素对检测精度的影响，同时也避免了训练样本不足的问题。缩短了检测时间和提高了检测准确率；同时也减轻了人工抽检的工作频率和劳动强度，减少了外界的干扰因素，工作效率更高，准确性更强。
附图说明
图1为本发明方法的流程示意图；
图2为本发明待测图像的原图；
图3为本发明步骤S1二值化后样本图像；
图4为本发明步骤S1二值化优化后样本二值图。
具体实施方式
以下将结合附图和实施例，对本发明进行较为详细的说明。
实施例1
一种基于二值图像和模型迁移学习的转子绕线图像检测方法，图如1所示，具体包括如下步骤：
S1：根据RGB特征将转子绕线训练集图像进行二值化操作，并对二值化图像进行去干扰处理，得到转子绕线二值图构成的训练集；
S2：利用ImageNet数据集对Inception-V3模型进行预训练，并保存模型，得到预训练模型；
S3：利用转子绕线二值图构成的训练集对预训练模型的全连接层进行微调，得到最终的模型；
S4：利用最终的模型对根据RGB特征二值化的待测图像进行检测，进而实现待测图像的精确检测。
在本实施例中，所述S1中二值化预处理操作是根据彩色图像每个像素的RGB值的特征对RGB值分别进行二值化，最终得到三通道的二值图像，由于模型的输入图像要求是三通道的图像，因此并不对二值化之后的图像进行灰度化处理。
对于如图2所示的转子绕线图像，所述S1中二值化预处理操作是采用公式(1)对RGB 的值进行二值化，对于彩色图像中的每个像素：
其中，VR代表R通道的像素值，VG代表G通道的像素值，VB代表B通道的像素值，由此得到如图3所示的三通道的二值化图像。
如图4所示，所述S1中二值化预处理操作，在二值化图像后，从区域质心坐标与面积两方面对干扰区域进行筛选。如果二值化之后的区域质心在图像的左下角或者右下角，则将此区域当作干扰区域去除；并且，如果区域面积小于10个像素则将此区域当作干扰区域去除。
在本实施例中，所述S2中Inception-V3模型经ImageNet数据集训练之后，模型的卷积层可以提取具有共性的图像特征，因此可以直接应用于对转子绕线图像的特征提取，可以得到比较好的特征表达。然而全连接层是根据ImageNet的分类进行训练的，不适合应用于转子绕线图像的分类，因此全连接层需要用转子绕线图像进行再训练，微调全连接层的网络参数，以达到对转子绕线图像进行分类的目的。我们首先保存训练之后的所有模型参数和模型图结构，得到预训练模型。
表1 Inception-V3模型结构
如表1所示，所述S3中的利用转子绕线图像对模型进行的训练过程，采用随机梯度下降法，学习率设置为0.01，只对Inception-V3预训练模型的全连接层的参数进行微调，其他参数保持不变，且训练数据集是由二值化之后的转子绕线图像构成的，训练样本个数是2400 个，其中正负样本的个数各有1200个，训练之后保存所有模型参数和模型图结构，得到最终模型。
在本实施例中，所述S4中的检测过程为，先要将待测的转子绕线图像根据RGB值的特征进行二值化，之后用保存的最终模型对二值化之后的待测转子绕线图像进行检测。
与现有技术相比，本发明通过综合二值化图像与迁移学习两种方法，实现了两种方法的能力结合，有效地避免了背景和光照因素对检测精度的影响，同时也避免了训练样本不足的问题。缩短了检测时间和提高了检测准确率；同时也减轻了人工抽检的工作频率和劳动强度，减少了外界的干扰因素，工作效率更高，准确性更强。
以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实例的限制，上述实例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等同物界定。

Claims (7)

1.一种基于二值图像和模型迁移学习的转子绕线图像检测方法，其特征在于，具体包括如下步骤：
S1：根据RGB特征将转子绕线训练集图像进行二值化操作，并对二值化图像进行去干扰处理，得到转子绕线二值图构成的训练集；
S2：利用ImageNet数据集对Inception-V3模型进行预训练，并保存模型，得到预训练模型；
S3：利用转子绕线二值图构成的训练集对预训练模型的全连接层进行微调，得到最终的模型；
S4：利用最终的模型对根据RGB特征二值化的待测图像进行检测，进而实现待测图像的精确检测。
2.根据权利要求1所述的基于二值图像和模型迁移学习的转子绕线图像检测方法，其特征在于：所述S1中干扰处理是根据彩色图像每个像素的RGB值的特征对RGB值分别进行二值化，得到三通道的二值图像。
3.根据权利要求2所述的基于二值图像和模型迁移学习的转子绕线图像检测方法，其特征在于：所述S1中二值化干扰处理是采用公式(1)对RGB的值进行二值化，
其中，VR代表R通道的像素值，VG代表G通道的像素值，VB代表B通道的像素值。
4.根据权利要求2所述的基于二值图像和模型迁移学习的转子绕线图像检测方法，其特征在于：所述S1中对二值化图像进行去干扰处理，从区域质心坐标与面积两方面对干扰区域进行筛选。
5.根据权利要求1所述的基于二值图像和模型迁移学习的转子绕线图像检测方法，其特征在于：所述S2中Inception-V3模型经ImageNet训练之后，保存训练之后的所有模型参数和模型图结构，得到预训练模型。
6.根据权利要求1所述的基于二值图像和模型迁移学习的转子绕线图像检测方法，其特征在于：所述S3中的模型训练过程为只对Inception-V3预训练模型的全连接层的参数进行微调，其他参数保持不变，且训练数据集是二值图，训练之后保存所有模型参数和模型图结构，得到最终模型。
7.根据权利要求1所述的基于二值图像和模型迁移学习的转子绕线图像检测方法，其特征在于：所述S4中的检测过程为，先要将待测的转子绕线图像根据RGB值的特征进行二值化，之后用保存的最终模型对二值化之后的待测转子绕线图像进行检测。
CN201811430291.2A 2018-11-27 2018-11-27 基于二值图像和模型迁移学习的转子绕线图像检测方法 Pending CN109584228A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811430291.2A CN109584228A (zh) 2018-11-27 2018-11-27 基于二值图像和模型迁移学习的转子绕线图像检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811430291.2A CN109584228A (zh) 2018-11-27 2018-11-27 基于二值图像和模型迁移学习的转子绕线图像检测方法

Publications (1)

Publication Number Publication Date
CN109584228A true CN109584228A (zh) 2019-04-05

Family

ID=65924681

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811430291.2A Pending CN109584228A (zh) 2018-11-27 2018-11-27 基于二值图像和模型迁移学习的转子绕线图像检测方法

Country Status (1)

Country Link
CN (1) CN109584228A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114549296A (zh) * 2022-04-21 2022-05-27 北京世纪好未来教育科技有限公司 图像处理模型的训练方法、图像处理方法及电子设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103048135A (zh) * 2012-12-15 2013-04-17 新昌县冠阳技术开发有限公司 一种柔性转子滚动轴承基础系统多故障耦合实验器及故障辨识方法
CN107230200A (zh) * 2017-05-15 2017-10-03 东南大学 一种提取电机转子中线圈轮廓特征的方法
CN108734706A (zh) * 2018-05-21 2018-11-02 东南大学 一种融合区域分布特性与边缘尺度角度信息的转子绕线图像检测方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103048135A (zh) * 2012-12-15 2013-04-17 新昌县冠阳技术开发有限公司 一种柔性转子滚动轴承基础系统多故障耦合实验器及故障辨识方法
CN107230200A (zh) * 2017-05-15 2017-10-03 东南大学 一种提取电机转子中线圈轮廓特征的方法
CN108734706A (zh) * 2018-05-21 2018-11-02 东南大学 一种融合区域分布特性与边缘尺度角度信息的转子绕线图像检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
YOUBIN JIA等: "Rotor Winding Image Detection Method Based on Model-based Transfer Learning", 《2018 IEEE 9TH INTERNATIONAL CONFERENCE ON SOFTWARE ENGINEERING AND SERVICE SCIENCE (ICSESS)》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114549296A (zh) * 2022-04-21 2022-05-27 北京世纪好未来教育科技有限公司 图像处理模型的训练方法、图像处理方法及电子设备
CN114549296B (zh) * 2022-04-21 2022-07-12 北京世纪好未来教育科技有限公司 图像处理模型的训练方法、图像处理方法及电子设备

Similar Documents

Publication Publication Date Title
CN111612763B (zh) 手机屏幕缺陷检测方法、装置及系统、计算机设备及介质
CN106875373B (zh) 基于卷积神经网络剪枝算法的手机屏幕mura缺陷检测方法
CN108052980B (zh) 基于图像的空气质量等级检测方法
CN103776841B (zh) 合成革缺陷自动检测装置及检测方法
WO2022236876A1 (zh) 一种玻璃纸缺陷识别方法、系统、装置及存储介质
CN111402226A (zh) 一种基于级联卷积神经网络的表面疵点检测方法
CN109859207B (zh) 一种高密度柔性基板的缺陷检测方法
CN109376792A (zh) 基于多通道残差神经网络的光伏电池外观缺陷分类方法
CN110455822A (zh) 一种pcb板缺陷的检测方法
CN104574389A (zh) 基于彩色机器视觉的电池片色差分选控制方法
CN111127360B (zh) 一种基于自动编码器的灰度图像迁移学习方法
CN110530875A (zh) 一种基于深度学习的fpcb外观缺陷自动检测算法
WO2018010386A1 (zh) 元件反件检测方法和系统
CN110032928A (zh) 一种适用于颜色敏感的卫星遥感影像水体识别方法
CN104952754A (zh) 基于机器视觉的镀膜后硅片分选方法
CN111103307A (zh) 一种基于深度学习的pcb板缺陷检测方法
CN111652846B (zh) 一种基于特征金字塔卷积神经网络的半导体缺陷识别方法
CN103903009A (zh) 一种基于机器视觉的工业品检测方法
CN109584228A (zh) 基于二值图像和模型迁移学习的转子绕线图像检测方法
CN111091534A (zh) 一种基于目标检测的pcb板缺陷检测与定位方法
CN116843615B (zh) 一种基于柔性光路的引线框架智能全检方法
CN112364780A (zh) 一种指示灯状态识别方法
CN108734706B (zh) 一种融合区域分布特性与边缘尺度角度信息的转子绕线图像检测方法
CN116091818B (zh) 基于多神经网络级联模型的指针式仪表读数识别方法
CN114841218B (zh) 一种语音啸叫检测算法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20190405