CN113298857A - 一种基于神经网络融合策略的轴承缺陷检测方法 - Google Patents

一种基于神经网络融合策略的轴承缺陷检测方法 Download PDF

Info

Publication number
CN113298857A
CN113298857A CN202110551992.7A CN202110551992A CN113298857A CN 113298857 A CN113298857 A CN 113298857A CN 202110551992 A CN202110551992 A CN 202110551992A CN 113298857 A CN113298857 A CN 113298857A
Authority
CN
China
Prior art keywords
defect
bearing
defects
neural network
suspected
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110551992.7A
Other languages
English (en)
Inventor
陈旭东
郑军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Matrixtime Robotics Shanghai Co ltd
Original Assignee
Matrixtime Robotics Shanghai Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matrixtime Robotics Shanghai Co ltd filed Critical Matrixtime Robotics Shanghai Co ltd
Priority to CN202110551992.7A priority Critical patent/CN113298857A/zh
Publication of CN113298857A publication Critical patent/CN113298857A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
    • G01M13/00—Testing of machine parts
    • G01M13/04—Bearings
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Pathology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Immunology (AREA)
  • Quality & Reliability (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及轴承缺陷检测技术领域，尤其涉及一种基于神经网络融合策略的轴承缺陷检测方法，包括如下步骤：采集图像进行标注分类，并进行预处理；用标注文件和经过预处理的图像训练轴承缺陷检测器；设计两个网络并联结构，共同决策缺陷的位置和类别，把缺陷分成确定缺陷1和疑似缺陷；训练局部缺陷分类模型C，对疑似缺陷进行复判，然后综合三个模型进行疑似缺陷的决策，得到确认缺陷2；最后输出确认缺陷1和确认缺陷2。本发明使用了多网络的融合思想，包括多个检测网络的并联，加上分类网络的串联来共同决策检测的位置和类别，解决了单一网络无法覆盖所有缺陷的问题，并且该融合方案也可以兼顾过杀和漏检。

Description

一种基于神经网络融合策略的轴承缺陷检测方法
技术领域
本发明涉及轴承缺陷检测技术领域，尤其涉及一种基于神经网络融合策略的轴承缺陷检测方法。
背景技术
轴承的最早使用可以追溯到古埃及时代，而现在轴承的应用更是随处可见，应用领域小到门锁，零部件，大到汽车，设备，航空航天器等，同时某些应用领域上对轴承的质量有很高的要求。然而在轴承制造过程中，不管是原材料问题，还是工艺问题，都会使轴承产生各种表面缺陷和结构缺陷，所以对缺陷严重程度的评估变得很有价值。
目前市面上主要轴承缺陷检测的方案是人工检查，大零件通过肉眼辨别，小零件通过放大镜等辅助工具辨别，很难有比较细致的量化标准，绝大部分通过人为经验加主观决定。除此之外也有一些用传统图像处理的方案来检测，但是由于轴承样式多变，表面纹理非常重，遇到大轴承还有光照不均导致的检测面亮度差异大的问题，以上情况使得传统的图像处理算法存在兼容性差，并且缺陷检测效果层次不齐，无法做分类等等弊端。
随着深度学习的发展，近期也有一小部分用深度学习来检测的实例，比如用Faster RCNN或者YOLO等做目标检测，但是这些方案还处于初步阶段，都把轴承缺陷检测任务和自然场景物体检测任务同等处理，没有针对轴承特点进行设计，而且要求有大量的错误样本数据，加上单模型实际无法做到所有类型缺陷同时达到比较好的效果。所以目前在轴承缺陷检测上没有比较好的成熟方案。因此本发明提出了一种基于深度学习融合策略的检测方案，并且针对轴承的特点，对数据做针对性的处理和扩充，解决数据量不足的情况。本发明适用多种不同种类，不同大小的轴承缺陷检测和分类，兼容性强，可以覆盖常规的划伤，崩裂，缺角，污渍等缺陷类型。
发明内容
基于背景技术存在的技术问题，本发明提出了一种基于神经网络融合策略的轴承缺陷检测方法，使用了多网络的融合思想，包括多个检测网络的并联，加上分类网络的串联来共同决策检测的位置和类别，解决了现有技术中单一网络无法覆盖轴承所有缺陷的问题。
本发明提供如下技术方案：一种基于神经网络融合策略的轴承缺陷检测方法，包括如下步骤：
S1、采集带有缺陷的不同类型的轴承图像，对采集的图像进行标注分类，并对标注后的图像进行预处理；
S2、用标注文件和经过预处理的图像训练轴承缺陷检测器，定位缺陷位置和类别；其中轴承缺陷检测器采用两个不同类型的目标检测网络模型A和目标检测网络模型B的融合；设计两个网络并联结构，共同决策缺陷的位置和类别，把缺陷分成确定缺陷1和疑似缺陷；
S3、训练局部缺陷分类模型C，对疑似缺陷进行复判，训练得到的局部缺陷分类模型C对疑似缺陷进行分类，然后综合三个模型进行疑似缺陷的决策，得到确认缺陷2；
S4、最后输出确认缺陷1和确认缺陷2。
优选的，所述步骤S1中预处理包括：对轴承图像进行一个极坐标变换，进行极坐标变换后把轴承变换成矩形。
优选的，所述步骤S1中的预处理还包括：随机截取不同轴承上的缺陷区域图片，贴附在不同轴承的非缺陷背景上。
优选的，所述步骤S1中的预处理还包括：利用傅里叶变换把图像转换到频域上，利用滤波器对图像进行滤波来消除轴承图像上的纹理信息，之后用傅里叶变换把图像转回空间域，去除轴承的纹理，留下了表面缺陷和结构信息，最后做一个对比度拉伸再次突出缺陷的特征。
优选的，所述滤波器差分滤波器，用于滤除轴承的重复纹理对应的频率部分，只留下缺陷部分。
优选的，所述步骤S2中最终输出的是确定缺陷1和疑似缺陷的位置和类别的置信度。
本发明提供了一种基于神经网络融合策略的轴承缺陷检测方法，使用了多网络的融合思想，包括多个检测网络的并联，加上分类网络的串联来共同决策检测的位置和类别，解决了单一网络无法覆盖所有缺陷的问题，并且该融合方案也可以兼顾过杀和漏检。
附图说明
图1为本发明整体方案的流程图；
图2为本发明轴承图像预处理流程图；
图3为本发明平面光轴承检测效果图；
图4为本发明高角度光轴承局部检测效果图；
图5为本发明组合光轴承局部检测效果图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，本发明提供一种技术方案：一种基于神经网络融合策略的轴承缺陷检测方法，包括如下步骤：
S1、采集带有缺陷的不同类型的轴承图像，数量为几百张(数量可根据需求调整)，对采集的图像进行常规的标注分类，用矩形正框进行标注。对采集的图像进行标注分类，并对标注后的图像进行预处理；
如图2所示，预处理包括：
对轴承图像进行一个极坐标变换，由于轴承基本是圆形，实验结果发现圆形图案上的缺陷检测效果不佳，进行极坐标变换后把轴承变换成了矩形。
随机截取不同轴承上的缺陷区域图片，贴附在不同轴承的非缺陷背景上，此方法可以有效的增加负样本数据量，一定程度解决小样本问题。因为现有缺陷样本数量很少，而神经网络是建立在大数据下，所以通过人为的把缺陷贴到背景上，一方面增加了样本数量，另一方面让网络见更多不同背景下的缺陷，有利于网络的学习。
利用傅里叶变换把图像转换到频域上，设计一个特殊的滤波器对图像进行滤波用来消除轴承图像上的纹理信息，此处特殊的滤波器是根据当前图像的特点来确定的，比如该实验中，为了去除重复的纹理，设计了一个差分滤波器，滤除重复纹理对应的频率部分，只留下缺陷部分。
之后用傅里叶变换把图像转回空间域，去除轴承的纹理，留下了表面缺陷和结构信息，最后做一个对比度拉伸，再次突出缺陷的特征。对比度拉伸的方法有很多，比如直方图均衡化，拉普拉斯锐化，Log变化等，该实验中使用的是直方图均衡化。
S2、用标注文件和经过预处理的图像训练轴承缺陷检测器，定位缺陷位置和类别；其中轴承缺陷检测器采用两个不同类型的目标检测网络模型A和目标检测网络模型B的融合；设计两个网络并联结构，共同决策缺陷的位置和类别，把缺陷分成确定缺陷1和疑似缺陷；
本发明用的是融合策略，前面阶段是目标检测网络的融合，网络选择比较多，本实验中使用的是yolov4和改进版faster RCNN，结构完全不同的网络融合效果会比较好。
用标注文件和上述经过预处理的图像对两个网络进行训练(训练中还是有常规的数据增强，比如翻转，旋转等)，主干网络可根据效果随意选择，最终得到两个网络的检测模型。
根据实验结果，设计两个网络并联结构，共同决策缺陷的位置和类别，最后把缺陷分成确定缺陷和疑似缺陷。疑似缺陷，留待下一个分类网络复判。最终该部分输出的是确定缺陷和疑似缺陷的位置和类别的置信度。
S3、训练局部缺陷分类模型C，对疑似缺陷进行复判，训练得到的局部缺陷分类模型C对疑似缺陷进行分类，然后综合三个模型进行疑似缺陷的决策，得到确认缺陷2；
分类网络包括但不限于ResNet系列，Inception系列，本实验中使用的是ResNet18。训练得到的分类模型对疑似缺陷进行分类，然后综合三个网络的进行疑似缺陷的决策。
S4、最后输出确认缺陷1和确认缺陷2。
如图3所示的平面光轴承检测效果图；图4所示的高角度光轴承局部检测效果图；以及图5所示的组合光轴承局部检测效果图。图中的矩形框采用蓝色或其他显眼的颜色，且矩形框上还附带有缺陷的分类标注。
本发明中，针对轴承图像的特点(圆形，全图纹理比较重)，设计了一套全新的图像预处理方案，包括极坐标变换和傅里叶变换去纹理，使得检测效果有了比较大的提升。
使用局部缺陷抠图，随机贴敷的方式，解决了小样本数据量不足的问题。
使用了多网络的融合思想，包括多个检测网络的并联，加上分类网络的串联来共同决策检测的位置和类别，解决了单一网络无法覆盖所有缺陷的问题，并且该融合方案也可以兼顾过杀和漏检。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

Claims (6)

1.一种基于神经网络融合策略的轴承缺陷检测方法，其特征在于：包括如下步骤：
S1、采集带有缺陷的不同类型的轴承图像，对采集的图像进行标注分类，并对标注后的图像进行预处理；
S2、用标注文件和经过预处理的图像训练轴承缺陷检测器，定位缺陷位置和类别；其中轴承缺陷检测器采用两个不同类型的目标检测网络模型A和目标检测网络模型B的融合；设计两个网络并联结构，共同决策缺陷的位置和类别，把缺陷分成确定缺陷1和疑似缺陷；
S3、训练局部缺陷分类模型C，对疑似缺陷进行复判，训练得到的局部缺陷分类模型C对疑似缺陷进行分类，然后综合三个模型进行疑似缺陷的决策，得到确认缺陷2；
S4、最后输出确认缺陷1和确认缺陷2。
2.根据权利要求1所述的一种基于神经网络融合策略的轴承缺陷检测方法，其特征在于：所述步骤S1中预处理包括：对轴承图像进行一个极坐标变换，进行极坐标变换后把轴承变换成矩形。
3.根据权利要求1或2所述的一种基于神经网络融合策略的轴承缺陷检测方法，其特征在于：所述步骤S1中的预处理还包括：随机截取不同轴承上的缺陷区域图片，贴附在不同轴承的非缺陷背景上。
4.根据权利要求1或2所述的一种基于神经网络融合策略的轴承缺陷检测方法，其特征在于：所述步骤S1中的预处理还包括：利用傅里叶变换把图像转换到频域上，利用滤波器对图像进行滤波来消除轴承图像上的纹理信息，之后用傅里叶变换把图像转回空间域，去除轴承的纹理，留下了表面缺陷和结构信息，最后做一个对比度拉伸再次突出缺陷的特征。
5.根据权利要求4所述的一种基于神经网络融合策略的轴承缺陷检测方法，其特征在于：所述滤波器差分滤波器，用于滤除轴承的重复纹理对应的频率部分，只留下缺陷部分。
6.根据权利要求1所述的一种基于神经网络融合策略的轴承缺陷检测方法，其特征在于：所述步骤S2中最终输出的是确定缺陷1和疑似缺陷的位置和类别的置信度。
CN202110551992.7A 2021-05-20 2021-05-20 一种基于神经网络融合策略的轴承缺陷检测方法 Pending CN113298857A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110551992.7A CN113298857A (zh) 2021-05-20 2021-05-20 一种基于神经网络融合策略的轴承缺陷检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110551992.7A CN113298857A (zh) 2021-05-20 2021-05-20 一种基于神经网络融合策略的轴承缺陷检测方法

Publications (1)

Publication Number Publication Date
CN113298857A true CN113298857A (zh) 2021-08-24

Family

ID=77323108

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110551992.7A Pending CN113298857A (zh) 2021-05-20 2021-05-20 一种基于神经网络融合策略的轴承缺陷检测方法

Country Status (1)

Country Link
CN (1) CN113298857A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113838033A (zh) * 2021-09-24 2021-12-24 东莞市诺丽电子科技有限公司 一种列车车轮踏面擦伤图像检测方法及图像检测系统
WO2023036557A1 (en) * 2021-09-08 2023-03-16 Aktiebolaget Skf Device for predicting the evolution of a defect of a bearing, associated system and method

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023036557A1 (en) * 2021-09-08 2023-03-16 Aktiebolaget Skf Device for predicting the evolution of a defect of a bearing, associated system and method
CN113838033A (zh) * 2021-09-24 2021-12-24 东莞市诺丽电子科技有限公司 一种列车车轮踏面擦伤图像检测方法及图像检测系统

Similar Documents

Publication Publication Date Title
CN113450307B (zh) 一种产品边缘缺陷检测方法
CN111325713B (zh) 基于神经网络的木材缺陷检测方法、系统及存储介质
CN112927189B (zh) 一种电镀工件表面瑕疵视觉检测中边缘反射光斑剔除方法
CN108562589B (zh) 一种对磁路材料表面缺陷进行检测的方法
CN106650770B (zh) 一种基于样本学习和人眼视觉特性的mura缺陷检测方法
CN108765402B (zh) 无纺布缺陷检测与分类方法
CN111223093A (zh) 一种aoi缺陷检测方法
CN109615604B (zh) 基于图像重构卷积神经网络的零件外观瑕疵检测方法
CN108665458A (zh) 透明体表面缺陷提取及识别方法
CN113706490B (zh) 一种晶片缺陷检测方法
CN110555831B (zh) 一种基于深度学习的排水管道缺陷分割方法
CN109801286B (zh) 一种lcd导光板的表面缺陷检测方法
CN106096613A (zh) 基于角点特征的图像多目标检测方法及装置
CN113298857A (zh) 一种基于神经网络融合策略的轴承缺陷检测方法
CN112991271B (zh) 基于改进yolov3的铝型材表面缺陷视觉检测方法
CN106934801A (zh) 一种基于Laws纹理滤波的荧光磁粉缺陷自动识别方法
CN116612106A (zh) 一种基于yolox算法的光学元件表面缺陷检测方法
CN116205876A (zh) 基于多尺度标准化流的无监督笔记本外观缺陷检测方法
CN115908354A (zh) 一种基于双尺度策略和改进的yolov5网络的光伏面板缺陷检测方法
CN114841957A (zh) 一种基于深度学习的钢板表面缺陷检测方法
CN112614113A (zh) 一种基于深度学习的带钢缺陷检测方法
CN112179846A (zh) 一种基于改进Faster R-CNN的预制凸窗缺陷检测系统
CN114897815A (zh) 基于人工智能的编织袋表面缺陷在线检测方法
CN114092441A (zh) 一种基于双重神经网络的产品表面缺陷检测方法及系统
CN115205184A (zh) 一种瓶盖瑕疵检测方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination