CN116051541B - 基于频闪光源的轴承端面平缓磨伤检测方法及装置 - Google Patents

基于频闪光源的轴承端面平缓磨伤检测方法及装置 Download PDF

Info

Publication number
CN116051541B
CN116051541B CN202310200870.2A CN202310200870A CN116051541B CN 116051541 B CN116051541 B CN 116051541B CN 202310200870 A CN202310200870 A CN 202310200870A CN 116051541 B CN116051541 B CN 116051541B
Authority
CN
China
Prior art keywords
face
bearing end
images
bearing
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310200870.2A
Other languages
English (en)
Other versions
CN116051541A (zh
Inventor
马璞璠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Deep Vision Technology Co ltd
Original Assignee
Hangzhou Deep Vision Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Deep Vision Technology Co ltd filed Critical Hangzhou Deep Vision Technology Co ltd
Priority to CN202310200870.2A priority Critical patent/CN116051541B/zh
Publication of CN116051541A publication Critical patent/CN116051541A/zh
Application granted granted Critical
Publication of CN116051541B publication Critical patent/CN116051541B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/01—Arrangements or apparatus for facilitating the optical investigation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/141—Control of illumination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/145—Illumination specially adapted for pattern recognition, e.g. using gratings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10152—Varying illumination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/06—Recognition of objects for industrial automation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Pathology (AREA)
  • Computing Systems (AREA)
  • Biochemistry (AREA)
  • Software Systems (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Immunology (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Signal Processing (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

本发明公开了基于频闪光源的轴承端面平缓磨伤检测方法及装置，基于平面光源下的轴承端面成像，进行轴承端面的边缘定位，确定视觉检测感兴趣区域；采用频闪环形光对轴承端面进行多角度高频照射，基于不同角度光线的轴承端面图像和感兴趣区域，进行有效检测区域分割，根据有效检测区域图像整体方差和前后图像的差分图，基于不同角度光照的图像之间灰度信息的差异进行特征融合，得到融合特征图；基于融合特征图构建深度学习数据集，通过目标检测模型进行轴承端面平缓磨伤检测训练，将训练好的目标检测模型用于轴承端面平缓磨伤检测，从而提高轴承端面平缓磨伤的检测精度，实现轻微平缓磨伤缺陷的检测。

Description

基于频闪光源的轴承端面平缓磨伤检测方法及装置
技术领域
本发明属于图像处理和轴承图像检测，具体涉及基于频闪光源的轴承端面平缓磨伤检测方法及装置。
背景技术
在生产轴承等产品时，由于在产线上的流转，检测面会有不同方向和程度的划痕；而磨伤缺陷的垂直表面特征和表面的细微划痕非常相似。
磨伤缺陷区别于正常品的特征是：磨加工时产品位置偏，导致低于正常平面同时又比较平缓的缺陷。
人工检测时，需要使检测台日光灯斜方向照射，然后人眼通过侧方向可以看到缺陷位置，但是对检验员经验要求很高，且容易漏检。
已有的视觉检测技术，一般使用正面散射光得到均匀亮度的图像，识别表面脏污锈迹和严重磕碰等图像中灰度变化明显的缺陷。对于磨伤较为严重的产品，在正面均匀光照下能够看到小部分纹路，但无法准确区分缺陷和产品纹理；当磨伤缺陷角度较小、纹路更平缓时就无法识别。
因此亟需研究一种能够有效检测轴承端面平缓磨伤的视觉检测技术。
发明内容
为解决现有技术的不足，通过设计不同的光源方案模拟人工检测，使缺陷较为明显地在图像中呈现，实现轻微平缓磨伤缺陷检测的目的，本发明采用如下的技术方案：
基于频闪光源的轴承端面平缓磨伤检测方法，包括如下步骤：
步骤S1：基于平面光源下的轴承端面成像，进行轴承端面的边缘定位，确定视觉检测感兴趣区域；
步骤S2：采用频闪环形光对轴承端面进行多角度高频照射，基于不同角度光线的轴承端面图像和感兴趣区域，进行有效检测区域分割，根据有效检测区域图像整体方差和前后图像的差分图，基于不同角度光照的图像之间灰度信息的差异进行特征融合，得到融合特征图；
步骤S3：基于融合特征图构建深度学习数据集，通过目标检测模型进行轴承端面平缓磨伤检测训练，将训练好的目标检测模型用于轴承端面平缓磨伤检测。
进一步地，所述步骤S1包括如下步骤：
步骤S1.1：基于平面光源下的轴承端面图像，通过二值化算法得到轴承端面的二值化图像；
步骤S1.2：轴承端面二值化图像通过轮廓提取算法，找到最大连通域点集合；
步骤S1.3：根据最大连通域点集合中的数据，使用最小二乘法拟合轴承端面最大外接圆；
步骤S1.4：根据轴承端面最大外接圆的宽度，确定金属检测面边界，进而确定轴承端面图像中的感兴趣区域。
进一步地，所述步骤S2包括如下步骤：
步骤S2.1：控制频闪环形光多角度依次照射轴承端面，得到一组不同角度光线的轴承端面图像，轴承端面图像根据感兴趣区域进行有效检测区域分割，得到一组有效检测区域图像；
步骤S2.2：基于有效检测区域图像对应像素点的灰度值和一组有效检测区域图像对应像素点的灰度平均值，进行整体方差计算，得到方差图；
步骤S2.3：循环计算前后方差图的差分图；
步骤S2.4：对差分图集合取最大值，得到最大差分图；
其中表示差分图像对应像素点的灰度值；
步骤S2.5：将方差图及其对应的最大差分图进行加权叠加，得到融合特征图。
其中为加权比例，/>。
进一步地，所述步骤S2.2中的方差计算如下：
其中表示方差图，/>表示有效检测区域图像横纵坐标对应像素点(x,y)的灰度值，/>表示一组有效检测区域图像对应像素点的平均值，图像个数为频闪环形光频闪次数n。
进一步地，所述步骤S2.3中，循环计算前后方差图的差分图像：
其中表示n张频闪图集合中的第i张图减去第i-1张图的差分图。
进一步地，所述步骤S3包括如下步骤：
步骤S3.1：基于磨伤缺陷的融合特征图，构建数据集；
步骤S3.2：对数据集中的磨伤缺陷区域进行标注，得到已标注数据集，每个标注方框保存左上角点位置x坐标，左上角点位置y坐标，方框宽度，方框高度和类别信息；
步骤S3.3：将已标注数据集划分为训练集和验证集；
步骤S3.4：对训练集进行数据扩增；
步骤S3.5：使用目标检测算法在预训练模型上基于扩增后的训练集进行迁移学习，使用预训练模型各层的权重参数可以提高磨伤数据集的训练速度；
步骤S3.6：根据验证集的验证效果，得到最终训练好的目标检测模型；
步骤S3.7：检测时，通过步骤S1、步骤S2，得到待检测轴承端面的融合特征图，采用训练好的目标检测模型进行缺陷检测。
基于频闪光源的轴承端面平缓磨伤检测装置，包括光源、图像获取模块、图像处理模块和目标检测模型，所述光源包括平面光源和频闪环形光源，图像获取模块基于平面光源下的轴承端面成像，基于图像处理模块进行轴承端面的边缘定位，确定视觉检测感兴趣区域；图像获取模块通过频闪环形光源对轴承端面的多角度高频照射，通过图像处理模块基于不同角度光线的轴承端面图像和感兴趣区域，进行有效检测区域分割，根据有效检测区域图像整体方差和前后图像的差分图，基于不同角度光照的图像之间灰度信息的差异进行特征融合，得到融合特征图；目标检测模型基于融合特征图构建深度学习数据集，进行轴承端面平缓磨伤检测训练，训练好后用于轴承端面平缓磨伤检测。
进一步地，所述图像处理模块基于平面光源下的轴承端面图像，通过二值化算法得到轴承端面的二值化图像；轴承端面二值化图像通过轮廓提取算法，找到最大连通域点集合；根据大连通域点集合中的数据，使用最小二乘法拟合轴承端面最大外接圆；根据轴承端面最大外接圆的宽度，确定金属检测面边界，进而确定轴承端面图像中的感兴趣区域。
进一步地，所述图像处理模块通过控制频闪环形光多角度依次照射轴承端面，得到一组不同角度光线的轴承端面图像，轴承端面图像根据感兴趣区域进行有效检测区域分割，得到一组有效检测区域图像；基于有效检测区域图像对应像素点的灰度值和一组有效检测区域图像对应像素点的灰度平均值，进行整体方差计算，得到方差图；循环计算前后方差图的差分图；对差分图集合取最大值，得到最大差分图；将方差图及其对应的最大差分图进行加权叠加，得到融合特征图。
进一步地，所述目标检测模型将一部分标注磨伤缺陷的融合特征图作为训练集，经训练集数据扩增后，通过目标检测算法进行迁移学习，并将另一部分标注磨伤缺陷的融合特征图作为测试集进行验证，训练好后，对经过数据处理模块处理后的待检测轴承面的融合特征图，进行缺陷检测。
本发明的优势和有益效果在于：
本发明的基于频闪光源的轴承端面平缓磨伤检测方法及装置，在平面光源和频闪环形光组合下，以面阵相机拍摄多张产品端面的图像数据；通过算法处理后结合深度学习模型，准确识别出轴承端面的平缓磨伤缺陷，并有效区别于套圈表面的磨痕干扰。本发明能够应用于检测轴承端面的平缓磨伤缺陷，排除了金属表面的划痕和磨痕干扰，仅检测有深度、平缓的、斜方向的生产过程故障件。能够适用于大部分的金属加工零部件表面磨伤缺陷检测。
附图说明
图1是本发明实施例中基于频闪光源的轴承端面平缓磨伤检测方法的流程图。
图2a是本发明实施例中平面光源下轴承端面示意图。
图2b是本发明实施例中平面光源下轴承端面二值化图。
图2c是本发明实施例中平面光源下轴承端面感兴趣区域示意图。
图3a是本发明实施例中频闪光源下轴承端面示意图之一。
图3b是本发明实施例中频闪光源下轴承端面示意图之二。
图3c是本发明实施例中频闪光源下轴承端面示意图之三。
图3d是本发明实施例中频闪光源下轴承端面示意图之四。
图4a是本发明实施例中频闪光源下轴承端面感兴趣区域示意图之一。
图4b是本发明实施例中频闪光源下轴承端面感兴趣区域示意图之二。
图4c是本发明实施例中频闪光源下轴承端面感兴趣区域示意图之三。
图4d是本发明实施例中频闪光源下轴承端面感兴趣区域示意图之四。
图5是本发明实施例中基于频闪光源的轴承端面平缓磨伤检测装置的结构及光路方向示意图。
图6是本发明实施例中基于频闪光源的轴承端面平缓磨伤检测装置竖直方向的光路原理图。
图7是本发明实施例中基于频闪光源的轴承端面平缓磨伤检测设备的结构示意图。
具体实施方式
以下结合附图对本发明的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本发明，并不用于限制本发明。
如图1所示，本发明的基于频闪光源的轴承端面平缓磨伤检测方法，采用可编程的频闪环形光，该光源可通过控制光源的频闪位置和角度，来控制光源照射产品的方向，从而得到不同角度光照的轴承端面图像。通过多张图像的特征融合算法，结合深度学习模型实现了此类异常的有效检测，包括如下步骤：
步骤S1：基于平面光源下的轴承端面成像，进行轴承端面的边缘定位，确定视觉检测感兴趣区域，具体包括如下步骤：
步骤S1.1：如图2a、图2b所示，基于平面光源下的轴承端面图像，通过二值化算法得到轴承端面的二值化图像/>。其中h表示预设定的二值化阈值，本发明实例中，h具体值为200；x、y分别表示图像像素点在图像平面的横纵坐标，x具体值为[0,1416]内的整数，y具体值为[0,1416]内的整数。
步骤S1.2：轴承端面二值化图像通过轮廓提取算法找到最大的连通域点集合/>。
步骤S1.3：根据最大连通域点集合中的数据，使用最小二乘法法拟合轴承端面最大外接圆C。
步骤S1.4：根据轴承面最大外接圆的宽度w，确定金属检测面边界，进而确定轴承端面图像中的感兴趣区域Roi，如图2c所示。
步骤S2：采用频闪环形光对轴承端面进行多角度高频照射，基于不同角度光线的轴承端面图像和感兴趣区域Roi进行有效检测区域分割，根据有效检测区域图像整体方差和前后图像的差分图，基于不同角度光照的图片之间灰度信息的差异进行特征融合，得到融合特征图，具体包括如下步骤：
步骤S2.1：控制频闪环形光多角度依次照射轴承端面，得到一组不同角度光线的轴承端面图像，如图3a至图3d所示，其中/>中图像个数为频闪环形光频闪次数n，本发明实例中，n具体为4。轴承端面图像根据步骤S1.4得到的感兴趣区域Roi确定频闪光源下轴承端面的感兴趣区域，如图4a至图4d所示，从而确定有效检测区域，然后对基于频闪光源的轴承端面图像Ggroup(x,y)进行有效检测区域分割，得到一组有效检测区域图像/>。
步骤S2.2：基于步骤S2.1分割得到的有效检测区域图像对应像素点的灰度值和一组有效检测区域图像对应像素点的灰度平均值，进行整体方差计算，得到方差图：
其中表示有效检测区域图像横纵坐标对应像素点(x,y)的灰度值，本发明实例中，/>具体值为[0,255]内的整数；/>表示一组有效检测区域图像对应像素点的平均值，本发明实例中，/>具体值为180。
步骤S2.3：循环计算前后方差图的差分图
其中表示n张频闪图集合中的第i张图减去第i-1张图的差分图，本发明实例中/>具体值为[0,255]内的整数。
步骤 S2.4：对差分图集合取最大值，得到最大差分图
其中表示差分图像对应像素点的灰度值，本发明实例中，/>具体值为[0,255]内的整数。
步骤 S2.4：将方差图及其对应的最大差分图进行加权叠加，得到融合特征图
其中为加权比例，/>，本发明实例中，/>具体值为0.5 。
步骤S3：基于融合后的特征构建深度学习数据集，设计目标检测模型进行轴承端面平缓磨伤检测训练，将训练好的目标检测模型用于轴承端面平缓磨伤检测，具体包括如下步骤：
步骤S3.1：基于步骤S1、步骤S2的磨伤缺陷的融合特征图，分别采集并计算得到100个磨伤缺陷的融合特征图，构建数据集D。
步骤S3.2：使用目标检测标注工具LabelImg将数据集D中的磨伤缺陷区域进行标注，标注出缺陷方框，得到已标注数据集，每个方框保存左上角点位置x坐标，左上角点位置y坐标，方框宽度，方框高度和类别信息。
步骤S3.3：将已标注数据集以9：1的比例划分为训练集/>和验证集；
步骤 S3.4：对训练集进行数据扩增得到/>；
其中本发明实例中使用的数据扩增方式为图像翻转，随机裁剪，缩放，亮度变换。
步骤S3.5：使用目标检测算法在公开数据集预训练模型上基于扩增后的训练集/>进行迁移学习，使用/>模型各层的权重参数可以提高磨伤数据集的训练速度。
步骤S3.6：根据验证集的验证效果，得到最终确定的目标检测模型/>；
步骤S3.7：检测时，通过步骤S1、步骤S2，得到待检测产品的融合特征图，采用目标检测模型M实现缺陷检测。
本发明实施例中，目标检测算法采用yolov5网络模型，yolov5网络模型由三个组件组成：1）主干网络（Backbone）：不同图像细粒度合并图像特征的卷积神经网络，提取图像的特征。2）颈部（Neck）：融合图像特征的网络层，混合合并多层特征增强模型表达能力，传递到预测头。3）预测头（Prediction Head）：预测图像特征，生成预测框位置信息和类别信息，yolov5网络模型官方代码中有4个版本，本发明实施例使用的为yolov5m。
本发明实施例中，目标检测算法采用yolov5网络模型，yolov5网络模型由三个组件组成：1）主干网络（Backbone）：不同图像细粒度合并图像特征的卷积神经网络，提取图像的特征。2）颈部（Neck）：融合图像特征的网络层，混合合并多层特征增强模型表达能力，传递到预测头。3）预测头（Prediction Head）：预测图像特征，生成预测框位置信息和类别信息，yolov5网络模型官方代码中有4个版本，本发明实施例使用的为yolov5m。
最终检测出轴承端面上的平缓磨伤情况，其实在图3c中已较为明显，内圈顶部右侧便是平缓磨伤，这在图3a、图3b中也能够通过肉眼看出，该区域在不同角度频闪光源的照射下相较附近的区域差异较大，这在如图2a所示的平面光源下则很难区分，而对于肉眼也难以区分的情况，例如图3d所示，一方面则需要基于其他角度频闪光融合来提高辨识度，另一方面，在此基础上，本发明还通过步骤S2.2至步骤S2.4的方差计算、差分计算，融合计算得到的方差图和差分图，使得多角度频闪光源下得到的图像特征得以融合，以提升平缓磨伤区域相较于其他细微划痕区域的识别度，从而提升了后续目标检测算法对平缓磨伤的识别精度。
如图5、图6所示，箭头表示光路方向，虚线表示各光路对应的分割线，基于频闪光源的轴承端面平缓磨伤检测装置，包括光源、图像获取模块、图像处理模块和目标检测模型，光源包括平面光源和频闪环形光源，图像获取模块基于平面光源下的轴承端面成像，基于图像处理模块进行轴承端面的边缘定位，确定视觉检测感兴趣区域；图像获取模块通过频闪环形光源对轴承端面的多角度高频照射，通过图像处理模块基于不同角度光线的轴承端面图像和感兴趣区域，进行有效检测区域分割，根据有效检测区域图像整体方差和前后图像的差分图，基于不同角度光照的图像之间灰度信息的差异进行特征融合，得到融合特征图；目标检测模型基于融合特征图构建深度学习数据集，进行轴承端面平缓磨伤检测训练，训练好后用于轴承端面平缓磨伤检测。
图像处理模块基于平面光源下的轴承端面图像，通过二值化算法得到轴承端面的二值化图像；轴承端面二值化图像通过轮廓提取算法，找到最大连通域点集合；根据大连通域点集合中的数据，使用最小二乘法拟合轴承端面最大外接圆；根据轴承端面最大外接圆的宽度，确定金属检测面边界，进而确定轴承端面图像中的感兴趣区域。
图像处理模块通过控制频闪环形光多角度依次照射轴承端面，得到一组不同角度光线的轴承端面图像，轴承端面图像根据感兴趣区域进行有效检测区域分割，得到一组有效检测区域图像；基于有效检测区域图像对应像素点的灰度值和一组有效检测区域图像对应像素点的灰度平均值，进行整体方差计算，得到方差图；循环计算前后方差图的差分图；对差分图集合取最大值，得到最大差分图；将方差图及其对应的最大差分图进行加权叠加，得到融合特征图。
目标检测模型将一部分标注磨伤缺陷的融合特征图作为训练集，经训练集数据扩增后，通过目标检测算法进行迁移学习，并将另一部分标注磨伤缺陷的融合特征图作为测试集进行验证，训练好后，对经过数据处理模块处理后的待检测轴承面的融合特征图，进行缺陷检测。
与前述基于频闪光源的轴承端面平缓磨伤检测方法的实施例相对应，本发明还提供了基于频闪光源的轴承端面平缓磨伤检测设备的实施例。
参见图7，本发明实施例提供的基于频闪光源的轴承端面平缓磨伤检测设备，包括存储器和一个或多个处理器，存储器中存储有可执行代码，所述一个或多个处理器执行所述可执行代码时，用于实现上述实施例中的基于频闪光源的轴承端面平缓磨伤检测方法。
本发明基于频闪光源的轴承端面平缓磨伤检测设备的实施例可以应用在任意具备数据处理能力的设备上，该任意具备数据处理能力的设备可以为诸如计算机等设备或装置。装置实施例可以通过软件实现，也可以通过硬件或者软硬件结合的方式实现。以软件实现为例，作为一个逻辑意义上的装置，是通过其所在任意具备数据处理能力的设备的处理器将非易失性存储器中对应的计算机程序指令读取到内存中运行形成的。从硬件层面而言，如图7所示，为本发明基于频闪光源的轴承端面平缓磨伤检测设备所在任意具备数据处理能力的设备的一种硬件结构图，除了图7所示的处理器、内存、网络接口、以及非易失性存储器之外，实施例中装置所在的任意具备数据处理能力的设备通常根据该任意具备数据处理能力的设备的实际功能，还可以包括其他硬件，对此不再赘述。
上述装置中各个单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，在此不再赘述。
对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本发明方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
本发明实施例还提供一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时，实现上述实施例中的基于频闪光源的轴承端面平缓磨伤检测方法。
所述计算机可读存储介质可以是前述任一实施例所述的任意具备数据处理能力的设备的内部存储单元，例如硬盘或内存。所述计算机可读存储介质也可以是任意具备数据处理能力的设备的外部存储设备，例如所述设备上配备的插接式硬盘、智能存储卡（Smart Media Card，SMC）、SD卡、闪存卡（Flash Card）等。进一步的，所述计算机可读存储介质还可以既包括任意具备数据处理能力的设备的内部存储单元也包括外部存储设备。所述计算机可读存储介质用于存储所述计算机程序以及所述任意具备数据处理能力的设备所需的其他程序和数据，还可以用于暂时地存储已经输出或者将要输出的数据。
以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的范围。

Claims (4)

1.基于频闪光源的轴承端面平缓磨伤检测方法，其特征在于包括如下步骤：
步骤S1：基于平面光源下的轴承端面成像，进行轴承端面的边缘定位，确定视觉检测感兴趣区域，包括如下步骤：
步骤S1.1：基于平面光源下的轴承端面图像，通过二值化算法得到轴承端面的二值化图像；
步骤S1.2：轴承端面二值化图像通过轮廓提取算法，找到最大连通域点集合；
步骤S1.3：根据最大连通域点集合中的数据，使用最小二乘法拟合轴承端面最大外接圆；
步骤S1.4：根据轴承端面最大外接圆的宽度，确定金属检测面边界，进而确定轴承端面图像中的感兴趣区域；
步骤S2：采用频闪环形光对轴承端面进行多角度高频照射，基于不同角度光线的轴承端面图像和感兴趣区域，进行有效检测区域分割，根据有效检测区域图像整体方差和前后图像的差分图，基于不同角度光照的图像之间灰度信息的差异进行特征融合，得到融合特征图，包括如下步骤：
步骤S2.1：控制频闪环形光多角度依次照射轴承端面，得到一组不同角度光线的轴承端面图像，轴承端面图像根据感兴趣区域进行有效检测区域分割，得到一组有效检测区域图像；
步骤S2.2：基于有效检测区域图像对应像素点的灰度值和一组有效检测区域图像对应像素点的灰度平均值，进行整体方差计算，得到方差图；
步骤S2.3：循环计算前后方差图的差分图；
步骤S2.4：对差分图集合取最大值，得到最大差分图；
步骤S2.5：将方差图及其对应的最大差分图进行加权叠加，得到融合特征图；
步骤S3：基于融合特征图构建深度学习数据集，通过目标检测模型进行轴承端面平缓磨伤检测训练，将训练好的目标检测模型用于轴承端面平缓磨伤检测，包括如下步骤：
步骤S3.1：基于磨伤缺陷的融合特征图，构建数据集；
步骤S3.2：对数据集中的磨伤缺陷区域进行标注，得到已标注数据集；
步骤S3.3：将已标注数据集划分为训练集和验证集；
步骤S3.4：对训练集进行数据扩增；
步骤S3.5：使用目标检测算法在预训练模型上基于扩增后的训练集进行迁移学习；
步骤S3.6：根据验证集的验证效果，得到最终训练好的目标检测模型；
步骤S3.7：检测时，通过步骤S1、步骤S2，得到待检测轴承端面的融合特征图，采用训练好的目标检测模型进行缺陷检测。
2.根据权利要求1所述的基于频闪光源的轴承端面平缓磨伤检测方法，其特征在于，所述步骤S2.2中的方差计算如下：
其中Var(x,y)表示方差图，value(x,y)表示有效检测区域图像横纵坐标对应像素点(x,y)的灰度值，表示一组有效检测区域图像对应像素点的平均值，图像个数为频闪环形光频闪次数n。
3.根据权利要求2所述的基于频闪光源的轴承端面平缓磨伤检测方法，其特征在于，所述步骤S2.3中，循环计算前后方差图的差分图像：
其中ei(x,y)表示n张频闪图集合中的第i张图减去第i-1张图的差分图。
4.基于频闪光源的轴承端面平缓磨伤检测装置，包括光源、图像获取模块、图像处理模块和目标检测模型，其特征在于，所述光源包括平面光源和频闪环形光源，图像获取模块基于平面光源下的轴承端面成像，基于图像处理模块进行轴承端面的边缘定位，确定视觉检测感兴趣区域；图像获取模块通过频闪环形光源对轴承端面的多角度高频照射，通过图像处理模块基于不同角度光线的轴承端面图像和感兴趣区域，进行有效检测区域分割，根据有效检测区域图像整体方差和前后图像的差分图，基于不同角度光照的图像之间灰度信息的差异进行特征融合，得到融合特征图；目标检测模型基于融合特征图构建深度学习数据集，进行轴承端面平缓磨伤检测训练，训练好后用于轴承端面平缓磨伤检测；
所述图像处理模块基于平面光源下的轴承端面图像，通过二值化算法得到轴承端面的二值化图像；轴承端面二值化图像通过轮廓提取算法，找到最大连通域点集合；根据大连通域点集合中的数据，使用最小二乘法拟合轴承端面最大外接圆；根据轴承端面最大外接圆的宽度，确定金属检测面边界，进而确定轴承端面图像中的感兴趣区域；
所述图像处理模块通过控制频闪环形光多角度依次照射轴承端面，得到一组不同角度光线的轴承端面图像，轴承端面图像根据感兴趣区域进行有效检测区域分割，得到一组有效检测区域图像；基于有效检测区域图像对应像素点的灰度值和一组有效检测区域图像对应像素点的灰度平均值，进行整体方差计算，得到方差图；循环计算前后方差图的差分图；对差分图集合取最大值，得到最大差分图；将方差图及其对应的最大差分图进行加权叠加，得到融合特征图；
所述目标检测模型将一部分标注磨伤缺陷的融合特征图作为训练集，经训练集数据扩增后，通过目标检测算法进行迁移学习，并将另一部分标注磨伤缺陷的融合特征图作为测试集进行验证，训练好后，对经过数据处理模块处理后的待检测轴承面的融合特征图，进行缺陷检测。
CN202310200870.2A 2023-03-06 2023-03-06 基于频闪光源的轴承端面平缓磨伤检测方法及装置 Active CN116051541B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310200870.2A CN116051541B (zh) 2023-03-06 2023-03-06 基于频闪光源的轴承端面平缓磨伤检测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310200870.2A CN116051541B (zh) 2023-03-06 2023-03-06 基于频闪光源的轴承端面平缓磨伤检测方法及装置

Publications (2)

Publication Number Publication Date
CN116051541A CN116051541A (zh) 2023-05-02
CN116051541B true CN116051541B (zh) 2023-07-18

Family

ID=86123969

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310200870.2A Active CN116051541B (zh) 2023-03-06 2023-03-06 基于频闪光源的轴承端面平缓磨伤检测方法及装置

Country Status (1)

Country Link
CN (1) CN116051541B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117723564B (zh) * 2024-02-18 2024-04-26 青岛华康塑料包装有限公司 基于图像传输的包装袋印刷质量检测方法及检测系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018000731A1 (zh) * 2016-06-28 2018-01-04 华南理工大学 一种曲面表面缺陷自动检测方法及其装置
CN113628178A (zh) * 2021-07-30 2021-11-09 安徽工业大学 一种速度与精度平衡的钢铁产品表面缺陷检测方法
CN114119554A (zh) * 2021-11-29 2022-03-01 哈尔滨工业大学 一种基于卷积神经网络的表面微缺陷检测方法及装置
CN115272204A (zh) * 2022-07-15 2022-11-01 中国石油大学(华东) 一种基于机器视觉的轴承表面划痕检测方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005207858A (ja) * 2004-01-22 2005-08-04 Daido Steel Co Ltd 鋼材表面欠陥の検査方法および検査装置
JP6628180B2 (ja) * 2015-10-28 2020-01-08 株式会社三井Ｅ＆Ｓマシナリー 表面損傷検出方法および表面損傷検出装置
CN110751646A (zh) * 2019-10-28 2020-02-04 支付宝(杭州)信息技术有限公司 利用车辆视频中的多个图像帧进行损伤识别的方法及装置
DE102020000581A1 (de) * 2020-01-27 2021-07-29 Jan Nabatian Vorrichtung und Verfahren zur Identifikation und Lokalisierung von Oberflächenfehlern
CN112800913B (zh) * 2021-01-20 2022-06-28 同济大学 一种基于多源特征融合的路面损伤数据时空分析方法
CN113362285B (zh) * 2021-05-21 2023-02-07 同济大学 一种钢轨表面伤损细粒度图像分类与检测方法
CN114120317B (zh) * 2021-11-29 2024-04-16 哈尔滨工业大学 基于深度学习和图像处理的光学元件表面损伤识别方法
CN115050661A (zh) * 2022-06-07 2022-09-13 波粒（北京）光电科技有限公司 太阳能电池片断栅缺陷的在线检测方法、控制器及装置
CN115308222B (zh) * 2022-07-11 2024-02-09 江苏汤谷智能科技有限公司 一种基于机器视觉的芯片外观不良识别系统及方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018000731A1 (zh) * 2016-06-28 2018-01-04 华南理工大学 一种曲面表面缺陷自动检测方法及其装置
CN113628178A (zh) * 2021-07-30 2021-11-09 安徽工业大学 一种速度与精度平衡的钢铁产品表面缺陷检测方法
CN114119554A (zh) * 2021-11-29 2022-03-01 哈尔滨工业大学 一种基于卷积神经网络的表面微缺陷检测方法及装置
CN115272204A (zh) * 2022-07-15 2022-11-01 中国石油大学(华东) 一种基于机器视觉的轴承表面划痕检测方法

Also Published As

Publication number Publication date
CN116051541A (zh) 2023-05-02

Similar Documents

Publication Publication Date Title
US11227405B2 (en) Determining positions and orientations of objects
CN108562589B (zh) 一种对磁路材料表面缺陷进行检测的方法
CN107230203B (zh) 基于人眼视觉注意机制的铸件缺陷识别方法
CN111915704A (zh) 一种基于深度学习的苹果分级识别方法
CN116664559B (zh) 基于机器视觉的内存条损伤快速检测方法
CN111696077A (zh) 一种基于WaferDet网络的晶圆缺陷检测方法
CN107534756B (zh) 用于缺陷检查应用的快速密度估计方法
CN105447512A (zh) 一种精粗结合的光学表面缺陷的检测方法及装置
CN111582294A (zh) 一种构建用于表面缺陷检测的卷积神经网络模型的方法及其利用
Yang et al. Research and analysis of Image edge detection algorithm Based on the MATLAB
CN116051541B (zh) 基于频闪光源的轴承端面平缓磨伤检测方法及装置
CN111429405B (zh) 基于3d cnn的锡球缺陷检测方法及装置
CN114926407A (zh) 一种基于深度学习的钢材表面缺陷检测系统
CN111754538B (zh) Usb表面缺陷检测的阈值分割方法
CN110763700A (zh) 一种半导体元器件缺陷检测方法和设备
CN117333489B (zh) 一种薄膜破损检测装置及检测系统
CN108986055B (zh) 一种鸡蛋蛋壳表面细微裂纹的视觉检测方法
Bonfiglioli et al. The eyecandies dataset for unsupervised multimodal anomaly detection and localization
CN111474179A (zh) 镜片表面清洁度检测装置及方法
CN114612418A (zh) 一种鼠标外壳表面缺陷检测方法及装置、系统、电子设备
Xia et al. An automatic machine vision-based algorithm for inspection of hardwood flooring defects during manufacturing
CN111178405A (zh) 一种融合多种神经网络的相似物体识别方法
CN108805854B (zh) 一种复杂环境下药片快速计数与完整性检测方法
CN116934752B (zh) 一种基于人工智能的玻璃检测方法及系统
Sun et al. Unsupervised surface defect detection of aluminum sheets with combined bright-field and dark-field illumination

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant