CN110728657A - 一种基于深度学习的环状轴承外表面缺陷检测方法 - Google Patents
一种基于深度学习的环状轴承外表面缺陷检测方法 Download PDFInfo
- Publication number
- CN110728657A CN110728657A CN201910853357.7A CN201910853357A CN110728657A CN 110728657 A CN110728657 A CN 110728657A CN 201910853357 A CN201910853357 A CN 201910853357A CN 110728657 A CN110728657 A CN 110728657A
- Authority
- CN
- China
- Prior art keywords
- image
- bearing
- model
- annular bearing
- deep learning
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000007547 defect Effects 0.000 title claims abstract description 74
- 238000001514 detection method Methods 0.000 title claims abstract description 55
- 238000013135 deep learning Methods 0.000 title claims abstract description 22
- 238000000034 method Methods 0.000 claims abstract description 18
- 238000002372 labelling Methods 0.000 claims abstract description 11
- 230000002950 deficient Effects 0.000 claims abstract description 10
- 239000011521 glass Substances 0.000 claims abstract description 9
- 238000007781 pre-processing Methods 0.000 claims abstract description 7
- 238000003702 image correction Methods 0.000 claims abstract description 6
- 239000002699 waste material Substances 0.000 claims abstract description 6
- 238000003062 neural network model Methods 0.000 claims abstract description 5
- 241001292396 Cirrhitidae Species 0.000 claims abstract description 4
- 230000001066 destructive effect Effects 0.000 claims abstract description 4
- 238000012549 training Methods 0.000 claims description 30
- 238000013527 convolutional neural network Methods 0.000 claims description 17
- 238000013136 deep learning model Methods 0.000 claims description 11
- 238000010586 diagram Methods 0.000 claims description 10
- 239000011159 matrix material Substances 0.000 claims description 8
- 208000034656 Contusions Diseases 0.000 claims description 4
- 230000007935 neutral effect Effects 0.000 claims description 4
- 238000005457 optimization Methods 0.000 claims description 4
- 238000013519 translation Methods 0.000 claims description 4
- 238000006073 displacement reaction Methods 0.000 claims description 3
- 238000000605 extraction Methods 0.000 claims description 3
- 239000013598 vector Substances 0.000 claims description 3
- 238000005516 engineering process Methods 0.000 abstract description 2
- 238000011089 mechanical engineering Methods 0.000 abstract description 2
- 238000013528 artificial neural network Methods 0.000 description 4
- 238000005299 abrasion Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000005498 polishing Methods 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 208000003464 asthenopia Diseases 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003647 oxidation Effects 0.000 description 1
- 238000007254 oxidation reaction Methods 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
- G01N2021/8883—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges involving the calculation of gauges, generating models
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
- G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30164—Workpiece; Machine component
Abstract
本发明涉及机器视觉技术在机械工程领域的运用，具体为一种基于深度学习的环状轴承外表面缺陷检测方法；包括如下步骤：步骤1：采集环状轴承正上方图像和位于下端面检测工位玻璃上的下方图像2张缺陷图片作为1组，机械手采用Halcon的手眼标定策略定位后，抓取工件放入外侧检测工位旋转采集轴承外侧表面的连续图像作为另一组图片；步骤2：图像采集完成后，将环状轴承外侧表面图像进行图像矫正的图像预处理工作；步骤3：将两组图像分别送入训练好的两个神经网络模型中进行识别判定，如有缺陷部位则进行标注并将该轴承视为废品，如没有缺陷则为无损成品。
Description
技术领域
本发明涉及机器视觉技术在机械工程领域的运用，具体为一种基于深度学习的环状轴承外表面缺陷检测方法。
背景技术
轴承是生产应用中非常广泛的工业零部件，是现代化建设和机械设备制造的重要基础性的配件。它的主要功能是支撑机械设备旋转体，降低在运动过程中的摩擦系数，并保证其回转精度。轴承对于机器来说非常重要，如果轴承圈表面存在一些瑕疵和缺陷,如磨损、裂纹、碰伤、麻点、划伤、变形等，将会导致机器产生不正常的振动和噪声，加快轴承面与空气接触后进一步的氧化与磨损，严重时甚至会引起机器的损坏和一些事故性的人员伤亡情况，因此需要对轴承进行轴承的表面检测，来防止带有缺陷的轴承产品流入市场，引起不必要的损失，降低商家的信誉。
国内外在轴承的装配大都已经实现完全的机械自动化，但装配前后对轴承的在轴承工作表面的检测一般还是有工人进行人工裸眼检测。显而易见这种人工检测方法劳动强度大、工作效率低、产品成本较高，且容易受到检测人员在员工素质、检测经验、肉眼分辨率和眼部易疲劳等诸多因素影响。因此迫切需一种新的快捷检测方式来替代传统的用人工裸眼检测方式。
相比于传统的人工裸眼检测方式，基于深度学习的缺陷检测方法是采用较为先进的机器视觉系统，因此具有检测速度快、检测精度高、自动化程度高等一系列优点，针对轴承图像采集，模型的选择训练、图像的识别检测的环节进行设计分析，提供了高效的自动化检测的方法，对轴承产业的产业发展有积极的推动作用。
传统的机器学习方式检测轴承缺陷如模板匹配等对于突发性的轴承表面缺陷无法应对或识别精度较差，需要重新设计相应的算法，费时费力，采用深度学习方式检测对于突发性的缺陷有很大的优势，只需将缺陷图片放入模型中再次训练，解决了传统机器视觉无法解决突发性缺陷的问题。
发明内容
为解决现有技术存在问题，提供一种基于深度学习的环状轴承外表面缺陷检测方法，可解决劳动强度大、工作效率低、成本较高的问题和传统机器视觉无法解决突发性缺陷的问题。
本发明的目的主要通过以下的技术方案来实现：一种基于深度学习的环状轴承外表面缺陷检测方法，包括如下步骤：步骤1：采集环状轴承正上方图像和位于下端面检测工位玻璃上的下方图像2张缺陷图片作为1组，在通过机械手抓取放入外侧检测工位旋转采集轴承外侧表面的连续图像作为另一组图片；
步骤2：图像采集完成后，将环状轴承外侧表面图像进行图像矫正的图像预处理工作；
步骤3：将两组图像分别送入训练好的两个神经网络模型中进行识别判定，如有缺陷部位则进行标注并将该轴承视为废品，如没有缺陷则为无损成品。
步骤4：手眼标定采用Halcon中的策略，基本坐标系为机械手基础坐标系、机械手末端工具坐标系、相机坐标系和工件坐标系；
H机械手坐标＝R旋转x H图像坐标+M位移矢量，为以下步骤实现：
a.采集标定板不同位置图像，记录机器人和相机坐标。
b.旋转平移缩放矩阵的计算。
c.得到相应的矩阵，完成手眼标定。
步骤5：FasterR-CNN模型利用Fast R-CNN为主干网络进行检测，其中的RPN与FastRCNN共享卷积特征，FastRCNN在RPN提供的高质量区域建议网络的基础上进行目标识别，目标检测速度得到了大幅提高；对候选区域进行训练，在训练时，通过一种交替运行优化方法使RPN与FastR-CNN共享卷积的特征；
步骤六：深度学习模型的框架可选用Faster-Rcnn模型，分别训练两个识别模型，一个为上方和下方表面缺陷识别模型，另一个为轴承外侧面缺陷模型；
所述上方和下方表面缺陷识别模型和轴承外侧面缺陷模型具体模型训练步骤如下：
步骤1：选择含有常见缺陷例如擦花、裂纹、磕碰伤、磨废的图片各400张共计1600张图片作为模型训练集，400张混合缺陷图片样本作为检测集；
步骤2：在训练前，先通过LabelImg对缺陷目标进行标注，在标注目标完成后，每个标注图片保存为一个XML文件作为训练样本；
步骤3：使用Keras框架实现卷积神经网络模型，选择框尺度分别为8、16、32，长宽比为2、1、0.5，设置IOU阈值在0.7到0.3之间，获得特征图；
步骤4：在特征图基础上，RPN与Fast-Rcnn网络共享卷积特征,进行交替训练，迭代次数为6000，获得需要的检测模型。
作为优选，采集环状轴承正上方图像和位于下端面检测工位玻璃上的下方图像2张缺陷图片时采用CDD工业相机。
作为优选，采集环状轴承正上方图像和位于下端面检测工位玻璃上的下方图像2张缺陷图片时采用的光源是与工件表面颜色相同，且三个方向采用不同形状的光源。
作为优选，步骤三中获得特征图是使用Resnet网络进行样本的特征提取。
作为优选，使用Keras框架实现卷积神经网络模型，采用以下规则判定选择框内是否有目标：
若某选择框与任一目标区域的并交IOU最大，则判定该选择框为有目标；
若并交比IOU大于0.7，则判定其为有目标；
若并交比IOU小于0.3，则判定为背景；
若并交比IOU在0.3到0.7之间，则设置该选择框为中立。并交比IOU指预测框A与真实框B的覆盖率，其计算公示为：IOU＝(A∩B)/(A∪B)，其中的代价函数为：
并采用以上非极大抑制的策略来获得缺陷位置信息。
作为优选，所述三个方向采用不同形状的光源具体为上方可采用条形光源，下方可采用同轴光源，外侧面可采用线性光源，以保证图像的清晰程度。
与现有技术相比，本发明的基于深度学习的环状轴承外表面缺陷检测方法的有益效果在于：传统的机器学习方式检测轴承缺陷如模板匹配等对于突发性的轴承表面缺陷无法应对或识别精度较差，需要重新设计相应的算法，费时费力，采用深度学习方式检测对于突发性的缺陷有很大的优势，只需将缺陷图片放入模型中再次训练，解决了传统机器视觉无法解决突发性缺陷的问题，通过采集两组缺陷图片，将图片进行图像预处理后分别送入深度学习模型中识别，来判定轴承是否存在缺陷，实现轴承表面的缺陷检测，并且可解决劳动强度大、工作效率低、成本较高的问题。
附图说明
图1为基于深度学习的环状轴承外表面缺陷检测方法流程图。
图2为手眼标定结构示意图。
图3为手眼标定流程图。
图4为深度学习模型训练示意图。
图5为深度学习模型训练流程图。
具体实施方式
在下文中，将参考附图对本发明的具体实施例进行详细地描述，依照这些详细的描述，所属领域技术人员能够清楚地理解本发明，并能够实施本发明。在不违背本发明原理的情况下，各个不同的实施例中的特征可以进行组合以获得新的实施方式，或者替代某些实施例中的某些特征，获得其它优选的实施方式。
一种基于深度学习的环状轴承外表面缺陷检测方法，所述的检测方法主要包括以下步骤:
a.采集环状轴承正上方图像和位于下端面检测工位玻璃上的下方图像，在通过机械手抓取放入外侧检测工位旋转采集轴承外侧表面图像。
b.图像采集完成后，将环状轴承外侧表面图像进行图像的矫正等图像预处理工作。
c.将两组图像分别送入训练好的两个神经网络模型中进行识别判定，如有缺陷部位则进行标注并将该轴承视为废品。
所述的步骤a的图像采集，其中相机应采用工业相机，且要求打光充足，以保证图像对于细小的裂纹等清晰可见。
所述的打光，采用与工件表面颜色相同，以保证图像采集不失真，且三个方向可采用不同性质的光源。
所述的步骤a的图像采集，其中机器手抓取可将相机固定于机械手臂以外的地方，采用常见的手眼标定策略，获得需要的坐标系，经过坐标系运算后抓取环状轴承从上下方检测工位放到外侧检测工位上，旋转采集轴承外侧表面图像。
所述的基本坐标系为机械手基础坐标系、机械手末端工具坐标系、相机坐标系、工件坐标系四种，其一般步骤如下所示：
(1)采集标定板不同位置图像，记录机器人和相机坐标。
(2)旋转平移缩放矩阵的计算。
(3)得到相应的矩阵，完成手眼标定。
所述的步骤b，其中采集到的采集轴承外侧表面图像，可能发生一定的轻微扭曲，可以根据实际的情况对该轴承进行一定的图片矫正即图片预处理。
所述的步骤c，将两组预处理后的图片送入训练好的深度学习神经网络中进行识别，标记缺陷部位来判定是否为废品。
所述的训练后的深度学习神经网络，采用Faster-Rcnn目标检测深度学习模型，分别训练两个识别模型，一个为上方和下放表面缺陷识别模型，另一个为轴承外侧面缺陷模型，按照深度学习模型训练方式训练模型。
所述的训练后的深度学习神经网络，可采用Faster-Rcnn目标检测深度学习模型，FasterR-CNN模型利用Fast R-CNN为主干网络进行检测。其中的RPN与FastRCNN共享卷积特征，FastRCNN在RPN提供的高质量区域建议网络的基础上进行目标识别，目标检测速度得到了大幅提高。对候选区域进行训练，在训练时，通过一种交替运行优化方法使RPN与FastR-CNN共享卷积的特征。
所述的训练后的深度学习神经网络，采用Faster-Rcnn目标检测深度学习模型，采用以下规则判定选择框内是否有目标：
a.若某选择框与任一目标区域的并交IOU最大，则判定该选择框为有目标；
b.若并交比IOU大于0.7，则判定其为有目标；
c.若并交比IOU小于0.3，则判定为背景；
d.若并交比IOU在0.3到0.7之间，则设置该选择框为中立。并交比IOU指预测框A与真实框B的覆盖率，其计算公示为：IOU＝(A∩B)/(A∪B)，其中的代价函数为：
并采用以上非极大抑制的策略来获得缺陷位置信息。
如图1所示，所述的检测方法具体实施主要包括以下步骤:
步骤1：采集环状轴承正上方图像和位于下端面检测工位玻璃上的下方图像2张缺陷图片作为1组，在通过机械手抓取放入外侧检测工位旋转采集轴承外侧表面的连续图像作为另一组图片。相机可采用CDD工业相机，且要求打光充足，以保证图像对于细小的裂纹等清晰可见。采用与工件表面颜色相同，且三个方向可采用不同性质的光源，上方可采用条形光源，下方可采用同轴光源，外侧面可采用线性光源，以保证图像的清晰程度。
步骤2：图像采集完成后，将环状轴承外侧表面图像进行图像的矫正等图像预处理工作，矫正图像。
步骤3：将两组图像分别送入训练好的两个神经网络模型中进行识别判定，如有缺陷部位则进行标注并将该轴承视为废品，如没有缺陷则为无损成品。
如图2和图3所示，手眼标定可采用Halcon中的策略，所述的基本坐标系为机械手基础坐标系、机械手末端工具坐标系、相机坐标系、工件坐标系四种，例如采用九点标定，
H机械手坐标＝R旋转xH图像坐标+M位移矢量，为以下步骤实现：
a.采集标定板不同位置图像，记录机器人和相机坐标。
b.旋转平移缩放矩阵的计算。
c.得到相应的矩阵，完成手眼标定。
如图4的深度学习模型示意图，FasterR-CNN模型利用FastR-CNN为主干网络进行检测。其中的RPN与FastRCNN共享卷积特征，FastRCNN在RPN提供的高质量区域建议网络的基础上进行目标识别，目标检测速度得到了大幅提高。对候选区域进行训练，在训练时，通过一种交替运行优化方法使RPN与FastR-CNN共享卷积的特征。
如图5所示深度学习模型的框架可选用Faster-Rcnn模型，分别训练两个识别模型，一个为上方和下放表面缺陷识别模型，另一个为轴承外侧面缺陷模型，以较难的轴承外侧面缺陷模型为例，具体模型训练步骤如下：
步骤1：选择含有常见缺陷例如擦花、裂纹、磕碰伤、磨废的图片各400张共计1600张图片作为模型训练集，400张混合缺陷图片样本作为检测集。
步骤2：在训练前，先通过LabelImg对缺陷目标进行标注，在标注目标完成后，每个标注图片保存为一个XML文件作为训练样本。
步骤3：使用Keras框架实现卷积神经网络模型，选择框尺度分别为8、16、32，长宽比为2、1、0.5，设置IOU阈值在0.7到0.3之间。在训练时，使用Resnet网络进行样本的特征提取，获得特征图。
步骤4：在特征图基础上，RPN与Fast-Rcnn网络共享卷积特征,进行交替训练，迭代次数为6000，获得需要的检测模型。
模型训练上述步骤3中，采用以下规则判定选择框内是否有目标：
若某选择框与任一目标区域的并交IOU最大，则判定该选择框为有目标；
若并交比IOU大于0.7，则判定其为有目标；
若并交比IOU小于0.3，则判定为背景；
若并交比IOU在0.3到0.7之间，则设置该选择框为中立。并交比IOU指预测框A与真实框B的覆盖率，其计算公示为：IOU＝(A∩B)/(A∪B)，其中的代价函数为：
并采用以上非极大抑制的策略来获得缺陷位置信息。
尽管在上文中参考特定的实施例对本发明进行了描述，但是所属领域技术人员应当理解，在本发明公开的原理和范围内，可以针对本发明公开的配置和细节做出许多修改。本发明的保护范围由所附的权利要求来确定，并且权利要求意在涵盖权利要求中技术特征的等同物文字意义或范围所包含的全部修改。
Claims (6)
1.一种基于深度学习的环状轴承外表面缺陷检测方法，其特征在于：包括如下步骤：步骤1：采集环状轴承正上方图像和位于下端面检测工位玻璃上的下方图像2张缺陷图片作为1组，在通过机械手抓取放入外侧检测工位旋转采集轴承外侧表面的连续图像作为另一组图片；
步骤2：图像采集完成后，将环状轴承外侧表面图像进行图像矫正的图像预处理工作；
步骤3：将两组图像分别送入训练好的两个神经网络模型中进行识别判定，如有缺陷部位则进行标注并将该轴承视为废品，如没有缺陷则为无损成品。
步骤4：手眼标定采用Halcon中的策略，基本坐标系为机械手基础坐标系、机械手末端工具坐标系、相机坐标系和工件坐标系；
H机械手坐标＝R旋转x H图像坐标+M位移矢量，为以下步骤实现：
a.采集标定板不同位置图像，记录机器人和相机坐标。
b.旋转平移缩放矩阵的计算。
c.得到相应的矩阵，完成手眼标定。
步骤5：FasterR-CNN模型利用Fast R-CNN为主干网络进行检测，其中的RPN与FastRCNN共享卷积特征，FastRCNN在RPN提供的高质量区域建议网络的基础上进行目标识别，目标检测速度得到了大幅提高；对候选区域进行训练，在训练时，通过一种交替运行优化方法使RPN与FastR-CNN共享卷积的特征；
步骤六：深度学习模型的框架可选用Faster-Rcnn模型，分别训练两个识别模型，一个为上方和下方表面缺陷识别模型，另一个为轴承外侧面缺陷模型；
所述上方和下方表面缺陷识别模型和轴承外侧面缺陷模型具体模型训练步骤如下：
步骤1：选择含有常见缺陷例如擦花、裂纹、磕碰伤、磨废的图片各400张共计1600张图片作为模型训练集，400张混合缺陷图片样本作为检测集；
步骤2：在训练前，先通过LabelImg对缺陷目标进行标注，在标注目标完成后，每个标注图片保存为一个XML文件作为训练样本；
步骤3：使用Keras框架实现卷积神经网络模型，选择框尺度分别为8、16、32，长宽比为2、1、0.5，设置IOU阈值在0.7到0.3之间，获得特征图；
步骤4：在特征图基础上，RPN与Fast-Rcnn网络共享卷积特征,进行交替训练，迭代次数为6000，获得需要的检测模型。
2.根据权利要求1所述的基于深度学习的环状轴承外表面缺陷检测方法，其特征在于：采集环状轴承正上方图像和位于下端面检测工位玻璃上的下方图像2张缺陷图片时采用CDD工业相机。
3.根据权利要求1所述的基于深度学习的环状轴承外表面缺陷检测方法，其特征在于：采集环状轴承正上方图像和位于下端面检测工位玻璃上的下方图像2张缺陷图片时采用的光源是与工件表面颜色相同，且三个方向采用不同形状的光源。
4.根据权利要求1所述的基于深度学习的环状轴承外表面缺陷检测方法，其特征在于：步骤三中获得特征图是使用Resnet网络进行样本的特征提取。
5.根据权利要求1所述的基于深度学习的环状轴承外表面缺陷检测方法，其特征在于：使用Keras框架实现卷积神经网络模型，采用以下规则判定选择框内是否有目标：
若某选择框与任一目标区域的并交IOU最大，则判定该选择框为有目标；
若并交比IOU大于0.7，则判定其为有目标；
若并交比IOU小于0.3，则判定为背景；
若并交比IOU在0.3到0.7之间，则设置该选择框为中立。并交比IOU指预测框A与真实框B的覆盖率，其计算公示为：IOU＝(A∩B)/(A∪B)，其中的代价函数为：
并采用以上非极大抑制的策略来获得缺陷位置信息。
6.根据权利要求3所述的基于深度学习的环状轴承外表面缺陷检测方法，其特征在于：所述三个方向采用不同形状的光源具体为上方可采用条形光源，下方可采用同轴光源，外侧面可采用线性光源，以保证图像的清晰程度。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910853357.7A CN110728657A (zh) | 2019-09-10 | 2019-09-10 | 一种基于深度学习的环状轴承外表面缺陷检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910853357.7A CN110728657A (zh) | 2019-09-10 | 2019-09-10 | 一种基于深度学习的环状轴承外表面缺陷检测方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110728657A true CN110728657A (zh) | 2020-01-24 |
Family
ID=69218130
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910853357.7A Pending CN110728657A (zh) | 2019-09-10 | 2019-09-10 | 一种基于深度学习的环状轴承外表面缺陷检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110728657A (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111291830A (zh) * | 2020-03-04 | 2020-06-16 | 东莞理工学院 | 一种提高玻璃表面缺陷检测效率与准确率的方法 |
| CN111402203A (zh) * | 2020-02-24 | 2020-07-10 | 杭州电子科技大学 | 一种基于卷积神经网络的织物表面缺陷检测方法 |
| CN113077414A (zh) * | 2021-03-01 | 2021-07-06 | 湖北工程学院 | 一种钢板表面缺陷检测方法及系统 |
| CN113487570A (zh) * | 2021-07-06 | 2021-10-08 | 东北大学 | 基于改进的yolov5x网络模型的高温连铸坯表面缺陷检测方法 |
| CN113945572A (zh) * | 2021-10-18 | 2022-01-18 | 郑州大学 | 一种基于机器学习的气缸套表面缺陷智能标注装置 |
| CN114708266A (zh) * | 2022-06-07 | 2022-07-05 | 青岛通产智能科技股份有限公司 | 一种卡片缺陷的检测工装、方法、装置以及介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107451997A (zh) * | 2017-07-31 | 2017-12-08 | 南昌航空大学 | 一种基于深度学习的焊缝超声tofd‑d扫描缺陷类型的自动识别方法 |
| CN108818535A (zh) * | 2018-07-05 | 2018-11-16 | 杭州汉振科技有限公司 | 机器人3d视觉手眼标定方法 |
| CN108818537A (zh) * | 2018-07-13 | 2018-11-16 | 南京工程学院 | 一种基于云端深度学习的机器人工业分拣方法 |
| CN109711474A (zh) * | 2018-12-24 | 2019-05-03 | 中山大学 | 一种基于深度学习的铝材表面缺陷检测算法 |
| CN109767427A (zh) * | 2018-12-25 | 2019-05-17 | 北京交通大学 | 列车轨道扣件缺陷的检测方法 |
-
2019
- 2019-09-10 CN CN201910853357.7A patent/CN110728657A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107451997A (zh) * | 2017-07-31 | 2017-12-08 | 南昌航空大学 | 一种基于深度学习的焊缝超声tofd‑d扫描缺陷类型的自动识别方法 |
| CN108818535A (zh) * | 2018-07-05 | 2018-11-16 | 杭州汉振科技有限公司 | 机器人3d视觉手眼标定方法 |
| CN108818537A (zh) * | 2018-07-13 | 2018-11-16 | 南京工程学院 | 一种基于云端深度学习的机器人工业分拣方法 |
| CN109711474A (zh) * | 2018-12-24 | 2019-05-03 | 中山大学 | 一种基于深度学习的铝材表面缺陷检测算法 |
| CN109767427A (zh) * | 2018-12-25 | 2019-05-17 | 北京交通大学 | 列车轨道扣件缺陷的检测方法 |
Non-Patent Citations (1)
| Title |
|---|
| 汪以歆，余光辉，徐镪，范洪辉: "一种基于机器视觉的产品外包装印刷缺陷检测技术", 《江苏理工学院学报》 * |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111402203A (zh) * | 2020-02-24 | 2020-07-10 | 杭州电子科技大学 | 一种基于卷积神经网络的织物表面缺陷检测方法 |
| CN111402203B (zh) * | 2020-02-24 | 2024-03-01 | 杭州电子科技大学 | 一种基于卷积神经网络的织物表面缺陷检测方法 |
| CN111291830A (zh) * | 2020-03-04 | 2020-06-16 | 东莞理工学院 | 一种提高玻璃表面缺陷检测效率与准确率的方法 |
| CN111291830B (zh) * | 2020-03-04 | 2023-03-03 | 东莞理工学院 | 一种提高玻璃表面缺陷检测效率与准确率的方法 |
| CN113077414A (zh) * | 2021-03-01 | 2021-07-06 | 湖北工程学院 | 一种钢板表面缺陷检测方法及系统 |
| CN113077414B (zh) * | 2021-03-01 | 2023-05-16 | 湖北工程学院 | 一种钢板表面缺陷检测方法及系统 |
| CN113487570A (zh) * | 2021-07-06 | 2021-10-08 | 东北大学 | 基于改进的yolov5x网络模型的高温连铸坯表面缺陷检测方法 |
| CN113487570B (zh) * | 2021-07-06 | 2024-01-30 | 东北大学 | 基于改进的yolov5x网络模型的高温连铸坯表面缺陷检测方法 |
| CN113945572A (zh) * | 2021-10-18 | 2022-01-18 | 郑州大学 | 一种基于机器学习的气缸套表面缺陷智能标注装置 |
| CN113945572B (zh) * | 2021-10-18 | 2023-08-01 | 郑州大学 | 一种基于机器学习的气缸套表面缺陷智能标注装置 |
| CN114708266A (zh) * | 2022-06-07 | 2022-07-05 | 青岛通产智能科技股份有限公司 | 一种卡片缺陷的检测工装、方法、装置以及介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110728657A (zh) | 一种基于深度学习的环状轴承外表面缺陷检测方法 | |
| CN109115785B (zh) | 一种铸件打磨质量检测方法、装置及其使用方法 | |
| CN110314854B (zh) | 一种基于视觉机器人的工件检测分拣的装置及方法 | |
| CN108226164B (zh) | 一种基于视觉检测的机器人打磨方法及系统 | |
| CN109969736A (zh) | 一种大型运载皮带跑偏故障智能检测方法 | |
| CN113146172B (zh) | 一种基于多视觉的检测与装配系统及方法 | |
| CN109693140B (zh) | 一种智能化柔性生产线及其工作方法 | |
| CN109142509B (zh) | 圆钢磁粉探伤方法与装置 | |
| CN102529019B (zh) | 一种模具检测、保护及零件检测、摘取的方法 | |
| CN112037203A (zh) | 基于复杂工件外轮廓配准的侧表面缺陷检测方法及系统 | |
| CN112497219B (zh) | 一种基于目标检测和机器视觉的柱状工件分类定位方法 | |
| CN112432949B (zh) | 一种利用3d拍照技术进行凹印版辊表面缺陷的检测方法 | |
| CN112858332A (zh) | 基于机器视觉的同步器齿毂表面缺陷检测方法、系统、终端 | |
| CN111220544A (zh) | 一种镜片质量检测装置及检测方法 | |
| CN113744247A (zh) | 一种pcb焊点缺陷识别方法和系统 | |
| CN212301356U (zh) | 一种轮毂焊缝视觉检测装置 | |
| CN111539927A (zh) | 汽车塑料组合件紧固卡扣缺装检测装置的检测过程及算法 | |
| CN113393426A (zh) | 一种轧钢板表面缺陷检测方法 | |
| CN112881427A (zh) | 可见光和红外热成像的电子元器件缺陷检测装置及方法 | |
| CN206305057U (zh) | 一种轴套类工件外观缺陷及外径自动检测装置 | |
| CN208042989U (zh) | 一种大尺寸薄板金属工件几何质量自动检测装置 | |
| CN113237889A (zh) | 一种多尺度的陶瓷检测方法及系统 | |
| CN113808104A (zh) | 一种基于分块的金属表面缺陷检测方法及系统 | |
| CN111178296B (zh) | 多工件视觉定位和识别方法 | |
| CN111598831A (zh) | 一种圆柱滚子轴承的检测方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200124 |
|
| RJ01 | Rejection of invention patent application after publication |