CN108827969A - 金属零件表面缺陷检测与识别方法及装置 - Google Patents
金属零件表面缺陷检测与识别方法及装置 Download PDFInfo
- Publication number
- CN108827969A CN108827969A CN201810228901.4A CN201810228901A CN108827969A CN 108827969 A CN108827969 A CN 108827969A CN 201810228901 A CN201810228901 A CN 201810228901A CN 108827969 A CN108827969 A CN 108827969A
- Authority
- CN
- China
- Prior art keywords
- defect
- image
- profile
- classification
- original image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000007547 defect Effects 0.000 title claims abstract description 342
- 238000001514 detection method Methods 0.000 title claims abstract description 77
- 239000002184 metal Substances 0.000 title claims abstract description 76
- 238000000034 method Methods 0.000 title claims abstract description 67
- 230000003321 amplification Effects 0.000 claims description 43
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 43
- 230000009467 reduction Effects 0.000 claims description 37
- 230000004927 fusion Effects 0.000 claims description 27
- 238000012549 training Methods 0.000 claims description 20
- 230000009466 transformation Effects 0.000 claims description 13
- 230000002950 deficient Effects 0.000 claims description 12
- 238000010276 construction Methods 0.000 claims description 11
- 238000003860 storage Methods 0.000 claims description 9
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 7
- 230000008859 change Effects 0.000 claims description 6
- 238000013507 mapping Methods 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 6
- 230000008569 process Effects 0.000 description 8
- 230000006870 function Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- IYLGZMTXKJYONK-ACLXAEORSA-N (12s,15r)-15-hydroxy-11,16-dioxo-15,20-dihydrosenecionan-12-yl acetate Chemical compound O1C(=O)[C@](CC)(O)C[C@@H](C)[C@](C)(OC(C)=O)C(=O)OCC2=CCN3[C@H]2[C@H]1CC3 IYLGZMTXKJYONK-ACLXAEORSA-N 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 235000013399 edible fruits Nutrition 0.000 description 2
- 239000003292 glue Substances 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- IYLGZMTXKJYONK-UHFFFAOYSA-N ruwenine Natural products O1C(=O)C(CC)(O)CC(C)C(C)(OC(C)=O)C(=O)OCC2=CCN3C2C1CC3 IYLGZMTXKJYONK-UHFFFAOYSA-N 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 229910052752 metalloid Inorganic materials 0.000 description 1
- 150000002738 metalloids Chemical class 0.000 description 1
- 238000005728 strengthening Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
- G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- General Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
- Image Analysis (AREA)
Abstract
本发明属于机器视觉技术领域，具体涉及一种金属表面缺陷检测与识别方法及装置。旨在解决现有技术在不同的环境下检测和识别精度低的问题。本发明提供一种金属表面缺陷检测与识别方法，包括基于获取的金属零件表面的原始图像，通过预先构建的表面缺陷检测模型对原始图像进行缺陷检测，得到缺陷区域位置；对缺陷区域位置进行轮廓检测，分别得到第一缺陷轮廓和第二缺陷轮廓；将第一缺陷轮廓与第二缺陷轮廓输入预先构建的表面缺陷分类模型，识别出金属零件表面的缺陷类别。本发明的方法具有全自动和检测精度高的优点。
Description
技术领域
本发明属于机器视觉技术领域，具体涉及一种金属表面缺陷检测与识别方法及装置。
背景技术
金属零件广泛应用于各行各业，例如汽车、机械制造和航空航天领域等。在实际生产过程中，由于加工工艺等各种原因，导致零件表面产生各类缺陷，例如划痕、麻点、凹陷、胶痕、异物等等，这些缺陷会严重影响零件的正常工作，因此，及时检测金属表面的缺陷，对缺陷进行严重程度评价，对提高金属表面质量具有重要意义。
目前常用的金属表面缺陷检测主要是通过机器视觉来解决，采用传统的图像处理算法或者机器学习算法来对图像进行检测和识别，但是现有技术的方法针对各式各样的缺陷环境需要设定多种检测阈值，如果环境发生变化，如光照条件等发生变化时，现有技术的方法往往会失效，导致其检测和识别精度很低，鲁棒性和适应性低，无法满足工业生产的高精度要求。
因此，如何提出一种解决上述问题的方案是本领域技术人员目前需要解决的问题。
发明内容
为了解决现有技术中的上述问题，即为了解决现有技术在不同的环境下检测和识别精度低的问题，本发明一方面提供了一种金属零件表面缺陷检测与识别方法，所述方法包括：
基于获取的金属零件表面的原始图像，通过预先构建的表面缺陷检测模型对所述原始图像进行缺陷检测，得到缺陷区域位置；
对所述缺陷区域位置进行轮廓检测，分别得到第一缺陷轮廓和第二缺陷轮廓；
将所述第一缺陷轮廓与所述第二缺陷轮廓输入预先构建的表面缺陷分类模型，识别所述金属零件表面的缺陷类别；
其中，
所述表面缺陷检测模型基于融合卷积网络模型构建，并通过所述原始图像和带有缺陷位置标注信息的金属零件表面图像的训练集进行训练；
所述表面缺陷分类模型基于分类卷积网络模型构建，并对所述分类卷积网络模型的全连接层进行训练。
在上述方法的优选技术方案中，“通过预先构建的表面缺陷检测模型对所述原始图像进行缺陷检测”之前，该方法还包括训练所述融合卷积网络模型，其步骤包括：
对标准金属零件表面图像的缺陷进行标注，得到标注图像；
将所述原始图像和所述标注图像的像素进行数据扩增，得到数据扩增原始图像和数据扩增标注图像，其中，数据扩增包括对所述原始图像和所述标注图像进行仿射变换、亮度变换以及模糊变换；
将所述数据扩增原始图像和所述数据扩增标注图像输入所述表面缺陷检测模型进行K层降维和K层升维操作，得到所述数据扩增标注图像中缺陷的区域位置，其中，K为正整数。
在上述方法的优选技术方案中，“对标准金属零件表面图像的缺陷进行标注”，其方法为：
将所述标准金属零件表面图像中缺陷区域的灰度值设定为0，将非缺陷区域的灰度值设定为1。
在上述方法的优选技术方案中，“将所述数据扩增原始图像和所述数据扩增标注图像输入所述表面缺陷检测模型进行K层降维和K层升维操作”，其方法为：
将所述数据扩增原始图像和所述数据扩增标注图像作为所述表面缺陷检测模型的第一输入图像；
K层降维操作具体包括：对所述第一输入图像进行卷积操作和池化操作，将第M(M<K)层降维操作后的第一输入图像作为第M+1层降维操作的输入，将第K层降维操作后的第一输入图像作为第一层升维操作的输入；
K层升维操作具体包括：对进行K层降维操作后的第一输入图像进行卷积操作和反卷积操作，得到第二输入图像，将第M层升维操作后的第二输入图像作为第M+1层升维操作的输入，将第N(N<K)层升维操作的输出与第K-N+1层升维操作的输入进行融合，并将融合结果作为第K-N+1层升维操作的输入，其中，M、N均为正整数。
在上述方法的优选技术方案中，所述第一缺陷轮廓为所述缺陷区域位置的最小外接矩形，所述第二缺陷轮廓为所述缺陷区域位置的正最小外接矩形，其中所述正最小外接矩形为包含所述缺陷区域位置面积最小的情况下，其中两边平行于图像的水平轴，另外两边平行于图像的垂直轴的矩形。
在上述方法的优选技术方案中，“识别出所述金属零件表面的缺陷类别”，其方法为：
所述表面缺陷分类模型识别出所述第一缺陷轮廓和所述第二缺陷轮廓的缺陷类别；
判断所述第一缺陷轮廓和所述第二缺陷轮廓的缺陷类别是否相同，若相同，则输出所述第一缺陷轮廓和所述第二缺陷轮廓中任意一个的缺陷类别；
若不同，则计算所述第一缺陷轮廓和所述第二缺陷轮廓的缺陷类别的概率，并按如下公式所述的方法确定输出的缺陷类别：
其中，w表示置信权值，yi表示所述第一缺陷轮廓的缺陷类别，yj表示所述第二缺陷轮廓的缺陷类别，p1(yi)表示所述第一缺陷轮廓的缺陷类别的概率，p2(yj)表示所述第二缺陷轮廓的缺陷类别的概率。
本发明的第二方面提供了一种金属零件表面缺陷检测与识别装置，所述装置包括：
缺陷检测单元，所述缺陷检测单元被配置为基于获取的金属零件表面的原始图像，通过预先构建的表面缺陷检测模型对所述原始图像进行缺陷检测，得到缺陷区域位置；
轮廓检测单元，所述轮廓检测单元被配置为对所述缺陷区域位置进行轮廓检测，分别得到第一缺陷轮廓和第二缺陷轮廓；
缺陷识别单元，所述缺陷识别单元被配置为将所述第一缺陷轮廓与所述第二缺陷轮廓输入预先构建的表面缺陷分类模型，识别所述金属零件表面的缺陷类别；
其中，
所述表面缺陷检测模型基于融合卷积网络模型构建，并通过所述原始图像和带有缺陷位置标注信息的金属零件表面图像的训练集进行训练；
所述表面缺陷分类模型基于分类卷积网络模型构建，并对所述分类卷积网络模型的全连接层进行训练。
在上述方法的优选技术方案中，所述缺陷检测单元还包括训练单元，所述训练单元用于训练所述表面缺陷检测模型，具体用于：
对标准金属零件表面图像的缺陷进行标注，得到标注图像；
将所述原始图像和所述标注图像的像素进行数据扩增，得到数据扩增原始图像和数据扩增标注图像，其中，数据扩增包括对所述原始图像和所述标注图像进行仿射变换、亮度变换以及模糊变换；
将所述数据扩增原始图像和所述数据扩增标注图像输入所述表面缺陷检测模型进行K层降维和K层升维操作，得到所述数据扩增标注图像中缺陷的区域位置，其中，K为正整数。
在上述方法的优选技术方案中，所述训练单元还包括标注单元，所述标注单元被配置为：
将所述标准金属零件表面图像中缺陷区域的灰度值设定为0，将非缺陷区域的灰度值设定为1。
在上述方法的优选技术方案中，所述训练单元还包括降维单元和升维单元，其中，所述数据扩增原始图像和所述数据扩增标注图像作为所述表面缺陷检测模型的第一输入图像；
所述降维单元被配置为对所述第一输入图像进行卷积操作和池化操作，将第M(M<K)层降维操作后的第一输入图像作为第M+1层降维操作的输入，将第K层降维操作后的第一输入图像作为第一层升维操作的输入；
所述升维单元被配置为对进行K层降维操作后的第一输入图像进行卷积操作和反卷积操作，得到第二输入图像，将第M层升维操作后的第二输入图像作为第M+1层升维操作的输入，将第N(N<K)层升维操作的输出与第K-N+1层升维操作的输入进行融合，并将融合结果作为第K-N+1层升维操作的输入，其中，M、N均为正整数。
在上述方法的优选技术方案中，所述第一缺陷轮廓为所述缺陷区域位置的最小外接矩形，所述第二缺陷轮廓为所述缺陷区域位置的正最小外接矩形，其中所述正最小外接矩形为包含所述缺陷区域位置面积最小的情况下，其中两边平行于图像的水平轴，另外两边平行于图像的垂直轴的矩形。
在上述方法的优选技术方案中，所述缺陷识别单元还用于：
所述表面缺陷分类模型识别出所述第一缺陷轮廓和所述第二缺陷轮廓的缺陷类别；
判断所述第一缺陷轮廓和所述第二缺陷轮廓的缺陷类别是否相同，若相同，则输出所述第一缺陷轮廓和所述第二缺陷轮廓中任意一个的缺陷类别；
若不同，则计算所述第一缺陷轮廓和所述第二缺陷轮廓的缺陷类别的概率，并按如下公式所述的方法确定输出的缺陷类别：
其中，w表示置信权值，yi表示所述第一缺陷轮廓的缺陷类别，yj表示所述第二缺陷轮廓的缺陷类别，p1(yi)表示所述第一缺陷轮廓的缺陷类别的概率，p2(yj)表示所述第二缺陷轮廓的缺陷类别的概率。
本发明的第三方面提供了一种存储装置，其中存储有多条程序，所述程序适于由处理器加载并执行如上述所述的金属零件表面缺陷检测与识别方法。
本发明的第四方面提供了一种处理装置，包括处理器、存储设备；处理器，适于执行各条程序；存储设备，适于存储多条程序；所述程序适于由处理器加载并执行如上述所述的金属零件表面缺陷检测与识别方法。
与最接近的现有技术相比，本发明提供一种金属零件表面缺陷检测与识别方法，包括基于获取的金属零件表面的原始图像，通过预先构建的表面缺陷检测模型对原始图像进行缺陷检测，得到缺陷区域位置；对缺陷区域位置进行轮廓检测，分别得到第一缺陷轮廓和第二缺陷轮廓；将第一缺陷轮廓与第二缺陷轮廓输入预先构建的表面缺陷分类模型，识别出金属零件表面的缺陷类别。
上述技术方案至少具有如下有益效果：
1、本发明通过预先对表面缺陷检测模型进行训练，使其在不同的环境下均能够准确地检测出金属零件表面图像中缺陷的区域位置，无需根据不同的环境设置不同的阈值，具有全自动和检测精度高的优点；
2、在得到图像中缺陷的区域位置后，对其进一步地进行轮廓检测，得到更加精细的缺陷区域位置，再通过表面缺陷分类模型识别精细的区域位置中的缺陷类别，并将识别结果进行融合，可以降低划痕等直线特征的错误分类率，提高了对所有表面缺陷类别地准确判定。
附图说明
图1为本发明一种实施例金属零件表面缺陷检测与识别方法的流程示意图；
图2为本发明一种实施例金属零件表面的图像；
图3为本发明一种实施例第一缺陷轮廓和第二缺陷轮廓的图像；
图4为本发明一种实施例缺陷检测结果图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围
下面参照附图来描述本发明的优选实施方式。本领域技术人员应当理解的是，这些实施方式仅仅用于解释本发明的技术原理，并非旨在限制本发明的保护范围。
参阅附图1，图1示例性的给出了本实施例中金属零件表面缺陷检测与识别方法的流程示意图。如图1所示，本实施例中金属零件表面缺陷检测与识别方法包括下述步骤：
步骤S1：基于获取的金属零件表面的原始图像，通过预先构建的表面缺陷检测模型对原始图像进行缺陷检测，得到缺陷区域位置；
如图2所示，图2示例性地给出了金属零件表面的图像，在明场成像的条件下，利用显微镜或者同轴光源搭配CCD(Charge-coupled Device，电荷耦合元件)等成像装置对待检测金属零件进行拍摄，获取金属零件表面的原始图像；将金属零件表面的原始图像输入预先构建的表面缺陷检测模型进行缺陷识别，其中，表面缺陷检测模型基于融合卷积网络模型构建，融合卷积网络模型是用于检测金属零件表面缺陷的模型，其输入是金属零件表面的原始图像，输出是金属零件表面的缺陷区域位置；
在本发明的一种优选实施例中，为了提高融合卷积网络模型识别的精确度和鲁棒性，对原始图像进行缺陷检测之前，对融合卷积网络模型进行训练，从而使本申请的方法在不同的环境下，均能够全自动且高精度地检测并识别缺陷，具体地，训练融合卷积网络模型的步骤包括：
对标准金属零件表面图像的缺陷进行标注，得到标注图像；
将原始图像和标注图像的像素进行数据扩增，得到数据扩增原始图像和数据扩增标注图像，其中，数据扩增包括对原始图像和标注图像进行仿射变换、亮度变换以及模糊变换；
将数据扩增原始图像和数据扩增标注图像输入融合卷积网络模型进行K层降维和K层升维操作，得到数据扩增标注图像中缺陷的区域位置，其中，K为正整数。在本发明实施例中，K的值可以是5，除此之外还可以是其他正整数，本发明在此不做限定。
在本发明实施例中，标准金属零件表面图像是指在实际应用中，在金属零件的表面具有典型，且普遍缺陷的图像，其中，缺陷可以包括划痕、麻点、凹陷、胶痕、异物等，在标准金属零件表面图像中，上述缺陷易于辨识。对标准金属零件表面图像的缺陷进行标注，将标准金属零件表面图像中缺陷区域的灰度值设定为0，将非缺陷区域的灰度值设定为1，在此步骤中，可以通过PS软件或者其他图像处理软件进行手工标注，缺陷区域可以是根据检测人员的经验进行标定，通过标注出标准金属零件表面图像中的缺陷并将其用于训练融合卷积网络模型，能够提供准确的样本，提高融合卷积网络模型的识别精度。
在实际应用中，训练融合卷积网络模型需要用到大量的图像数据，而标准金属零件表面图像的数量是有限的，且获取难度相对较高，因此，可以对已经得到的原始图像和标注图像中的像素进行数据扩增，将扩增后的原始图像和标注图像用于训练融合卷积网络模型，具体地，数据扩增可以包括对原始图像和标注图像进行仿射变换、亮度变换以及模糊变换等操作，其中，仿射变换是将原始图像和标注图像进行平移、旋转和尺寸缩放等操作，获取同一背景下，不同位置和不同角度的原始图像和标注图像；亮度变换是将原始图像和标注图像从RGB空间中转化到HSL空间中，对图像的亮度进行调节，具体可以包括直方图均衡、自适应直方图均衡化、限制对比度自适应直方图均衡等操作；模糊变换是采用高斯模糊算法对上述两图像进行卷积，通过上述变换，可以模拟不同角度、不同亮度以及不同模糊等情况下的缺陷数据，在实际应用中，只需要获取N张原始图像和标注图像，经过数据扩增后，可以得到100*N张图像，增加了训练融合卷积网络模型的数据量。
得到数据扩增后的原始图像和标注图像后，将其输入待训练的融合卷积网络模型，数据扩增后的原始图像作为输入，数据扩增后的标注图像作为输出。待训练的融合卷积网络模型是一个K层的融合卷积网络模型，包括K层降维操作和K层升维操作：降维操作包括卷积操作和池化操作，卷积操作是用来提取图像特征，池化操作是强化局部区域特征；升维操作包括卷积操作和反卷积操作，反卷积操作是用来恢复缺陷位置的信息。
将数据扩增后的原始图像和数据扩增后的标注图像作为融合卷积网络模型的第一输入图像，进行K层降维操作后的第一输入图像进行卷积操作和反卷积操作，得到第二输入图像；
K层降维操作具体包括：将第一层降维操作的输出作为第二层降维操作的输入，依次类推，最后将第K层降维操作的输出作为第一层升维操作的输入，第一层升维操作的输出作为第二层升维操作的输入，并依次类推。每一层升维操作包括两个卷积操作，具体为3*3卷积操作和RELU(Rectified Linear Unit，线性整流函数)操作，以及反卷积操作，将第N(N<K)层升维操作的输出与第K-N+1层升维操作的输入进行融合，并将融合结果作为第K-N+1层升维操作的输入，融合是指将图像的像素进行连接，最后经过第K层升维操作后输出标注图像，实现原始图像对标注图像的映射。在降维操作过程中，不断地提取图像的特征并且对缺陷区域进行局部强化，加强了对缺陷区域位置的识别能力，但是此时缺陷区域的位置信息却容易丢失，而在升维操作过程中，经过卷积和反卷积操作可以恢复缺陷区域的位置信息，最终可以实现准确地检测到原始图像中的缺陷位置。在实际操作过程中，只需要将金属零件表面图像输入训练好的融合卷积网络模型中即可检测到原始图像中缺陷区域位置。
步骤S2：对缺陷区域位置进行轮廓检测，分别得到第一缺陷轮廓和第二缺陷轮廓；
由于步骤S1中得到的金属零件表面图像缺陷的区域位置除了缺陷以外，还可能包括较多的背景信息，不利用后期分析缺陷的类型，因此需要进一步地对缺陷区域位置进行轮廓检测，得到更为精细的位置信息。在本发明实施例中，对缺陷区域位置进行轮廓检测属于本领域较为常见的技术，本申请在此不做展开性描述。
如图3所示，图3示例性地给出了第一缺陷轮廓和第二缺陷轮廓的图像。具体地，对步骤S1得到的区域位置进行轮廓检测，得到第一缺陷轮廓R1和第二缺陷轮廓R2，其中，第一缺陷轮廓可以为缺陷区域位置的最小外接矩形，第二缺陷轮廓可以为缺陷区域位置的正最小外接矩形，正最小外接矩形为包含缺陷区域位置面积最小的情况下，其中两边平行于图像的水平轴，另外两边平行于图像的垂直轴的矩形。
步骤S3：将第一缺陷轮廓与第二缺陷轮廓输入预先构建的表面缺陷分类模型，识别出金属零件表面的缺陷类别；
分类卷积网络模型是用于识别第一缺陷轮廓与第二缺陷轮廓的缺陷类别，并将缺陷类别融合的模型，其输入是第一缺陷轮廓与第二缺陷轮廓，输出是金属零件表面的缺陷类别。
在本发明实施例中，表面缺陷分类模型是基于分类卷积网络模型构建，是通过对通用的分类卷积网络模型的最后两层的全连接层进行训练，将全连接层进行梯度反向传播，并将反向传播后的全连接层的权值更新，并且保持通用分类卷积网络模型的其他层的权值不变，在实际应用中，可以采用VGG11网络嵌入分类卷积网络模型，保证模型的其他层的权值不变，通过VGG11网络对模型的最后两层的全连接层进行训练。
将第一缺陷轮廓与第二缺陷轮廓输入分类卷积网络模型中，分别得到第一缺陷轮廓和第二缺陷轮廓对应的缺陷类别，再判断第一缺陷轮廓和第二缺陷轮廓对应的缺陷类别是否相同，若相同，则输出第一缺陷轮廓和第二缺陷轮廓中任意一个的缺陷类别；若不同，则按如下公式的方法确定输出的缺陷类别：
其中，w表示置信权值，在本发明实施例中，置信权值的值可以为0.55，yi表示第一缺陷轮廓的缺陷类别，yj表示第二缺陷轮廓的缺陷类别，p1(yi)表示第一缺陷轮廓的缺陷类别的概率，p2(yj)表示第二缺陷轮廓的缺陷类别的概率。
如图4所示，图4示例性地给出了缺陷检测结果图，通过分类卷积网络模型可以将两种情况的缺陷类别结果融合输出概率较高缺陷类别，可以降低划痕等直线特征的错误分类率，提高了对所有表面缺陷类别地准确判定。
结合本文中所公开的实施例描述的方法或算法的步骤可以用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
本发明还提供一种金属零件表面缺陷检测与识别装置，装置包括：
缺陷检测单元，所述缺陷检测单元被配置为基于获取的金属零件表面的原始图像，通过预先构建的表面缺陷检测模型对所述原始图像进行缺陷检测，得到缺陷区域位置；
轮廓检测单元，所述轮廓检测单元被配置为对所述缺陷区域位置进行轮廓检测，分别得到第一缺陷轮廓和第二缺陷轮廓；
缺陷识别单元，所述缺陷识别单元被配置为将所述第一缺陷轮廓与所述第二缺陷轮廓输入预先构建的表面缺陷分类模型，识别所述金属零件表面的缺陷类别，
其中，
所述表面缺陷检测模型基于融合卷积网络模型构建，并通过所述原始图像和带有缺陷位置标注信息的金属零件表面图像的训练集进行训练；
所述表面缺陷分类模型基于分类卷积网络模型构建，并对所述分类卷积网络模型的全连接层进行训练。
本发明还提供一种存储装置，其中存储有多条程序，程序适于由处理器加载并执行如上述的金属零件表面缺陷检测与识别方法。
所属技术领域的技术人员可以清楚地了解到，为了描述的方便和简洁，本发明实施例存储装置的具体工作过程以及相关说明，可以参考前述实施例中方法的对应过程，且与上述方法具有相同的有益效果，在此不再赘述。
一种处理装置，包括处理器、存储设备；处理器，适于执行各条程序；存储设备，适于存储多条程序；程序适于由处理器加载并执行如上述的金属零件表面缺陷检测与识别方法。
所属技术领域的技术人员可以清楚地了解到，为了描述的方便和简洁，本发明实施例处理装置的具体工作过程以及相关说明，可以参考前述实施例方法中的对应过程，且与上述方法具有相同的有益效果，在此不再赘述。
本领域技术人员应该能够意识到，结合本文中所公开的实施例描述的各示例的方法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明电子硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以电子硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征做出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。
Claims (14)
1.一种金属零件表面缺陷检测与识别方法，其特征在于，所述方法包括：
基于获取的金属零件表面的原始图像，通过预先构建的表面缺陷检测模型对所述原始图像进行缺陷检测，得到缺陷区域位置；
对所述缺陷区域位置进行轮廓检测，分别得到第一缺陷轮廓和第二缺陷轮廓；
将所述第一缺陷轮廓与所述第二缺陷轮廓输入预先构建的表面缺陷分类模型，识别所述金属零件表面的缺陷类别；
其中，
所述表面缺陷检测模型基于融合卷积网络模型构建，并通过所述原始图像和带有缺陷位置标注信息的金属零件表面图像的训练集进行训练；
所述表面缺陷分类模型基于分类卷积网络模型构建，并对所述分类卷积网络模型的全连接层进行训练。
2.根据权利要求1所述的方法，其特征在于，“通过预先构建的表面缺陷检测模型对所述原始图像进行缺陷检测”之前，该方法还包括训练所述表面缺陷检测模型，其步骤包括：
对标准金属零件表面图像的缺陷进行标注，得到标注图像；
将所述原始图像和所述标注图像的像素进行数据扩增，得到数据扩增原始图像和数据扩增标注图像，其中，数据扩增包括对所述原始图像和所述标注图像进行仿射变换、亮度变换以及模糊变换；
将所述数据扩增原始图像和所述数据扩增标注图像输入所述表面缺陷检测模型进行K层降维和K层升维操作，得到所述数据扩增标注图像中缺陷的区域位置，其中，K为正整数。
3.根据权利要求2所述的方法，其特征在于，“对标准金属零件表面图像的缺陷进行标注”，其方法为：
将所述标准金属零件表面图像中缺陷区域的灰度值设定为0，将非缺陷区域的灰度值设定为1。
4.根据权利要求3所述的方法，其特征在于，“将所述数据扩增原始图像和所述数据扩增标注图像输入所述表面缺陷检测模型进行K层降维和K层升维操作”，其方法为：
将所述数据扩增原始图像和所述数据扩增标注图像作为所述表面缺陷检测模型的第一输入图像；
K层降维操作具体包括：对所述第一输入图像进行卷积操作和池化操作，将第M(M<K)层降维操作后的第一输入图像作为第M+1层降维操作的输入，将第K层降维操作后的第一输入图像作为第一层升维操作的输入；
K层升维操作具体包括：对进行K层降维操作后的第一输入图像进行卷积操作和反卷积操作，得到第二输入图像，将第M层升维操作后的第二输入图像作为第M+1层升维操作的输入，将第N(N<K)层升维操作的输出与第K-N+1层升维操作的输入进行融合，并将融合结果作为第K-N+1层升维操作的输入，其中，M、N均为正整数。
5.根据权利要求1所述的方法，其特征在于，所述第一缺陷轮廓为所述缺陷区域位置的最小外接矩形，所述第二缺陷轮廓为所述缺陷区域位置的正最小外接矩形，其中所述正最小外接矩形为包含所述缺陷区域位置面积最小的情况下，其中两边平行于图像的水平轴，另外两边平行于图像的垂直轴的矩形。
6.根据权利要求1-5任意一项所述的方法，其特征在于，“识别出所述金属零件表面的缺陷类别”，其方法为：
所述表面缺陷分类模型识别出所述第一缺陷轮廓和所述第二缺陷轮廓的缺陷类别；
判断所述第一缺陷轮廓和所述第二缺陷轮廓的缺陷类别是否相同，若相同，则输出所述第一缺陷轮廓和所述第二缺陷轮廓中任意一个的缺陷类别；
若不同，则计算所述第一缺陷轮廓和所述第二缺陷轮廓的缺陷类别的概率，并按如下公式所述的方法确定输出的缺陷类别：
其中，w表示置信权值，yi表示所述第一缺陷轮廓的缺陷类别，yj表示所述第二缺陷轮廓的缺陷类别，p1(yi)表示所述第一缺陷轮廓的缺陷类别的概率，p2(yj)表示所述第二缺陷轮廓的缺陷类别的概率。
7.一种金属零件表面缺陷检测与识别装置，其特征在于，所述装置包括：
缺陷检测单元，所述缺陷检测单元被配置为基于获取的金属零件表面的原始图像，通过预先构建的表面缺陷检测模型对所述原始图像进行缺陷检测，得到缺陷区域位置；
轮廓检测单元，所述轮廓检测单元被配置为对所述缺陷区域位置进行轮廓检测，分别得到第一缺陷轮廓和第二缺陷轮廓；
缺陷识别单元，所述缺陷识别单元被配置为将所述第一缺陷轮廓与所述第二缺陷轮廓输入预先构建的表面缺陷分类模型，识别所述金属零件表面的缺陷类别；
其中，
所述表面缺陷检测模型基于融合卷积网络模型构建，并通过所述原始图像和带有缺陷位置标注信息的金属零件表面图像的训练集进行训练；
所述表面缺陷分类模型基于分类卷积网络模型构建，并对所述分类卷积网络模型的全连接层进行训练。
8.根据权利要求7所述的装置，其特征在于，所述缺陷检测单元还包括训练单元，所述训练单元用于训练所述表面缺陷检测模型，具体用于：
对标准金属零件表面图像的缺陷进行标注，得到标注图像；
将所述原始图像和所述标注图像的像素进行数据扩增，得到数据扩增原始图像和数据扩增标注图像，其中，数据扩增包括对所述原始图像和所述标注图像进行仿射变换、亮度变换以及模糊变换；
将所述数据扩增原始图像和所述数据扩增标注图像输入所述表面缺陷检测模型进行K层降维和K层升维操作，得到所述数据扩增标注图像中缺陷的区域位置，其中，K为正整数。
9.根据权利要求8所述的装置，其特征在于，所述训练单元还包括标注单元，所述标注单元被配置为：
将所述金属零件表面的原始图像中缺陷区域的灰度值设定为0，将非缺陷区域的灰度值设定为1。
10.根据权利要求9所述的装置，其特征在于，所述训练单元还包括降维单元和升维单元，其中，所述数据扩增原始图像和所述数据扩增标注图像作为所述表面缺陷检测模型的第一输入图像；
所述降维单元被配置为对所述第一输入图像进行卷积操作和池化操作，将第M(M<K)层降维操作后的第一输入图像作为第M+1层降维操作的输入，将第K层降维操作后的第一输入图像作为第一层升维操作的输入；
所述升维单元被配置为对进行K层降维操作后的第一输入图像进行卷积操作和反卷积操作，得到第二输入图像，将第M层升维操作后的第二输入图像作为第M+1层升维操作的输入，将第N(N<K)层升维操作的输出与第K-N+1层升维操作的输入进行融合，并将融合结果作为第K-N+1层升维操作的输入，其中，M、N均为正整数。
11.根据权利要求7所述的装置，其特征在于，所述第一缺陷轮廓为所述缺陷区域位置的最小外接矩形，所述第二缺陷轮廓为所述缺陷区域位置的正最小外接矩形，其中所述正最小外接矩形为包含所述缺陷区域位置面积最小的情况下，其中两边平行于图像的水平轴，另外两边平行于图像的垂直轴的矩形。
12.根据权利要求7-11任一项所述的装置，其特征在于，所述缺陷识别单元还用于：
所述表面缺陷分类模型识别出所述第一缺陷轮廓和所述第二缺陷轮廓的缺陷类别；
判断所述第一缺陷轮廓和所述第二缺陷轮廓的缺陷类别是否相同，若相同，则输出所述第一缺陷轮廓和所述第二缺陷轮廓中任意一个的缺陷类别；
若不同，则计算所述第一缺陷轮廓和所述第二缺陷轮廓的缺陷类别的概率，并按如下公式所述的方法确定输出的缺陷类别：
其中，w表示置信权值，yi表示所述第一缺陷轮廓的缺陷类别，yj表示所述第二缺陷轮廓的缺陷类别，p1(yi)表示所述第一缺陷轮廓的缺陷类别的概率，p2(yj)表示所述第二缺陷轮廓的缺陷类别的概率。
13.一种存储装置，其中存储有多条程序，其特征在于，所述程序适于由处理器加载并执行如权利要求1-6任一项所述的金属零件表面缺陷检测与识别方法。
14.一种处理装置，包括处理器、存储设备；处理器，适于执行各条程序；存储设备，适于存储多条程序；其特征在于，所述程序适于由处理器加载并执行如权利要求1-6任一项所述的金属零件表面缺陷检测与识别方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810228901.4A CN108827969B (zh) | 2018-03-20 | 2018-03-20 | 金属零件表面缺陷检测与识别方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810228901.4A CN108827969B (zh) | 2018-03-20 | 2018-03-20 | 金属零件表面缺陷检测与识别方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108827969A true CN108827969A (zh) | 2018-11-16 |
| CN108827969B CN108827969B (zh) | 2020-07-24 |
Family
ID=64154129
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810228901.4A Active CN108827969B (zh) | 2018-03-20 | 2018-03-20 | 金属零件表面缺陷检测与识别方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108827969B (zh) |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108896746A (zh) * | 2018-07-06 | 2018-11-27 | 中南大学 | 无砟轨道自密实混凝土充填层缺陷定量检测装置及方法 |
| CN110060237A (zh) * | 2019-03-29 | 2019-07-26 | 腾讯科技（深圳）有限公司 | 一种故障检测方法、装置、设备及系统 |
| CN110322395A (zh) * | 2019-06-18 | 2019-10-11 | 电子科技大学中山学院 | 基于图像处理与仿射变换的零件轮廓形状检测方法及装置 |
| CN110726724A (zh) * | 2019-10-22 | 2020-01-24 | 北京百度网讯科技有限公司 | 缺陷检测方法、系统和装置 |
| CN110889837A (zh) * | 2019-11-25 | 2020-03-17 | 东华大学 | 一种具有瑕疵分级功能的布匹瑕疵检测方法 |
| CN110913682A (zh) * | 2019-11-29 | 2020-03-24 | 深圳市智微智能软件开发有限公司 | Smt换料方法及系统 |
| CN111421425A (zh) * | 2020-03-11 | 2020-07-17 | 东北大学 | 一种基于工业视觉的金属表面修磨系统 |
| CN111666629A (zh) * | 2020-05-15 | 2020-09-15 | 成都飞机工业（集团）有限责任公司 | 一种零部件表面缺陷快速检测样板的设计方法 |
| CN112330594A (zh) * | 2020-10-13 | 2021-02-05 | 浙江华睿科技有限公司 | 一种纸筒缺陷检测方法、装置、电子设备及存储介质 |
| CN114240926A (zh) * | 2021-12-28 | 2022-03-25 | 湖南云箭智能科技有限公司 | 板卡缺陷类别识别方法、装置、设备及可读存储介质 |
| CN114378649A (zh) * | 2020-10-16 | 2022-04-22 | 中科钢研节能科技有限公司 | 激光陀螺腔体自动化加工方法及装置 |
| CN115719341A (zh) * | 2022-11-21 | 2023-02-28 | 北京远舢智能科技有限公司 | 一种边浪缺陷检测方法、装置、电子设备及存储介质 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1979137A (zh) * | 2005-01-11 | 2007-06-13 | 欧姆龙株式会社 | 基板检查装置及其检查逻辑设定方法和检查逻辑设定装置 |
| CN102654464A (zh) * | 2012-03-13 | 2012-09-05 | 浙江工业大学 | 基于多特征模糊识别的铜带表面缺陷检测系统 |
| CN102854191A (zh) * | 2012-07-18 | 2013-01-02 | 湖南大学 | 高速铁轨表面缺陷的实时视觉检测与识别方法 |
| CN103632368A (zh) * | 2013-11-29 | 2014-03-12 | 苏州有色金属研究院有限公司 | 金属板带材表面图像缺陷合并方法 |
| CN104655642A (zh) * | 2015-02-06 | 2015-05-27 | 江苏大学 | 一种钢材开裂型缺陷的自动测量、表征分类方法及其系统 |
| US9092842B2 (en) * | 2011-08-04 | 2015-07-28 | Sharp Laboratories Of America, Inc. | System for defect detection and repair |
| CN104952766A (zh) * | 2014-03-28 | 2015-09-30 | 夏普株式会社 | 缺陷判断装置和缺陷判断方法 |
| CN106568783A (zh) * | 2016-11-08 | 2017-04-19 | 广东工业大学 | 一种五金零件缺陷检测系统及方法 |
-
2018
- 2018-03-20 CN CN201810228901.4A patent/CN108827969B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1979137A (zh) * | 2005-01-11 | 2007-06-13 | 欧姆龙株式会社 | 基板检查装置及其检查逻辑设定方法和检查逻辑设定装置 |
| US9092842B2 (en) * | 2011-08-04 | 2015-07-28 | Sharp Laboratories Of America, Inc. | System for defect detection and repair |
| CN102654464A (zh) * | 2012-03-13 | 2012-09-05 | 浙江工业大学 | 基于多特征模糊识别的铜带表面缺陷检测系统 |
| CN102854191A (zh) * | 2012-07-18 | 2013-01-02 | 湖南大学 | 高速铁轨表面缺陷的实时视觉检测与识别方法 |
| CN103632368A (zh) * | 2013-11-29 | 2014-03-12 | 苏州有色金属研究院有限公司 | 金属板带材表面图像缺陷合并方法 |
| CN104952766A (zh) * | 2014-03-28 | 2015-09-30 | 夏普株式会社 | 缺陷判断装置和缺陷判断方法 |
| CN104655642A (zh) * | 2015-02-06 | 2015-05-27 | 江苏大学 | 一种钢材开裂型缺陷的自动测量、表征分类方法及其系统 |
| CN106568783A (zh) * | 2016-11-08 | 2017-04-19 | 广东工业大学 | 一种五金零件缺陷检测系统及方法 |
Non-Patent Citations (1)
| Title |
|---|
| 孟佳，: "钢轨表面缺陷识别系统的设计与研究", 《中国优秀博硕士学位论文全文数据库（硕士） 工程科技II辑》 * |
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108896746A (zh) * | 2018-07-06 | 2018-11-27 | 中南大学 | 无砟轨道自密实混凝土充填层缺陷定量检测装置及方法 |
| CN110060237B (zh) * | 2019-03-29 | 2021-11-26 | 腾讯科技（深圳）有限公司 | 一种故障检测方法、装置、设备及系统 |
| CN110060237A (zh) * | 2019-03-29 | 2019-07-26 | 腾讯科技（深圳）有限公司 | 一种故障检测方法、装置、设备及系统 |
| CN110322395A (zh) * | 2019-06-18 | 2019-10-11 | 电子科技大学中山学院 | 基于图像处理与仿射变换的零件轮廓形状检测方法及装置 |
| CN110726724A (zh) * | 2019-10-22 | 2020-01-24 | 北京百度网讯科技有限公司 | 缺陷检测方法、系统和装置 |
| CN110889837A (zh) * | 2019-11-25 | 2020-03-17 | 东华大学 | 一种具有瑕疵分级功能的布匹瑕疵检测方法 |
| CN110913682A (zh) * | 2019-11-29 | 2020-03-24 | 深圳市智微智能软件开发有限公司 | Smt换料方法及系统 |
| CN111421425A (zh) * | 2020-03-11 | 2020-07-17 | 东北大学 | 一种基于工业视觉的金属表面修磨系统 |
| CN111666629A (zh) * | 2020-05-15 | 2020-09-15 | 成都飞机工业（集团）有限责任公司 | 一种零部件表面缺陷快速检测样板的设计方法 |
| CN112330594A (zh) * | 2020-10-13 | 2021-02-05 | 浙江华睿科技有限公司 | 一种纸筒缺陷检测方法、装置、电子设备及存储介质 |
| CN112330594B (zh) * | 2020-10-13 | 2024-01-30 | 浙江华睿科技股份有限公司 | 一种纸筒缺陷检测方法、装置、电子设备及存储介质 |
| CN114378649A (zh) * | 2020-10-16 | 2022-04-22 | 中科钢研节能科技有限公司 | 激光陀螺腔体自动化加工方法及装置 |
| CN114378649B (zh) * | 2020-10-16 | 2023-03-03 | 中科钢研节能科技有限公司 | 激光陀螺腔体自动化加工方法及装置 |
| CN114240926A (zh) * | 2021-12-28 | 2022-03-25 | 湖南云箭智能科技有限公司 | 板卡缺陷类别识别方法、装置、设备及可读存储介质 |
| CN115719341A (zh) * | 2022-11-21 | 2023-02-28 | 北京远舢智能科技有限公司 | 一种边浪缺陷检测方法、装置、电子设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108827969B (zh) | 2020-07-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108827969A (zh) | 金属零件表面缺陷检测与识别方法及装置 | |
| CN111179251B (zh) | 基于孪生神经网络利用模板比对的缺陷检测系统及方法 | |
| CN113160192B (zh) | 复杂背景下基于视觉的压雪车外观缺陷检测方法及装置 | |
| CN109683360B (zh) | 液晶面板缺陷检测方法及装置 | |
| CN111899241B (zh) | 一种定量化的炉前pcb贴片缺陷在线检测方法及系统 | |
| CN106846316A (zh) | 一种gis内部典型缺陷图像自动识别方法 | |
| CN110853015A (zh) | 基于改进Faster-RCNN的铝型材缺陷检测方法 | |
| CN109671078B (zh) | 一种产品表面图像异常检测方法及装置 | |
| CN111915704A (zh) | 一种基于深度学习的苹果分级识别方法 | |
| CN111833306A (zh) | 缺陷检测方法和用于缺陷检测的模型训练方法 | |
| CN105913415A (zh) | 一种具有广泛适应性的图像亚像素边缘提取方法 | |
| CN113344857B (zh) | 缺陷检测网络的训练方法、缺陷检测方法和存储介质 | |
| CN106501272B (zh) | 机器视觉焊锡定位检测系统 | |
| JP2013167596A (ja) | 欠陥検査装置、欠陥検査方法及びプログラム | |
| CN115147418B (zh) | 缺陷检测模型的压缩训练方法和装置 | |
| CN106651906A (zh) | 基于改进混合高斯模型的高压断路器运动特性测试方法 | |
| WO2024002187A1 (zh) | 缺陷检测方法、缺陷检测设备及存储介质 | |
| CN110781913A (zh) | 一种拉链布带缺陷检测方法 | |
| CN114266764A (zh) | 一种印刷标签的字符完整性检测方法及其装置 | |
| CN111415339A (zh) | 一种复杂纹理工业产品图像缺陷检测方法 | |
| CN116228741A (zh) | 一种pcba元器件缺陷检测方法及装置 | |
| CN114627089A (zh) | 缺陷识别方法、装置、计算机设备及计算机可读存储介质 | |
| CN113780484B (zh) | 工业产品缺陷检测方法和装置 | |
| CN111814852A (zh) | 图像检测方法、装置、电子设备和计算机可读存储介质 | |
| CN109993728B (zh) | 一种热转印胶水偏位自动检测方法和系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |