CN110992329B - 一种产品表面缺陷检测方法、电子设备及可读存储介质 - Google Patents

一种产品表面缺陷检测方法、电子设备及可读存储介质 Download PDF

Info

Publication number
CN110992329B
CN110992329B CN201911194536.0A CN201911194536A CN110992329B CN 110992329 B CN110992329 B CN 110992329B CN 201911194536 A CN201911194536 A CN 201911194536A CN 110992329 B CN110992329 B CN 110992329B
Authority
CN
China
Prior art keywords
product
image
defect
neural network
suspected
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911194536.0A
Other languages
English (en)
Other versions
CN110992329A (zh
Inventor
张武龙
吕文尔
赵钢
黄弯弯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Weiwei Medical Technology Co ltd
Original Assignee
Shanghai Weiwei Medical Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Weiwei Medical Technology Co ltd filed Critical Shanghai Weiwei Medical Technology Co ltd
Priority to CN201911194536.0A priority Critical patent/CN110992329B/zh
Publication of CN110992329A publication Critical patent/CN110992329A/zh
Application granted granted Critical
Publication of CN110992329B publication Critical patent/CN110992329B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20036—Morphological image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Geometry (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种产品表面缺陷检测方法、电子设备及可读存储介质，所述检测方法包括如下步骤：S1：获取待测产品的图像；S2：将所述待测产品的图像输入到第一处理模块和第二处理模块中并行运算；如果第一处理模块和第二处理模块均认定为良品时,则判定所述待测产品为良品，如果第一处理模块和第二处理模块至少一者判定所述待测产品为疑似缺陷品时，则进入步骤S3；S3：对疑似缺陷品进行复查。本发明提供的检测方法提高了检测效率，降低了将缺陷品误判为良品的概率，同时进一步解决了小数据集下缺陷品和良品的二分类和缺陷点的精确定位问题。

Description

一种产品表面缺陷检测方法、电子设备及可读存储介质
技术领域
本发明涉及一种产品检测方法，尤其涉及一种产品表面缺陷检测方法、电子设备及可读存储介质。
背景技术
物体表面的缺陷对于物体质量存在直接的影响，同时也影响到用户使用体验，尤其对于一些精度要求较高、使用场景特殊的物体，表面有无缺陷直接决定了物体能否进入市场。例如主要用于心脑血管介入手术治疗的扩张球囊，是一种常见的介入手术器械，其作用是扩张狭窄的血管或其他管腔以及支架系统。球囊质量问题关乎患者生命安全，如在使用过程中发生破裂，可能给患者造成难以估计的损伤。随着智能制造能力的提升，球囊产品的生产效率快速提升，传统人工肉眼观察来检测产品有无缺陷的方法早已不能满足大规模生产的需求，所以期望开发一套全自动智能检测方法，以提高产品检测效率。
虽然目前已经有了一些智能检测技术，但全自动智能检测仍然是球囊等工业产品生产中一项具有挑战性的任务。其原因是工业产品外形各色各样，表面缺陷形状大小纹理也不尽相同，单一算法或满足特定条件的检测方法显然不能解决实际问题。目前缺陷检测方法主要以人工质检和计算机辅助质检两种，其中计算机辅助的缺陷检测技术主要分为两种：基于传统的特征提取和基于深度学习的目标检测方法，目前公开的技术方案存在如下问题：
(1)人工表面缺陷检测需要经验丰富的员工进行操作，对工厂而言面临着员工难招、培训时间长、流动性大等问题。
(2)基于传统特征提取的技术效果优劣取决于能否有效提取到缺陷的特征，这一点难以保证，且需要花费大量的时间。而且，这种技术只能针对特定的产品，鲁棒性和技术拓展性都比较低。
(3)基于深度学习的缺陷检测方法需要大量的数据作前期训练，但在实际场景中，缺陷品占比很低，很难在短时间内找到大量数据集进行训练。而且单一使用深度学习算法容易忽略产品上不起眼的缺陷点，造成假阴性检测结果。
发明内容
本发明的目的在于提供一种产品表面缺陷检测方法、电子设备及可读存储介质，以提高产品检测效率，降低将缺陷品误判为良品的概率。
本发明为解决上述技术问题而采用的技术方案是提供一种产品表面缺陷检测方法，S1：获取待测产品的图像；S2：将所述待测产品的图像输入到第一处理模块和第二处理模块中进行并行检测；如果第一处理模块和第二处理模块均认定为良品时,则判定所述待测产品为良品；如果第一处理模块和第二处理模块至少一者判定所述待测产品为疑似缺陷品时，则进入步骤S3；S3：对疑似缺陷品进行复查。
优选地，所述步骤S2中的所述第一处理模块为训练好的二分类神经网络模型，所述第二处理模块为基于图像处理的缺陷点定位算法，所述缺陷点定位算法采用第一预设面积阈值对所述待测产品的图像进行处理以判定所述待测产品是否为良品。
优选地，所述二分类神经网络模型模型的训练步骤包括：S211：对现有产品的原始数据进行增强处理后，将现有产品分为良品和缺陷品；S212：将步骤S211处理后的数据输入到神经网络进行训练，初始化所述神经网络的权重参数和偏置参数；S213：使用标注为良品和缺陷品的目标产品数据对所述神经网络进行训练，更新所述神经网络的权重参数和偏置参数，得到针对所述目标产品的训练后的二分类神经网络模型模型。
优选地，所述步骤S211中对现有产品的原始数据进行增强处理的步骤，包括对所述原始数据进行旋转、缩放和对比度增强，以将数据量进行扩充。
优选地，所述步骤S213中利用损失函数和梯度下降法更新所述神经网络的权重参数和偏置参数，所述损失函数和梯度下降法的公式如下：
L＝||G(x)-Y||2＝∑i(c(xi)-yi)2 (6)
式(6)为所述损失函数的表达式，其中L是损失函数值，G(x)、G(xi)是网络输出值，Y、yi是标签值；
Figure BDA0002294363700000021
式(7)为所述梯度下降法的表达式，其中wi+1是待更新的神经网络权重，α是学习率，
Figure BDA0002294363700000022
是损失函数值对权重Wi的一阶导数。
优选地，所述基于图像处理的缺陷点定位算法采用自适应的梯度检测算法，将针眼、砂眼、白斑、亮点和异物五种缺陷点进行梯度检测，并使用连通域分析找出五种所述缺陷点的相应位置，并计算出所述缺陷点的外接矩形，确定所述缺陷点的位置。
优选地，所述梯度检测算法包括以下步骤：
S221：输入所述待测产品的图像，对所述待测产品的图像进行均值滤波操作，去除噪点，均值滤波公式如下：
Figure BDA0002294363700000031
式(8)中，width和height分别是与卷积核大小对应的宽和高，经过滤波后，中心点像素值变为卷积核对应的平均值；
S222：使用自适应阈值算法对滤波后的所述待测产品的图像进行二值化，其中设置自适应区域block值为奇数，且所述block值为图像长和宽中较小值的1/40取整后的数值或取整后的数值加1；阈值法公式如下：
Figure BDA0002294363700000032
式(9)中，f(x，y)为图像上某一点变换前的灰度值，t为阈值，在卷积核大小的范围内，高于阈值的灰度值变为白色255，低于阈值的部分变为黑色0；
S223：使用先膨胀后腐蚀的形态学操作填充孔洞，连接邻近的点，膨胀和腐蚀公式如下：
Figure BDA0002294363700000033
Figure BDA0002294363700000034
其中，式(10)为膨胀公式，式(11)为腐蚀公式，A为待测产品图像二值化后产生的图像；B为结构元素，所述结构元素为矩形、十字形、椭圆形或圆形；
S224：对所述步骤S223处理后的待测产品的图像进行连通域查找，将边缘以及缺陷点面积大于第一预设面积阈值的缺陷点查找出来，然后通过设置像素点范围，排除边缘，确定缺陷点；
S225：将所述步骤S224查找出的所述缺陷点进行外接矩形计算，得出外接矩形的四个顶点坐标，从而确定所述缺陷点的位置。
优选地，当所述步骤S2中所述第一处理模块认定所述待测产品为良品时，输出对应的置信度大于0.95。
优选地，所述步骤S3包括步骤S31；如果步骤S2中所述第二处理模块认定所述待测产品为良品而所述第一模块判定为疑似缺陷品，复查时将所述疑似缺陷品的图像再次输入到所述基于图像处理的缺陷点定位算法中运算，如果找到缺陷点且缺陷点面积小于第二预设面积阈值则判定为良品，否则判定为疑似缺陷品并输出缺陷点位置坐标后对所述疑似缺陷品继续复查；其中所述第二面积预设阈值小于所述第一面积预设阈值。
优选地，如果复查时未找到缺陷点，则发出转为人工判断的提醒。
优选地，还包括步骤S41：根据所述缺陷点位置坐标裁剪疑似缺陷点图像，计算裁剪后的疑似缺陷点图像的面积，如果面积小于第三预设面积阈值则判定为良品，否则判定为疑似缺陷品。
优选地，所述步骤S3包括步骤S42；如果步骤S2中基于图像处理的缺陷点定位算法认定所述待测产品为缺陷品，则输出疑似缺陷点位置坐标，根据所述坐标裁剪疑似缺陷点图像，计算裁剪后的疑似缺陷点图像的面积，如果面积小于第三预设面积阈值则判定为良品，否则判定为疑似缺陷品。
优选地，还包括步骤S5：将所述步骤S41或S42判定为疑似缺陷品的裁剪后的疑似缺陷点图像输入到训练好的多分类神经网络工程模型中，输出其缺陷类型。
优选地，所述步骤S5中多分类神经网络工程模型的训练步骤包括：S51：使用卷积神经网络作为基础网络，并使用归一化指数函数作为分类器来计算输入的图像属于某一类的概率，搭建多分类神经网络；S52：使用标注为针眼、砂眼、白斑、亮点、异物五类的目标产品图像对所述多分类神经网络进行参数训练，保存训练后的模型，得到多分类神经网络工程模型。
优选地，所述待测产品为球囊、金属材料、电子产品屏幕、玻璃及玻璃产品、管状物或塑料制品。
本发明为解决上述技术问题还提供一种电子设备，包括处理器和存储器，所述存储器上存储有计算机程序，所述计算机程序被所述处理器执行时，实现任一项上述方法。
本发明为解决上述技术问题还提供一种可读存储介质，所述可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时，实现任一项上述方法。
本发明对比现有技术有如下的有益效果：本发明提供的产品表面缺陷检测方法、电子设备及可读存储介质采用了两种算法并行处理，其一是基于神经网络和迁移学习搭建的二分类神经网络模型，其二是基于传统图像处理的缺陷点检测算法，两个算法并行执行，只有两者同时满足良品才确定为良品，否则为疑似缺陷品送入复查流程，提高了产品检测效率，降低了将缺陷品误判为良品的概率。同时本发明提供的检测方法即发挥了神经网络对光照、旋转的不变性优势，也发挥了传统图像处理中对灰度变化敏感的优势，解决了小数据集下缺陷品和良品的二分类问题。特别是基于传统图像处理的缺陷点定位算法，通过连通域分析和计算，获得缺陷点的最小外接矩形坐标，从而精确定位缺陷所在位置。
附图说明
图1为本发明实施例中物体表面缺陷检测的流程图；
图2为本发明实施例中二分类神经网络模型的训练及运行流程图；
图3为本发明实施例中基于图像处理的缺陷点定位流程图；
图4为本发明第一实施例中疑似缺陷品的复查流程图；
图5为本发明第二实施例中疑似缺陷品的复查流程图。
具体实施方式
下面结合附图和实施例对本发明作进一步的描述。
在以下描述中，为了提供本发明的透彻理解，阐述了很多具体的细节。然而，本发明可以在没有这些具体的细节的情况下实践，这对本领域普通该技术人员来说将是显而易见的。因此，具体的细节阐述仅仅是示例性的，具体的细节可以由奔放的精神和范围而变化并且仍被认为是在本发明的精神和范围内。
为了实现上述目的，本实施例以球囊产品的表面缺陷检测为例具体说明，但是具体应用时，本发明所要保护的产品表面缺陷检测方法不仅限于球囊产品的表面缺陷检测，也适用于例如金属材料、电子产品屏幕、玻璃及玻璃产品、管状物、塑料制品等物体的表面缺陷检测。
对于质量检测部门而言，最关心的问题是如何将生产出的产品正确的分为良品和缺陷品，良品直接进入下一道工序，缺陷品淘汰或者返回到上一道工序进行再加工，其核心问题是无假阴性出现，即缺陷品误判为良品。为此，本发明提供的产品表面缺陷检测方法基于神经网络和迁移学习的二分类神经网络模型和基于传统图像处理的缺陷点定位算法，两者并行运算，只有两者同时认定为良品才判定为良品，否则就判定为疑似缺陷品进入复查环节。
实施例1
请参见图1，本实施例提供的球囊产品的表面缺陷检测方法步骤如下：
步骤S1：使用工业相机对球囊进行拍照，获取待测球囊的图像；
步骤S2：将所述待测球囊的图像输入到训练好的二分类神经网络模型和基于图像处理的缺陷点定位算法中并行运算，所述缺陷点定位算法中采用第一预设面积阈值判定所述待测球囊是否为良品；如果训练好的二分类神经网络模型和基于图像处理的缺陷点定位算法两者均认定为良品时，则判定所述待测球囊为良品，否则判定所述待测球囊为疑似缺陷品进行复查。
下面分别就二分类神经网络模型的训练和基于图像处理的缺陷点定位算法进行具体说明：
(1)基于神经网络和迁移学习的二分类神经网络模型
神经网络的优势是对光照，旋转具有不变性，鲁棒性好，但需要大量的数据进行训练。由于工业产品中缺陷品数量少，本发明首先对现有产品的原始数据进行增强处理，扩充数据，然后将增强后的数据分为良品和缺陷品两类输入到神经网络中进行训练并改进，最终得到训练后的模型即为二分类神经网络模型，二分类神经网络模型可用于判断良品与缺陷品。本实施例优选采用ImageNet数据集提供现有产品的原始数据，ImageNet数据集为机器视觉最大的数据集，由上千万张照片组成；本实施例的神经网络优选为Inception V3网络，Inception V3网络为一种开源神经网络分类算法。为了提高识别准确率，本发明使用了迁移学习的思想，利用大数据如ImageNet数据集学习到的特征提取能力，对小规模数据如球囊图像数据进行特征提取；也就是将使用ImageNet数据集对网络模型进行预训练，然后使用训练后的参数对Inception V3网络进行权重初始化，在训练时固化前面层，只训练最后例如三层及分类器。
请参见图2，二分类神经网络模型的具体训练及运行流程如下：
步骤S211：对采集到的球囊数据集中的原始数据进行旋转、缩放、对比度增强，将数据量扩充为原来的四倍，并将扩充后的球囊数据人工标注为良品和缺陷品两类，数据扩充公式如下：
x2+y2＝x1 2+y1 2＝r2 (1)
x1＝xcos(a)+ysin(a) (2)
y1＝ycos(a)-xsin(a) (3)
x2＝kx y2＝ky (4)
式(1)-(4)中，x，y为原图坐标点，x1，y1及x2，y2分别为经过旋转和缩放后的坐标点，a为旋转角度，k为缩放比例。
Figure BDA0002294363700000071
式(5)为图像对比例增强使用的Gamma变换，其中Vout是经过变换后的图像灰度值，Vin是变换前原图的灰度值，γ是变换因子，当γ＜1时，经变换后图像变暗，当γ＞1时，经变换后的图像变亮。
步骤S212：将步骤S211处理后的数据输入到Inception V3神经网络进行训练，初始化Inception V3神经网络的权重参数weight和偏置参数bias，训练时将该网络卷积层、池化层及Inception模块前面层进行固化，不调整参数，只训练最后三层及分类器。
步骤S213：使用标注为良品和缺陷品的球囊图片数据对步骤212得到的InceptionV3网络进行训练，更新Inception V3网络的权重参数和偏置参数，最终得到球囊二分类神经网络模型；同样，训练时将该网络卷积层、池化层及Inception模块前面层进行固化，不调整参数，只训练最后三层及分类器。利用损失函数和梯度下降法更新Inception V3网络的权重参数和偏置参数，损失函数和梯度下降法的公式如下：
L＝||G(x)-Y||2＝∑i(G(xi)-yi)2 (6)
式(6)为损失函数表达式，其中L是损失函数值，G(x)、G(xi)是网络输出值，Y、yi是标签值。
Figure BDA0002294363700000072
式(7)为梯度下降法表达式，其中wi+1是待更新的神经网络权重，α是学习率(权重weight每次更新的步幅)，
Figure BDA0002294363700000073
是损失函数值对权重的一阶导数。
在实际运行阶段，将待测球囊图片输入到步骤S213生成的二分类神经网络模型中，经过模型计算，最终即可输出待检测球囊图片是良品还是缺陷品，以及对应的置信度。
(2)基于图像处理的缺陷点检测算法
产品表面缺陷种类多，形状、大小、纹理各异，其中针眼、沙眼、白斑、亮点四类缺陷的共同点是与背景相比有明显灰度值梯度变化，本实施例中采用自适应的梯度检测算法，即将针眼、砂眼、白斑、亮点、异物五种缺陷点进行梯度检测，并使用连通域分析找出以上五种缺陷点的相应位置，并计算出缺陷点的外接矩形box，以定位缺陷，从而找到缺陷点所在位置。
请参见图3，梯度检测算法具体分为以下步骤：
步骤S221：输入待测球囊图像，对图像进行滤波去噪，去除极小的噪点，均值滤波公式如下：
Figure BDA0002294363700000081
式(8)中，width和height分别是与卷积核大小对应的宽和高，经过滤波后，中心点像素值变为核对应的平均值。
步骤S222：使用自适应阈值算法对图像进行二值化，本实施例中自适应区域block值设置为55，所述block值为奇数，且所述block值为图像长和宽中较小值的1/40取整后的数值或取整后的数值加1；具体地，如果图像长和宽中较小值的1/40为奇数且为整数，则block值为图像长和宽中较小值的1/40；如果图像长和宽中较小值的1/40为非整数，则为取整后的奇数，如果图像长和宽中较小值的1/40为偶数或取整后为偶数，则在该数值上加1，如图像尺寸为400*600，则block值优选为11(400*1/40+1)，目的是将产品边界和产品表面梯度变化比较大的缺陷点标记出来，阈值法公式如下：
Figure BDA0002294363700000082
式(9)中，f(x，y)为图像上某一点变换前的灰度值，t为阈值，在卷积核大小的范围内，高于阈值的灰度值变为白色255，低于阈值的部分变为黑色0。
步骤S223：使用先膨胀后腐蚀的形态学操作填充孔洞，连接邻近的点，膨胀和腐蚀公式如下：
Figure BDA0002294363700000091
Figure BDA0002294363700000092
式(10)为膨胀公式，式(11)为腐蚀公式，其中A为待处理的二值图像；B为结构元素，常见的结构元素有矩形、十字形、椭圆形、圆形等。
步骤S224：对步骤223处理后的图像进行连通域查找，用于将边缘以及较大的缺陷点查找出来，然后通过设置像素点范围，排除边缘，例如边缘处面积大于5000个像素点，以防止将边缘误判为缺陷点。
将步骤S224查找出的连通区域(也就是缺陷点)进行外接矩形计算，得出外接矩形的四个顶点坐标，进而确定缺陷点的位置。
(3)二分类神经网络模型和基于图像处理的缺陷点检测算法并联检测
此步骤的核心是将步骤S2中的二分类神经网络模型和基于图像处理的缺陷点检测算法进行并联，在实际检测时，只有二分类神经网络模型判定为正样本(良品)且缺陷点梯度检测也判断为正样本(无box)的产品，才认为是正样本(良品)，否则为负样本(疑似缺陷品)，进入复查环节。这样的方法不仅提高了检测效率，也极大的降低了将负样本误判为正样本的概率，实测误判率降低到5‰以下。
在实际执行中，当二分类神经网络模型输出良品的置信度大于0.95，且基于图像处理的缺陷点检测算法没有检测到连通域(缺陷点)时，系统认为此产品属于良品(即两种算法检测都通过)，进入下一环节，否则为疑似缺陷品，进入复查步骤。
通过本发明的并行检测，两种检测方式同时检测通过判定为良品的方式可以大大降低假阴性(缺陷品误判为良品)的出现，对于保障产品安全有重大意义。
步骤S3：对疑似缺陷品进行复查。在实际产线质量检测过程中，对疑似缺陷品需要进行复查，以尽可能降低误判率。请参见图4，本实施例的复查环节包括如下步骤：
步骤S31：如果步骤S2中基于图像处理的缺陷点定位算法判定所述待测产品球囊为良品，而二分类神经网络模型判定所述待测产品球囊为缺陷品，复查时将所述疑似缺陷品图像再次输入到基于图像处理的缺陷点定位算法中运算，如果找到缺陷点且缺陷点面积小于第二预设面积阈值则判定为良品，否则判定所述待测产品球囊为疑似缺陷品并输出缺陷点位置坐标继续进入步骤S41进行复查；其中所述第二面积预设阈值小于所述第一面积预设阈值。复查时如果未找到缺陷点，则发出转为人工判断的提醒。
步骤S41：根据步骤S31的所述缺陷点位置坐标裁剪疑似缺陷点图像，计算裁剪后的疑似缺陷点图像的面积，如果面积小于第三预设面积阈值则认为目标极小，判定所述待测产品球囊为良品，否则判定所述待测产品球囊为疑似缺陷品进入步骤S5复查。第三预设面积阈值可以由质检人员根据具体情况来确定，例如50个像素值。
步骤S5：将步骤S41裁剪后的疑似缺陷点图像输入到训练好的多分类神经网络工程模型中，进而得出裁剪的图片属于五类缺陷中哪一类，以进行更加精确的缺陷判定以及为后续的改进方案提供参考；如果判定疑似缺陷点不属于五类缺陷中的任何一类，则发出转为人工判断的提醒。该方法对各类缺陷分类的准确率达到98％以上，不仅解决了疑似缺陷品复查的问题，同时对缺陷点的分类统计可以进一步指导生产线的技术改进。
依据人工复查过程，本发明在一些实施方式中设计了基于多分类神经网络的全自动算法，多分类神经网络模型的具体训练步骤如下：
步骤S51：使用卷积神经网络作为基础网络，例如其中包括10层卷积，10层池化，3层全连接，并使用归一化指数函数(softmax)作为分类器来计算输入的图像属于某一类的概率，进而执行多任务分类，其中softmax公式如下：
Figure BDA0002294363700000101
式(12)中，Pi为输入的图像属于i分类的概率，其值介于0到1之间，ei为输入的图像经网络计算后属于i分类的结果，ej为属于j分类的计算结果。
步骤S52：使用标注为针眼、砂眼、白斑、亮点、异物五类的球囊产品图像，对所述多分类神经网络进行参数训练，训练神经网络内部参数，即权重weight和偏置bias，保存训练后的模型，得到多分类神经网络工程模型。
实施例2
本实施例的步骤S1、步骤S2与实施例1均相同，不同的是步骤S3中的复查步骤，请参见图5，本实施例的复查环节不包括实施例1的步骤S31和步骤S41，但包括如下步骤S42：
步骤S42；如果步骤S2中基于图像处理的缺陷点定位算法判定所述待测产品球囊为缺陷品，则输出疑似缺陷点位置坐标，根据所述疑似缺陷点位置坐标裁剪疑似缺陷点图像，计算裁剪后的疑似缺陷点图像的面积，如果面积小于第三预设面积阈值则认为目标极小，判定所述待测产品球囊为良品，否则判定所述待测产品球囊为疑似缺陷品进入步骤S5复查。第三预设面积阈值小于第一、第二预设面积，可以由质检人员根据具体情况来确定，例如50个像素值。
步骤S5及多分类神经网络模型的训练步骤S51、S52均与实施例1相同，本实施例不再赘述。
实施例3
本实施例提供一种电子设备，包括处理器和存储器，所述存储器上存储有计算机程序，所述计算机程序被所述处理器执行时，实现实施例1或/和实施例2的检测方法。
实施例4
本实施例提供一种可读存储介质，所述可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时，实现实施例1或/和实施例2的检测方法。
综上所述，本发明至少可产生如下技术效果：(1)使用基于神经网络的二分类网络与基于图像处理的缺陷点检测算法并行检测的方法，即发挥了神经网络对光照、旋转的不变性、深度学习的强鲁棒性优势，也发挥了传统图像处理中对灰度变化敏感的优势；解决了小数据集下缺陷品和良品的二分类与缺陷点准确定位问题；同时大大降低将缺陷品误判为良品的概率，对于保障产品安全有重大意义；(2)设计了针对疑似缺陷点进行复查的全自动算法，通过计算疑似缺陷点的面积，将低于某一阈值的疑似缺陷品重新定义为良品。通过设置不同的阈值就可对疑似缺陷品进行复查，筛选出合格品以及判断出缺陷品的所属类别，该方法可以大幅降低产品误判率；(3)实现从输入产品图像到输出结果的全自动检测，无需人为参与，可明显提高工业生产效率，对于工业产品表面缺陷的智能化质量检测有重大意义。(4)搭建了一个多分类神经网络，将识别出的缺陷点输入多分类神经网络中，经过分类器处理后输出缺陷类型，对各类缺陷分类的准确率达到98％以上，不仅解决了疑似缺陷品复查的问题，同时对缺陷点的分类统计可以进一步指导生产线的技术改进。
虽然本发明已以较佳实施例揭示如上，然其并非用以限定本发明，任何本领域技术人员，在不脱离本发明的精神和范围内，当可作些许的修改和完善，因此本发明的保护范围当以权利要求书所界定的为准。

Claims (16)

1.一种产品表面缺陷检测方法，其特征在于，包括如下步骤：
S1：获取待测产品的图像；
S2：将所述待测产品的图像输入到第一处理模块和第二处理模块中进行并行检测；如果第一处理模块和第二处理模块均认定所述待测产品为良品时,则判定所述待测产品为良品；如果第一处理模块和第二处理模块中至少一者判定所述待测产品为疑似缺陷品时，则进入步骤S3；
S3：对疑似缺陷品进行复查；
所述步骤S2中的所述第一处理模块为训练好的二分类神经网络模型，所述第二处理模块为基于图像处理的缺陷点定位算法，所述缺陷点定位算法采用第一预设面积阈值对所述待测产品的图像进行处理以判定所述待测产品是否为良品；
所述基于图像处理的缺陷点定位算法包括采用自适应的梯度检测算法，将针眼、砂眼、白斑、亮点和异物五种缺陷点进行梯度检测，并使用连通域分析找出五种所述缺陷点的相应位置，并计算出所述缺陷点的外接矩形，确定所述缺陷点的位置。
2.如权利要求1所述的产品表面缺陷检测方法，其特征在于，所述二分类神经网络模型的训练步骤包括：
S211：对现有产品的原始数据进行增强处理后，将现有产品分为良品和缺陷品；
S212：将步骤S211处理后的数据输入到神经网络进行训练，初始化所述神经网络的权重参数和偏置参数；
S213：使用标注为良品和缺陷品的目标产品数据对所述神经网络进行训练，更新所述神经网络的权重参数和偏置参数，得到针对所述目标产品的训练后的二分类神经网络模型。
3.如权利要求2所述的产品表面缺陷检测方法，其特征在于，所述步骤S211中对现有产品的原始数据进行增强处理的步骤包括对所述原始数据进行旋转、缩放和对比度增强，以将数据量进行扩充。
4.如权利要求2所述的产品表面缺陷检测方法，其特征在于，所述神经网络为Inception V3网络，训练时，将所述神经网络的卷积层、池化层及Inception模块前面层进行固化，并训练最后三层及分类器。
5.如权利要求2所述的产品表面缺陷检测方法，其特征在于，所述步骤S213中利用损失函数和梯度下降法更新所述神经网络的权重参数和偏置参数，所述损失函数和梯度下降法的公式如下：
Figure QLYQS_1
（6）
式（6）为所述损失函数的表达式，其中L是损失函数值，
Figure QLYQS_2
、/>
Figure QLYQS_3
是网络输出值，/>
Figure QLYQS_4
、
Figure QLYQS_5
是标签值；
Figure QLYQS_6
(7)
式（7）为所述梯度下降法的表达式，其中
Figure QLYQS_7
是待更新的神经网络权重，/>
Figure QLYQS_8
是学习率，
Figure QLYQS_9
是损失函数值对权重Wi的一阶导数。
6.如权利要求1所述的产品表面缺陷检测方法，其特征在于，所述梯度检测算法包括以下步骤：
S221：输入所述待测产品的图像，对所述待测产品的图像进行均值滤波操作，去除噪点，均值滤波公式如下：
Figure QLYQS_10
（8）
（8）中，width和height分别是与卷积核大小对应的宽和高，经过滤波后，中心点像素值变为卷积核对应的平均值；
S222：使用自适应阈值算法对滤波后的所述待测产品的图像进行二值化，其中设置自适应区域block值为奇数，且所述block值为图像长和宽中较小值的1/40取整后的数值或取整后的数值加1；阈值法公式如下：
Figure QLYQS_11
（9）
式（9）中，
Figure QLYQS_12
为图像上某一点变换前的灰度值，/>
Figure QLYQS_13
为阈值，在卷积核大小的范围内，高于阈值的灰度值变为白色255，低于阈值的部分变为黑色0；
S223：使用先膨胀后腐蚀的形态学操作填充孔洞，连接邻近的点，膨胀和腐蚀公式如下：
Figure QLYQS_14
(10)
Figure QLYQS_15
(11)
其中，式（10）为膨胀公式，式（11）为腐蚀公式，A为待测产品图像二值化后产生的图像；B为结构元素，所述结构元素为矩形、十字形、椭圆形或圆形；
S224：对所述步骤S223处理后的待测产品的图像进行连通域查找，将边缘以及缺陷点面积大于第一预设面积阈值的缺陷点查找出来，然后通过设置像素点范围，排除边缘，确定缺陷点；
S225：将所述步骤S224查找出的所述缺陷点进行外接矩形计算，得出外接矩形的四个顶点坐标，从而确定所述缺陷点的位置。
7.如权利要求1所述的产品表面缺陷检测方法，其特征在于，当所述步骤S2中所述第一处理模块认定所述待测产品为良品时，输出对应的置信度大于0.95。
8.如权利要求1所述的产品表面缺陷检测方法，其特征在于，所述步骤S3包括步骤S31：如果步骤S2中所述第二处理模块认定所述待测产品为良品而所述第一处理模块判定为疑似缺陷品，复查时将所述疑似缺陷品的图像再次输入到所述基于图像处理的缺陷点定位算法中运算，如果找到缺陷点且缺陷点面积小于第二预设面积阈值则判定为良品，否则判定为疑似缺陷品并输出缺陷点位置坐标后对所述疑似缺陷品继续复查；其中所述第二预设面积阈值小于所述第一预设面积阈值。
9.如权利要求8所述的产品表面缺陷检测方法，其特征在于，如果复查时未找到缺陷点，则发出转为人工判断的提醒。
10.如权利要求8所述的产品表面缺陷检测方法，其特征在于，还包括步骤S41：根据所述缺陷点位置坐标裁剪疑似缺陷点图像，计算裁剪后的疑似缺陷点图像的面积，如果面积小于第三预设面积阈值则判定为良品，否则判定为疑似缺陷品。
11.如权利要求1所述的产品表面缺陷检测方法，其特征在于，所述步骤S3包括步骤S42；如果步骤S2中基于图像处理的缺陷点定位算法认定所述待测产品为缺陷品，则输出疑似缺陷点位置坐标，根据所述坐标裁剪疑似缺陷点图像，计算裁剪后的疑似缺陷点图像的面积，如果面积小于第三预设面积阈值则判定为良品，否则判定为疑似缺陷品。
12.如权利要求10或11所述的产品表面缺陷检测方法，其特征在于，包括步骤S5：将所述步骤S41或S42判定为疑似缺陷品的裁剪后的疑似缺陷点图像输入到训练好的多分类神经网络工程模型中，输出其缺陷类型。
13.如权利要求12所述的产品表面缺陷检测方法，其特征在于，所述步骤S5中多分类神经网络工程模型的训练步骤包括：
S51：使用卷积神经网络作为基础网络，并使用归一化指数函数作为分类器来计算输入的图像属于某一类的概率，搭建多分类神经网络；
S52：使用标注为针眼、砂眼、白斑、亮点、异物五类的目标产品图像对所述多分类神经网络进行参数训练，保存训练后的模型，得到多分类神经网络工程模型。
14.如权利要求1-11任一项所述的产品表面缺陷检测方法，其特征在于，所述待测产品为球囊、金属材料、电子产品屏幕、玻璃及玻璃产品、管状物或塑料制品。
15.一种电子设备，其特征在于，包括处理器和存储器，所述存储器上存储有计算机程序，所述计算机程序被所述处理器执行时，实现权利要求1至14中任一项所述的方法。
16.一种可读存储介质，其特征在于，所述可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时，实现权利要求1至14中任一项所述的方法。
CN201911194536.0A 2019-11-28 2019-11-28 一种产品表面缺陷检测方法、电子设备及可读存储介质 Active CN110992329B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911194536.0A CN110992329B (zh) 2019-11-28 2019-11-28 一种产品表面缺陷检测方法、电子设备及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911194536.0A CN110992329B (zh) 2019-11-28 2019-11-28 一种产品表面缺陷检测方法、电子设备及可读存储介质

Publications (2)

Publication Number Publication Date
CN110992329A CN110992329A (zh) 2020-04-10
CN110992329B true CN110992329B (zh) 2023-06-30

Family

ID=70087874

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911194536.0A Active CN110992329B (zh) 2019-11-28 2019-11-28 一种产品表面缺陷检测方法、电子设备及可读存储介质

Country Status (1)

Country Link
CN (1) CN110992329B (zh)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI745946B (zh) * 2020-04-30 2021-11-11 慧穩科技股份有限公司 一種高爾夫球電腦檢測系統及自動光學檢測設備
CN111583223B (zh) * 2020-05-07 2023-12-19 上海闻泰信息技术有限公司 缺陷检测方法、装置、计算机设备及计算机可读存储介质
JP7410402B2 (ja) * 2020-05-08 2024-01-10 ダイキン工業株式会社 外観検査システム
CN111784663B (zh) * 2020-06-30 2024-01-23 北京百度网讯科技有限公司 零部件的检测方法、装置、电子设备及存储介质
CN111862067B (zh) * 2020-07-28 2021-10-26 中山佳维电子有限公司 一种焊接缺陷检测方法、装置、电子设备以及存储介质
CN112435245A (zh) * 2020-11-27 2021-03-02 济宁鲁科检测器材有限公司 基于物联网的磁痕缺陷自动识别方法
CN113066046A (zh) * 2020-12-04 2021-07-02 泰州可以信息科技有限公司 截面面积合格等级解析平台及方法
CN112750109B (zh) * 2021-01-14 2023-06-30 金陵科技学院 一种基于形态学和深度学习的制药设备安全监测方法
CN112926438B (zh) * 2021-02-22 2024-04-05 深圳中科飞测科技股份有限公司 检测方法及装置、检测设备和存储介质
CN113012137B (zh) * 2021-03-24 2022-05-10 滁州惠科光电科技有限公司 一种面板缺陷检查方法、系统、终端设备及存储介质
CN113095563A (zh) * 2021-04-07 2021-07-09 全球能源互联网研究院有限公司 一种人工智能模型预测结果的复审方法及装置
CN113112483B (zh) * 2021-04-16 2023-04-18 合肥科大智能机器人技术有限公司 一种基于相似度度量的刚性接触网缺陷检测方法及系统
CN113298765B (zh) * 2021-05-19 2023-11-07 广东工业大学 基于图像处理及深度学习的玻璃面板表面缺陷检测方法
CN113409290B (zh) * 2021-06-29 2023-12-15 北京兆维电子(集团)有限责任公司 一种液晶屏外观缺陷检测方法、装置及存储介质
CN113837994B (zh) * 2021-07-29 2024-02-13 尚特杰电力科技有限公司 一种基于边缘检测卷积神经网络的光伏板缺陷诊断方法
CN113686876B (zh) * 2021-08-24 2022-10-04 华南农业大学 一种禽蛋裂纹检测方法、装置
CN114002228A (zh) * 2021-11-05 2022-02-01 华能国际电力股份有限公司上海石洞口第二电厂 基于图像识别的皮带裂缝检测方法
CN114441547A (zh) * 2022-04-11 2022-05-06 深圳市睿阳精视科技有限公司 一种智能家电盖板缺陷检测方法
CN116363133B (zh) * 2023-06-01 2023-07-28 无锡斯达新能源科技股份有限公司 基于机器视觉的照明器配件缺陷检测方法
CN117541563A (zh) * 2023-11-22 2024-02-09 泸州老窖股份有限公司 一种图像缺陷检测方法、装置、计算机设备及介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107564002A (zh) * 2017-09-14 2018-01-09 广东工业大学 塑料管表面缺陷检测方法、系统及计算机可读存储介质
CN108038846A (zh) * 2017-12-04 2018-05-15 国网山东省电力公司电力科学研究院 基于多层卷积神经网络的输电线路设备图像缺陷检测方法及系统
WO2019104767A1 (zh) * 2017-11-28 2019-06-06 河海大学常州校区 基于深度卷积神经网络与视觉显著性的织物缺陷检测方法
WO2019192121A1 (zh) * 2018-04-04 2019-10-10 平安科技（深圳）有限公司 双通道神经网络模型训练及人脸比对方法、终端及介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107564002A (zh) * 2017-09-14 2018-01-09 广东工业大学 塑料管表面缺陷检测方法、系统及计算机可读存储介质
WO2019104767A1 (zh) * 2017-11-28 2019-06-06 河海大学常州校区 基于深度卷积神经网络与视觉显著性的织物缺陷检测方法
CN108038846A (zh) * 2017-12-04 2018-05-15 国网山东省电力公司电力科学研究院 基于多层卷积神经网络的输电线路设备图像缺陷检测方法及系统
WO2019192121A1 (zh) * 2018-04-04 2019-10-10 平安科技（深圳）有限公司 双通道神经网络模型训练及人脸比对方法、终端及介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
徐子雯 ; 何金镁 ; .一种泡沫金属材料的裂缝缺陷检测方法.信息与电脑(理论版).2017,(02),全文. *

Also Published As

Publication number Publication date
CN110992329A (zh) 2020-04-10

Similar Documents

Publication Publication Date Title
CN110992329B (zh) 一种产品表面缺陷检测方法、电子设备及可读存储介质
CN108961217B (zh) 一种基于正例训练的表面缺陷检测方法
CN113160192B (zh) 复杂背景下基于视觉的压雪车外观缺陷检测方法及装置
CN108960245B (zh) 轮胎模具字符的检测与识别方法、装置、设备及存储介质
CN115063421B (zh) 极片区域检测方法及系统及装置及介质及缺陷检测方法
CN109461141A (zh) 一种工件缺胶检测方法
CN111968095B (zh) 一种产品表面缺陷检测方法及系统及装置及介质
CN111754538B (zh) Usb表面缺陷检测的阈值分割方法
CN109840483B (zh) 一种滑坡裂缝检测与识别的方法及装置
CN113591967A (zh) 一种图像处理方法、装置、设备及计算机存储介质
CN111242026B (zh) 一种基于空间层次感知模块和度量学习的遥感图像目标检测方法
CN111339902A (zh) 一种数显仪表的液晶屏示数识别方法及装置
CN112508857A (zh) 基于改进型Cascade R-CNN的铝材表面缺陷检测方法
CN114255212A (zh) 一种基于cnn的fpc表面缺陷检测方法及其系统
CN117094975A (zh) 钢铁表面缺陷检测方法、装置及电子设备
CN111754502A (zh) 基于多尺度特征融合的Faster-RCNN算法检测磁芯表面缺陷的方法
CN113205511B (zh) 基于深层神经网络的电子元器件批量信息检测方法及系统
CN112381140B (zh) 一种基于新特征参数的磨粒图像机器学习识别方法
CN112686872A (zh) 基于深度学习的木材计数方法
CN116542963A (zh) 一种基于机器学习的浮法玻璃缺陷检测系统及检测方法
JP2004296592A (ja) 欠陥分類装置、欠陥分類方法およびプログラム
CN113591548B (zh) 靶环识别方法及系统
CN116152191A (zh) 基于深度学习的显示屏裂纹缺陷检测方法、装置及设备
CN111768385B (zh) Usb表面缺陷检测的神经网络检测方法
CN115170829A (zh) 发电机转子通风孔异物监控识别系统及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20210825

Address after: 201203 room 1702, building 1, No. 1601, Zhangdong Road, China (Shanghai) pilot Free Trade Zone, Pudong New Area, Shanghai

Applicant after: Shanghai Weiwei Medical Technology Co.,Ltd.

Address before: 201 203 No. 501 Newton Road, China (Shanghai) Free Trade Pilot Area, Pudong New Area, Shanghai

Applicant before: SHANGHAI MICROPORT MEDICAL (Group) Co.,Ltd.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant