CN114266743A - 基于hsv和cnn的fpc缺陷检测方法、系统及存储介质 - Google Patents
基于hsv和cnn的fpc缺陷检测方法、系统及存储介质 Download PDFInfo
- Publication number
- CN114266743A CN114266743A CN202111553831.8A CN202111553831A CN114266743A CN 114266743 A CN114266743 A CN 114266743A CN 202111553831 A CN202111553831 A CN 202111553831A CN 114266743 A CN114266743 A CN 114266743A
- Authority
- CN
- China
- Prior art keywords
- fpc
- defect
- brightness
- area
- detected
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 119
- 230000007547 defect Effects 0.000 title claims abstract description 115
- 238000003860 storage Methods 0.000 title claims abstract description 9
- 230000002950 deficient Effects 0.000 claims abstract description 39
- 238000013136 deep learning model Methods 0.000 claims abstract description 24
- 238000012545 processing Methods 0.000 claims abstract description 8
- 238000000034 method Methods 0.000 claims description 23
- 238000012549 training Methods 0.000 claims description 18
- 238000000605 extraction Methods 0.000 claims description 15
- 238000013135 deep learning Methods 0.000 claims description 6
- 238000012935 Averaging Methods 0.000 claims description 5
- 238000004590 computer program Methods 0.000 claims description 4
- 230000007797 corrosion Effects 0.000 claims description 4
- 238000005260 corrosion Methods 0.000 claims description 4
- 238000012216 screening Methods 0.000 claims description 4
- 238000013527 convolutional neural network Methods 0.000 description 26
- 238000010586 diagram Methods 0.000 description 10
- 238000003672 processing method Methods 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000005530 etching Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 230000010339 dilation Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000009776 industrial production Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000003698 laser cutting Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000011179 visual inspection Methods 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开了一种基于HSV和CNN的FPC缺陷检测方法、系统及存储介质，检测方法包括：按照颜色和亮度提取待检原图中的检测区域；将待检原图从RGB颜色空间转变为HSV颜色空间，并根据预设的缺陷参数，从HSV颜色空间中初步判断出候选缺陷区域；将候选缺陷区域与检测区域间的交集作为最终缺陷区域；将最终缺陷区域面积与预设阈值进行比较，判断当前检测的FPC为良品、次品或不确定品；利用预先训练好的深度学习模型对不确定品的检测区域进行识别，预测不确定品属于良品或次品。本发明通过采用图像处理和深度学习模型相结合的方式对待检FPC进行缺陷检测，兼具成本低和精度高的优点。
Description
技术领域
本发明涉及智能制造技术领域，更具体的说是涉及一种基于HSV和CNN的FPC缺陷检测方法、系统及存储介质。
背景技术
传统的针对柔性电路板(Flexible Printed Circuit简称FPC)的质量检测还主要依靠人工目测，成本高且效率低。而随着电子产业飞速发展，电路板设计越来越趋于高精度、高密度化，传统的人工检测方法已无法满足生产需求，FPC缺陷自动化检测成为产业发展必然趋势。
目前，FPC缺陷的自动化检测常用以下几种方法：(1)传统图像处理的方法，针对缺陷的颜色、形状、位置等特征，手工设计相应的区分算法，然后设置关键的阈值，最后检出良次品；该方法容易受设定的阈值影响，在工业生产场景中，许多因素会发生改变，如不同批次的产品在颜色、形状上会有差异；不同灯光、相机的参数有差异，这导致传统的处理方法对阈值参数十分敏感，图像的微小改变使程序的准确率大幅下降，泛化能力很低。(2)深度学习方法，工业检测所用的深度学习方法通常是卷积神经网络(Convolution NeuralNetwork简称CNN)，能识别图像中较为抽象、难以手工设计的特征，使用大量图片对CNN模型进行训练，使CNN模型具有分拣良次品的能力。该方法需要大量的图像样本进行长时间的训练，也需要运行在GPU中，且模型每次对目标进行推断预测的时间远远超过传统的图像处理方法，很难适应某些需要高速运作的检测场景。
发明内容
有鉴于此，本发明提供了一种基于HSV和CNN的FPC缺陷检测方法、系统及存储介质，通过采用图像处理和深度学习模型相结合的方式对待检FPC进行缺陷检测，兼具成本低和精度高的优点。
为了实现上述目的，本发明采用如下技术方案：
一种基于HSV和CNN的FPC缺陷检测方法，包括：
按照颜色和亮度提取待检原图中的检测区域；
将待检原图从RGB颜色空间转变为HSV颜色空间，并根据预设的缺陷参数，从HSV颜色空间中初步判断出候选缺陷区域；
将所述候选缺陷区域与检测区域间的交集作为最终缺陷区域；
将所述最终缺陷区域面积与预设阈值进行比较，判断当前检测的FPC为良品、次品或不确定品；
利用预先训练好的深度学习模型对不确定品的检测区域进行识别，预测不确定品属于良品或次品。
可选的，在上述一种基于HSV和CNN的FPC缺陷检测方法中，所述按照颜色和亮度提取待检原图中的检测区域，包括：
按照颜色和亮度提取待检原图中的掩码，得到掩膜图；
将掩膜图与待检原图进行与运算，得到所述检测区域。
可选的，在上述一种基于HSV和CNN的FPC缺陷检测方法中，所述按照颜色和亮度提取待检原图中的掩码，得到掩膜图，包括：
调整待检原图的尺寸为固定大小；
提取待检原图RGB三个通道的数值，将R通道数值与G通道数值相加后再求平均，得到各像素的亮度值；
将亮度值高于阈值的像素认定为包含在所述检测区域内，得到初步的掩膜图；
对初步得到的掩膜图依次进行膨胀处理和腐蚀处理，得到最终的掩膜图。
可选的，在上述一种基于HSV和CNN的FPC缺陷检测方法中，利用下式将掩膜图与待检原图进行与运算：
其中，Iregion表示待检原图的检测区域，mask(Iorg)表示掩膜图，src(Iorg)表示原图中的一个像素值。
可选的，在上述一种基于HSV和CNN的FPC缺陷检测方法中，所述预设的阈值参数基于典型样本中的脏污颜色调试获得。
可选的，在上述一种基于HSV和CNN的FPC缺陷检测方法中，所述将所述最终缺陷区域面积与预设阈值进行比较，判断当前检测的FPC为良品、次品或不确定品，包括：
计算所述最终缺陷区域的亮度平均值和亮度标准差；
分别设定第一亮度平均值阈值、第二亮度平均值阈值、第一亮度标准差阈值和第二亮度标准差阈值；
若最终缺陷区域的亮度平均值小于第一亮度平均值阈值，且亮度标准差小于第一亮度标准差阈值，则判定当前检测的FPC为良品；若最终缺陷区域的亮度平均值大于第二亮度平均值阈值，且亮度标准差大于第二亮度标准差阈值，则判定当前检测的FPC为次品；其余情况均判定当前检测的FPC为不确定品。
可选的，在上述一种基于HSV和CNN的FPC缺陷检测方法中，所述深度学习模型的训练过程为：
构建基于残差网络的深度学习模型；
获取FPC样本图像，并提取FPC样本图像的检测区域图像作为训练样本；
将训练样本进行数据增强处理，并缩放至固定大小后，对所述深度学习模型进行训练，得到最终的所述深度学习模型。
经由上述的技术方案可知，与现有技术相比，本发明公开提供了一种基于HSV和CNN的FPC缺陷检测方法，使用基于HSV空间特征识别的图像处理方法对待检FPC进行初筛，先分拣出较容易辨认的、常规的激光切割缺陷，将变化较大的、不常见、不能准确判断的缺陷物件交给深度学习模型进行推断，兼具检测时间成本低和检测精准度高的优点。相对于传统的单纯依靠图像处理方法检测而言，本发明不仅保留了算法部署时间短，推断速度快的优点，还能很好的描述高维度特征，能够检测出被检物发生的小变化，鲁棒性高；相对于单纯依靠深度学习的检测方法而言，在保留高精度的前提下，还具有训练时间短的优点。
本发明还提供一种基于HSV和CNN的FPC缺陷检测系统，包括：
检测区域提取模块，用于按照颜色和亮度提取待检原图中的检测区域；
候选缺陷区域检测模块，用于将待检原图从RGB颜色空间转变为HSV颜色空间，并根据预设的缺陷参数，从HSV颜色空间中初步判断出候选缺陷区域；
最终缺陷区域确定模块，用于将所述候选缺陷区域与检测区域间的交集作为最终缺陷区域；
良次品初筛模块，用于将所述最终缺陷区域面积与预设阈值进行比较，判断当前检测的FPC为良品、次品或不确定品；以及
深度学习检测模块，用于利用预先训练好的深度学习模型对不确定品的检测区域进行识别，预测不确定品属于良品或次品。
可选的，在上述一种基于HSV和CNN的FPC缺陷检测系统中，所述检测区域提取模块包括：
第一提取单元，用于按照颜色和亮度提取待检原图中的掩码，得到掩膜图；以及
第二提取单元，用于将掩膜图与待检原图进行与运算，得到所述检测区域。
本发明还提供一种存储介质，其上存储有计算机程序，所述计算机程序被处理器运行时执行上述基于HSV和CNN的FPC缺陷检测方法的步骤。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本发明提供的基于HSV和CNN的FPC缺陷检测方法的流程图；
图2为本发明提供的FPC的良品结构示意图；
图3为本发明提供的FPC的次品结构示意图；
图4为本发明提供的掩膜图；
图5为本发明提供的候选缺陷区域的二值图；
图6为本发明提供的最终缺陷区域在检测区域内的示意图；
图7为本发明提供的最终缺陷区域在待检原图中的示意图；
图8为本发明提供的检测区域的结构示意图；
图9为本发明提供的亮度平均值的两个阈值的确定依据；
图10为本发明提供的亮度标准差的两个阈值的确定依据；
图11为本发明提供的基于HSV和CNN的FPC缺陷检测系统的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，本发明实施例公开了一种基于HSV和CNN的FPC缺陷检测方法，包括以下步骤：
S1、按照颜色和亮度提取待检原图中的检测区域；
S2、将待检原图从RGB颜色空间转变为HSV颜色空间，并根据预设的缺陷参数，从HSV颜色空间中初步判断出候选缺陷区域；
S3、将候选缺陷区域与检测区域间的交集作为最终缺陷区域；
S4、将最终缺陷区域面积与预设阈值进行比较，判断当前检测的FPC为良品、次品或不确定品；
S5、利用预先训练好的深度学习模型对不确定品的检测区域进行识别，预测不确定品属于良品或次品。
下面，对上述各步骤进行进一步描述。
S1、按照颜色和亮度提取待检原图中的检测区域；具体包括：
S11、按照颜色和亮度提取待检原图中的掩码，得到掩膜图。
S111、调整待检原图的尺寸为固定大小；
S112、提取待检原图RGB三个通道的数值，将R通道数值与G通道数值相加后再求平均，得到各像素的亮度值；
S113、将亮度值高于阈值的像素认定为包含在检测区域内，得到初步的掩膜图；
S114、对初步得到的掩膜图依次进行膨胀处理和腐蚀处理，得到最终的掩膜图。
由于在FPC的检测中，并不是整图都是检测区域，只需要对关键区域进行检测。图2中的高亮区域即为检测区域。首先需要将图片大小设定为3000*2000，因为后续进行的处理的运算核大小是固定的，若图片大小不固定，会影响运算子的效果。而后，提取图片RGB三个通道的数值，因为黄色是红色与绿色的混合，于是将R通道与G通道的值相加再求平均，以此值作为黄色的亮度值，当像素点的亮度值高于阈值T的像素会被认为在检测区域内，像素设为255，否则设为0，得到初步的掩膜图Imask。
由于检测区域内不是所有像素的亮度值都高于阈值，如缺陷处的像素亮度较低，容易将缺陷处也划分在检测区域外，同时检测区域外也容易出现误识别的噪声，所以要进行形态学处理，先对掩膜图Imask进行膨胀处理，运算大小为5x5，连续进行5次，确保缺陷处包含在高亮区域。然后再进行腐蚀处理，运算核大小5x5，连续进行7次，尽量使检测区域外的噪点减少，最终的掩膜图如图4所示。这样既能将缺陷处完整保留，也能去除无关区域。
S12、将掩膜图与待检原图进行与运算，得到检测区域。
将最终的掩膜图Imask与待检原图Iorg进行与运算，得到检测区域的图像Iregion。(Imask即mask(Iorg))
上式表示若mask(Iorg)≠0,则保留原像素值；若mask(Iorg)＝0,则原像素值置为0，Iregion表示待检原图的检测区域，mask(Iorg)表示掩膜图，src(Iorg)表示原图中的一个像素值。
S2、从HSV颜色空间中初步判断出候选缺陷区域。
将图像由RGB颜色空间转化为HSV颜色空间，HSV是一种比较直观的颜色模型，包括色调(Hue)，饱和度(Saturation)，明度(Value)，易于解决由光源变化引起的检测失准问题。结合典型样本中的脏污颜色进行调试，得到适合的阈值参数，将H、S、V这三个参数控制在某个范围内，筛选出脏污区域，生成一张候选缺陷区域的二值图Iall_dirt，如图5所示。
S3、将候选缺陷区域与检测区域间的交集作为最终缺陷区域。
判断S2检测出的候选缺陷区域是否在检测区域内，因此，用Iall_dirt与Iregion作交集运算，求得最终缺陷区域Idirt，如图6和图7所示。
图5候选缺陷区域(所有白色区域)包括真缺陷和假缺陷，图5中真缺陷是白色的线，假缺陷是两侧的白色块(假缺陷指的是，在检测区域外的、与真缺陷颜色相似的部分)；图6、图7只显示真缺陷，即线的区域。
S4、将最终缺陷区域面积与预设阈值进行比较，判断当前检测的FPC为良品、次品或不确定品；具体包括：
S41、计算最终缺陷区域的亮度平均值和亮度标准差；
S42、分别设定第一亮度平均值阈值、第二亮度平均值阈值、第一亮度标准差阈值和第二亮度标准差阈值；其中，第一亮度平均值阈值小于第二亮度平均值阈值，第一亮度标准差阈值小于小于第二亮度标准差阈值；
S43、若最终缺陷区域的亮度平均值小于第一亮度平均值阈值，且亮度标准差小于第一亮度标准差阈值，则判定当前检测的FPC为良品；若最终缺陷区域的亮度平均值大于第二亮度平均值阈值，且亮度标准差大于第二亮度标准差阈值，则判定当前检测的FPC为次品；其余情况均判定当前检测的FPC为不确定品。如图2和图3所示，分别为FPC的良品图和次品图。
在具体实施例中，在最终缺陷区域二值图Idirt上，根据检测区域，计算最终缺陷区域二值图Idirt内的亮度平均值meanc和亮度标准差stddevc。为了区分良品、次品、不确定品，需要为亮度平均值meanc与亮度标准差stddevc分别设定两个阈值，用两个阈值将结果分为3个类别：良品、不确定品和次品。亮度平均值与亮度标准差都设置两个阈值，good_gray用于将良品与不确定品分割开，gray_NG用于将不确定品与次品分割开，good_gray＜gray_NG。
设定依据见图9、图10；图9确定mean的两个阈值，图10确定std的两个阈值。设定过程为：
(1)先用以上方法，对整个良品集与次品集计算每个样本平均亮度与亮度标准差。
(2)对(1)的结果进行统计，用两个阈值将良品与次品相交的区域划出。相交区域意味着这个区域同时存在次品和良品，无法区分，需要使用深度学习方法区分。
亮度平均值的两个阈值为mean_Good_Gray、mean_Gray，亮度标准差的两个阈值分别为std_Good_Gray和std_Gray_NG。当样本的meanc小于mean_Good_Gray，且stddevc小于std_Good_Gray时，则样本被判为是良品；当样本的meanc大于Mean_Gray_NG，且stddevc大于std_Gray_NG时，样本被判为次品；其余情况均判为不确定品。亮度平均值meanc和亮度标准差stddevc的计算公式如下：
N＝ΣI，Mask(I)≠01；
上式表示在掩码区域内(即Mask(I)！＝0的区域)，Idirt每一个像素值都减去上面求得的mean值并求平方，再累加起来，除以总像素数量，其中，N表示一张图片中的像素数量；I表示最终的缺陷区域二值图Idirt；Mask(I)表示表示有原图生成的掩码中的一个像素值；src(I)c表示Idirt的一个像素值。
S5、利用预先训练好的深度学习模型对不确定品的检测区域进行识别，预测不确定品属于良品或次品。
若待检FPC不能由S1-S4中的图像处理方法判断良次品，则将待检FPC的检测区域图Iregion输送到深度学习模型进行识别，输出不确定品的良次品类别。
深度学习模型的训练过程如下：
构建基于残差网络的深度学习模型；
获取FPC样本图像，并提取FPC样本图像的检测区域图像作为训练样本；
将训练样本进行数据增强处理，并缩放至固定大小后，对深度学习模型进行训练，得到最终的深度学习模型。
具体的，CNN模型在检测前需要对整批样品进行在GPU上的训练。训练时不直接使用原图，而是使用由S1得到的检测区域图像Iregion，这样做的作用是避免神经网络学习区域外的错误信息，可减少训练过程中过拟合的可能性。
首先将Iregion图片集分为训练集与测试集，训练集与测试集的比例为7：3。由于最后输出分类结果前数据要经过全连接层，故输入图片的大小必须固定，所有图片在输入网络前都被缩放成224*224的分辨率大小。
神经网络模型选择最为常用的残差网络ResNet50，修改网络的输出为二分类，模型参数初始化使用了在ImageNet数据集上预训练的参数，使用随机水平反转、随机浮动±50％亮度的数据增强方法，优化器为Adam，学习率固定为0.00001，整个数据集训练60次，得到准确率为99％的神经网络识别模型。
将由S4得到的不确定品的检测区域图像Igray输入神经网络模型中进行推理预测，输出良次品分类。
经由上述S1-S5步骤的检测，图像处理方法S1-S4每张图片检测的平均耗时为0.05秒，深度学习识别方法S5中，每张图片检测的平均耗时为0.4秒。
如图11所示，本发明实施例还提供一种基于HSV和CNN的FPC缺陷检测系统，包括：
检测区域提取模块，用于按照颜色和亮度提取待检原图中的检测区域；
候选缺陷区域检测模块，用于将待检原图从RGB颜色空间转变为HSV颜色空间，并根据预设的缺陷参数，从HSV颜色空间中初步判断出候选缺陷区域；
最终缺陷区域确定模块，用于将候选缺陷区域与检测区域间的交集作为最终缺陷区域；
良次品初筛模块，用于将最终缺陷区域面积与预设阈值进行比较，判断当前检测的FPC为良品、次品或不确定品；以及
深度学习检测模块，用于利用预先训练好的深度学习模型对不确定品的检测区域进行识别，预测不确定品属于良品或次品。
具体的，检测区域提取模块包括：
第一提取单元，用于按照颜色和亮度提取待检原图中的掩码，得到掩膜图；以及
第二提取单元，用于将掩膜图与待检原图进行与运算，得到检测区域。
第一提取单元包括：
尺寸调整单元，用于调整待检原图的尺寸为固定大小；
亮度值计算单元，用于提取待检原图RGB三个通道的数值，将R通道数值与G通道数值相加后再求平均，得到各像素的亮度值；
掩膜图初步提取单元，用于将亮度值高于阈值的像素认定为包含在检测区域内，得到初步的掩膜图；
掩膜图最终提取单元，用于对初步得到的掩膜图依次进行膨胀处理和腐蚀处理，得到最终的掩膜图。
本发明实施例还提供一种存储介质，其上存储有计算机程序，计算机程序被处理器运行时执行上述基于HSV和CNN的FPC缺陷检测方法的步骤。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (10)
1.一种基于HSV和CNN的FPC缺陷检测方法，其特征在于，包括：
按照颜色和亮度提取待检原图中的检测区域；
将待检原图从RGB颜色空间转变为HSV颜色空间，并根据预设的缺陷参数，从HSV颜色空间中初步判断出候选缺陷区域；
将所述候选缺陷区域与检测区域间的交集作为最终缺陷区域；
将所述最终缺陷区域面积与预设阈值进行比较，判断当前检测的FPC为良品、次品或不确定品；
利用预先训练好的深度学习模型对不确定品的检测区域进行识别，预测不确定品属于良品或次品。
2.根据权利要求1所述的一种基于HSV和CNN的FPC缺陷检测方法，其特征在于，所述按照颜色和亮度提取待检原图中的检测区域，包括：
按照颜色和亮度提取待检原图中的掩码，得到掩膜图；
将掩膜图与待检原图进行与运算，得到所述检测区域。
3.根据权利要求2所述的一种基于HSV和CNN的FPC缺陷检测方法，其特征在于，所述按照颜色和亮度提取待检原图中的掩码，得到掩膜图，包括：
调整待检原图的尺寸为固定大小；
提取待检原图RGB三个通道的数值，将R通道数值与G通道数值相加后再求平均，得到各像素的亮度值；
将亮度值高于阈值的像素认定为包含在所述检测区域内，得到初步的掩膜图；
对初步得到的掩膜图依次进行膨胀处理和腐蚀处理，得到最终的掩膜图。
4.根据权利要求2所述的一种基于HSV和CNN的FPC缺陷检测方法，其特征在于，利用下式将掩膜图与待检原图进行与运算：
其中，Iregion表示待检原图的检测区域，mask(Iorg)表示掩膜图，src(Iorg)表示原图中的一个像素值。
5.根据权利要求1所述的一种基于HSV和CNN的FPC缺陷检测方法，其特征在于，所述预设的阈值参数基于典型样本中的脏污颜色调试获得。
6.根据权利要求1所述的一种基于HSV和CNN的FPC缺陷检测方法，其特征在于，所述将所述最终缺陷区域面积与预设阈值进行比较，判断当前检测的FPC为良品、次品或不确定品，包括：
计算所述最终缺陷区域的亮度平均值和亮度标准差；
分别设定第一亮度平均值阈值、第二亮度平均值阈值、第一亮度标准差阈值和第二亮度标准差阈值；
若最终缺陷区域的亮度平均值小于第一亮度平均值阈值，且亮度标准差小于第一亮度标准差阈值，则判定当前检测的FPC为良品；若最终缺陷区域的亮度平均值大于第二亮度平均值阈值，且亮度标准差大于第二亮度标准差阈值，则判定当前检测的FPC为次品；其余情况均判定当前检测的FPC为不确定品。
7.根据权利要求1所述的一种基于HSV和CNN的FPC缺陷检测方法，其特征在于，所述深度学习模型的训练过程为：
构建基于残差网络的深度学习模型；
获取FPC样本图像，并提取FPC样本图像的检测区域图像作为训练样本；
将训练样本进行数据增强处理，并缩放至固定大小后，对所述深度学习模型进行训练，得到最终的所述深度学习模型。
8.一种基于HSV和CNN的FPC缺陷检测系统，其特征在于，包括：
检测区域提取模块，用于按照颜色和亮度提取待检原图中的检测区域；
候选缺陷区域检测模块，用于将待检原图从RGB颜色空间转变为HSV颜色空间，并根据预设的缺陷参数，从HSV颜色空间中初步判断出候选缺陷区域；
最终缺陷区域确定模块，用于将所述候选缺陷区域与检测区域间的交集作为最终缺陷区域；
良次品初筛模块，用于将所述最终缺陷区域面积与预设阈值进行比较，判断当前检测的FPC为良品、次品或不确定品；以及
深度学习检测模块，用于利用预先训练好的深度学习模型对不确定品的检测区域进行识别，预测不确定品属于良品或次品。
9.根据权利要求8所述的一种基于HSV和CNN的FPC缺陷检测系统，其特征在于，所述检测区域提取模块包括：
第一提取单元，用于按照颜色和亮度提取待检原图中的掩码，得到掩膜图；以及
第二提取单元，用于将掩膜图与待检原图进行与运算，得到所述检测区域。
10.一种存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器运行时执行如权利要求1-7任一项所述的基于HSV和CNN的FPC缺陷检测方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111553831.8A CN114266743B (zh) | 2021-12-17 | 基于hsv和cnn的fpc缺陷检测方法、系统及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111553831.8A CN114266743B (zh) | 2021-12-17 | 基于hsv和cnn的fpc缺陷检测方法、系统及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114266743A true CN114266743A (zh) | 2022-04-01 |
| CN114266743B CN114266743B (zh) | 2024-10-25 |
Family
ID=
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114943703A (zh) * | 2022-05-24 | 2022-08-26 | 闫雪 | 多分量p图区域分析系统 |
| CN114998192A (zh) * | 2022-04-19 | 2022-09-02 | 深圳格芯集成电路装备有限公司 | 基于深度学习的缺陷检测方法、装置、设备和存储介质 |
| TWI810016B (zh) * | 2022-08-11 | 2023-07-21 | 易華電子股份有限公司 | 軟性電路板檢測系統 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005182143A (ja) * | 2003-12-16 | 2005-07-07 | N Tech:Kk | キャップ天面の検査方法 |
| CN108108761A (zh) * | 2017-12-21 | 2018-06-01 | 西北工业大学 | 一种基于深度特征学习的快速交通信号灯检测方法 |
| CN109859171A (zh) * | 2019-01-07 | 2019-06-07 | 北京工业大学 | 一种基于计算机视觉和深度学习的楼面缺陷自动检测方法 |
| CN113777030A (zh) * | 2021-07-08 | 2021-12-10 | 杭州信畅信息科技有限公司 | 一种基于机器视觉的布料表面缺陷检测装置及方法 |
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005182143A (ja) * | 2003-12-16 | 2005-07-07 | N Tech:Kk | キャップ天面の検査方法 |
| CN108108761A (zh) * | 2017-12-21 | 2018-06-01 | 西北工业大学 | 一种基于深度特征学习的快速交通信号灯检测方法 |
| CN109859171A (zh) * | 2019-01-07 | 2019-06-07 | 北京工业大学 | 一种基于计算机视觉和深度学习的楼面缺陷自动检测方法 |
| CN113777030A (zh) * | 2021-07-08 | 2021-12-10 | 杭州信畅信息科技有限公司 | 一种基于机器视觉的布料表面缺陷检测装置及方法 |
Non-Patent Citations (1)
| Title |
|---|
| 孙国栋;杨林杰;张杨;: "一种FPC缺陷视觉检测方法", 自动化仪表, no. 12, 20 December 2015 (2015-12-20) * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114998192A (zh) * | 2022-04-19 | 2022-09-02 | 深圳格芯集成电路装备有限公司 | 基于深度学习的缺陷检测方法、装置、设备和存储介质 |
| CN114943703A (zh) * | 2022-05-24 | 2022-08-26 | 闫雪 | 多分量p图区域分析系统 |
| CN114943703B (zh) * | 2022-05-24 | 2023-09-05 | 闫雪 | 多分量p图区域分析系统 |
| TWI810016B (zh) * | 2022-08-11 | 2023-07-21 | 易華電子股份有限公司 | 軟性電路板檢測系統 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN115082683B (zh) | 一种基于图像处理的注塑缺陷检测方法 | |
| WO2021143343A1 (zh) | 一种产品质量检测方法及装置 | |
| TWI787296B (zh) | 光學檢測方法、光學檢測裝置及光學檢測系統 | |
| CN103072718B (zh) | 用于食品包装生产线的机器视觉检测系统及方法 | |
| CN111161243A (zh) | 基于样本增强的工业产品表面缺陷检测方法 | |
| TW201702586A (zh) | 光學薄膜缺陷辨識方法及其系統 | |
| CN113034488B (zh) | 一种喷墨印刷品的视觉检测方法 | |
| CN113935666B (zh) | 基于图像处理的建筑装饰墙面砖异常评估方法 | |
| CN111724375B (zh) | 一种屏幕检测方法及系统 | |
| CN115205290A (zh) | 一种pcb板生产过程在线检测方法及系统 | |
| CN114255212A (zh) | 一种基于cnn的fpc表面缺陷检测方法及其系统 | |
| CN115082429A (zh) | 一种基于图像处理的铝棒缺陷检测方法 | |
| CN113221763A (zh) | 一种基于视频图像亮度的火焰识别方法 | |
| CN114226262A (zh) | 瑕疵检测方法、瑕疵分类方法及其系统 | |
| CN117542301A (zh) | 一种显示屏的检测方法及系统 | |
| JPH08189904A (ja) | 表面欠陥検出装置 | |
| TWI722861B (zh) | 分類方法及分類系統 | |
| CN114266743B (zh) | 基于hsv和cnn的fpc缺陷检测方法、系统及存储介质 | |
| CN111563869B (zh) | 用于摄像模组质检的污点测试方法 | |
| JP2840347B2 (ja) | 基板実装検査装置 | |
| CN114202544B (zh) | 一种基于自编码器的复杂工件缺陷检测方法 | |
| CN114266743A (zh) | 基于hsv和cnn的fpc缺陷检测方法、系统及存储介质 | |
| CN115995023A (zh) | 瑕疵检测方法、装置、电子设备、计算机可读存储介质及产品检测方法 | |
| CN112129700B (zh) | 一种柔性电路板的图像检测方法及检测装置 | |
| CN113344858B (zh) | 特征检测方法、装置及计算机存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant |