CN114255212A - 一种基于cnn的fpc表面缺陷检测方法及其系统 - Google Patents

一种基于cnn的fpc表面缺陷检测方法及其系统 Download PDF

Info

Publication number
CN114255212A
CN114255212A CN202111483402.8A CN202111483402A CN114255212A CN 114255212 A CN114255212 A CN 114255212A CN 202111483402 A CN202111483402 A CN 202111483402A CN 114255212 A CN114255212 A CN 114255212A
Authority
CN
China
Prior art keywords
image
defect
sliding window
network
cnn
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111483402.8A
Other languages
English (en)
Inventor
郭学胤
袁明川
毛抒艺
逯金辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Technology University
Original Assignee
Shenzhen Technology University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Technology University filed Critical Shenzhen Technology University
Priority to CN202111483402.8A priority Critical patent/CN114255212A/zh
Publication of CN114255212A publication Critical patent/CN114255212A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/956—Inspecting patterns on the surface of objects
    • G01N21/95607—Inspecting patterns on the surface of objects using a comparative method
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/956—Inspecting patterns on the surface of objects
    • G01N21/95607—Inspecting patterns on the surface of objects using a comparative method
    • G01N2021/95615—Inspecting patterns on the surface of objects using a comparative method with stored comparision signal
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/956—Inspecting patterns on the surface of objects
    • G01N2021/95638—Inspecting patterns on the surface of objects for PCB's
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20132—Image cropping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30141—Printed circuit board [PCB]

Abstract

本发明提供一种基于CNN的FPC表面缺陷检测方法及其系统，该方法包括获取检测物体的原始图像信息，采用滑窗算法截取预定尺寸大小的RGB图像，对输入的RGB图像采用第一阶段网络进行卷积与反卷积，输出得到多通道特征图，将多通道特征图输入第二阶段网络，使用第二阶段网络对缺陷图像中的缺陷进行分类，构建CNN检测模型，根据缺陷的类别对缺陷进行检测。本发明的系统应用于上述的方法。本发明兼具检测效率高和检测精准度高的优点，可以帮助企业减少人力成本投入，降低检测成本以及检测难度，进而提高FPC产品的缺陷检测效率。

Description

一种基于CNN的FPC表面缺陷检测方法及其系统
技术领域
本发明涉及图像处理与深度学习技术领域，具体涉及一种基于CNN的FPC表面缺陷检测方法以及应用该方法的管理及部署系统。
背景技术
柔性电路板(Flexible Printed Circuit简称FPC)国内有关FPC的质量检测还主要依靠人工目测，成本高且效率低。而随着电子产业飞速发展，电路板设计越来越趋于高精度、高密度化，传统的人工检测方法已无法满足生产需求，FPC缺陷自动化检测成为产业发展必然趋势。
FPC的缺陷检测常用传统图像处理的方法，针对缺陷的颜色、形状、位置和面积等特征，手工设计相应的区分算法，然后设置关键的阈值，最后检出良次品。
传统图像处理方法只需要从少量有代表性的图像样本中确定缺陷的关键特征，为关键特征人工设计良次过滤规则，就可以进行良次品的分拣，且只需要CPU就足以实时运行检测程序，但图像处理的方法容易受设定的阈值影响，在工业生产场景中，许多因素会发生改变，如不同批次的产品在颜色、形状上会有差异；不同灯光、相机的参数有差异，这导致传统的处理方法对阈值参数十分敏感，图像的微小改变使程序的准确率大幅下降，泛化能力很低。
因此，传统的计算机视觉算法根据像素值不同来计算疑似缺陷位置的面积，疑似缺陷位置最后统一由目检人员检测，但人工检测成本很高，效率很低；传统的图像处理方法具有算法部署时间短，推断速度快的优点，但不能很好的描述高维度特征，一旦被检物发生些小变化，就容易失效，非常不鲁棒。
发明内容
为了克服现有技术的不足，本发明的目的在于提供一种基于CNN的FPC表面缺陷检测方法及其系统，该方法和系统可以解决现有技术的不足，主要解决了FPC工序流转过程中产生的凹凸缺陷检测场景中，检测准确率不高、检测速度不高的问题。
为解决上述问题，本发明所采用的技术方案如下：
一种基于CNN的FPC表面缺陷检测方法，包括以下步骤：获取检测物体的原始图像信息，采用滑窗算法截取预定尺寸大小的RGB图像；对输入的RGB图像采用第一阶段网络进行卷积与反卷积，输出得到多通道特征图；将多通道特征图输入第二阶段网络，使用第二阶段网络对缺陷图像中的缺陷进行分类；构建CNN检测模型，根据缺陷的类别对缺陷进行检测。
进一步的方案是，所述采用滑窗算法截取预定尺寸大小的RGB图像，包括：通过滑窗方式遍历每组原始图像信息中每帧图像面阵的所有像素点，根据设定好的滑窗尺寸大小获取RGB图像。
更进一步的方案是，所述通过滑窗方式遍历每组原始图像信息中每帧图像面阵的所有像素点，包括：从原始图像左上角开始，每次前移450像素，当移动到第一行的末尾，且剩下的像素不够450个时，则以原始图像最右上角为原点，由左往下分别延伸500像素作为本行最后一个滑窗；然后，滑窗移动到原始图像最左侧，并且下移450像素，重复第一行的工作，直至最后一行且下移也不够450像素时，以原始图像的左下角为原点，由上往右分别延伸500像素作为最后一行的第一个滑窗。
更进一步的方案是，所述对输入的RGB图像采用第一阶段网络进行卷积与反卷积，包括：对输入的RGB图采用人体姿态识别中沙漏网络进行卷积与反卷积。
更进一步的方案是，所述对输入的RGB图采用人体姿态识别中沙漏网络进行卷积与反卷积，包括：通过沙漏网络接收一个500*500*3通道的图像输入，经过卷积运算和池化操作后，得到32*32*256通道的特征图；将该特征图进行反卷积运算，得到256*256*32通道的特征图。
更进一步的方案是，所述使用第二阶段网络对缺陷图像中的缺陷进行分类，包括：使用分类网络对缺陷图像中的缺陷进行训练，并生成分类模型，使用分类模型根据缺陷严格程度设置缺陷等级分类评价策略，根据缺陷等级分类评价策略进行缺陷等级排序。
更进一步的方案是，所述构建CNN检测模型，包括：在检测前，在图形处理器上对CNN检测模型进行训练，首先，使用滑窗算法预先截取好的图像Icut，其中，图像Icut分为训练集和测试集数据，数据来源为预备作为数据集用的图像，把截取好的图像裁剪成500*500的分辨率大小，并且分类这些数据并标记；其中，训练集与测试集数据的比例为7：3，所有图像在输入网络前被缩放成224*224的分辨率大小。
更进一步的方案是，使用残差网络ResNet50对图像数据集进行训练，模型参数初始化使用在图像数据集上预训练的参数，使用随机水平反转、随机浮动±50％亮度的数据增强方法，得到高准确率的CNN检测模型，其中，优化器为Adam，学习率固定为0.00001。
更进一步的方案是，所述根据缺陷的类别对缺陷进行检测，包括：将分类后的多通道特征图输入CNN检测模型中进行预测，每个多通道特征图经过第二阶段网络后会产生一个分类C与置信度P，为良次品和不确定品设置阈值Tgray：
若P<Tgray，C＝gray，则为不确定分类；
若P>Tgray：C＝NGdent/NGprotrusion/G，其中，NGdent为凹陷不确定分类，NGprotrusion为凸起不良品，G为良品。
由此可见，本发明主要用于在FPC生成过程中，对FPC在各个工序流转时表面产生的凹陷和凸起进行检测。本发明使用卷积神经网络方法对检测物体进行检测，解决了目前由于凹凸缺陷一般比较小，又需要比较高的检测精度的问题，故采用小滑窗穷举图片的方式检测整张较大图片，裁剪成适合网络输入的小图像，对输入的小图像进行多通道特征提取、分类，以及对训练好的神经网络模型进行性能检测。因此，相比现有技术，本发明兼具检测效率高和检测精准度高的优点，可以帮助企业减少人力成本投入，降低检测成本以及检测难度，进而提高FPC产品的缺陷检测效率。
一种基于CNN的FPC表面缺陷检测系统，该系统应用于上述的一种基于CNN的FPC表面缺陷检测方法进行FPC的表面缺陷检测，该系统包括；滑窗单元，用于获取检测物体的原始图像信息，采用滑窗算法截取预定尺寸大小的RGB图像；第一阶段网络单元，用于对输入的RGB图像采用第一阶段网络进行卷积与反卷积，输出得到多通道特征图；第二阶段网络单元，用于将多通道特征图输入第二阶段网络，使用第二阶段网络对缺陷图像中的缺陷进行分类；检测单元，用于构建CNN检测模型，根据缺陷的类别对缺陷进行检测。
由此可见，本发明通过由滑窗单元、第一阶段网络单元、第二阶段网络单元和检测单元所组成的检测系统来实现了FPC缺陷的自动检测，根据缺陷类别使用检测方法对缺陷进行检测，可以提高检测的稳定性和准确性，具有较好的鲁棒性，且识别精度较高、速度快。
下面结合附图和具体实施方式对本发明作进一步详细说明。
附图说明
图1是本发明一种基于CNN的FPC表面缺陷检测方法实施例的流程图。
图2是本发明一种基于CNN的FPC表面缺陷检测方法实施例中的原理图。
图3是本发明一种基于CNN的FPC表面缺陷检测方法实施例中关于滑窗算法的原理图。
图4是本发明一种基于CNN的FPC表面缺陷检测方法实施例中关于滑窗算法的流程原理图。
图5是本发明一种基于CNN的FPC表面缺陷检测系统实施例的原理图。
具体实施方式
一种基于CNN的FPC表面缺陷检测方法实施例：
参见图1和图2，一种基于CNN的FPC表面缺陷检测方法，包括以下步骤：
首先，执行步骤S1，获取检测物体的原始图像信息，采用滑窗算法截取预定尺寸大小的RGB图像。
然后，执行步骤S2，对输入的RGB图像采用第一阶段网络进行卷积与反卷积，输出得到多通道特征图。
接着，执行步骤S3，将多通道特征图输入第二阶段网络，使用第二阶段网络对缺陷图像中的缺陷进行分类。
然后，执行步骤S4，构建CNN检测模型，根据缺陷的类别对缺陷进行检测。
在上述步骤S1中，采用滑窗算法截取预定尺寸大小的RGB图像，包括：通过滑窗方式遍历每组原始图像信息中每帧图像面阵的所有像素点，根据设定好的滑窗尺寸大小获取RGB图像。
具体的，如图3和图4所示，从原始图像左上角开始，每次前移450像素，当移动到第一行的末尾，且剩下的像素不够450个时，则以原始图像最右上角为原点，由左往下分别延伸500像素作为本行最后一个滑窗。
然后，滑窗移动到原始图像最左侧，并且下移450像素，重复第一行的工作，直至最后一行且下移也不够450像素时，以原始图像的左下角为原点，由上往右分别延伸500像素作为最后一行的第一个滑窗。
在上述步骤S2中，对输入的RGB图像采用第一阶段网络进行卷积与反卷积，包括：对输入的RGB图采用人体姿态识别中沙漏网络进行卷积与反卷积。
具体的，对输入的RGB图采用人体姿态识别中沙漏网络进行卷积与反卷积，包括：通过沙漏网络接收一个500*500*3通道的图像输入，经过卷积运算和池化操作后，得到32*32*256通道的特征图。
然后，将该特征图进行反卷积运算，得到256*256*32通道的特征图。
在上述步骤S3中，使用第二阶段网络对缺陷图像中的缺陷进行分类，包括：使用分类网络对缺陷图像中的缺陷进行训练，并生成分类模型，使用分类模型根据缺陷严格程度设置缺陷等级分类评价策略，根据缺陷等级分类评价策略进行缺陷等级排序。
具体的，搭建训练样本库，添加缺陷样本，对样本数据进行训练，使训练后的数据的分类性能评价指标达到预设值，导出分类模型，使用卷积神经网络对缺陷图像中的缺陷进行训练，避免了人为因素的影响，可以自动地提取图像的特征信息，对产品进行自动地识别，判断缺陷是否存在。
在上述步骤S4中，构建CNN检测模型，包括：在检测前，在图形处理器上对CNN检测模型进行训练，首先，使用滑窗算法预先截取好的图像Icut，其中，图像Icut分为训练集和测试集数据，数据来源为预备作为数据集用的图像，把截取好的图像裁剪成500*500的分辨率大小，并且分类这些数据并标记；
其中，训练集与测试集数据的比例为7：3，所有图像在输入网络前被缩放成224*224的分辨率大小。
然后，使用残差网络ResNet50对图像数据集进行训练，模型参数初始化使用在图像数据集上预训练的参数，使用随机水平反转、随机浮动±50％亮度的数据增强方法，得到高准确率的CNN检测模型，其中，优化器为Adam，学习率固定为0.00001。
在上述步骤S4中，根据缺陷的类别对缺陷进行检测，包括：将分类后的多通道特征图输入CNN检测模型中进行预测，每个多通道特征图经过第二阶段网络后会产生一个分类C与置信度P，为良次品和不确定品设置阈值Tgray：
若P<Tgray，C＝gray，则为不确定分类。
若P>Tgray，则C＝NGdent/NGprotrusion/G，其中，NGdent为凹陷不确定分类，NGprotrusion为凸起不良品，G为良品。
因此，本发明使用卷积神经网络方法对检测物体进行检测，由于凹凸缺陷一般比较小，又需要比较高的检测精度，故采用小滑窗穷举图片的方式检测整张较大图片。其中，本实施例的网络模型采用两阶段设计，第一阶段先用人体姿态识别中沙漏网络先提取更多通道的特征图(feature map)，然后将丰富特征的多通道特征图进行第二阶段的优劣品判断，其判断结果分为四种：G(即良品)、NGdent(凹陷不确定)、NGprotrusion(凸起不良品)、Gray(不确定)。
在本实施例中，由于凹凸类型缺陷直径仅有15px-30px，若一个小缺陷被分在两个窗口，缺陷面积会更小，从而导致更难检测，影响检测精准度。故为了防止滑窗在前移和下移过程中，正好在滑窗界限上产生缺陷，故在滑窗之间采用交错滑动，相交的长度为30px。
在实际应用中，由于原图过大，整张图输入网络必定要经过下采样，然而本来就比较小凹凸缺陷就会因为下采样而彻底丢失，为了保证模型的准确率需要采用滑窗截取小图的方式来实现。首先，准备好原始图像，设定好滑窗大小，开始交错式穷举整图，如图3所示。
具体的，通过滑窗一行一行的穷举整张大图，从图片左上角开始，滑窗大小默认为500*500像素，每次前移450像素。当来到第一行的末尾，且剩下的像素不够450个像素时，则以图片最右上角为原点，分别往左往下扩500像素作为本行最后一个滑窗。然后，滑窗来到图片最左侧，并且下移450像素，重复第一行的工作。最后直至最后一行且下移也不够450像素时，与第一行最后一行图同理，以原图的左下角为原点，往上往右分别延伸500像素作为最后一行的第一个滑窗。
此时截取出3通道的RGB小图，仍然由于缺陷区域较小，直接用于检测还是会因特征比较少而检测失败。进而采用姿态识别中沙漏网络进行卷积与反卷积，进而加工到32通道的feature map(FM32d)。此时就具备了跟多的特征待检测，因此，沙漏网络也就是本模型中的第一阶段网络。
具体的沙漏网络实现：通过网络接收一个500*500*3的图像输入，经过卷积运算和池化之后，得到一个32*32*256通道的Feature Map，然后用Feature Map进行反卷积运算，最终得到一个256*256*32通道的特征图。此时经过第一阶段网络，即可得到了特征更丰富的Feature Map。
当第一阶段做完特征提取，将32通道的feature map输入第二阶段网络，也就是分类网络。其中，有四种分类：G、NGdent、NGprotrusion、Gray。
然后，通过CNN型检测模对缺陷进行检测。其中，CNN模型在检测前需要对整批样品进行在GPU上的训练。训练时不直接使用原图，而是使用滑窗大小事先截好的图片Icut。
在本实施例中，Icut分为训练集和测试集数据，数据来源为预备作为数据集用的大图，把这些大图裁剪成500*500大小，然后手动分类数据并标记。其中，数据集中有G、NGdent、NGprotrusion三大类。
训练集与测试集的比例为7：3。由于最后输出分类结果前数据要经过全连接层，故输入图片的大小必须固定，所有图片在输入网络前都被缩放成224*224的分辨率大小。
在本实施例中，神经网络模型选择最为常用的残差网络ResNet50，修改网络的输出为三分类，模型参数初始化使用了在ImageNet数据集上预训练的参数，使用随机水平反转、随机浮动±50％亮度的数据增强方法，优化器为Adam，学习率固定为0.00001，整个数据集训练60次，即可得到准确率为99％的神经网络识别模型。
将分类得到的FM32d输入上述神经网络模型中进行推理预测，每个FM32d经过第二阶段网络计算完成之后都会产生一个分类C与置信度(该分类的概率值)P，为良次品和不确定品设置阈值：Tgray(阈值)。
P<Tgray，则此处为不确定分类，需待人工检验。
P>Tgray：C＝NGdent/NGprotrusion/G，即本区分类。
在检测整张大图过程中，只要出现一张有P<Tgray(不确定分类)，则整张图记为待人工确定。只要有一张出现C＝NGdent/NGprotrusion，则整张图记为不良品。
在本实施例中，每张滑窗截取的小图在开始输入一阶段网络之前记录一下系统时间，待第二阶段网络输出判断结果之后再获取一下系统时间，两个时间做个差值即可获得单张图片的运算耗时。其中，每张图片平均耗时0.1秒(不含训练时间，训练时间受数据集图片数量影响)。
由此可见，本发明主要用于在FPC生成过程中，对FPC在各个工序流转时表面产生的凹陷和凸起进行检测。本发明使用卷积神经网络方法对检测物体进行检测，解决了目前由于凹凸缺陷一般比较小，又需要比较高的检测精度的问题，故采用小滑窗穷举图片的方式检测整张较大图片，裁剪成适合网络输入的小图像，对输入的小图像进行多通道特征提取、分类，以及对训练好的神经网络模型进行性能检测。因此，相比现有技术，本发明兼具检测效率高和检测精准度高的优点，可以帮助企业减少人力成本投入，降低检测成本以及检测难度，进而提高FPC产品的缺陷检测效率。
一种基于CNN的FPC表面缺陷检测系统实施例：
一种基于CNN的FPC表面缺陷检测系统，该系统应用于上述的一种基于CNN的FPC表面缺陷检测方法进行FPC的表面缺陷检测，如图5所示，该系统包括；
滑窗单元10，用于获取检测物体的原始图像信息，采用滑窗算法截取预定尺寸大小的RGB图像。
第一阶段网络单元20，用于对输入的RGB图像采用第一阶段网络进行卷积与反卷积，输出得到多通道特征图。
第二阶段网络单元30，用于将多通道特征图输入第二阶段网络，使用第二阶段网络对缺陷图像中的缺陷进行分类。
检测单元40，用于构建CNN检测模型，根据缺陷的类别对缺陷进行检测。
在滑窗单元10中，采用滑窗算法截取预定尺寸大小的RGB图像，包括：通过滑窗方式遍历每组原始图像信息中每帧图像面阵的所有像素点，根据设定好的滑窗尺寸大小获取RGB图像。
具体的，从原始图像左上角开始，每次前移450像素，当移动到第一行的末尾，且剩下的像素不够450个时，则以原始图像最右上角为原点，由左往下分别延伸500像素作为本行最后一个滑窗。
然后，滑窗移动到原始图像最左侧，并且下移450像素，重复第一行的工作，直至最后一行且下移也不够450像素时，以原始图像的左下角为原点，由上往右分别延伸500像素作为最后一行的第一个滑窗。
在第一阶段网络单元20中，对输入的RGB图像采用第一阶段网络进行卷积与反卷积，包括：对输入的RGB图采用人体姿态识别中沙漏网络进行卷积与反卷积。
具体的，对输入的RGB图采用人体姿态识别中沙漏网络进行卷积与反卷积，包括：通过沙漏网络接收一个500*500*3通道的图像输入，经过卷积运算和池化操作后，得到32*32*256通道的特征图。
然后，将该特征图进行反卷积运算，得到256*256*32通道的特征图。
在第二阶段网络单元30中，使用第二阶段网络对缺陷图像中的缺陷进行分类，包括：使用分类网络对缺陷图像中的缺陷进行训练，并生成分类模型，使用分类模型根据缺陷严格程度设置缺陷等级分类评价策略，根据缺陷等级分类评价策略进行缺陷等级排序。
在检测单元40中，构建CNN检测模型，包括：在检测前，在图形处理器上对CNN检测模型进行训练，首先，使用滑窗算法预先截取好的图像Icut，其中，图像Icut分为训练集和测试集数据，数据来源为预备作为数据集用的图像，把截取好的图像裁剪成500*500的分辨率大小，并且分类这些数据并标记；
其中，训练集与测试集数据的比例为7：3，所有图像在输入网络前被缩放成224*224的分辨率大小。
然后，使用残差网络ResNet50对图像数据集进行训练，模型参数初始化使用在图像数据集上预训练的参数，使用随机水平反转、随机浮动±50％亮度的数据增强方法，得到高准确率的CNN检测模型，其中，优化器为Adam，学习率固定为0.00001。
在检测单元40中，根据缺陷的类别对缺陷进行检测，包括：将分类后的多通道特征图输入CNN检测模型中进行预测，每个多通道特征图经过第二阶段网络后会产生一个分类C与置信度P，为良次品和不确定品设置阈值Tgray：
若P<Tgray，则为不确定分类。
若P>Tgray，则C＝NGdent/NGprotrusion/G。
由此可见，本发明通过由滑窗单元10、第一阶段网络单元20、第二阶段网络单元30和检测单元40所组成的检测系统来实现了FPC缺陷的自动检测，根据缺陷类别使用检测方法对缺陷进行检测，可以提高检测的稳定性和准确性，具有较好的鲁棒性，且识别精度较高、速度快。
上述实施方式仅为本发明的优选实施方式，不能以此来限定本发明保护的范围，本领域的技术人员在本发明的基础上所做的任何非实质性的变化及替换均属于本发明所要求保护的范围。

Claims (10)

1.一种基于CNN的FPC表面缺陷检测方法，其特征在于，包括以下步骤：
获取检测物体的原始图像信息，采用滑窗算法截取预定尺寸大小的RGB图像；
对输入的RGB图像采用第一阶段网络进行卷积与反卷积，输出得到多通道特征图；
将多通道特征图输入第二阶段网络，使用第二阶段网络对缺陷图像中的缺陷进行分类；
构建CNN检测模型，根据缺陷的类别对缺陷进行检测。
2.根据权利要求1所述的方法，其特征在于，所述采用滑窗算法截取预定尺寸大小的RGB图像，包括：
通过滑窗方式遍历每组原始图像信息中每帧图像面阵的所有像素点，根据设定好的滑窗尺寸大小获取RGB图像。
3.根据权利要求2所述的方法，其特征在于，所述通过滑窗方式遍历每组原始图像信息中每帧图像面阵的所有像素点，包括：
从原始图像左上角开始，每次前移450像素，当移动到第一行的末尾，且剩下的像素不够450个时，则以原始图像最右上角为原点，由左往下分别延伸500像素作为本行最后一个滑窗；
然后，滑窗移动到原始图像最左侧，并且下移450像素，重复第一行的工作，直至最后一行且下移也不够450像素时，以原始图像的左下角为原点，由上往右分别延伸500像素作为最后一行的第一个滑窗。
4.根据权利要求1所述的方法，其特征在于，所述对输入的RGB图像采用第一阶段网络进行卷积与反卷积，包括：
对输入的RGB图采用人体姿态识别中沙漏网络进行卷积与反卷积。
5.根据权利要求4所述的方法，其特征在于，所述对输入的RGB图采用人体姿态识别中沙漏网络进行卷积与反卷积，包括：
通过沙漏网络接收一个500*500*3通道的图像输入，经过卷积运算和池化操作后，得到32*32*256通道的特征图；
将该特征图进行反卷积运算，得到256*256*32通道的特征图。
6.根据权利要求1所述的方法，其特征在于，所述使用第二阶段网络对缺陷图像中的缺陷进行分类，包括：
使用分类网络对缺陷图像中的缺陷进行训练，并生成分类模型，使用分类模型根据缺陷严格程度设置缺陷等级分类评价策略，根据缺陷等级分类评价策略进行缺陷等级排序。
7.根据权利要求1所述的方法，其特征在于，所述构建CNN检测模型，包括：
在检测前，在图形处理器上对CNN检测模型进行训练，首先，使用滑窗算法预先截取好的图像Icut，其中，图像Icut分为训练集和测试集数据，数据来源为预备作为数据集用的图像，把截取好的图像裁剪成500*500的分辨率大小，并且分类这些数据并标记；
其中，训练集与测试集数据的比例为7：3，所有图像在输入网络前被缩放成224*224的分辨率大小。
8.根据权利要求7所述的方法，其特征在于：
使用残差网络ResNet50对图像数据集进行训练，模型参数初始化使用在图像数据集上预训练的参数，使用随机水平反转、随机浮动±50％亮度的数据增强方法，得到高准确率的CNN检测模型，其中，优化器为Adam，学习率固定为0.00001。
9.根据权利要求8所述的方法，其特征在于，所述根据缺陷的类别对缺陷进行检测，包括：
将分类后的多通道特征图输入CNN检测模型中进行预测，每个多通道特征图经过第二阶段网络后会产生一个分类C与置信度P，为良次品和不确定品设置阈值Tgray：
若P<Tgray，C＝gray，则为不确定分类；
若P>Tgray：C＝NGdent/NGprotrusion/G，其中，NGdent为凹陷不确定分类，NGprotrusion为凸起不良品，G为良品。
10.一种基于CNN的FPC表面缺陷检测系统，其特征在于，该系统应用于如权利要求1至9任一项所述的一种基于CNN的FPC表面缺陷检测方法进行管理和部署，该系统包括：
滑窗单元，用于获取检测物体的原始图像信息，采用滑窗算法截取预定尺寸大小的RGB图像；
第一阶段网络单元，用于对输入的RGB图像采用第一阶段网络进行卷积与反卷积，输出得到多通道特征图；
第二阶段网络单元，用于将多通道特征图输入第二阶段网络，使用第二阶段网络对缺陷图像中的缺陷进行分类；
检测单元，用于构建CNN检测模型，根据缺陷的类别对缺陷进行检测。
CN202111483402.8A 2021-12-07 2021-12-07 一种基于cnn的fpc表面缺陷检测方法及其系统 Pending CN114255212A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111483402.8A CN114255212A (zh) 2021-12-07 2021-12-07 一种基于cnn的fpc表面缺陷检测方法及其系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111483402.8A CN114255212A (zh) 2021-12-07 2021-12-07 一种基于cnn的fpc表面缺陷检测方法及其系统

Publications (1)

Publication Number Publication Date
CN114255212A true CN114255212A (zh) 2022-03-29

Family

ID=80794088

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111483402.8A Pending CN114255212A (zh) 2021-12-07 2021-12-07 一种基于cnn的fpc表面缺陷检测方法及其系统

Country Status (1)

Country Link
CN (1) CN114255212A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115393679A (zh) * 2022-08-01 2022-11-25 国网江苏省电力有限公司南通供电分公司 一种rgb-红外输电线路缺陷图像特征融合方法及系统
TWI810016B (zh) * 2022-08-11 2023-07-21 易華電子股份有限公司 軟性電路板檢測系統
CN116756535A (zh) * 2023-08-17 2023-09-15 深圳市则成电子股份有限公司 Fpc的缺陷检测方法、装置以及检测设备

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115393679A (zh) * 2022-08-01 2022-11-25 国网江苏省电力有限公司南通供电分公司 一种rgb-红外输电线路缺陷图像特征融合方法及系统
TWI810016B (zh) * 2022-08-11 2023-07-21 易華電子股份有限公司 軟性電路板檢測系統
CN116756535A (zh) * 2023-08-17 2023-09-15 深圳市则成电子股份有限公司 Fpc的缺陷检测方法、装置以及检测设备
CN116756535B (zh) * 2023-08-17 2023-11-24 深圳市则成电子股份有限公司 Fpc的缺陷检测方法、装置以及检测设备

Similar Documents

Publication Publication Date Title
CN108562589B (zh) 一种对磁路材料表面缺陷进行检测的方法
CN109683360B (zh) 液晶面板缺陷检测方法及装置
CN110060237B (zh) 一种故障检测方法、装置、设备及系统
JP7004145B2 (ja) 欠陥検査装置、欠陥検査方法、及びそのプログラム
CN106875373B (zh) 基于卷积神经网络剪枝算法的手机屏幕mura缺陷检测方法
CN114255212A (zh) 一种基于cnn的fpc表面缺陷检测方法及其系统
CN111862064A (zh) 一种基于深度学习的银质丝材表面瑕疵识别方法
CN111383209A (zh) 一种基于全卷积自编码器网络的无监督瑕疵检测方法
KR20200039049A (ko) 외관불량 검사방법 및 외관불량 검사 시스템
CN112233067A (zh) 一种热轧钢卷端面质量检测方法及系统
CN112037219A (zh) 一种基于两阶段卷积神经网络的金属表面缺陷检测方法
US20210150700A1 (en) Defect detection device and method
CN112200790B (zh) 布料缺陷检测方法、设备和介质
CN111242026A (zh) 一种基于空间层次感知模块和度量学习的遥感图像目标检测方法
CN111915593A (zh) 模型建立方法、装置、电子设备及存储介质
WO2024051686A1 (zh) 缺陷检测模型的压缩训练方法和装置
CN114863492B (zh) 一种低质量指纹图像的修复方法及修复装置
CN114266743A (zh) 基于hsv和cnn的fpc缺陷检测方法、系统及存储介质
CN111754502A (zh) 基于多尺度特征融合的Faster-RCNN算法检测磁芯表面缺陷的方法
CN113538603A (zh) 一种基于阵列产品的光学检测方法、系统和可读存储介质
CN113807378A (zh) 训练数据增量方法、电子装置与计算机可读记录介质
CN114565607A (zh) 基于神经网络的织物缺陷图像分割方法
CN111161213A (zh) 一种基于知识图谱的工业产品缺陷图像分类方法
CN114663382A (zh) 基于YOLOv5卷积神经网络的电子元器件表面缺陷检测方法
CN116363136B (zh) 一种机动车部件自动化生产在线筛选方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination