CN111582294A - 一种构建用于表面缺陷检测的卷积神经网络模型的方法及其利用 - Google Patents
一种构建用于表面缺陷检测的卷积神经网络模型的方法及其利用 Download PDFInfo
- Publication number
- CN111582294A CN111582294A CN201910165141.1A CN201910165141A CN111582294A CN 111582294 A CN111582294 A CN 111582294A CN 201910165141 A CN201910165141 A CN 201910165141A CN 111582294 A CN111582294 A CN 111582294A
- Authority
- CN
- China
- Prior art keywords
- sample
- image
- defect
- picture
- training
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000007547 defect Effects 0.000 title claims abstract description 118
- 238000000034 method Methods 0.000 title claims abstract description 54
- 238000013527 convolutional neural network Methods 0.000 title claims abstract description 52
- 238000001514 detection method Methods 0.000 title claims abstract description 19
- 238000007781 pre-processing Methods 0.000 claims abstract description 8
- 230000001131 transforming effect Effects 0.000 claims abstract description 4
- 238000002372 labelling Methods 0.000 claims description 29
- 230000002950 deficient Effects 0.000 claims description 22
- 239000003086 colorant Substances 0.000 claims description 20
- 238000004422 calculation algorithm Methods 0.000 claims description 18
- 230000011218 segmentation Effects 0.000 claims description 12
- 238000005457 optimization Methods 0.000 claims description 10
- 238000005520 cutting process Methods 0.000 claims description 9
- 238000000605 extraction Methods 0.000 claims description 7
- 230000006835 compression Effects 0.000 claims description 6
- 238000007906 compression Methods 0.000 claims description 6
- 230000009466 transformation Effects 0.000 claims description 6
- 238000011176 pooling Methods 0.000 claims description 4
- 238000005070 sampling Methods 0.000 claims description 4
- 230000002411 adverse Effects 0.000 abstract description 3
- 230000000694 effects Effects 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 4
- 238000004519 manufacturing process Methods 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000007635 classification algorithm Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 239000012535 impurity Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
- G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Signal Processing (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- General Health & Medical Sciences (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开一种构建用于表面缺陷检测的卷积神经网络模型的方法及其利用，该方法包括如下步骤：（1）收集原始图片并导入；（2）对原始图片进行预处理，确定预处理后的原始图片为原始的训练样本并存储；（3）对原始的训练样本进行标注生成标注样本；（4）对原始的训练样本进行变换生成新的训练样本，实现训练样本增强；（5）以训练样本作为输入数据，并标注样本进行相应处理作为参考输出：通过多次迭代达到稳定收敛的准确率为止，卷积神经网络模型生成完毕后保存。本发明克服了在少量样本输入的条件下，产品缺陷形态随机，纹理复杂，对比度低等干扰因素带来的诸多不利影响，从而提高缺陷识别率。
Description
技术领域
本发明图像检测技术领域，具体涉及一种构建用于表面缺陷检测的卷积神经网络模型的方法及其利用。
背景技术
通常情况下，工业产品的表面由于生成过程中的各种因素会出现裂纹、脏污、杂质及外观缺失等缺陷，传统生产线中都是采用人工在线判断，但人工也由于疲劳、人眼的限制等导致产品良率下降，影响出货品质，达不到最终用户要求。
近年来，部分系统集成商采用机器视觉的方法对工业产品表面缺陷进行检测，首先通过特殊光路对磁路表面缺陷进行成像，获取产品表面的缺陷信息，再使用形态学处理、几何 分析、傅立叶变换、模板匹配等常规机器视觉算法对缺陷信息进行分析，从而判断缺陷是否存在。由于工业产品表面纹理复杂，表面缺陷形态非常随机，对比度低，同时生产线上稳定性也很难保证，现有的机器视觉算法在分析缺陷的过程中存在很大局限性，漏判率和误判率很高，很难达到实际生产要求。而且现有的机器视觉算法在面对随机出现的各种缺陷时，需要不断的调整和优化算法，适应性非常差，同时也会导致时间的浪费。
发明内容
本发明旨在提供一种构建用于表面缺陷检测的卷积神经网络模型的方法及其利用，以克服现有技术的不足。
为实现前述发明目的，本发明采用的技术方案包括：一种构建用于表面缺陷检测的卷积神经网络模型的方法，该方法包括如下步骤：
（1）收集原始图片并导入；
（2）对原始图片进行预处理，确定预处理后的原始图片为原始的训练样本并存储，所述预处理包括在接近原始图片的边界处设置边界线并沿边界线进行图像裁剪、保持与训练图片的宽高比进行图像压缩，对经过图形裁剪和图像压缩处理后进行图像重命名；
（3）对原始的训练样本进行标注生成标注样本，标注的方法为分类标注、定位标注、分割标注中的一种或多种的组合；
（4）对原始的训练样本进行变换生成新的训练样本，实现训练样本增强；
（5）以原始的训练样本和新生成的训练样本作为输入数据，输入到卷积神经网络中进行训练，根据分类标注、分割标注或定位标注不同分别得到M、N或P张特征图，其中M、N或P=（缺陷的种类数量+1）；并将步骤（3）生成的标注样本进行相应处理作为参考输出：通过多次迭代达到稳定收敛的准确率为止，卷积神经网络模型生成完毕后保存。
进一步地，当采用分类标注时，将步骤（3）生成的标注样本的像素经过二值处理生成的M张特征图作为对应的参考输出分类类别，输入到卷积神经网络中进行训练，通过多次迭代达到稳定收敛的准确率为止，其中M=（缺陷的种类数量+1），卷积神经网络模型生成完毕后保存；当采用分割标注时，将步骤（3）生成的标注样本分割的若干图像的像素经过二值处理生成的N张特征图作为对应的参考输出分类类别，输入到卷积神经网络中进行训练，通过多次迭代达到稳定收敛的准确率为止，其中N=（缺陷的种类数量+1），卷积神经网络模型生成完毕后保存；当采用定位标注时，将步骤（3）生成的标注样本划分的若干定位区域的像素经过二值处理生成的P张特征图作为对应的参考输出分类类别，输入到卷积神经网络中进行训练，通过多次迭代达到稳定收敛的准确率为止，其中P=（缺陷的种类数量+1），卷积神经网络模型生成完毕后保存。
进一步地，在所述的步骤(1)中，收集的原始图片包括缺陷样品图和无缺陷样品图；所述的步骤(3)包括：当采用分类标注时，对无缺陷样品图片和缺陷样品图片进行整体分类并予以标注，其中，无缺陷样品图像标注为OK；缺陷样品图像标注以NG，并以不同颜色代表不同缺陷类型，按像素区域标记出缺陷位置，生成的标注图像为除标注区域有颜色之外，其他部分都为黑色的图片；当采用分割标注时，对无缺陷样品图片和缺陷样品图片均予以标注，其中，无缺陷样品图像标注为OK；缺陷样品根据检测出产品缺陷的几何形态、坐标信息生成出若干虚拟区域，并根据预先设置的填充规则对上述区域进行一键填充标注，缺陷样品图像以不同颜色代表不同缺陷类型，按像素区域标记出缺陷位置，生成的标注图像为除标注区域有颜色之外，其他部分都为黑色的图片；当采用定位标注时，根据原始图片特征，对无缺陷样品图片和缺陷样品图片中不同的缺陷类型进行分类标注，其中，无缺陷样品图像标注为OK；并对各缺陷进行定位标注，缺陷样品图像以不同颜色代表不同缺陷类型，按像素区域标记出缺陷位置，生成的标注图像为除标注区域有颜色之外，其他部分都为黑色的图片。
进一步地，所述的步骤(4)包括：在每轮训练时对训练样本和步骤(2)生成的标注样本进行图像的尺度变换，所述尺度变换包括旋转、缩放、镜像、错切中的任意一种或两种以上的组合。
进一步地，在步骤(4)中，所述卷积神经网络的前向传播过程包括：
输入原始的训练样本和新生成的训练样本，并对训练图片进行归一化，归一化采用先减去图像均值再除以图像方差的方式；
将输入的原始的训练样本、步骤(3)生成的标注样本以及新生成的训练样本缩放至网络输入层的大小，进一步地将缩放后的图片传入五层卷积加池化和四层反卷积加上采样的网络中；用Softmax算法得到N张特征图的预测结果。
进一步地，在步骤(3)中，所述的训练包括：采用类似梯度下降的优化算法对每轮训练的得到的预测结果和标注结果作为对比，然后对网络参数做迭代优化，直至训练出一组参数使得预测结果和标注结果极其近似为止。
本发明的另一目的在于提供一种利用上述任一方法构建用于表面缺陷检测的卷积神经网络模型的方法，该利用方法为用于工业产品表面缺陷检测，包括如下步骤：
（6）向根据权利要求1-7任一方法生成的卷积神经网络模型中输入相机采集的未标注图像，执行一次前向传播得到M、N或P张特征图的过程；对每一未标注图像经预测生成M、N或P张特征图，该M、N或P张特征图中每个像素代表在原图中该像素位置上的特征属于（（M、N或P）-1）种缺陷中的一种的概率得分；
（7）对步骤（6）生成的M、N或P张概率得分图进行处理，设置每种缺陷的概率得分阈值，生成聚类索引图，进而用blob提取方法，按索引区域标签提取出缺陷所在位置。
进一步地，所述的步骤(7)包括：将步骤(6)生成的M、N或P张特征图中每一张图的每一个位置上的点与其他各特征图的同一个位置的点上的概率值比较，生成每个点概率最大索引的二维统计图，即所述的聚类索引图，并且在生成所述统计图时，设置概率得分阈值，若其中某一点位置的最大类别概率小于设置的概率得分阈值，则将该点位置视为背景特征，否则，依据该点位置的最大类别概率，判定其所属的缺陷类型，之后，依据所述的二维统计图进一步用blob提取方法提取出所述未标注图像上的缺陷所在区域。
有益效果：较之现有技术，本发明提供的一种基于深度学习算法对工业产品表面缺陷进行检测并进行自我学习和优化使图像增强，构建用于表面缺陷检测的卷积神经网络模型，尤其是在少量样本输入的条件下，克服了产品缺陷形态随机，纹理复杂，对比度低等干扰因素带来的诸多不利影响，从而提高缺陷识别率。另外，本发明方法的数据处理速度至少与现有机器视觉算法相当，且准确率与良率远超现有机器视觉算法，能够显著提高工业产品的出厂质量。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明一典型实施方案中一种构建用于表面缺陷检测的卷积神经网络模型的方法的原理图。
图2是本发明一典型实施方案中卷积神经网络的前向传播过程图。
图3是本发明一典型实施方案中根据预设阈值融合生成检测结果的示意图。
具体实施方式
如前所述，鉴于现有技术的不足，本案发明人经长期研究和大量实践，得以提出本发明的技术方案。下面将对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明采用的技术方案包括：本发明采用的技术方案包括：一种构建用于表面缺陷检测的卷积神经网络模型的方法，该方法包括如下步骤：
（1）收集原始图片并导入；
（2）对原始图片进行预处理，确定预处理后的原始图片为原始的训练样本并存储，所述预处理包括在接近原始图片的边界处设置边界线并沿边界线进行图像裁剪、保持与训练图片的宽高比进行图像压缩，对经过图形裁剪和图像压缩处理后进行图像重命名；
（3）对原始的训练样本进行标注生成标注样本，标注的方法为分类标注、定位标注、分割标注中的一种或多种的组合；
（4）对原始的训练样本进行变换生成新的训练样本，实现训练样本增强；
（5）以原始的训练样本和新生成的训练样本作为输入数据，输入到卷积神经网络中进行训练，根据分类标注、定位标注、分割标注不同分别得到M、N或P张特征图，其中M、N或P=（缺陷的种类数量+1）；并将步骤（3）生成的标注样本进行相应处理作为参考输出：通过多次迭代达到稳定收敛的准确率为止，卷积神经网络模型生成完毕后保存。
进一步地，当采用分类标注时，将步骤（3）生成的标注样本的像素经过二值处理生成的M张特征图作为对应的参考输出分类类别，输入到卷积神经网络中进行训练，通过多次迭代达到稳定收敛的准确率为止，其中M=（缺陷的种类数量+1），卷积神经网络模型生成完毕后保存；当采用分割标注时，将步骤（3）生成的标注样本分割的若干图像的像素经过二值处理生成的N张特征图作为对应的参考输出分类类别，输入到卷积神经网络中进行训练，通过多次迭代达到稳定收敛的准确率为止，其中N=（缺陷的种类数量+1），卷积神经网络模型生成完毕后保存；当采用定位标注时，将步骤（3）生成的标注样本划分的若干定位区域的像素经过二值处理生成的P张特征图作为对应的参考输出分类类别，输入到卷积神经网络中进行训练，通过多次迭代达到稳定收敛的准确率为止，其中P=（缺陷的种类数量+1），卷积神经网络模型生成完毕后保存。
进一步地，在所述的步骤(1)中，收集的原始图片包括缺陷样品图和无缺陷样品图；所述的步骤(3)包括：当采用分类标注时，对无缺陷样品图片和缺陷样品图片进行整体分类并予以标注，其中，无缺陷样品图像标注为OK；缺陷样品图像标注以NG，并以不同颜色代表不同缺陷类型，按像素区域标记出缺陷位置，生成的标注图像为除标注区域有颜色之外，其他部分都为黑色的图片；当采用分割标注时，对无缺陷样品图片和缺陷样品图片均予以标注，其中，无缺陷样品图像标注为OK；缺陷样品根据检测出产品缺陷的几何形态、坐标信息生成出若干虚拟区域，并根据预先设置的填充规则对上述区域进行一键填充标注，缺陷样品图像以不同颜色代表不同缺陷类型，按像素区域标记出缺陷位置，生成的标注图像为除标注区域有颜色之外，其他部分都为黑色的图片；当采用定位标注时，根据原始图片特征，对无缺陷样品图片和缺陷样品图片中不同的缺陷类型进行分类标注，其中，无缺陷样品图像标注为OK；并对各缺陷进行定位标注，缺陷样品图像以不同颜色代表不同缺陷类型，按像素区域标记出缺陷位置，生成的标注图像为除标注区域有颜色之外，其他部分都为黑色的图片。
进一步地，所述的步骤(4)包括：在每轮训练时对训练样本进行图像的尺度变换，所述尺度变换包括旋转、缩放、镜像、错切中的任意一种或两种以上的组合。
进一步地，在步骤(4)中，所述卷积神经网络的前向传播过程包括：
输入原始的训练样本和新生成的训练样本，并对训练图片进行归一化，归一化采用先减去图像均值再除以图像方差的方式；
将输入的原始的训练样本以及新生成的训练样本缩放至网络输入层的大小，进一步地将缩放后的图片传入五层卷积加池化和四层反卷积加上采样的网络中；用Softmax算法得到N张特征图的预测结果。
进一步地，在步骤(5)中，所述的训练包括：采用类似梯度下降的优化算法对每轮训练的得到的预测结果和标注结果作为对比，然后对网络参数做迭代优化，直至训练出一组参数使得预测结果和标注结果极其近似为止。
本发明的另一目的在于提供一种利用上述任一方法构建用于表面缺陷检测的卷积神经网络模型的方法，该利用方法为用于工业产品表面缺陷检测，包括如下步骤：
（6）向上述方法生成的卷积神经网络模型中输入相机采集的未标注图像，执行一次前向传播得到M、N或P张特征图的过程；对每一未标注图像经预测生成M、N或P张特征图，该M、N或P张特征图中每个像素代表在原图中该像素位置上的特征属于（（M、N或P）-1）种缺陷中的一种的概率得分；
（7）对步骤（6）生成的M、N或P张概率得分图进行处理，设置每种缺陷的概率得分阈值，生成聚类索引图，进而用blob提取方法，按索引区域标签提取出缺陷所在位置。
进一步地，所述的步骤(7)包括：将步骤(6)生成的M、N或P张特征图中每一张图的每一个位置上的点与其他各特征图的同一个位置的点上的概率值比较，生成每个点概率最大索引的二维统计图，即所述的聚类索引图，并且在生成所述统计图时，设置概率得分阈值，若其中某一点位置的最大类别概率小于设置的概率得分阈值，则将该点位置视为背景特征，否则，依据该点位置的最大类别概率，判定其所属的缺陷类型，之后，依据所述的二维统计图进一步用blob提取方法提取出所述未标注图像上的缺陷所在区域。
有益效果：较之现有技术，本发明提供的一种基于深度学习算法对工业产品表面缺陷进行检测并进行自我学习和优化使图像增强，构建用于表面缺陷检测的卷积神经网络模型，尤其是在少量样本输入的条件下，克服了产品缺陷形态随机，纹理复杂，对比度低等干扰因素带来的诸多不利影响，从而提高缺陷识别率。另外，本发明方法的数据处理速度至少与现有机器视觉算法相当，且准确率与良率远超现有机器视觉算法，能够显著提高工业产品的出厂质量。而且通过对原始图片进行预处理，使图片格式一致；而且通过多种分类方法适用不同的表面缺陷，适用性更好，标定方法快捷，构建快捷，检测效率更高。
本发明主要采用了基于深度卷积神经网络的分类算法，其中对输入原始图片进行压缩与切割，导入分类器，形成多层卷积神经网络模型，其能够适应工业产品表面缺陷随机性带来的干扰，准确识别缺陷。
在该典型实施例中，所述的步骤(1)包括：收集原始图片，作为原始的训练样本数据，需分类收集无缺陷样品图片和缺陷样品图片，无缺陷样品图片和每一种缺陷的图片尽量提供数量差不多。在该典型实施例中，所述的步骤(2)包括：对原始图片进行预处理，生成原始的训练样本；在该典型实施例中，所述的步骤(3)包括：用图像标注工具进行标注，对无缺陷样品和缺陷样品都予以标注形成标注图片。无缺陷样品图像标注只需保存为像素全为黑色的且和原图大小相同的图片，缺陷样品图像标注需用不同颜色代表不同缺陷类型的画笔，按像素区域标记出缺陷位置，生成的标注图像为除了标注区域有颜色，其他部分都为黑色的图片。
在该典型实施例中，所述的步骤(4)包括：用卷积神经网络对原始的训练样本进行训练，在训练开始时，进行图像的多尺度增强，该种处理方式是在每轮训练的时候都对原始的训练样本和标注样本做一些尺度变换，如缩放、旋转、镜像、错切，此步操作可以达到样本图像数量较少的情况下也可以训练出泛化能力很好的模型。
进一步地，在该典型实施例中，所述卷积神经网络的前向传播过程大致如图2所示，包括：首先，输入训练图片，对图片进行归一化，归一化采用先减去图像均值再除以图像方差的方式；接着，将输入训练图片和标注图片缩放至网络输入层的大小，进一步地将缩放后的图片传入五层卷积加池化和四层反卷积加上采样的网络中；最后，用Softmax算法得到N张特征图的预测结果。
进一步地，在该典型实施例中，所述的训练包括：采用类似梯度下降的优化算法对每轮训练的得到的预测结果和标注结果做对比，然后对网络参数做迭代优化，直至训练出一组参数使得预测结果和标注结果极其近似为止。
进一步地，在该典型实施例中，所述的步骤(6)包括：将相机采集的未标注图像输入以上训练好的网络当中，执行一次前向传播得到特征图的过程。
进一步地，在该典型实施例中，所述的步骤(7)的过程可以如图3所示。在一些情况下，可以假设工业产品缺陷有两种，输入的图片中包含两种缺陷，图片大小为5*5，标注图背景为 0，两种缺陷标注像素值为1和2，图3所示输入一张5*5大小待预测图片，经过卷积神经网络 预测得到三张特征图。三张特征图每一个像素位置上的值代表该点可能为该种特征的概率，进一步将三张特征图每张图的每一个位置上的点与其他两张特征图的同一个位置的点上的概率值做比较，生成一张每个点概率最大索引的统计图，在生成统计图时，本发明的方法中还加入了概率阈值，即，如果某一点位置的最大类别概率小于设置的阈值，该点位置都将视为是背景特征，其索引将被设为0，如图3中设置阈值为0.95，则第二行最后一个点被视为背景而不是1类缺陷。最后生成的二维统计图每个点表征的是该点是0、1、2三种类型的一种，根据该二维统计图进一步用blob提取方法便可简单的画出原图上的缺陷所在区域。
应当理解，上述实施例仅为说明本发明的技术构思及特点，其目的在于让熟悉此项技术的人士能够了解本发明的内容并据以实施，并不能以此限制本发明的保护范围。凡根据本发明精神实质所作的等效变化或修饰，都应涵盖在本发明的保护范围之内。
Claims (8)
1.一种构建用于表面缺陷检测的卷积神经网络模型的方法，其特征在于，该方法包括如下步骤：
收集原始图片并导入；
对原始图片进行预处理，确定预处理后的原始图片为原始的训练样本并存储，所述预处理包括在接近原始图片的边界处设置边界线并沿边界线进行图像裁剪、保持与训练图片的宽高比进行图像压缩，对经过图形裁剪和图像压缩处理后进行图像重命名；
对原始的训练样本进行标注生成标注样本，标注的方法为分类标注、定位标注、分割标注中的一种或多种的组合；
对原始的训练样本进行变换生成新的训练样本，实现训练样本增强；
以原始的训练样本和新生成的训练样本作为输入数据，输入到卷积神经网络中进行训练，根据分类标注、定位标注、分割标注不同分别得到M、N或P张特征图，其中M、N或P=（缺陷的种类数量+1）；并将步骤（3）生成的标注样本进行相应处理作为参考输出：通过多次迭代达到稳定收敛的准确率为止，卷积神经网络模型生成完毕后保存。
2.根据权利要求1所述的一种构建用于表面缺陷检测的卷积神经网络模型的方法，其特征在于，当采用分类标注时，将步骤（3）生成的标注样本的像素经过二值处理生成的M张特征图作为对应的参考输出分类类别，输入到卷积神经网络中进行训练，通过多次迭代达到稳定收敛的准确率为止，其中M=（缺陷的种类数量+1），卷积神经网络模型生成完毕后保存；当采用分割标注时，将步骤（3）生成的标注样本分割的若干图像的像素经过二值处理生成的N张特征图作为对应的参考输出分类类别，输入到卷积神经网络中进行训练，通过多次迭代达到稳定收敛的准确率为止，其中N=（缺陷的种类数量+1），卷积神经网络模型生成完毕后保存；当采用定位标注时，将步骤（3）生成的标注样本划分的若干定位区域的像素经过二值处理生成的P张特征图作为对应的参考输出分类类别，输入到卷积神经网络中进行训练，通过多次迭代达到稳定收敛的准确率为止，其中P=（缺陷的种类数量+1），卷积神经网络模型生成完毕后保存。
3.根据权利要求2所述的一种构建用于表面缺陷检测的卷积神经网络模型的方法，其特征在于，在所述的步骤(1)中，收集的原始图片包括缺陷样品图和无缺陷样品图；所述的步骤(3)包括：当采用分类标注时，对无缺陷样品图片和缺陷样品图片进行整体分类并予以标注，其中，无缺陷样品图像标注为OK；缺陷样品图像标注以NG，并以不同颜色代表不同缺陷类型，按像素区域标记出缺陷位置，生成的标注图像为除标注区域有颜色之外，其他部分都为黑色的图片；当采用分割标注时，对无缺陷样品图片和缺陷样品图片均予以标注，其中，无缺陷样品图像标注为OK；缺陷样品根据检测出产品缺陷的几何形态、坐标信息生成出若干虚拟区域，并根据预先设置的填充规则对上述区域进行一键填充标注，缺陷样品图像以不同颜色代表不同缺陷类型，按像素区域标记出缺陷位置，生成的标注图像为除标注区域有颜色之外，其他部分都为黑色的图片；当采用定位标注时，根据原始图片特征，对无缺陷样品图片和缺陷样品图片中不同的缺陷类型进行分类标注，其中，无缺陷样品图像标注为OK；并对各缺陷进行定位标注，缺陷样品图像以不同颜色代表不同缺陷类型，按像素区域标记出缺陷位置，生成的标注图像为除标注区域有颜色之外，其他部分都为黑色的图片。
4.根据权利要求1所述的一种构建用于表面缺陷检测的卷积神经网络模型的方法，其特征在于，所述的步骤(4)包括：在每轮训练时对训练样本和步骤(2)生成的标注样本进行图像的尺度变换，所述尺度变换包括旋转、缩放、镜像、错切中的任意一种或两种以上的组合。
5.根据权利要求1所述的一种构建用于表面缺陷检测的卷积神经网络模型的方法，其特征在于，在步骤(4)中，所述卷积神经网络的前向传播过程包括：
输入原始的训练样本和新生成的训练样本，并对训练图片进行归一化，归一化采用先减去图像均值再除以图像方差的方式；
将输入的原始的训练样本、步骤(3)生成的标注样本以及新生成的训练样本缩放至网络输入层的大小，进一步地将缩放后的图片传入五层卷积加池化和四层反卷积加上采样的网络中；用Softmax算法得到N张特征图的预测结果。
6.根据权利要求1所述的一种构建用于表面缺陷检测的卷积神经网络模型的方法，其特征在于，在步骤(3)中，所述的训练包括：采用类似梯度下降的优化算法对每轮训练的得到的预测结果和标注结果作为对比，然后对网络参数做迭代优化，直至训练出一组参数使得预测结果和标注结果极其近似为止。
7.一种利用权利要求1-7任一方法构建用于表面缺陷检测的卷积神经网络模型的方法，其特征在于，该利用方法为用于工业产品表面缺陷检测，包括如下步骤：
（6）向根据权利要求1-7任一方法生成的卷积神经网络模型中输入相机采集的未标注图像，执行一次前向传播得到M、N或P张特征图的过程；对每一未标注图像经预测生成M、N或P张特征图，该M、N或P张特征图中每个像素代表在原图中该像素位置上的特征属于（（M、N或P）-1）种缺陷中的一种的概率得分；
（7）对步骤（6）生成的M、N或P张概率得分图进行处理，设置每种缺陷的概率得分阈值，生成聚类索引图，进而用blob提取方法，按索引区域标签提取出缺陷所在位置。
8.根据权利要求8所述的方法，其特征在于，所述的步骤(7)包括：将步骤(6)生成的M、N或P张特征图中每一张图的每一个位置上的点与其他各特征图的同一个位置的点上的概率值比较，生成每个点概率最大索引的二维统计图，即所述的聚类索引图，并且在生成所述统计图时，设置概率得分阈值，若其中某一点位置的最大类别概率小于设置的概率得分阈值，则将该点位置视为背景特征，否则，依据该点位置的最大类别概率，判定其所属的缺陷类型，之后，依据所述的二维统计图进一步用blob提取方法提取出所述未标注图像上的缺陷所在区域。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910165141.1A CN111582294B (zh) | 2019-03-05 | 2019-03-05 | 一种构建用于表面缺陷检测的卷积神经网络模型的方法及其利用 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910165141.1A CN111582294B (zh) | 2019-03-05 | 2019-03-05 | 一种构建用于表面缺陷检测的卷积神经网络模型的方法及其利用 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111582294A true CN111582294A (zh) | 2020-08-25 |
| CN111582294B CN111582294B (zh) | 2024-02-27 |
Family
ID=72112939
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910165141.1A Active CN111582294B (zh) | 2019-03-05 | 2019-03-05 | 一种构建用于表面缺陷检测的卷积神经网络模型的方法及其利用 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111582294B (zh) |
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111862097A (zh) * | 2020-09-24 | 2020-10-30 | 常州微亿智造科技有限公司 | 微小缺陷检出率的数据增强方法和装置 |
| CN112396047A (zh) * | 2020-10-30 | 2021-02-23 | 北京文思海辉金信软件有限公司 | 训练样本生成方法、装置、计算机设备和存储介质 |
| CN112767354A (zh) * | 2021-01-19 | 2021-05-07 | 南京汇川图像视觉技术有限公司 | 基于图像分割的缺陷检测方法、装置、设备及存储介质 |
| CN112766467A (zh) * | 2021-04-06 | 2021-05-07 | 深圳市一心视觉科技有限公司 | 基于卷积神经网络模型的图像识别方法 |
| CN112819757A (zh) * | 2021-01-19 | 2021-05-18 | 上海华野模型有限公司 | 新工业模型规划方法 |
| CN113033635A (zh) * | 2021-03-12 | 2021-06-25 | 中钞长城金融设备控股有限公司 | 一种硬币隐形图文检测方法及装置 |
| CN113409295A (zh) * | 2021-06-30 | 2021-09-17 | 北京兆维电子(集团)有限责任公司 | 一种基于cell的边缘缺陷检测方法 |
| CN113642597A (zh) * | 2021-06-23 | 2021-11-12 | 北京航空航天大学 | 固体火箭发动机衬层缺陷图像数据集自制方法 |
| CN113716146A (zh) * | 2021-07-23 | 2021-11-30 | 武汉纺织大学 | 基于深度学习的纸巾产品包装检测方法 |
| CN114022715A (zh) * | 2021-11-17 | 2022-02-08 | 国网江苏省电力有限公司电力科学研究院 | 一种高压电缆终端铅封缺陷检测方法及装置 |
| CN114441547A (zh) * | 2022-04-11 | 2022-05-06 | 深圳市睿阳精视科技有限公司 | 一种智能家电盖板缺陷检测方法 |
| CN114494260A (zh) * | 2022-04-18 | 2022-05-13 | 深圳思谋信息科技有限公司 | 对象缺陷检测方法、装置、计算机设备和存储介质 |
| CN114723651A (zh) * | 2020-12-22 | 2022-07-08 | 东方晶源微电子科技（北京）有限公司 | 缺陷检测模型训练方法和缺陷检测方法及装置和设备 |
| CN115018786A (zh) * | 2022-06-02 | 2022-09-06 | 国网江苏省电力有限公司电力科学研究院 | 一种基于网格网络的电缆缺陷识别方法及装置 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108335303A (zh) * | 2018-01-28 | 2018-07-27 | 浙江大学 | 一种应用于手掌x光片的多尺度手掌骨骼分割方法 |
| CN108562589A (zh) * | 2018-03-30 | 2018-09-21 | 慧泉智能科技（苏州）有限公司 | 一种对磁路材料表面缺陷进行检测的方法 |
| CN108764306A (zh) * | 2018-05-15 | 2018-11-06 | 深圳大学 | 图像分类方法、装置、计算机设备和存储介质 |
| CN108802041A (zh) * | 2018-03-16 | 2018-11-13 | 浙江大学 | 一种屏幕检测的小样本集快速换型的方法 |
| CN109239102A (zh) * | 2018-08-21 | 2019-01-18 | 南京理工大学 | 一种基于cnn的柔性电路板外观缺陷检测方法 |
| CN109285139A (zh) * | 2018-07-23 | 2019-01-29 | 同济大学 | 一种基于深度学习的x射线成像焊缝检测方法 |
-
2019
- 2019-03-05 CN CN201910165141.1A patent/CN111582294B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108335303A (zh) * | 2018-01-28 | 2018-07-27 | 浙江大学 | 一种应用于手掌x光片的多尺度手掌骨骼分割方法 |
| CN108802041A (zh) * | 2018-03-16 | 2018-11-13 | 浙江大学 | 一种屏幕检测的小样本集快速换型的方法 |
| CN108562589A (zh) * | 2018-03-30 | 2018-09-21 | 慧泉智能科技（苏州）有限公司 | 一种对磁路材料表面缺陷进行检测的方法 |
| CN108764306A (zh) * | 2018-05-15 | 2018-11-06 | 深圳大学 | 图像分类方法、装置、计算机设备和存储介质 |
| CN109285139A (zh) * | 2018-07-23 | 2019-01-29 | 同济大学 | 一种基于深度学习的x射线成像焊缝检测方法 |
| CN109239102A (zh) * | 2018-08-21 | 2019-01-18 | 南京理工大学 | 一种基于cnn的柔性电路板外观缺陷检测方法 |
Cited By (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111862097A (zh) * | 2020-09-24 | 2020-10-30 | 常州微亿智造科技有限公司 | 微小缺陷检出率的数据增强方法和装置 |
| CN112396047A (zh) * | 2020-10-30 | 2021-02-23 | 北京文思海辉金信软件有限公司 | 训练样本生成方法、装置、计算机设备和存储介质 |
| CN112396047B (zh) * | 2020-10-30 | 2022-03-08 | 中电金信软件有限公司 | 训练样本生成方法、装置、计算机设备和存储介质 |
| CN114723651A (zh) * | 2020-12-22 | 2022-07-08 | 东方晶源微电子科技（北京）有限公司 | 缺陷检测模型训练方法和缺陷检测方法及装置和设备 |
| CN112767354A (zh) * | 2021-01-19 | 2021-05-07 | 南京汇川图像视觉技术有限公司 | 基于图像分割的缺陷检测方法、装置、设备及存储介质 |
| CN112819757A (zh) * | 2021-01-19 | 2021-05-18 | 上海华野模型有限公司 | 新工业模型规划方法 |
| CN113033635A (zh) * | 2021-03-12 | 2021-06-25 | 中钞长城金融设备控股有限公司 | 一种硬币隐形图文检测方法及装置 |
| CN113033635B (zh) * | 2021-03-12 | 2024-05-14 | 中钞长城金融设备控股有限公司 | 一种硬币隐形图文检测方法及装置 |
| CN112766467A (zh) * | 2021-04-06 | 2021-05-07 | 深圳市一心视觉科技有限公司 | 基于卷积神经网络模型的图像识别方法 |
| CN113642597A (zh) * | 2021-06-23 | 2021-11-12 | 北京航空航天大学 | 固体火箭发动机衬层缺陷图像数据集自制方法 |
| CN113409295A (zh) * | 2021-06-30 | 2021-09-17 | 北京兆维电子(集团)有限责任公司 | 一种基于cell的边缘缺陷检测方法 |
| CN113409295B (zh) * | 2021-06-30 | 2024-03-29 | 北京兆维电子(集团)有限责任公司 | 一种基于cell的边缘缺陷检测方法 |
| CN113716146A (zh) * | 2021-07-23 | 2021-11-30 | 武汉纺织大学 | 基于深度学习的纸巾产品包装检测方法 |
| CN114022715A (zh) * | 2021-11-17 | 2022-02-08 | 国网江苏省电力有限公司电力科学研究院 | 一种高压电缆终端铅封缺陷检测方法及装置 |
| CN114441547A (zh) * | 2022-04-11 | 2022-05-06 | 深圳市睿阳精视科技有限公司 | 一种智能家电盖板缺陷检测方法 |
| CN114494260A (zh) * | 2022-04-18 | 2022-05-13 | 深圳思谋信息科技有限公司 | 对象缺陷检测方法、装置、计算机设备和存储介质 |
| CN115018786A (zh) * | 2022-06-02 | 2022-09-06 | 国网江苏省电力有限公司电力科学研究院 | 一种基于网格网络的电缆缺陷识别方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111582294B (zh) | 2024-02-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108562589B (zh) | 一种对磁路材料表面缺陷进行检测的方法 | |
| CN111582294B (zh) | 一种构建用于表面缺陷检测的卷积神经网络模型的方法及其利用 | |
| CN109961049B (zh) | 一种复杂场景下香烟品牌识别方法 | |
| CN115082419B (zh) | 一种吹塑箱包生产缺陷检测方法 | |
| Lian et al. | Deep-learning-based small surface defect detection via an exaggerated local variation-based generative adversarial network | |
| CN111833306B (zh) | 缺陷检测方法和用于缺陷检测的模型训练方法 | |
| CN111652085B (zh) | 基于2d与3d特征结合的物体识别方法 | |
| CN115082683A (zh) | 一种基于图像处理的注塑缺陷检测方法 | |
| CN110992317A (zh) | 一种基于语义分割的pcb板缺陷检测方法 | |
| CN107622277B (zh) | 一种基于贝叶斯分类器的复杂曲面缺陷分类方法 | |
| CN113240623B (zh) | 一种路面病害检测方法及装置 | |
| CN112085024A (zh) | 一种罐表面字符识别方法 | |
| CN113393426B (zh) | 一种轧钢板表面缺陷检测方法 | |
| CN113516619B (zh) | 一种基于图像处理技术的产品表面瑕疵识别方法 | |
| CN111382785A (zh) | 一种gan网络模型及实现样本自动清洗、辅助标记的方法 | |
| CN110751619A (zh) | 一种绝缘子缺陷检测方法 | |
| CN115272204A (zh) | 一种基于机器视觉的轴承表面划痕检测方法 | |
| CN111932639B (zh) | 一种基于卷积神经网络的不均衡缺陷样本的检测方法 | |
| CN113591850A (zh) | 基于计算机视觉鲁棒性目标检测的两阶段商标检测法 | |
| CN113870202A (zh) | 一种基于深度学习技术的远端芯片缺陷检测系统 | |
| CN114820471A (zh) | 一种面向智能制造精微结构表面缺陷的视觉检测方法 | |
| CN113487538A (zh) | 一种多目标分割缺陷检测方法、装置及其计算机存储介质 | |
| CN113793357A (zh) | 一种基于深度学习的支气管肺段图像分割方法及系统 | |
| CN117975175B (zh) | 一种基于机器视觉的塑料管道外观缺陷检测方法 | |
| CN117351078A (zh) | 基于形状先验的目标尺寸与6d姿态估计方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |