CN116862878A - 一种高反光胶水缺陷检测方法 - Google Patents

一种高反光胶水缺陷检测方法 Download PDF

Info

Publication number
CN116862878A
CN116862878A CN202310850730.XA CN202310850730A CN116862878A CN 116862878 A CN116862878 A CN 116862878A CN 202310850730 A CN202310850730 A CN 202310850730A CN 116862878 A CN116862878 A CN 116862878A
Authority
CN
China
Prior art keywords
model
image
glue
feature vector
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310850730.XA
Other languages
English (en)
Inventor
郭寅
郭磊
金开祥
冯宇深
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Isvision Hangzhou Technology Co Ltd
Original Assignee
Isvision Hangzhou Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Isvision Hangzhou Technology Co Ltd filed Critical Isvision Hangzhou Technology Co Ltd
Priority to CN202310850730.XA priority Critical patent/CN116862878A/zh
Publication of CN116862878A publication Critical patent/CN116862878A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4038—Scaling the whole image or part thereof for image mosaicing, i.e. plane images composed of plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Quality & Reliability (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种高反光胶水缺陷检测方法，先训练针对于反光特性的检测模型A，该模型用于输出表征图像反光特性的一维特征向量A；再将一维特征向量A结合图像的灰度特征向量和纹理特征向量，作为整体的特征向量集合，训练缺陷识别模型B，模型B用于输出图像对应的类别：正常胶水图像、有缺陷的胶水图像、存在反光区域的胶水图像；完成缺陷检测。在检测高反光特征的胶水图像时，本方法能够准确区分缺陷区域(胶水缺失或断裂)和反光区域，检测结果准确性高，解决了工业喷涂中反光胶水(LASD)的质量难以监控的技术问题。

Description

一种高反光胶水缺陷检测方法
技术领域
本发明涉及涂胶视觉检测领域，具体涉及一种高反光胶水缺陷检测方法。
背景技术
在涂胶工艺的常规应用中，其主要用于替代传统的焊接工艺，实现对工件的固定，但是，随着胶水用途的多样化，水性阻尼材料(LASD)的胶水因不含有机溶剂、密度小、自动化施工、可机器人喷涂等优点，被广泛用于密封、降噪，如将该材料涂抹到汽车零部件表面，可提高整车NVH(噪声Noise、振动Vibration与声振粗糙度Harshness)性能。但是，水性阻尼材料(LASD)的胶水涂抹后，呈现出高反光特性，如图1-3所示，采集到的胶水图像中随机分布着高亮反光区域，现有缺陷检测方法，仅依赖图像的灰度特征或纹理特征，但由于胶水的反光现象，导致胶水图像的灰度与纹理信息遭到破坏，难以有效区分反光区域和缺陷区域，反光区域易被误判为缺陷，导致误检率畸高。
发明内容
为了解决上述技术问题，本发明提供一种高反光胶水缺陷检测方法，本方法针对于高反光特征的胶水图像，在分析灰度特征、纹理特征的基础上增加了反光特征，能够准确区分缺陷区域(胶水缺失或断裂)和反光区域，检测结果准确性高，能够解决工业喷涂中反光胶水(LASD)的质量难以监控的技术问题。
为此，本发明的技术方案如下：
一种高反光胶水缺陷检测方法，实际检测前，利用以下步骤训练检测模型：
S1、收集多张存在反光区域的胶水图像，以反光强度分数作为每张胶水图像的标签，再按照预设比例划分训练集A、测试集B；
初始的反光强度分数为修正后的单张胶水图像的灰度方差乘积和反光区域在整张图像中的像素占比分别与不同比例系数积的和；
当训练集中的所有图像均获得初始反光强度分数后，将各个初始的反光强度分数分别进行归一化处理，得到最终的反光强度分数；
S2、将训练集A中的图像分别输入到卷积神经网络模型中训练，记该模型为模型A，损失函数为loss＝k×|Yi-Si|2，其中，k为比例系数，为预设值，Yi为模型A输出的第i张图像的反光强度分数预测值；
当loss值收敛或者loss值小于预设值之后，利用测试集A中图像验证模型A的准确率：当模型A的输出的预测值Yi处于标签Si±10％范围内时，则认为输出预测值准确，否则，不准确；
若准确率高于预设阈值，则保存当前模型A；否则，扩充训练集A中图像样本数量，或者调整模型A中的模型参数，重新训练模型A，直到准确率高于预设阈值；
S3、收集三类样本：正常胶水图像、有缺陷的胶水图像、存在反光区域的胶水图像，根据图像所属的类别为每张图像打标签，形成样本数据集，每类样本数据集中图像的数量不少于500张；
按照以下方式为各图像以及标签匹配特征向量集合：
将单张图像输入到步骤S2中存储的模型A中，模型A的全连接层输出一维特征向量A；
提取单张图像的灰度特征向量和纹理特征向量，再将两者依次拼接到一维特征向量A，形成特征向量集合；
再将各类图像按照预设的比例划分到训练集B和测试集B；
S4、利用训练集B中各图像的标签与特征向量集合训练模型B所述模型B为机器学习模型或者卷积神经网络模型；
利用测试集B中图像验证训练后的模型B的准确率，若准确率低于预设阈值，则扩充训练集B中图像样本数量，或者调整模型B中的模型参数，重新训练模型B，直到准确率高于预设阈值；否则，保存当前模型B，模型训练结束；
实际检测时，将实际采集到的胶水图像输入到步骤S2中存储的模型A中，模型A的全连接层输出一维特征A；提取该图像的灰度特征向量和纹理特征向量，再将两者依次拼接到一维特征向量A，形成特征向量集合；
将特征向量集合输入到训练好的模型B中，模型B输出该图像对应的类别：正常胶水图像、有缺陷的胶水图像、存在反光区域的胶水图像；
完成缺陷检测。
优选，步骤S2中，将训练集A中的图像各像素点的灰度值均除以255，并缩放图像尺寸为预设大小。
优选，步骤S1中，图像数量不少于1000张；
步骤S2和步骤S4中，准确率对应的预设阈值取值为0.9～0.98。
进一步，步骤S1中，初始的反光强度分数Si，计算方式如下：
计算单张图像的灰度方差乘积，记为Ci；在该图像中分割出反光区域，并统计反光区域像素点在整幅图中的占比，记为Ri；i表示第i张图像，i＝1，2……N，N表示图像总数；
计算单张图像的初始反光强度分数Si初始＝λ×Ri+β×Ci+σ，其中，λ、β均为比例系数、σ为修正值，三者均为设定值。
进一步，步骤S1中，当训练集中的所有图像均获得初始反光强度分数后，将各个初始的反光强度分数分别进行归一化处理，得到最终的反光强度分数，方式如下：
查找Si初始中的最大、最小初始反光强度分数，分别记为S初始max、S初始min；
将各图像对应的初始反光强度分数进行归一化，获得最终的反光强度分数
进一步，λ、β的设置方式如下：
分别取Ri、Ci的均值记为R均值、C均值，设置λ、β使的比值小于10。
优选，步骤S2中，k取值为10的倍数；
优选，步骤S2中，调整模型A中的模型参数，其中模型参数包括全连接层的数量、学习率、衰减、图像缩放尺寸；
步骤S4中，调整模型B中的模型参数，方式为：
当模型B为卷积神经网络模型时，所述模型参数包括全连接层的数量、学习率、衰减和图像缩放的预设尺寸；
当模型B为机器学习模型时，所述模型参数包括迭代次数、学习率、节点分裂最小增益、单片叶子最小数据量、叶子节点数和最大深度。
优选，模型A的全连接层的层数取值为512～2560。
进一步，步骤S3中，提取灰度特征向量的方法包括：灰度共生矩阵方法、灰度共生梯度矩阵方法、模糊熵方法；
提取灰度特征向量的方法包括：HOG方法、Gabor滤波器、SIFT方法、LBP方法。
进一步，模型A为VGG16模型、resenet模型或mobileNet模型；
模型B为lightGBM模型、SVM模型、随机森林模型、朴素贝叶斯模型、VGG16模型、resenet模型或mobileNet模型。
进一步，步骤S4中，利用训练集B中各图像对应的标签与特征向量集合训练模型B，得到初始的模型B，方式如下：
当模型B为机器学习模型时，将M组标签与特征向量集合同时输入到模型B中，统计模型B分类结果的准确率，若准确率没有达到预期值，则调整模型B中的模型参数，再次将另外的M组标签与特征向量同时输入到模型B中，统计准确率，直到准确率达到预期值，得到初始的模型B；
当模型B为卷积神经网络模型时，将特征向量集合转换为三维特征向量，使其与卷积层的特征维数保持一致，将三维特征向量与对应的标签输入到模型B中，模型B的损失函数loss＝-(a×log(H1)+b×log(H2)+c×log(H3))，其中，a、b、c分别代表正常胶水图像、有缺陷的胶水图像、存在反光区域的胶水图像所对应的预测系数，当新的三维特征向量被输入后，将标签所对应的预测系数置1，其他预测系数置0；H1、H2、H3分别代表模型B输出的正常胶水图像、有缺陷的胶水图像、存在反光区域的胶水图像的预测概率；
当loss值收敛或者loss值小于预设值之后，得到初始的模型B。
本发明方法旨在解决工业喷涂中反光胶水(LASD)的质量监控问题，本方法先训练出用于识别反光特征的模型A，利用模型A的全连接层作为反光特征的分类器，利用该分类器构建出图像的反光特征；再训练出能够实现三分类(缺陷、正常以及反光图像)的模型B，模型B基于模型A全连接层输出的反光特征再结合灰度特征、纹理特征，识别出图像所属的类别，识别结果准确度高。
附图说明
图1为具体实施方式中存在反光区域的胶水图像；
图2为具体实施方式中另一种存在反光区域的胶水图像；
图3为具体实施方式中另一种存在反光区域的胶水图像；
图4为具体实施方式中正常胶水图像；
图5为具体实施方式中有缺陷的胶水图像；
图6为具体实施方式中存在反光区域的胶水图像。
具体实施方式
一种高反光胶水缺陷检测方法，实际检测前，利用以下步骤训练检测模型：
S1、收集多张存在反光区域的胶水图像(如图1～3所示)，以反光强度分数作为每张胶水图像的标签，再按照预设比例划分训练集A、测试集B；如：随机将70％数据集划为训练集，30％数据划为测试集，或者，随机将80％数据集划为训练集，20％数据划为测试集。
初始的反光强度分数为修正后的单张胶水图像的灰度方差乘积和反光区域在整张图像中的像素占比分别与不同比例系数积的和；
初始的反光强度分数Si，具体计算方式如下：
计算单张图像的灰度方差乘积(可通过SMD2函数求取)，记为Ci；在该图像中分割出反光区域，并统计反光区域像素点在整幅图中的占比，记为Ri；i表示第i张图像，i＝1，2……N，N表示图像总数；
计算单张图像的初始反光强度分数Si初始＝λ×Ri+β×Ci+σ，其中，λ、β均为比例系数、σ为修正值，三者均为设定值。
其中，λ、β的设置方式如下：
分别取Ri、Ci的均值记为R均值、C均值，设置λ、β使的比值小于10。即：令λ×R均值和β×C均值维持在同一个数量级，使λ×R均值不会远大于或远小于β×C均值。
修正值σ通过人为设置，比如图1～图3中，图1、图2的反光强度明显要高于图3，若三张图像解算时，σ相同，但是出现了图3的反光强度分数高于图1、图2的反光强度分数，此时需要人工降小图3计算时修正值σ的数值，或者增大图1、图2计算时修正值σ的数值，以此来修正图像对应的反光强度分数，防止个别图像的反光强度分数与其图像真实的反光区域占比并不匹配，使得总体反光强度分数值更加合理。
当训练集中的所有图像均获得初始反光强度分数后，将各个初始的反光强度分数分别进行归一化处理，得到最终的反光强度分数；
归一化处理的具体方式如下：
查找Si初始中的最大、最小初始反光强度分数，分别记为S初始max、S初始min；
将各图像对应的初始反光强度分数进行归一化，获得最终的反光强度分数
S2、将训练集A中的图像分别输入到卷积神经网络模型中训练，记该模型为模型A，损失函数为loss＝k×|Yi-Si|2，其中，k为比例系数，为预设值，Yi为模型A输出的第i张图像的反光强度分数预测值；
当loss值收敛或者loss值小于预设值之后，利用测试集A中图像验证模型A的准确率：当模型A的输出的预测值Yi处于标签Si±10％范围内时，则认为输出预测值准确，否则，不准确；
若准确率高于预设阈值，则保存当前模型A；否则，扩充训练集A中图像样本数量，或者调整模型A中的模型参数(如调节全连接层的数量、学习率、衰减、图像缩放尺寸、增加样本数量(样本扩增方式可为旋转、翻转、添加高斯噪声等))，重新训练模型A，直到准确率高于预设阈值；
S3、如图4～6所示，收集三类样本：正常胶水图像、有缺陷的胶水图像、存在反光区域的胶水图像，根据图像所属的类别为每张图像打标签，形成样本数据集，每类样本数据集中图像的数量不少于500张；
需要说明的是，虽然步骤S1和本步骤中，都涉及到了打标签，但是标签的内容不同，步骤S1中标签为反光强度分数，本步骤中，标签为：正常胶水、有缺陷胶水、存在反光区域胶水；
按照以下方式为各图像以及标签匹配特征向量集合：
将单张图像输入到步骤S2中存储的模型A中，模型A的全连接层输出一维特征向量A；
提取单张图像的灰度特征向量和纹理特征向量，再将两者依次拼接到一维特征向量A，形成特征向量集合；
再将各类图像按照预设的比例划分到训练集B和测试集B；
S4、利用训练集B中各图像的标签与特征向量集合训练模型B所述模型B为机器学习模型或者卷积神经网络模型；
利用测试集B中图像验证训练后的模型B的准确率，若准确率低于预设阈值，则扩充训练集B中图像样本数量，或者调整模型B中的模型参数，重新训练模型B，直到准确率高于预设阈值；否则，保存当前模型B，模型训练结束；
实际检测时，将实际采集到的胶水图像输入到步骤S2中存储的模型A中，模型A的全连接层输出一维特征A；提取该图像的灰度特征向量和纹理特征向量，再将两者依次拼接到一维特征向量A，形成特征向量集合；
将特征向量集合输入到训练好的模型B中，模型B输出该图像对应的类别：正常胶水图像、有缺陷的胶水图像、存在反光区域的胶水图像；
完成缺陷检测。
作为一种优选的实施方式，步骤S1中，图像数量不少于1000张；
步骤S2中，为了加快处理速度，将训练集A中的图像各像素点的灰度值均除以255，并缩放图像尺寸为预设大小，如(224，224)，再分别输入到卷积神经网络模型中训练。
k取值为10的倍数，起到放大数值的作用；
步骤S2和步骤S4中，准确率对应的预设阈值取值为0.9～0.98。
步骤S4中，调整模型B中的模型参数，方式为：
当模型B为卷积神经网络模型时，所述模型参数包括全连接层的数量、学习率、衰减和图像缩放的预设尺寸；
当模型B为机器学习模型时，所述模型参数包括迭代次数、学习率、节点分裂最小增益、单片叶子最小数据量、叶子节点数和最大深度。
具体实施时，步骤S3中，提取灰度特征向量的方法包括：灰度共生矩阵方法、灰度共生梯度矩阵方法、模糊熵方法；
取灰度特征向量的方法包括：HOG方法、Gabor滤波器、SIFT方法、LBP方法。
更具体的，本实施例中，对每类样本使用(灰度共生矩阵)GLCM提取灰度特征，(方向梯度直方图)HOG提取纹理特征，其中HOG参数设置为窗口大小为32，块大小为16，块步长为8，胞元大小为8，梯度方向数量为9。
模型A可以采用VGG16模型、resenet模型或mobileNet模型；其中，模型A的全连接层的层数取值为512～2560。
模型B可以采用机器学习模型(lightGBM模型、SVM模型、随机森林模型、朴素贝叶斯模型)、卷积神经网络模型(VGG16模型、resenet模型或mobileNet模型)。
更具体的，步骤S4中，利用训练集B中各图像对应的标签与特征向量集合训练模型B，得到初始的模型B，方式如下：
当模型B为机器学习模型时，将M组标签与特征向量集合同时输入到模型B中，统计模型B分类结果的准确率，若准确率没有达到预期值，则调整模型B中的模型参数，再次将另外的M组标签与特征向量同时输入到模型B中，统计准确率，直到准确率达到预期值，得到初始的模型B；
当模型B为卷积神经网络模型时，将特征向量集合转换为三维特征向量，即：将特征向量集合特征进行重构使得重构后的输入参数W*H*C与特征维数保持一致且满足卷积神经网络模型的输入尺寸，将三维特征向量与对应的标签输入到模型B中，模型B的损失函数loss＝-(a×log(H1)+b×log(H2)+c×log(H3))，其中，a、b、c分别代表正常胶水图像、有缺陷的胶水图像、存在反光区域的胶水图像所对应的预测系数，当新的三维特征向量被输入后，将标签所对应的预测系数置1，其他预测系数置0；H1、H2、H3分别代表模型B输出的正常胶水图像、有缺陷的胶水图像、存在反光区域的胶水图像的预测概率；例如：
图像为缺陷类别，标签是2；模型预测为2的概率是0.6，预测为标签1(正常图像)的概率为0.1，预测为标签3(存在反光区域图像)的概率为0.3，则图像的loss＝-0×log(0.1)-1×log(0.6)-0×log(0.3)。
训练参数，学习率初始设置为0.001、优化器可选择SGD或Adam、学习率衰减因子为0.005、损失(loss)函数使用交叉熵(cross entropy)进行计算。
当loss值收敛或者loss值小于预设值之后，得到初始的模型B。
本发明方法能够解决工业喷涂中反光胶水(LASD)的质量监控问题，通过反光特征结合灰度特征、纹理特征，有效识别出图像所属的类别，识别结果准确度高。
前面对本发明具体示例性实施方案所呈现的描述是出于说明和描述的目的。前面的描述并不想要成为毫无遗漏的，也不是想要把本发明限制为所公开的精确形式，显然，根据上述教导很多改变和变化都是可能的。选择示例性实施方案并进行描述是为了解释本发明的特定原理及其实际应用，从而使得本领域的其它技术人员能够实现并利用本发明的各种示例性实施方案及其不同选择形式和修改形式。本发明的范围旨在由所附权利要求书及其等价形式所限定。

Claims (10)

1.一种高反光胶水缺陷检测方法，其特征在于：
实际检测前，利用以下步骤训练检测模型：
S1、收集多张存在反光区域的胶水图像，以反光强度分数作为每张胶水图像的标签，再按照预设比例划分训练集A、测试集B；
初始的反光强度分数为修正后的单张胶水图像的灰度方差乘积和反光区域在整张图像中的像素占比分别与不同比例系数积的和；
当训练集中的所有图像均获得初始反光强度分数后，将各个初始的反光强度分数分别进行归一化处理，得到最终的反光强度分数；
S2、将训练集A中的图像分别输入到卷积神经网络模型中训练，记该模型为模型A，损失函数为loss＝k×|Yi-Si|2，其中，k为比例系数，为预设值，Yi为模型A输出的第i张图像的反光强度分数预测值；
当loss值收敛或者loss值小于预设值之后，利用测试集A中图像验证模型A的准确率：当模型A的输出的预测值Yi处于标签Si±10％范围内时，则认为输出预测值准确，否则，不准确；
若准确率高于预设阈值，则保存当前模型A；否则，扩充训练集A中图像样本数量，或者调整模型A中的模型参数，重新训练模型A，直到准确率高于预设阈值；
S3、收集三类样本：正常胶水图像、有缺陷的胶水图像、存在反光区域的胶水图像，根据图像所属的类别为每张图像打标签，形成样本数据集，每类样本数据集中图像的数量不少于500张；
按照以下方式为各图像以及标签匹配特征向量集合：
将单张图像输入到步骤S2中存储的模型A中，模型A的全连接层输出一维特征向量A；
提取单张图像的灰度特征向量和纹理特征向量，再将两者依次拼接到一维特征向量A，形成特征向量集合；
再将各类图像按照预设的比例划分到训练集B和测试集B；
S4、利用训练集B中各图像的标签与特征向量集合训练模型B所述模型B为机器学习模型或者卷积神经网络模型；
利用测试集B中图像验证训练后的模型B的准确率，若准确率低于预设阈值，则扩充训练集B中图像样本数量，或者调整模型B中的模型参数，重新训练模型B，直到准确率高于预设阈值；否则，保存当前模型B，模型训练结束；
实际检测时，将实际采集到的胶水图像输入到步骤S2中存储的模型A中，模型A的全连接层输出一维特征A；提取该图像的灰度特征向量和纹理特征向量，再将两者依次拼接到一维特征向量A，形成特征向量集合；
将特征向量集合输入到训练好的模型B中，模型B输出该图像对应的类别：正常胶水图像、有缺陷的胶水图像、存在反光区域的胶水图像；
完成缺陷检测。
2.如权利要求1所述方法，其特征在于：优选，步骤S2中，将训练集A中的图像各像素点的灰度值均除以255，并缩放图像尺寸为预设大小。
3.如权利要求1所述方法，其特征在于：步骤S1中，图像数量不少于1000张；
步骤S2和步骤S4中，准确率对应的预设阈值取值为0.9～0.98。
4.如权利要求1所述方法，其特征在于：步骤S1中，初始的反光强度分数Si，计算方式如下：
计算单张图像的灰度方差乘积，记为Ci；在该图像中分割出反光区域，并统计反光区域像素点在整幅图中的占比，记为Ri；i表示第i张图像，i＝1，2……N，N表示图像总数；
计算单张图像的初始反光强度分数Si初始＝λ×Ri+β×Ci+σ，其中，λ、β均为比例系数、σ为修正值，三者均为设定值；
步骤S1中，当训练集中的所有图像均获得初始反光强度分数后，将各个初始的反光强度分数分别进行归一化处理，得到最终的反光强度分数，方式如下：
查找Si初始中的最大、最小初始反光强度分数，分别记为S初始max、S初始min；
将各图像对应的初始反光强度分数进行归一化，获得最终的反光强度分数
5.如权利要求4所述方法，其特征在于：λ、β的设置方式如下：
分别取Ri、Ci的均值记为R均值、C均值，设置λ、β使的比值小于10。
6.如权利要求1所述方法，其特征在于：步骤S2中，k取值为10的倍数；调整模型A中的模型参数，其中模型参数包括全连接层的数量、学习率、衰减、图像缩放尺寸；
步骤S4中，调整模型B中的模型参数，方式为：
当模型B为卷积神经网络模型时，所述模型参数包括全连接层的数量、学习率、衰减和图像缩放的预设尺寸；
当模型B为机器学习模型时，所述模型参数包括迭代次数、学习率、节点分裂最小增益、单片叶子最小数据量、叶子节点数和最大深度。
7.如权利要求1所述方法，其特征在于：模型A的全连接层的层数取值为512～2560。
8.如权利要求1所述方法，其特征在于：步骤S3中，提取灰度特征向量的方法包括：灰度共生矩阵方法、灰度共生梯度矩阵方法、模糊熵方法；
提取灰度特征向量的方法包括：HOG方法、Gabor滤波器、SIFT方法、LBP方法。
9.如权利要求1所述方法，其特征在于：模型A为VGG16模型、resenet模型或mobileNet模型；
模型B为lightGBM模型、SVM模型、随机森林模型、朴素贝叶斯模型、VGG16模型、resenet模型或mobileNet模型。
10.如权利要求1所述方法，其特征在于：步骤S4中，利用训练集B中各图像对应的标签与特征向量集合训练模型B，得到初始的模型B，方式如下：
当模型B为机器学习模型时，将M组标签与特征向量集合同时输入到模型B中，统计模型B分类结果的准确率，若准确率没有达到预期值，则调整模型B中的模型参数，再次将另外的M组标签与特征向量同时输入到模型B中，统计准确率，直到准确率达到预期值，得到初始的模型B；
当模型B为卷积神经网络模型时，将特征向量集合转换为三维特征向量，使其与卷积层的特征维数保持一致，将三维特征向量与对应的标签输入到模型B中，模型B的损失函数loss＝-(a×log(H1)+b×log(H2)+c×log(H3))，其中，a、b、c分别代表正常胶水图像、有缺陷的胶水图像、存在反光区域的胶水图像所对应的预测系数，当新的三维特征向量被输入后，将标签所对应的预测系数置1，其他预测系数置0；H1、H2、H3分别代表模型B输出的正常胶水图像、有缺陷的胶水图像、存在反光区域的胶水图像的预测概率；当loss值收敛或者loss值小于预设值之后，得到初始的模型B。
CN202310850730.XA 2023-07-11 2023-07-11 一种高反光胶水缺陷检测方法 Pending CN116862878A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310850730.XA CN116862878A (zh) 2023-07-11 2023-07-11 一种高反光胶水缺陷检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310850730.XA CN116862878A (zh) 2023-07-11 2023-07-11 一种高反光胶水缺陷检测方法

Publications (1)

Publication Number Publication Date
CN116862878A true CN116862878A (zh) 2023-10-10

Family

ID=88218681

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310850730.XA Pending CN116862878A (zh) 2023-07-11 2023-07-11 一种高反光胶水缺陷检测方法

Country Status (1)

Country Link
CN (1) CN116862878A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117474999A (zh) * 2023-12-25 2024-01-30 惠州市德立电子有限公司 一种微型片式电感双线绕线异常定位方法及系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117474999A (zh) * 2023-12-25 2024-01-30 惠州市德立电子有限公司 一种微型片式电感双线绕线异常定位方法及系统
CN117474999B (zh) * 2023-12-25 2024-04-19 惠州市德立电子有限公司 一种微型片式电感双线绕线异常定位方法及系统

Similar Documents

Publication Publication Date Title
CN109376574B (zh) 基于cnn的可拒判雷达hrrp目标识别方法
CN108492272B (zh) 基于注意力模型及多任务神经网络的心血管易损斑块识别方法及系统
CN111126386B (zh) 场景文本识别中基于对抗学习的序列领域适应方法
US20190164047A1 (en) Object recognition using a convolutional neural network trained by principal component analysis and repeated spectral clustering
CN113011357B (zh) 基于时空融合的深度伪造人脸视频定位方法
CN110858269B (zh) 事实描述文本预测方法及装置
CN111832650B (zh) 基于生成对抗网络局部聚合编码半监督的图像分类方法
CN116862878A (zh) 一种高反光胶水缺陷检测方法
CN111126361A (zh) 基于半监督学习和特征约束的sar目标鉴别方法
CN111860671A (zh) 分类模型训练方法、装置、终端设备和可读存储介质
CN112784921A (zh) 任务注意力引导的小样本图像互补学习分类算法
Pavithra et al. Fingerprint image identification for crime detection
CN111814852A (zh) 图像检测方法、装置、电子设备和计算机可读存储介质
CN109617864B (zh) 一种网站识别方法及网站识别系统
CN113420291B (zh) 基于权重集成的入侵检测特征选择方法
CN114565798A (zh) 基于铁谱图像分析的动力装置磨损故障诊断方法及系统
CN113095354B (zh) 基于辐射源特征子空间知识的未知雷达目标识别方法
CN107480126B (zh) 一种工程材料类别智能识别方法
CN111914922B (zh) 一种基于局部卷积和空洞卷积的高光谱图像分类方法
George et al. Leaf recognition using multi-layer perceptron
Islam et al. Automatic categorization of image regions using dominant color based vector quantization
CN114926702A (zh) 一种基于深度注意力度量的小样本图像分类方法
CN113793217A (zh) 一种基于卷积神经网络的股票交易反转点与异常点检测方法
CN116311232B (zh) 不完善粒类别识别方法、装置及计算机设备
CN112633399B (zh) 一种稀疏协同联合表示模式识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination