CN112767369A - 小五金的缺陷识别检测方法、装置及计算机可读存储介质 - Google Patents

小五金的缺陷识别检测方法、装置及计算机可读存储介质 Download PDF

Info

Publication number
CN112767369A
CN112767369A CN202110098197.7A CN202110098197A CN112767369A CN 112767369 A CN112767369 A CN 112767369A CN 202110098197 A CN202110098197 A CN 202110098197A CN 112767369 A CN112767369 A CN 112767369A
Authority
CN
China
Prior art keywords
hardware
layer
image
semantic segmentation
residual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110098197.7A
Other languages
English (en)
Inventor
梁智宇
苏彩红
詹宁宙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Foshan Jingshi Automation Technology Co ltd
Foshan University
Original Assignee
Foshan Jingshi Automation Technology Co ltd
Foshan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Foshan Jingshi Automation Technology Co ltd, Foshan University filed Critical Foshan Jingshi Automation Technology Co ltd
Priority to CN202110098197.7A priority Critical patent/CN112767369A/zh
Publication of CN112767369A publication Critical patent/CN112767369A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Biology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及小五金缺陷检测技术领域，具体涉及一种小五金的缺陷识别检测方法、装置及计算机可读存储介质，所述方法包括：对包含缺陷的小五金进行图像采集，形成小五金的初始图像集，对所述初始图像集中的缺陷区域进行人工标注和图像扩充，对扩充后的初始图像进行预处理，得到样本图像集；将样本图像集划分为训练集和验证集，将所述训练集输入搭建好的语义分割模型进行训练，通过验证集对所述语义分割模型进行验证，当语义分割模型的损失函数值收敛时，得到训练好的语义分割模型；在线采集待检小五金的产品图像，将产品图像输入训练好的语义分割模型得到预测结果，本发明适用于大多数小五金产品的检测，具有通用性高、操作简单的优点。

Description

小五金的缺陷识别检测方法、装置及计算机可读存储介质
技术领域
本发明涉及小五金缺陷检测技术领域，具体涉及一种小五金的缺陷识别检测方法、装置及计算机可读存储介质。
背景技术
区别于以金属为原料传统的建筑小五金，近年来发展了用各种非金属材料制作的、可运用到工业及各领域的小五金，如陶瓷、玻璃、橡胶、塑料等。此类非金属制品有着质量高、外形美观、和成本低的优点，可大大减少有色金属的使用，其应用已日趋广泛。小五金陶瓷件的生产工序复杂，每一个生产环节都有可能产生影响陶瓷性能的缺陷，这些缺陷主要有斑点、流胶和气泡等。
目前小五金部件的检测大多靠人工检查，或使用基于传统图像处理方法的机器视觉表面缺陷检测方法。人工检查的方法存在下列缺点：速度慢且容易出现漏检的情况；无法保证标准的统一，产品合格与否是检查者根据主观感觉来进行判断。基于传统方法的机器视觉表面缺陷检测方法虽然改善人工检查方法的缺点，但是在近年的生产实践应用中，也显露出其局限性：算法复杂且缺陷特征提取的人工干涉量大，这要求开发者必须拥有足够的图像处理知识和从业经验；其通用性差，针对不同的产品往往需要设计新的检测算法；当面对复杂缺陷时误检率高。
发明内容
本发明目的在于提供一种小五金的缺陷识别检测方法、装置及计算机可读存储介质，以解决现有技术中所存在的一个或多个技术问题，至少提供一种有益的选择或创造条件。
为了实现上述目的，本发明提供以下技术方案：
一种小五金的缺陷识别检测方法，所述方法包括以下步骤：
对包含缺陷的小五金进行图像采集，从采集的图像中提取出小五金的目标检测区域，将多张目标检测区域的图像形成小五金的初始图像集，对所述初始图像集中的缺陷区域进行人工标注；
对标注好的初始图像集中的初始图像进行图像扩充，对扩充后的初始图像进行预处理，得到样本图像集；
将样本图像集划分为训练集和验证集，将所述训练集输入搭建好的语义分割模型进行训练，通过验证集对所述语义分割模型进行验证，当语义分割模型的损失函数值收敛时，得到训练好的语义分割模型；
在线采集待检小五金的产品图像，将所述待检小五金的产品图像输入训练好的语义分割模型，得到预测结果，所述预测结果包括确定所述待检小五金为合格品还是不良品。
进一步，所述语义分割模型采用编码器-解码器网络模型，所述编码器-解码器网络模型包含改进编码器和解码器，其中，所述改进编码器包括编码器和残差连接模块，所述残差连接模块包括第一残差卷积层、第一残差批标准化层、第一残差激活函数、第二残差卷积层、第二残差批标准化层和第二残差激活函数，所述编码器包括第一编码卷积层、编码批标准化层、编码激活函数、第二编码卷积层和随机失活层。
进一步，所述第一编码卷积层的步长为1，所述第二编码卷积层的步长为2，所述第一编码卷积层的卷积核大小为3*3，所述第二编码卷积层的卷积核大小为2*2，所述第一残差卷积层和第二残差卷积层的卷积核大小为3*3。
进一步，所述将所述训练集输入搭建好的语义分割模型进行训练，还包括：
对所述样本图像集中的样本图像进行一次卷积操作，得到特征图，所述卷积操作的卷积核数目为64、卷积核大小为3*3、并采用填充策略，使特征图的数目为64、且所述特征图与样本图像的尺寸大小保持一致。
进一步，所述解码器包括上采样层、解码卷积层、解码激活函数和输出层，所述解码器与所述改进编码器通过跳跃连接结构进行连接。
进一步，所述上采样层为2*2转置卷积，其卷积核大小为2；所述解码卷积层的卷积核大小为3*3，所述输出层的卷积核大小为1*1。
进一步，所述将所述待检小五金的产品图像输入训练好的语义分割模型，得到预测结果，包括：
将所述产品图像输入训练好的语义分割模型，得到预测图像，所述预测图像分割定位有缺陷区域，所述预测图像与所述待检小五金的产品图像的尺寸大小一致；
分别计算每个缺陷区域的像素面积占所述预测图像的像素面积的比例，当所述比例低于设定的比例阈值时，确定该待检小五金为合格品；当所述比例达到设定的比例阈值时，确定该待检小五金为不良品。
进一步，所述方法还包括：
分别对各个种类的缺陷使用对应的颜色进行标记，当确定该待检小五金为不良品时，输出该待检小五金中每一类缺陷的缺陷类型和像素面积。
一种小五金的缺陷识别检测系统，所述系统包括：
至少一个处理器；
至少一个存储器，用于存储至少一个程序；
当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现上述任一项所述的小五金的缺陷识别检测方法。
一种计算机可读存储介质，所述计算机可读存储介质上存储有小五金的缺陷识别检测程序，所述小五金的缺陷识别检测程序被处理器执行时实现如上述任意一项所述的小五金的缺陷识别检测方法的步骤。
本发明的有益效果是：本发明公开一种小五金的缺陷识别检测方法、装置及计算机可读存储介质，本发明通过自动学习提取小五金的缺陷特征，可适用于大多数小五金产品的检测，且具有抗干扰能力强、鲁棒性高的特点，可实现一步到位的小五金缺陷自动分割与缺陷分类，并能对检测结果进行量化处理，本发明具有通用性高、操作简单的优点。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例中小五金的缺陷识别检测方法的流程示意图；
图2是本发明实施例中图像扩充的效果示意图；
图3是本发明实施例中编码器-解码器网络模型的结构示意图；
图4是本发明实施例中残差连接模块的结构示意图；
图5是本发明实施例中由产品图像得到预测结果的效果示意图。
具体实施方式
以下将结合实施例和附图对本申请的构思、具体结构及产生的技术效果进行清楚、完整的描述，以充分地理解本申请的目的、方案和效果。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
参考图1，如图1所示为本申请实施例提供的一种小五金的缺陷识别检测方法，所述方法包括以下步骤：
步骤S100、对包含缺陷的小五金进行图像采集，从采集的图像中提取出小五金的目标检测区域，将多张目标检测区域的图像形成小五金的初始图像集，对所述初始图像集中的缺陷区域进行人工标注；
具体地，使用工业相机CCD配合光源照明系统对小五金进行图像采集，从采集的图像中，通过对目标检测区域(小五金区域)进行剪切得到小五金的初始图像集，然后使用Labelme标注软件对所述初始图像集中的缺陷区域进行人工标注，完成图像标签集的制作。其中，提取目标检测区域是为减少无关区域对检测结果的干扰，这样语义分割网络只需要对感兴趣区域进行处理，从而快速提取有效特征，
步骤S200、对标注好的初始图像集中的初始图像进行图像扩充，对扩充后的初始图像进行预处理，得到样本图像集；
其中，所述预处理包括去均值处理和统一图像格式，所述样本图像集中的样本图像大于设定数量。
图像扩充不仅可以丰富样本图像集，使得接下来的深度学习模型能够更好的提取缺陷特征，还可以避免训练时出现过拟合现象。
步骤S300、将样本图像集划分为训练集和验证集，将所述训练集输入搭建好的语义分割模型进行训练，通过验证集对所述语义分割模型进行验证，当语义分割模型的损失函数值收敛时，得到训练好的语义分割模型。
本实施例中，在进行语义分割模型训练训前，将样本图像集划分为训练集和验证集两个部分，在样本图像集中随机选取85％的样本作为训练集，15％的样本作为验证集。
语义分割模型的训练是一个将整个模型参数进行调整的过程，通过不断的迭代和学习来不断更新语义分割模型中的参数，使得语义分割模型的损失函数值不断减小直至收敛。本实施例中，首先通过人工设置训练的最大迭代次数、学习率、所需分类数目、训练批次大小以及数据集路径，接着，使用样本图像集对语义分割模型进行一键自动训练，在一个具体的实施例中，将初始化学习率设置为0.0001，将学习率策略设置为Adam算法。
在一些实施例中，在进行二分类任务时，选择二进制交叉熵作为损失函数；在进行多分类任务时，选择交叉熵损失函数。
步骤S400、在线采集待检小五金的产品图像，将所述待检小五金的产品图像输入训练好的语义分割模型，得到预测结果；
其中，所述预测结果包括确定所述待检小五金为合格品还是不良品。
本发明提供的实施例具有通用性高，操作简单的优点，针对不同的小五金产品只需重新制作样本图像的标签集后，通过本实施例提供的语义分割模型进行训练，即可对的小五金的缺陷进行自动的检测识别。
在一个优选的实施例中，步骤S100中，所述从采集的图像中提取出小五金的目标检测区域，将多张目标检测区域的图像形成小五金的初始图像集，包括：
根据小五金的形状模板从所述采集的图像中匹配定位出小五金的顶部环形端面，以所述顶部环形端面的中心点为原点建立直角定位坐标系；
确定所述小五金的最小外接矩形，确定所述最小外接矩形的中心坐标；
根据所述中心坐标与所述直角定位坐标系的位置关系(空间距离和角度)定位出所述小五金的目标检测区域，并对该目标检测区域进行裁剪，得到该目标检测区域的图像，将多张目标检测区域的图像形成小五金的初始图像集。
在一个优选的实施例中，所述定位目标检测区域的公式为：
S＝{(r,c)∈gmin≤g≤gmax}，其中，S表示目标检测区域，(r,c)表示目标检测区域中像素点的坐标，gmin表示目标检测区域中像素点的最小灰度值，g表示目标检测区域中像素点的灰度值，gmax表示目标检测区域中像素点的最大灰度值。
在一个实施例中，所述图像扩充包括水平垂直翻转、位移、裁剪、图像随机旋转和亮度调整。参考图2，图像扩充的具体操作为：
水平垂直翻转：在水平垂直方向上将初始图像进行镜像翻转；
位移：以改变初始图像中心为目的，将初始图像按照一定的方向和距离进行移动；
裁剪：截取初始图像中的部分位置后按规定的图像分辨率进行输出。
图像随机旋转：将初始图像进行任意角度的旋转；
亮度调整：对初始图像的亮度进行增益或减弱。
对初始图像进行预处理，所述预处理包括去均值处理和统一图像格式；
本实施例中，在训练分割模型前还进行预处理操作，所述预处理操作包括去均值处理和统一图像格式。
其中，所述去均值处理具体包括：
对于单通道图像：将初始图像集的所有图像中每个像素点的灰度值进行平均计算得到平均图像；
将初始图像集中所有图像的像素与平均图像的像素相减；
对于多通道图像：将图像的各维度上的像素减去对应维度的均值，使得各维度中心化。
去均值处理根据公式x′＝x-μ进行计算。其中，x表示原始初始图像像素，x’表示去均值处理后的初始图像像素,μ表示原始初始图像的像素平均值。
其中，所述统一图像格式具体包括：
将去均值处理后的初始图像格式统一为[h,w,n]，并将灰度值调整在-127到128之间，其中，h为图像高度，w为图像宽度，n为通道数。
参考图3和图4，在一个优选的实施例中，所述语义分割模型采用编码器-解码器网络模型，所述编码器-解码器网络模型包含改进编码器和解码器，其中，所述改进编码器包括编码器和残差连接模块，所述残差连接模块包括第一残差卷积层、第一残差批标准化层、第一残差激活函数(Leaky Relu函数)、第二残差卷积层、第二残差批标准化层和第二残差激活函数，所述编码器包括第一编码卷积层、编码批标准化层、编码激活函数、第二编码卷积层和随机失活层。
本实施例中，在编码器中加入残差连接模块，实现多尺度特征融合，从而得到更精细的分割结果。改进编码器的作用是进行样本图像的特征提取、以及输出特定的特征图(feature maps)，改进编码器由编码器中和残差连接模块组成；
参考图3，在编码器中加入残差连接模块得到的结构为：第一编码卷积层、编码批标准化层、编码激活函数、第一残差卷积层、第一残差批标准化层、第一残差激活函数、第二残差卷积层、第二残差批标准化层和第二残差激活函数、第二编码卷积层和随机失活层。加入残差连接模块可有效减小梯度消失带来的影响，加强特征在网络中的传递，减少了网络参数计算量，缩短了训练时间；图中，编码卷积层包括：第一编码卷积层、编码批标准化层、编码激活函数，2×2卷积层表示第二编码卷积层，2×2转置卷积表示解码器上采样层，1×1卷积层表示输出层。
在一个实施例中，所述第一编码卷积层的步长为1，所述第二编码卷积层的步长为2，所述第一编码卷积层的卷积核大小为3*3，所述第二编码卷积层的卷积核大小为2*2，所述第一残差卷积层和第二残差卷积层的卷积核大小为3*3。
本实施例中，所述第一编码卷积层的步长为1，所述第二编码卷积层的步长为2，所述第一编码卷积层的卷积核大小为3*3，所述第二编码卷积层的卷积核大小为2*2，代替编码器中的最大池化操作，并对特征图进行四次上采样操作。可以避免因最大池化操作对图像特征信息带来的损失，同时能够使输出的特征图数目加倍，便于和接下来的残差连接模块进行连接。
在一个实施例中，所述第一残差卷积层和第二残差卷积层的卷积核大小均为3*3。
在一个优选的实施例中，所述将所述训练集输入搭建好的语义分割模型进行训练，还包括：
对所述样本图像集中的样本图像进行一次卷积操作，得到特征图，所述卷积操作的卷积核数目为64、卷积核大小为3*3、并采用填充策略，使特征图的数目为64、且所述特征图与样本图像的尺寸大小保持一致。
本实施例中，对所述样本图像集中的样本图像进行一次卷积操作，得到特征图，所述卷积操作的卷积核数目为64、卷积核大小为3*3、并采用填充策略，使特征图的数目为64、且所述特征图与样本图像的尺寸大小保持一致。得到的特征图将输入改进编码器，在改进编码器处理部分中，每次执行2*2卷积层操作后，改进编码器中每一层输出的特征图的数目成倍增加，输出的特征图的尺寸减半，并在最后的2*2卷积层(第二编码卷积层)操作输出后加入随机失活层，来防止网络训练时出现过拟合的现象。
在一个优选的实施例中，所述解码器包括上采样层、解码卷积层、解码激活函数和输出层(softmax层)，所述解码器与所述改进编码器通过跳跃连接结构进行连接。所述上采样层为2*2转置卷积，其卷积核大小为2；所述解码卷积层的卷积核大小为3*3，所述输出层的卷积核大小为1*1。
本实施例中，所述解码器的作用是恢复图像信息，它包括上采样层、解码卷积层、解码激活函数和输出层，所述解码器与所述改进编码器通过跳跃连接结构进行连接具体为：将所述改进编码器中的第二编码卷积层输出的特征图(feature map)通过跳跃连接与所述解码器中的上采样层的上采样输出结果相加，完成4次上采样操作。
所述解码器最后通过所述输出层中的一个卷积核大小为1*1的解码卷积层和输出层激活函数完成特征图中多个类别像素的分割定位和分类。在分割模型的训练过程中，自动保存的2个模型参数文件分别是：验证集中平均交并比最大的模型参数，以及最后一次训练迭代完成后的模型参数。
如图5所示，作为上述实施例的改进，步骤S400中，所述将所述待检小五金的产品图像输入训练好的语义分割模型，得到预测结果，包括：
将所述产品图像输入训练好的语义分割模型，得到预测图像，所述预测图像分割定位有缺陷区域，所述预测图像与所述待检小五金的产品图像的尺寸大小一致。
分别计算每个缺陷区域的像素面积占所述预测图像的像素面积的比例，当所述比例低于设定的比例阈值时，确定该待检小五金为合格品；当所述比例达到设定的比例阈值时，确定该待检小五金为不良品。
在一个优选的实施例中，所述方法还包括：
分别对各个种类的缺陷使用对应的颜色进行标记，当确定该待检小五金为不良品时，输出该待检小五金中每一类缺陷的缺陷类型和像素面积。
本实施例中，可实现人工设置比例阈值，对输入的样本图像进行一键预测。对预测结果进行量化处理，给操作者提供直观的参考。
与图1的方法相对应，本发明实施例还提供一种小五金的缺陷识别检测系统，所述系统包括：
至少一个处理器；
至少一个存储器，用于存储至少一个程序；
当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现上述任一实施例所述的小五金的缺陷识别检测方法。
上述方法实施例中的内容均适用于本系统实施例中，本系统实施例所具体实现的功能与上述方法实施例相同，并且达到的有益效果与上述方法实施例所达到的有益效果也相同。
与图1的方法相对应，本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有小五金的缺陷识别检测程序，所述小五金的缺陷识别检测程序被处理器执行时实现如上述任意一实施例所述的小五金的缺陷识别检测方法的步骤。
所述处理器可以是中央处理单元(Central-Processing-Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital-Signal-Processor，DSP)、专用集成电路(Application-Specific-Integrated-Circuit，ASIC)、现场可编程门阵列(Field-Programmable-Gate-Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器是所述小五金的缺陷识别检测系统的控制中心，利用各种接口和线路连接整个小五金的缺陷识别检测系统可运行装置的各个部分。
所述存储器可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现所述小五金的缺陷识别检测系统的各种功能。所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart-Media-Card，SMC)，安全数字(Secure-Digital，SD)卡，闪存卡(Flash-Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
尽管本申请的描述已经相当详尽且特别对几个所述实施例进行了描述，但其并非旨在局限于任何这些细节或实施例或任何特殊实施例，而是应当将其视作是通过参考所附权利要求，考虑到现有技术为这些权利要求提供广义的可能性解释，从而有效地涵盖本申请的预定范围。此外，上文以发明人可预见的实施例对本申请进行描述，其目的是为了提供有用的描述，而那些目前尚未预见的对本申请的非实质性改动仍可代表本申请的等效改动。

Claims (10)

1.一种小五金的缺陷识别检测方法，其特征在于，所述方法包括以下步骤：
对包含缺陷的小五金进行图像采集，从采集的图像中提取出小五金的目标检测区域，将多张目标检测区域的图像形成小五金的初始图像集，对所述初始图像集中的缺陷区域进行人工标注；
对标注好的初始图像集中的初始图像进行图像扩充，对扩充后的初始图像进行预处理，得到样本图像集；
将样本图像集划分为训练集和验证集，将所述训练集输入搭建好的语义分割模型进行训练，通过验证集对所述语义分割模型进行验证，当语义分割模型的损失函数值收敛时，得到训练好的语义分割模型；
在线采集待检小五金的产品图像，将所述待检小五金的产品图像输入训练好的语义分割模型，得到预测结果，所述预测结果包括确定所述待检小五金为合格品还是不良品。
2.根据权利要求1所述的一种小五金的缺陷识别检测方法，其特征在于，所述语义分割模型采用编码器-解码器网络模型，所述编码器-解码器网络模型包含改进编码器和解码器，其中，所述改进编码器包括编码器和残差连接模块，所述残差连接模块包括第一残差卷积层、第一残差批标准化层、第一残差激活函数、第二残差卷积层、第二残差批标准化层和第二残差激活函数，所述编码器包括第一编码卷积层、编码批标准化层、编码激活函数、第二编码卷积层和随机失活层。
3.根据权利要求2所述的一种小五金的缺陷识别检测方法，其特征在于，所述第一编码卷积层的步长为1，所述第二编码卷积层的步长为2，所述第一编码卷积层的卷积核大小为3*3，所述第二编码卷积层的卷积核大小为2*2，所述第一残差卷积层和第二残差卷积层的卷积核大小为3*3。
4.根据权利要求1所述的一种小五金的缺陷识别检测方法，其特征在于，所述将所述训练集输入搭建好的语义分割模型进行训练，还包括：
对所述样本图像集中的样本图像进行一次卷积操作，得到特征图，所述卷积操作的卷积核数目为64、卷积核大小为3*3、并采用填充策略，使特征图的数目为64、且所述特征图与样本图像的尺寸大小保持一致。
5.根据权利要求2所述的一种小五金的缺陷识别检测方法，其特征在于，所述解码器包括上采样层、解码卷积层、解码激活函数和输出层，所述解码器与所述改进编码器通过跳跃连接结构进行连接。
6.根据权利要求5所述的一种小五金的缺陷识别检测方法，其特征在于，所述上采样层为2*2转置卷积，其卷积核大小为2；所述解码卷积层的卷积核大小为3*3，所述输出层的卷积核大小为1*1。
7.根据权利要求2所述的一种小五金的缺陷识别检测方法，其特征在于，所述将所述待检小五金的产品图像输入训练好的语义分割模型，得到预测结果，包括：
将所述产品图像输入训练好的语义分割模型，得到预测图像，所述预测图像分割定位有缺陷区域，所述预测图像与所述待检小五金的产品图像的尺寸大小一致；
分别计算每个缺陷区域的像素面积占所述预测图像的像素面积的比例，当所述比例低于设定的比例阈值时，确定该待检小五金为合格品；当所述比例达到设定的比例阈值时，确定该待检小五金为不良品。
8.根据权利要求7所述的一种小五金的缺陷识别检测方法，其特征在于，所述方法还包括：
分别对各个种类的缺陷使用对应的颜色进行标记，当确定该待检小五金为不良品时，输出该待检小五金中每一类缺陷的缺陷类型和像素面积。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至8任一项所述的小五金的缺陷识别检测方法的步骤。
10.一种小五金的缺陷识别检测装置，其特征在于，所述装置包括：存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1至8中任一项所述的小五金的缺陷识别检测方法。
CN202110098197.7A 2021-01-25 2021-01-25 小五金的缺陷识别检测方法、装置及计算机可读存储介质 Pending CN112767369A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110098197.7A CN112767369A (zh) 2021-01-25 2021-01-25 小五金的缺陷识别检测方法、装置及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110098197.7A CN112767369A (zh) 2021-01-25 2021-01-25 小五金的缺陷识别检测方法、装置及计算机可读存储介质

Publications (1)

Publication Number Publication Date
CN112767369A true CN112767369A (zh) 2021-05-07

Family

ID=75707153

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110098197.7A Pending CN112767369A (zh) 2021-01-25 2021-01-25 小五金的缺陷识别检测方法、装置及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN112767369A (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113379728A (zh) * 2021-07-02 2021-09-10 上海电气集团股份有限公司 铁轨表面的缺陷检测方法、系统、设备及可读存储介质
CN113657383A (zh) * 2021-08-24 2021-11-16 凌云光技术股份有限公司 一种基于轻量化分割模型的缺陷区域检测方法及装置
CN113989592A (zh) * 2021-10-28 2022-01-28 三一建筑机器人(西安)研究院有限公司 一种语义分割图像样本的扩充方法、装置及电子设备
CN114299066A (zh) * 2022-03-03 2022-04-08 清华大学 基于显著性特征预提取与图像分割的缺陷检测方法和装置
CN114663662A (zh) * 2022-05-23 2022-06-24 深圳思谋信息科技有限公司 超参数搜索方法、装置、计算机设备和存储介质
CN116206111A (zh) * 2023-03-07 2023-06-02 广州市易鸿智能装备有限公司 一种缺陷识别方法、装置、电子设备及存储介质
CN116503420A (zh) * 2023-04-26 2023-07-28 佛山科学技术学院 一种基于联邦学习的图像分割方法及相关设备
CN117314909A (zh) * 2023-11-29 2023-12-29 无棣源通电子科技有限公司 基于人工智能的电路板缺陷检测方法、装置、设备及介质
CN117710371A (zh) * 2024-02-05 2024-03-15 成都数之联科技股份有限公司 一种扩充缺陷样本的方法、装置、设备及存储介质
CN116503420B (zh) * 2023-04-26 2024-05-14 佛山科学技术学院 一种基于联邦学习的图像分割方法及相关设备

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109584235A (zh) * 2018-11-30 2019-04-05 北京百度网讯科技有限公司 塑料泡沫餐盒的质量检测方法、装置、服务器及存储介质
CN110826416A (zh) * 2019-10-11 2020-02-21 佛山科学技术学院 一种基于深度学习的卫浴陶瓷表面缺陷检测方法及装置
US20200151497A1 (en) * 2018-11-12 2020-05-14 Sony Corporation Semantic segmentation with soft cross-entropy loss
CN111179229A (zh) * 2019-12-17 2020-05-19 中信重工机械股份有限公司 一种基于深度学习的工业ct缺陷检测方法
CN111222512A (zh) * 2019-12-30 2020-06-02 河北工业大学 适用于储罐金属立面表面场景的深度学习语义分割方法
CN111680706A (zh) * 2020-06-17 2020-09-18 南开大学 一种基于编码和解码结构的双通道输出轮廓检测方法
CN111967297A (zh) * 2020-06-28 2020-11-20 北京百度网讯科技有限公司 图像的语义分割方法、装置、电子设备及介质
CN112233059A (zh) * 2020-08-13 2021-01-15 浙江理工大学 基于分割+决策的二阶段残差注意力网络的导光板缺陷检测方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200151497A1 (en) * 2018-11-12 2020-05-14 Sony Corporation Semantic segmentation with soft cross-entropy loss
CN109584235A (zh) * 2018-11-30 2019-04-05 北京百度网讯科技有限公司 塑料泡沫餐盒的质量检测方法、装置、服务器及存储介质
CN110826416A (zh) * 2019-10-11 2020-02-21 佛山科学技术学院 一种基于深度学习的卫浴陶瓷表面缺陷检测方法及装置
CN111179229A (zh) * 2019-12-17 2020-05-19 中信重工机械股份有限公司 一种基于深度学习的工业ct缺陷检测方法
CN111222512A (zh) * 2019-12-30 2020-06-02 河北工业大学 适用于储罐金属立面表面场景的深度学习语义分割方法
CN111680706A (zh) * 2020-06-17 2020-09-18 南开大学 一种基于编码和解码结构的双通道输出轮廓检测方法
CN111967297A (zh) * 2020-06-28 2020-11-20 北京百度网讯科技有限公司 图像的语义分割方法、装置、电子设备及介质
CN112233059A (zh) * 2020-08-13 2021-01-15 浙江理工大学 基于分割+决策的二阶段残差注意力网络的导光板缺陷检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
詹宁宙 等: ""基于多CCD的气弹簧杆表面缺陷检测系统"", 《佛山科学技术学院学报(自然科学版)》 *

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113379728A (zh) * 2021-07-02 2021-09-10 上海电气集团股份有限公司 铁轨表面的缺陷检测方法、系统、设备及可读存储介质
CN113657383A (zh) * 2021-08-24 2021-11-16 凌云光技术股份有限公司 一种基于轻量化分割模型的缺陷区域检测方法及装置
CN113989592A (zh) * 2021-10-28 2022-01-28 三一建筑机器人(西安)研究院有限公司 一种语义分割图像样本的扩充方法、装置及电子设备
CN114299066A (zh) * 2022-03-03 2022-04-08 清华大学 基于显著性特征预提取与图像分割的缺陷检测方法和装置
CN114663662A (zh) * 2022-05-23 2022-06-24 深圳思谋信息科技有限公司 超参数搜索方法、装置、计算机设备和存储介质
CN114663662B (zh) * 2022-05-23 2022-09-09 深圳思谋信息科技有限公司 超参数搜索方法、装置、计算机设备和存储介质
CN116206111A (zh) * 2023-03-07 2023-06-02 广州市易鸿智能装备有限公司 一种缺陷识别方法、装置、电子设备及存储介质
CN116206111B (zh) * 2023-03-07 2024-02-02 广州市易鸿智能装备有限公司 一种缺陷识别方法、装置、电子设备及存储介质
CN116503420A (zh) * 2023-04-26 2023-07-28 佛山科学技术学院 一种基于联邦学习的图像分割方法及相关设备
CN116503420B (zh) * 2023-04-26 2024-05-14 佛山科学技术学院 一种基于联邦学习的图像分割方法及相关设备
CN117314909A (zh) * 2023-11-29 2023-12-29 无棣源通电子科技有限公司 基于人工智能的电路板缺陷检测方法、装置、设备及介质
CN117314909B (zh) * 2023-11-29 2024-02-09 无棣源通电子科技有限公司 基于人工智能的电路板缺陷检测方法、装置、设备及介质
CN117710371A (zh) * 2024-02-05 2024-03-15 成都数之联科技股份有限公司 一种扩充缺陷样本的方法、装置、设备及存储介质
CN117710371B (zh) * 2024-02-05 2024-04-26 成都数之联科技股份有限公司 一种扩充缺陷样本的方法、装置、设备及存储介质

Similar Documents

Publication Publication Date Title
CN112767369A (zh) 小五金的缺陷识别检测方法、装置及计算机可读存储介质
CN111553929B (zh) 基于融合网络的手机屏幕缺陷分割方法、装置及设备
CN110826416B (zh) 一种基于深度学习的卫浴陶瓷表面缺陷检测方法及装置
CN108460764B (zh) 基于自动上下文和数据增强的超声图像智能分割方法
CN107506765B (zh) 一种基于神经网络的车牌倾斜校正的方法
CN107038416B (zh) 一种基于二值图像改进型hog特征的行人检测方法
CN110399840B (zh) 一种快速的草坪语义分割及边界检测方法
CN111680690B (zh) 一种文字识别方法及装置
CN113888536B (zh) 一种基于计算机视觉的印刷品重影检测方法及系统
CN110334760B (zh) 一种基于resUnet的光学元器件损伤检测方法及系统
CN111027538A (zh) 一种基于实例分割模型的集装箱检测方法
CN113033558A (zh) 一种用于自然场景的文本检测方法及装置、存储介质
CN113409355A (zh) 一种基于fpga的运动目标识别系统及方法
CN115731198A (zh) 一种皮革表面缺陷智能检测系统
CN112085017A (zh) 基于显著性检测和Grabcut算法的茶叶嫩芽图像分割方法
CN111161213A (zh) 一种基于知识图谱的工业产品缺陷图像分类方法
CN110956184A (zh) 一种基于hsi-lbp特征的抽象图方向确定方法
CN113139544A (zh) 一种基于多尺度特征动态融合的显著性目标检测方法
CN111950469A (zh) 一种道路标识检测方法、系统、设备和介质
CN115033721A (zh) 基于大数据的图像检索方法
CN112651926A (zh) 一种基于递归注意力机制的裂纹检测的方法及装置
CN112926694A (zh) 基于改进的神经网络对图像中的猪只进行自动识别的方法
CN117132592B (zh) 一种基于熵融合的工业缺陷检测方法
CN112581393B (zh) 基于语义分割的旋开盖图像处理方法
CN113255657B (zh) 票据表面刮痕检测方法、装置、电子设备、机器可读介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20210507

RJ01 Rejection of invention patent application after publication