CN116580026A - 精密零部件外观缺陷自动光学检测方法、设备及存储介质 - Google Patents

精密零部件外观缺陷自动光学检测方法、设备及存储介质 Download PDF

Info

Publication number
CN116580026A
CN116580026A CN202310851583.8A CN202310851583A CN116580026A CN 116580026 A CN116580026 A CN 116580026A CN 202310851583 A CN202310851583 A CN 202310851583A CN 116580026 A CN116580026 A CN 116580026A
Authority
CN
China
Prior art keywords
original image
defect
precision
precise
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310851583.8A
Other languages
English (en)
Other versions
CN116580026B (zh
Inventor
陈圆
刘富珍
陈潮先
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Zhishan Science And Technology Co ltd
Original Assignee
Shenzhen Zhishan Science And Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Zhishan Science And Technology Co ltd filed Critical Shenzhen Zhishan Science And Technology Co ltd
Priority to CN202310851583.8A priority Critical patent/CN116580026B/zh
Publication of CN116580026A publication Critical patent/CN116580026A/zh
Application granted granted Critical
Publication of CN116580026B publication Critical patent/CN116580026B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/457—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by analysing connectivity, e.g. edge linking, connected component analysis or slices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20104—Interactive definition of region of interest [ROI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20132—Image cropping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Abstract

本发明公开了精密零部件外观缺陷自动光学检测方法、设备及存储介质，该方法包括：采集精密零部件的原始图像；将所述原始图像输入语义分割模型，得到所述精密零部件的所有疑似缺陷区域，所述语义分割模型根据精密零部件预先标注的疑似缺陷区域训练得到；合并所有所述疑似缺陷区域，得到联合疑似缺陷区域；基于所述联合疑似缺陷区域中各个连通域的特征信息进行缺陷区域筛选，并根据筛选结果确定所述精密零部件是否存在外观缺陷，解决精密零部件缺陷检测效率低的问题，提高精密零部件的缺陷检测效率。

Description

精密零部件外观缺陷自动光学检测方法、设备及存储介质
技术领域
本发明涉及图像数据处理技术领域，尤其涉及一种精密零部件外观缺陷自动光学检测方法、设备及存储介质。
背景技术
在生产制造过程中，由于原料成分、设备使用情况、加工工艺以及人工操作等因素的影响，精密零部件表面不可避免地会出现亮点、白点、划伤、掉漆、凹印等外观缺陷。对精密零部件表面进行外观缺陷检测能有效防止产品的不良装配，从而避免造成更大的资源浪费。因此，在产品装配前必须对其进行外观缺陷检测。相关技术中，根据缺陷密度自动分区，在不同分区使用不同的缺陷检测算法，从而实现对精密零部件的缺陷检测。虽然该方法可以实现亮点、压伤、线划伤等多种缺陷的提取，但不同种类缺陷需要不同的特征提取算法，算法编程难度大且复杂，导致缺陷检测效率较低。
发明内容
本申请实施例通过提供一种精密零部件外观缺陷自动光学检测方法、设备及存储介质，旨在提高精密零部件缺陷检测效率。
本申请实施例提供了一种精密零部件外观缺陷自动光学检测方法，所述精密零部件外观缺陷自动光学检测方法，包括：
采集精密零部件的原始图像；
将所述原始图像输入语义分割模型，得到所述精密零部件的所有疑似缺陷区域，所述语义分割模型根据精密零部件预先标注的疑似缺陷区域训练得到；
合并所有所述疑似缺陷区域，得到联合疑似缺陷区域；
基于所述联合疑似缺陷区域中各个连通域的特征信息进行缺陷区域筛选，并根据筛选结果确定所述精密零部件是否存在外观缺陷。
可选地，所述将所述原始图像输入语义分割模型，得到所述精密零部件的所有疑似缺陷区域的步骤之前，还包括：
确定感兴趣区域的分辨率大小，及所述感兴趣区域在原始图像中的起始移动位置；
确定所述感兴趣区域的水平移动步长和垂直移动步长；
基于所述水平移动步长和所述垂直移动步长从所述起始移动位置移动所述感兴趣区域，以从所述原始图像裁剪出与多个与所述感兴趣区域分辨率大小相同的待检测区域；
所述将所述原始图像输入语义分割模型，得到所述精密零部件的所有疑似缺陷区域的步骤包括：
将各个所述待检测区域分别输入语义分割模型，得到所述精密零部件的所有疑似缺陷区域。
可选地，所述基于所述联合疑似缺陷区域中各个连通域的特征信息进行缺陷区域筛选，并根据筛选结果确定所述精密零部件是否存在外观缺陷的步骤包括：
根据所述联合疑似缺陷区域中各个连通域的面积特征、位置特征、形状特征、紧密度、各个连通域的灰度平均值和灰度熵，从所有所述疑似缺陷区域中筛选出符合条件的连通域；
统计所述符合条件的连通域的数量；
在所述符合条件的连通域的数量大于预设数量时，判定所述精密零部件存在外观缺陷，并根据筛选后的连通域确定所述精密零部件的目标缺陷区域；
在所述符合条件的连通域的数量小于预设数量时，判定所述精密零部件不存在外观缺陷。
可选地，所述将所述原始图像输入语义分割模型，得到所述精密零部件的所有疑似缺陷区域的步骤包括：
将所述原始图像输入特征提取模块进行特征提取，得到所述原始图像对应的初始特征映射图；
将所述初始特征映射图输入池化模块进行池化处理，得到池化处理后的特征映射图；
将池化处理后的特征映射图输入反卷积模块进行反卷积处理，得到所述精密零部件的所有疑似缺陷区域。
可选地，所述将所述初始特征映射图输入池化模块进行池化处理，得到池化处理后的特征映射图的步骤包括：
将所述初始特征映射图输入不同层级的池化层分别进行池化处理，得到不同层级对应的池化处理后的特征映射图；
基于所述初始特征映射图的维度对不同层级的所述池化处理后的特征映射图分别进行维度变化处理，得到不同层级维度变化处理后的特征映射图；
对所述不同层级维度变化处理后的特征映射图分别进行上采样处理，得到不同层级上采样处理后的特征映射图；
将所述不同层级上采样处理后的特征映射图与所述初始特征映射图融合，得到所述池化处理后的特征映射图。
可选地，所述采集精密零部件的原始图像的步骤之后，还包括：
根据所述原始图像确定所述精密零部件对应的目标区域；
检测所述目标区域相对于标准图像的标准区域是否发生偏移；
在所述目标区域不发生偏移时，执行所述将所述原始图像输入语义分割模型，得到所述精密零部件的所有疑似缺陷区域的步骤。
可选地，所述检测所述目标区域相对于标准图像的标准区域是否发生偏移的步骤之后，还包括：
在所述目标区域发生偏移时，对所述原始图像进行仿射变化处理以将所述目标检测区域转正；
采用仿射变化处理后的图像更新所述原始图像；
执行所述将所述原始图像输入语义分割模型，得到所述精密零部件的所有疑似缺陷区域的步骤。
可选地，所述采集精密零部件的原始图像的步骤包括：
根据所述精密零部件的缺陷类型，确定光源的类型和所述光源的摆放位置；
根据所述光源的类型、所述光源的摆放位置和摄像装置的摆放位置，确定所述精密零部件的拍摄方式；
基于所述拍摄方式采集所述精密零部件的原始图像。
此外，为实现上述目的，本发明还提供了一种精密零部件外观缺陷自动光学检测设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的精密零部件外观缺陷自动光学检测程序，所述精密零部件外观缺陷自动光学检测程序被所述处理器执行时实现上述的精密零部件外观缺陷自动光学检测方法的步骤。
此外，为实现上述目的，本发明还提供了一种存储介质，其上存储有精密零部件外观缺陷自动光学检测程序，所述精密零部件外观缺陷自动光学检测程序被处理器执行时实现上述的精密零部件外观缺陷自动光学检测方法的步骤。
本申请实施例中提供的一种精密零部件外观缺陷自动光学检测方法、设备及存储介质的技术方案，相比于传统的缺陷检测算法，需要针对不同分区使用不同的缺陷检测算法进行缺陷检测存在外观缺陷检测效率低的问题，本申请采用语义分割模型对原始图像进行分割得到所有疑似缺陷区域，再将所有疑似缺陷区域合并后的联合疑似缺陷区域进行缺陷区域二次筛选，不仅提高了缺陷检测效率，而且提高了缺陷检测准确率。
附图说明
图1为本发明精密零部件外观缺陷自动光学检测方法第一实施例示意图；
图2为本发明金字塔场景解析网络的结构示意图；
图3为本发明的精密零部件外观缺陷自动光学检测设备结构示意图。
本申请目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明，上述附图只是一个实施例图，而不是发明的全部。
具体实施方式
当前精密零部件表面缺陷仍由人工肉眼观察进行检测，仅有部分生产厂家利用传统的图像处理方法进行检测。由于精密零部件缺陷在高分辨率工业相机拍摄的图像成像下仍微小和模糊，且不同缺陷的特征各异，精密零部件表面高低不平，纹理不均匀等特征，导致传统的图像处理检测方法需要经验丰富的视觉工程师进行大量的特征提取算法编程工作和昂贵的代码维护成本，准确率低且稳定性差，因此本申请选择基于深度学习语义分割的缺陷检测方法，该方法通过训练神经网络的方式来自主学习提取表面缺陷特征从而避免繁杂的特征提取算法编程工作。
本申请所采用的技术方案为：首先，对搜集的不良样品进行缺陷标注，通过图像预处理和数据扩增等操作后制作样本集；其次，利用迁移学习将预先训练好的金字塔网络对标记样本进行再训练；进而利用训练好的模型实现对精密零部件缺陷的检测；由于单独的深度学习语义分割缺陷检测方法通常无法满足工业实际应用需求，最后还需结合机器视觉方法，对深度学习语义分割方法检出的所有疑似缺陷区域进行二次判定筛选，不仅提高了缺陷检测效率，而且提高了缺陷检测准确率。
相比于现有技术，本申请存在的优势：
(1) GPU内存需要在读取图像前就进行初始化， 减少缺陷检测的时间。(2) 由于精密零部件在治具上摆放存在倾斜情况，在运用缺陷分割模型进行缺陷检测之前对整张图像进行模板匹配定位和仿射变换来摆正图像，有利于提高缺陷检测准确率。
(3) 由于采集图像分辨率过大，需要训练学习的参数过多，而计算机显卡显存有限，无法直接训练这么大分辨率的样本图片。为充分利用现有的显卡显存，将图像裁剪为1100×1100分辨率大小的切片数据集，对其缺陷标记与训练，利用训练好的缺陷分割模型进行整张图像循环遍历缺陷检测。
(4) 水平和垂直移动步长大小的设定，为提高图像边缘缺陷分割的精度，将水平和垂直移动步长的大小设置在800至1100，可对图像边缘处缺陷进行二次检测; 由于相邻切片中的缺陷区域可能存在邻接关系，所以在循环遍历检测完每张切片的缺陷区域后，需要将所有切片的缺陷区域进行联合， 再重新计算联合后区域的连通域个数。
(5) 由于单独的深度学习语义分割缺陷检测方法，即语义分割模型通常无法满足工业实际应用需求， 最后还需结合机器视觉方法， 对深度学习语义分割方法检出的所有疑似缺陷区域进行二次判断筛选。即合并所有所述疑似缺陷区域，得到联合疑似缺陷区域；基于所述联合疑似缺陷区域中各个连通域的特征信息进行缺陷区域筛选，并根据筛选结果确定所述精密零部件是否存在外观缺陷。
（6）对精密零部件表面进行缺陷检测能有效防止不良的产品装配，采用缺陷检测后的精密零部件装配产品，从而避免造成更大的资源浪费。
为了更好的理解上述技术方案，下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
第一实施例。
如图1所示，在本申请的第一实施例中，本申请的精密零部件外观缺陷自动光学检测方法应用于精密零部件外观缺陷自动光学检测设备，还可用于终端设备例如电脑；还可用于服务器等。本申请的精密零部件外观缺陷自动光学检测方法，包括以下步骤：
步骤S110，采集精密零部件的原始图像。
可选地，所述精密零部件可以是滑轨，或者组装产品所需要的零部件，或者其他部件。为提高检测结果的准确性，可在预设时段内采集精密零部件的多张原始图像进行图像分析。还可以通过设置于不同位置的摄像头采集不同角度的精密零部件的图像，将不同位置采集的精密零部件的图像进行拼接，从而得到精密零部件的原始图像。还可以只采集指定位置的精密零部件的原始图像。
可选地，可在接收到图像采集指令时，采集精密零部件的原始图像；还可定时或实时的采集精密零部件的原始图像。还可将采集的精密零部件的原始图像传输至服务器进行存储，在后续需要进行精密零部件缺陷检测时，从服务器获取对应的图像进行分析。
可选地，由于精密零部件缺陷形态特征，可以采用多相机多光源组合方式进行精密零部件图像采集。可根据精密零部件的缺陷类型确定光源的类型和光源的摆放位置，根据光源的类型、光源的摆放位置和摄像装置的摆放位置确定精密零部件的拍摄方式，进而基于所述拍摄方式采集所述精密零部件的原始图像。具体地，所述光源的类型包括球形光源和条形光源。在所述光源的类型为球形光源时，所述光源与所述摄像装置在垂直方向相对设置，所述光源垂直于所述摄像装置的光轴，通过光源与摄像装置的设置方式，可以对精密零部件的大部分缺陷例如亮印、掉漆、白点、划伤、异物等进行拍摄，从而采集精密零部件的原始图像。在所述光源的类型为条形光源时，所述条形光源的数量可根据实际情况进行设置，且所述条形光源的摆放位置可以是在摄像装置与精密零部件中间，且位于摄像装置的左右两侧。对于一些类似压痕，压伤，刺伤、凹凸点等采用条形光不同角度反射下拍照，从而采集精密零部件的原始图像。
步骤S120，将所述原始图像输入语义分割模型，得到所述精密零部件的所有疑似缺陷区域，所述语义分割模型根据精密零部件预先标注的疑似缺陷区域训练得到。
在本实施例中，在采集到精密零部件的原始图像之后，进行精密零部件的缺陷检测。本申请采用语义分割模型对精密零部件的原始图像进行分析，从原始图像中识别并标注出精密零部件的所有疑似缺陷区域。所述语义分割模型可根据精密零部件预先标注的疑似缺陷区域训练得到，所述疑似缺陷区域为精密零部件中可能存在的缺陷。
可选地，将所述原始图像输入语义分割模型，在所述语义分割模型中会经过多个网络层或多个处理模块对原始图像进行处理，从而得到精密零部件的所有疑似缺陷区域。具体的，将所述原始图像输入语义分割模型，所述原始图像依次经过所述语义分割模型的模块包括：语义分割模块、迁移学习模块、金字塔场景解析网络模块。以下将对每个模块展开论述。
（1）语义分割模块。
语义分割是指在像素级上对图像的理解，即给图像中的每个像素分配一个对象类。为不同类别目标的所有组成像素进行对应类别的颜色标注，本质上是对图像中的不同类别目标进行分类。在本申请将采集的原始图像分为背景和缺陷两大类进行标记。
（2）迁移学习模块。
迁移学习是指在现有的网络模型基础上构建新的网络，这意味着使用一个已经预先训练好的网络及其权重，根据具体项目程序调整输出层，获取新的网络和参数，可以实现较少量图像样本训练获得较为理想的训练效果，同时缩短项目开发周期。本申请采用迁移学习技术，加载预先训练好的PSP Net语义分割网络模型，在此模型技术上，再添加缺陷种类和样本再训练，可以减少每种缺陷样本数，从而减少图像标记所花费的时间成本。
（3） 金字塔场景解析网络模块。
本申请采用PSP Net(Pyramid Scene Parsing Network, 金字塔场景解析网络)作为缺陷语义分割的框架，如图2所示。在所述金字塔场景解析网络模块中执行的内容包括：具体的，在所述金字塔场景解析网络模块中，所述原始图像会依次进入特征提取模块、金字塔池化模块和反卷积层模块，从而识别出精密零部件中的所有疑似缺陷区域。
在所述特征提取模块，执行步骤S121，将所述原始图像输入特征提取模块进行特征提取，得到所述原始图像对应的初始特征映射图。
在本实施例中，给定一幅精密零部件的图像切片，采用预先训练好的且带空洞卷积的残差网络作为缺陷检测的特征提取模块来提取图像的初始特征映射图，初始特征映射图的尺寸为原图的1/8。
在所述金字塔池化模块，执行步骤S122，将所述初始特征映射图输入池化模块进行池化处理，得到池化处理后的特征映射图。
在本实施例中，在将原始图像输入特征提取模块进行特征提取，得到原始图像对应的初始特征映射图之后，将所述初始特征映射图输入金字塔池化模块进行不同层级的分区平均池化。本申请的金字塔池化模块设置的层级可根据实际情况进行设置，本申请将金字塔池化模块设置为4层。具体的，在所述金字塔池化模块执行的操作包括：将所述初始特征映射图输入不同层级的池化层分别进行池化处理，得到不同层级对应的池化处理后的特征映射图；基于所述初始特征映射图的维度对不同层级的所述池化处理后的特征映射图分别进行维度变化处理，得到不同层级维度变化处理后的特征映射图；对所述不同层级维度变化处理后的特征映射图分别进行上采样处理，得到不同层级上采样处理后的特征映射图；将所述不同层级上采样处理后的特征映射图与所述初始特征映射图融合，得到所述池化处理后的特征映射图。
具体的，将所述初始特征映射图输入不同层级的池化层分别进行池化处理，得到不同层级对应的池化处理后的特征映射图，本申请以金字塔池化模块为4层为例。每一层执行的操作包括：
第1层: 将整张所述初始特征映射图进行全局平均池化以生成最粗糙级别的单个全局池化bin输出；
第2层：将所述初始特征映射图划分为2×2个子区域， 然后对每个子区域进行平均池化；
第3层：将所述初始特征映射图分成4×4个子区域， 然后对每个子区域进行平均池化；
第4层：将所述初始特征映射图划分为8×8个子区域的最细层次， 然后对每个子区域进行平均池化。
(2) 基于所述初始特征映射图的维度对不同层级的所述池化处理后的特征映射图分别进行维度变化处理，得到不同层级维度变化处理后的特征映射图具体包括：通过一个1×1卷积层将初始特征映射图的维度缩减为原来的1/N，N 为金字塔层数，本项目中N=4。
(3) 对所述不同层级维度变化处理后的特征映射图分别进行上采样处理，得到不同层级上采样处理后的特征映射图具体包括：采用双线性插值对每个低维特征map进行上采样，使其具有与原始特征map相同的大小。
(4) 将所述不同层级上采样处理后的特征映射图与所述初始特征映射图融合，得到所述池化处理后的特征映射图具体包括：所有不同层级的上采样后的特征映射图都与初始特征映射图连接在一起。这些特征映射图便融合为全局场景先验信息， 并作为深度神经网络最终的特征映射图。
在所述反卷积层模块，执行步骤S123，将池化处理后的特征映射图输入反卷积模块进行反卷积处理，得到所述精密零部件的所有疑似缺陷区域。
在本实施例中，在得到池化处理后的特征映射图之后，最后通过一层反卷积层还原生成和原始图像相同大小的最终预测图，从而得到精密零部件的所有疑似缺陷区域。由于精密零部件中的部分亮点类缺陷和白边特征极其相似，可能仅存在空间位置不同，易产生混淆误判；部分凹凸点由于打光角度相异，实际并无明显缺陷特征，且有的小缺陷如刺伤等只有十几像素，过于隐蔽，但找出这些小缺陷又至关重要。PSP Net分割网络的优势就在于其中的金字塔池化模块能够将不同尺度、不同子区域的局部特征和全局特征聚合起来，既保证局部的细节特征不被忽视，提取出不显眼的像素级缺陷，也能确保全局的深层特征(如缺陷的空间位置信息)不被丢失，共同使最终预测更加可靠。
可选地，由于采集的原始图像的分辨率过大，需要训练学习的参数过多，而计算机显卡显存有限，无法直接训练这么大分辨率的图片。为充分利用现有的显卡显存，需要将原始图像进行切片，例如将原始图像裁剪为1100×1100分辨率大小的切片数据集，对其缺陷标记与训练，利用训练好的缺陷分割模型进行整张原始图像循环遍历缺陷检测。因此，在将所述原始图像输入语义分割模型，得到所述精密零部件的所有疑似缺陷区域之前，可将原始图像进行切片，以提高识别精密零部件的缺陷的准确性。
可选地，对原始图像进行切片包括：确定感兴趣区域的分辨率大小，及所述感兴趣区域在原始图像中的起始移动位置；确定所述感兴趣区域的水平移动步长和垂直移动步长；基于所述水平移动步长和所述垂直移动步长从所述起始移动位置移动所述感兴趣区域，以从所述原始图像裁剪出与多个与所述感兴趣区域分辨率大小相同的待检测区域。
其中，所述感兴趣区域的分辨率大小可根据实际情况进行设置，例如可根据摄像装置的性能进行确定。所述水平移动步长和所述垂直移动步长也可根据实际情况进行确定。所述水平移动步长为所述感兴趣区域在原始图像的水平方向上移动的距离，所述垂直移动步长为所述感兴趣区域在原始图像的垂直方向上移动的距离。
为提高图像边缘缺陷分割的精度，将水平移动步长和垂直移动步长的大小设置在800至1100，可对图像边缘处缺陷进行二次检测。可设置所述感兴趣区域的移动方向，例如从左到右，或者从上到下对原始图像进行遍历，从而将原始图像裁剪出多个待检测区域。所述待检测区域的尺寸大小和分辨率大小与所述感兴趣区域的尺寸大小和分辨率大小相同。可将所述原始图像的起始位置确定为感兴趣区域的起始移动位置。所述感兴趣区域从原始图像的起始位置以设定的水平移动步长和垂直移动步长进行移动，从而得到多个待检测区域。
可选地，在得到多个待检测区域之后，可将各个待检测区域分别输出语义分割模型进行缺陷识别，从而得到精密零部件的所有疑似缺陷区域。所述语义分割模型对各个待检测区域进行缺陷识别，得到疑似缺陷区域的方法如上文所述，在此不再赘述。
步骤S130，合并所有所述疑似缺陷区域，得到联合疑似缺陷区域。
在本实施例中，由于相邻切片，即待检测区域中的缺陷区域可能存在邻接关系，所以在循环遍历检测完每张切片的缺陷区域后，需要将所有切片的缺陷区域进行联合， 得到联合疑似缺陷区域。再重新计算联合区域的连通域个数。
步骤S140，基于所述联合疑似缺陷区域中各个连通域的特征信息进行缺陷区域筛选，并根据筛选结果确定所述精密零部件是否存在外观缺陷。
在本实施例中，由于单独的语义分割模型通常无法满足工业实际应用需求， 最后还需结合机器视觉方法， 对语义分割模型检出的所有疑似缺陷区域进行二次判断筛选。可对联合疑似缺陷区域中各个连通域的特征信息进行缺陷区域筛选，并根据筛选结果确定所述精密零部件是否存在外观缺陷或者缺陷的位置。
可选地，可将所述原始图像输入语义分割模型，得到所述精密零部件的所有疑似缺陷区域；合并所有所述疑似缺陷区域，得到联合疑似缺陷区域；根据所述联合疑似缺陷区域中各个连通域的面积特征、位置特征、形状特征、紧密度、各个连通域的灰度平均值和灰度熵，从所有所述疑似缺陷区域中筛选出符合条件的连通域；统计所述符合条件的连通域的数量；在所述符合条件的连通域的数量大于预设数量时，判定所述精密零部件存在外观缺陷，并根据筛选后的连通域确定所述精密零部件的目标缺陷区域；在所述符合条件的连通域的数量小于预设数量时，判定所述精密零部件不存在外观缺陷。
其中，可为每个连通域的特征设置对应的阈值，在满足所设定的阈值时，即确定该连通域符合条件。以根据面积特征筛选得到符合条件的连通域为例，其他特征信息筛选符合条件的连通域类似。例如设置面积特征的预设阈值，在当前连通域的面积大于预设面积时，将当前连通域确定为符合条件的连通域。所述紧密度为各个连通域之间的紧密程度。
通过缺陷区域的面积、位置、圆度以及缺陷区域对应图像部分的灰度平均值(方差)、灰度最大(小)值等多种特征组合，对语义分割模型检出的所有疑似缺陷区域进行二次判断筛选，从而使得识别出的缺陷区域更加准确。
在一实施例中，还可以采集精密零部件的原始图像；确定感兴趣区域的分辨率大小，及所述感兴趣区域在原始图像中的起始移动位置；确定所述感兴趣区域的水平移动步长和垂直移动步长；基于所述水平移动步长和所述垂直移动步长从所述起始移动位置移动所述感兴趣区域，以从所述原始图像裁剪出与多个与所述感兴趣区域分辨率大小相同的待检测区域；将各个所述待检测区域分别输入语义分割模型，得到所述精密零部件的所有疑似缺陷区域；合并所有所述疑似缺陷区域，得到联合疑似缺陷区域；基于所述联合疑似缺陷区域中各个连通域的特征信息进行缺陷区域筛选，并根据筛选结果确定所述精密零部件是否存在外观缺陷。若存在外观缺陷，则确定缺陷的位置，通过语义分割模型和机器学习的方式识别出所有疑似缺陷区域，使得识别出的缺陷区域更加准确。
本实施例根据上述技术方案，采用语义分割模型对原始图像进行分割得到所有疑似缺陷区域，再将所有疑似缺陷区域合并后的联合疑似缺陷区域进行缺陷区域二次筛选，不仅提高了缺陷检测效率，而且提高了缺陷检测准确率。
第二实施例。
基于第一实施例，在本申请的第二实施例中，本申请的精密零部件外观缺陷自动光学检测方法包括以下步骤：
步骤S110，采集精密零部件的原始图像；
步骤S210，根据所述原始图像确定所述精密零部件对应的目标区域；
步骤S220，检测所述目标区域相对于标准图像的标准区域是否发生偏移；
在所述目标区域不发生偏移时，执行步骤S120，将所述原始图像输入语义分割模型，得到所述精密零部件的所有疑似缺陷区域，所述语义分割模型根据精密零部件预先标注的疑似缺陷区域训练得到；
步骤S130，合并所有所述疑似缺陷区域，得到联合疑似缺陷区域；
步骤S140，基于所述联合疑似缺陷区域中各个连通域的特征信息进行缺陷区域筛选，并根据筛选结果确定所述精密零部件是否存在外观缺陷。
其中，所述目标区域可以为标准图像的中心位置区域，所述标准图像为摆正后的图像。用摄像装置采集精密零部件的原始图像，提取原始图像的中心位置区域，将原始图像中的目标区域与标准图像的中心位置区域进行比对，以观察原始图像中的目标区域相对于标准图像的中心位置区域是否发生偏差，或者原始图像中的目标区域是否在标准图像的中心位置区域的偏差范围内，若是，表示原始图像已摆正，可直接对该原始图像进行缺陷检测。
在一实施例中，采集精密零部件的原始图像，根据所述原始图像确定所述精密零部件对应的目标区域；检测所述目标区域相对于标准图像的标准区域是否发生偏移；在所述目标区域发生偏移时，对所述原始图像进行仿射变化处理以将所述目标检测区域转正；采用仿射变化处理后的图像更新所述原始图像；将所述原始图像输入语义分割模型，得到所述精密零部件的所有疑似缺陷区域，所述语义分割模型根据精密零部件预先标注的疑似缺陷区域训练得到；合并所有所述疑似缺陷区域，得到联合疑似缺陷区域；基于所述联合疑似缺陷区域中各个连通域的特征信息进行缺陷区域筛选，并根据筛选结果确定所述精密零部件是否存在外观缺陷。
由于精密零部件在治具上可能出现摆放倾斜的情况，因此在运用语义分割模型进行缺陷检测之前，对整张原始图像进行模板匹配定位和仿射变换来摆正图像，有利于提高缺陷检测准确率。
本发明实施例提供了精密零部件外观缺陷自动光学检测方法的实施例，需要说明的是，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
如图3所示，图3为本发明精密零部件外观缺陷自动光学检测设备的结构示意图。
如图3所示，该精密零部件外观缺陷自动光学检测设备可以包括：处理器1001，例如CPU，存储器1005，用户接口1003，网络接口1004，通信总线1002。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏（Display）、输入单元比如键盘（Keyboard），可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口（如WI-FI接口）。存储器1005可以是高速RAM存储器，也可以是稳定的存储器（non-volatile memory），例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
本领域技术人员可以理解，图3中示出的精密零部件外观缺陷自动光学检测设备结构并不构成对精密零部件外观缺陷自动光学检测设备限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
如图3所示，作为一种存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及精密零部件外观缺陷自动光学检测程序。其中，操作系统是管理和控制精密零部件外观缺陷自动光学检测设备硬件和软件资源的程序，精密零部件外观缺陷自动光学检测程序以及其它软件或程序的运行。
在图3所示的精密零部件外观缺陷自动光学检测设备中，用户接口1003主要用于连接终端，与终端进行数据通信；网络接口1004主要用于后台服务器，与后台服务器进行数据通信；处理器1001可以用于调用存储器1005中存储的精密零部件外观缺陷自动光学检测程序。
在本实施例中，精密零部件外观缺陷自动光学检测设备包括：存储器1005、处理器1001及存储在所述存储器上并可在所述处理器上运行的精密零部件外观缺陷自动光学检测程序，其中：
处理器1001调用存储器1005中存储的精密零部件外观缺陷自动光学检测程序时，执行以下操作：
采集精密零部件的原始图像；
将所述原始图像输入语义分割模型，得到所述精密零部件的所有疑似缺陷区域，所述语义分割模型根据精密零部件预先标注的疑似缺陷区域训练得到；
合并所有所述疑似缺陷区域，得到联合疑似缺陷区域；
基于所述联合疑似缺陷区域中各个连通域的特征信息进行缺陷区域筛选，并根据筛选结果确定所述精密零部件是否存在外观缺陷。
处理器1001调用存储器1005中存储的精密零部件外观缺陷自动光学检测程序时，执行以下操作：
确定感兴趣区域的分辨率大小，及所述感兴趣区域在原始图像中的起始移动位置；
确定所述感兴趣区域的水平移动步长和垂直移动步长；
基于所述水平移动步长和所述垂直移动步长从所述起始移动位置移动所述感兴趣区域，以从所述原始图像裁剪出与多个与所述感兴趣区域分辨率大小相同的待检测区域；
将各个所述待检测区域分别输入语义分割模型，得到所述精密零部件的所有疑似缺陷区域。
处理器1001调用存储器1005中存储的精密零部件外观缺陷自动光学检测程序时，执行以下操作：
根据所述联合疑似缺陷区域中各个连通域的面积特征、位置特征、形状特征、紧密度、各个连通域的灰度平均值和灰度熵，从所有所述疑似缺陷区域中筛选出符合条件的连通域；
统计所述符合条件的连通域的数量；
在所述符合条件的连通域的数量大于预设数量时，判定所述精密零部件存在外观缺陷，并根据筛选后的连通域确定所述精密零部件的目标缺陷区域；
在所述符合条件的连通域的数量小于预设数量时，判定所述精密零部件不存在外观缺陷。
处理器1001调用存储器1005中存储的精密零部件外观缺陷自动光学检测程序时，执行以下操作：
将所述原始图像输入特征提取模块进行特征提取，得到所述原始图像对应的初始特征映射图；
将所述初始特征映射图输入池化模块进行池化处理，得到池化处理后的特征映射图；
将池化处理后的特征映射图输入反卷积模块进行反卷积处理，得到所述精密零部件的所有疑似缺陷区域。
处理器1001调用存储器1005中存储的精密零部件外观缺陷自动光学检测程序时，执行以下操作：
将所述初始特征映射图输入不同层级的池化层分别进行池化处理，得到不同层级对应的池化处理后的特征映射图；
基于所述初始特征映射图的维度对不同层级的所述池化处理后的特征映射图分别进行维度变化处理，得到不同层级维度变化处理后的特征映射图；
对所述不同层级维度变化处理后的特征映射图分别进行上采样处理，得到不同层级上采样处理后的特征映射图；
将所述不同层级上采样处理后的特征映射图与所述初始特征映射图融合，得到所述池化处理后的特征映射图。
处理器1001调用存储器1005中存储的精密零部件外观缺陷自动光学检测程序时，执行以下操作：
根据所述原始图像确定所述精密零部件对应的目标区域；
检测所述目标区域相对于标准图像的标准区域是否发生偏移；
在所述目标区域不发生偏移时，执行所述将所述原始图像输入语义分割模型，得到所述精密零部件的所有疑似缺陷区域的步骤。
处理器1001调用存储器1005中存储的精密零部件外观缺陷自动光学检测程序时，执行以下操作：
在所述目标区域发生偏移时，对所述原始图像进行仿射变化处理以将所述目标检测区域转正；
采用仿射变化处理后的图像更新所述原始图像；
执行所述将所述原始图像输入语义分割模型，得到所述精密零部件的所有疑似缺陷区域的步骤。
处理器1001调用存储器1005中存储的精密零部件外观缺陷自动光学检测程序时，执行以下操作：
根据所述精密零部件的缺陷类型，确定光源的类型和所述光源的摆放位置；
根据所述光源的类型、所述光源的摆放位置和摄像装置的摆放位置，确定所述精密零部件的拍摄方式；
基于所述拍摄方式采集所述精密零部件的原始图像。
基于同一发明构思，本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有精密零部件外观缺陷自动光学检测程序，所述精密零部件外观缺陷自动光学检测程序被处理器执行时实现如上所述的精密零部件外观缺陷自动光学检测方法的各个步骤，且能达到相同的技术效果，为避免重复，这里不再赘述。
由于本申请实施例提供的存储介质，为实施本申请实施例的方法所采用的存储介质，故而基于本申请实施例所介绍的方法，本领域所属人员能够了解该存储介质的具体结构及变形，故而在此不再赘述。凡是本申请实施例的方法所采用的存储介质都属于本申请所欲保护的范围。
需要说明的是，在本文中，术语“ 包括”、“ 包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“ 包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，电视，或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种精密零部件外观缺陷自动光学检测方法，其特征在于，所述精密零部件外观缺陷自动光学检测方法包括：
采集精密零部件的原始图像；
将所述原始图像输入语义分割模型，得到所述精密零部件的所有疑似缺陷区域，所述语义分割模型根据精密零部件预先标注的疑似缺陷区域训练得到；
合并所有所述疑似缺陷区域，得到联合疑似缺陷区域；
基于所述联合疑似缺陷区域中各个连通域的特征信息进行缺陷区域筛选，并根据筛选结果确定所述精密零部件是否存在外观缺陷。
2.如权利要求1所述的精密零部件外观缺陷自动光学检测方法，其特征在于，所述将所述原始图像输入语义分割模型，得到所述精密零部件的所有疑似缺陷区域的步骤之前，还包括：
确定感兴趣区域的分辨率大小，及所述感兴趣区域在原始图像中的起始移动位置；
确定所述感兴趣区域的水平移动步长和垂直移动步长；
基于所述水平移动步长和所述垂直移动步长从所述起始移动位置移动所述感兴趣区域，以从所述原始图像裁剪出与多个与所述感兴趣区域分辨率大小相同的待检测区域；
所述将所述原始图像输入语义分割模型，得到所述精密零部件的所有疑似缺陷区域的步骤包括：
将各个所述待检测区域分别输入语义分割模型，得到所述精密零部件的所有疑似缺陷区域。
3.如权利要求1或2所述的精密零部件外观缺陷自动光学检测方法，其特征在于，所述基于所述联合疑似缺陷区域中各个连通域的特征信息进行缺陷区域筛选，并根据筛选结果确定所述精密零部件是否存在外观缺陷的步骤包括：
根据所述联合疑似缺陷区域中各个连通域的面积特征、位置特征、形状特征、紧密度、各个连通域的灰度平均值和灰度熵，从所有所述疑似缺陷区域中筛选出符合条件的连通域；
统计所述符合条件的连通域的数量；
在所述符合条件的连通域的数量大于预设数量时，判定所述精密零部件存在外观缺陷，并根据筛选后的连通域确定所述精密零部件的目标缺陷区域；
在所述符合条件的连通域的数量小于预设数量时，判定所述精密零部件不存在外观缺陷。
4.如权利要求1所述的精密零部件外观缺陷自动光学检测方法，其特征在于，所述将所述原始图像输入语义分割模型，得到所述精密零部件的所有疑似缺陷区域的步骤包括：
将所述原始图像输入特征提取模块进行特征提取，得到所述原始图像对应的初始特征映射图；
将所述初始特征映射图输入池化模块进行池化处理，得到池化处理后的特征映射图；
将池化处理后的特征映射图输入反卷积模块进行反卷积处理，得到所述精密零部件的所有疑似缺陷区域。
5.如权利要求4所述的精密零部件外观缺陷自动光学检测方法，其特征在于，所述将所述初始特征映射图输入池化模块进行池化处理，得到池化处理后的特征映射图的步骤包括：
将所述初始特征映射图输入不同层级的池化层分别进行池化处理，得到不同层级对应的池化处理后的特征映射图；
基于所述初始特征映射图的维度对不同层级的所述池化处理后的特征映射图分别进行维度变化处理，得到不同层级维度变化处理后的特征映射图；
对所述不同层级维度变化处理后的特征映射图分别进行上采样处理，得到不同层级上采样处理后的特征映射图；
将所述不同层级上采样处理后的特征映射图与所述初始特征映射图融合，得到所述池化处理后的特征映射图。
6.如权利要求1所述的精密零部件外观缺陷自动光学检测方法，其特征在于，所述采集精密零部件的原始图像的步骤之后，还包括：
根据所述原始图像确定所述精密零部件对应的目标区域；
检测所述目标区域相对于标准图像的标准区域是否发生偏移；
在所述目标区域不发生偏移时，执行所述将所述原始图像输入语义分割模型，得到所述精密零部件的所有疑似缺陷区域的步骤。
7.如权利要求6所述的精密零部件外观缺陷自动光学检测方法，其特征在于，所述检测所述目标区域相对于标准图像的标准区域是否发生偏移的步骤之后，还包括：
在所述目标区域发生偏移时，对所述原始图像进行仿射变化处理以将所述目标区域转正；
采用仿射变化处理后的图像更新所述原始图像；
执行所述将所述原始图像输入语义分割模型，得到所述精密零部件的所有疑似缺陷区域的步骤。
8.如权利要求1所述的精密零部件外观缺陷自动光学检测方法，其特征在于，所述采集精密零部件的原始图像的步骤包括：
根据所述精密零部件的缺陷类型，确定光源的类型和所述光源的摆放位置；
根据所述光源的类型、所述光源的摆放位置和摄像装置的摆放位置，确定所述精密零部件的拍摄方式；
基于所述拍摄方式采集所述精密零部件的原始图像。
9.一种精密零部件外观缺陷自动光学检测设备，其特征在于，所述精密零部件外观缺陷自动光学检测设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的精密零部件外观缺陷自动光学检测程序，所述精密零部件外观缺陷自动光学检测程序被所述处理器执行时实现如权利要求1-8中任一项所述的精密零部件外观缺陷自动光学检测方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有精密零部件外观缺陷自动光学检测程序，所述精密零部件外观缺陷自动光学检测程序被处理器执行时实现权利要求1-8中任一项所述的精密零部件外观缺陷自动光学检测方法的步骤。
CN202310851583.8A 2023-07-12 2023-07-12 精密零部件外观缺陷自动光学检测方法、设备及存储介质 Active CN116580026B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310851583.8A CN116580026B (zh) 2023-07-12 2023-07-12 精密零部件外观缺陷自动光学检测方法、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310851583.8A CN116580026B (zh) 2023-07-12 2023-07-12 精密零部件外观缺陷自动光学检测方法、设备及存储介质

Publications (2)

Publication Number Publication Date
CN116580026A true CN116580026A (zh) 2023-08-11
CN116580026B CN116580026B (zh) 2023-09-12

Family

ID=87534461

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310851583.8A Active CN116580026B (zh) 2023-07-12 2023-07-12 精密零部件外观缺陷自动光学检测方法、设备及存储介质

Country Status (1)

Country Link
CN (1) CN116580026B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019211415A (ja) * 2018-06-08 2019-12-12 アズビル株式会社 外観検査装置および方法
CN111932501A (zh) * 2020-07-13 2020-11-13 太仓中科信息技术研究院 一种基于语义分割的密封圈表面缺陷检测方法
CN112288727A (zh) * 2020-10-30 2021-01-29 创新奇智(重庆)科技有限公司 磁环表面缺陷检测方法、装置、电子设备及存储介质
CN112581434A (zh) * 2020-12-07 2021-03-30 无锡智创云图信息科技有限公司 一种用于产品缺陷检测的图像识别方法
CN113538429A (zh) * 2021-09-16 2021-10-22 海门市创睿机械有限公司 基于图像处理的机械零件表面缺陷检测方法
CN115082683A (zh) * 2022-08-22 2022-09-20 南通三信塑胶装备科技股份有限公司 一种基于图像处理的注塑缺陷检测方法
CN115511775A (zh) * 2021-06-23 2022-12-23 上海电力大学 一种基于语义分割的轻量型瓷砖表面缺陷检测方法
CN115861227A (zh) * 2022-11-30 2023-03-28 清华大学 基于图像语义重建的无监督工业表面缺陷检测方法与装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019211415A (ja) * 2018-06-08 2019-12-12 アズビル株式会社 外観検査装置および方法
CN111932501A (zh) * 2020-07-13 2020-11-13 太仓中科信息技术研究院 一种基于语义分割的密封圈表面缺陷检测方法
CN112288727A (zh) * 2020-10-30 2021-01-29 创新奇智(重庆)科技有限公司 磁环表面缺陷检测方法、装置、电子设备及存储介质
CN112581434A (zh) * 2020-12-07 2021-03-30 无锡智创云图信息科技有限公司 一种用于产品缺陷检测的图像识别方法
CN115511775A (zh) * 2021-06-23 2022-12-23 上海电力大学 一种基于语义分割的轻量型瓷砖表面缺陷检测方法
CN113538429A (zh) * 2021-09-16 2021-10-22 海门市创睿机械有限公司 基于图像处理的机械零件表面缺陷检测方法
CN115082683A (zh) * 2022-08-22 2022-09-20 南通三信塑胶装备科技股份有限公司 一种基于图像处理的注塑缺陷检测方法
CN115861227A (zh) * 2022-11-30 2023-03-28 清华大学 基于图像语义重建的无监督工业表面缺陷检测方法与装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
代小红等: "一种基于改进Faster RCNN的金属材料工件表面缺陷检测与实现研究", 《表面技术》, vol. 49, no. 10, pages 362 - 371 *

Also Published As

Publication number Publication date
CN116580026B (zh) 2023-09-12

Similar Documents

Publication Publication Date Title
CN112598672A (zh) 一种基于深度学习的路面病害图像分割方法和系统
CN111325713A (zh) 基于神经网络的木材缺陷检测方法、系统及存储介质
CN109840889A (zh) 基于仿生算法的高精度视觉测量方法、装置和系统
CN112233067A (zh) 一种热轧钢卷端面质量检测方法及系统
CN110599445A (zh) 一种电网螺母和销的目标鲁棒检测与缺陷识别方法及装置
CN111507976B (zh) 基于多角度成像的缺陷检测方法及系统
CN109413411B (zh) 一种监控线路的黑屏识别方法、装置及服务器
CN112348787A (zh) 物体缺陷检测模型的训练方法、物体缺陷检测方法及装置
CN110596120A (zh) 玻璃边界缺陷检测方法、装置、终端及存储介质
CN106355579A (zh) 烟条表面褶皱的缺陷检测方法
CN111161295B (zh) 一种菜品图像背景剥离方法
CN110334760B (zh) 一种基于resUnet的光学元器件损伤检测方法及系统
CN110728269B (zh) 一种基于c2检测数据的高铁接触网支柱杆号牌识别方法
CN115830004A (zh) 表面缺陷检测方法、装置、计算机设备和存储介质
CN111178445A (zh) 图像处理方法及装置
CN116091506B (zh) 一种基于yolov5的机器视觉缺陷质检方法
CN116580026B (zh) 精密零部件外观缺陷自动光学检测方法、设备及存储介质
CN117218633A (zh) 一种物品检测方法、装置、设备及存储介质
CN111723656A (zh) 一种基于YOLO v3与自优化的烟雾检测方法及装置
CN112750113B (zh) 基于深度学习和直线检测的玻璃瓶缺陷检测方法及装置
CN111402185A (zh) 一种图像检测方法及装置
CN110070520B (zh) 基于深度神经网络的路面裂缝检测模型构建及检测方法
CN117274843B (zh) 基于轻量级边缘计算的无人机前端缺陷识别方法及系统
CN117456371B (zh) 一种组串热斑检测方法、装置、设备及介质
CN117115095A (zh) 一种实现复杂纹理瓷砖细小缺陷检测的方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant