CN115456988A - 一种缺陷检测方法、终端设备及存储介质 - Google Patents

一种缺陷检测方法、终端设备及存储介质 Download PDF

Info

Publication number
CN115456988A
CN115456988A CN202211107746.3A CN202211107746A CN115456988A CN 115456988 A CN115456988 A CN 115456988A CN 202211107746 A CN202211107746 A CN 202211107746A CN 115456988 A CN115456988 A CN 115456988A
Authority
CN
China
Prior art keywords
defect
model
picture
abnormal
label
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211107746.3A
Other languages
English (en)
Inventor
王建坤
林丽红
何青
陈伟权
梁火炎
梁火炼
陈俊威
高建彬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xiamen Boshiyuan Machine Vision Technology Co ltd
Original Assignee
Xiamen Boshiyuan Machine Vision Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xiamen Boshiyuan Machine Vision Technology Co ltd filed Critical Xiamen Boshiyuan Machine Vision Technology Co ltd
Priority to CN202211107746.3A priority Critical patent/CN115456988A/zh
Publication of CN115456988A publication Critical patent/CN115456988A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种缺陷检测方法、终端设备及存储介质，该方法中包括：采集正常图片和对应的异常图片，将异常图片压缩后，分别构建压缩前后的标签L1和L2；将正常图片、异常图片和标签L2组成第一训练集；构建缺陷定位模型，通过第一训练集进行训练，得到最终缺陷定位模型；将最终缺陷定位模型输出的缺陷定位结果放大后与异常图片进行或运算，得到异常图片对应的缺陷图片；将缺陷图片和标签L1组成第二训练集；构建缺陷分割模型，通过第二训练集进行训练，得到最终缺陷分割模型；基于最终缺陷定位模型和最终缺陷分割模型对待检测图像进行缺陷检测。本发明提高了缺陷检测的精确度。

Description

一种缺陷检测方法、终端设备及存储介质
技术领域
本发明涉及缺陷检测领域，尤其涉及一种缺陷检测方法、终端设备及存储介质。
背景技术
机械产品的缺陷是指在机械的工作过程中，由于一些因素(轴断，轴承磨损，轴承卡死，螺丝松脱，皮带松，零部件损坏等)，导致机械在工作过程中出现差错；在生产过程中由于操作不当也会使机械产品表面出现划痕、裂纹等缺陷，因此，对机械配件进行缺陷检测必不可少。
现有的缺陷检测技术中大多采用人眼识别方法，这种方法需要经过大量培训的专业检测人员，并且检测人员还得具备一定的实际操作经验。此外，在实际检测过程中，仍会存在着效率低下、检测标准不一致等问题，这会大幅度降低机械缺陷检测的效率，并会使得机械生产出的产品质量参差不齐，甚至存在安全隐患。
发明内容
为了解决上述问题，本发明提出了一种缺陷检测方法、终端设备及存储介质。
具体方案如下：
一种缺陷检测方法，包括以下步骤：
S1：采集多个机械加工品的正常图片和对应的异常图片，并基于异常图片中缺陷所在像素位置构建第一标签L1，同时将异常图片压缩N倍后，基于压缩后的异常图片中缺陷所在像素位置构建第二标签L2；将所有机械加工品的正常图片、异常图片和第二标签L2组成第一训练集；
S2：构建基于神经网络的缺陷定位模型，缺陷定位模型的输入为正常图片和对应的异常图片，输出为异常图片经过压缩N倍后的缺陷定位结果；通过第一训练集对缺陷定位模型进行训练，使得训练后的缺陷定位模型输出的缺陷定位结果趋近于第二标签L2，得到最终缺陷定位模型；
S3：将最终缺陷定位模型输出的缺陷定位结果放大N倍后再与异常图片进行或运算，得到异常图片对应的缺陷图片；将所有机械加工品的缺陷图片和第一标签L1组成第二训练集；
S4：构建缺陷分割模型，缺陷分割模型的输入为缺陷图片，输出为缺陷分割结果；通过第二训练集对缺陷分割模型进行训练，使得训练后的缺陷分割模型输出的缺陷分割结果趋近于第一标签L1，得到最终缺陷分割模型；
S5：基于最终缺陷定位模型和最终缺陷分割模型对待检测图像进行缺陷检测。
进一步的，基于缺陷所在像素位置构建第一标签L1和第二标签L2采用矩阵表示，矩阵中元素的个数与像素个数相同，当某个像素对应位置为缺陷时，设定该像素对应的矩阵中元素的值为1；否则为0。
进一步的，N＝32。
进一步的，缺陷定位模型的网络结构依次包括：5x5x8x2的卷积层、2x2的池化层、5x5x4x2的卷积层、2x2的池化层、5x5x1x2的卷积层。
进一步的，缺陷分割模型采用PSPNet网络构建。
一种缺陷检测终端设备，包括处理器、存储器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现本发明实施例上述的方法的步骤。
一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现本发明实施例上述的方法的步骤。
本发明采用如上技术方案，提高了缺陷检测的精确度。
附图说明
图1所示为本发明实施例一的流程图。
图2所示为该实施例中标签示意图。
图3所示为该实施例中缺陷定位模型的网络结构示意图。
具体实施方式
为进一步说明各实施例，本发明提供有附图。这些附图为本发明揭露内容的一部分，其主要用以说明实施例，并可配合说明书的相关描述来解释实施例的运作原理。配合参考这些内容，本领域普通技术人员应能理解其他可能的实施方式以及本发明的优点。
现结合附图和具体实施方式对本发明进一步说明。
实施例一：
本发明实施例提供了一种缺陷检测方法，主要用于机械加工品的表面缺陷检测，如图1所示，所述方法包括以下步骤：
S1：采集多个机械加工品的正常图片和对应的异常图片，并基于异常图片中缺陷所在像素位置构建第一标签L1，同时将异常图片压缩N倍后，基于压缩后的异常图片中缺陷所在像素位置构建第二标签L2；将所有机械加工品的正常图片、异常图片和第二标签L2组成第一训练集。
该实施例中正常图片对应的异常图片由程序按照设定的缺陷大小自动生成。
该实施例中设定N＝32，在其他实施例中，本领域技术人员可以根据需要自行设定，在此不做限制。
基于缺陷所在像素位置构建第一标签L1和第二标签L2采用矩阵表示，如图2所示，矩阵中元素的个数与像素个数相同，当某个像素对应位置为缺陷时，设定该像素对应的矩阵中元素的值为1；否则为0。
S2：构建基于神经网络的缺陷定位模型，缺陷定位模型的输入为正常图片和对应的异常图片，输出为异常图片经过压缩N倍后的缺陷定位结果；通过第一训练集对缺陷定位模型进行训练，使得训练后的缺陷定位模型输出的缺陷定位结果趋近于第二标签L2，得到最终缺陷定位模型。
该实施例中设定缺陷定位模型网络结构依次包括：5x5x8x2的卷积层、2x2的池化层、5x5x4x2的卷积层、2x2的池化层、5x5x1x2的卷积层，如图3所示。
缺陷定位结果为与第二标签L2大小相同的矩阵。通过最终缺陷定位模型可以实现对缺陷位置的粗定位。
S3：将最终缺陷定位模型输出的缺陷定位结果放大N倍后再与异常图片进行或运算，得到异常图片对应的缺陷图片。将所有机械加工品的缺陷图片和第一标签L1组成第二训练集。
将缺陷定位结果与异常图片进行或运算时，当某个像素对应缺陷定位结果为0时，则将异常图片中该像素对应的图像清楚；当某个像素对应缺陷定位结果为1时，则将异常图片中该像素对应的图像保留。
S4：构建缺陷分割模型，缺陷分割模型的输入为缺陷图片，输出为缺陷分割结果；通过第二训练集对缺陷分割模型进行训练，使得训练后的缺陷分割模型输出的缺陷分割结果趋近于第一标签L1，得到最终缺陷分割模型。
该实施例中缺陷分割模型采用PSPNet网络构建。
通过最终缺陷分割模型可以实现对缺陷位置的精确定位。
S5：基于最终缺陷定位模型和最终缺陷分割模型对待检测图像进行缺陷检测。
当接收到待检测的异常图像时，首先将其和其对应的正常图像(每个待检测的异常图像都需要一张正常图像模板)共同输入最终缺陷定位模型后，再通过步骤S3得到待检测的异常图像对应的缺陷图片，最后，将得到的缺陷图片输入最终缺陷分割模型得到待检测的异常图像的缺陷检测结果。
实施例二：
本发明还提供一种缺陷检测终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现本发明实施例一的上述方法实施例中的步骤。
进一步地，作为一个可执行方案，所述缺陷检测终端设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述缺陷检测终端设备可包括，但不仅限于，处理器、存储器。本领域技术人员可以理解，上述缺陷检测终端设备的组成结构仅仅是缺陷检测终端设备的示例，并不构成对缺陷检测终端设备的限定，可以包括比上述更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述缺陷检测终端设备还可以包括输入输出设备、网络接入设备、总线等，本发明实施例对此不做限定。
进一步地，作为一个可执行方案，所称处理器可以是中央处理单元(CentralProcessing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital SignalProcessor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器是所述缺陷检测终端设备的控制中心，利用各种接口和线路连接整个缺陷检测终端设备的各个部分。
所述存储器可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现所述缺陷检测终端设备的各种功能。所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据手机的使用所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
本发明还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现本发明实施例上述方法的步骤。
所述缺陷检测终端设备集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)以及软件分发介质等。
尽管结合优选实施方案具体展示和介绍了本发明，但所属领域的技术人员应该明白，在不脱离所附权利要求书所限定的本发明的精神和范围内，在形式上和细节上可以对本发明做出各种变化，均为本发明的保护范围。

Claims (7)

1.一种缺陷检测方法，其特征在于，包括以下步骤：
S1：采集多个机械加工品的正常图片和对应的异常图片，并基于异常图片中缺陷所在像素位置构建第一标签L1，同时将异常图片压缩N倍后，基于压缩后的异常图片中缺陷所在像素位置构建第二标签L2；将所有机械加工品的正常图片、异常图片和第二标签L2组成第一训练集；
S2：构建基于神经网络的缺陷定位模型，缺陷定位模型的输入为正常图片和对应的异常图片，输出为异常图片经过压缩N倍后的缺陷定位结果；通过第一训练集对缺陷定位模型进行训练，使得训练后的缺陷定位模型输出的缺陷定位结果趋近于第二标签L2，得到最终缺陷定位模型；
S3：将最终缺陷定位模型输出的缺陷定位结果放大N倍后再与异常图片进行或运算，得到异常图片对应的缺陷图片；将所有机械加工品的缺陷图片和第一标签L1组成第二训练集；
S4：构建缺陷分割模型，缺陷分割模型的输入为缺陷图片，输出为缺陷分割结果；通过第二训练集对缺陷分割模型进行训练，使得训练后的缺陷分割模型输出的缺陷分割结果趋近于第一标签L1，得到最终缺陷分割模型；
S5：基于最终缺陷定位模型和最终缺陷分割模型对待检测图像进行缺陷检测。
2.根据权利要求1所述的缺陷检测方法，其特征在于：基于缺陷所在像素位置构建第一标签L1和第二标签L2采用矩阵表示，矩阵中元素的个数与像素个数相同，当某个像素对应位置为缺陷时，设定该像素对应的矩阵中元素的值为1；否则为0。
3.根据权利要求1所述的缺陷检测方法，其特征在于：N＝32。
4.根据权利要求1所述的缺陷检测方法，其特征在于：缺陷定位模型的网络结构依次包括：5x5x8x2的卷积层、2x2的池化层、5x5x4x2的卷积层、2x2的池化层、5x5x1x2的卷积层。
5.根据权利要求1所述的缺陷检测方法，其特征在于：缺陷分割模型采用PSPNet网络构建。
6.一种缺陷检测终端设备，其特征在于：包括处理器、存储器以及存储在所述存储器中并在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1～5中任一所述方法的步骤。
7.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于：所述计算机程序被处理器执行时实现如权利要求1～5中任一所述方法的步骤。
CN202211107746.3A 2022-09-13 2022-09-13 一种缺陷检测方法、终端设备及存储介质 Pending CN115456988A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211107746.3A CN115456988A (zh) 2022-09-13 2022-09-13 一种缺陷检测方法、终端设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211107746.3A CN115456988A (zh) 2022-09-13 2022-09-13 一种缺陷检测方法、终端设备及存储介质

Publications (1)

Publication Number Publication Date
CN115456988A true CN115456988A (zh) 2022-12-09

Family

ID=84303381

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211107746.3A Pending CN115456988A (zh) 2022-09-13 2022-09-13 一种缺陷检测方法、终端设备及存储介质

Country Status (1)

Country Link
CN (1) CN115456988A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115908402A (zh) * 2022-12-30 2023-04-04 胜科纳米(苏州)股份有限公司 一种缺陷分析方法、装置、电子设备及存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115908402A (zh) * 2022-12-30 2023-04-04 胜科纳米(苏州)股份有限公司 一种缺陷分析方法、装置、电子设备及存储介质
CN115908402B (zh) * 2022-12-30 2023-10-03 胜科纳米(苏州)股份有限公司 一种缺陷分析方法、装置、电子设备及存储介质

Similar Documents

Publication Publication Date Title
CN109886928B (zh) 一种目标细胞标记方法、装置、存储介质及终端设备
CN111080660A (zh) 一种图像分割方法、装置、终端设备及存储介质
CN109117773B (zh) 一种图像特征点检测方法、终端设备及存储介质
US11189019B2 (en) Method for detecting defects, electronic device, and computer readable medium
CN109446061B (zh) 一种页面检测方法、计算机可读存储介质及终端设备
CN108229232B (zh) 批量扫描二维码的方法和批量扫描二维码的装置
CN108717744B (zh) 识别金融单据上的印章序号的方法、装置及终端设备
CN112767354A (zh) 基于图像分割的缺陷检测方法、装置、设备及存储介质
CN115759148B (zh) 图像处理方法、装置、计算机设备及计算机可读存储介质
CN115456988A (zh) 一种缺陷检测方法、终端设备及存储介质
CN111898610A (zh) 卡片缺角检测方法、装置、计算机设备及存储介质
CN113449538A (zh) 视觉模型的训练方法、装置、设备及存储介质
CN112966687B (zh) 图像分割模型训练方法、装置及通信设备
CN112070792B (zh) 一种用于图像分割的边缘生长连接方法及装置
CN111177450B (zh) 一种图像检索云识别方法、系统及计算机可读存储介质
CN108629219B (zh) 一种识别一维码的方法及装置
CN112036232A (zh) 一种图像表格结构识别方法、系统、终端以及存储介质
CN114926464B (zh) 在双录场景下的图像质检方法、图像质检装置及系统
CN113239738B (zh) 一种图像的模糊检测方法及模糊检测装置
CN115829929A (zh) 产品表面图像的缺陷检测方法、装置、设备及存储介质
CN114913350A (zh) 素材查重方法、装置、设备及存储介质
CN106934814B (zh) 一种基于图像的背景信息识别方法及装置
US20220207859A1 (en) Image comparison method and computing device utilizing method
US10679336B2 (en) Detecting method, detecting apparatus, and computer readable storage medium
CN109447211B (zh) 一种二维码生成方法、二维码识读方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination