CN111768404A - 口罩外观缺陷检测系统、方法、装置以及存储介质 - Google Patents

口罩外观缺陷检测系统、方法、装置以及存储介质 Download PDF

Info

Publication number
CN111768404A
CN111768404A CN202010659677.1A CN202010659677A CN111768404A CN 111768404 A CN111768404 A CN 111768404A CN 202010659677 A CN202010659677 A CN 202010659677A CN 111768404 A CN111768404 A CN 111768404A
Authority
CN
China
Prior art keywords
image
mask
defect
appearance
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010659677.1A
Other languages
English (en)
Inventor
钟宗余
赵正阳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Deepexi Technology Co Ltd
Original Assignee
Beijing Deepexi Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Deepexi Technology Co Ltd filed Critical Beijing Deepexi Technology Co Ltd
Priority to CN202010659677.1A priority Critical patent/CN111768404A/zh
Publication of CN111768404A publication Critical patent/CN111768404A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Biomedical Technology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computational Linguistics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Evolutionary Biology (AREA)
  • Software Systems (AREA)
  • Signal Processing (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Quality & Reliability (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种口罩外观缺陷检测系统、方法、装置以及存储介质。其中，系统包括：图像处理服务器、用于采集待检测外观缺陷的口罩的口罩图像的图像采集装置，图像采集装置与图像处理服务器连接，其中图像处理服务器配置用于执行以下操作：从图像采集装置接收口罩图像；根据口罩图像，判定口罩是否存在外观缺陷；在判定口罩存在外观缺陷的情况下，利用预先训练的外观缺陷检测模型对口罩图像进行检测，确定外观缺陷在口罩图像中的缺陷位置信息；并且通过以下操作对外观缺陷检测模型进行优化：利用预设的CGAN模型和图像采集装置采集到的存在外观缺陷的口罩缺陷图像，生成多个样本缺陷图像；以及利用多个样本缺陷图像，重新训练外观缺陷检测模型。

Description

口罩外观缺陷检测系统、方法、装置以及存储介质
技术领域
本申请涉及人工智能技术领域，特别是涉及一种口罩外观缺陷检测系统、方法、装置以及存储介质。
背景技术
目前主流的平面口罩质检方式是采取人工或基于传统视觉算法的视觉设备进行检测。采取人工检测的方式需要大量的口罩外观缺陷质检员，且检测精度受人为主观影响；采取基于传统视觉算法的视觉设备的方式，在更换产品款式时往往需要多次调整参数，难以实现高效自动化检测。
针对上述的现有技术中存在的口罩外观缺陷检测方法主要采用人工检测以及基于传统视觉算法的视觉设备的检测方式，由于采用人工检测的方式需要大量的质检员且检测精度受人为主观影响，并且基于传统视觉算法的视觉设备的检测方式，在更换产品款式时往往需要多次调整参数，难以实现高效自动化检测的技术问题，目前尚未提出有效的解决方案。
发明内容
本公开的实施例提供了一种口罩外观缺陷检测系统、方法、装置以及存储介质，以至少解决现有技术中存在的口罩外观缺陷检测方法主要采用人工检测以及基于传统视觉算法的视觉设备的检测方式，由于采用人工检测的方式需要大量的质检员且检测精度受人为主观影响，并且基于传统视觉算法的视觉设备的检测方式，在更换产品款式时往往需要多次调整参数，难以实现高效自动化检测的技术问题。
根据本公开实施例的一个方面，提供了一种口罩外观缺陷检测系统，包括：图像处理服务器、用于采集待检测外观缺陷的口罩的口罩图像的图像采集装置，并且图像采集装置与图像处理服务器连接，其中图像处理服务器配置用于执行以下操作：从图像采集装置接收口罩图像；根据口罩图像，判定口罩是否存在外观缺陷；在判定口罩存在外观缺陷的情况下，利用预先训练的外观缺陷检测模型对口罩图像进行检测，确定外观缺陷在口罩图像中的缺陷位置信息；并且通过以下操作对外观缺陷检测模型进行优化：利用预设的CGAN模型和图像采集装置采集到的存在外观缺陷的口罩缺陷图像，生成多个样本缺陷图像；以及利用多个样本缺陷图像，重新训练外观缺陷检测模型。
根据本公开实施例的另一方面，还提供了一种口罩外观缺陷检测方法，包括：获取待检测外观缺陷的口罩的口罩图像；根据口罩图像，判定口罩是否存在外观缺陷；在判定口罩存在外观缺陷的情况下，利用预先训练的外观缺陷检测模型对口罩图像进行检测，确定外观缺陷在口罩图像中的缺陷位置信息；并且通过以下操作对外观缺陷检测模型进行优化：利用预设的CGAN模型和采集到的存在外观缺陷的口罩缺陷图像，生成多个样本缺陷图像；以及利用多个样本缺陷图像，重新训练外观缺陷检测模型。
根据本公开实施例的另一个方面，还提供了一种存储介质，存储介质包括存储的程序，其中，在程序运行时由处理器执行以上任意一项所述的方法。
根据本公开实施例的另一个方面，还提供了一种口罩外观缺陷检测装置，包括：获取模块，用于获取待检测外观缺陷的口罩的口罩图像；判定模块，用于根据口罩图像，判定口罩是否存在外观缺陷；检测模块，用于在判定口罩存在外观缺陷的情况下，利用预先训练的外观缺陷检测模型对口罩图像进行检测，确定外观缺陷在口罩图像中的缺陷位置信息；并且还包括模型优化模块，用于对外观缺陷检测模型进行优化，其中模型优化模块包括：生成子模块，用于利用预设的CGAN模型和采集到的存在外观缺陷的口罩缺陷图像，生成多个样本缺陷图像；以及重新训练子模块，用于利用多个样本缺陷图像，重新训练外观缺陷检测模型。
在本公开实施例中，采用CGAN模型，能在缺乏图像样本的情况下自行扩展生成样本图像，降低了深度学习普遍所需的庞大样本需求，使得基于深度学习的外观缺陷检测模型能够实现自动更新迭代，提高了整个图像处理服务器的灵活性和稳定性。同时图像处理服务器采用能够自动更新迭代的外观缺陷检测模型对口罩外观缺陷进行检测，提升了检测的精准度。此外，图像采集装置可以稳定采集口罩图像，提高检测效率。从而，本实施例所提出的口罩外观缺陷检测系统不仅可以对采集的口罩图像进行精准识别，还可以自行扩展样本数，减少了产线更换新产品时缺乏训练的样品图片难以进行深度学习训练的困难，提高了外观缺陷检测模型的覆盖率和精准度，实现了高效自动化的口罩外观缺陷检测。进而解决了现有技术中存在的口罩外观缺陷检测方法主要采用人工检测以及基于传统视觉算法的视觉设备的检测方式，由于采用人工检测的方式需要大量的质检员且检测精度受人为主观影响，并且基于传统视觉算法的视觉设备的检测方式，在更换产品款式时往往需要多次调整参数，难以实现高效自动化检测的技术问题。
附图说明
此处所说明的附图用来提供对本公开的进一步理解，构成本申请的一部分，本公开的示意性实施例及其说明用于解释本公开，并不构成对本公开的不当限定。在附图中：
图1是用于实现根据本公开实施例1所述的方法的计算设备的硬件结构框图；
图2是根据本公开实施例1所述的口罩外观缺陷检测系统的示意图；
图3是根据本公开实施例1的第一个方面所述的图像处理器执行操作的流程示意图；
图4是根据本公开实施例1所述的外观缺陷检测模型架构的示意图；
图5是根据本公开实施例1所述的特征提取模型架构的示意图；
图6是根据本公开实施例1所述的CGAN模型架构的示意图
图7是根据本公开实施例1所述的口罩外观缺陷检测系统的整体流程示意图；
图8a是根据本公开实施例1所述的环形红外光源口罩图像；
图8b是根据本公开实施例1所述的白色背光光源口罩图像；
图9a是根据本公开实施例1所述的图像采集系统的一个结构示意图；
图9b是根据本公开实施例1所述的图像采集系统的另一个结构示意图；
图10是根据本公开实施例1的第二个方面所述的口罩外观缺陷检测方法的流程示意图；以及
图11是根据本公开实施例2所述的口罩外观缺陷检测装置的示意图。
具体实施方式
为了使本技术领域的人员更好地理解本公开的技术方案，下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本公开一部分的实施例，而不是全部的实施例。基于本公开中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本公开保护的范围。
需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
实施例1
根据本实施例，提供了一种口罩外观缺陷检测方法实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
本实施例所提供的方法实施例可以在服务器或者类似的计算设备中执行。图1示出了一种用于实现口罩外观缺陷检测方法的计算设备的硬件结构框图。如图1所示，计算设备可以包括一个或多个处理器(处理器可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)、用于存储数据的存储器、以及用于通信功能的传输装置。除此以外，还可以包括：显示器、输入/输出接口(I/O接口)、通用串行总线(USB)端口(可以作为I/O接口的端口中的一个端口被包括)、网络接口、电源和/或相机。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述电子装置的结构造成限定。例如，计算设备还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。
应当注意到的是上述一个或多个处理器和/或其他数据处理电路在本文中通常可以被称为“数据处理电路”。该数据处理电路可以全部或部分的体现为软件、硬件、固件或其他任意组合。此外，数据处理电路可为单个独立的处理模块，或全部或部分的结合到计算设备中的其他元件中的任意一个内。如本公开实施例中所涉及到的，该数据处理电路作为一种处理器控制(例如与接口连接的可变电阻终端路径的选择)。
存储器可用于存储应用软件的软件程序以及模块，如本公开实施例中的口罩外观缺陷检测方法对应的程序指令/数据存储装置，处理器通过运行存储在存储器内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现上述的应用程序的口罩外观缺陷检测方法。存储器可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器可进一步包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至计算设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
传输装置用于经由一个网络接收或者发送数据。上述的网络具体实例可包括计算设备的通信供应商提供的无线网络。在一个实例中，传输装置包括一个网络适配器(Network Interface Controller，NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输装置可以为射频(Radio Frequency，RF)模块，其用于通过无线方式与互联网进行通讯。
显示器可以例如触摸屏式的液晶显示器(LCD)，该液晶显示器可使得用户能够与计算设备的用户界面进行交互。
此处需要说明的是，在一些可选实施例中，上述图1所示的计算设备可以包括硬件元件(包括电路)、软件元件(包括存储在计算机可读介质上的计算机代码)、或硬件元件和软件元件两者的结合。应当指出的是，图1仅为特定具体实例的一个实例，并且旨在示出可存在于上述计算设备中的部件的类型。
图2是根据本实施例第一个方面所述的口罩外观缺陷检测系统的示意图。参照图2所示，该系统包括：图像处理服务器、用于采集待检测外观缺陷的口罩的口罩图像的图像采集装置，并且图像采集装置与图像处理服务器连接。需要说明的是，系统中的图像处理服务器可适用上面的硬件结构。
在上述运行环境下，图3示出了图像处理服务器执行的操作的流程示意图，参考图3所示，包括：
S302：从图像采集装置接收口罩图像；
S304：根据口罩图像，判定口罩是否存在外观缺陷；
S306：在判定口罩存在外观缺陷的情况下，利用预先训练的外观缺陷检测模型对口罩图像进行检测，确定外观缺陷在口罩图像中的缺陷位置信息；以及
S308：通过以下操作对外观缺陷检测模型进行优化：利用预设的CGAN模型和图像采集装置采集到的存在外观缺陷的口罩缺陷图像，生成多个样本缺陷图像；以及利用多个样本缺陷图像，重新训练外观缺陷检测模型。
正如背景技术中的，目前主流的平面口罩质检方式是采取人工或基于传统视觉算法的视觉设备进行检测。采取人工检测的方式需要大量的口罩外观缺陷质检员，且检测精度受人为主观影响；采取基于传统视觉算法的视觉设备的方式，在更换产品款式时往往需要多次调整参数，难以实现高效自动化检测。
针对背景技术中存在的技术问题，具体地，本实施例所提供的口罩外观缺陷检测系统首先通过图像采集装置采集待检测外观缺陷的口罩的口罩图像，并将采集到的口罩图像发送至通信连接的图像处理服务器。其中，该口罩可以为无纺布平面口罩。然后通过图像处理服务器对口罩图像进行处理，判定口罩是否存在外观缺陷，并在口罩存在外观缺陷的情况下，利用基于深度学习的模型确定外观缺陷在口罩图像中的缺陷位置信息。
其中，图像处理服务器执行的操作步骤具体为：图像处理服务器从图像采集装置接收口罩图像。其中，所接收的口罩图像可以为口罩质量完好的口罩图像，也可以为口罩外观存在缺陷的口罩图像。因此，图像处理服务器需要根据口罩图像，判定口罩是否存在外观缺陷。其中，可以利用现有的识别模型对口罩图像进行识别检测，从而判定口罩是否存在外观缺陷。图像处理服务器在判定口罩存在外观缺陷的情况下，利用预先训练的外观缺陷检测模型对口罩图像进行检测，确定外观缺陷在口罩图像中的缺陷位置信息。其中，外观缺陷检测模型训练时采用的训练数据为大量的样本口罩缺陷图像，对应标记数据为样本口罩缺陷图像中的口罩位置和缺陷位置信息。从而，外观缺陷检测模型能够对口罩图像进行检测，确定外观缺陷在口罩图像中的缺陷位置信息，检测精度高。
进一步地，图像处理服务器根据图像采集装置采集到的存在外观缺陷的口罩缺陷图像和预设的CGAN模型对外观缺陷检测模型进行优化。具体为：首先将图像采集装置采集到的存在外观缺陷的口罩缺陷图像输入CGAN模型，生成多个样本缺陷图像。然后利用多个样本缺陷图像，重新训练外观缺陷检测模型。通过CGAN模型扩充口罩缺陷样本，CGAN模型可以主动生成与真实的口罩缺陷图像相似度非常高的样本缺陷图像。使得在更换产品款式时，不再需要多次调整外观缺陷检测模型的参数，而是通过图像采集装置采集更换产品款式的存在外观缺陷的新的口罩缺陷图像，然后将采集到的新的口罩缺陷图像输入预设的CGAN模型，输出多个样本缺陷图像，用于扩充口罩缺陷样本，并重新训练外观缺陷检测模型。
从而，通过这种方式，采用CGAN模型，能在缺乏图像样本的情况下自行扩展生成样本图像，降低了深度学习普遍所需的庞大样本需求，使得基于深度学习的外观缺陷检测模型能够实现自动更新迭代，提高了整个图像处理服务器的灵活性和稳定性。同时图像处理服务器采用能够自动更新迭代的外观缺陷检测模型对口罩外观缺陷进行检测，提升了检测的精准度。此外，图像采集装置可以稳定采集口罩图像，提高检测效率。从而，本实施例所提出的口罩外观缺陷检测系统不仅可以对采集的口罩图像进行精准识别，还可以自行扩展样本数，减少了产线更换新产品时缺乏训练的样品图片难以进行深度学习训练的困难，提高了外观缺陷检测模型的覆盖率和精准度，实现了高效自动化的口罩外观缺陷检测。进而解决了现有技术中存在的口罩外观缺陷检测方法主要采用人工检测以及基于传统视觉算法的视觉设备的检测方式，由于采用人工检测的方式需要大量的质检员且检测精度受人为主观影响，并且基于传统视觉算法的视觉设备的检测方式，在更换产品款式时往往需要多次调整参数，难以实现高效自动化检测的技术问题。
可选地，利用预先训练的外观缺陷检测模型对口罩图像进行检测，确定外观缺陷在口罩图像中的缺陷位置信息的操作，包括：利用外观缺陷检测模型中的特征提取模型，提取口罩图像的缺陷特征图像；利用外观缺陷检测模型中的候选区域生成模型，基于缺陷特征图像，生成包含外观缺陷的多个候选图像区域；利用外观缺陷检测模型中的分类定位模型，基于多个候选图像区域，确定外观缺陷在口罩图像中的缺陷位置信息。
具体地，参照图4图像处理服务器首先利用外观缺陷检测模型中的特征提取模型，提取口罩图像的缺陷特征图像。其中，参照图5所示，特征提取模型包括多个共享卷积层，特征提取模型输入层为图像采集装置采集到的口罩图像，示例性的，口罩图像的大小为320×320，有RGB(红绿蓝)三通道，即输入图像的尺寸为320×320×3，即输入图像为3个特征二维矩阵。进一步地，在本实施例中，选择优化后的特征提取模型对口罩图像进行缺陷特征图像的提取。其中，优化后的特征提取模型的共享卷积层的层数为5层。参照图4所示，第一层的输入图像的尺寸为320×320×3，输出的缺陷特征图像的的尺寸为320×320×64。经过5层共享卷积层的运算后，最后输出的缺陷特征图像的尺寸为20×20×64。其中，第一层包含64个3×3卷积核，第二至五层包含64个1×1卷积核，并且在第二至五层中加入Relu层，用于将线性数据转换为非线性数据，使得函数可导。此外，在第二至五层加入池化层，核尺寸为2，步长为2。
进一步地，参照图4所示，将特征提取模型输出的缺陷特征图像输入候选区域生成模型，输出包含外观缺陷的多个候选图像区域。其中，在将缺陷特征图像(尺寸为20×20×64)输入候选区域生成模型后，首先经过一个3×3卷积运算，目的为再集中特征信息，生成一个尺寸为20×20×256的缺陷特征图像。此外，所生成的候选图像区域的数量是可调节的，示例性的，可以预设生成9个候选图像区域。
在一个优选实施例中，参照图4所示，在将多个候选图像区域输入分类定位模型之前，先将多个候选图像区域输入池化层，输出统一尺寸的多个候选图像区域；将统一尺寸的多个候选图像区域输入外观缺陷检测模型中的第一全连接层，输出多个候选区域向量；以及将统一尺寸的多个候选图像区域输入外观缺陷检测模型中的第二全连接层，输出多个候选图像区域的调整因子。
具体地，池化层采用ROI池化层，将多个候选图像区域映射为统一尺寸的候选图像区域，例如将多个候选图像区域映射为大小为5×5×64的多个候选图像区域，解决了多个候选图像区域截取图像尺寸过大。进一步地，参照图4所示，将统一尺寸的多个候选图像区域输入外观缺陷检测模型中的第一全连接层，输出多个候选区域向量。并且，将统一尺寸的多个候选图像区域输入外观缺陷检测模型中的第二全连接层，输出多个候选图像区域的调整因子。其中，调整因子为四个坐标信息(Δx,Δy,Δw,Δh)，用于指示多个候选图像区域相对于原始图像(即图像采集装置采集到的口罩图像)的偏移。
在另一个优选实施例中，参照图4所示，利用外观缺陷检测模型中的分类定位模型，基于多个候选图像区域，确定外观缺陷在口罩图像中的缺陷位置信息的操作，包括：将多个候选区域向量输入分类定位模型中的分类模型，输出多个候选图像区域属于预设类别的概率值；利用分类定位模型中的回归模型，基于统一尺寸的多个候选图像区域和调整因子，确定口罩图像中的多个图像区域，其中调整因子用于指示多个候选图像区域和多个图像区域之间的映射关系；利用层次聚类算法和非极大值抑制算法，基于多个候选图像区域属于预设类别的概率值，从多个图像区域中确定目标图像区域；以及将目标图像区域在口罩图像中的位置信息确定为外观缺陷在口罩图像中的缺陷位置信息。
具体地，分类定位模型例如为Faster R-CNN模型，包括分类模型和定位模型，其中分类模型可以使用Softmax分类器，定位模型可以使用回归器。参照图4所示，图像处理服务器在确定外观缺陷在口罩图像中的缺陷位置信息的操作过程中，首先将第一全连接层输出的多个候选区域向量输入Softmax分类器，输出多个候选图像区域属于预设类别的概率值。其中，预设类别分为前景图像和背景图像，即输出各候选图像区域所框出的图像属于前景图像和背景图像的概率值，可以用分数进行定义。进一步地，将第二全连接层输出的调整因子和统一尺寸的多个候选图像区域一同输入回归模型，将多个候选图像区域一一映射至原始图像(即，口罩图像)，确定口罩图像中的多个图像区域。最后，利用层次聚类算法和非极大值抑制算法，基于多个候选图像区域属于预设类别的概率值，从多个图像区域中确定目标图像区域，并将目标图像区域在口罩图像中的位置信息确定为外观缺陷在口罩图像中的缺陷位置信息。其中，多个候选图像区域属于预设类别的概率值即为多个图像区域属于预设类别的概率值，使用层次聚类算法，对多个多个图像区域进行筛选，例如首先筛选掉前景图像的概率值小于背景图像的概率值的图像区域，然后筛选掉前景图像的概率值小于预设阈值的图像区域。并且，使用非极大值抑制算法剔除掉重叠的图像区域。通过这种方式，能够得到更精准的目标图像区域，从而得到更加精准的缺陷位置信息。
此外，还可以使用梯度下降算法作为反馈系统，利用每轮减小损失函数的数值，修改每层训练的权重值w，实现外观缺陷检测模型精度的提高，将Softmax分类器和回归器结合在一起，通过反向传播更新所有参数，实现整个网络端到端的训练。
此外，关于共享卷积层的优化设计如下所示：
在正向传播过程中，采用改进后的共享卷积网络提取缺陷特征图像。在卷积运算中，设输入样本有K个M(i)i＝1,2,3…k，每个样本有t维，即M(i)＝{m(1)m(2)…m(t)}，其中m为n×n的二维矩阵，卷积核为3×3矩阵，具有L个
Figure BDA0002575994660000101
每个卷积核输出公式为：
Figure BDA0002575994660000102
其中m`是在计算前给m周围填充0的矩阵，为保证卷积后大小不变，
即mn*n→m`(n+2)*(n+2)，
Figure BDA0002575994660000103
矩阵如下：
Figure BDA0002575994660000104
正向传播使用的卷积公式如下，其中i→a∈[1,s-1]，j→b∈[1,s-1]。
Figure BDA0002575994660000105
输出为Y＝φ(υ)，其中，φ(υ)是激活函数，本文采用Relu激活函数，如下：
Figure BDA0002575994660000106
从而，采用改进后的共享卷积神经网络模型，降低了特征提取模型的层数，提高了特征提取模型精度，减少了特征提取模型运行时间。此外，还优化了候选区域生成模型，降低无效候选图像区域的数量，优化缺陷的候选图像区域，减少候选图像区域批量重复的数量，缩短候选区域生成模型的运时间。使用改进后的Faster R-CNN口罩缺陷分类和共享卷积层、RPN网络优化设计，进一步提高了模型的精度。
在一个优选实施例中，利用预设的CGAN模型和图像采集装置采集到的存在外观缺陷的口罩缺陷图像，生成多个样本缺陷图像的操作，包括：利用CGAN模型中的生成模型，基于口罩缺陷图像，生成多个样本缺陷图像。在另一个优选实施例中，利用预设的CGAN模型和图像采集装置采集到的存在外观缺陷的口罩缺陷图像，生成多个样本缺陷图像的操作，还包括：将多个样本缺陷图像和真实缺陷图像作为输入图像输入CGAN模型中的判别模型，输出每一输入图像属于真实缺陷图像的概率值；以及根据所输出的每一输入图像属于真实缺陷图像的概率值，对生成模型进行优化。
具体地，参照图6所示，CGAN模型包含一个生成模型G和一个判别模型D。生成模型G通过对口罩图像进行建模，输入数据有随机变量、标签和口罩图像，输出样本缺陷图像。通过不断的微调随机变量，能够输出多个样本缺陷图像。进一步地，将多个样本缺陷图像和真实缺陷图像作为输入图像，与标签一同输入判别模型D，输出每一输入图像属于真实缺陷图像的概率值。通过判别模型D和生成模型G进行博弈，训练过程中通过竞争使两个模型同时增强，由于判别模型D的存在，使得生成模型G在没有大量先验样本的前提下很好的学习并逼近真实数据，最后使得CGAN模型生成的样本缺陷图像中包含的口罩缺陷和真实的口罩缺陷比较相似。
可选地，口罩图像为环形红外光源口罩图像，并且图像采集装置包括红外增强CCD相机10、环形红外光源20、第一传感器30以及非透光传送设备40，其中红外增强CCD相机10用于采集环形红外光源口罩图像的红外增强CCD相机10；环形红外光源20设置于红外增强CCD相机10的采集侧，用于为红外增强CCD相机10提供环形红外光；非透光传送设备40设置于环形红外光源20的前方，用于传送待检测外观缺陷的口罩；以及第一传感器30设置于非透光传送设备40的靠近环形红外光源20的一侧的前端。
具体地，图8a示例性的示出了图像采集装置采集到的环形红外光源口罩图像。参照图9a所示，在需要采集环形红外光源口罩图像的情况下，图像采集装置包括红外增强CCD相机10、环形红外光源20、第一传感器30以及非透光传送设备40。待检测外观缺陷的口罩在非透光传送设备40上传输，到预定位置后通过第一传感器30触发图像采集系统进行第一次拍摄，环形红外光源20点亮，红外增强CCD相机10采集获取环形红外光源口罩图像，可获取口罩的表面细节图像。通过这种方式，使用了环形红外光源20代替常用的白色条形LED光源或自然光，配合红外增强CCD相机10，减少不同口罩材质和生产环境对光源的影响，使获取的表面缺陷信息更为准确。
可选地，口罩图像为白色背光光源口罩图像，并且图像采集装置包括CCD相机50、第二传感器60、透明传送设备70以及白色背光光源80，其中CCD相机50用于采集白色背光光源口罩图像；透明传送设备70设置于CCD相机50的采集侧，用于传送待检测外观缺陷的口罩；第二传感器60设置于透明传送设备70的靠近CCD相机50的一侧的前端；以及白色背光光源80设置于透明传送设备70的用于放置口罩的一侧的相对侧。
具体地，图8b示例性的示出了图像采集装置采集到的白色背光光源口罩图像。参照图9b所示，在需要采集白色背光光源口罩图像的情况下，图像采集装置包括CCD相机50、第二传感器60、透明传送设备70以及白色背光光源80。待检测外观缺陷的口罩传输到透明传送设备70，到预定位置后通过第二传感器60触发图像采集系统进行第二次拍摄，白色背光光源80点亮，光源透过透明传送设备70，CCD相机50采集获取白色背光光源口罩图像。具体为，白色背光光源80发射出的光线经过透明传送设备70后透过平面口罩，配合CCD相机50进行图像采集，可获取包含平面口罩耳线和鼻线的整体轮廓图像。通过这种方式，使用了白色背光光源80、CCD相机50和透明传送设备70组合，实现了流水线传送设备实时检测口罩主要尺寸，减少了产品转移至检测工位的装置和工序，提高了设备的实用性和检测效率。
综上，在本实施中，口罩外观缺陷检测系统主要由图像采集装置(白色背光光源80、环形红外光源20、CCD相机50、红外增强CCD相机10组成)以及基于深度学习算法的图像处理服务器组成。由图像采集装置采集无纺布口罩图像，在采集口罩图像的过程中，环形红外光源20点亮，红外增强CCD相机10采集获取环形红外光源口罩图像，随后环形红外光源20熄灭，白色背光光源80点亮，CCD相机50采集获取白色背光光源口罩图像。图像处理服务器对图像采集装置采集到的口罩图像进行分析计算，从而实现对口罩的外观质量检测。
并且，参照图7所示，图像处理服务器采用了基于深度学习的外观缺陷检测模型，其中采用了CGAN模型和改进后的Faster R-CNN模型，能在缺乏图像样本的情况下自行扩展生成样本图片，降低了深度学习普遍所需的庞大样本需求，提高了整个图像处理服务器的灵活性和稳定性。同时图像处理服务器优化了共享卷积层和RPN网络优化设计，提升了外观缺陷检测模型模型的精准度。图像采集装置可以在生产线传送设备上稳定采集图像，提高检测效率。图像处理服务器可以对采集的图像进行精准识别，同时可以自行扩展样本数，减少了产线更换新产品时缺乏训练的样品图片难以进行深度学习训练的困难，从而实现了全自动无纺布平面口罩外观缺陷检测。
此外，根据本实施例的第二个方面，提供了一种口罩外观缺陷检测方法，该方法由图2中所示的图像处理服务器实现。图10示出了该方法的流程示意图，参考图10所示，该方法包括：
S1002：获取待检测外观缺陷的口罩的口罩图像；
S1004：根据口罩图像，判定口罩是否存在外观缺陷；
S1006：在判定口罩存在外观缺陷的情况下，利用预先训练的外观缺陷检测模型对口罩图像进行检测，确定外观缺陷在口罩图像中的缺陷位置信息；并且
S1008：通过以下操作对外观缺陷检测模型进行优化：利用预设的CGAN模型和采集到的存在外观缺陷的口罩缺陷图像，生成多个样本缺陷图像；以及利用多个样本缺陷图像，重新训练外观缺陷检测模型。
可选地，利用预先训练的外观缺陷检测模型对口罩图像进行检测，确定外观缺陷在口罩图像中的缺陷位置信息的操作，包括：利用外观缺陷检测模型中的特征提取模型，提取口罩图像的缺陷特征图像；利用外观缺陷检测模型中的候选区域生成模型，基于缺陷特征图像，生成包含外观缺陷的多个候选图像区域；利用外观缺陷检测模型中的分类定位模型，基于多个候选图像区域，确定外观缺陷在口罩图像中的缺陷位置信息。
可选地，利用外观缺陷检测模型中的分类定位模型，基于多个候选图像区域，确定外观缺陷在口罩图像中的缺陷位置信息的操作之前，包括：将多个候选图像区域输入外观缺陷检测模型中的池化层，输出统一尺寸的多个候选图像区域；将统一尺寸的多个候选图像区域输入外观缺陷检测模型中的第一全连接层，输出多个候选区域向量；以及将统一尺寸的多个候选图像区域输入外观缺陷检测模型中的第二全连接层，输出多个候选图像区域的调整因子。
可选地，利用外观缺陷检测模型中的分类定位模型，基于多个候选图像区域，确定外观缺陷在口罩图像中的缺陷位置信息的操作，包括：将多个候选区域向量输入分类定位模型中的分类模型，输出多个候选图像区域属于预设类别的概率值；利用分类定位模型中的回归模型，基于统一尺寸的多个候选图像区域和调整因子，确定口罩图像中的多个图像区域，其中调整因子用于指示多个候选图像区域和多个图像区域之间的映射关系；利用层次聚类算法和非极大值抑制算法，基于多个候选图像区域属于预设类别的概率值，从多个图像区域中确定目标图像区域；以及将目标图像区域在口罩图像中的位置信息确定为外观缺陷在口罩图像中的缺陷位置信息。
可选地，利用预设的CGAN模型和图像采集装置采集到的存在外观缺陷的口罩缺陷图像，生成多个样本缺陷图像的操作，包括：利用CGAN模型中的生成模型，基于口罩缺陷图像，生成多个样本缺陷图像。
可选地，还包括：将多个样本缺陷图像和真实缺陷图像作为输入图像输入CGAN模型中的判别模型，输出每一输入图像属于真实缺陷图像的概率值；以及根据所输出的每一输入图像属于真实缺陷图像的概率值，对生成模型进行优化。
本实施例第二方面提供的口罩外观缺陷检测方法可以参照第一方面提供的图像处理服务器中的所有描述，并且能够实现第一方面提供的图像处理服务器的所有功能，这里不再赘述。
此外，参考图1所示，根据本实施例的第三个方面，提供了一种存储介质。存储介质包括存储的程序，其中，在程序运行时由处理器执行以上任意一项所述的方法。
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本发明所必须的。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
实施例2
图11示出了根据本实施例所述的口罩外观缺陷检测装置1100，该装置1100与根据实施例1的第二个方面所述的方法相对应。参考图11所示，该装置1100包括：获取模块1110，用于获取待检测外观缺陷的口罩的口罩图像；判定模块1120，用于根据口罩图像，判定口罩是否存在外观缺陷；检测模块1130，用于在判定口罩存在外观缺陷的情况下，利用预先训练的外观缺陷检测模型对口罩图像进行检测，确定外观缺陷在口罩图像中的缺陷位置信息；并且还包括模型优化模块1140，用于对外观缺陷检测模型进行优化，其中模型优化模块1140包括：生成子模块1141，用于利用预设的CGAN模型和采集到的存在外观缺陷的口罩缺陷图像，生成多个样本缺陷图像；以及重新训练子模块1142，用于利用多个样本缺陷图像，重新训练外观缺陷检测模型。
可选地，检测模块1130，包括：特征提取子模块，用于利用外观缺陷检测模型中的特征提取模型，提取口罩图像的缺陷特征图像；候选图像区域生成子模型，用于利用外观缺陷检测模型中的候选区域生成模型，基于缺陷特征图像，生成包含外观缺陷的多个候选图像区域；缺陷位置信息确定子模块，用于利用外观缺陷检测模型中的分类定位模型，基于多个候选图像区域，确定外观缺陷在口罩图像中的缺陷位置信息。
可选地，检测模块1130，还包括：统一尺寸子模块，用于将多个候选图像区域输入外观缺陷检测模型中的池化层，输出统一尺寸的多个候选图像区域；第一全连接模块，用于将统一尺寸的多个候选图像区域输入外观缺陷检测模型中的第一全连接层，输出多个候选区域向量；以及第二全连接模块，用于将统一尺寸的多个候选图像区域输入外观缺陷检测模型中的第二全连接层，输出多个候选图像区域的调整因子。
可选地，缺陷位置信息确定子模块，包括：分类单元，用于将多个候选区域向量输入分类定位模型中的分类模型，输出多个候选图像区域属于预设类别的概率值；回归单元，用于利用分类定位模型中的回归模型，基于统一尺寸的多个候选图像区域和调整因子，确定口罩图像中的多个图像区域，其中调整因子用于指示多个候选图像区域和多个图像区域之间的映射关系；计算单元，用于利用层次聚类算法和非极大值抑制算法，基于多个候选图像区域属于预设类别的概率值，从多个图像区域中确定目标图像区域；以及缺陷位置信息确定单元，用于将目标图像区域在口罩图像中的位置信息确定为外观缺陷在口罩图像中的缺陷位置信息。
可选地，生成子模块1141，包括：生成单元，用于利用CGAN模型中的生成模型，基于口罩缺陷图像，生成多个样本缺陷图像。
可选地，生成子模块1141，还包括：判别单元，用于将多个样本缺陷图像和真实缺陷图像作为输入图像输入CGAN模型中的判别模型，输出每一输入图像属于真实缺陷图像的概率值；以及优化单元，用于根据所输出的每一输入图像属于真实缺陷图像的概率值，对生成模型进行优化。
从而根据本实施例，采用CGAN模型，能在缺乏图像样本的情况下自行扩展生成样本图像，降低了深度学习普遍所需的庞大样本需求，使得基于深度学习的外观缺陷检测模型能够实现自动更新迭代，提高了整个图像处理服务器的灵活性和稳定性。同时图像处理服务器采用能够自动更新迭代的外观缺陷检测模型对口罩外观缺陷进行检测，提升了检测的精准度。此外，图像采集装置可以稳定采集口罩图像，提高检测效率。从而，本实施例所提出的口罩外观缺陷检测系统不仅可以对采集的口罩图像进行精准识别，还可以自行扩展样本数，减少了产线更换新产品时缺乏训练的样品图片难以进行深度学习训练的困难，提高了外观缺陷检测模型的覆盖率和精准度，实现了高效自动化的口罩外观缺陷检测。进而解决了现有技术中存在的口罩外观缺陷检测方法主要采用人工检测以及基于传统视觉算法的视觉设备的检测方式，由于采用人工检测的方式需要大量的质检员且检测精度受人为主观影响，并且基于传统视觉算法的视觉设备的检测方式，在更换产品款式时往往需要多次调整参数，难以实现高效自动化检测的技术问题。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，RandomAccess Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种口罩外观缺陷检测系统，其特征在于，包括：图像处理服务器、用于采集待检测外观缺陷的口罩的口罩图像的图像采集装置，并且所述图像采集装置与所述图像处理服务器连接，其中所述图像处理服务器配置用于执行以下操作：
从所述图像采集装置接收所述口罩图像；
根据所述口罩图像，判定所述口罩是否存在外观缺陷；
在判定所述口罩存在外观缺陷的情况下，利用预先训练的外观缺陷检测模型对所述口罩图像进行检测，确定所述外观缺陷在所述口罩图像中的缺陷位置信息；并且
通过以下操作对所述外观缺陷检测模型进行优化：
利用预设的CGAN模型和所述图像采集装置采集到的存在外观缺陷的口罩缺陷图像，生成多个样本缺陷图像；以及
利用所述多个样本缺陷图像，重新训练所述外观缺陷检测模型。
2.根据权利要求1所述的系统，其特征在于，利用预先训练的外观缺陷检测模型对所述口罩图像进行检测，确定所述外观缺陷在所述口罩图像中的缺陷位置信息的操作，包括：
利用所述外观缺陷检测模型中的特征提取模型，提取所述口罩图像的缺陷特征图像；
利用所述外观缺陷检测模型中的候选区域生成模型，基于所述缺陷特征图像，生成包含所述外观缺陷的多个候选图像区域；
利用所述外观缺陷检测模型中的分类定位模型，基于所述多个候选图像区域，确定所述外观缺陷在所述口罩图像中的缺陷位置信息。
3.根据权利要求2所述的系统，其特征在于，利用所述外观缺陷检测模型中的分类定位模型，基于所述多个候选图像区域，确定所述外观缺陷在所述口罩图像中的缺陷位置信息的操作之前，包括：
将所述多个候选图像区域输入所述外观缺陷检测模型中的池化层，输出统一尺寸的多个候选图像区域；
将所述统一尺寸的多个候选图像区域输入所述外观缺陷检测模型中的第一全连接层，输出多个候选区域向量；以及
将所述统一尺寸的多个候选图像区域输入所述外观缺陷检测模型中的第二全连接层，输出多个候选图像区域的调整因子。
4.根据权利要求3所述的系统，其特征在于，利用所述外观缺陷检测模型中的分类定位模型，基于所述多个候选图像区域，确定所述外观缺陷在所述口罩图像中的缺陷位置信息的操作，包括：
将所述多个候选区域向量输入所述分类定位模型中的分类模型，输出所述多个候选图像区域属于预设类别的概率值；
利用所述分类定位模型中的回归模型，基于所述统一尺寸的多个候选图像区域和所述调整因子，确定所述口罩图像中的多个图像区域，其中所述调整因子用于指示所述多个候选图像区域和所述多个图像区域之间的映射关系；
利用层次聚类算法和非极大值抑制算法，基于所述多个候选图像区域属于预设类别的概率值，从所述多个图像区域中确定目标图像区域；以及
将所述目标图像区域在所述口罩图像中的位置信息确定为所述外观缺陷在所述口罩图像中的缺陷位置信息。
5.根据权利要求1所述的系统，其特征在于，利用预设的CGAN模型和所述图像采集装置采集到的存在外观缺陷的口罩缺陷图像，生成多个样本缺陷图像的操作，包括：利用所述CGAN模型中的生成模型，基于所述口罩缺陷图像，生成所述多个样本缺陷图像。
6.根据权利要求5所述的系统，其特征在于，还包括：
将所述多个样本缺陷图像和真实缺陷图像作为输入图像输入所述CGAN模型中的判别模型，输出每一所述输入图像属于真实缺陷图像的概率值；以及
根据所输出的每一所述输入图像属于真实缺陷图像的概率值，对所述生成模型进行优化。
7.根据权利要求1所述的系统，其特征在于，所述口罩图像为环形红外光源口罩图像，并且所述图像采集装置包括红外增强CCD相机(10)、环形红外光源(20)、第一传感器(30)以及非透光传送设备(40)，其中
所述红外增强CCD相机(10)用于采集所述环形红外光源口罩图像的红外增强CCD相机(10)；
所述环形红外光源(20)设置于所述红外增强CCD相机(10)的采集侧，用于为所述红外增强CCD相机(10)提供环形红外光；
所述非透光传送设备(40)设置于所述环形红外光源(20)的前方，用于传送待检测外观缺陷的口罩；以及
所述第一传感器(30)设置于所述非透光传送设备(40)的靠近所述环形红外光源(20)的一侧的前端。
8.根据权利要求1所述的系统，其特征在于，所述口罩图像为白色背光光源口罩图像，并且所述图像采集装置包括CCD相机(50)、第二传感器(60)、透明传送设备(70)以及白色背光光源(80)，其中
所述CCD相机(50)用于采集所述白色背光光源口罩图像；
所述透明传送设备(70)设置于所述CCD相机(50)的采集侧，用于传送待检测外观缺陷的口罩；
所述第二传感器(60)设置于所述透明传送设备(70)的靠近所述CCD相机(50)的一侧的前端；以及
所述白色背光光源(80)设置于所述透明传送设备(70)的用于放置所述口罩的一侧的相对侧。
9.一种口罩外观缺陷检测方法，其特征在于，包括：
获取待检测外观缺陷的口罩的口罩图像；
根据所述口罩图像，判定所述口罩是否存在外观缺陷；
在判定所述口罩存在外观缺陷的情况下，利用预先训练的外观缺陷检测模型对所述口罩图像进行检测，确定所述外观缺陷在所述口罩图像中的缺陷位置信息；并且
通过以下操作对所述外观缺陷检测模型进行优化：
利用预设的CGAN模型和采集到的存在外观缺陷的口罩缺陷图像，生成多个样本缺陷图像；以及
利用所述多个样本缺陷图像，重新训练所述外观缺陷检测模型。
10.一种存储介质，其特征在于，所述存储介质包括存储的程序，其中，在所述程序运行时由处理器执行权利要求9所述的方法。
CN202010659677.1A 2020-07-08 2020-07-08 口罩外观缺陷检测系统、方法、装置以及存储介质 Pending CN111768404A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010659677.1A CN111768404A (zh) 2020-07-08 2020-07-08 口罩外观缺陷检测系统、方法、装置以及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010659677.1A CN111768404A (zh) 2020-07-08 2020-07-08 口罩外观缺陷检测系统、方法、装置以及存储介质

Publications (1)

Publication Number Publication Date
CN111768404A true CN111768404A (zh) 2020-10-13

Family

ID=72726652

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010659677.1A Pending CN111768404A (zh) 2020-07-08 2020-07-08 口罩外观缺陷检测系统、方法、装置以及存储介质

Country Status (1)

Country Link
CN (1) CN111768404A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112268907A (zh) * 2020-10-16 2021-01-26 江苏世恒医疗科技有限公司 一种用于口罩加工生产的视觉检测系统
CN113052865A (zh) * 2021-04-16 2021-06-29 南通大学 一种基于图像相似度的输电线路小样本温度图像扩增方法
CN114527075A (zh) * 2022-02-28 2022-05-24 中科芯集成电路有限公司 一种口罩缺陷检测装置及方法
CN115876804A (zh) * 2023-02-20 2023-03-31 深圳市信仪旺实业有限公司 一种口罩缺陷视觉检测方法及系统

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104155312A (zh) * 2014-08-11 2014-11-19 华北水利水电大学 基于近红外计算机视觉的粮粒内部害虫检测方法和装置
CN106875381A (zh) * 2017-01-17 2017-06-20 同济大学 一种基于深度学习的手机外壳缺陷检测方法
CN107749058A (zh) * 2017-10-23 2018-03-02 中南大学 一种锅炉管道表面缺陷的机器视觉检测方法及系统
CN208607163U (zh) * 2018-07-25 2019-03-15 哈工大机器人（合肥）国际创新研究院 一种透明件缺陷检测装置
CN109902584A (zh) * 2019-01-28 2019-06-18 深圳大学 一种口罩缺陷的识别方法、装置、设备及存储介质
US20190213734A1 (en) * 2018-01-09 2019-07-11 Beijing Baidu Netcom Science And Technology Co., Ltd. Method and device for detecting a defect in a steel plate, as well as apparatus and server therefor
CN110148130A (zh) * 2019-05-27 2019-08-20 北京百度网讯科技有限公司 用于检测零件缺陷的方法和装置
US20190303717A1 (en) * 2018-03-28 2019-10-03 Kla-Tencor Corporation Training a neural network for defect detection in low resolution images
CN110458807A (zh) * 2019-07-09 2019-11-15 常州大学 一种铁路轨道缺陷机器视觉检测系统
CN111199531A (zh) * 2019-12-27 2020-05-26 中国民航大学 基于泊松图像融合及图像风格化的交互式数据扩展方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104155312A (zh) * 2014-08-11 2014-11-19 华北水利水电大学 基于近红外计算机视觉的粮粒内部害虫检测方法和装置
CN106875381A (zh) * 2017-01-17 2017-06-20 同济大学 一种基于深度学习的手机外壳缺陷检测方法
CN107749058A (zh) * 2017-10-23 2018-03-02 中南大学 一种锅炉管道表面缺陷的机器视觉检测方法及系统
US20190213734A1 (en) * 2018-01-09 2019-07-11 Beijing Baidu Netcom Science And Technology Co., Ltd. Method and device for detecting a defect in a steel plate, as well as apparatus and server therefor
US20190303717A1 (en) * 2018-03-28 2019-10-03 Kla-Tencor Corporation Training a neural network for defect detection in low resolution images
CN208607163U (zh) * 2018-07-25 2019-03-15 哈工大机器人（合肥）国际创新研究院 一种透明件缺陷检测装置
CN109902584A (zh) * 2019-01-28 2019-06-18 深圳大学 一种口罩缺陷的识别方法、装置、设备及存储介质
CN110148130A (zh) * 2019-05-27 2019-08-20 北京百度网讯科技有限公司 用于检测零件缺陷的方法和装置
CN110458807A (zh) * 2019-07-09 2019-11-15 常州大学 一种铁路轨道缺陷机器视觉检测系统
CN111199531A (zh) * 2019-12-27 2020-05-26 中国民航大学 基于泊松图像融合及图像风格化的交互式数据扩展方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
李明: "基于深度学习的工业图像分类与检测系统设计", 《中国优秀硕士学位论文全文数据库 信息科技辑》, no. 2, pages 138 - 1331 *
肖标: "无纺布口罩自动在线检测技术研究", 《中国优秀硕士学位论文全文数据库 工程科技Ⅰ辑》, no. 3, pages 024 - 462 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112268907A (zh) * 2020-10-16 2021-01-26 江苏世恒医疗科技有限公司 一种用于口罩加工生产的视觉检测系统
CN113052865A (zh) * 2021-04-16 2021-06-29 南通大学 一种基于图像相似度的输电线路小样本温度图像扩增方法
CN113052865B (zh) * 2021-04-16 2023-12-19 南通大学 一种基于图像相似度的输电线路小样本温度图像扩增方法
CN114527075A (zh) * 2022-02-28 2022-05-24 中科芯集成电路有限公司 一种口罩缺陷检测装置及方法
CN115876804A (zh) * 2023-02-20 2023-03-31 深圳市信仪旺实业有限公司 一种口罩缺陷视觉检测方法及系统

Similar Documents

Publication Publication Date Title
CN111768404A (zh) 口罩外观缺陷检测系统、方法、装置以及存储介质
CN104361314B (zh) 基于红外与可见光图像融合的变电设备定位方法及装置
CN107103613B (zh) 一种三维手势姿态估计方法
CN111126325B (zh) 一种基于视频的智能人员安防识别统计方法
CN106469302A (zh) 一种基于人工神经网络的人脸肤质检测方法
CN110232696A (zh) 一种图像区域分割的方法、模型训练的方法及装置
CN108765278A (zh) 一种图像处理方法、移动终端及计算机可读存储介质
CN109344786A (zh) 目标识别方法、装置及计算机可读存储介质
CN107145833A (zh) 人脸区域的确定方法和装置
CN108229277A (zh) 手势识别、控制及神经网络训练方法、装置及电子设备
CN110263768A (zh) 一种基于深度残差网络的人脸识别方法
Jalab et al. Human computer interface using hand gesture recognition based on neural network
CN109284735B (zh) 鼠情监控方法、装置及存储介质
CN110232326A (zh) 一种三维物体识别方法、装置及存储介质
CN109410211A (zh) 一种图像中目标物体的分割方法及装置
CN111339831A (zh) 一种照明灯控制方法和系统
CN113160966B (zh) 一种基于多任务学习的舌象诊断方法及舌象诊断系统
CN113205560A (zh) 多深度相机的标定方法、装置、设备及存储介质
CN111860629A (zh) 首饰分类系统、方法、装置以及存储介质
CN114549489A (zh) 一种面向雕花口红质检的实例分割缺陷检测方法
CN114782714A (zh) 一种基于上下文信息融合的图像匹配方法及装置
CN110414539A (zh) 一种提取特征描述信息的方法和相关装置
CN114266967A (zh) 基于符号距离特征的跨源遥感数据目标识别方法
CN110472537B (zh) 一种自适应识别方法、装置、设备及介质
CN107944340A (zh) 一种结合直接度量和间接度量的行人再识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination