CN112651970A - 基于样本集的单一背景下的目标仿真技术 - Google Patents
基于样本集的单一背景下的目标仿真技术 Download PDFInfo
- Publication number
- CN112651970A CN112651970A CN202110181821.XA CN202110181821A CN112651970A CN 112651970 A CN112651970 A CN 112651970A CN 202110181821 A CN202110181821 A CN 202110181821A CN 112651970 A CN112651970 A CN 112651970A
- Authority
- CN
- China
- Prior art keywords
- defect
- industrial
- image
- innovation
- defective
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000004088 simulation Methods 0.000 title claims abstract description 14
- 238000005516 engineering process Methods 0.000 title claims abstract description 11
- 230000007547 defect Effects 0.000 claims abstract description 82
- 238000013135 deep learning Methods 0.000 claims abstract description 15
- 238000000034 method Methods 0.000 claims abstract description 13
- 230000002950 deficient Effects 0.000 claims abstract description 11
- 238000001514 detection method Methods 0.000 claims abstract description 9
- 238000012545 processing Methods 0.000 claims abstract description 4
- 239000012788 optical film Substances 0.000 claims description 9
- 238000012549 training Methods 0.000 claims description 7
- 238000013528 artificial neural network Methods 0.000 claims description 5
- 238000007373 indentation Methods 0.000 claims description 4
- 239000004753 textile Substances 0.000 claims description 2
- 230000003287 optical effect Effects 0.000 claims 2
- 239000000853 adhesive Substances 0.000 claims 1
- 230000001070 adhesive effect Effects 0.000 claims 1
- 239000002313 adhesive film Substances 0.000 claims 1
- 239000011521 glass Substances 0.000 claims 1
- 239000003292 glue Substances 0.000 claims 1
- 238000004422 calculation algorithm Methods 0.000 abstract description 6
- 238000004519 manufacturing process Methods 0.000 abstract description 5
- 230000011218 segmentation Effects 0.000 abstract description 3
- 230000006870 function Effects 0.000 abstract description 2
- 238000011179 visual inspection Methods 0.000 abstract description 2
- 230000000694 effects Effects 0.000 description 17
- 239000000428 dust Substances 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- 239000002245 particle Substances 0.000 description 7
- 239000011159 matrix material Substances 0.000 description 5
- 239000002023 wood Substances 0.000 description 4
- 238000007689 inspection Methods 0.000 description 3
- 238000002372 labelling Methods 0.000 description 3
- 238000011109 contamination Methods 0.000 description 2
- 238000005498 polishing Methods 0.000 description 2
- 210000002268 wool Anatomy 0.000 description 2
- 230000002411 adverse Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 239000011093 chipboard Substances 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000009792 diffusion process Methods 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000000873 masking effect Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
- G06F30/20—Design optimisation, verification or simulation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20092—Interactive image processing based on input by user
- G06T2207/20104—Interactive definition of region of interest [ROI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Quality & Reliability (AREA)
- Multimedia (AREA)
- Computer Hardware Design (AREA)
- Geometry (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
Abstract
本发明属于工业产品视觉检测算法应用类发明，使用的核心技术涉及深度学习图像处理领域的数据集仿真制作和增强。在无缺陷的工业品图像上用缺陷部分图像加上具体缺陷的分割掩码作为图像模板，与原图像相关位置作用得到工业缺陷数据集，并用其它函数模板处理实现数据增强。该技术成功用于两类工业产品缺陷检测模型数据集生成方法实例。
Description
技术领域
本发明属于工业产品视觉检测算法应用类发明，使用的核心技术涉及深度学习图像处理领域的数据集仿真制作和增强。
背景技术
近几年来伴随着人工智能的兴起，深度学习技术取得了飞速的发展。不论是在图像领域，自然语言处理领域等，不但在理论研究还是项目落地方面都取得了广泛的应用。深度学习以有监督学习为主，往往需要大量的数据集作为支持。如果数据量比较少，或者多样性比较少，会导致深度学习不能得到良好的效果。
在传统的工业检测领域，对于工业品来说，缺陷品一般都不多，但可能出现的缺陷种类很多，这就导致了单一缺陷的数量更少。而且缺陷往往不具备特别明显的，易于用传统算法解决的特征，用传统图像算法和传统机器学习算法很难达到理想的效果。传统算法一般还往往伴随着计算量大和推理慢的问题。最近几年深度学习在图像侦测识别和分割领域取得了巨大的发展，达到了非常好的效果，被广泛应用于图像领域，在工业品检测中的应用也越来越多。深度学习效果好，性能优越，但是也需要相对多的有差异性的数据集才可以达到良好的效果。而在深度学习数据集中，目前比较成熟的技术都是采用有监督学习，这就要求标签要非常准确，而有些工业缺陷品，往往各种缺陷交织在一起，不利于深度学习训练。因此，采用在无缺陷的图上造缺陷就成为一种新的选择。这种制作方法，首先不能简单的图像区域置换，这样会显得非常生硬，而且有明显的方形的边界感。一种方法是通过缺陷部分的掩码进行置换，这种方法会自然一些，但往往边界感也很强。同时，在数据集的制作和收集中，打光的方案往往会发生改变，这就造成了之前拍的图片往往不能有效地应用于深度学习训练，造成资源的浪费，也更加导致了数据不足的问题。而原始的缺陷图还往往存在缺陷多而复制，甚至出现弥漫性的特点，给深度学习数据标注带来了极大的困难。综上，在工业检测领域，缺陷数据样本量少，缺陷种类多而复杂，打光方案可能会变，标注难度大。因此，开发一种新的工业检测数据集制作方案就显得特别重要。
发明内容
我们开发的利用缺陷部分作图像模板，配合图像缺陷掩码作用于无缺陷图像，可以生成质量非常高的仿真缺陷图像，用于深度学习图像追踪和图像分割，都取得了非常理想的效果。我们的设计主要是通过用图像分割软件将可用的缺陷区域进行收集分割并得到掩码，这样可以通过掩码解决制作数据集时出现方形边界的问题。将缺陷图像经除以非缺陷部分均值的方法形成函数模板，并与无缺陷的roi区域作哈达玛积，实现在无缺陷的ok图上生成特定的缺陷，方便深度学习神经网络计算。本技术适用于背景相对单一（如工业密度板板、纺织物）的非背景目标区域的模拟生成。我们将此技术应用在多种工业品类的检测上，取得良好效果。
附图说明
图1 光学胶片的凹坑缺陷生成示意图。
图2 光学胶片的气泡缺陷生成示意图。
图3 刨花板的粉尘斑缺陷生成示意图。
图4 刨花板的大刨花缺陷生成示意图。
图5 刨花板的油污缺陷生成示意图。
具体实施方式
步骤1：将含有目标的图像区域取ROI，要求目标位于ROI区域的中心，并用像素级标注方法制作缺陷目标区域的掩码；
步骤2：对每一个含有目标区域的ROI样本图执行以下操作：
步骤2.1：计算目标区域掩码之外的灰度均值或中值；
步骤2.2：将ROI样本的每个像素点灰度值除以步骤2.1中的灰度均值获得灰度变换权重矩阵；
步骤3：取一幅纯背景图，执行以下操作：
步骤3.1：设定需要生成目标的个数，和生成位置，保证生成位置不重复；
步骤3.2：从ROI样本权重矩阵集中随机取步骤3.1中指定数目的权重矩阵；
步骤3.3：对每一个选中的ROI样本权重矩阵，在背景途中随机选取与该ROI样本尺寸相同的ROI区域；
步骤3.4：将步骤3.3中选中ROI区域与相对应的ROI样本权重矩阵模板作哈达玛积；
步骤3.5：重复步骤3.3至3.4，直到生成指定数目的目标，将背景图转换为图像格式。
实例1 光学胶片横向压痕检测数据仿真：
光学胶片缺陷的特点是往往弥漫性特别强，如果用缺陷数据来标往往会比较困难，一是标注工作复杂，二是容易形成漏标，对深度学习训练产生较为严重的不利影响。而对于每一类缺陷来说，压痕和凹坑特征相对单一，模板性强，而气泡则是特征性强，易于检测和分割，这都非常有利用按照我们设计的图像模板的方法进行数据集仿真制作和增强。具体的步骤具体参见技术实现。
我们以比较有代表性的气泡和凹坑缺陷来举例说明。如图1(附图1)所示，图(a)展示了凹坑缺陷的掩码，代表了真实凹坑缺陷所在的位置。图(b)则是我们用来生成模板的凹坑缺陷图，其缺陷的具体位置与图(a)中的掩码相对应。图(c)是光学胶片OK图用来生成凹坑缺陷的ROI部分区域。图(d)是生成的凹坑结果效果展示。原缺陷图和待生成的光学胶片OK图在亮度上有明显差异，按照我们的方法可以明显适应亮度的变化。由于原缺陷的分布有一定的随机性，增强了新生成的缺陷的多样性。
气泡缺陷如图2(附图2)，图(a)展示了气泡缺陷的掩码，代表了真实气泡缺陷所在的位置。图(b)则是我们用来生成模板的气泡缺陷图，其缺陷的具体位置与图(a)中的掩码相对应。图(c)是光学胶片OK图用来生成气泡缺陷的ROI部分区域。图(d)是生成的气泡结果效果展示。在亮度和多样性上同样表现出了与凹坑类似的优良效果。在融合方面的仿真效果上边界略显生硬，但不影响神经网络训练。
实例2 工业刨花板表面缺陷仿真：
工业刨花板缺陷种类多且复杂，大小不一。由于木材的尺寸相对较大，导致在打光明显呈现出中间亮两边暗的特点。而在亮处的一类粉尘斑的缺陷与暗处的特征非常类似。这就导致了如果采用原区域简单置换的方案，如果将原来在亮处的缺陷生成在暗处，往往效果不理想。而采用图像模板技术，模板只代表缺陷的特征，而亮度信息包含在原图像中，这样就可以生成非常自然的粉尘斑的缺陷。对其它的缺陷也可以比较好的仿真生成。具体的步骤具体参见技术实现。
我们以工业刨花板中粉尘斑，刨花和油污三类缺陷来举例说明：粉尘斑缺陷如图3(附图3)所示，图(a)展示了粉尘斑缺陷的掩码，代表了真实缺陷所在的位置。图(b)则是我们用来生成粉尘斑模板的缺陷图，其缺陷的具体位置与图(a)中的掩码相对应。图(c)是工业刨花板OK图用来生成粉尘斑缺陷的ROI部分区域。图(d)是生成的粉尘斑缺陷结果效果展示。在亮度和多样性上同样表现出了优良效果。此类缺陷一般较小，边界略显生硬是由于放大显示的原因，神经网络训练取得了良好的效果。
刨花缺陷如图4(附图4)所示，图(a)展示了刨花缺陷的掩码，代表了真实缺陷所在的位置。图(b)则是我们用来生成刨花模板的缺陷图，其缺陷的具体位置与图(a)中的掩码相对应。图(c)是工业刨花板OK图用来生成刨花缺陷的ROI部分区域。图(d)是生成的刨花缺陷结果效果展示。在亮度和多样性上同样表现出了优良效果。此类缺陷仿真和神经网络训练结果均较好。
油污缺陷如图5(附图5)所示，图(a)展示了油污缺陷的掩码，代表了真实缺陷所在的位置。图(b)则是我们用来生成油污模板的缺陷图，其缺陷的具体位置与图(a)中的掩码相对应。图(c)是工业刨花板OK图用来生成油污缺陷的ROI部分区域。图(d)是生成的油污缺陷结果效果展示。在亮度和多样性上同样表现出了优良效果。此类缺陷特征较为单一，仿真效果比较理想。
Claims (3)
1.基于样本集的单一背景下的目标仿真技术的创新点有两方面，具体为：
创新点1：将工业缺陷部分用作图像模板直接在无缺陷图上作用仿真生成工业缺陷数据集；
由于每个无缺陷区域的数据分布并非完全相同，等同于在置换过程中加入了部分噪声，增大的缺陷分布的多样性，有利于深度学习神经网络的训练；
创新点2：基于创新点1的两个工业产品缺陷检测模型数据集生成方法实例，分别是光学胶横向压痕检测模型和工业刨花板表面点状缺陷检测模型；
该创新点要求对两个实例中提出的模型结构和在相应的产品上的应用进行保护，其中光学胶横向压痕模型针对的产品包括各种尺寸的透明光学胶片，工业刨花板表面点状缺陷检测模型针对的产品包括各种尺寸的砂光面、哑光面刨花板。
2.对于创新点1要求对本《专利说明书》中“技术实现”中给出计算缺陷权重图和掩膜处理的方法及操作步骤进行保护。
3.对于创新点2要求对创新点1中所述方法在工业密度板材、光学胶片、电子胶粘膜、玻璃、纺织品产品方面的应用进行保护。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110181821.XA CN112651970A (zh) | 2021-02-10 | 2021-02-10 | 基于样本集的单一背景下的目标仿真技术 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110181821.XA CN112651970A (zh) | 2021-02-10 | 2021-02-10 | 基于样本集的单一背景下的目标仿真技术 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112651970A true CN112651970A (zh) | 2021-04-13 |
Family
ID=75371004
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110181821.XA Pending CN112651970A (zh) | 2021-02-10 | 2021-02-10 | 基于样本集的单一背景下的目标仿真技术 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112651970A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114155244A (zh) * | 2022-02-10 | 2022-03-08 | 北京阿丘科技有限公司 | 缺陷检测方法、装置、设备及存储介质 |
-
2021
- 2021-02-10 CN CN202110181821.XA patent/CN112651970A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114155244A (zh) * | 2022-02-10 | 2022-03-08 | 北京阿丘科技有限公司 | 缺陷检测方法、装置、设备及存储介质 |
| CN114155244B (zh) * | 2022-02-10 | 2022-05-31 | 北京阿丘科技有限公司 | 缺陷检测方法、装置、设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111833306B (zh) | 缺陷检测方法和用于缺陷检测的模型训练方法 | |
| CN110349126A (zh) | 一种基于卷积神经网络带标记的钢板表面缺陷检测方法 | |
| CN114140679A (zh) | 一种缺陷融合方法、装置、识别系统及存储介质 | |
| CN101432863B (zh) | 故障源设备确定系统 | |
| CN110443791B (zh) | 一种基于深度学习网络的工件检测方法及其检测装置 | |
| KR102600475B1 (ko) | 제품 결함 검출 학습을 위한 딥러닝 기반 데이터 증강 방법 | |
| CN110880176B (zh) | 一种基于对抗生成网络的半监督工业图像缺陷分割方法 | |
| CN114549507B (zh) | 改进Scaled-YOLOv4的织物瑕疵检测方法 | |
| Wang et al. | Attention-based deep learning for chip-surface-defect detection | |
| CN110610199A (zh) | 基于svm和xgboost的印制电路板电阻元件焊点自动光学检测方法 | |
| CN110514665A (zh) | 一种电子产品塑料外壳划痕缺陷的检测方法 | |
| CN110689477B (zh) | 一种通用的瑕疵图像模拟方法 | |
| CN112651970A (zh) | 基于样本集的单一背景下的目标仿真技术 | |
| CN115908988A (zh) | 一种缺陷检测模型生成方法、装置、设备以及存储介质 | |
| CN109584206A (zh) | 零件表面瑕疵检测中神经网络的训练样本的合成方法 | |
| CN111754502A (zh) | 基于多尺度特征融合的Faster-RCNN算法检测磁芯表面缺陷的方法 | |
| Gharehchobogh et al. | Flotation froth image segmentation using Mask R-CNN | |
| CN113808104A (zh) | 一种基于分块的金属表面缺陷检测方法及系统 | |
| CN112686872A (zh) | 基于深度学习的木材计数方法 | |
| CN116912625A (zh) | 一种基于先验缺陷特征与sspcab注意力机制的数据增强方法 | |
| CN115240031B (zh) | 一种基于生成对抗网络的板材表面缺陷生成方法及系统 | |
| CN112967292B (zh) | 一种针对电商产品的自动抠图与评分方法及系统 | |
| CN107480379A (zh) | 一种基于图像结构相似性的评价优化装饰板的制造方法 | |
| Huang et al. | Automatic Generation of Laser Cutting Paths in Defective TFT-LCD Panel Images by Using Neutrosophic Canny Segmentation | |
| CN112926694A (zh) | 基于改进的神经网络对图像中的猪只进行自动识别的方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20210413 |
|
| WD01 | Invention patent application deemed withdrawn after publication |