CN110689477B - 一种通用的瑕疵图像模拟方法 - Google Patents

一种通用的瑕疵图像模拟方法 Download PDF

Info

Publication number
CN110689477B
CN110689477B CN201910844971.7A CN201910844971A CN110689477B CN 110689477 B CN110689477 B CN 110689477B CN 201910844971 A CN201910844971 A CN 201910844971A CN 110689477 B CN110689477 B CN 110689477B
Authority
CN
China
Prior art keywords
flaw
layer
map
physical structure
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910844971.7A
Other languages
English (en)
Other versions
CN110689477A (zh
Inventor
张发恩
杨经宇
郝磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ainnovation Chongqing Technology Co ltd
Original Assignee
Ainnovation Chongqing Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ainnovation Chongqing Technology Co ltd filed Critical Ainnovation Chongqing Technology Co ltd
Priority to CN201910844971.7A priority Critical patent/CN110689477B/zh
Publication of CN110689477A publication Critical patent/CN110689477A/zh
Application granted granted Critical
Publication of CN110689477B publication Critical patent/CN110689477B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/04Context-preserving transformations, e.g. by using an importance map
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/001Texturing; Colouring; Generation of texture or colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/90Determination of colour characteristics

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

本发明公开了计算机视觉领域的一种通用的瑕疵图像模拟方法,对无瑕疵样品采集得到无瑕疵样本底图,通通过成像系统对无瑕疵样品外形进行成像,获得无瑕疵底图,然后根据人为经验设计生成一定范式的随机瑕疵形状,分离该瑕疵的形状图,形成分层图,每一层图代表着一种物理结构,无瑕疵样本底图基础上,分别对每一层图进行不同程度的扭曲或者亮度与色彩的调整,模拟出每一层图代表的一种物理结构的成像效果,每一层图进行层次叠加得到模拟的瑕疵图,模拟后的瑕疵图进行对应的标注,仅需要少量无瑕疵样本图即可结合已有经验模拟生成大量瑕疵数据和对应标注结果以供使用。

Description

一种通用的瑕疵图像模拟方法
技术领域
本发明涉及计算机视觉技术领域,具体为一种通用的瑕疵图像模拟方法。
背景技术
现有的数据增强方法往往基于传统图像算法,对图像进行变形,色相调整等,或对已有的标注瑕疵数据进行传统图像算法处理后再进行叠加。对于数据量不足或标注力量不足的情况下往往不能有很好的效果。
此外,也有使用GAN等深度学习方法生成数据的方法,这些方法往往也需要一定量数据集,并且模拟出的效果不能很好的符合真实情况。
上述两种方法共同的问题:
1、需要一定量有标注的数据集;
2、生成的数据集很难覆盖真实情况的全部可能性;
3、难以在已有基础上进行新的瑕疵品类扩充与迁移。
基于此,本发明设计了一种通用的瑕疵图像模拟方法,以解决上述提到的问题。
发明内容
本发明的目的在于提供一种通用的瑕疵图像模拟方法,仅需要少量无瑕疵样本图即可结合已有经验模拟生成大量瑕疵数据和对应标注结果以供使用,以解决上述背景技术中提出的问题。
为实现上述目的,本发明提供如下技术方案:一种通用的瑕疵图像模拟方法,具体包括以下步骤:
S1:对无瑕疵样品采集得到无瑕疵样本底图;
S2:通过成像系统对无瑕疵样品外形进行成像,获得无瑕疵底图,若成像精度不足则通过先上采样进行处理后再进行下采样的方式扩充精度;
S3:然后根据人为经验设计生成一定范式的随机瑕疵形状;
S4:在生成瑕疵的形状图上,分离该瑕疵的形状图,形成分层图,每一层图代表着一种物理结构;
S5:将步骤S1中的无瑕疵样本底图基础上,分别对每一层图进行不同程度的扭曲或者亮度与色彩的调整,模拟出每一层图代表的一种物理结构的成像效果;
S6:将步骤S5经过处理后的每一层图进行层次叠加得到模拟的瑕疵图;
S7:将步骤S6中模拟后的瑕疵图进行对应的标注。
优选的,所述瑕疵为存在与正常区域物理性的差异,物理性的差异包括并不仅限于物理结构上的差异或者材质上的差异。
优选的,所述物理结构上的差异包括并不仅限于损伤、异物,使得形状图上表面结构有明显变化,所述材质上的差异包括并不仅限于脏污、工艺缺陷,使得形状图上表面结构无明显变化。
优选的,在所述模拟的瑕疵图中,所述分层图包括表面层和边缘层1、边缘层2、下阴影层和下层,所述表面层所代表着的一种物理结构为无瑕疵,所述边缘层1所代表着的一种物理结构为破洞附近一定区域扭曲,边缘层2所代表着的一种物理结构为破洞边缘的翘曲,下阴影层所代表着的一种物理结构为下层靠近破洞边缘的阴影,下层为靠近中间且不在阴影区域的部分。
优选的,所述分层图的每一层图代表着的一种物理结构可进行调整。
与现有技术相比,本发明的有益效果是:
1、能够在少量采集无瑕疵样本的情况下,根据经验快速大量模拟数据,适用于保密程度较高的工业产线,上新要求大,单批次数量少的产线等等多种情况;
2、通过本发明的模拟数据,能够通过随机的参数生成更多种类更全面的数据集。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例描述所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明通用的瑕疵图像模拟方法工作流程示意图;
图2为本发明瑕疵模拟的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。
请参阅图1-2,本发明提供一种技术方案:一种通用的瑕疵图像模拟方法,具体包括以下步骤:
S1:对无瑕疵样品采集得到无瑕疵样本底图;
S2:通过成像系统对无瑕疵样品外形进行成像,获得无瑕疵底图,若成像精度不足则通过先上采样进行处理后再进行下采样的方式扩充精度;
S3:然后根据人为经验设计生成一定范式的随机瑕疵形状;
S4:在生成瑕疵的形状图上,分离该瑕疵的形状图,形成分层图,每一层图代表着一种物理结构;
S5:将步骤S1中的无瑕疵样本底图基础上,分别对每一层图进行不同程度的扭曲或者亮度与色彩的调整,模拟出每一层图代表的一种物理结构的成像效果;
S6:将步骤S5经过处理后的每一层图进行层次叠加得到模拟的瑕疵图;
S7:将步骤S6中模拟后的瑕疵图进行对应的标注。
其中,所述瑕疵为存在与正常区域物理性的差异,物理性的差异包括并不仅限于物理结构上的差异或者材质上的差异。
所述物理结构上的差异包括并不仅限于损伤、异物,使得形状图上表面结构有明显变化,所述材质上的差异包括并不仅限于脏污、工艺缺陷,使得形状图上表面结构无明显变化。
其中,在所述物理结构上的差异中,所述分层图包括表面层和边缘层1、边缘层2,所述表面层所代表着的一种物理结构为无瑕疵,所述边缘层1和边缘层2所代表着的一种物理结构为破损结构中的凸起、凹陷或者不同的波动。
其中,在所述模拟的瑕疵图中,所述分层图包括表面层和边缘层1、边缘层2、下阴影层和下层,所述表面层所代表着的一种物理结构为无瑕疵,所述边缘层1所代表着的一种物理结构为破洞附近一定区域扭曲,边缘层2所代表着的一种物理结构为破洞边缘的翘曲,下阴影层所代表着的一种物理结构为下层靠近破洞边缘的阴影,下层为靠近中间且不在阴影区域的部分。
其中,所述分层图的每一层图代表着的一种物理结构可进行调整。
具体一种实施例如下所述:
在一定成像精度下,可以首先根据无瑕疵样品外形,生成一定范式的随机瑕疵的形状图,在此基础上根据不同目标,分离该瑕疵的形状图,每一层次代表着一种物理结构,在无瑕疵样本底图的基础上,进行适当的处理,模拟出这一种物理结构的成像效果,在通过层次叠加得到了模拟的瑕疵。对于精度不足的成像图,也可通过先上采样进行处理后再下采样的方式进行模拟。
如图2所示,为实际应用中分层图中的层数,每一层的形状等都可以调整。表面层是无瑕疵的底图,在破损结构中,边缘层可能凸起可能凹陷,也可能有不同的波动,根据不同情况合理分层即可。对于多层次的复合材料,表面层的破损可能会暴露出下一层甚至下面多层,根据不同情况进行相应调整替换即可模拟瑕疵。
以服装上的破洞为例,服装上出现破洞后,会露出下层的布料或背景,此外,破洞的边缘等会有翘曲,这些翘曲等会在破洞露出的下层投下阴影,再此外,破洞会导致破洞附近的结构变得松散。故而,可认为破洞这一瑕疵是由:无瑕疵的表面层、破洞附近一定区域稍有扭曲的边缘层1,破洞边缘的翘曲,线头等构成的边缘层2,下层靠近破洞边缘的阴影的下阴影层,下层为靠近中间不在阴影区域的部分。故生成破洞的外形后,分割层次,基于无瑕疵的服装图片分别对每一层进行不同程度的扭曲,亮度与色彩调整等操作,在复合叠加。
对于表面结构无明显变化,而光学性质有所改变的情况,如油污或者工艺缺陷,可通过合理调整每一层图像,简化分层结构等方式模拟脏污类缺陷。
本发明能够在仅有少量真实样本的基础上,以物理模拟生成的方式补充大量训练数据,能够更好地覆盖到真实情况下的更多缺陷可能性。
优点详细说明如下:
1、实际工业视觉环境下,训练用样本件收集,数据采集、标注等工作量大,数据集效果相对不稳定。而通过本专利的模拟方法,能够在少量采集无瑕疵样本的情况下,根据经验快速大量模拟数据,适用于保密程度较高的工业产线,上新要求大,单批次数量少的产线等等多种情况。
2、实际产线上,瑕疵样品比例较低,通过采集样本的方式获得的数据不完整,仅仅通过传统数据增强方法不能保证算法的鲁棒性。通过本专利的模拟数据,能够通过随机的参数生成更多种类更全面的数据集。
在本说明书的描述中,参考术语“一个实施例”、“示例”、“具体示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不一定指的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
以上公开的本发明优选实施例只是用于帮助阐述本发明。优选实施例并没有详尽叙述所有的细节,也不限制该发明仅为所述的具体实施方式。显然,根据本说明书的内容,可作很多的修改和变化。本说明书选取并具体描述这些实施例,是为了更好地解释本发明的原理和实际应用,从而使所属技术领域技术人员能很好地理解和利用本发明。本发明仅受权利要求书及其全部范围和等效物的限制。

Claims (5)

1.一种通用的瑕疵图像模拟方法,其特征在于:具体包括以下步骤:
S1:对无瑕疵样品采集得到无瑕疵样本底图;
S2:通过成像系统对无瑕疵样品外形进行成像,获得无瑕疵底图,若成像精度不足则通过先上采样进行处理后再进行下采样的方式扩充精度;
S3:然后根据人为经验设计生成一定范式的随机瑕疵形状;
S4:在生成瑕疵的形状图上,分离该瑕疵的形状图,形成分层图,每一层图代表着一种物理结构;
S5:将步骤S1中的无瑕疵样本底图基础上,分别对每一层图进行不同程度的扭曲或者亮度与色彩的调整,模拟出每一层图代表的一种物理结构的成像效果;
S6:将步骤S5经过处理后的每一层图进行层次叠加得到模拟的瑕疵图;
S7:将步骤S6中模拟后的瑕疵图进行对应的标注。
2.根据权利要求1所述的一种通用的瑕疵图像模拟方法,其特征在于:所述瑕疵为存在与正常区域物理性的差异,物理性的差异包括并不仅限于物理结构上的差异或者材质上的差异。
3.根据权利要求2所述的一种通用的瑕疵图像模拟方法,其特征在于:所述物理结构上的差异包括并不仅限于损伤、异物,使得形状图上表面结构有明显变化,所述材质上的差异包括并不仅限于脏污、工艺缺陷,使得形状图上表面结构无明显变化。
4.根据权利要求3所述的一种通用的瑕疵图像模拟方法,其特征在于:在所述模拟的瑕疵图中,所述分层图包括表面层和边缘层1、边缘层2、下阴影层和下层,所述表面层所代表着的一种物理结构为无瑕疵,所述边缘层1所代表着的一种物理结构为破洞附近一定区域扭曲,边缘层2所代表着的一种物理结构为破洞边缘的翘曲,下阴影层所代表着的一种物理结构为下层靠近破洞边缘的阴影,下层为靠近中间且不在阴影区域的部分。
5.根据权利要求4所述的一种通用的瑕疵图像模拟方法,其特征在于:所述分层图的每一层图代表着的一种物理结构可进行调整。
CN201910844971.7A 2019-09-07 2019-09-07 一种通用的瑕疵图像模拟方法 Active CN110689477B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910844971.7A CN110689477B (zh) 2019-09-07 2019-09-07 一种通用的瑕疵图像模拟方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910844971.7A CN110689477B (zh) 2019-09-07 2019-09-07 一种通用的瑕疵图像模拟方法

Publications (2)

Publication Number Publication Date
CN110689477A CN110689477A (zh) 2020-01-14
CN110689477B true CN110689477B (zh) 2023-01-10

Family

ID=69108829

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910844971.7A Active CN110689477B (zh) 2019-09-07 2019-09-07 一种通用的瑕疵图像模拟方法

Country Status (1)

Country Link
CN (1) CN110689477B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111429411B (zh) * 2020-03-16 2023-04-25 东南大学 一种碳纤维复合芯导线的x射线缺陷图像样本生成方法
CN111681162B (zh) * 2020-06-09 2023-09-01 创新奇智(成都)科技有限公司 一种缺陷样本生成方法、装置、电子设备及存储介质
CN116342952B (zh) * 2023-03-29 2024-01-23 北京西清能源科技有限公司 一种变压器套管异常识别方法与系统

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5796410A (en) * 1990-06-12 1998-08-18 Lucent Technologies Inc. Generation and use of defective images in image analysis
CN101201328A (zh) * 2006-12-15 2008-06-18 上海华虹Nec电子有限公司 硅片图形缺陷在线检测方法
JP2012182495A (ja) * 2012-06-13 2012-09-20 Hitachi High-Technologies Corp 欠陥解析装置、欠陥解析方法および欠陥解析プログラム
CN107358636A (zh) * 2017-06-16 2017-11-17 华南理工大学 一种基于纹理合成的疏松缺陷图像生成方法
CN109087370A (zh) * 2018-06-29 2018-12-25 华南理工大学 一种铸件海绵状缺陷图像生成方法
CN109142374A (zh) * 2018-08-15 2019-01-04 广州市心鉴智控科技有限公司 基于超小样本训练高效质检模型的方法及系统
CN109584206A (zh) * 2018-10-19 2019-04-05 中国科学院自动化研究所 零件表面瑕疵检测中神经网络的训练样本的合成方法
EP3469548A1 (en) * 2016-06-10 2019-04-17 F. Hoffmann-La Roche AG System for bright field image simulation
CN109829900A (zh) * 2019-01-18 2019-05-31 创新奇智(北京)科技有限公司 一种基于深度学习的钢卷端面缺陷检测方法
CN109829932A (zh) * 2019-01-18 2019-05-31 创新奇智(宁波)科技有限公司 一种自动前景提取的数据采集方法及装置
CN114419037A (zh) * 2022-03-28 2022-04-29 江苏智云天工科技有限公司 工件缺陷检测方法和装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020158877A1 (en) * 2000-11-22 2002-10-31 Guckenberger Ronald James Shadow buffer control module method and software construct for adjusting per pixel raster images attributes to screen space and projector features for digital wrap, intensity transforms, color matching, soft-edge blending and filtering for multiple projectors and laser projectors
US8971663B2 (en) * 2012-05-21 2015-03-03 Cognex Corporation System and method for producing synthetic golden template image for vision system inspection of multi-layer patterns
US10483081B2 (en) * 2014-10-22 2019-11-19 Kla-Tencor Corp. Self directed metrology and pattern classification
US10810733B2 (en) * 2016-05-24 2020-10-20 Hitachi High-Tech Corporation Defect classification apparatus and defect classification method

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5796410A (en) * 1990-06-12 1998-08-18 Lucent Technologies Inc. Generation and use of defective images in image analysis
CN101201328A (zh) * 2006-12-15 2008-06-18 上海华虹Nec电子有限公司 硅片图形缺陷在线检测方法
JP2012182495A (ja) * 2012-06-13 2012-09-20 Hitachi High-Technologies Corp 欠陥解析装置、欠陥解析方法および欠陥解析プログラム
EP3469548A1 (en) * 2016-06-10 2019-04-17 F. Hoffmann-La Roche AG System for bright field image simulation
CN107358636A (zh) * 2017-06-16 2017-11-17 华南理工大学 一种基于纹理合成的疏松缺陷图像生成方法
CN109087370A (zh) * 2018-06-29 2018-12-25 华南理工大学 一种铸件海绵状缺陷图像生成方法
CN109142374A (zh) * 2018-08-15 2019-01-04 广州市心鉴智控科技有限公司 基于超小样本训练高效质检模型的方法及系统
CN109584206A (zh) * 2018-10-19 2019-04-05 中国科学院自动化研究所 零件表面瑕疵检测中神经网络的训练样本的合成方法
CN109829900A (zh) * 2019-01-18 2019-05-31 创新奇智(北京)科技有限公司 一种基于深度学习的钢卷端面缺陷检测方法
CN109829932A (zh) * 2019-01-18 2019-05-31 创新奇智(宁波)科技有限公司 一种自动前景提取的数据采集方法及装置
CN114419037A (zh) * 2022-03-28 2022-04-29 江苏智云天工科技有限公司 工件缺陷检测方法和装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
利用Photoshop打造美丽素颜;李长瑜;《科技信息》;20130405(第10期);全文 *
基于LSSVM的磁瓦表面瑕疵偏向性分类;张振尧等;《光电工程》;20130815(第08期);全文 *
计算机服装设计的表现技法;项敢;《丝绸》;20090720(第07期);全文 *

Also Published As

Publication number Publication date
CN110689477A (zh) 2020-01-14

Similar Documents

Publication Publication Date Title
CN110689477B (zh) 一种通用的瑕疵图像模拟方法
Shipway et al. Automated defect detection for fluorescent penetrant inspection using random forest
DE112015004721B4 (de) Defektdetektion unter verwendung von strukturinformation
CN114140679A (zh) 一种缺陷融合方法、装置、识别系统及存储介质
JP2018205123A (ja) 画像検査システムの性能調整のための検査用画像を生成する画像生成装置及び画像生成方法
CN111047655A (zh) 基于卷积神经网络的高清摄像机布料疵点检测方法
CN109886960A (zh) 基于机器视觉的玻璃边缘缺陷检测的方法
CN114577812A (zh) 基于超小样本训练高效质检模型的方法及系统
CN112132965B (zh) 一种岩土体孔裂隙结构多尺度表征方法
Baumgartl et al. A novel deep-learning approach for automated non-destructive testing in quality assurance based on convolutional neural networks
CN114972216A (zh) 一种纹理表面缺陷检测模型的构建方法及其应用
CN114897865A (zh) 基于少量缺陷样本的工业缺陷检测方法
CN116205876A (zh) 基于多尺度标准化流的无监督笔记本外观缺陷检测方法
CN110660048A (zh) 一种基于形状特征的皮革表面缺陷检测算法
CN113808104B (zh) 一种基于分块的金属表面缺陷检测方法及系统
Xie et al. Detection algorithm for bearing roller end surface defects based on improved YOLOv5n and image fusion
CN113298857A (zh) 一种基于神经网络融合策略的轴承缺陷检测方法
CN113962917A (zh) 一种基于掩膜的数据增强方法
JP3806125B2 (ja) 欠陥検査装置および欠陥検査方法
CN116823755A (zh) 一种基于骨架生成和融合构型的柔性电路板缺陷检测方法
CN117011300A (zh) 一种实例分割与二次分类相结合的微小缺陷检测方法
CN112200766A (zh) 基于区域关联神经网络的工业产品表面缺陷检测方法
Song et al. Artificial Intelligence‐Assisted Fresco Restoration with Multiscale Line Drawing Generation
CN112651970A (zh) 基于样本集的单一背景下的目标仿真技术
CN112686843B (zh) 一种基于神经网络的木板缺陷检测方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant