CN111489348A - 一种磁性材料产品表面缺陷模拟方法及装置 - Google Patents

一种磁性材料产品表面缺陷模拟方法及装置 Download PDF

Info

Publication number
CN111489348A
CN111489348A CN202010299408.9A CN202010299408A CN111489348A CN 111489348 A CN111489348 A CN 111489348A CN 202010299408 A CN202010299408 A CN 202010299408A CN 111489348 A CN111489348 A CN 111489348A
Authority
CN
China
Prior art keywords
defect
image
simulated
images
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010299408.9A
Other languages
English (en)
Other versions
CN111489348B (zh
Inventor
艾国
张帅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ainnovation Chongqing Technology Co ltd
Original Assignee
Ainnovation Chongqing Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ainnovation Chongqing Technology Co ltd filed Critical Ainnovation Chongqing Technology Co ltd
Priority to CN202010299408.9A priority Critical patent/CN111489348B/zh
Publication of CN111489348A publication Critical patent/CN111489348A/zh
Application granted granted Critical
Publication of CN111489348B publication Critical patent/CN111489348B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Signal Processing (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Quality & Reliability (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

本申请提供一种磁性材料产品表面缺陷模拟方法及装置，所述方法包括：获取多组磁性材料产品的带缺陷表面图像及对应的缺陷掩码图；根据多组带缺陷表面图像及缺陷掩码图，裁剪得到多组带缺陷局部图像及对应的局部缺陷掩码图；根据多组带缺陷局部图像及局部缺陷掩码图，构建得到缺陷库；获取磁性材料产品的无缺陷表面图像；从缺陷库中选取目标缺陷图像及对应的目标缺陷掩码图；根据目标缺陷图像、目标缺陷掩码图及图像的结构相似性，在无缺陷表面图像模拟缺陷，得到模拟缺陷图像。本申请可在无缺陷表面图像模拟缺陷，得到模拟缺陷图像，为基于深度学习实现磁性材料产品表面缺陷检测的方式提供更多的训练数据。

Description

一种磁性材料产品表面缺陷模拟方法及装置
技术领域
本申请涉及图像处理技术领域，具体而言，涉及一种磁性材料产品表面缺陷模拟方法及装置。
背景技术
在磁性材料产品质检领域，磁性材料产品的表面缺陷检测是很重要的部分。目前，磁性材料产品的表面缺陷检测主要还是人工检测，此种方式效率低下，难以保证检测的准确性，且人力成本较高。
随着科学技术的不断发展及检测要求的提高，基于深度学习实现磁性材料产品表面缺陷检测的方式成为了一种潜在的高效解决方案。基于深度学习实现磁性材料产品表面缺陷检测的方式，需要大量的训练数据，而磁性材料产品本身缺陷件较少，且部分罕见的缺陷种类几乎无法完成较多的数据采集，导致了深度学习算法的性能受到了限制，使得基于深度学习实现磁性材料产品表面缺陷检测的检测准确率受到了较大地影响。
发明内容
本申请实施例的目的在于提供一种磁性材料产品表面缺陷模拟方法及装置，可在无缺陷表面图像模拟缺陷，得到模拟缺陷图像，为基于深度学习实现磁性材料产品表面缺陷检测的方式提供更多的训练数据。
第一方面，本申请实施例提供了一种磁性材料产品表面缺陷模拟方法，包括：
获取多组磁性材料产品的带缺陷表面图像及对应的缺陷掩码图，所述带缺陷表面图像带有缺陷标注；
根据多组所述带缺陷表面图像及所述缺陷掩码图，裁剪得到多组带缺陷局部图像及对应的局部缺陷掩码图；
根据多组所述带缺陷局部图像及所述局部缺陷掩码图，构建得到缺陷库；
获取所述磁性材料产品的无缺陷表面图像；
从所述缺陷库中选取目标缺陷图像及对应的目标缺陷掩码图；
根据所述目标缺陷图像、所述目标缺陷掩码图及图像的结构相似性，在所述无缺陷表面图像模拟缺陷，得到模拟缺陷图像。
在上述实现过程中，本申请实施例的磁性材料产品表面缺陷模拟方法，通过获取多组磁性材料产品的带缺陷表面图像及对应的缺陷掩码图，裁剪得到多组带缺陷局部图像及对应的局部缺陷掩码图，构建了缺陷库；在获取磁性材料产品的无缺陷表面图像时，可从缺陷库中选取目标缺陷图像及对应的目标缺陷掩码图，结合图像的结构相似性，在无缺陷表面图像模拟缺陷，得到模拟缺陷图像，为基于深度学习实现磁性材料产品表面缺陷检测的方式提供更多的训练数据，提高深度学习算法的性能，进而提高基于深度学习实现磁性材料产品表面缺陷检测的检测准确率。
进一步地，所述缺陷库至少按缺陷所在面对所述带缺陷局部图像及所述局部缺陷掩码图进行存储；
所述从所述缺陷库中选取目标缺陷图像及对应的目标缺陷掩码图，包括：
根据所述无缺陷表面图像，确定所述无缺陷表面图像的所在面；
根据所述无缺陷表面图像的所在面及所述缺陷所在面，从所述缺陷库中选取目标缺陷图像及对应的目标缺陷掩码图。
在上述实现过程中，该方法通过无缺陷表面图像的所在面及缺陷所在面，可更为快速地从缺陷库中选取目标缺陷图像及对应的目标缺陷掩码图，并可使得选取的目标缺陷图像与无缺陷表面图像更为适配，以更好地保障本申请实施例的磁性材料产品表面缺陷模拟方法的模拟效果，以及得到的模拟缺陷图像的质量。
进一步地，所述根据所述目标缺陷图像、所述目标缺陷掩码图及图像的结构相似性，在所述无缺陷表面图像模拟缺陷，得到模拟缺陷图像，包括：
根据所述目标缺陷图像、所述目标缺陷掩码图及图像的结构相似性，从所述无缺陷表面图像得到模拟缺陷局部图像及其位置信息；
根据所述模拟缺陷局部图像及其位置信息，将所述模拟缺陷局部图像嵌入所述无缺陷表面图像，得到模拟缺陷图像。
在上述实现过程中，该方法通过得到模拟缺陷局部图像及其位置信息，将模拟缺陷局部图像嵌入无缺陷表面图像，得到模拟缺陷图像的方式，更有利于无缺陷表面图像的缺陷模拟，得到较高质量的模拟缺陷图像。
进一步地，所述根据所述目标缺陷图像、所述目标缺陷掩码图及图像的结构相似性，从所述无缺陷表面图像得到模拟缺陷局部图像及其位置信息，包括：
根据所述目标缺陷图像的尺寸，在所述无缺陷表面图像裁剪得到多个窗口图像；
根据所述目标缺陷图像及所述目标缺陷掩码图，在每个所述窗口图像模拟缺陷，得到对应的模拟缺陷窗口图像；
根据每个所述模拟缺陷窗口图像与所述目标缺陷图像的结构相似性，从所有所述模拟缺陷窗口图像中确定符合缺陷模拟要求的模拟缺陷局部图像及其位置信息。
在上述实现过程中，该方法根据目标缺陷图像的尺寸，在无缺陷表面图像裁剪得到多个窗口图像，保障了多个窗口图像的尺寸与目标缺陷图像尺寸的一致性，同时，通过每个模拟缺陷窗口图像与目标缺陷图像的结构相似性，便于从所有模拟缺陷窗口图像中确定模拟缺陷局部图像及其位置信息。
进一步地，所述根据每个所述模拟缺陷窗口图像与所述目标缺陷图像的结构相似性，从所有所述模拟缺陷窗口图像中确定符合缺陷模拟要求的模拟缺陷局部图像及其位置信息，包括：
根据每个所述模拟缺陷窗口图像与所述目标缺陷图像的结构相似性及预设的相似性阈值，从所有所述模拟缺陷窗口图像中确定符合缺陷模拟要求的模拟缺陷局部图像及其位置信息。
进一步地，所述根据所述模拟缺陷局部图像及其位置信息，将所述模拟缺陷局部图像嵌入所述无缺陷表面图像，得到模拟缺陷图像，包括：
通过高斯模糊对所述模拟缺陷局部图像的缺陷边缘进行平滑处理；
根据所述模拟缺陷局部图像及其位置信息，将平滑处理后的模拟缺陷局部图像嵌入所述无缺陷表面图像，得到模拟缺陷图像。
在上述实现过程中，该方法通过高斯模糊对模拟缺陷局部图像的缺陷边缘进行平滑处理，防止模拟缺陷局部图像的缺陷边缘出现明显的粘贴或不连续的痕迹，更好地保障了得到的模拟缺陷图像的质量。
第二方面，本申请实施例提供了一种磁性材料产品表面缺陷模拟装置，包括：
获取模块，用于获取多组磁性材料产品的带缺陷表面图像及对应的缺陷掩码图，所述带缺陷表面图像带有缺陷标注；
裁剪模块，用于根据多组所述带缺陷表面图像及所述缺陷掩码图，裁剪得到多组带缺陷局部图像及对应的局部缺陷掩码图；
构建模块，用于根据多组所述带缺陷局部图像及所述局部缺陷掩码图，构建得到缺陷库；
所述获取模块，还用于获取所述磁性材料产品的无缺陷表面图像；
选取模块，用于从所述缺陷库中选取目标缺陷图像及对应的目标缺陷掩码图；
缺陷模拟模块，用于根据所述目标缺陷图像、所述目标缺陷掩码图及图像的结构相似性，在所述无缺陷表面图像模拟缺陷，得到模拟缺陷图像。
在上述实现过程中，本申请实施例的磁性材料产品表面缺陷模拟装置，通过获取多组磁性材料产品的带缺陷表面图像及对应的缺陷掩码图，裁剪得到多组带缺陷局部图像及对应的局部缺陷掩码图，构建了缺陷库；在获取磁性材料产品的无缺陷表面图像时，可从缺陷库中选取目标缺陷图像及对应的目标缺陷掩码图，结合图像的结构相似性，在无缺陷表面图像模拟缺陷，得到模拟缺陷图像，为基于深度学习实现磁性材料产品表面缺陷检测的方式提供更多的训练数据，提高深度学习算法的性能，进而提高基于深度学习实现磁性材料产品表面缺陷检测的检测准确率。
进一步地，所述缺陷模拟模块，具体用于：
根据所述目标缺陷图像、所述目标缺陷掩码图及图像的结构相似性，从所述无缺陷表面图像得到模拟缺陷局部图像及其位置信息；
根据所述模拟缺陷局部图像及其位置信息，将所述模拟缺陷局部图像嵌入所述无缺陷表面图像，得到模拟缺陷图像。
在上述实现过程中，该装置通过得到模拟缺陷局部图像及其位置信息，将模拟缺陷局部图像嵌入无缺陷表面图像，得到模拟缺陷图像的方式，更有利于无缺陷表面图像的缺陷模拟，得到较高质量的模拟缺陷图像。
第三方面，本申请实施例提供了一种电子设备，包括存储器及处理器，所述存储器用于存储计算机程序，所述处理器运行所述计算机程序以使所述电子设备执行上述的磁性材料产品表面缺陷模拟方法。
第四方面，本申请实施例提供了一种计算机可读存储介质，其存储有上述的电子设备中所使用的计算机程序。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本申请实施例一提供的磁性材料产品表面缺陷模拟方法的流程示意图；
图2为本申请实施例一提供的构建缺陷库的示意图；
图3为本申请实施例一提供的步骤S150的流程示意图；
图4为本申请实施例一提供的步骤S160的流程示意图；
图5为本申请实施例一提供的确定模拟缺陷局部图像及其位置信息的示意图；
图6为本申请实施例二提供的磁性材料产品表面缺陷模拟装置的结构框图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本申请的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
随着科学技术的不断发展及检测要求的提高，基于深度学习实现磁性材料产品表面缺陷检测的方式成为了一种潜在的高效解决方案。基于深度学习实现磁性材料产品表面缺陷检测的方式，需要大量的训练数据，而磁性材料产品本身缺陷件较少，且部分罕见的缺陷种类几乎无法完成较多的数据采集，导致了深度学习算法的性能受到了限制，使得基于深度学习实现磁性材料产品表面缺陷检测的检测准确率受到了较大地影响。
针对上述现有技术中的问题，本申请提供了一种磁性材料产品表面缺陷模拟方法及装置，可在无缺陷表面图像模拟缺陷，得到模拟缺陷图像，为基于深度学习实现磁性材料产品表面缺陷检测的方式提供更多的训练数据。
实施例一
参见图1，图1为本申请实施例提供的磁性材料产品表面缺陷模拟方法的流程示意图。本申请实施例中执行下述的磁性材料产品表面缺陷模拟方法的执行主体可以是服务器。
本申请实施例的磁性材料产品表面缺陷模拟方法，包括如下步骤：
步骤S110，获取多组磁性材料产品的带缺陷表面图像及对应的缺陷掩码图，带缺陷表面图像带有缺陷标注。
在本实施例中，磁性材料产品可以是磁铁等产品。
带缺陷表面图像可以有一处缺陷标注，也可以有多处缺陷标注；缺陷掩码图根据与其对应的带缺陷表面图像得到，缺陷掩码图的数量与其对应的带缺陷表面图像一致。
可选地，多组带缺陷表面图像及对应的缺陷掩码图可基于同一类别的磁性材料产品。
可选地，多个无缺陷标注的带缺陷表面图像，可通过摄像设备得到。
步骤S120，根据多组带缺陷表面图像及缺陷掩码图，裁剪得到多组带缺陷局部图像及对应的局部缺陷掩码图。
在本实施例中，带缺陷局部图像为对应的带缺陷表面图像的局部图像，局部缺陷掩码图为对应的缺陷掩码图的局部图像。
带缺陷局部图像及对应的局部缺陷掩码图，可根据缺陷掩码图，从带缺陷表面图像及缺陷掩码图裁剪得到。
可以理解的是，在一组带缺陷表面图像带有多处缺陷标注时，对该组带缺陷表面图像及缺陷掩码图进行裁剪，可以得到多组带缺陷局部图像及对应的局部缺陷掩码图。
步骤S130，根据多组带缺陷局部图像及局部缺陷掩码图，构建得到缺陷库。
在本实施例中，缺陷库可按缺陷所在面对每组带缺陷局部图像及局部缺陷掩码图进行存储，也可按缺陷所在面及缺陷类别对每组带缺陷局部图像及局部缺陷掩码图进行存储，其中，缺陷所在面可以理解为缺陷所在拍摄面，即磁性材料产品的拍摄面。
为了便于前述内容的理解，可结合图2，图2为本申请实施例提供的构建缺陷库的示意图。
步骤S140，获取上述磁性材料产品的无缺陷表面图像。
在本实施例中，此处的磁性材料产品与前述内容的磁性材料产品为同一类别的磁性材料产品。
无缺陷表面图像没有缺陷标注。可选地，无缺陷表面图像可通过摄像设备得到。
步骤S150，从缺陷库中选取目标缺陷图像及对应的目标缺陷掩码图。
在本实施例中，目标缺陷图像及对应的目标缺陷掩码图用于无缺陷表面图像的缺陷模拟。
可选地，目标缺陷图像及对应的目标缺陷掩码图的选取，可通过图像匹配等方式进行选取。
步骤S160，根据目标缺陷图像、目标缺陷掩码图及图像的结构相似性，在无缺陷表面图像模拟缺陷，得到模拟缺陷图像。
在本实施例中，根据目标缺陷图像、目标缺陷掩码图，可确定待模拟的缺陷。
图像的结构相似性，用于将待模拟的缺陷模拟至无缺陷表面图像的合适位置处，从而得到模拟缺陷图像。
本申请实施例的磁性材料产品表面缺陷模拟方法，通过获取多组磁性材料产品的带缺陷表面图像及对应的缺陷掩码图，裁剪得到多组带缺陷局部图像及对应的局部缺陷掩码图，构建了缺陷库；在获取磁性材料产品的无缺陷表面图像时，可从缺陷库中选取目标缺陷图像及对应的目标缺陷掩码图，结合图像的结构相似性，在无缺陷表面图像模拟缺陷，得到模拟缺陷图像，为基于深度学习实现磁性材料产品表面缺陷检测的方式提供更多的训练数据，提高深度学习算法的性能，进而提高基于深度学习实现磁性材料产品表面缺陷检测的检测准确率。
在从缺陷库中选取目标缺陷图像及对应的目标缺陷掩码图时，为了更为快速地选取适配的目标缺陷图像及对应的目标缺陷掩码图，本申请实施例提供一种可能的实施方式，参见图3，图3为本申请实施例提供的步骤S150的流程示意图，本申请实施例的磁性材料产品表面缺陷模拟方法，步骤S150，从缺陷库中选取目标缺陷图像及对应的目标缺陷掩码图，包括：
步骤S151，根据无缺陷表面图像，确定无缺陷表面图像的所在面；
步骤S152，根据无缺陷表面图像的所在面及缺陷所在面，从缺陷库中选取目标缺陷图像及对应的目标缺陷掩码图。
确定的无缺陷表面图像的所在面为缺陷库中缺陷所在面中的一种。
目标缺陷图像及对应的目标缺陷掩码图在缺陷库中所属的缺陷所在面与确定的无缺陷表面图像的所在面相同。
若缺陷所在面与确定的无缺陷表面图像的所在面相同时，有多组目标缺陷图像及对应的目标缺陷掩码图，则从多组目标缺陷图像及对应的目标缺陷掩码图中随机选取一组。
在上述过程中，该方法通过无缺陷表面图像的所在面及缺陷所在面，可更为快速地从缺陷库中选取目标缺陷图像及对应的目标缺陷掩码图，并可使得选取的目标缺陷图像与无缺陷表面图像更为适配，以更好地保障本申请实施例的磁性材料产品表面缺陷模拟方法的模拟效果，以及得到的模拟缺陷图像的质量。
为了更有利于无缺陷表面图像的缺陷模拟，本申请实施例提供一种可能的实施方式，参见图4，图4为本申请实施例提供的步骤S160的流程示意图，本申请实施例的磁性材料产品表面缺陷模拟方法，步骤S160，根据目标缺陷图像、目标缺陷掩码图及图像的结构相似性，在无缺陷表面图像模拟缺陷，得到模拟缺陷图像，包括：
步骤S161，根据目标缺陷图像、目标缺陷掩码图及图像的结构相似性，从无缺陷表面图像得到模拟缺陷局部图像及其位置信息；
步骤S162，根据模拟缺陷局部图像及其位置信息，将模拟缺陷局部图像嵌入无缺陷表面图像，得到模拟缺陷图像。
在上述过程中，该方法通过得到模拟缺陷局部图像及其位置信息，将模拟缺陷局部图像嵌入无缺陷表面图像，得到模拟缺陷图像的方式，更有利于无缺陷表面图像的缺陷模拟，得到较高质量的模拟缺陷图像。
可选地，步骤S161，根据目标缺陷图像、目标缺陷掩码图及图像的结构相似性，从无缺陷表面图像得到模拟缺陷局部图像及其位置信息，可：
根据目标缺陷图像的尺寸，在无缺陷表面图像裁剪得到多个窗口图像；
根据目标缺陷图像及目标缺陷掩码图，在每个窗口图像模拟缺陷，得到对应的模拟缺陷窗口图像；
根据每个模拟缺陷窗口图像与目标缺陷图像的结构相似性，从所有模拟缺陷窗口图像中确定符合缺陷模拟要求的模拟缺陷局部图像及其位置信息。
为了便于上述内容的理解，可结合图5，图5为本申请实施例提供的确定模拟缺陷局部图像及其位置信息的示意图。
多个窗口图像的尺寸与目标缺陷图像的尺寸一致，可通过滑动窗口的方式，遍历无缺陷表面图像，裁剪得到一系列与目标缺陷图像尺寸一致的窗口图像。
在根据每个模拟缺陷窗口图像与目标缺陷图像的结构相似性，从所有模拟缺陷窗口图像中确定符合缺陷模拟要求的模拟缺陷局部图像及其位置信息时，可根据每个模拟缺陷窗口图像与目标缺陷图像的结构相似性及预设的相似性阈值，从所有模拟缺陷窗口图像中确定符合缺陷模拟要求的模拟缺陷局部图像及其位置信息。
对于模拟缺陷窗口图像与目标缺陷图像的结构相似性大于等于预设的相似性阈值的模拟缺陷窗口图像，确定为模拟缺陷局部图像。若模拟缺陷窗口图像与目标缺陷图像的结构相似性大于等于预设的相似性阈值的模拟缺陷窗口图像存在多幅时，确定模拟缺陷窗口图像与目标缺陷图像的结构相似性最高的模拟缺陷窗口图像为模拟缺陷局部图像。
每个模拟缺陷窗口图像与目标缺陷图像的结构相似性的计算公式如下：
SSIM(x,y)＝[l(x,y)]α·[c(x,y)]β·[s(x,y)]γ
其中，
Figure BDA0002452946870000111
SSIM(x，y)表示单个模拟缺陷窗口图像与目标缺陷图像的结构相似性，x、y分别表示单个模拟缺陷窗口图像与目标缺陷图像，l(x，y)表示单个模拟缺陷窗口图像与目标缺陷图像的亮度相关性，c(x，y)表示单个模拟缺陷窗口图像与目标缺陷图像的对比度相关性，s(x，y)表示单个模拟缺陷窗口图像与目标缺陷图像的结构相关性，α、β、γ均大于0，用于控制亮度相关性、对比度相关性及结构相关性的重要性，μx、μy分别表示单个模拟缺陷窗口图像的像素值与目标缺陷图像的像素值，δx、δy分别表示单个模拟缺陷窗口图像像素值的标准差与目标缺陷图像像素值的标准差，δxy表示单个模拟缺陷窗口图像像素值与目标缺陷图像像素值的协方差，C1、C2、C3均为常数，用于避免分母为0时带来的系统错误。
在上述过程中，该方法根据目标缺陷图像的尺寸，在无缺陷表面图像裁剪得到多个窗口图像，保障了多个窗口图像的尺寸与目标缺陷图像尺寸的一致性，同时，通过每个模拟缺陷窗口图像与目标缺陷图像的结构相似性，便于从所有模拟缺陷窗口图像中确定模拟缺陷局部图像及其位置信息。
可选地，步骤S162，根据模拟缺陷局部图像及其位置信息，将模拟缺陷局部图像嵌入无缺陷表面图像，得到模拟缺陷图像，可：
通过高斯模糊对模拟缺陷局部图像的缺陷边缘进行平滑处理；
根据模拟缺陷局部图像及其位置信息，将平滑处理后的模拟缺陷局部图像嵌入无缺陷表面图像，得到模拟缺陷图像。
在上述过程中，该方法通过高斯模糊对模拟缺陷局部图像的缺陷边缘进行平滑处理，防止模拟缺陷局部图像的缺陷边缘出现明显的粘贴或不连续的痕迹，更好地保障了得到的模拟缺陷图像的质量。
实施例二
为了执行上述实施例一对应的方法，以实现相应的功能和技术效果，下面提供一种磁性材料产品表面缺陷模拟装置。
参见图6，图6为本申请实施例提供的磁性材料产品表面缺陷模拟装置的结构框图。
本申请实施例的磁性材料产品表面缺陷模拟装置，包括：
获取模块210，用于获取多组磁性材料产品的带缺陷表面图像及对应的缺陷掩码图，带缺陷表面图像带有缺陷标注；
裁剪模块220，用于根据多组带缺陷表面图像及缺陷掩码图，裁剪得到多组带缺陷局部图像及对应的局部缺陷掩码图；
构建模块230，用于根据多组带缺陷局部图像及局部缺陷掩码图，构建得到缺陷库；
上述获取模块210，还用于获取上述磁性材料产品的无缺陷表面图像；
选取模块240，用于从缺陷库中选取目标缺陷图像及对应的目标缺陷掩码图；
缺陷模拟模块250，用于根据目标缺陷图像、目标缺陷掩码图及图像的结构相似性，在无缺陷表面图像模拟缺陷，得到模拟缺陷图像。
本申请实施例的磁性材料产品表面缺陷模拟装置，通过获取多组磁性材料产品的带缺陷表面图像及对应的缺陷掩码图，裁剪得到多组带缺陷局部图像及对应的局部缺陷掩码图，构建了缺陷库；在获取磁性材料产品的无缺陷表面图像时，可从缺陷库中选取目标缺陷图像及对应的目标缺陷掩码图，结合图像的结构相似性，在无缺陷表面图像模拟缺陷，得到模拟缺陷图像，为基于深度学习实现磁性材料产品表面缺陷检测的方式提供更多的训练数据，提高深度学习算法的性能，进而提高基于深度学习实现磁性材料产品表面缺陷检测的检测准确率。
作为一种可选的实施方式，选取模块240，可具体用于：
根据无缺陷表面图像，确定无缺陷表面图像的所在面；
根据无缺陷表面图像的所在面及缺陷所在面，从缺陷库中选取目标缺陷图像及对应的目标缺陷掩码图。
作为一种可选的实施方式，缺陷模拟模块250，可具体用于：
根据目标缺陷图像、目标缺陷掩码图及图像的结构相似性，从无缺陷表面图像得到模拟缺陷局部图像及其位置信息；
根据模拟缺陷局部图像及其位置信息，将模拟缺陷局部图像嵌入无缺陷表面图像，得到模拟缺陷图像。
可选地，缺陷模拟模块250在根据目标缺陷图像、目标缺陷掩码图及图像的结构相似性，从无缺陷表面图像得到模拟缺陷局部图像及其位置信息时，可：
根据目标缺陷图像的尺寸，在无缺陷表面图像裁剪得到多个窗口图像；
根据目标缺陷图像及目标缺陷掩码图，在每个窗口图像模拟缺陷，得到对应的模拟缺陷窗口图像；
根据每个模拟缺陷窗口图像与目标缺陷图像的结构相似性，从所有模拟缺陷窗口图像中确定符合缺陷模拟要求的模拟缺陷局部图像及其位置信息。
可选地，缺陷模拟模块250在根据模拟缺陷局部图像及其位置信息，将模拟缺陷局部图像嵌入无缺陷表面图像，得到模拟缺陷图像时，可：
通过高斯模糊对模拟缺陷局部图像的缺陷边缘进行平滑处理；
根据模拟缺陷局部图像及其位置信息，将平滑处理后的模拟缺陷局部图像嵌入无缺陷表面图像，得到模拟缺陷图像。
上述的磁性材料产品表面缺陷模拟装置可实施上述实施例一的磁性材料产品表面缺陷模拟方法。上述实施例一中的可选项也适用于本实施例，这里不再详述。
本申请实施例的其余内容可参照上述实施例一的内容，在本实施例中，不再进行赘述。
实施例三
本申请实施例提供一种电子设备，包括存储器及处理器，所述存储器用于存储计算机程序，所述处理器运行所述计算机程序以使所述电子设备执行上述的磁性材料产品表面缺陷模拟方法。
可选地，上述电子设备可以是服务器。
另外，本申请实施例还提供一种计算机可读存储介质，其存储有上述的电子设备中所使用的计算机程序。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本申请的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
另外，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本申请的实施例而已，并不用于限制本申请的保护范围，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应所述以权利要求的保护范围为准。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

Claims (10)

1.一种磁性材料产品表面缺陷模拟方法，其特征在于，包括：
获取多组磁性材料产品的带缺陷表面图像及对应的缺陷掩码图，所述带缺陷表面图像带有缺陷标注；
根据多组所述带缺陷表面图像及所述缺陷掩码图，裁剪得到多组带缺陷局部图像及对应的局部缺陷掩码图；
根据多组所述带缺陷局部图像及所述局部缺陷掩码图，构建得到缺陷库；
获取所述磁性材料产品的无缺陷表面图像；
从所述缺陷库中选取目标缺陷图像及对应的目标缺陷掩码图；
根据所述目标缺陷图像、所述目标缺陷掩码图及图像的结构相似性，在所述无缺陷表面图像模拟缺陷，得到模拟缺陷图像。
2.根据权利要求1所述的磁性材料产品表面缺陷模拟方法，其特征在于，所述缺陷库至少按缺陷所在面对所述带缺陷局部图像及所述局部缺陷掩码图进行存储；
所述从所述缺陷库中选取目标缺陷图像及对应的目标缺陷掩码图，包括：
根据所述无缺陷表面图像，确定所述无缺陷表面图像的所在面；
根据所述无缺陷表面图像的所在面及所述缺陷所在面，从所述缺陷库中选取目标缺陷图像及对应的目标缺陷掩码图。
3.根据权利要求1所述的磁性材料产品表面缺陷模拟方法，其特征在于，所述根据所述目标缺陷图像、所述目标缺陷掩码图及图像的结构相似性，在所述无缺陷表面图像模拟缺陷，得到模拟缺陷图像，包括：
根据所述目标缺陷图像、所述目标缺陷掩码图及图像的结构相似性，从所述无缺陷表面图像得到模拟缺陷局部图像及其位置信息；
根据所述模拟缺陷局部图像及其位置信息，将所述模拟缺陷局部图像嵌入所述无缺陷表面图像，得到模拟缺陷图像。
4.根据权利要求3所述的磁性材料产品表面缺陷模拟方法，其特征在于，所述根据所述目标缺陷图像、所述目标缺陷掩码图及图像的结构相似性，从所述无缺陷表面图像得到模拟缺陷局部图像及其位置信息，包括：
根据所述目标缺陷图像的尺寸，在所述无缺陷表面图像裁剪得到多个窗口图像；
根据所述目标缺陷图像及所述目标缺陷掩码图，在每个所述窗口图像模拟缺陷，得到对应的模拟缺陷窗口图像；
根据每个所述模拟缺陷窗口图像与所述目标缺陷图像的结构相似性，从所有所述模拟缺陷窗口图像中确定符合缺陷模拟要求的模拟缺陷局部图像及其位置信息。
5.根据权利要求4所述的磁性材料产品表面缺陷模拟方法，其特征在于，所述根据每个所述模拟缺陷窗口图像与所述目标缺陷图像的结构相似性，从所有所述模拟缺陷窗口图像中确定符合缺陷模拟要求的模拟缺陷局部图像及其位置信息，包括：
根据每个所述模拟缺陷窗口图像与所述目标缺陷图像的结构相似性及预设的相似性阈值，从所有所述模拟缺陷窗口图像中确定符合缺陷模拟要求的模拟缺陷局部图像及其位置信息。
6.根据权利要求3所述的磁性材料产品表面缺陷模拟方法，其特征在于，所述根据所述模拟缺陷局部图像及其位置信息，将所述模拟缺陷局部图像嵌入所述无缺陷表面图像，得到模拟缺陷图像，包括：
通过高斯模糊对所述模拟缺陷局部图像的缺陷边缘进行平滑处理；
根据所述模拟缺陷局部图像及其位置信息，将平滑处理后的模拟缺陷局部图像嵌入所述无缺陷表面图像，得到模拟缺陷图像。
7.一种磁性材料产品表面缺陷模拟装置，其特征在于，包括：
获取模块，用于获取多组磁性材料产品的带缺陷表面图像及对应的缺陷掩码图，所述带缺陷表面图像带有缺陷标注；
裁剪模块，用于根据多组所述带缺陷表面图像及所述缺陷掩码图，裁剪得到多组带缺陷局部图像及对应的局部缺陷掩码图；
构建模块，用于根据多组所述带缺陷局部图像及所述局部缺陷掩码图，构建得到缺陷库；
所述获取模块，还用于获取所述磁性材料产品的无缺陷表面图像；
选取模块，用于从所述缺陷库中选取目标缺陷图像及对应的目标缺陷掩码图；
缺陷模拟模块，用于根据所述目标缺陷图像、所述目标缺陷掩码图及图像的结构相似性，在所述无缺陷表面图像模拟缺陷，得到模拟缺陷图像。
8.根据权利要求7所述的磁性材料产品表面缺陷模拟装置，其特征在于，所述缺陷模拟模块，具体用于：
根据所述目标缺陷图像、所述目标缺陷掩码图及图像的结构相似性，从所述无缺陷表面图像得到模拟缺陷局部图像及其位置信息；
根据所述模拟缺陷局部图像及其位置信息，将所述模拟缺陷局部图像嵌入所述无缺陷表面图像，得到模拟缺陷图像。
9.一种电子设备，其特征在于，包括存储器及处理器，所述存储器用于存储计算机程序，所述处理器运行所述计算机程序以使所述电子设备执行根据权利要求1至6中任一项所述的磁性材料产品表面缺陷模拟方法。
10.一种计算机可读存储介质，其特征在于，其存储有权利要求9所述的电子设备中所使用的计算机程序。
CN202010299408.9A 2020-04-16 2020-04-16 一种磁性材料产品表面缺陷模拟方法及装置 Active CN111489348B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010299408.9A CN111489348B (zh) 2020-04-16 2020-04-16 一种磁性材料产品表面缺陷模拟方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010299408.9A CN111489348B (zh) 2020-04-16 2020-04-16 一种磁性材料产品表面缺陷模拟方法及装置

Publications (2)

Publication Number Publication Date
CN111489348A true CN111489348A (zh) 2020-08-04
CN111489348B CN111489348B (zh) 2023-01-20

Family

ID=71812892

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010299408.9A Active CN111489348B (zh) 2020-04-16 2020-04-16 一种磁性材料产品表面缺陷模拟方法及装置

Country Status (1)

Country Link
CN (1) CN111489348B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113658167A (zh) * 2021-08-24 2021-11-16 凌云光技术股份有限公司 一种含缺陷的训练图像生成方法及装置
CN114820621A (zh) * 2022-06-29 2022-07-29 中冶建筑研究总院（深圳）有限公司 一种螺栓丢失缺陷检测方法、系统及装置
CN114937027A (zh) * 2022-06-20 2022-08-23 创新奇智(上海)科技有限公司 风机叶片缺陷检测的方法、装置、电子设备及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110299758A1 (en) * 2007-01-11 2011-12-08 Kla-Tencor Corporation Wafer Plane Detection of Lithographically Significant Contamination Photomask Defects
US8739098B1 (en) * 2013-02-20 2014-05-27 Globalfoundries Inc. EUV mask defect reconstruction and compensation repair
CN109711474A (zh) * 2018-12-24 2019-05-03 中山大学 一种基于深度学习的铝材表面缺陷检测算法
CN109785288A (zh) * 2018-12-17 2019-05-21 广东电网有限责任公司 基于深度学习的输电设备缺陷检测方法及系统
CN109886950A (zh) * 2019-02-22 2019-06-14 北京百度网讯科技有限公司 电路板的缺陷检测方法和装置
CN110555839A (zh) * 2019-09-06 2019-12-10 腾讯云计算（北京）有限责任公司 缺陷检测识别方法、装置、计算机设备及存储介质
CN110573066A (zh) * 2017-03-02 2019-12-13 光谱Md公司 用于多光谱截肢部位分析的机器学习系统和技术

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110299758A1 (en) * 2007-01-11 2011-12-08 Kla-Tencor Corporation Wafer Plane Detection of Lithographically Significant Contamination Photomask Defects
US8739098B1 (en) * 2013-02-20 2014-05-27 Globalfoundries Inc. EUV mask defect reconstruction and compensation repair
CN110573066A (zh) * 2017-03-02 2019-12-13 光谱Md公司 用于多光谱截肢部位分析的机器学习系统和技术
CN109785288A (zh) * 2018-12-17 2019-05-21 广东电网有限责任公司 基于深度学习的输电设备缺陷检测方法及系统
CN109711474A (zh) * 2018-12-24 2019-05-03 中山大学 一种基于深度学习的铝材表面缺陷检测算法
CN109886950A (zh) * 2019-02-22 2019-06-14 北京百度网讯科技有限公司 电路板的缺陷检测方法和装置
CN110555839A (zh) * 2019-09-06 2019-12-10 腾讯云计算（北京）有限责任公司 缺陷检测识别方法、装置、计算机设备及存储介质

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113658167A (zh) * 2021-08-24 2021-11-16 凌云光技术股份有限公司 一种含缺陷的训练图像生成方法及装置
CN113658167B (zh) * 2021-08-24 2024-03-26 凌云光技术股份有限公司 一种含缺陷的训练图像生成方法及装置
CN114937027A (zh) * 2022-06-20 2022-08-23 创新奇智(上海)科技有限公司 风机叶片缺陷检测的方法、装置、电子设备及存储介质
CN114937027B (zh) * 2022-06-20 2024-03-15 创新奇智(上海)科技有限公司 风机叶片缺陷检测的方法、装置、电子设备及存储介质
CN114820621A (zh) * 2022-06-29 2022-07-29 中冶建筑研究总院（深圳）有限公司 一种螺栓丢失缺陷检测方法、系统及装置
CN114820621B (zh) * 2022-06-29 2022-09-06 中冶建筑研究总院（深圳）有限公司 一种螺栓丢失缺陷检测方法、系统及装置

Also Published As

Publication number Publication date
CN111489348B (zh) 2023-01-20

Similar Documents

Publication Publication Date Title
CN111489348B (zh) 一种磁性材料产品表面缺陷模拟方法及装置
US11631162B2 (en) Machine learning training method, system, and device
CN111695486B (zh) 一种基于点云的高精度方向标志牌目标提取方法
Christlein et al. An evaluation of popular copy-move forgery detection approaches
CN109919209A (zh) 一种领域自适应深度学习方法及可读存储介质
US20150248592A1 (en) Method and device for identifying target object in image
CN108810619B (zh) 识别视频中水印的方法、装置和电子设备
CN109255767B (zh) 图像处理方法和装置
CN112800097A (zh) 基于深度兴趣网络的专题推荐方法及装置
CN111062903A (zh) 图像水印的自动处理方法、系统、电子设备及存储介质
CN111709966B (zh) 眼底图像分割模型训练方法及设备
CN111784564B (zh) 自动抠图方法及系统
CN110276295A (zh) 车辆识别号码检测识别方法及设备
CN110599453A (zh) 一种基于图像融合的面板缺陷检测方法、装置及设备终端
CN110689134A (zh) 执行机器学习过程的方法、装置、设备以及存储介质
CN112613543A (zh) 增强策略验证方法、装置、电子设备及存储介质
CN112288727A (zh) 磁环表面缺陷检测方法、装置、电子设备及存储介质
EP2058741A2 (en) A method and apparatus for analysing a plurality of stored images
CN114240956A (zh) 一种肺部ct影像管状结构分割方法、装置、电子设备
CN114882204A (zh) 船名自动识别方法
GB2606807A (en) Image creation for computer vision model training
CN111753729B (zh) 一种假脸检测方法、装置、电子设备及存储介质
CN112991410A (zh) 一种文本图像配准方法、电子设备及其存储介质
CN115630660B (zh) 基于卷积神经网络的条码定位方法和装置
CN109145918B (zh) 图像分割标注方法及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant