CN112085722B - 一种训练样本图像获取方法及装置 - Google Patents

一种训练样本图像获取方法及装置 Download PDF

Info

Publication number
CN112085722B
CN112085722B CN202010937658.0A CN202010937658A CN112085722B CN 112085722 B CN112085722 B CN 112085722B CN 202010937658 A CN202010937658 A CN 202010937658A CN 112085722 B CN112085722 B CN 112085722B
Authority
CN
China
Prior art keywords
sheared
defects
defect
training sample
sample image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010937658.0A
Other languages
English (en)
Other versions
CN112085722A (zh
Inventor
胡凯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Luster LightTech Co Ltd
Original Assignee
Luster LightTech Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Luster LightTech Co Ltd filed Critical Luster LightTech Co Ltd
Priority to CN202010937658.0A priority Critical patent/CN112085722B/zh
Publication of CN112085722A publication Critical patent/CN112085722A/zh
Application granted granted Critical
Publication of CN112085722B publication Critical patent/CN112085722B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Abstract

本发明涉及一种训练样本图像获取方法及装置，包括以下步骤：获取待处理大尺度训练样本图像；确定训练样本图像中所有缺陷的位置和大小；根据每个缺陷的位置和大小计算待剪切缺陷的需要剪切的小图像个数；根据所述待剪切缺陷的需要剪切的小图像个数，对待剪切缺陷进行剪切，将剪切完成的缺陷标记为已剪切的缺陷；复制训练样本图像中已标记为已剪切的缺陷的位置区域，得到具有缺陷的小尺寸训练样本图像。本发明的一种训练样本图像获取方法及装置，能够对小尺寸缺陷、大尺寸缺陷、密集型缺陷都有很好的适应性，能够很好的解决输入图像过大难以训练的问题，生成的缺陷可以使模型重点对有缺陷区域进行学习训练。

Description

一种训练样本图像获取方法及装置
技术领域
本申请涉及图像处理技术领域，尤其涉及一种训练样本图像获取方法及装置。
背景技术
在机器视觉应用中，缺陷检测占据非常重要的位置，因为必要的缺陷检测能有效提高产品质量、降低成本，并提高客户的满意度。
现有技术中，主要通过深度学习方法，使用训练样本对卷积神经网络进行训练，利用训练生成模型实现图像缺陷检测。
但是，基于深度学习的方法需要大量的缺陷样本作为训练集，而在工业品缺陷检测领域，往往很难收到大量的缺陷图像作为训练样本；并且工业品缺陷检测领域，待检测图像的分辨率一般都为5000像素x 8000像素及以上尺寸，而待检测图像可能存在多个缺陷尺寸不统一的缺陷，大的缺陷尺寸可以达到几百像素x几百像素，但是小的缺陷尺寸可能只有2像素x2像素，导致模型训练难度较大，训练出的模型准确率较低。
所以，如何获取大量合适的训练样本，是目前需要解决的主要问题。
发明内容
本申请提供了一种训练样本图像获取方法及装置，可以用于深度学习方法的前处理过程，以获取大量的小尺寸缺陷图像作为训练样本。
本申请采用的技术方案如下：
本申请提供了一种训练样本图像获取方法，其特征在于，包括以下步骤：
获取待处理大尺度训练样本图像；
确定训练样本图像中所有缺陷的位置和大小；
根据每个缺陷的位置和大小计算待剪切缺陷的需要剪切的小图像个数；
根据所述待剪切缺陷的需要剪切的小图像个数，对待剪切缺陷进行剪切，将剪切完成的缺陷标记为已剪切的缺陷；
复制训练样本图像中已标记为已剪切的缺陷的位置区域，得到具有缺陷的小尺寸训练样本图像。
进一步地，所述确定大尺度训练样本图像中所有缺陷的位置和大小，包括：
对所述大尺度训练样本图像中的缺陷进行blob分析，并对每个缺陷所处外接矩形进行网格化处理，获取大尺度训练样本图像中的缺陷在所述外接矩形中的位置和大小。
进一步地，并对每个缺陷所处外接矩形进行网格化处理，包括:
并根据每个缺陷的blob的质心位置、每个缺陷所处外接矩形的大小及需要剪切的小图像的大小对每个外接矩形进行网格化处理。
进一步地，所述根据每个缺陷的位置和大小计算待剪切缺陷的需要剪切的小图像个数，包括：
查找所有待剪切的缺陷；
根据所述缺陷外接矩形的大小、位置及需要剪切的小图像的大小计算每个待剪切缺陷中需要剪切的小图个数。
进一步地，将待剪切缺陷进行剪切之前，还包括：
过滤掉待剪切缺陷所处矩形网格中无缺陷的矩形网格。
进一步地，所述过滤掉待剪切缺陷所处矩形网格中无缺陷的矩形网格之后，还包括：
对有缺陷的矩形网格内的缺陷进行剪切，将剪切完成的缺陷标记为已剪切的缺陷。
进一步地，当两个待剪切缺陷位于同一个矩形网格，对其中一个待剪切缺陷进行剪切时，另一个待剪切缺陷也被剪切，并标记为已剪切的缺陷。
进一步地，一种训练样本图像获取装置，包括：
Blob分析模块，用于对所述大尺度训练样本图像中的缺陷进行blob分析，根据每个缺陷所处外接矩形进行网格化处理，获取大尺度训练样本图像中的缺陷在所述网格中的位置和大小；
剪切位置信息生成模块，用于根据每个缺陷的位置和大小计算待剪切缺陷的需要剪切的小图像个数，将所述待剪切缺陷进行剪切，将剪切完成的缺陷标记为已剪切，将剪切完成的缺陷标记为已剪切的缺陷；
小尺寸缺陷图像生成模块，用于复制标记为已剪切的缺陷的位置区域，得到具有缺陷的小尺寸图像。
进一步地，所述剪切位置信息生成模块包括：
计算单元,所述计算单元用于查找所有待剪切的缺陷，根据所述缺陷外接矩形的大小、位置及需要剪切的小图像的大小计算每个待剪切缺陷中需要剪切的小图个数；
过滤单元，所述过滤单元用于过滤待剪切缺陷所处矩形网格中无缺陷的矩形网格。
采用本申请的技术方案的有益效果如下：
本发明的一种训练样本图像获取方法及装置，能够对小尺寸缺陷、大尺寸缺陷、密集型缺陷都有很好的适应性，能够很好的解决输入图像过大难以训练的问题，生成的缺陷可以使模型重点对有缺陷区域进行学习训练。
附图说明
为了更清楚地说明本申请的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。
基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1为对缺陷所处外接矩形进行网格化处理的结构示意图；
图2为对缺陷所处外接矩形进行网格化处理的结构示意图(需要过滤掉待剪切缺陷所处矩形网格中无缺陷的矩形网格时)；
图3为当两个待剪切缺陷位于同一个矩形网格时的示意图；
图4为一种训练样本图像获取方法的流程图；
图5为小尺寸缺陷剪切效果图；
图6为大尺寸缺陷剪切效果图；
图7为密集缺陷剪切效果图。
具体实施方式
下面将详细地对实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下实施例中描述的实施方式并不代表与本申请相一致的所有实施方式。仅是与权利要求书中所详述的、本申请的一些方面相一致的系统和方法的示例。
参见图1至图7。
本申请提供的一种训练样本图像获取方法，包括以下步骤：
获取待处理大尺度训练样本图像；
对大尺度训练样本图像中的缺陷进行blob分析，并根据每个缺陷的blob的质心位置、每个缺陷所处外接矩形的大小及需要剪切的小图像的大小对每个外接矩形进行网格化处理，获取大尺度训练样本图像中的缺陷在所述网格中的位置和大小(这里假设待处理大尺度训练样本图像均为白色背景，黑色缺陷)；
查找所有待剪切的缺陷；
根据所述缺陷外接矩形的大小、位置及需要剪切的小图像的大小计算每个待剪切缺陷中需要剪切的小图个数(如图1所示)；
根据所述待剪切缺陷的需要剪切的小图像个数，过滤掉待剪切缺陷所处矩形网格中无缺陷的矩形网格(如图2所示)；
对有缺陷的矩形网格内的缺陷进行剪切，将剪切完成的缺陷标记为已剪切的缺陷；
复制训练样本图像中已标记为已剪切的缺陷的位置区域，得到具有缺陷的小尺寸训练样本图像。
其中，在本实施例中：
当两个待剪切缺陷位于同一个矩形网格，对其中一个待剪切缺陷进行剪切时，另一个待剪切缺陷也被剪切，并标记为已剪切的缺陷(如图3所示)。
一种训练样本图像获取装置，包括：
Blob分析模块，用于对所述大尺度训练样本图像中的缺陷进行blob分析，并对每个缺陷所处外接矩形进行网格化处理，获取大尺度训练样本图像中的缺陷在所述外接矩形中的位置和大小；
剪切位置信息生成模块，用于根据每个缺陷的位置和大小计算待剪切缺陷的需要剪切的小图像个数，将所述待剪切缺陷进行剪切，将剪切完成的缺陷标记为已剪切，将将剪切完成的缺陷标记为已剪切的缺陷；
小尺寸缺陷图像生成模块，用于复制标记为已剪切的缺陷的位置区域，得到具有缺陷的小尺寸图像。
所述剪切位置信息生成模块包括：
计算单元,所述计算单元用于查找所有待剪切的缺陷，根据所述缺陷外接矩形的大小、位置及需要剪切的小图像的大小计算每个待剪切缺陷中需要剪切的小图个数；
过滤单元，所述过滤单元用于过滤待剪切缺陷所处矩形网格中无缺陷的矩形网格。
本发明的方法的有益效果：
1、可适应任意尺寸的图像；
2、可适应任意尺寸小缺陷和大缺陷。
如图5～图6所示，从剪切效果可以看出，本发明的方法对小尺寸缺陷、大尺寸缺陷、密集型缺陷都有很好的适应性，能够很好的解决输入图像过大难以训练的问题，生成的缺陷可以使模型重点对有缺陷区域进行学习训练。
本申请提供的实施例之间的相似部分相互参见即可，以上提供的具体实施方式只是本申请总的构思下的几个示例，并不构成本申请保护范围的限定。对于本领域的技术人员而言，在不付出创造性劳动的前提下依据本申请方案所扩展出的任何其他实施方式都属于本申请的保护范围。

Claims (5)

1.一种训练样本图像获取方法，其特征在于，包括以下步骤：
获取待处理大尺度训练样本图像；
确定训练样本图像中所有缺陷的位置和大小；
根据每个缺陷的位置和大小计算待剪切缺陷的需要剪切的小图像个数；
根据所述待剪切缺陷的需要剪切的小图像个数，对待剪切缺陷进行剪切，将剪切完成的缺陷标记为已剪切的缺陷；
复制训练样本图像中已标记为已剪切的缺陷的位置区域，得到具有缺陷的小尺寸训练样本图像；
所述确定大尺度训练样本图像中所有缺陷的位置和大小，包括：
对所述大尺度训练样本图像中的缺陷进行blob分析，并对每个缺陷所处外接矩形进行网格化处理，获取大尺度训练样本图像中的缺陷在所述外接矩形中的位置和大小；
所述根据每个缺陷的位置和大小计算待剪切缺陷的需要剪切的小图像个数，包括：
查找所有待剪切的缺陷；
根据所述缺陷外接矩形的大小、位置及需要剪切的小图像的大小计算每个待剪切缺陷中需要剪切的小图个数；
将待剪切缺陷进行剪切之前，还包括：
过滤掉待剪切缺陷所处矩形网格中无缺陷的矩形网格；
所述过滤掉待剪切缺陷所处矩形网格中无缺陷的矩形网格之后，还包括：
对有缺陷的矩形网格内的缺陷进行剪切，将剪切完成的缺陷标记为已剪切的缺陷。
2.根据权利要求1所述的训练样本图像获取方法，其特征在于，并对每个缺陷所处外接矩形进行网格化处理，包括:
并根据每个缺陷的blob的质心位置、每个缺陷所处外接矩形的大小及需要剪切的小图像的大小对每个外接矩形进行网格化处理。
3.根据权利要求1所述的训练样本图像获取方法，其特征在于，当两个待剪切缺陷位于同一个矩形网格，对其中一个待剪切缺陷进行剪切时，另一个待剪切缺陷也被剪切，并标记为已剪切的缺陷。
4.一种训练样本图像获取装置，用于执行权利要求1-3任一项所述的训练样本图像获取方法，其特征在于，包括：
Blob分析模块，用于对所述大尺度训练样本图像中的缺陷进行blob分析，并对每个缺陷所处外接矩形进行网格化处理，获取大尺度训练样本图像中的缺陷在所述外接矩形中的位置和大小；
剪切位置信息生成模块，用于根据每个缺陷的位置和大小计算待剪切缺陷的需要剪切的小图像个数，将所述待剪切缺陷进行剪切，将剪切完成的缺陷标记为已剪切，将将剪切完成的缺陷标记为已剪切的缺陷；
小尺寸缺陷图像生成模块，用于复制标记为已剪切的缺陷的位置区域，得到具有缺陷的小尺寸图像。
5.根据权利要求4所述的训练样本图像获取装置，其特征在于，所述剪切位置信息生成模块包括：
计算单元,所述计算单元用于查找所有待剪切的缺陷，根据所述缺陷外接矩形的大小、位置及需要剪切的小图像的大小计算每个待剪切缺陷中需要剪切的小图个数；
过滤单元，所述过滤单元用于过滤待剪切缺陷所处矩形网格中无缺陷的矩形网格。
CN202010937658.0A 2020-09-07 2020-09-07 一种训练样本图像获取方法及装置 Active CN112085722B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010937658.0A CN112085722B (zh) 2020-09-07 2020-09-07 一种训练样本图像获取方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010937658.0A CN112085722B (zh) 2020-09-07 2020-09-07 一种训练样本图像获取方法及装置

Publications (2)

Publication Number Publication Date
CN112085722A CN112085722A (zh) 2020-12-15
CN112085722B true CN112085722B (zh) 2024-04-09

Family

ID=73732933

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010937658.0A Active CN112085722B (zh) 2020-09-07 2020-09-07 一种训练样本图像获取方法及装置

Country Status (1)

Country Link
CN (1) CN112085722B (zh)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110473173A (zh) * 2019-07-24 2019-11-19 熵智科技(深圳)有限公司 一种基于深度学习语义分割的缺陷检测方法
CN110619618A (zh) * 2018-06-04 2019-12-27 杭州海康威视数字技术股份有限公司 一种表面缺陷检测方法、装置及电子设备
KR20190143192A (ko) * 2018-06-20 2019-12-30 에임시스템 주식회사 기계 학습 기반의 자동 결함 분류 방법
CN110889823A (zh) * 2019-10-08 2020-03-17 山东天岳先进材料科技有限公司 一种SiC缺陷的检测方法和系统
CN111080622A (zh) * 2019-12-13 2020-04-28 熵智科技(深圳)有限公司 神经网络训练方法、工件表面缺陷分类与检测方法及装置
KR20200046137A (ko) * 2018-10-11 2020-05-07 라온피플 주식회사 결함 검출 장치 및 방법
WO2020092856A1 (en) * 2018-11-02 2020-05-07 Kla Corporation System and method for determining type and size of defects on blank reticles
CN111242185A (zh) * 2020-01-03 2020-06-05 凌云光技术集团有限责任公司 一种基于深度学习的缺陷快速初筛方法及系统
CN111553929A (zh) * 2020-05-12 2020-08-18 重庆邮电大学 基于融合网络的手机屏幕缺陷分割方法、装置及设备
CN111583183A (zh) * 2020-04-13 2020-08-25 成都数之联科技有限公司 一种用于pcb板图像缺陷检测的数据增强方法和系统

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110619618A (zh) * 2018-06-04 2019-12-27 杭州海康威视数字技术股份有限公司 一种表面缺陷检测方法、装置及电子设备
KR20190143192A (ko) * 2018-06-20 2019-12-30 에임시스템 주식회사 기계 학습 기반의 자동 결함 분류 방법
KR20200046137A (ko) * 2018-10-11 2020-05-07 라온피플 주식회사 결함 검출 장치 및 방법
WO2020092856A1 (en) * 2018-11-02 2020-05-07 Kla Corporation System and method for determining type and size of defects on blank reticles
CN110473173A (zh) * 2019-07-24 2019-11-19 熵智科技(深圳)有限公司 一种基于深度学习语义分割的缺陷检测方法
CN110889823A (zh) * 2019-10-08 2020-03-17 山东天岳先进材料科技有限公司 一种SiC缺陷的检测方法和系统
CN111080622A (zh) * 2019-12-13 2020-04-28 熵智科技(深圳)有限公司 神经网络训练方法、工件表面缺陷分类与检测方法及装置
CN111242185A (zh) * 2020-01-03 2020-06-05 凌云光技术集团有限责任公司 一种基于深度学习的缺陷快速初筛方法及系统
CN111583183A (zh) * 2020-04-13 2020-08-25 成都数之联科技有限公司 一种用于pcb板图像缺陷检测的数据增强方法和系统
CN111553929A (zh) * 2020-05-12 2020-08-18 重庆邮电大学 基于融合网络的手机屏幕缺陷分割方法、装置及设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于卷积神经网络的钣金件表面缺陷分类识别方法;谢政峰;王玲;尹湘云;殷国富;;计算机测量与控制(第06期);正文第2节 *

Also Published As

Publication number Publication date
CN112085722A (zh) 2020-12-15

Similar Documents

Publication Publication Date Title
CN111080622B (zh) 神经网络训练方法、工件表面缺陷分类与检测方法及装置
CN111179225B (zh) 一种基于灰度梯度聚类的试纸表面纹理缺陷检测方法
CN107123111B (zh) 一种用于手机屏幕缺陷检测的深度残差网络构造方法
CN108445011B (zh) 一种基于深度学习的瑕疵检测系统及方法
CN111462076B (zh) 一种全切片数字病理图像模糊区域检测方法及系统
CN106934800A (zh) 一种基于yolo9000网络的金属板带表面缺陷检测方法及装置
CN114266773B (zh) 显示面板缺陷定位方法、装置、设备及存储介质
CN110346699B (zh) 基于紫外图像处理技术的绝缘子放电信息提取方法及装置
CN104992449A (zh) 基于机器视觉的信息识别及表面缺陷在线检测方法
CN113284154B (zh) 钢卷端面图像分割方法、装置及电子设备
US20210287352A1 (en) Minimally Supervised Automatic-Inspection (AI) of Wafers Supported by Convolutional Neural-Network (CNN) Algorithms
CN114240939A (zh) 一种主板元器件外观缺陷检测方法、系统、设备及介质
CN101739556A (zh) 钢坯号自动识别方法
CN110020691A (zh) 基于卷积神经网络对抗式训练的液晶屏幕缺陷检测方法
CN114219799A (zh) 一种智能制造用次品分析方法及系统
CN113887524A (zh) 基于语义分割的磁铁矿显微图像分割方法
CN114723668A (zh) 一种基于面阵相机的阴极铜质量检测方法及系统
CN112085722B (zh) 一种训练样本图像获取方法及装置
CN110807754A (zh) 基于深度语义分割的真菌显微图像分割检测方法及系统
CN115937555A (zh) 一种基于标准化流模型的工业缺陷检测算法
CN112967224A (zh) 一种基于人工智能的电子电路板检测系统、方法及介质
Gunraj et al. SolderNet: Towards trustworthy visual inspection of solder joints in electronics manufacturing using explainable artificial intelligence
CN113487550B (zh) 一种基于改进激活函数的目标检测方法及装置
CN113487551B (zh) 基于深度学习提升密集目标性能的垫片检测方法及装置
CN115424099B (zh) 用于识别碳化硅位错的模型训练方法、识别方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant