CN109767419A - 数据生成装置、数据生成方法及存储介质 - Google Patents

数据生成装置、数据生成方法及存储介质 Download PDF

Info

Publication number
CN109767419A
CN109767419A CN201811057553.5A CN201811057553A CN109767419A CN 109767419 A CN109767419 A CN 109767419A CN 201811057553 A CN201811057553 A CN 201811057553A CN 109767419 A CN109767419 A CN 109767419A
Authority
CN
China
Prior art keywords
region
data
study
image
defect
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811057553.5A
Other languages
English (en)
Other versions
CN109767419B (zh
Inventor
栗田真嗣
半泽雄希
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp filed Critical Omron Corp
Publication of CN109767419A publication Critical patent/CN109767419A/zh
Application granted granted Critical
Publication of CN109767419B publication Critical patent/CN109767419B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/19—Recognition using electronic means
    • G06V30/191—Design or setup of recognition systems or techniques; Extraction of features in feature space; Clustering techniques; Blind source separation
    • G06V30/19147—Obtaining sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/19—Recognition using electronic means
    • G06V30/191—Design or setup of recognition systems or techniques; Extraction of features in feature space; Clustering techniques; Blind source separation
    • G06V30/19173—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/19—Recognition using electronic means
    • G06V30/196—Recognition using electronic means using sequential comparisons of the image signals with a plurality of references
    • G06V30/1983—Syntactic or structural pattern recognition, e.g. symbolic string recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Quality & Reliability (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Databases & Information Systems (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

一种数据生成装置、数据生成方法及存储介质，生成能够使识别器学习的学习用数据，以便根据图像恰当地识别包含于检查对象物中的缺陷特征。数据生成装置具备：获取部，获取具有缺陷的检查对象物的图像及图像的包含缺陷的区域；修改部，对获取部获取的区域进行使区域的外缘扩展的修改，以使区域的内部含有的像素增加预定量；以及生成部，将被修改部修改的区域与图像建立关联，生成学习用数据。

Description

数据生成装置、数据生成方法及存储介质
技术领域
本发明涉及一种数据生成装置、数据生成方法及存储介质。
背景技术
近年来，使用神经网络等识别器进行图像识别的技术被广泛研究。识别器使用包含图像及该图像标签的数据(教导数据)进行学习。
关于生成高质量的学习用数据，以下专利文件1中记载了一种信息处理装置，其具备：分类部，通过利用将第一数据集作为教导数据的有教导学习来学习的分类器，将第二数据集作为评价数据进行分类；输入部，接收与分类部的分类结果相对应的第二数据集的标签修改；以及更新部，反映输入部所接收的修改来更新第二数据集。
专利文件1日本特开2015-087903号公报
例如当通过识别器来判断检查对象物的图像是否含有缺陷时，作为识别器的学习用数据，需要准备使包含缺陷的图像和含有该缺陷的区域相关联的学习用数据。使用这种学习用数据学习的识别器能够向被输入的图像输出判断为包含缺陷的区域。这里，可以由人手动输入包含缺陷的区域。
但是，包含缺陷的区域指定不是一定将缺陷周边恰当地包含进去。例如，发明者发现如下情况：区域被指定为几乎只包含缺陷的话，缺陷与其他部分的对比变得困难，无法用识别器恰当地识别缺陷特征。
发明内容
于是，本发明提供一种数据生成装置、数据生成方法及存储介质，生成能够使识别器学习的学习用数据，以便根据图像恰当地识别包含于检查对象物中的缺陷特征。
本发明的一方式提供一种数据生成装置，其具备：获取部，获取具有缺陷的检查对象物的图像及图像的包含缺陷的区域；修改部，对获取部获取的区域进行使区域的外缘扩展的修改，以使区域的内部含有的像素增加预定量；以及生成部，将被修改部修改的区域与图像建立关联，生成学习用数据。这里，学习用数据至少包括输入到识别器中的图像数据和与该图像数据相关联并与该图像的包含缺陷的区域相关的数据，一般情况下，也可以是学习用数据包括没有缺陷的检查对象物的图像数据和表示该图像数据中不含有缺陷之内容的数据。
根据该方式，即便将包含缺陷的区域指定为几乎只包含缺陷的情况下，修改成区域外缘的至少一部分扩展，能够生成供识别器学习的学习用数据，以使识别器根据图像恰当地识别检查对象物中包含的缺陷特征。其结果，通过使用学习用数据进行学习，能够提高识别器对缺陷的识别性能。
在上述方式中，也可以是，修改部对获取部获取的区域进行多个不同修改，生成部将被修改部进行了多个不同修改的多个修改区域与图像建立关联，生成与被修改部进行的多个不同修改相对应的多个候选学习用数据。
根据该方式，将进行多个不同修改的区域与图像建立关联，生成多个候选学习用数据，从而能够生成对缺陷与其他部分进行对比的容易度各自不同的候选学习用数据。这里，不同修改是指例如外缘扩展程度不同，通过生成外缘扩展程度不同的多个候选学习用数据，缺陷与其他部分进行对比的容易程度各不相同，由此能够生成作为学习结果而识别器获得的表示缺陷的图像部分特征不同的学习用数据。此外，多个候选学习用数据不必实际全部都用作学习用数据。另外，外缘扩展程度不同的多个候选学习用数据的一部分分或者全部选择性地用作实际的学习用数据即可。
在上述方式中，也可以是，修改部根据除包含于获取部获取的区域中的缺陷以外的背景图案，确定区域的修改方法。
根据该方式，能够确定包含于区域中的缺陷以外的背景图案在修改前后没有很大不同的修改方法，从而能够生成能够根据图像将包含于检查对象物的缺陷与其他部分的对比恰当进行的学习用数据。例如，防止因对含有缺陷的区域进行修改而使得修改前不存在的特殊图案包含在修改后区域中，能够生成能够通过识别器将包含于图像中的缺陷与其他部分的对比恰当进行的学习用数据。
在上述方式中，也可以是，数据生成装置还具备：学习部，将多个候选学习用数据分别用于不同识别器的学习，使多个识别器进行学习，识别器用于根据被输入的图像识别检查对象物中是否包含缺陷；以及选择部，根据通过学习部学习的、多个学习完毕的识别器的识别性能，从多个候选学习用数据中选择一个或多个学习用数据。
根据该方式，生成的多个候选学习用数据分别适用于不同识别器的学习，通过根据多个学习完毕的识别器的识别性能选择一个或多个学习用数据，能够挑选能够根据图像将检查对象物中含有的缺陷与其他部分的对比恰当进行的学习用数据。这里，不同修改是指例如外缘扩展程度不同，由于能够根据外缘扩展程度不同的多个学习用数据生成的多个识别器的识别性能，对多个学习用数据进行是否采用的挑选，识别器能够恰当地获得用于判断缺陷部位的特征，能够提高缺陷的识别性能。
在上述方式中，也可以是，选择部根据被修改部进行修改前的区域和被修改部进行修改后的区域之间的近似度，从多个候选学习用数据中选择一个或多个学习用数据。此外，修改前后的区域的近似度可以使用例如黑白浓淡度、边缘的个数及强度。
根据该方式，通过对显示缺陷的区域进行修改，能够防止目标以外的图像部位包含于区域中。即，能够选择是否采用学习用数据，以防止可能被误判为缺陷的图像部位混入学习用数据中，从而能够挑选能够通过识别器将图像中包含的缺陷与其他部分的对比更恰当地进行的学习用数据。
在上述方式中，也可以是，选择部根据被修改部进行修改前的区域的外缘像素值和被修改部进行修改后的区域的外缘像素值之间的关联，计算近似度。
根据该方式，通过扩展区域外缘，例如当修改后的区域外缘包含了在修改前的区域中不存在的可能被误判为缺陷的图像部位时，能够将这种修改后的区域从学习用数据中去除。
在上述方式中，也可以是，获取部获取具有多个缺陷的检查对象物的图像和图像的分别包含多个缺陷中一个缺陷的多个区域，修改部对获取部获取的多个区域分别进行使区域的外缘扩展的修改，以使区域的内部含有的像素增加预定量，生成部将被修改部修改的多个区域与图像建立关联，生成学习用数据。
根据该方式，即便是图像包含多个缺陷并将包含缺陷的多个区域指定为几乎只包含缺陷的情况下，也能够生成能够通过识别器将图像中含有的缺陷与其他部分的对比恰当进行的学习用数据。此外，包含缺陷中一个缺陷的区域是识别器识别为一个缺陷的区域即可。
在上述方式中，也可以是，数据生成装置还具备输入部，输入部接收指定图像的包含缺陷的区域的信息输入，获取部根据通过输入部输入的信息，获取图像的包含缺陷的区域。
根据该方式，能够从确认检查对象物图像的作业者接收指定包含缺陷的区域的信息输入，从而能够在检查工序的现场获取包含缺陷的区域。
在上述方式中，也可以是，输入部接收用于指定图像的包含缺陷的区域的内点的、图像的一个或多个点的输入。
根据该方式，通过指定区域内侧的点，无论缺陷是何种形状，确认检查对象物图像的作业者都能够通过简便操作进行包含缺陷区域的指定。
在上述方式中，也可以是，内点包含图像的缺陷的端点。
根据该方式，指定缺陷的端点，能够更准确地设定缺陷位置，因此能够恰当地设定根据指定的内点确定的区域，可得到能够根据图像将检查对象物中含有的缺陷与其他部分的对比恰当进行的学习用数据。
在上述方式中，也可以是，输入部接收用于指定图像的包含缺陷的区域的外形的、图像的一个或多个点的输入。
根据该方式，通过指定区域的外形，无论缺陷是何种形状，确认检查对象物图像的作业者都能够通过简便操作进行包含缺陷区域的指定。
在上述方式中，也可以是，当满足预定条件时，修改部以使区域的外缘收缩的方式修改区域。此外，预定条件可以是与在区域中缺陷以外的部分所占的比例相关的条件。
根据该方式，即便将包含缺陷的区域指定为缺陷以外的部分占区域大半部分的情况下，修改为区域外缘的至少一部分收缩，能够生成能够根据图像将检查对象物中含有的缺陷与其他部分的对比恰当进行的学习用数据。
在上述方式中，也可以是，修改部根据包含于获取部获取的区域中的缺陷和区域中缺陷以外的其他部分之间的比例，确定区域的外缘的扩缩率。区域外缘的扩缩如下进行即可：将预先存储的合理比例与包含于区域中的缺陷与其他部分之间的比例进行比较，使包含于区域中的缺陷与其他部分之间的比例成为合理比例。
根据该方式，当包含缺陷的区域被指定为几乎只包含缺陷时，修改为将区域外缘相对较大地扩展，当区域被指定为充分包含缺陷以外的部分时，修改为将区域外缘相对较小地扩展。这里，缺陷与其他部分之间比例例如可以表现为表示缺陷的像素数和表示其他部分的像素数之比。
本发明的其他方式提供一种数据生成方法，其包括：获取具有缺陷的检查对象物的图像及图像的包含缺陷的区域；对所获取的区域进行使区域的外缘扩展的修改，以使区域的内部含有的像素增加预定量；以及将所修改的区域与图像建立关联，生成学习用数据。
根据该方式，即便将包含缺陷的区域指定为几乎只包含缺陷的情况下，修改为区域外缘扩展，能够生成能够供识别器学习的学习用数据，以使识别器根据图像恰当地识别检查对象物中包含的缺陷特征。
本发明的其他方式提供一种存储介质，存储有数据生成程序，数据生成程序使数据生成装置所具有的运算装置作为以下单元运行：获取部，获取具有缺陷的检查对象物的图像及图像的包含缺陷的区域；修改部，对获取部获取的区域进行使区域的外缘扩展的修改，以使区域的内部含有的像素增加预定量；以及生成部，将被修改部修改的区域与图像建立关联，生成学习用数据。
根据该方式，即便将包含缺陷的区域指定为几乎只包含缺陷的情况下，修改为区域外缘扩展，能够生成能够供识别器学习的学习用数据，以使识别器根据图像恰当地识别检查对象物中包含的缺陷特征。
本发明提供一种数据生成装置、数据生成方法及存储介质，生成能够使识别器学习的学习用数据，以便根据图像恰当地识别包含于检查对象物中的缺陷特征。
附图说明
图1是本发明的实施方式的数据生成装置的功能框图。
图2是示出本实施方式的数据生成装置的第一学习部及第二学习部中的处理内容的示意图。
图3是示出本实施方式的数据生成装置的测量部中的处理内容的示意图。
图4是示出本实施方式的数据生成装置的硬件构成的框图。
图5是本实施方式的数据生成装置进行图像区域修改的示例的图。
图6是示出本实施方式的数据生成装置执行的第一处理的内容的流程图。
图7是本实施方式的数据生成装置进行图像区域指定的示例的图。
图8是示出本实施方式的数据生成装置执行的第二处理的内容的流程图。
附图标记说明
100…数据生成装置，101…运算装置，102…副存储部，102a…数据生成程序，102b…测量图像，102c…学习用数据，103…副存储部，104…处理器，105…主存储部，106…外部I/F，110…图像收集部，111…属性设置部，112…图像DB，113…图像修改部，120…图像修改部，121…生成部，122…修改图像DB，123…修改部，124…选择部，130…第一学习部，131…第一学习处理部，140…第二学习部，141…第二学习处理部，150…测量部，151…学习结果DB，152…判断部，153…摄像装置，160…测量结果管理部，161…测量结果DB，170…用户界面，180…用户界面，191…输出装置，192…输入装置。
具体实施方式
以下，根据附图说明本发明一方面的实施方式(以下称“本实施方式”)。在各图中，标注同一附图标记的部分具有同一或相同的构成。
§1适用例
首先，用图1说明本发明适用场景的一个示例。图1是将本实施方式的数据生成装置100适用场景的一例示意性例示的功能框图。本实施方式的数据生成装置100是如下装置：当通过摄像装置153拍摄的检查对象物的图像中包含缺陷时，通过用户界面170接收含有缺陷的区域指定，进行使其区域外缘扩展的修改，并将修改后的区域与图像建立关联，生成新的学习用数据。
如图1所示，数据生成装置100具备：摄像装置153，获取有缺陷的检查对象物图像；用户界面170，获取该图像中包含缺陷的区域；修改部123，通过扩展区域的外缘，以使表示区域中的正常部位的像素增多的方式修改所获取的区域；以及生成部121，将由修改部123修改的区域与图像建立关联，生成学习用数据。这里，摄像装置153及用户界面170是本发明“获取部”的一个示例。本说明书中，将摄像装置153新拍摄的检查对象物图像称为“测量图像”，将识别器(a、b、c、A、B、…)用来学习的预先收集的检查对象物图像称为“样本图像”。此外，数据生成装置100不一定必须具备摄像装置153，也可以通过另设的摄像装置获取测量图像。
摄像装置153拍摄的检查对象物测量图像显示在第二作业者的用户界面170中。第二作业者通过用户界面170指定测量图像中包含缺陷的区域。这里，包含缺陷的区域指定不一定将缺陷的周围恰当地包含进去。例如，有时被指定为区域几乎只包含缺陷。以往，在识别图像中包含的人脸等时，当识别对象本身具有特征时，指定只包含识别对象的区域，使识别器学习。但是，缺陷不限于其自身有特征，有时缺陷和其周围部分的差异成为特征。因此，被指定为区域几乎只包含缺陷的话，缺陷和其周围部分的对比变得困难，不能通过识别器恰当地识别缺陷的特征。于是，本实施方式的数据生成装置100不将获取的区域直接与测量图像建立关联，而是将修改部123修改后的区域与测量图像建立关联，生成新的学习用数据。
修改部123修改被第二作业者指定的区域，使区域外缘扩展。并且，生成部121将修改部123修改后的区域与图像建立关联，生成学习用数据。生成的新的学习用数据存储于修改图像DB122，通过第一学习部130及第二学习部140供识别器(a、b、c、A、B、…)学习。
发明者等经深入研究，发现如下情况：当使用基于学习用数据生成的识别器根据所获取的检查对象物图像判断检查对象物中是否包含缺陷时，若使学习用数据中除包含表示缺陷的像素以外还包含表示正常部位的像素，则能够提高使用了所生成的学习用数据的识别器进行的对缺陷的识别精度。可认为这是因为，识别器能够在对图像中的缺陷部位的判断中利用与缺陷部位对应的像素和与正常部位对应的像素之间的差异信息。因此，根据本实施方式的数据生成装置100，即便将包含缺陷的区域指定为几乎只包含缺陷，能够生成能够使识别器学习的学习用数据，使其根据图像恰当地识别检查对象物中所含有的缺陷的特征。因此，在进行识别器的学习处理时，能够以比较少的计算量生成判断精度更高的识别器。另外，即便作业者未必知晓何种区域指定方法适合于识别器学习，也能够生成能够恰当进行图像所包含的缺陷与其他部分的对比的学习用数据。
§2构成例
[功能构成]
接下来，用图1说明本实施方式的数据生成装置100的功能构成的一个示例。数据生成装置100具有使用学习用数据来生成输出属性信息(标签)的识别器的功能，该属性信息包含检查对象物是否有缺陷、检查对象物中含有缺陷时其缺陷位置及缺陷种类。这里，当检查对象物中包含多个缺陷时，属性信息可以包含缺陷有无、多个缺陷位置及这些缺陷种类。另外，数据生成装置100具有获取对检查对象物进行测量的测量图像并使用所生成的识别器输出检查对象物的属性信息的功能。因此，数据生成装置100具有作为检查装置或检查系统而发挥功能，该检查装置或检查系统获取检查对象物的测量图像并根据测量图像输出包含与检查对象物是否有缺陷相关的信息的测量结果。
如图1所示，数据生成装置100具备：图像收集部110，生成及存储学习用数据；图像修改部120，根据由识别器输出的与属性信息的正误相关的信息，对测量的图像(测量图像)进行修改；第一学习部130及第二学习部140，使用图像收集部110和图像修改部120中至少任一者生成的学习用数据，生成输出包含检查对象物有无缺陷、检查对象物有缺陷时其缺陷位置及缺陷种类的属性信息的识别器；测量部150，获取对检查对象物进行测量的测量图像，使用第一学习部130和第二学习部140中至少任一者生成的识别器，输出检查对象物的属性信息；以及测量结果管理部160，使测量图像和其属性信息建立关联，并存储为测量结果。这里，测量结果包含测量图像、由识别器输出的检查对象物的属性信息。此外，学习用数据不仅可以是单一的学习用数据，也可以是具有多个学习用数据的数据集。
这里，缺陷是指检查对象物存在的异常，例如包括划痕、颜色等不均匀、污渍、欠缺、毛刺、异物、印刷模糊、印刷等错位等。
另外，属性信息至少包含与各图像中是否包含缺陷相关的信息、和图像有缺陷时表示该缺陷位置的信息及表示该缺陷种类的信息。此外，属性信息不仅限于有无缺陷、与缺陷位置相关的信息及与缺陷种类相关的信息，例如还可以包含与可信度相关的信息，该可信度是识别器输出的有无缺陷、与缺陷位置相关的信息及与缺陷种类相关的信息的可信度的信息的可信度。
数据生成装置100由一个或多个信息处理装置构成，该信息处理装置具有：存储部(例如，图4所示的辅助存储部102、103)，存储软件程序及用于执行该软件程序的数据；和运算部(例如，图4所示处理器104)，调用并执行软件程序。即，图像收集部110、图像修改部120、第一学习部130、第二学习部140、测量部150及测量结果管理部160的各功能块分别通过处理器104等硬件处理器执行存储于副存储部102、103等存储部中的预定的软件程序来实现。即，图像收集部110、图像修改部120、第一学习部130、第二学习部140、测量部150及测量结果管理部160的各个功能表示通过硬件处理器执行软件程序而实现的预定的处理。另外，图像收集部110、图像修改部120、第一学习部130、第二学习部140、测量部150及测量结果管理部160各个单独或组合多个构成为信息处理装置。此外，数据生成装置100也可以由单一信息处理装置构成。后面叙述本实施方式中的信息处理装置的硬件构成。
＜图像收集部的构成＞
图像收集部110获取用于生成学习用数据的样本图像。样本图像既可以是对检查对象物进行拍摄的图像，也可以是通过公知的图像合成技术生成的CG图像。关于图像收集部110获取的样本图像，属性设置部111对各个图像或者对多个图像进行属性信息的设置。即，属性设置部111通过对样本图像设置属性信息，将样本图像作为学习用数据。
在本实施方式中，属性信息的设置(注标签)可以借助任意用户界面180由第一作业者进行。例如，当样本图像包含缺陷时，第一作业者能够利用用作用户界面180的显示装置(液晶显示装置等)及输入装置(触屏、键盘、鼠标等)，用预定形状的边框圈出该缺陷，从而设置包含有无缺陷及缺陷位置的属性信息。另外，还可以是利用用户界面180，样本图像设置包含该缺陷种类的属性信息。此外，属性信息的设置方法并不特别限定。例如，既可以使用将图像和对其图像应设置的属性信息之间的相关性学习完毕的识别器而对图像自动设置属性信息，也可以通过公知统计方法，将多个图像进行聚簇，对聚簇设置属性信息。
被属性设置部111设置属性信息的图像(学习用数据)存储在图像数据库(以下称“图像DB”)112中保存。
图像收集部110具备图像修改部113，该图像修改部113根据例如获取的样本图像的量、图像DB112中存储的学习用数据的量来进行学习用数据的扩充。图像修改部113根据借助用户界面180进行的第一作业者的修改操作来进行样本图像的扩充即可。此外，图像修改部113并非是图像收集部110的必须单元。另外，学习用数据的扩充表示增加学习中使用的数据集的数据扩充(Data Augmentation)处理。
学习用数据的扩充(Augmentation)例如通过将样本图像平移、旋转、改变颜色、放大或缩小来进行即可。此外，图像修改部113不是图像收集部110所必需的构成单元，根据使用数据生成装置100实现的图像测量处理所需的学习用数据的需求量进行适当设置即可。另外，上述扩充也可以借助任意用户界面180由作业者自己进行对提取部分图像、与背景图像合成等各个处理的指示来实现。图像修改部113扩充的学习用数据存储在图像DB112中保存。
这里，背景图像是与部分图像合成的图像，包含与被抽取部分图像的测量图像不同的图像。此外，背景图像可以是测量图像，当将测量图像用作背景图像时，可以以在从测量图像抽取的部分图像之外的区域合成部分图像的方式限定合成区域来使用。另外，背景图像可以根据测量图像之外的图像来生成，既可以与测量图像的缺陷以外区域的图像具有同一样式，也可以不具有同一样式。另外，背景图像可以是同样背景图案的图像，也可以是具有发纹那样背景图案的图像，也可以是印有文字等的图像，可以是多种多样的图像。
图像DB112从属性设置部111及图像修改部113获取学习用数据。图像DB112以根据设置的属性信息分类的状态保存学习用数据即可。另外，在图像收集部110获取的样本图像已经被设置属性信息时，图像DB112不经属性设置部111及图像修改部113而获取该样本图像并保存。此外，图像DB112可以将学习用数据分为用于生成后述的识别器的学习处理所使用的用于学习处理的学习用数据和用于评价生成的识别器是否输出期望的属性信息的用于评价处理的测试用数据进行保存。当然，也可以将学习用数据和测试用数据不分开而保存到图像DB112中，在进行学习处理时，再将图像DB112中保存的数据集用任意方法分为学习用和测试用等。
＜第一学习部的构成＞
图2是表示本实施方式的数据生成装置的第一学习部130及第二学习部140中的处理内容的示意图。第一学习部130从图像收集部110获取学习用数据。此外，第一学习部130也可以从后述图像修改部120获取学习用数据。第一学习部130具有第一学习处理部131，该第一学习处理部131执行使用获取的学习用数据的机械学习，生成识别器(a、b、c、…)。识别器(a、b、c、…)将图像数据作为输入并输出包含该图像中是否含有缺陷、含有一个或多个缺陷时其位置及其种类的属性信息。此外，对识别器(a、b、c、…)也可以输入图像数据以外的数据。例如，对识别器(a、b、c、…)也可以输入拍摄检查对象物图像的条件(光量、摄像装置的曝光时间等)或输入检查对象物的识别信息。
通过对任意的机械学习模型进行学习处理和评价处理来生成识别器(a、b、c、…)。机械学习模型具有预定的模型结构和随学习处理而变化的处理参数，并根据从学习用数据得到的经验而最优化其处理参数，从而提高识别性能。即，机械学习模型是通过学习处理而学习最优的处理参数的模型。机械学习模型算法例如可以使用支持向量机、逻辑回归、神经网络等，其种类不特别限定。本实施方式中为神经网络，尤其说明在层级为3层以上的深度神经网络中使用适合图像识别的卷积神经网络(Convolutional Neural Network)的例子。此外，第一学习部130可以具有用于生成机械学习模型的模型生成部(未图示)。另外，第一学习部130也可以从外部获取预先生成的机械学习模型。
当使用学习用数据输入图像的数据时，第一学习处理部131进行学习机械学习模型的学习处理，以输出与属性信息中显示的测量图像的属性相对应的输出值。第一学习处理部131还进行评价处理，对通过学习处理生成的识别器(a、b、c、…)，使用测试用数据，比较识别器(a、b、c、…)的输出和对测试用数据设置的属性信息。当识别器(a、b、c、…)的输出和对测试用数据设置的属性信息一致时，判断为满足识别器(a、b、c、…)的生成条件，结束识别器(a、b、c、…)的生成处理。
第一学习部130将包含所生成的识别器(a、b、c、…)的模型结构及处理参数的信息作为学习结果数据输出到后述测量部150及第二学习部140。
＜第二学习部的构成＞
接下来，用图2说明第二学习部140中的处理内容。第二学习部140对通过预定的生成处理生成的识别器进行追加学习(再学习)。此外，对第二学习部140与第一学习部130相同的单元，省略其说明。
第二学习部140获取在第一学习部130生成的学习完毕的识别器(a、b、c、…)的学习结果数据。此外，第二学习部140也可以从外部获取与通过预定的生成处理生成的识别器相关的学习结果数据。第二学习部140从图像收集部110获取学习用数据。此外，第二学习部140也可以从后述图像修改部120获取学习用数据。
第二学习部140具有第二学习处理部141，该第二学习处理部141通过使用学习用数据的机械学习而执行追加学习(再学习)，生成识别器(A、B、C、…)。通过对通过预定的学习处理生成的识别器(a、b、c、…)进行学习处理和评价处理，生成识别器(A、B、C、…)。换言之，第二学习处理部141使用学习用数据，对包含识别器(a、b、c、…)的模型结构及处理参数的学习结果数据执行学习处理和评价处理，由此生成识别器(A、B、C、…)。识别器(A、B、C、…)将图像数据作为输入，输出包含该图像是否包含缺陷和包含一个或多个缺陷时其位置及其种类的属性信息。
当使用学习用数据而输入图像的数据时，第二学习处理部141进行学习通过识别器(a、b、c、…)的学习结果数据体现的机械学习模型的学习处理(追加学习的学习处理)，以输出与使用属性信息表示的测量图像的属性相对应的输出值。这里，第二学习处理部141进行的追加学习的学习处理可以使用从后述图像修改部120获取的学习用数据来进行。这是因为，由此能够使用根据拍摄检查对象物的图像新生成的学习用数据，从而能够提高识别器的识别精度。
第二学习处理部141还对通过学习处理生成的识别器(A、B、C、…)使用测试用数据进行评价处理，该评价处理比较识别器(A、B、C、…)的输出和对测试用数据设置的属性信息。当识别器(A、B、C、…)的输出与对测试用数据设置的属性信息一致时，判断为满足识别器(A、B、C、…)的生成条件，结束识别器(A、B、C、…)的生成处理。这里，使用从后述图像修改部120获取的测试用数据来进行第二学习处理部141的评价处理即可。这是因为，由此能够使用根据拍摄检查对象物的图像新生成的学习用数据进行评价，从而能够提高识别器的识别精度。
第二学习部140将包含生成的识别器(A、B、C、…)的模型结构及处理参数的信息作为学习结果数据向后述测量部150输出。
此外，也可以将第一学习部130和第二学习部140一体构成，第一学习处理部131执行追加学习的学习处理和评价处理。
＜测量部的构成＞
图3是表示本实施方式的数据生成装置100的测量部150中的处理内容的示意图。测量部150使用通过利用了学习用数据的学习处理及评价处理生成的识别器，使由摄像装置153拍摄的检查对象物测量图像的属性信息输出，输出包含测量图像及属性信息的测量结果。属性信息包含有误缺陷、有一个或多个缺陷时其缺陷的位置及种类。
测量部150从第一学习部130及第二学习部140获取包含识别器的模型结构及处理参数的信息作为学习结果数据。测量部150具有存储所获取的学习结果数据的学习结果DB151。另外，测量部150具有对检查对象物进行拍摄的摄像装置153。摄像装置153例如设置为拍摄工厂生产线，构成生产线的一部分。摄像装置153将在生产线上流动的作为检查对象物的部件及产品(以下，有时将部件和产品统称为“工件”)的图像作为测量图像进行拍摄。
测量部150具有判断部152，该判断部152使用根据存储于学习结果DB151中的学习结果数据构成的识别器，输出测量图像的属性信息。判断部152可以根据测量图像判断检查对象物中是否包含一个或多个缺陷，当包含缺陷时，输出包含与测量图像中缺陷位置相关的信息的属性信息。这里，与测量图像中缺陷位置相关的信息可列举表示与测量图像中缺陷相当的区域的边框形状。
测量部150将包含测量图像和由识别器输出的测量图像的属性信息的检查对象物的测量结果向测量结果管理部160输出。此外，测量部150还可以将用于识别各个检查对象物的识别信息与测量结果一起向测量结果管理部160输出。此时，检查对象物的识别信息既可以从测量图像获取，也可以通过预定的接口从外部获取。关于识别信息，可以使用例如生产序号、将生产序号编码的图形等。因此，优选的的是，识别信息是能够识别检查对象物的个体的信息。此外，测量部150还可以将检查对象物的测量结果向测量结果管理部160之外输出。例如，可以向后述用户界面170输出测量结果及识别信息。并且，例如可以将测量结果向分拣装置(未图示)直接或间接输出。分拣装置根据所获取的测量结果对检查对象物进行分拣。
＜测量结果管理部的构成＞
测量结果管理部160具有测量结果DB161，该测量结果DB161将测量结果中包含的测量图像与由识别器输出的测量图像的属性信息建立关联并存储。此外，测量结果管理部160也可以与测量结果一起获取用于识别检查对象物的识别信息。此时，检查对象物的识别信息既可以从测量部150获取，也可以通过预定的接口从外部获取。另外，测量结果DB161可以根据属性信息中包含的属性类别，例如与缺陷的类别属性建立关联来分类存储测量图像。
测量结果管理部160向用户界面170输出测量结果。此时，测量结果管理部160同时将检查对象物的识别信息向用户界面170输出。另外，测量结果管理部160向后述图像修改部120输出测量结果。此时，测量结果管理部160也可以同时向图像修改部120输出检查对象物的识别信息。
＜用户界面＞
在本实施方式中，用户界面170供第二作业者用于确认测量部150的测量结果，或者用于执行以圈出测量图像中包含的缺陷的方式指定区域的操作(区域指定)。用户界面170具有：显示部(液晶显示装置等)，用于至少显示测量部150的测量结果；以及输入部(触屏、键盘、鼠标等)，供第二作业者进行区域指定。第二作业者根据显示部中显示的测量结果，判断识别器输出的检查对象物的属性信息正误，使用输入部输入圈出缺陷的区域即可。此时，输入部既可以接收用于指定包含缺陷区域的内点的、图像的一个或多个点输入，也可以接收用于指定区域外形的、图像的一个或多个点输入。由第二作业者进行的区域指定的内容输出至图像修改部120。此外，进行区域指定的输入操作的人限定在被认定为根据后述图像修改部120具有预定的执行权限的人。这样一来，在提高输入操作的可靠性的同时，能够提高生成的新学习用数据的质量，进一步提高使用新学习用数据生成的识别器的识别精度。另外，第一作业者和第二作业者可以是同一人。
＜图像修改部的构成＞
图像修改部120修改所获取的区域，生成学习用数据。图像修改部120具有生成部121、修改图像数据库(以下称为“修改图像DB”)122、修改部123及选择部124，修改通过用户界面170接收的区域，生成学习用数据。此外，以下对图像修改部120修改通过用户界面170接收的区域并将修改后的区域与测量图像建立关联而生成新学习用数据这一示例进行说明，但也可以修改通过用户界面180接收的区域并将修改后的区域与样本图像建立关联而生成新学习用数据。
修改部123以扩展区域外缘的方式修改通过用户界面170(获取部)获取的区域，以使区域内部包含的像素增加预定量。修改部123通过以扩展区域外缘的方式进行修改，修改成区域之中表示正常部位的像素数增多。修改部123也可以从用户界面170获取测量图像的多个区域，对多个区域的每一个进行扩展区域外缘的修改。区域修改例如将以圈出缺陷的方式指定的区域，以包围该区域的方式每次扩展一个像素乃至预定像素量地一圈圈进行即可。
另外，修改部123还可以对从用户界面170获取的区域进行多个不同的修改。例如，修改部123可以对以圈出缺陷方式指定的区域进行第一修改即以圈出该区域方式增大一周，再进行第二修改即以圈出进行第一修改的区域方式再增大一周。这样，修改部123可以进行多个不同的修改，以阶段性增大区域。另外，例如修改部123还可以将以圈出缺陷方式指定的区域进行第3修改即以使其一部分外缘扩展的方式增大，进行第4修改即以使与第3修改不同的另一部分外缘扩展的方式增大。这样，修改部123可以进行指向性不同的多个修改。
另外，修改部123还可以在满足预定条件时，以使区域外缘收缩的方式修改区域。这里，修改部123在满足预定条件时，既可以以使区域外缘收缩的方式修改区域，也可以以使所获取的区域外缘的一部分收缩的方式修改区域，而替代将通过用户界面170获取的区域以扩展外缘的方式修改。例如，当由第二作业者指定的包含缺陷的区域对于第一部分包含不是缺陷的图案时，可以对第一部分以收缩所获取的区域外缘的一部分的方式修改区域。此时，对于第一部分以外的其他部分，也可以以使所获取的区域外缘的一部分扩展的方式修改区域。另外，例如，当由第二作业者以缺陷以外的部分占大半部的方式指定了包含缺陷的区域时，修改部123可以以使所指定的区域外缘收缩的方式修改区域。此时，预定条件是与区域中缺陷以外部分所占的比例相关的条件即可。预定条件例如可以是区域中缺陷以外部分所占的比例大于阈值的条件。由此，即便包含缺陷的区域被指定为缺陷以外部分占据区域大半时，也能够生成能够通过识别器将图像中含有的缺陷与其他部分恰当对比的学习用数据。因此，在进行识别器的学习处理时，可以用比较少的运算量生成判断精度更高的识别器。此外，预定条件可以是与通过用户界面170获取的区域像素数相关的条件，或可以是与测量图像整体的像素数与通过用户界面170获取的区域像素数之比相关的条件。
修改部123可以根据从用户界面170获取的包含于区域中的缺陷与其他部分的比例，确定区域外缘的扩缩率。这里，缺陷与其他部分的比例可以通过被指定的区域中相当于缺陷的像素数与相当于缺陷以外的像素数之比求得，也可以用其他方法求得。由此，当包含缺陷的区域被指定为几乎只包含缺陷时，能够进行使区域外缘相对较大扩展的修改，当区域被指定为充分包含缺陷以外部分时，能够进行使区域外缘相对较小扩展的修改。
另外，修改部123可以根据从用户界面170获取的包含于区域中的缺陷以外的背景图案，确定区域的修改方法。这里，背景图案是检查对象物表面的图案，除检查对象物上标注的图标及文字以外还包含检查对象物的边缘等。例如，当对检查对象物施加有发纹处理等而在检查对象物表面显示一定均匀性的纹理图案时，确定在沿该纹理图案的方向上扩展区域的修改方法即可。另外，当检查对象物上有图标或检查对象物存在边缘时，以使图标、边缘不包含于区域内的方式确定扩展区域的方向、扩展区域的扩大率。由此，能够确定包含于区域中的缺陷以外背景图案在修改前后不会有很大不同的修改方法，能够生成能够通过识别器将图像中含有的缺陷与其他部分的对比恰当地进行的学习用数据。
生成部121将被修改部123修改后的区域与图像建立关联，生成学习用数据。也可以当修改部123对多个区域进行了修改时，生成部121将修改后的多个区域与图像建立关联，生成多个学习用数据。由此，即使图像包含多个缺陷并将包含缺陷的多个区域指定为几乎只包含缺陷时，也能够生成能够通过识别器将图像中包含的缺陷与其他部分的对比恰当地进行的学习用数据。
生成部121也可以将被修改部123进行多个不同修改的、多个修改后区域与图像建立关联，生成与被修改部123进行的多个不同修改相对应的多个候选学习用数据。这里，关于生成的多个候选学习用数据，可以不是实际都被用作学习用数据。即，生成的多个候选学习用数据的其中一部分或全部被选为学习用数据即可。
修改图像DB122存储并保存生成部121生成的新的学习用数据。修改图像DB122既可以暂时保存从测量图像及用户界面170接收的区域，也可以暂时保存从样本图像及用户界面180接收的区域。
图像修改部120将生成部121生成的多个候选学习用数据适用于不同识别器(a、b、c、A、B、…)的学习，使根据输入的图像识别检查对象物中是否包含缺陷的多个识别器(a、b、c、A、B、…)通过第一学习部130或第二学习部140进行学习即可。例如当修改部123将区域的扩大率分3个阶段改变来进行修改时，图像修改部120用包含以第一阶段的扩大率进行修改的多个区域的多个候选第一学习用数据使识别器(a、b、c、A、B、…)通过第一学习部130或第二学习部140进行学习，用包含以第二阶段的扩大率进行修改的多个区域的多个候选第二学习用数据使识别器(a、b、c、A、B、…)通过第一学习部130或第二学习部140进行学习，用包含以第3阶段的扩大率进行修改的多个区域的多个候选第三学习用数据使识别器(a、b、c、A、B、…)通过第一学习部130或第二学习部140进行学习即可。由此，能够进行哪种修改方法对提高识别器(a、b、c、A、B、…)的识别性能最合适的试行。
选择部124根据通过第一学习部130或第二学习部140进行学习的多个学习完毕的识别器的识别性能，从多个候选学习用数据中选择一个或多个学习用数据。各自单独使用生成的多个学习用数据使识别器进行学习，根据其识别性能选择一个或多个学习用数据，由此能够挑选能够通过识别器将图像中包含的缺陷与其他部分的对比更恰当地进行的学习用数据。尤其，在生成新的学习用数据的情况下，有时通过对机械学习没有太多了解的作业者的操作，生成学习用数据。在这种情况下，根据本方式，能够容易地生成与在各个工程产生的检查对象物的缺陷相对应的新的学习用数据，进而生成使用新的学习用数据的识别器，由此能够生成适合于各工程的识别器，提高识别精度。
另外，也可以是，选择部124根据修改部123进行修改前的区域和修改部123进行修改后的区域的近似度，从多个候选学习用数据中选择一个或多个学习用数据。此外，修改前后区域的近似度例如可以用黑白浓淡度，边缘个数及强度。例如，浓淡度可以用包含于区域中的像素的亮度表示。因此，在使用浓淡度时，算出区域内像素的浓淡度平均值，比较修改前区域内的平均值N1和修改后区域内的平均值N2，两者之差若小于预先设定的阈值M，则判断为近似而用作学习用数据即可。另外，例如在使用边缘的个数时，算出修改前后包含于区域中的边缘个数，将修改前的边缘个数E1和修改后的边缘个数E2进行比较，若两者之差小于预先设定的边缘个数之差D，则判断为近似而用作学习用数据。此时，区域边缘的计算可以使用Sobel过滤器、拉普拉斯过滤器等已知方法。此外，修改前后区域的近似度可以组合多个浓淡度、边缘个数及其他指标来计算。
可以是，当近似度为预定值以上时，将与修改后的区域相关联的图像用作学习用数据，当近似度低于预定值时，不将与修改后的区域相关联的图像用作学习用数据。通过对修改前后的区域计算近似度，例如当对检查对象物施加有发纹处理等而显示一定均匀性的纹理图案时，能够判断区域是否被修改为与该纹理图案样式近似。另外，当检查对象物上有图标或检查对象物存在边缘时，通过计算近似度，判断区域是否被修改为区域内不包含图标、边缘。由此，能够以使修改之后包含于区域中的图像部位不会成为误判为缺陷的主因的方式选择是否采用学习用数据，从而能够挑选能够通过识别器将图像中包含的缺陷与其他部分的对比更恰当地进行的学习用数据。
选择部124根据修改部123进行修改前的区域外缘的像素值和修改部123进行修改后的区域外缘的像素值之间的关联，计算近似度即可。通过扩展区域外缘，修改后的区域外缘中会包含修改前区域中未包含的图像部位。例如，当该图像部位中包含图标等特征性图案时，该图像部位可能成为误判为缺陷的主因。但是，通过根据修改前后外缘的像素值的关联计算近似度，能够将可能成为误判主因的修改后区域从学习用数据中去除。
此外，也可以是，当修改部123进行使指定的区域外缘收缩的区域修改时，选择部124根据进行修改前区域外缘的像素值和进行修改后区域外缘的像素值之间的关联计算近似度。例如，当通过将区域的外缘收缩而缺陷的一部分从修改后的区域凸出并缺陷横切修改后区域外缘时，可将这种修改后的区域从学习用数据中去除。
[硬件构成]
接下来，用图4说明本实施方式的数据生成装置100的硬件构成的一个示例。本实施方式的数据生成装置100是具有运算装置101、输出装置191、输入装置192及摄像装置153的信息处理装置即可。这里，输出装置191及输入装置192构成用户界面170及用户界面180。
运算装置101包含副存储部102、103、处理器104、主存储部105及外部接口(以下称为“外部I/F”)即可。
运算装置101包含CPU(Central Processing Unit)、RAM(Random AccessMemory)、ROM(Read Only Memory)等，根据信息处理进行各构成单元的控制。处理器104包含CPU即可，副存储部102、103及主存储部105包含RAM及ROM即可。副存储部102例如是硬盘驱动器、固态硬盘等即可，存储处理器104中执行的数据生成程序102a、摄像装置153拍摄的测量图像102b及学习用数据102c等即可。另外，副存储部102、103也可以存储对图像中包含缺陷的区域进行扩缩的目标值即表示区域内缺陷的像素和表示正常部位的像素之间的合适比例。例如，当表示包含于区域中的缺陷的像素和表示正常部位的像素之比大于1.0即表示缺陷的像素相对多时，扩缩区域外缘以使表示正常部位的像素增多。此时，合适比例可以为例如小于1.0优选为小于0.5，以使表示正常部位的像素相对多。与副存储部102相同，副存储部103及主存储部105例如也可以是硬盘驱动器、固态硬盘等。数据生成程序102a是为实现上述的图像收集部110、图像修改部120、第一学习部130、第二学习部140、测量部150及测量结果管理部160的功能而进行处理的程序，通过由处理器104执行该程序来实现各功能。此外，数据生成程序102a既可以是为实现图像收集部110、图像修改部120、第一学习部130、第二学习部140、测量部150及测量结果管理部160中的一部分功能而进行处理的程序，也可以包含为实现这些功能之外的功能而进行处理的程序。
外部I/F106是USB(Universal Serial Bus)端口等，是用于与输出装置191、输入装置192及摄像装置153等外部装置连接的接口。此外，数据生成装置还可以具有用于经由有线LAN(Local Area Network)组件、无线LAN组件等网络进行有线或无线通信的接口。
存储介质是将程序等信息通过电、磁、光、机械或化学作用进行存储的介质，以便能够通过计算机等装置读取存储的该程序等信息。存储介质例如是CD(Compact Disk)、DVD(Digital Versatile Disk)等，存储有数据生成程序102a的部件即可。存储介质中存储的数据生成程序102a复制到副存储部103，复制到副存储部102、主存储部105即可。在图4中，作为存储介质的一个示例，例示出CD、DVD等磁盘型存储介质。但是，存储介质的种类不仅限于磁盘型，也可是磁盘型以外的介质。作为磁盘型以外的存储介质，例如可列举闪存器等半导体存储器。另外，数据生成装置100可以通过有线或无线通信经由网络获取数据生成程序102a等数据。
此外，数据生成装置100的具体硬件构成可以根据实施方式适当地省略、替换及增加构成单元。例如，运算装置101既可以包含多个处理器，也可以包含GPU(GraphicalProcessing Unit)、FPGA(Field Programmable Gate Array)。另外，数据生成装置100也可以由多台信息处理装置构成。数据生成装置100除了为所提供的服务而专门设计的信息处理装置外，也可以用通用的台式PC(Personal Computer)，平板PC等构成。
§3工作例
图5是表示本实施方式的数据生成装置100进行图像区域的修改的示例的图。该图左上方示出对智能手机的背面进行拍摄的测量图像和用虚线指定了圈出该测量图像中包含的3个缺陷的区域R1、R2、R3的例子。这里，将区域R1、R2、R3作为被第二作业者指定的区域。区域R1及区域R2用长边和短边之差比较大的矩形指定，以圈出横长的缺陷。另外，区域R3用长边和短边之差较小的矩形指定，以圈出折线形的缺陷。这里，指定区域R1、R2、R3的虚线相当于区域R1、R2、R3的外缘。即，区域外缘是指区域的外周部分，实质是和区域边界相同意思。在本例的智能手机的背面标注有“om”的文字(图标)，在左上方设置有用于相机的开口。
图5的右上方示出区域修改的第一示例，右下方示出区域修改的第二示例，左下方示出区域修改的第三示例。在区域修改的第一示例中，对由第二作业者指定的区域R1、R2、R3分别进行用第一扩大率扩展区域外缘的修改，作为区域R1a、R2a、R3a。另外，在区域修改的第二示例中，对由第二作业者指定的区域R1、R2、R3分别进行用第二扩大率扩展区域外缘的修改，作为区域R1b、R2b、R3b。这里，第二扩大率大于第一扩大率。这样，修改部123对区域进行多个不同修改即可。将进行了多个不同修改的区域与图像建立关联，生成多个学习用数据，从而能够生成缺陷与其他部分进行对比的容易程度各不相同的学习用数据。
在区域修改的第3示例中，对由第二作业者指定的区域R1、R2、R3分别将扩展和变形组合起来进行修改，作为区域R1c、R2c、R3c。其中，区域R1c与修改前的区域R1相比，被修改为短边的扩大率大于长边的扩大率。另外，短边的扩展在与“om”文字不重叠的范围进行。这样，修改部123根据包含于区域中的缺陷以外的背景图案，确定区域的修改方法即可。即，当修改前区域内未包含文字、部件边缘时，确定修改后的区域内不包含文字、部件边缘的修改方法即可。
另外，关于区域R2c，修改前的区域R2为矩形，被修改为呈椭圆形。这样，修改部123也可以改变区域外形。而且，关于区域R3c，虽是和修改前的区域R3相同的矩形，但被修改为将修改前的区域R3旋转配置的矩形，面积比修改前的区域R3大。这样，修改部123也可以旋转区域。
图6是示出本实施方式的数据生成装置100执行的第一处理的内容的流程图。在第一处理中，接收图像中包含缺陷的区域的输入，将该区域修改后与图像建立关联，生成新的学习用数据。数据生成装置100首次获取检查对象物的图像(S10)。这里，图像既可以是预先存储在图像DB112中的样本图像，也可以是摄像装置153新拍摄的测量图像。
数据生成装置100通过用户界面170、180接收图像中包含缺陷的区域的输入(S11)。此外，关于区域的输入方法，将用下一个图进行详细说明。
数据生成装置100的修改部123对被输入的区域进行多个不同修改(S12)。修改部123例如将被输入的区域用多个不同扩大率扩展，或旋转多个不同角度，或变形为多个不同形状。
数据生成装置100的生成部121将进行了多个不同修改的区域与图像建立关联，生成多个候选学习用数据(S13)。选择部124根据修改前的区域外缘与修改后的区域外缘之间的关联，计算近似度(S14)，根据近似度，锁定候选学习用数据(S15)。选择部124不将关联有与修改前区域的近似度小于预定值的修改后区域的图像用作学习用数据，将关联有与修改前区域的近似度为预定值以上的修改后区域用作学习用数据即可。
第一学习部130或第二学习部140分别独立使用锁定的多个候选学习用数据，使识别器(a、b、c、A、B、…)进行学习(S16)。而且，选择部124根据多个学习完毕的识别器(a、b、c、A、B、…)的识别性能，从多个候选学习用数据中选择一个或多个学习用数据(S17)。选择部124在将分别独立使用多个候选学习用数据进行学习的识别器(a、b、c、A、B、…)中，将识别性能为预定值以上的候选学习用数据选择为一个或多个学习用数据，不将识别性能没有达到预定值的候选学习用数据选择为学习用数据即可。经过以上，第一处理结束。
根据本实施方式的数据生成装置100，即便将包含缺陷的区域指定为几乎只包含缺陷，也可以以适当包含缺陷与其他部分的方式修改区域，因此能够生成能够通过识别器将图像中包含的缺陷与其他部分的对比恰当地进行的学习用数据。因此，在进行识别器的学习处理时，能够用较少的运算量生成判断精度较高的识别器。
图7是本实施方式的数据生成装置100进行图像区域指定的示例的图。数据生成装置100通过用户界面170、180(输入部)接收用于指定图像中包含缺陷的区域的信息输入，根据输入部输入的信息，获取图像中包含缺陷的区域。这里，指定区域的信息是指定区域的一个或多个点，或线，或面即可。输入部例如可以是触屏或鼠标等指示器，接收图像的点输入，或接收线的输入、矩形等多边形的输入，或接收椭圆的输入即可。由于具有这样的输入部，能够从确认了检查对象物图像的作业者接收对包含缺陷的区域的指定。
在本例中，输入部接收用于指定图像中包含缺陷的区域R1的内点的、图像的多个点p1、p2的输入。以位于缺陷两端的方式输入点p1、p2，数据生成装置100根据被输入的点p1、p2，通过包含点p1、p2的矩形区域来生成区域R1。这样，通过指定被设定的区域内侧点，无论缺陷为何种形状，确认检查对象物图像的作业者都能够通过简便操作对包含缺陷的区域进行指定。
另外，在本例中，输入部接收用于指定图像中包含缺陷的区域R4的外形的、图像的多个点p3、p4、p5的输入。以位于缺陷的端点及拐点的方式输入点p3、p4、p5，数据生成装置100根据被输入的点p3、p4、p5，通过包含点p3、p4、p5的三角形区域来生成区域R4。这样，通过指定区域的外形，无论缺陷为何种形状，确认检查对象物图像的作业者都能够通过简便操作对包含缺陷的区域进行指定。
图8是示出本实施方式的数据生成装置100执行的第二处理的内容的流程图。第二处理是对图像进行包含缺陷区域的输入后执行的处理，是进行区域修改的处理。此外，第二处理是对图像进行包含缺陷的区域的输入后执行的处理，和第一处理分别单独进行即可。另外，第二处理在第一处理的S11和S12之间进行，作为确定S12的修改方法的处理来执行即可。
数据生成装置100判断对获取的图像输入的区域中缺陷以外的背景图案是否为发纹(S20)。当缺陷以外的背景图案不是发纹时(S20：否)，修改部123根据包含于区域中的缺陷与缺陷以外部分的比例，确定多个扩大率(S21)。修改部123确定为缺陷占区域整体的比例越大则扩大率越大即可。
另一方面，当缺陷以外的背景图案是发纹(S20：是)时，修改部123以使包含于区域中的缺陷与缺陷以外部分的比例变化比较小的方式确定多个扩大率(S22)。当对检查对象物施加有发纹加工时，如果使指定的区域发生大的变化，则各种各样的发纹图案会包含于区域中，这些图案会被错误识别为缺陷。因此，以不使指定的区域发生太大变化的方式修改区域能够生成使识别器的识别性能更提高的学习用数据。此外，在图8中，根据缺陷以外的背景图案是否为发纹来改变修改方式，但不限于此。例如，根据获取的图像的缺陷以外的背景图案是否相同来变更修改方式即可。另外，在图8中，将设定多个扩大率的方式用作改变的修改方式，但不限于此例。例如，也可以改变通过修改扩展的外缘的方向。
修改部123将遵循所确定的扩大率作为前提以与图标、边缘不重叠的方式修改区域(S23)。即，假设用所确定的扩大率对指定区域进行扩展的情况下，当区域内包含图标、边缘时，以至少不进行与接近图标、边缘的方向相关的区域扩展的方式，进行区域内不包含图标、边缘的区域修改。由此，防止图标、边缘被错误识别为缺陷，能够生成将错误识别主因排除的学习用数据。通过以上，第二处理结束。如此，根据获取的图像中缺陷以外的背景图案是否有预定图案等的、背景图案种类来改变修改方式，从而能够降低修改后的区域中包含的缺陷以外的图像部位被错误识别为缺陷的可能性。
以上说明的实施方式是用于使本发明容易理解，并用于限定解释本发明。实施方式所具有的各单元及其布局、材料、条件、形状及尺寸等不限于示例，可以进行适当改变。另外，不同实施方式中表示的构成之间可以进行部分替换或组合。
[附1]一种数据生成装置(100)，具备：获取部(153、170、180)，获取具有缺陷的检查对象物的图像及所述图像的包含所述缺陷的区域；修改部(123)，对所述获取部(153、170、180)获取的区域进行使所述区域的外缘扩展的修改，以使所述区域的内部含有的像素增加预定量；以及生成部(121)，将被所述修改部修改的区域与所述图像建立关联，生成学习用数据。
[附2]根据附1所述的数据生成装置，其中，所述修改部(123)对所述获取部(153、170、180)获取的区域进行多个不同修改，所述生成部(121)将被所述修改部(123)进行了多个不同修改的所述区域与所述图像建立关联，生成与所述修改部(123)进行的多个不同修改相对应的多个候选学习用数据。
[附3]根据附1或2所述的数据生成装置，其中，所述修改部(123)根据除包含于所述获取部(153、170、180)获取的区域中的所述缺陷以外的背景图案，确定所述区域的修改方法。
[附4]根据附2所述的数据生成装置，其中，所述数据生成装置还具备：学习部(130、140)，将所述多个候选学习用数据分别用于不同识别器的学习，使得多个识别器进行学习，所述识别器用于根据被输入的图像识别所述检查对象物中是否包含缺陷；以及选择部(124)，根据通过所述学习部(130、140)学习的、多个学习完毕的识别器(a、b、c、A、B)的识别性能，从所述多个候选学习用数据中选择一个或多个学习用数据。
[附5]根据附4所述的数据生成装置，其中，所述选择部(124)根据被所述修改部(123)进行修改前的区域和被所述修改部(123)进行修改后的区域之间的近似度，从所述多个候选学习用数据中选择所述一个或多个学习用数据。
[附6]根据附5所述的数据生成装置，其中，所述选择部(124)根据被所述修改部(123)进行修改前的区域的外缘像素值和被所述修改部(123)进行修改后的区域的外缘像素值之间的关联，计算所述近似度。
[附7]根据附1至6中任一项所述的数据生成装置，其中，所述获取部(153、170、180)获取具有多个缺陷的检查对象物的图像和所述图像的分别包含所述多个缺陷中一个缺陷的多个区域，所述修改部(123)对所述获取部(153、170、180)获取的多个区域分别进行使所述区域的外缘扩展的修改，以使所述区域的内部含有的像素增加预定量，所述生成部(121)将被所述修改部修改的所述多个区域与所述图像建立关联，生成学习用数据。
[附8]根据附1至7中任一项所述的数据生成装置，其中，所述数据生成装置还具备输入部(170、180)，所述输入部(170、180)接收指定所述图像的包含所述缺陷的区域的信息输入，所述获取部(153、170、180)根据通过所述输入部(170、180)输入的信息，获取所述图像的包含所述缺陷的区域。
[附9]根据附8所述的数据生成装置，其中，所述输入部(170、180)接收用于指定所述图像的包含所述缺陷的区域的内点的、所述图像的一个或多个点的输入。
[附10]根据附9所述的数据生成装置，所述内点包含所述图像的所述缺陷的端点。
[附11]根据附8至10中任一项所述的数据生成装置，其中，所述输入部(170、180)接收用于指定所述图像的包含所述缺陷的区域的外形的、所述图像的一个或多个点的输入。
[附12]根据附1至11中任一项所述的数据生成装置，其中，当满足预定条件时，所述修改部(123)以使所述区域的外缘收缩的方式修改所述区域。
[附13]根据附1至12中任一项所述的数据生成装置，其中，所述修改部(123)根据包含于所述获取部(153、170、180)获取的区域中的所述缺陷和区域中缺陷以外的其他部分之间的比例，确定所述区域的外缘的扩缩率。
[附14]一种数据生成方法，包括：获取具有缺陷的检查对象物的图像及所述图像的包含所述所述缺陷的区域；对所获取的区域进行使所述区域的外缘扩展的修改，以使所述区域的内部含有的像素增加预定量；以及将所修改的区域与所述图像建立关联，生成学习用数据。
[附15]一种数据生成程序，使数据生成装置(100)所具有的运算装置作为以下单元运行：获取部(153、170、180)，获取具有缺陷的检查对象物的图像及所述图像的包含所述缺陷的区域；修改部(123)，对所述获取部(153、170、180)获取的区域进行使所述区域的外缘扩展的修改，以使所述区域的内部含有的像素增加预定量；以及生成部(121)，将被所述修改部修改的区域与所述图像建立关联，生成学习用数据。

Claims (15)

1.一种数据生成装置，具备：
获取部，获取具有缺陷的检查对象物的图像及所述图像的包含所述缺陷的区域；
修改部，对所述获取部获取的区域进行使所述区域的外缘扩展的修改，以使所述区域的内部含有的像素增加预定量；以及
生成部，将被所述修改部修改的区域与所述图像建立关联，生成学习用数据。
2.根据权利要求1所述的数据生成装置，其中，
所述修改部对所述获取部获取的区域进行多个不同修改，
所述生成部将被所述修改部进行了多个不同修改的多个修改区域与所述图像建立关联，生成与被所述修改部进行的多个不同修改相对应的多个候选学习用数据。
3.根据权利要求1或2所述的数据生成装置，其中，
所述修改部根据除包含于所述获取部获取的区域中的所述缺陷以外的背景图案，确定所述区域的修改方法。
4.根据权利要求2所述的数据生成装置，其中，
所述数据生成装置还具备：
学习部，将所述多个候选学习用数据分别用于不同识别器的学习，使多个识别器进行学习，所述识别器用于根据被输入的图像识别所述检查对象物中是否包含缺陷；以及
选择部，根据通过所述学习部学习的多个学习完毕的识别器的识别性能，从所述多个候选学习用数据中选择一个或多个学习用数据。
5.根据权利要求4所述的数据生成装置，其中，
所述选择部根据被所述修改部进行修改前的区域和被所述修改部进行修改后的区域之间的近似度，从所述多个候选学习用数据中选择所述一个或多个学习用数据。
6.根据权利要求5所述的数据生成装置，其中，
所述选择部根据被所述修改部进行修改前的区域的外缘像素值和被所述修改部进行修改后的区域的外缘像素值之间的关联，计算所述近似度。
7.根据权利要求1或2所述的数据生成装置，其中，
所述获取部获取具有多个缺陷的检查对象物的图像和所述图像的分别包含所述多个缺陷中一个缺陷的多个区域，
所述修改部对所述获取部获取的多个区域分别进行使所述区域的外缘扩展的修改，以使所述区域的内部含有的像素增加预定量，
所述生成部将被所述修改部修改的多个区域与所述图像建立关联，生成学习用数据。
8.根据权利要求1或2所述的数据生成装置，其中，
所述数据生成装置还具备输入部，所述输入部接收指定所述图像的包含所述缺陷的区域的信息输入，
所述获取部根据通过所述输入部输入的信息，获取所述图像的包含所述缺陷的区域。
9.根据权利要求8所述的数据生成装置，其中，
所述输入部接收用于指定所述图像的包含所述缺陷的区域的内点的、所述图像的一个或多个点的输入。
10.根据权利要求9所述的数据生成装置，其中，
所述内点包含所述图像的所述缺陷的端点。
11.根据权利要求8所述的数据生成装置，其中，
所述输入部接收用于指定所述图像的包含所述缺陷的区域的外形的、所述图像的一个或多个点的输入。
12.根据权利要求1或2所述的数据生成装置，其中，
当满足预定条件时，所述修改部以使所述区域的外缘收缩的方式修改所述区域。
13.根据权利要求1或2所述的数据生成装置，其中，
所述修改部根据包含于所述获取部获取的区域中的所述缺陷与区域中缺陷以外的其他部分之间的比例，确定所述区域的外缘的扩缩率。
14.一种数据生成方法，包括：
获取具有缺陷的检查对象物的图像及所述图像的包含所述缺陷的区域；
对所获取的区域进行使所述区域的外缘扩展的修改，以使所述区域的内部含有的像素增加预定量；以及
将所修改的区域与所述图像建立关联，生成学习用数据。
15.一种存储介质，存储有数据生成程序，所述数据生成程序使数据生成装置所具有的运算装置作为以下单元运行：
获取部，获取具有缺陷的检查对象物的图像及所述图像的包含所述缺陷的区域；
修改部，对所述获取部获取的区域进行使所述区域的外缘扩展的修改，以使所述区域的内部含有的像素增加预定量；以及
生成部，将被所述修改部修改的区域与所述图像建立关联，生成学习用数据。
CN201811057553.5A 2017-11-08 2018-09-11 数据生成装置、数据生成方法及存储介质 Active CN109767419B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017-215452 2017-11-08
JP2017215452A JP6936958B2 (ja) 2017-11-08 2017-11-08 データ生成装置、データ生成方法及びデータ生成プログラム

Publications (2)

Publication Number Publication Date
CN109767419A true CN109767419A (zh) 2019-05-17
CN109767419B CN109767419B (zh) 2023-05-16

Family

ID=63787706

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811057553.5A Active CN109767419B (zh) 2017-11-08 2018-09-11 数据生成装置、数据生成方法及存储介质

Country Status (4)

Country Link
US (1) US11176650B2 (zh)
EP (1) EP3483833B1 (zh)
JP (1) JP6936958B2 (zh)
CN (1) CN109767419B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114445309A (zh) * 2020-10-20 2022-05-06 斗山重工业建设有限公司 深度学习用缺陷图像生成方法以及用于深度学习用缺陷图像生成方法的系统

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6333871B2 (ja) * 2016-02-25 2018-05-30 ファナック株式会社 入力画像から検出した対象物を表示する画像処理装置
JP6549644B2 (ja) * 2017-06-27 2019-07-24 ファナック株式会社 機械学習装置、ロボット制御システム及び機械学習方法
EP3489892B1 (en) * 2017-11-24 2022-01-05 Ficosa Adas, S.L.U. Determining clean or dirty captured images
KR20200039047A (ko) * 2018-10-01 2020-04-16 에스케이씨 주식회사 필름 결함 검출 방법 및 시스템
JP7137487B2 (ja) * 2019-01-22 2022-09-14 株式会社日立ハイテク 画像評価装置及び方法
KR102225099B1 (ko) * 2019-05-17 2021-03-09 라온피플 주식회사 불량 이미지 생성 장치 및 방법
CN110827249A (zh) * 2019-10-28 2020-02-21 上海悦易网络信息技术有限公司 电子设备背板外观瑕疵检测方法及设备
JP7437610B2 (ja) * 2020-05-15 2024-02-26 オムロン株式会社 画像検査装置、画像検査方法及び学習済みモデル生成装置
JP7281586B2 (ja) * 2020-12-17 2023-05-25 株式会社クボタ 検査装置及び検査方法
JPWO2022186110A1 (zh) * 2021-03-01 2022-09-09
JP7299388B2 (ja) * 2021-11-18 2023-06-27 株式会社クボタ 鉄管外表面の欠陥判定装置
JP2024002431A (ja) * 2022-06-24 2024-01-11 株式会社 東京ウエルズ 学習装置、学習方法及び学習プログラム
KR102545144B1 (ko) * 2023-01-13 2023-06-21 주식회사 아이브 딥러닝 알고리즘에 기반한 불량품 검사 솔루션 제공 장치 및 그 방법

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10157081A (ja) * 1996-11-29 1998-06-16 Dainippon Printing Co Ltd 筋状欠陥検査方法及び装置
US20020159641A1 (en) * 2001-03-14 2002-10-31 Whitney Paul D. Directed dynamic data analysis
US20070009152A1 (en) * 2004-03-31 2007-01-11 Olympus Corporation Learning-type classifying apparatus and learning-type classifying method
US20070091196A1 (en) * 2005-10-26 2007-04-26 Olympus Corporation Imaging apparatus
JP2009047446A (ja) * 2007-08-14 2009-03-05 Omron Corp 画像検査装置、画像検査方法、コンピュータを画像検査装置として機能させるためのプログラム、およびコンピュータ読み取り可能な記録媒体
JP2009293957A (ja) * 2008-06-02 2009-12-17 Toshiba Corp パターン欠陥検査装置及び検査方法
US20110142326A1 (en) * 2008-06-12 2011-06-16 Shinichi Shinoda Pattern inspection method, pattern inspection apparatus and pattern processing apparatus
US20110280470A1 (en) * 2010-05-11 2011-11-17 Sumco Corporation Wafer defect inspection apparatus and method for inspecting a wafer defect
US20150078627A1 (en) * 2013-09-17 2015-03-19 Ricoh Company, Ltd. Image inspection result determination apparatus, image inspection system, method of determinating image inspection result, and storage medium
US20170316579A1 (en) * 2016-04-28 2017-11-02 Toshiba Medical Systems Corporation Image processing apparatus and x-ray diagnosis apparatus

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0817445B2 (ja) * 1990-11-06 1996-02-21 大日本スクリーン製造株式会社 画像のカブセ処理方法
JPH08287218A (ja) * 1995-04-10 1996-11-01 Sharp Corp 画像合成装置
US6476388B1 (en) * 1998-10-19 2002-11-05 Hitachi, Ltd. Scanning electron microscope having magnification switching control
JP4293810B2 (ja) * 2002-03-22 2009-07-08 ニスカ株式会社 印刷制御システム及び印刷制御方法並びにプログラム
JP2004206689A (ja) * 2002-12-11 2004-07-22 Fuji Photo Film Co Ltd 画像修正装置および画像修正プログラム
JP2006098152A (ja) * 2004-09-29 2006-04-13 Dainippon Screen Mfg Co Ltd 欠陥検出装置および欠陥検出方法
JP2008518318A (ja) * 2004-10-26 2008-05-29 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ ボケた画像部分の画質を向上する方法
JP4266920B2 (ja) * 2004-12-03 2009-05-27 オリンパス株式会社 分類装置及び分類方法
JP5002497B2 (ja) * 2008-03-11 2012-08-15 株式会社Ｐｆｕ 画像処理装置、画像処理方法および画像処理プログラム
JP5187331B2 (ja) * 2010-03-23 2013-04-24 コニカミノルタビジネステクノロジーズ株式会社 画像処理装置、画像処理方法、およびコンピュータプログラム
JP5654867B2 (ja) * 2010-12-27 2015-01-14 パナソニックＩｐマネジメント株式会社 映像信号処理装置及び映像信号処理方法
JP5767963B2 (ja) * 2011-12-28 2015-08-26 株式会社キーエンス 外観検査装置、外観検査方法及びコンピュータプログラム
JP6065913B2 (ja) * 2012-09-03 2017-01-25 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
JP2015087903A (ja) 2013-10-30 2015-05-07 ソニー株式会社 情報処理装置及び情報処理方法
JP5874721B2 (ja) * 2013-12-25 2016-03-02 コニカミノルタ株式会社 画像処理装置、画像補正方法、及び、プログラム
CN105321147B (zh) * 2014-06-25 2019-04-12 腾讯科技（深圳）有限公司 图像处理的方法及装置
CN105205796A (zh) * 2014-06-30 2015-12-30 华为技术有限公司 广域图像获取方法和装置
KR101724555B1 (ko) * 2014-12-22 2017-04-18 삼성전자주식회사 부호화 방법 및 장치와 복호화 방법 및 장치
JP6333871B2 (ja) * 2016-02-25 2018-05-30 ファナック株式会社 入力画像から検出した対象物を表示する画像処理装置
JP2017196037A (ja) * 2016-04-26 2017-11-02 東芝メディカルシステムズ株式会社 Ｘ線診断装置
JP2018180875A (ja) * 2017-04-12 2018-11-15 富士通株式会社 判定装置、判定方法および判定プログラム

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10157081A (ja) * 1996-11-29 1998-06-16 Dainippon Printing Co Ltd 筋状欠陥検査方法及び装置
US20020159641A1 (en) * 2001-03-14 2002-10-31 Whitney Paul D. Directed dynamic data analysis
US20070009152A1 (en) * 2004-03-31 2007-01-11 Olympus Corporation Learning-type classifying apparatus and learning-type classifying method
US20070091196A1 (en) * 2005-10-26 2007-04-26 Olympus Corporation Imaging apparatus
JP2009047446A (ja) * 2007-08-14 2009-03-05 Omron Corp 画像検査装置、画像検査方法、コンピュータを画像検査装置として機能させるためのプログラム、およびコンピュータ読み取り可能な記録媒体
JP2009293957A (ja) * 2008-06-02 2009-12-17 Toshiba Corp パターン欠陥検査装置及び検査方法
US20110142326A1 (en) * 2008-06-12 2011-06-16 Shinichi Shinoda Pattern inspection method, pattern inspection apparatus and pattern processing apparatus
US20110280470A1 (en) * 2010-05-11 2011-11-17 Sumco Corporation Wafer defect inspection apparatus and method for inspecting a wafer defect
US20150078627A1 (en) * 2013-09-17 2015-03-19 Ricoh Company, Ltd. Image inspection result determination apparatus, image inspection system, method of determinating image inspection result, and storage medium
US20170316579A1 (en) * 2016-04-28 2017-11-02 Toshiba Medical Systems Corporation Image processing apparatus and x-ray diagnosis apparatus

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
CRIMINISI A, ET AL: "Region filling and object removal by exemplar-based image inpainting", IEEE TRANSACTIONS ON IMAGE PROCESSING *
LÉVY B, ET AL: "Least squares conformal maps for automatic texture atlas generation", ACM TRANSACTIONS ON GRAPHICS (TOG) *
孙秀慧: "三角网格模型分片B样条曲面拟合技术研究", 南京航空航天大学 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114445309A (zh) * 2020-10-20 2022-05-06 斗山重工业建设有限公司 深度学习用缺陷图像生成方法以及用于深度学习用缺陷图像生成方法的系统

Also Published As

Publication number Publication date
EP3483833B1 (en) 2021-03-03
JP6936958B2 (ja) 2021-09-22
EP3483833A1 (en) 2019-05-15
JP2019087078A (ja) 2019-06-06
CN109767419B (zh) 2023-05-16
US11176650B2 (en) 2021-11-16
US20190139213A1 (en) 2019-05-09

Similar Documents

Publication Publication Date Title
CN109767419A (zh) 数据生成装置、数据生成方法及存储介质
CN108257121B (zh) 产品缺陷检测模型更新的方法、装置、存储介质及终端设备
US11170897B2 (en) Method and system for assisting pathologist identification of tumor cells in magnified tissue images
WO2019117065A1 (ja) データ生成装置、データ生成方法及びデータ生成プログラム
CN109767418A (zh) 检査装置、数据生成装置、数据生成方法及存储介质
KR102142205B1 (ko) 설명 가능한 인공지능 모델링 및 시뮬레이션 시스템 및 방법
JP2019114116A (ja) データ生成装置、データ生成方法及びデータ生成プログラム
CN109862394A (zh) 视频内容的审核方法、装置、设备和存储介质
CN109118482A (zh) 一种面板缺陷分析方法、装置及存储介质
CN110060237A (zh) 一种故障检测方法、装置、设备及系统
CN109613002A (zh) 一种玻璃缺陷检测方法、装置和存储介质
CN110414394A (zh) 一种面部遮挡人脸图像重建方法以及用于人脸遮挡检测的模型
EP1932116A2 (en) Method and system for automatic defect detection of articles in visual inspection machines
CN106204598B (zh) 在自动缺陷分类流程中管理缺陷的方法及系统
CN109903242A (zh) 一种图像生成方法及装置
CN105579847A (zh) 疾病分析装置、控制方法和程序
CN104951842A (zh) 一种新的油田产量预测方法
Cordeiro et al. Segmentation of mammography by applying growcut for mass detection
TW201606854A (zh) 用於晶粒對資料庫光罩檢查之自動校準樣本選擇
CN117392042A (zh) 缺陷检测方法、缺陷检测设备及存储介质
CN110751170A (zh) 面板质量检测方法、系统、终端设备及计算机可读介质
CN108020561A (zh) 用于在检查对象时自适应采样的方法和其系统
Gandomkar et al. Determining image processing features describing the appearance of challenging mitotic figures and miscounted nonmitotic objects
US20150377793A1 (en) Computerized method and system for light performance grading of gemstones by one single grading scale
CN114968816A (zh) 基于数据模拟的策略测试方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant