CN109767418B - 检査装置、数据生成装置、数据生成方法及存储介质 - Google Patents

检査装置、数据生成装置、数据生成方法及存储介质 Download PDF

Info

Publication number
CN109767418B
CN109767418B CN201811055098.5A CN201811055098A CN109767418B CN 109767418 B CN109767418 B CN 109767418B CN 201811055098 A CN201811055098 A CN 201811055098A CN 109767418 B CN109767418 B CN 109767418B
Authority
CN
China
Prior art keywords
image
unit
defect
determination
determination result
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811055098.5A
Other languages
English (en)
Other versions
CN109767418A (zh
Inventor
半泽雄希
栗田真嗣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp filed Critical Omron Corp
Publication of CN109767418A publication Critical patent/CN109767418A/zh
Application granted granted Critical
Publication of CN109767418B publication Critical patent/CN109767418B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/778—Active pattern-learning, e.g. online learning of image or video features
    • G06V10/7784—Active pattern-learning, e.g. online learning of image or video features based on feedback from supervisors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G06F18/2178—Validation; Performance evaluation; Active pattern learning techniques based on feedback of a supervisor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/08—Feature extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Image Processing (AREA)

Abstract

本申请提供一种检査装置、数据生成装置、数据生成方法及存储介质。能够提高识别器的识别精度并以能够以更良好的精度识别检査对象物中是否含有缺陷的方式生成学习用数据。检査装置具备：拍摄装置，对检査对象物的图像进行拍摄；判定部，利用使用学习用数据进行了学习的识别器，基于图像对检査对象物中是否含有缺陷进行判定；输入部，受理与判定部的判定结果是否正确相关的输入；提取部，提取作为判定结果的依据的图像的局部图像；以及生成部，在输入判定部的判定结果为不正确的情况下，基于局部图像生成新的学习用数据。

Description

检査装置、数据生成装置、数据生成方法及存储介质
技术领域
本发明涉及一种检査装置、数据生成装置、数据生成方法及存储介质。
背景技术
近年来，正在研究使用神经网络等识别器进行图像的识别的技术。识别器有时使用图像和包含该图像的标签的数据(教师数据)进行学习。
关于高效地生成学习用数据，在下述专利文献1中记载了一种分类辅助装置，其具备：显示部，用于显示多个检査对象的图像；输入部，受理对多个检査对象的图像进行分类的输入；及处理部，进行如下处理：基于预先准备的检査对象的图像所示的检査对象的大小等来确定显示于显示部的检査对象的顺序的处理；以及根据确定出的顺序将多个检査对象的图像配置显示于显示部的处理。
此外，关于进行识别器的学习，在下述专利文献2中记载了一种学习装置，其具有：辨别处理部，针对辨别对象数据进行辨别处理；学习控制部，提取辨别对象数据中的一部分，制成包含提取出的辨别对象数据的再学习数据；以及学习处理部，使用包含再学习数据的学习对象数据来学习辨别处理部的处理参数。更具体而言，学习控制部提取由学习处理部用于学习的辨别对象数据所含的信息中的学习中对处理参数的贡献大的一部分，制成提取的辨别对象数据中附加有辨别结果的再学习数据。此外，学习处理部学习辨别处理部的处理参数，使得辨别处理部针对再学习数据所含的学习对象数据的辨别结果与附加于该学习对象数据的辨别结果一致。
专利文献1：日本特开2003-317082号公报
专利文献2：日本特开2016-143353号公报
发明内容
在利用使用学习用数据生成的识别器进行检査对象物所含的缺陷的识别的情况下，其识别精度依赖于用于学习的学习用数据的内容。例如在基于图像识别检査对象物中是否含有缺陷情况下，如果不准备充分的张数及充分的种类的未拍摄到缺陷的图像和拍摄到缺陷的图像作为学习用数据，则难以生成具有高识别精度的识别器。
然而，对于作为由识别器容易识别的图像或作为难以识别的图像而言，有时与作为由人容易识别的图像或作为难以识别的图像不一致，未必明确为了提高识别器的识别精度而将何种图像追加于学习用数据。因此，谋求一种能够提高识别器的识别精度并以能够以更良好的精度识别检査对象物中是否含有缺陷的方式追加学习用数据、增大变化的方法。
因此，本发明提供一种能够提高识别器的识别精度并以能够以更良好的精度识别检査对象物中是否含有缺陷的方式生成学习用数据的检査装置、数据生成装置、数据生成方法及存储介质。
本公开的一个方式涉及的检査装置具备：拍摄装置，对检査对象物的图像进行拍摄；判定部，利用使用学习用数据进行了学习的识别器，基于图像对检査对象物中是否含有缺陷进行判定；显示部，显示图像及判定部的判定结果；输入部，受理与判定结果是否正确相关的输入；提取部，提取作为判定结果的依据的图像的局部图像；以及生成部，在由输入部输入判定结果为不正确的情况下，基于局部图像生成新的学习用数据。在此，学习用数据包含：输入至识别器的图像；及至少与该图像拍到的检査对象物中是否含有缺陷相关的信息且能够与识别器的输出进行比较的数据。此外，作为判定结果的依据的图像的局部图像包含对识别器的判定带来比较大的影响的图像的部分。
根据该方式，在对判定部的判定结果进行确认且判定结果为不正确的情况下，基于作为判定结果的依据的局部图像，生成新的学习用数据，由此即使在未必明确由于何种理由而成为错误的判定的情况下，生成与错误判定为含有缺陷的检査对象物的图像类似的图像，能够生成减少错误判定这样的学习用数据，从而提高识别器的识别精度，能够以更良好的精度识别检査对象物中是否含有缺陷的方式生成学习用数据。
在所述方式中也可以：在由判定部判定为图像中含有缺陷并由输入部输入判定结果为不正确的情况下，生成部使表示至少局部图像中未含有缺陷的信息与图像建立关联，生成新的学习用数据。
根据该方式，在针对实际上未含有缺陷的图像由判定部判定为含有缺陷的情况下，在由判定部判定为含有缺陷的作为判定结果的依据的局部图像中，生成表示未含有缺陷的学习用数据，生成减少实际上未含有缺陷却判定为含有缺陷的错误判定这样的学习用数据。
在所述方式中也可以：在由判定部判定为图像中含有缺陷且由输入部输入判定结果为不正确的情况下，生成部生成将局部图像和与提取出局部图像的图像不同的图像合成的合成图像，使表示未含有缺陷的信息与合成图像建立关联，而生成新的学习用数据。
根据该方式，在针对实际上未含有缺陷的图像由判定部判定为含有缺陷的情况下，通过将由判定部判定为含有缺陷的作为判定结果的依据的局部图像和与提取局部图像的图像不同的图像合成而生成合成图像，能够增加实际上未含有缺陷却由判定部错误判定为含有缺陷的图像的变化，能够生成与错误判定为含有缺陷的图像类似的图像，能够生成减少错误判定这样的学习用数据。由此，由错误判定的一张图像生成会被错误判定的多样的合成图像，从而提高识别器的识别精度，能够以更良好的精度识别检査对象物中是否含有缺陷的方式生成学习用数据。
在所述方式中也可以：还具备：验证部，由判定部判定合成图像中是否含有缺陷，对是否得到与由判定部判定提取出局部图像的图像中是否含有缺陷时类似的判定结果进行验证。
根据该方式，能够对是否生成获得与实际上未含有缺陷却由判定部错误判定为含有缺陷的原图像类似的判定结果的合成图像进行验证，能够确认到生成的合成图像对减少错误判定是有用的。在此，类似的判定结果为，例如，当由判定部对合成图像中是否含有缺陷进行判定时，与提取局部图像的图像(即，检査对象物的计测图像)同样地，错误判定为含有缺陷的判定结果。即，类似的判定结果包含同样的判定结果或对应的判定结果的意思。
在所述方式中也可以：输入部受理判定部判定结果错误的主要原因的输入，生成部基于主要原因选择未含有缺陷的检査对象物的图像，生成将局部图像和选择的图像合成的合成图像。
根据该方式，在能够估计判定部判定错误的主要原因的情况下，能够基于相同的主要原因生成引起同样的错误判定这样的合成图像，能够生成与错误判定为含有缺陷的图像类似的图像，能够生成减少错误判定这样的学习用数据。在此，判定部判定错误的主要原因为实际上未含有缺陷却由判定部错误判定为含有缺陷的主要原因，例如可列举出：在因检査对象物的外观表面的特征而判定部判定错误的情况下，外观表面的特征为主要原因。更具体而言，例如，背景图案为细线条这样的预定的图案，因该图案而判定部判定错误的情况。在这样的情况下，将作为拍摄到的图像的内容的背景图案的类别、检査对象物的材质等作为判定部判定错误的主要原因的输入受理即可。能够基于该主要原因选择针对局部图像合成的图像，能够生成减少错误判定这样的学习用数据。
在所述方式中也可以：输入部受理判定部判定结果错误的主要原因的输入，显示部基于主要原因，显示督促注意在对检査对象物的图像进行拍摄的过程中是否有不足的数据。
根据该方式，在估计图像的拍摄过程中存在判定部判定错误的主要原因的情况下，能够督促注意在拍摄过程是否有不足，能够减少判定部的错误判定。在此，引发判定部的错误判定的图像的拍摄过程的主要原因例如可列举出与拍摄检査对象物的图像时的拍摄条件相关的主要原因。作为这样的主要原因，例如作为拍摄条件而在拍摄检査对象物时的检査对象物的固定位置产生偏移，本来不是拍摄对象的图像部分混入拍摄装置的拍摄范围，由此该图像部分成为错误判定的主要原因的情况。此外，作为这样的主要原因，例如作为拍摄条件而拍摄检査对象物时的照明条件的参数不足，识别器以错误的照明条件使用拍摄到的图像进行判定，由此产生错误判定这样的情况。这样的情况下，通过指出与作为图像的拍摄过程的拍摄条件相关的不足，能够减少判定部的错误判定。
在所述方式中，提取部以包含对判定结果的贡献度为预定值以上的图像的区域的方式提取作为判定结果的依据的局部图像。
根据该方式，提取由判定部错误判定的作为依据的局部图像，能够基于包含识别器识别棘手的特征的局部图像生成新的学习用数据，能够生成进一步提高了识别器的识别精度这样的学习用数据。
在所述方式中也可以：判定部对图像中是否含有多个缺陷进行判定，输入部按照多个缺陷的每一个，受理与判定结果是否正确相关的输入，提取部针对多个缺陷中由输入部输入判定结果为不正确的缺陷，提取作为判定结果的依据的图像的局部图像，生成部基于局部图像生成新的学习用数据。
根据该方式，在针对实际上未含有缺陷的图像由判定部判定为含有多个缺陷的情况下，基于作为判定结果的依据的局部图像，生成新的学习用数据，由此即使在未必明确由于何种理由判定为图像中含有缺陷的情况下，也能够生成与错误判定的图像类似的图像，能够生成减少错误判定这样的学习用数据。
在所述方式中也可以：还具备：通信部，在由生成部生成新的学习用数据的情况下，向权限人询问能否登记新的学习用数据。
根据该方式，在生成新的学习用数据的情况下，通过向权限人询问能否登记新的学习用数据，能够防止轻易地登记新的学习用数据，能够存储更适当内容的学习用数据。
在所述方式中也可以：显示部显示图像和强调图像中的局部图像的图像。
根据该方式，能够视觉辨别由判定部基于图像的哪个部位判定图像中含有缺陷，对强调局部图像的图像与原始的图像进行比较，由于能够容易地确认针对实际含有缺陷的图像由判定部正确地判定为含有缺陷或针对实际上未含有缺陷的图像由判定部错误判定为含有缺陷。
在所述方式中，显示部能够相互比较或重叠地显示图像和强调图像中的局部图像的图像。
根据该方式，通过能够相互比较或重叠地显示强调局部图像的图像和原始的图像，能够将作为判定部的判定结果的依据的图像的部位与原始的图像准确地对比，能够容易地确认针对实际含有缺陷的图像由判定部正确地判定为含有缺陷或针对实际上未含有缺陷的图像由判定部错误判定为含有缺陷。
在所述方式中也可以：显示部显示图像和检査对象物的识别信息。
根据该方式，通过显示检査对象物的识别信息，能够获取检査对象物自身，能够目视确认与检査对象物相关的缺陷的有无或作为采样进行确保。
在所述方式中也可以：显示部显示图像、过去取得的含有缺陷的检査对象物的图像或过去取得的未含有缺陷的检査对象物的图像。
根据该方式，能够对含有缺陷的图像的过去的例子、未含有缺陷的图像的过去的例子与当前的图像进行比较，能够提供用于判断判定部的判定结果是否正确的判断材料。
在所述方式中也可以：显示部显示图像、过去由判定部判定为含有缺陷的图像或过去由判定部判定为未含有缺陷的图像。
根据该方式，通过对由判定部判定为含有缺陷的图像的过去的例子、由判定部判定为未含有缺陷的图像的过去的例子与当前的图像进行比较，能够提供用于判断判定部的判定结果是否正确的判断材料。
本公开的其他方式涉及的数据生成装置具备：取得部，取得检査对象物的图像；判定部，利用使用学习用数据进行了学习的识别器，基于图像对检査对象物中是否含有缺陷进行判定；输入部，受理与判定部的判定结果是否正确相关的输入；提取部，提取作为判定结果的依据的图像的局部图像；以及生成部，在由输入部输入判定结果为不正确的情况下，基于局部图像生成新的学习用数据。
根据该方式，在确认判定部的判定结果且判定结果为不正确的情况下，在针对实际上未含有缺陷的图像由判定部判定为含有缺陷的情况下，基于作为判定结果的依据的局部图像，生成新的学习用数据，由此即使在未必明确由于何种理由错误判定为图像中含有缺陷的情况下，也能够生成与错误判定为含有缺陷的检査对象物的图像类似的图像，能够生成减少错误判定这样的学习用数据，从而能够提高识别器的识别精度，能够以更良好的精度识别检査对象物中是否含有缺陷的方式生成学习用数据生成。
本公开的其他方式涉及的数据生成方法包括如下步骤：取得检査对象物的图像；利用使用学习用数据进行了学习的识别器，基于图像对检査对象物中是否含有缺陷进行判定；受理与判定的判定结果是否正确相关的输入；提取作为判定结果的依据的图像的局部图像；以及在通过受理输入而输入判定结果为不正确的情况下，基于局部图像生成新的学习用数据。
根据该方式，在确认判定部的判定结果且判定结果为不正确的情况下，基于作为判定结果的依据的局部图像生成新的学习用数据，由此即使未必明确何种理由成为错误判定情况下，也能够生成与错误判定为含有缺陷的检査对象物的图像类似的图像，能够生成减少错误判定的这样的学习用数据，从而提高识别器的识别精度，能够以更良好的精度识别检査对象物中是否含有缺陷的方式生成学习用数据。
本公开的其他方式涉及存储介质，存储数据生成程序，数据生成程序使数据生成装置具备的运算装置作为如下部分进行动作：取得部，取得检査对象物的图像；判定部，利用使用学习用数据进行了学习的识别器，基于图像对检査对象物中是否含有缺陷进行判定；输入部，受理与判定部的判定结果是否正确相关的输入；提取部，提取作为判定结果的依据的图像的局部图像；以及生成部，在由输入部输入判定结果为不正确的情况下，基于局部图像生成新的学习用数据。
根据该方式，在确认判定部的判定结果且判定结果为不正确的情况下，基于作为判定结果的依据的局部图像生成新的学习用数据，由此即使在未必明确何种理由成为错误判定情况下，也能够生成与错误判定为含有缺陷的检査对象物的图像类似的图像，能够生成减少错误判定的这样的学习用数据，从而提高识别器的识别精度，能够以更良好的精度识别检査对象物中是否含有缺陷的方式生成学习用数据。
提供一种能够提高识别器的识别精度并以能够以更良好的精度识别检査对象物中是否含有缺陷的方式生成学习用数据的检査装置、数据生成装置、数据生成方法及存储介质。
附图说明
图1为本发明的实施方式涉及的检査装置的功能框图。
图2为表示本实施方式涉及的检査装置的第一学习部及第二学习部的处理的内容的示意图。
图3为表示本实施方式涉及的检査装置的计测部的处理的内容的示意图。
图4为表示本实施方式涉及的检査装置的硬件构成的框图。
图5为表示由本实施方式涉及的检査装置执行的第一处理的内容的流程图。
图6为表示由本实施方式涉及的检査装置显示的检査对象物的图像和强调局部图像的图像的示例的图。
图7为表示由本实施方式涉及的检査装置生成的合成图像的示例的图。
图8为表示由本实施方式涉及的检査装置执行的第二处理的内容的流程图。
图9为表示由本实施方式的第一变形例涉及的检査装置执行的第三处理的内容的流程图。
图10为表示由本实施方式的第一变形例涉及的检査装置重叠地显示检査对象物的图像和强调局部图像的图像的示例的图。
图11为表示由本实施方式的第二变形例涉及的检査装置执行的第四处理的内容的流程图。
附图标记说明
100…检査装置；101…运算装置；102…辅助存储部；102a…数据生成程序；102b…计测图像；102c…学习用数据；103…辅助存储部；104…处理器；105…主存储部；106…外部I/F；110…图像收集部；111…属性赋予部；112…图像DB；113…图像校正部；120…图像修正部；121…生成部；122…修正图像DB；123…提取部；124…验证部；125…通信部；130…第一学习部；131…第一学习处理部；140…第二学习部；141…第二学习处理部；150…计测部；151…学习结果DB；152…判定部；153…拍摄装置；160…计测结果管理部；161…计测结果DB；170…用户接口；180…用户接口；191…输出装置；192…输入装置。
具体实施方式
以下，基于附图对本发明的一个方式涉及的实施方式(以下，标记为“本实施方式”。)进行说明。另外，在各图中，标注相同附图标记部件具有同一或同样的结构。
1应用例
首先，使用图1对应用本发明的场景的一个示例进行说明。图1为示意地例示本实施方式涉及的检査装置100的应用场景的一个示例的功能框图。本实施方式涉及的检査装置100为，利用通过第一学习部130、第二学习部140进行了学习的识别器(a、b、c、A、B、…)判定由拍摄装置153拍摄到的检査对象物的图像中是否含有缺陷，在识别器的判定错误(错误判定)的情况下，特别是在针对实际上未含有缺陷的图像判定为含有缺陷的情况下，生成减少错误判定的这样的新的学习用数据的装置。本实施方式涉及的检査装置100包含生成识别器的学习用数据的数据生成装置。
如图1所示，检査装置100具备：拍摄装置153，其取得检査对象物的图像；判定部152，其具有使用学习用数据进行了学习的识别器(a、b、c、A、B、…)且输入图像数据的识别器，基于图像对检査对象物中是否含有缺陷进行判定，输出包含与检査对象物所含的缺陷的有无相关的信息的判定结果；用户接口170，其受理与判定部152的判定结果是否正确相关的输入；提取部123，其提取作为判定部152的判定结果的依据的图像的局部图像；及生成部121，其在由用户接口170输入判定部152的判定结果为不正确的情况下，基于局部图像生成新的学习用数据。在此，拍摄装置153为本发明的“取得部”的一个示例。此外，用户接口170为本发明的“输入部”的一个示例。在本说明书中，将由拍摄装置153新拍摄的检査对象物的图像称作“计测图像”，将为了使识别器(a、b、c、A、B、…)学习而预先收集的检査对象物的图像称作“采样图像”。另外，检査装置100也可以未必具备拍摄装置153，也可以从分体地设置的拍摄装置取得计测图像。
判定部152例如利用使用了卷积神经网络(Convolutional Neural Network，以下称作“CNN”。)等神经网络的识别器，基于计测图像对检査对象物中是否含有缺陷进行判定，输出包含与检査对象物所含的缺陷的有无相关的信息的判定结果。判定部152的判定结果与计测图像一起显示于第二操作者的用户接口170。第二操作者对计测图像和判定结果进行确认，通过用户接口170进行与判定部152的判定结果是否正确相关的输入。在此，在输入判定部152的判定结果为不正确的情况下，生成部121基于计测图像中的作为判定结果的依据的局部图像，生成新的学习用数据。生成的新的学习用数据存储于修正图像DB122，第一学习部130、第二学习部140用于使识别器(a、b、c、A、B、…)学习。另外，作为判定结果的依据的图像的局部图像包含对识别器的判定带来相对大影响的图像的部分，例如，在识别器由CNN构成的情况下，以包含对该识别器的判定结果的贡献度为预定值以上的图像的区域的方式进行提取。例如，作为判定结果的依据的图像的局部图像在识别器由CNN构成的情况下，与该识别器的判定结果对应的层的特征图谱的值也可以包含作为预定的阈值以上的图像的区域。通过由提取部123以包含对判定部152的判定结果的贡献度为预定值以上的图像的区域的方式，提取作为判定结果的依据的局部图像，提取由判定部152错误判定的作为依据的局部图像，能够基于包含识别器识别棘手的特征的局部图像生成新的学习用数据，能够生成进一步提高识别器的识别精度这样的学习用数据。
由此，在对判定部152的判定结果进行确认且判定结果为不正确的情况下，输入该判定结果为不正确，基于作为判定结果的依据的局部图像，生成新的学习用数据，由此即使在未必明确何种理由成为错误判定的情况下，也能够生成与错误判定为含有缺陷的检査对象物的计测图像类似的图像，能够生成减少错误判定这样的学习用数据，从而提高识别器的识别精度，能够以更良好的精度识别检査对象物中是否含有缺陷的方式生成学习用数据。因此，无需为了对识别器的错误判定的主要原因进行分析而浪费运算量，能够利用较少的运算量生成判定精度高的识别器。此外，能够增加错误判定为含有缺陷这样的图像的变量，因此与仅将错误判定的图像用作学习用数据相比，能够抑制在识别器的学习处理中产生过度学习。
2构成例
[功能构成]
接着，使用图1对本实施方式涉及的检査装置100的功能构成的一个示例进行说明。检査装置100具备如下功能：使用学习用数据生成识别器，所述识别器输出包含检査对象物的缺陷的有无、在检査对象物中含有缺陷的情况下该缺陷的位置和该缺陷的种类的属性信息(标签)。在此，在检査对象物中含有多个缺陷的情况下，属性信息也可以包含缺陷的有无、多个缺陷的位置及这些缺陷的种类。此外，检査装置100具备如下功能：取得对检査对象物进行了测量的计测图像，使用生成的识别器输出检査对象物的属性信息。因而，检査装置100作为检査装置或检査系统发挥功能：取得检査对象物的计测图像，基于计测图像输出包含与检査对象物的缺陷的有无相关的信息的计测结果。
如图1所示，检査装置100具备：图像收集部110，其生成及存储学习用数据；图像修正部120，其基于与由识别器输出的属性信息的正误相关的信息进行计测出的图像(计测图像)的修正；第一学习部130及第二学习部140，使用由图像收集部110及图像修正部120中的至少任意方生成的学习用数据，生成输出包含检査对象物的缺陷的有无、在检査对象物中含有缺陷的情况下该缺陷的位置和该缺陷的种类的属性信息的识别器；计测部150，其取得对检査对象物进行计测的计测图像，使用由第一学习部130及第二学习部140中的至少任意方生成的识别器，输出检査对象物的属性信息；及计测结果管理部160，其使计测图像与其属性信息建立关联并存储为计测结果。在此，计测结果包含：计测图像、由识别器输出的检査对象物的属性信息及判定部152的判定结果。另外，学习用数据也可以不仅是单一的学习用数据，还是具有多个学习用数据的数据集。
在此，缺陷为检査对象物具有的异常且例如包含划痕、颜色等的不匀、污渍、缺损、毛边、异物、打印内容的模糊、打印内容等的位置偏移等。
此外，属性信息至少包含如下信息：与各图像所含的缺陷的有无相关的信息、在图像中含有缺陷的情况下表示该缺陷的位置的信息及表示该缺陷的种类的信息。另外，属性信息并不限于缺陷的有无、与缺陷的位置相关的信息及与缺陷的种类相关的信息，例如也可以是与由识别器输出的缺陷的有无、缺陷的位置相关的信息及关于与缺陷的种类相关的信息的可靠度的信息。
检査装置100由一个或多个具有如下部件的信息处理装置构成：存储部(例如，图4所示的辅助存储部102、103)，其存储软件程序及用于执行该软件程序的数据；及运算部(例如，图4所示的处理器104)，其调用并执行软件程序。即，图像收集部110、图像修正部120、第一学习部130、第二学习部140、计测部150及计测结果管理部160的各功能模块分别通过处理器104等硬件处理器执行辅助存储部102、103等存储部存储的预定的软件程序来实现。即，图像收集部110、图像修正部120、第一学习部130、第二学习部140、计测部150及计测结果管理部160的各功能分别表示，通过硬件处理器执行软件程序来实现的预定的处理。此外，图像收集部110、图像修正部120、第一学习部130、第二学习部140、计测部150及计测结果管理部160分别通过单独或组合多个来构成为信息处理装置。另外，也可以由单一的信息处理装置构成检査装置100。针对本实施方式的信息处理装置的硬件构成将在下文中叙述。
<图像收集部的结构>
图像收集部110取得用于生成学习用数据的采样图像。采样图像也可以是拍摄检査对象物的图像，此外也可以是由公知的图像合成技术生成的CG图像。图像收集部110取得的采样图像利用属性赋予部111针对各图像或针对多个图像赋予属性信息。即，属性赋予部111通过针对采样图像赋予属性信息，使采样图像成为学习用数据。
在本实施方式中，由第一操作者经由任意的用户接口180来进行属性信息的赋予(标记)。例如，在采样图像中含有缺陷的情况下，第一操作者能够使用作为用户接口180的显示装置(液晶显示装置等)及输入装置(触摸面板、键盘、鼠标等)，通过预定的形状的框包围该缺陷，来赋予包含缺陷的有无及缺陷的位置的属性信息。此外，能够使用用户接口180对采样图像赋予包含该缺陷的种类的属性信息。另外，属性信息的赋予的方法并不特别限定。例如也可以使用对图像与应该对该图像赋予的属性信息之间的关系性进行了学习的识别器，针对图像自动赋予属性信息，也可以利用公知的统计的方法，对多个图像进行分组，针对组赋予属性信息。
在属性赋予部111中赋予了属性信息的图像(学习用数据)保存和存储于图像数据库(以下，称作“图像DB”)112。
图像收集部110例如具备：图像校正部113，其根据取得的采样图像的多少、图像DB112存储的学习用数据的多少，进行学习用数据的扩展。图像校正部113也可以基于经由用户接口180进行的第一操作者的校正操作进行采样图像的扩展。另外，图像校正部113未必是对图像收集部110必须的要素。此外，学习用数据的扩展是指，增加用于学习的数据集的扩展。
学习用数据的扩展(argumentation)例如也可以通过使采样图像平行移动、旋转、改变颜色、扩大、缩小来进行。另外，图像校正部113并不是对图像收集部110而言必须的结构要素，也可以根据使用检査装置100来实现的图像计测处理所需的学习用数据的需要量来适当设置。此外，所述扩展也可以是操作者自己经由任意的用户接口180进行局部图像的提取、与背景图像的合成等各处理的指示来实现。由图像校正部113扩展的学习用数据保存和存储于图像DB112。
在此，背景图像为与局部图像合成的图像且包含与提取局部图像的计测图像不同的图像。另外，背景图像也可以是计测图像，但在将计测图像用作背景图像的情况下，能够以在从计测图像提取的局部图像以外的区域合成局部图像的方式，限制使用合成部位。此外，背景图像也可以基于计测图像以外的图像来生成，也可以具有与计测图像的缺陷以外的区域的图像相同图案，也可以不具有。此外，在背景图像如果是均匀的背景图案的图像的情况下，则也可以是具有细线条这样的背景图案的图像或打印有文字等的图像，也可以是多种多样的图像。
图像DB112从属性赋予部111及图像校正部113取得学习用数据。图像DB112也可以以基于赋予的属性信息进行分类的状态存储学习用数据。此外，图像DB112在图像收集部110取得的采样图像已经赋予属性信息的情况下，也可以不经由属性赋予部111及图像校正部113取得并存储该采样图像。另外，图像DB112也可以将学习用数据区别为如下数据来存储：用于生成后述的识别器的学习处理所使用的学习处理用的学习用数据；和用于生成的识别器对是否输出所要的属性信息进行评价的评价处理用的测试用数据。不过，在不进行区别而将学习用数据和测试用数据存储于图像DB112进行学习处理时，也可以以任意的方法将图像DB112存储的数据集分为学习用和测试用等。
<第一学习部的结构>
图2为表示本实施方式涉及的检査装置的第一学习部130及第二学习部140的处理的内容的示意图。第一学习部130从图像收集部110取得学习用数据。另外，第一学习部130也可以从后述的图像修正部120取得学习用数据。第一学习部130具有：第一学习处理部131，其执行使用了取得的学习用数据的机械学习生成识别器(a、b、c、…)。识别器(a、b、c、…)输入图像数据，并输出包含该图像所含的缺陷的有无、在含有一个或多个缺陷的情况下其位置及其种类的属性信息。另外，识别器(a、b、c、…)中也可以输入有图像数据以外的数据。例如，识别器(a、b、c、…)中输入有对检査对象物的图像进行拍摄的条件(光量、拍摄装置的曝光时间等)或输入有检査对象物的识别信息。
识别器(a、b、c、…)通过相对于任意的机械学习模型进行学习处理和评价处理来生成。机械学习模型为，具有预定的模型构造和通过学习处理而变动的处理参数，基于从学习用数据获得的经验使该处理参数最优化，从而提高识别精度的模型。即，机械学习模型为，通过学习处理学习最优的处理参数的模型。机械学习模型的算法例如能够使用支持向量机、逻辑回归、神经网络等，但其种类并不特别限定。在本实施方式中，对神经网络且特别使用分层为三层以上的深层神经网络(以下，称作“DNN”。)中的、适于图像辨别的CNN的示例进行说明。另外，第一学习部130也可以具备用于生成机械学习模型的模型生成部(未图示)。此外，第一学习部130从外部取得预先生成的机械学习模型。
第一学习处理部131当使用学习用数据输入图像的数据时，以输出与属性信息表现的计测图像的属性对应的输出值的方式，进行使机械学习模型学习的学习处理。第一学习处理部131还进行如下评价处理：相对于通过学习处理生成的识别器(a、b、c、…)，使用测试用数据，对识别器(a、b、c、…)的输出与相对于测试用数据赋予的属性信息进行比较。在识别器(a、b、c、…)的输出与对测试用数据赋予的属性信息一致的情况下，判断为满足识别器(a、b、c、…)的生成条件，完成识别器(a、b、c、…)的生成处理。
第一学习部130将包含生成的识别器(a、b、c、…)的模型构造及处理参数的信息作为学习结果数据，输出至后述的计测部150及第二学习部140。
<第二学习部的结构>
接下来，使用图2对第二学习部140的处理的内容进行说明。第二学习部140进行相对于由预定的生成处理生成的识别器的追加学习(再学习)。另外，在第二学习部140中，对于与第一学习部130共用的要素，省略说明。
第二学习部140取得由第一学习部130生成的学习完的识别器(a、b、c、…)的学习结果数据。另外，第二学习部140也可以从外部取得与由预定的生成处理生成的识别器相关的学习结果数据。第二学习部140从图像收集部110取得学习用数据。另外，第二学习部140也可以从后述的图像修正部120取得学习用数据。
第二学习部140具有：第二学习处理部141，其执行使用了学习用数据的机械学习的追加学习(再学习)并生成识别器(A、B、C、…)。识别器(A、B、C、…)通过相对于由预定的学习处理生成的识别器(a、b、c、…)进行学习处理和评价处理来生成。换言之，第二学习处理部141通过使用学习用数据，执行相对于包含识别器(a、b、c、…)的模型构造及处理参数的学习结果数据的学习处理和评价处理，来生成识别器(A、B、C、…)。识别器(A、B、C、…)输入图像数据，输出包含该图像所含的缺陷的有无、在含有一个或多个缺陷的情况下其位置及其种类的属性信息。
第二学习处理部141当使用学习用数据输入图像的数据时，以输出与属性信息表现的计测图像的属性对应的输出值的方式，进行使由识别器(a、b、c、…)的学习结果数据表现的机械学习模型学习的学习处理(追加学习的学习处理)。在此，第二学习处理部141进行的追加学习的学习处理也可以使用从后述的图像修正部120取得的学习用数据来进行。由此，能够使用基于对检査对象物进行拍摄的图像新生成的学习用数据，从而能够提高识别器的识别精度。
第二学习处理部141还进行如下评价处理：针对由学习处理生成的识别器(A、B、C、…)，使用测试用数据，对识别器(A、B、C、…)的输出与针对测试用数据赋予的属性信息进行比较。在识别器(A、B、C、…)的输出与对测试用数据赋予的属性信息一致的情况下，判断为满足识别器(A、B、C、…)的生成条件，完成识别器(A、B、C、…)的生成处理。在此，第二学习处理部141进行的评价处理也可以使用从后述的图像修正部120取得的测试用数据来进行。由此，能够使用基于对检査对象物进行拍摄的图像新生成的学习用数据来进行评价，从而能够提高识别器的辨别精度。
第二学习部140将包含生成的识别器(A、B、C、…)的模型构造及处理参数的信息作为学习结果数据，输出至后述的计测部150。
另外，也可以将第一学习部130和第二学习部140构成为一体，第一学习处理部131执行追加学习的学习处理和评价处理。
<计测部的结构>
图3为表示本实施方式涉及的检査装置100的计测部150的处理的内容的示意图。计测部150使用由使用了学习用数据的学习处理及评价处理生成的识别器，输出由拍摄装置153拍摄的检査对象物的计测图像的属性信息，由判定部152对检査对象物中是否含有缺陷进行判定，输出包含计测图像、属性信息及判定结果的计测结果。属性信息包含缺陷的有无、在含有一个或多个缺陷的情况下该缺陷的位置及种类。
计测部150从第一学习部130及第二学习部140，取得包含识别器的模型构造及处理参数的信息作为学习结果数据。计测部150具有对取得的学习结果数据进行存储的学习结果DB151。此外，计测部150具有对检査对象物进行拍摄的拍摄装置153。拍摄装置153例如设置为对工厂的生产线进行拍摄并构成生产线的一部分。拍摄装置153将作为在生产线上流通的检査对象物的部件及制品(以下，将部件和制品统一称作“工件”)的图像作为计测图像进行拍摄。
计测部150具有：判定部152，其使用基于学习结果DB151存储的学习结果数据构成的识别器，输出计测图像的属性信息。判定部152也可以基于计测图像对检査对象物中是否含有一个或多个缺陷进行判定，在含有缺陷的情况下，输出包含与计测图像上的缺陷的位置相关的信息的属性信息。在此，作为与计测图像上的缺陷的位置相关的信息，可列举出表示与计测图像上的缺陷相当的区域的框形状。
计测部150将包含计测图像、由识别器输出的计测图像的属性信息、判定部152的判定结果的计测结果输出至计测结果管理部160。另外，计测部150也可以将用于识别各个检査对象物的识别信息连同计测结果一起输出至计测结果管理部160。此时，检査对象物的识别信息也可以从计测图像取得，也可以经由预定的接口从外部取得。作为识别信息，例如能够使用制造编号、将制造编号编码后的图形。由此，识别信息优选为能够对检査对象物的个体进行识别的信息。另外，计测部150也可以将计测对象物的计测结果输出至计测结果管理部160以外的单元。例如，也可以向后述的用户接口170输出计测结果及识别信息。此外，例如，也可以向整理装置(未图示)直接或间接地输出计测结果。整理装置基于取得的计测结果进行检査对象物的整理。
<计测结果管理部的结构>
计测结果管理部160具有：计测结果DB161，其使计测结果所含的计测图像与由识别器输出的计测图像的属性信息及判定部152的判定结果建立关联而进行存储。另外，计测结果管理部160也可以将用于识别检査对象物的识别信息连同计测结果一起取得。此时，检査对象物的识别信息也可以从计测部150取得，也可以经由预定的接口从外部取得。此外，计测结果DB161也可以根据属性信息所含的属性的类别，例如与缺陷的类别的属性建立关联对计测图像进行分类并存储。
计测结果管理部160向用户接口170输出计测结果。此时，计测结果管理部160也可以向用户接口170匹配地输出检査对象物的识别信息。此外，计测结果管理部160向后述的图像修正部120输出计测结果。此时，计测结果管理部160也可以向图像修正部120匹配地输出检査对象物的识别信息。
<用户接口>
在本实施方式中，用户接口170供第二操作者用于确认判定部152的判定结果、或用于执行对判定结果的正误进行修正的操作(修正操作)、或用于执行由图像修正部120生成合成图像的操作(合成操作)。用户接口170至少具有：用于显示计测图像及计测部150的计测结果的显示部(液晶显示装置等)及用于进行第二操作者的修正操作及合成操作的输入部(触摸面板、键盘、鼠标等)。第二操作者基于显示部显示的计测结果，对判定部152的判定结果的正误进行判断，使用输入部输入与该正误相关的信息。即，第二操作者基于在显示部显示的计测图像及计测部150的判定部152的判定结果，对判定结果是否正确进行判断，使用输入部输入与该正误相关的信息。在判定为计测图像含有多个缺陷的情况下，也可以由输入部按照多个缺陷中的每一个缺陷受理与判定结果是否正确相关的输入。
在此，在判定部152的判定结果为不正确的情况下，假定下述两个图案。即存在有：计测图像中含有缺陷但判定部152的判定结果表示未含有缺陷的主旨的情况(假阴性：false negative)和计测图像中未含有缺陷但判定部152的判定结果表示含有缺陷的主旨的情况(假阳性：false positive)。针对这些错误判定中的后者的假阳性，有时未必明确识别器以何种理由判定为图像中含有缺陷，有时建立追加何种学习用数据能够减少错误判定的对策尤为困难。
另外，显示部显示的信息也可以包含：检査对象物的识别信息、与计测图像上的缺陷的位置相关的信息、强调地显示作为判定部152的判定结果的依据的局部图像的图像。强调地显示作为判定结果的依据的局部图像的图像也可以基于判定部152的判定结果的依据、即对判定结果的影响大的局部图像的位置信息、贡献度来生成，例如使用作为公知的方法的CAM(Class Activation Map)，通过表示识别器关注图像的哪个部位进行识别的情况来生成。
向图像修正部120进行输出由第二操作者进行的修正操作的内容。此时，修正操作的内容也可以包含：作为修正操作的对象的计测图像、与判定部152的判定结果的正误相关的信息。另外，修正操作的内容也可以是无需修正操作的主旨的信息。此外，修正操作的内容也可以包含：在判定结果为错误的情况下，根据是假阴性的错误判定还是假阳性的错误判定而不同的信息。例如，在假阴性的错误判定的情况下的修正操作的内容中也可以包含表示缺陷的位置及种类的信息。此时，通过使用用户接口170，向第二操作者督促用于指定缺陷的位置的修正操作，能够将表示缺陷的位置的信息作为修正结果进行收集。另外，第一操作者与第二操作者也可以相同。
<图像修正部的结构>
图像修正部120基于与判定部152的判定结果的正误相关的信息进行学习用数据的生成。图像修正部120具有：生成部121、修正图像数据库(以下，称作“修正图像DB”。)122、提取部123、验证部124及通信部125，并根据从用户接口170受理的修正操作、合成操作，基于假阳性的错误判定引起的计测图像来生成学习用数据。
提取部123提取作为判定部152的判定结果的依据的计测图像的局部图像。作为判定结果的依据的图像的局部图像包含对识别器的判定带来相对大的影响的图像的部分。提取部123例如在由识别器CNN构成的情况下，从产生错误检测的图像的区域的内部，提取对该识别器的判定结果的贡献度为预定值以上的像素。提取部123例如也可以基于由识别器识别计测图像的情况下获得的CAM提取局部图像。在判定为计测图像中含有多个缺陷的情况下，提取部123也可以针对输入的多个缺陷中的、判定结果为不正确的缺陷，提取作为判定结果的依据的计测图像的局部图像。CAM根据CNN的构造例如针对与判定结果对应的卷积层的各节点，从学习处理的结果取得相对于输出类别的权重，使与判定结果的类别对应的权重和各节点的输出相乘，通过映射对相对于输入的判定结果的类别的响应，计算对判定结果的贡献度。另外，提取部123也可以设置于计测部150。
生成部121也可以：在由用户接口170的输入部输入判定部152的判定结果为不正确的情况下，基于由提取部123提取的局部图像，生成新的学习用数据。生成部121在由判定部152判定为计测图像中含有缺陷并由输入部输入判定部152的判定结果为不正确的情况下，至少使表示局部图像中未含有缺陷的信息与计测图像建立关联，生成新的学习用数据。此外，生成部121也可以：在由判定部152判定为图像中含有缺陷并由输入部输入判定部152的判定结果为不正确的情况下，生成将局部图像与未含有缺陷的检査对象物的图像合成的合成图像，使表示未含有缺陷的信息与合成图像建立关联，生成新的学习用数据。此外，在判定为计测图像中含有多个缺陷的情况下，生成部121也可以按照多个缺陷中的每一个缺陷，基于局部图像生成新的学习用数据。
另外，图像修正部120也可以构成为，针对操作者设定修正操作、合成操作的执行权限，仅受理具有执行权限的人(权限人)的修正操作和/或合成操作。据此，能够提高修正操作和/或合成操作的可靠性，并且提高生成的新的学习用数据的品质，进而提高基于新的学习用数据生成的识别器的识别精度。
在由判定部152针对实际上未含有缺陷的图像判定为含有多个缺陷的情况下，基于作为判定结果的依据的局部图像，生成新的学习用数据，由此即使在未必明确何种理由判定为图像中含有缺陷情况下，也能够按照多个缺陷中的每一个缺陷生成与错误判定的图像类似的图像，能够生成减少错误判定这样的学习用数据。因此，无需为了对识别器的错误判定的主要原因进行分析而浪费运算量，能够以较少的运算量生成判定精度高的识别器。特别是，在基于计测图像生成新的学习用数据的情况下，有时通过与机械学习相关的认知少的操作者的操作，生成学习用数据。即使在这样的情况下，根据该方式，也能够容易地生成与各工序中产生的检査对象物的缺陷对应的新的学习用数据，进而生成使用新的学习用数据的识别器，由此能够生成适于各工序的识别器，能够提高识别精度。
生成部121例如也可以：将由提取部123提取的包含缺陷的局部图像、包含或不包含缺陷的采样图像以预定的组合规则合成而生成合成图像。采样图像为与提取局部图像的原始的计测图像不同的图像。在此，作为预定的组合规则，能够使用公知的方法，例如能够使用泊松比图像合成等，合成的边界难以被错误检测为其他的不良的方法。此外，生成部121也可以将包含缺陷的局部图像和包含能够由判定部152正确地判定缺陷的位置这样的缺陷的采样图像以预定的组合规则合成而生成合成图像。此外，生成部121也可以进行合成图像的扩展。
修正图像DB122保存并存储由生成部121生成的新的学习用数据。修正图像DB122也可以存储由提取部123提取的局部图像。
验证部124对是否获得与如下情况类似的判定结果进行验证：由判定部152判定合成图像中是否含有缺陷，由判定部152判定作为合成图像的合成基础的计测图像中是否含有缺陷。在此，优选验证部124使用与对计测图像中是否含有缺陷进行判定的识别器相同的识别器，对合成图像中是否含有缺陷进行判定。由此，能够验证是否生成：获得与实际上未含有缺陷却由判定部152错误判定为含有缺陷的原图像类似的判定结果的合成图像。由此，能够确认到生成的合成图像对减少错误判定是有用的，能够增大识别器为假阳性(错误感测)的图像数据的变量。
另外，类似的判定结果为，例如当由判定部152判定合成图像中是否含有缺陷时，与提取局部图像的图像(即，检査对象物的计测图像)同样地错误判定为含有缺陷的判定结果。此时优选：计测图像中错误判定为含有缺陷时的该缺陷存在的计测图像中的区域即提取计测图像中的局部图像的第一区域、与局部图像以预定的条件合成的合成图像中错误判定为含有缺陷时的合成图像中的该缺陷存在的第二区域即局部图像合成的区域一致。在此，在基于局部图像生成合成图像时，存在有因变更局部图像的形状的情况、合成的背景图像中存在的纹理引起的图案(pattern)存在等的预定的条件。因而，第一区域与第二区域也可以不完全一致，只要考虑预定的条件使提取的局部图像所示的区域与合成的局部图像一致即可。
通信部125在由生成部121生成新的学习用数据的情况下，也可以向权限人询问能否登记新的学习用数据。在此，权限人为具有纠正第二操作者的判断的权限的人且具有对学习用数据的生成进行管理的权限的人。在生成新的学习用数据的情况下，通过向权限人询问能否登记新的学习用数据，能够防止轻易地登记新的学习用数据，能够存储更适当的内容的学习用数据。另外，通信部125也可以是与用户接口(170、180)连接的连接部，也可以利用有线或无线向检査装置100的外部机器输出信息。
此外，图像修正部120也可以利用用户接口170的输入部，由第二操作者受理判定部152判定结果错误的主要原因的输入。设置于图像修正部120的生成部121基于该主要原因，选择与提取局部图像的图像不同的图像(采样图像)。接着，图像修正部120将生成局部图像和选择的采样图像合成的合成图像。判定部152判定结果错误的主要原因也可以未必是确定的，也可以推测。判定结果错误的主要原因例如也可以是：针对检査对象物实施细线条加工等而表现为具有恒定的均匀性的纹理图案的原因或对检査对象物赋予的标志、检査对象物的边缘包含于计测图像的原因，也可以是：由检査对象物的外观表面的特征引起的主要原因。
此外，图像修正部120也可以：基于输入的主要原因，在拍摄检査对象物的图像的过程中利用用户接口170的显示部显示督促注意是否有不足的数据。在此，引发判定部的错误判定的图像的拍摄过程的不足例如可列举出与拍摄检査对象物的图像时的拍摄条件相关的不足。例如，在本来应该以对检査对象物赋予标志、检査对象物的边缘包含于计测图像的方式进行拍摄时，在估计到因生产线的不良情况等而在计测图像中包含对检査对象物赋予的标志、检査对象物的边缘的情况等、图像的拍摄过程中存在有判定部152判定错误的主要原因的情况下，通过输出督促注意在拍摄检査对象物的图像的过程中是否有不足的数据，能够督促注意在拍摄过程中是否有不足，能够减少判定部152的错误判定。此外，能够早期发现拍摄检査对象物的图像过程中的不良情况，能够提高与检査对象物相关的检査的可靠性。
图像修正部120也可以将计测图像和强调局部图像的图像能够相互比较地显示于用户接口170的显示部。由此，第二操作者能够视觉辨别由判定部152基于图像的哪个部位判定为图像中含有缺陷，通过对强调局部图像的图像与原始的图像进行比较，能够容易地确认针对实际含有缺陷的图像由判定部152正确地判定为含有缺陷或针对实际上未含有缺陷的图像由判定部错误判定为含有缺陷。在此，显示部也可以重叠地显示图像和强调局部图像的图像，也可以显示图像和检査对象物的识别信息。对于这些显示的具体例，以下使用附图进行详细说明。
[硬件构成]
接着，使用图4对本实施方式涉及的检査装置100的硬件构成的一个示例进行说明。本实施方式涉及的检査装置100也可以是具备运算装置101、输出装置191、输入装置192及拍摄装置153的信息处理装置。在此，输出装置191及输入装置192构成用户接口170及用户接口180。
运算装置101也可以包含辅助存储部102、103、处理器104、主存储部105及外部接口(以下，称作“外部I/F”)。
运算装置101包含CPU(Central Processing Unit)、RAM(Random AccessMemory)、ROM(Read Only Memory)等，并根据信息处理进行各构成要素的控制。处理器104也可以包含CPU，辅助存储部102、103及主存储部105也可以包含RAM及ROM。辅助存储部102例如也可以是硬盘驱动器、固态驱动器等，也可以对由处理器104执行的数据生成程序102a、由拍摄装置153拍摄的计测图像102b及学习用数据102c等进行存储。辅助存储部103及主存储部105与辅助存储部102同样地，例如也可以是硬盘驱动器、固态驱动器等。数据生成程序102a为用于进行用于实现所述的图像收集部110、图像修正部120、第一学习部130、第二学习部140、计测部150及计测结果管理部160的功能的处理的程序，利用处理器104执行该程序来实现各功能。另外，数据生成程序102a也可以是：用于进行用于实现图像收集部110、图像修正部120、第一学习部130、第二学习部140、计测部150及计测结果管理部160中的一部分的功能的处理的程序，也可以包含用于进行用于实现这些以外的功能的处理的程序。
外部I/F106为USB(Universal Serial Bus)端口等且用于与输出装置191、输入装置192及拍摄装置153等外部装置连接的接口。另外，检査装置也可以具备用于进行有线LAN(Local Area Network)组件、无线LAN组件等、经由网络的有线或无线通信的接口。
存储介质为以能够利用计算机等装置来读取存储的程序等信息的方式通过电、磁、光学、机械或化学作用对该程序等信息进行存储的介质。存储介质例如也可以为CD(Compact Disk)、DVD(Digital Versatile Disk)等且存储有数据生成程序102a。存储介质存储的数据生成程序102a复制于辅助存储部103，也可以复制于辅助存储部102、主存储部105。在图4中，作为存储介质的一个示例，例示了CD、DVD等盘式的存储介质。然而，存储介质的种类并不限定于盘式，也可以是盘式以外的种类。作为盘式以外的存储介质，例如可列举出闪存等半导体存储器。此外，检査装置100也可以通过有线或无线通信经由网络取得数据生成程序102a等数据。
另外，检査装置100的具体的硬件构成也可以根据实施方式，适当省略、置换及追加构成要素。例如，运算装置101也可以包含多个处理器，也可以包含GPU(GraphicalProcessing Unit)、FPGA(Field Programmable Gate Array)。此外，检査装置100也可以由多台信息处理装置构成。检査装置100除提供的服务专用设计的信息处理装置以外，也可以由通用的台式PC(Personal Computer)、平板PC等构成。
3动作例
图5为表示由本实施方式涉及的检査装置100执行的第一处理的内容的流程图。第一处理为利用学习完的识别器基于计测图像来判定检査对象物中是否含有缺陷，能够比较地排列显示计测图像和作为判定结果的依据的强调局部图像的图像，在输入判定结果为不正确的情况下，生成合成图像进行新的学习用数据的生成的处理。
检査装置100取得检査对象物的计测图像(S10)，利用通过第一学习部130及第二学习部140进行了学习的识别器，对计测图像中是否含有缺陷进行判定(S11)。另外，在基于计测图像判定为检査对象物中含有缺陷的情况下，也可以对判定结果赋予表示计测图像上辨别到缺陷的区域的位置信息。并且，利用提取部123提取作为判定结果的依据的图像的局部图像(S12)。
检査装置100在用户接口170的显示部能够相互比较地排列显示计测图像和强调局部图像的图像(S13)。由此，提供供第二操作者用于对判定结果是否正确进行判断的材料。
检査装置100受理由用户接口170的输入部输入的与判定结果是否正确相关的输入(S14)。在输入判定结果为正确的情况(S15：是)下，结束第一处理。另一方面，在由判定部152判定为图像中含有缺陷并由输入部输入判定部152的判定结果为不正确的情况(S15：否)下，即在假阳性(错误感测)的情况下，生成部121将局部图像和未含有缺陷的采样图像合成而生成合成图像(S16)。
验证部124对是否获得与如下情况类似的判定结果进行验证：由判定部152判定合成图像中是否含有缺陷(S17)，由判定部152判定作为合成图像的合成基础的图像中是否含有缺陷。即，当由判定部152判定合成图像中是否含有缺陷时，与作为合成基础的计测图像同样地，对是否错误判定为含有缺陷进行验证。在未获得与作为合成基础的计测图像类似的判定结果的情况(S18：否)下，生成部121对用于生成合成图像的合成参数进行修正，再次进行合成图像的生成。
另一方面，在获得与作为合成基础的计测图像同样的判定结果的情况(S18：是)下，通信部125向权限人询问能否将获得类似的判定结果的图像数据作为新的学习用数据进行登记(S19)。在此，通信部125也可以将作为合成基础的计测图像、强调局部图像的图像及合成图像等、作为权限人的判断材料这样的数据发送至权限人。
在由权限人实施了可以作为新的学习用数据进行登记的主旨的判断的情况(S20：是)下，生成部121将表示未含有缺陷的信息与合成图像建立关联，生成新的学习用数据，并存储于修正图像DB122(S21)。另一方面，在由权限人实施了不可以作为新的学习用数据进行登记的主旨的判断的情况(S20：否)下，不登记学习用数据而结束处理。以上，结束第一处理。
另外，在获得与作为合成基础的计测图像类似的判定结果的情况下，也可以不进行向权限人的询问而作为新的学习用数据进行登记。
根据本实施方式涉及的检査装置100，通过将由判定部152判定为含有缺陷的作为判定结果的依据的局部图像与未含有缺陷的图像合成而生成合成图像，能够增加实际上未含有缺陷却由判定部152错误判定为含有缺陷的图像的变量。由此，生成与错误判定为含有缺陷图像类似的图像，能够生成减少错误判定的这样的学习用数据。能够通过增加错误判定的图像的变量，无需再现错误判定的检査对象物的状态或再现拍摄环境，能够以更少的设备生成判定精度高的识别器。
图6为表示由本实施方式涉及的检査装置100显示的检査对象物的计测图像IM1和提取部123提取作为判定部152的判定结果的依据的强调局部图像的图像IM2的示例的图。另外，在图像IM1中，作为按照多个判定部位中的每一个部位受理判定结果的正误的输入的结果，针对各个判定结果赋予正误的信息。在此，强调局部图像的图像IM2为由CAM生成的图像。
在检査对象物的计测图像IM1中，判定部152判定的缺陷、表示判定为含有缺陷的区域的三个框(位置信息)、由判定部152判定的缺陷的类别及表示判定部152的判定的可靠度的数值作为判定结果进行显示。此外，在计测图像IM1中，针对该三个框所示的缺陷，包含第二操作者经由输入部输入有判定结果的正误的结果。在该例子的情况下，由判定部152判定为检査对象物的计测图像IM1中含有三个缺陷，其中针对位于左侧的两个缺陷，示出为“scratch0.21”及“scratch0.15”，由判定部152示出缺陷的种类为“scratch(划伤)”且表示其可靠性的数值分别为0.21和0.15。此外，针对位于检査对象物的计测图像IM1的右侧的缺陷，示出为“hit0.35”，由判定部152示出缺陷的种类为“hit(压痕)”，表示其可靠性的数值为0.35。针对由这些判定部152判定为含有缺陷的区域中的位于左侧的两个缺陷，由第二操作者确认为的确是缺陷，并赋予表示判定结果正确的“正”的文字。另一方面，针对位于检査对象物的计测图像IM1的右侧的缺陷，实际上未含有缺陷，但由判定部152错误判定为含有缺陷，由第二操作者确认为未含有缺陷，并赋予表示判定结果错误的“误”的文字。
此外，强调局部图像的图像IM2为，将由识别器判定为含有缺陷的作为依据的计测图像的部位，根据该依据的程度进行渐变显示的图像。更具体而言，利用一个或多个像素单位以作为识别器的判定的依据的程度相对大的像素的浓度变浓的方式进行渐变显示。这样的图像通过能够与原始的计测图像比较的方式显示，能够容易地确认由识别器判定为含有缺陷的作为依据的计测图像的部位。由此，能够更迅速地进行判定部152的判定结果是否正确的判断，能够使生产线的流程更顺畅。
在该例子中，在检査对象物的计测图像IM1的下侧显示有该检査对象物的识别信息ID。识别信息ID为“ID：1234”，由此能够确定检査对象物。识别信息例如也可以为识别表示多个检査对象物的集合的批次的信息，此外，也可以为用于特定各个检査对象物的个体识别信息。通过显示检査对象物的识别信息ID，操作者能够容易地使检査对象物自身与计测图像及判定结果建立关联。因而，操作者能够容易地获取检査对象物，能够目视确认与检査对象物相关的缺陷的有无或能够作为采样进行确保。
图7为表示由本实施方式涉及的检査装置100生成的合成图像D1的示例的图。合成图像D1为将未含有缺陷的采样图像与从错误地判定为含有缺陷的计测图像提取的局部图像合成的图像。在此，含有合成的局部图像D2的区域如虚线所示。
合成图像D1为在人的目视中看上去未含有缺陷或几乎不明确由判定部152错误判定为含有缺陷的主要原因的图像。判定部152在进行假阳性的错误判定的情况下，有时未必明确以何种理由判定为图像中含有缺陷，建立追加何种学习用数据能够减少错误判定的对策尤为困难。根据本实施方式涉及的检査装置100，生成这样的合成图像D1，使表示局部图像D2的部位未含有缺陷的信息与图像建立关联，生成新的学习用数据，由此能够增加产生假阳性的错误判定的图像的变量。即，能够生成易于(易于错误感测)错误地判定为有缺陷的新的学习用数据，使用该学习用数据进行学习，因此识别器的精度得以提高。
此外，检査装置100也可以利用用户接口170的显示部显示：计测图像、过去由判定部152判定为含有缺陷的图像或过去由判定部152判定为未含有缺陷的图像。由此，能够将由判定部152判定为含有缺陷的图像的过去的例子、由判定部152判定为未含有缺陷的图像的过去的例子与当前的图像进行比较，能够提供用于判断判定部152的判定结果是否正确的判断材料。因此，能够更迅速地进行判定部152的判定结果是否正确的判断，能够使生产线的流程更顺畅。
图8为表示由本实施方式涉及的检査装置100执行的第二处理的内容的流程图。第二处理为，受理判定部152判定结果错误的主要原因的输入，输出督促注意在拍摄检査对象物的图像的过程中是否有不足的数据，由基于主要原因选择的图像生成合成图像的处理。第二处理例如通过在上述的第一处理的判定部152的判定结果的正误输入时匹配地受理该主要原因的输入，来确定合成图像的方针，此外，能够用于指出拍摄条件的不足。在此，作为主要原因，可列举出由检査对象物的外观表面上的特征引起的原因、由检査对象物的拍摄条件引起的原因。
检査装置100受理由用户接口170的输入部输入的判定部152判定结果错误的主要原因(S70)。在此，主要原因的输入也可以从预先假定的多个主要原因中选择一个或多个来进行，也可以通过自由描述来进行。
检査装置100对输入的主要原因是否是在拍摄检査对象物的图像的过程中引起的进行判定(S71)。例如，在对检査对象物赋予的标志、检査对象物的边缘包含于计测图像作为错误判定的主要原因输入的情况下，也可以判定为输入的主要原因为在拍摄检査对象物的图像的过程引起的。
在判定为输入的主要原因不是在拍摄检査对象物的图像的过程中引起的情况(S71：否)下，生成部121基于该主要原因对未含有缺陷的检査对象物的图像进行选择(S72)。例如，生成部121在对检査对象物实施细线条加工且输入有易于将细线条的图案误认为缺陷为错误判定的主要原因的情况下，对将测量图像与细线条的方向一致的采样图像进行选择。并且，生成部121生成将局部图像与选择的采样图像合成的合成图像(S73)。由此，在能够估计判定部152判定错误的主要原因的情况下，能够基于相同的主要原因生成引起同样的错误判定这样的合成图像，能够生成与错误判定为含有缺陷的图像类似的图像，能够生成减少错误判定的这样的学习用数据。
另一方面，在判定为输入的主要原因是在拍摄检査对象物的图像的过程中引起的情况(S71：是)下，基于该主要原因，输出督促注意在拍摄检査对象物的图像的过程中是否有不足的数据(S74)。以上，结束第二处理。
4变形例
<4.1>
图9为表示由本实施方式的第一变形例涉及的检査装置100执行的第三处理的内容的流程图。第三处理为，由学习完的识别器判定检査对象物的计测图像中是否含有缺陷，能够比较且重叠地显示计测图像与强调作为判定结果的依据的局部图像的图像，在输入判定结果为不正确的情况下，生成合成图像，进行新的学习用数据的生成的处理。
检査装置100取得检査对象物的计测图像(S30)，利用通过第一学习部130及第二学习部140进行了学习的识别器，对计测图像中是否含有缺陷进行判定(S31)。并且，由提取部123提取作为判定结果的依据的图像的局部图像(S32)。
检査装置100在用户接口170的显示部能够相互比较且重叠地显示计测图像和强调局部图像的图像(S33)。由此，提供供第二操作者用于判断判定结果是否正确的材料。
检査装置100受理由用户接口170的输入部输入的与判定结果是否正确相关的输入(S34)。在输入判定结果正确的情况(S35：是)下，结束第三处理。另一方面，在由判定部152判定为图像中含有缺陷并由输入部输入判定部152的判定结果为不正确的情况(S35：否)下，生成部121将局部图像与未含有缺陷的采样图像合成生成合成图像(S36)。
验证部124对是否获得与如下情况类似的判定结果进行验证：由判定部152判定合成图像中是否含有缺陷(S37)，由判定部152判定作为合成图像的合成基础的图像中是否含有缺陷。即，当由判定部152判定合成图像中是否含有缺陷时，与作为合成基础的计测图像同样地，对是否错误判定为含有缺陷进行验证。在未获得与作为合成基础的计测图像类似的判定结果的情况(S38：否)下，生成部121对用于生成合成图像的合成参数进行修正，再次进行合成图像的生成。
另一方面，在获得与作为合成基础的计测图像同样的判定结果的情况(S38：是)下，通信部125向权限人询问能否将获得类似的判定结果的图像数据作为新的学习用数据进行登记(S39)。在此，通信部125将作为合成基础的计测图像、强调局部图像的图像及合成图像等、作为权限人的判断材料这样的数据发送至权限人。
在由权限人实施了可以作为新的学习用数据进行登记的主旨的判断的情况(S40：是)下，生成部121使表示未含有缺陷的信息与合成图像建立关联，生成新的学习用数据，并存储于修正图像DB122(S41)。另一方面，在由权限人实施了不可以作为新的学习用数据进行登记的主旨的判断的情况(S40：否)下，不登记学习用数据而结束处理。以上，结束第三处理。
图10为表示由本实施方式的第一变形例涉及的检査装置100重叠地显示检査对象物的图像和强调局部图像的图像的示例的图。在该图中，对强调图6所示的局部图像的图像IM2进行透明处理，并示出与检査对象物的计测图像IM1重叠的重叠图像IM3的一个示例。通过显示这样的重叠图像IM3，也能够容易地确认由识别器判定为含有缺陷的作为依据的计测图像的部位。此外，能够更迅速地进行判定部152的判定结果是否正确的判断，能够使生产线的流程更顺畅。
另外，用户接口170的输入部也可以由第二操作者仅显示检査对象物的计测图像IM1而不与强调局部图像的图像IM2重叠或受理是否显示重叠图像IM3的切换的输入。此外，用户接口170的输入部也可以由第二操作者接受使强调局部图像的图像IM2的透射率变化的输入。
在该例子中，在重叠图像IM3的下侧也显示有该检査对象物的识别信息ID。识别信息ID为“ID：1234”，由此能够确定检査对象物。识别信息例如也可以为识别表示多个检査对象物的集合的批次的信息，此外，也可以用于特定各个检査对象物的个体识别信息。通过显示检査对象物的识别信息ID，操作者能够容易地使检査对象物自身与计测图像及判定结果建立关联。因而，操作者能够容易地获取检査对象物，能够目视确认与检査对象物相关的缺陷的有无或作为采样进行确保。
根据本实施方式涉及的检査装置100，通过重叠地显示强调局部图像的图像和原始的图像，能够将作为判定部152的判定结果的依据的图像的部位与原始的图像准确地对比，能够容易地确认针对实际含有缺陷的图像由判定部152正确地判定为含有缺陷或针对实际上未含有缺陷的图像由判定部152错误判定为含有缺陷。
检査装置100也可以利用用户接口170的显示部显示计测图像、过去取得的含有缺陷的检査对象物的图像或过去取得的未含有缺陷的检査对象物的图像。由此，能够将含有缺陷的图像的过去的例子、未含有缺陷的图像的过去的例子与当前的图像进行比较，能够提供用于判断判定部152的判定结果是否正确的判断材料。因此，能够更迅速地进行判定部152的判定结果是否正确的判断，能够使生产线的流程更顺畅。
<4.2>
图11为表示由本实施方式的第二变形例涉及的检査装置100执行的第四处理的内容的流程图。第四处理为，由学习完的识别器判定检査对象物的计测图像中是否含有缺陷，能够比较且重叠地显示计测图像和强调作为判定结果的依据的局部图像的图像，在输入判定结果为不正确的情况下，将表示局部图像未含有缺陷的信息附加于计测图像，进行新的学习用数据的生成的处理。另外，第四处理也可以与第一处理或第三处理并行地执行。即，除生成合成图像而作为学习用数据的第一处理及第三处理以外，也可以匹配地执行通过将表示未含有缺陷的信息赋予计测图像来变更属性信息(标签)以作为学习用数据的第四处理。
检査装置100取得检査对象物的计测图像(S50)，利用通过第一学习部130及第二学习部140进行了学习的识别器，对计测图像中是否含有缺陷进行判定(S51)。并且，利用提取部123提取作为判定结果的依据的图像的局部图像(S52)。
检査装置100在用户接口170的显示部能够相互比较且重叠地显示计测图像和强调局部图像的图像(S53)。由此，提供供第二操作者用于判断判定结果是否正确的材料。另外，检査装置100也可以在用户接口170的显示部能够相互比较地排列显示计测图像和强调局部图像的图像。
检査装置100受理由用户接口170的输入部输入的与判定结果是否正确相关的输入(S54)。在输入判定结果为正确的情况(S55：是)下，结束第四处理。另一方面，在由判定部152判定为图像中含有缺陷并由输入部输入判定部152的判定结果为不正确的情况(S55：否)下，生成部121至少将表示局部图像中未含有缺陷的信息附加于计测图像(S56)。
之后，通信部125向权限人询问能否登记将计测图像作为新的学习用数据进行登记(S57)。在此，通信部125将作为合成基础的计测图像及强调局部图像的图像等、作为权限人的判断材料这样的数据发送至权限人。
在由权限人实施了可以作为新的学习用数据进行登记的主旨的判断的情况(S58：是)下，生成部121将与表示未含有缺陷的信息建立关联的计测图像生成为新的学习用数据，并存储于修正图像DB122(S59)。另一方面，在由权限人实施了不可以作为新的学习用数据进行登记的主旨的判断的情况(S58：否)下，不登记学习用数据而结束处理。以上，结束第四处理。
根据本实施方式涉及的检査装置100，针对由判定部152判定为含有缺陷的作为判定结果的依据的局部图像，生成表示未含有缺陷的学习用数据，生成减少实际上未含有缺陷却判定为含有缺陷的错误判定这样的学习用数据。
以上说明的实施方式为用于容易地理解本发明的方式，并不用于限定地解释本发明。实施方式具备的各要素及其配置、材料、条件、形状及尺寸等，并不限定于例示而能够适当变更。此外，能够局部地置换或组合不同的实施方式所示的构成彼此。
[附记1]
一种检査装置(100)，具备：
拍摄装置(153)，对检査对象物的图像进行拍摄；
判定部(152)，利用使用学习用数据进行了学习的识别器(a、b、c、A、B)，对所述图像中是否含有缺陷进行判定；
显示部(170)，显示所述图像及所述判定部(152)的判定结果；
输入部(170)，受理与所述判定结果是否正确相关的输入；
提取部(123)，提取作为所述判定结果的依据的所述图像的局部图像；及
生成部(121)，在由所述输入部(170)输入所述判定结果为不正确的情况下，基于所述局部图像生成新的学习用数据。
[附记2]
根据附记1所述的检査装置，其中，
在由所述判定部(152)判定为所述图像中含有缺陷并由所述输入部(170)输入所述判定结果为不正确的情况下，所述生成部(121)使表示至少所述局部图像中未含有缺陷的信息与所述图像建立关联，生成所述新的学习用数据。
[附记3]
根据附记1或2所述的检査装置，其中，
在由所述判定部(152)判定为所述图像中含有缺陷且由所述输入部(170)输入所述判定结果为不正确的情况下，所述生成部(121)生成将所述局部图像和与提取出所述局部图像的所述图像不同的图像合成的合成图像，使表示未含有缺陷的信息与所述合成图像建立关联，而生成所述新的学习用数据。
[附记4]
根据附记3所述的检査装置，其中，还具备：
验证部(124)，由所述判定部(152)判定所述合成图像中是否含有缺陷，对是否得到与由所述判定部(152)判定提取出所述局部图像的所述图像中是否含有缺陷时类似的判定结果进行验证。
[附记5]
根据附记3或4所述的检査装置，其中，
所述输入部(170)受理所述判定部(152)判定结果错误的主要原因的输入，
所述生成部(121)基于所述主要原因选择未含有缺陷的检査对象物的图像，生成将所述局部图像和选择的图像合成的合成图像。
[附记6]
根据附记3或4所述的检査装置，其中，
所述输入部(170)受理所述判定部(152)判定结果错误的主要原因的输入，
所述显示部(170)基于所述主要原因，显示督促注意在对所述检査对象物的图像进行拍摄的过程中是否有不足的数据。
[附记7]
根据附记1至6中任一项所述的检査装置，其中，
所述提取部(123)以包含对所述判定结果的贡献度为预定值以上的所述图像的区域的方式提取作为所述判定结果的依据的所述局部图像。
[附记8]
根据附记1至7中任一项所述的检査装置，其中，
所述判定部(152)对所述图像中是否含有多个缺陷进行判定，
所述输入部(170)按照所述多个缺陷的每一个，受理与所述判定结果是否正确相关的输入，
所述提取部(123)针对所述多个缺陷中由所述输入部(170)输入所述判定结果为不正确的缺陷，提取作为所述判定结果的依据的所述图像的局部图像，
所述生成部(121)基于所述局部图像生成新的学习用数据。
[附记9]
根据附记1至8中任一项所述的检査装置，其中，还具备：
通信部(125)，在由所述生成部(121)生成所述新的学习用数据的情况下，向权限人询问能否登记所述新的学习用数据。
[附记10]
附记19中任一项所述的检査装置，其中，
所述显示部(170)显示所述图像和强调所述图像中的所述局部图像的图像。
[附记11]
根据附记10所述的检査装置，其中，
所述显示部(170)能够相互比较或重叠地显示所述图像和强调所述图像中的所述局部图像的图像。
[附记12]
根据附记1至11中任一项所述的检査装置，其中，
所述显示部(170)显示所述图像和所述检査对象物的识别信息。
[附记13]
根据附记1至12中任一项所述的检査装置，其中，
所述显示部(170)显示所述图像、过去取得的含有缺陷的检査对象物的图像或过去取得的未含有缺陷的检査对象物的图像。
[附记14]
根据附记1至13中任一项所述的检査装置，其中，
所述显示部(170)显示所述图像、过去由所述判定部(152)判定为含有缺陷的图像或过去由所述判定部(152)判定为未含有缺陷的图像。
[附记15]
一种数据生成装置，具备：
取得部(153)，取得检査对象物的图像；
判定部(152)，利用使用学习用数据进行了学习的识别器(a、b、c、A、B)，基于所述图像对所述检査对象物中是否含有缺陷进行判定；
输入部(170)，受理与所述判定部(152)的判定结果是否正确相关的输入；
提取部(123)，提取作为所述判定结果的依据的所述图像的局部图像；及
生成部(121)，在由所述输入部(170)输入所述判定结果为不正确的情况下，基于所述局部图像生成新的学习用数据。
[附记16]
一种数据生成方法，包括如下步骤：
取得检査对象物的图像；
利用使用学习用数据进行了学习的识别器(a、b、c、A、B)，基于所述图像对所述检査对象物中是否含有缺陷进行判定；
受理与所述判定的判定结果是否正确相关的输入；
提取作为所述判定结果的依据的所述图像的局部图像；及
在通过受理所述输入而输入所述判定结果为不正确的情况下，基于所述局部图像生成新的学习用数据。
[附记17]
一种存储介质，存储数据生成程序，其特征在于，
所述数据生成程序使数据生成装置具备的运算装置(101)作为如下部分进行动作：
取得部(153)，取得检査对象物的图像；
判定部(152)，利用使用学习用数据进行了学习的识别器(a、b、c、A、B)，基于所述图像对所述检査对象物中是否含有缺陷进行判定；
输入部(170)，受理与所述判定部(152)的判定结果是否正确相关的输入；
提取部(123)，提取作为所述判定结果的依据的所述图像的局部图像；及
生成部(121)，在由所述输入部(170)输入所述判定结果为不正确的情况下，基于所述局部图像生成新的学习用数据。

Claims (15)

1.一种检査装置，其特征在于，具备：
拍摄装置，拍摄检査对象物取得图像；
判定部，利用使用学习用数据进行了学习的识别器，基于所述图像对所述检査对象物中是否含有缺陷进行判定；
显示部，显示所述图像及所述判定部的判定结果；
输入部，受理与所述判定结果是否正确相关的输入；
提取部，提取作为所述判定结果的依据的所述图像的局部图像；以及
生成部，在由所述输入部输入所述判定结果为不正确的情况下，基于所述局部图像生成新的学习用数据，
作为所述判定结果的依据的图像的局部图像包含对所述识别器的判定带来影响大的图像的部分，
在由所述判定部判定为所述图像中含有缺陷且由所述输入部输入所述判定结果为不正确的情况下，所述生成部生成将所述局部图像和与提取出所述局部图像的所述图像不同的图像合成的合成图像，使表示未含有缺陷的信息与所述合成图像建立关联，而生成所述新的学习用数据，
所述输入部受理所述判定部判定结果错误的主要原因的输入，
所述生成部基于所述主要原因选择未含有缺陷的检査对象物的图像，生成将所述局部图像和选择的图像合成的合成图像。
2.根据权利要求1所述的检査装置，其特征在于，
在由所述判定部判定为所述图像中含有缺陷并由所述输入部输入所述判定结果为不正确的情况下，所述生成部使表示至少所述局部图像中未含有缺陷的信息与所述图像建立关联，生成所述新的学习用数据。
3.根据权利要求1所述的检査装置，其特征在于，
所述检査装置还具备：
验证部，由所述判定部判定所述合成图像中是否含有缺陷，对是否得到与由所述判定部判定提取出所述局部图像的所述图像中是否含有缺陷时同样或对应的判定结果进行验证。
4.根据权利要求1所述的检査装置，其特征在于，
所述显示部基于所述主要原因，显示督促注意在对所述检査对象物进行拍摄的过程中是否有不足的数据。
5.根据权利要求1或2所述的检査装置，其特征在于，
所述提取部以包含对所述判定结果的贡献度为预定值以上的所述图像的区域的方式提取作为所述判定结果的依据的所述局部图像。
6.根据权利要求1或2所述的检査装置，其特征在于，
所述判定部对所述图像中是否含有多个缺陷进行判定，
所述输入部按照所述多个缺陷的每一个，受理与所述判定结果是否正确相关的输入，
所述提取部针对所述多个缺陷中由所述输入部输入所述判定结果为不正确的缺陷，提取作为所述判定结果的依据的所述图像的局部图像，
所述生成部基于所述局部图像生成新的学习用数据。
7.根据权利要求1或2所述的检査装置，其特征在于，
所述检査装置还具备：
通信部，在由所述生成部生成所述新的学习用数据的情况下，向权限人询问能否登记所述新的学习用数据。
8.根据权利要求1或2所述的检査装置，其特征在于，
所述显示部显示所述图像和强调所述图像中的所述局部图像的图像。
9.根据权利要求8所述的检査装置，其特征在于，
所述显示部能够相互比较或重叠地显示所述图像和强调所述图像中的所述局部图像的图像。
10.根据权利要求1或2所述的检査装置，其特征在于，
所述显示部显示所述图像和所述检査对象物的识别信息。
11.根据权利要求1或2所述的检査装置，其特征在于，
所述显示部显示所述图像、过去取得的含有缺陷的检査对象物的图像或过去取得的未含有缺陷的检査对象物的图像。
12.根据权利要求1或2所述的检査装置，其特征在于，
所述显示部显示所述图像、过去由所述判定部判定为含有缺陷的图像或过去由所述判定部判定为未含有缺陷的图像。
13.一种数据生成装置，其特征在于，具备：
取得部，取得检査对象物的图像；
判定部，利用使用学习用数据进行了学习的识别器，基于所述图像对所述检査对象物中是否含有缺陷进行判定；
输入部，受理与所述判定部的判定结果是否正确相关的输入；
提取部，提取作为所述判定结果的依据的所述图像的局部图像；以及
生成部，在由所述输入部输入所述判定结果为不正确的情况下，基于所述局部图像生成新的学习用数据，在由所述判定部判定为所述图像中含有缺陷且由所述输入部输入所述判定结果为不正确的情况下，所述生成部生成将所述局部图像和与提取出所述局部图像的所述图像不同的图像合成的合成图像，使表示未含有缺陷的信息与所述合成图像建立关联，而生成所述新的学习用数据，
作为所述判定结果的依据的图像的局部图像包含对所述识别器的判定带来影响大的图像的部分，
所述输入部受理所述判定部判定结果错误的主要原因的输入，
所述生成部基于所述主要原因选择未含有缺陷的检査对象物的图像，生成将所述局部图像和选择的图像合成的合成图像。
14.一种数据生成方法，其特征在于，包括如下步骤：
取得检査对象物的图像；
利用使用学习用数据进行了学习的识别器，基于所述图像对所述检査对象物中是否含有缺陷进行判定；
受理与所述判定的判定结果是否正确相关的输入；
提取作为所述判定结果的依据的所述图像的局部图像；以及
在通过受理所述输入而输入所述判定结果为不正确的情况下，基于所述局部图像生成新的学习用数据，在通过所述判定而判定为所述图像中含有缺陷且通过受理所述输入而输入了所述判定结果为不正确的情况下，生成将所述局部图像和与提取出所述局部图像的所述图像不同的图像合成的合成图像，使表示未含有缺陷的信息与所述合成图像建立关联，而生成所述新的学习用数据，
作为所述判定结果的依据的图像的局部图像包含对所述识别器的判定带来影响大的图像的部分，
受理判定结果错误的主要原因的输入，
基于所述主要原因选择未含有缺陷的检査对象物的图像，生成将所述局部图像和选择的图像合成的合成图像。
15.一种存储介质，存储数据生成程序，其特征在于，
所述数据生成程序使数据生成装置具备的运算装置作为如下部分进行动作：
取得部，取得检査对象物的图像；
判定部，利用使用学习用数据进行了学习的识别器，基于所述图像对所述检査对象物中是否含有缺陷进行判定；
输入部，受理与所述判定部的判定结果是否正确相关的输入；
提取部，提取作为所述判定结果的依据的所述图像的局部图像；以及
生成部，在由所述输入部输入所述判定结果为不正确的情况下，基于所述局部图像生成新的学习用数据，在由所述判定部判定为所述图像中含有缺陷且由所述输入部输入所述判定结果为不正确的情况下，所述生成部生成将所述局部图像和与提取出所述局部图像的所述图像不同的图像合成的合成图像，使表示未含有缺陷的信息与所述合成图像建立关联，而生成所述新的学习用数据，
作为所述判定结果的依据的图像的局部图像包含对所述识别器的判定带来影响大的图像的部分，
所述输入部受理所述判定部判定结果错误的主要原因的输入，所述生成部基于所述主要原因选择未含有缺陷的检査对象物的图像，生成将所述局部图像和选择的图像合成的合成图像。
CN201811055098.5A 2017-11-07 2018-09-11 检査装置、数据生成装置、数据生成方法及存储介质 Active CN109767418B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017-214945 2017-11-07
JP2017214945A JP6936957B2 (ja) 2017-11-07 2017-11-07 検査装置、データ生成装置、データ生成方法及びデータ生成プログラム

Publications (2)

Publication Number Publication Date
CN109767418A CN109767418A (zh) 2019-05-17
CN109767418B true CN109767418B (zh) 2023-08-08

Family

ID=63579017

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811055098.5A Active CN109767418B (zh) 2017-11-07 2018-09-11 检査装置、数据生成装置、数据生成方法及存储介质

Country Status (4)

Country Link
US (1) US10885618B2 (zh)
EP (1) EP3480735B1 (zh)
JP (1) JP6936957B2 (zh)
CN (1) CN109767418B (zh)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6333871B2 (ja) * 2016-02-25 2018-05-30 ファナック株式会社 入力画像から検出した対象物を表示する画像処理装置
JP6549644B2 (ja) * 2017-06-27 2019-07-24 ファナック株式会社 機械学習装置、ロボット制御システム及び機械学習方法
US10769496B2 (en) * 2018-10-25 2020-09-08 Adobe Inc. Logo detection
JP7242309B2 (ja) * 2019-01-16 2023-03-20 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
JP6651189B1 (ja) 2019-03-29 2020-02-19 株式会社 情報システムエンジニアリング 機械学習用のデータ構造、学習方法及び情報提供システム
WO2020243836A1 (en) * 2019-06-05 2020-12-10 Lynx Inspection Inc. Automated inspection method for a manufactured article and system for performing same
JP7220629B2 (ja) * 2019-06-27 2023-02-10 株式会社Ｓｃｒｅｅｎホールディングス 画像判別モデル構築方法、画像判別装置、および画像判別方法
CN112149707B (zh) * 2019-06-28 2024-06-14 商汤集团有限公司 图像采集控制方法、装置、介质及设备
US11030738B2 (en) * 2019-07-05 2021-06-08 International Business Machines Corporation Image defect identification
JP7275940B2 (ja) * 2019-07-08 2023-05-18 オムロン株式会社 制御プログラムおよび方法
JP7242495B2 (ja) * 2019-10-03 2023-03-20 株式会社東芝 推論結果評価システム、推論結果評価装置及びその方法
US20210375487A1 (en) * 2019-10-31 2021-12-02 Information System Engineering Inc. Information providing system
WO2021125154A1 (ja) * 2019-12-16 2021-06-24 三菱電機株式会社 画像良否学習装置、画像良否判定装置及び画像読取装置
WO2021153029A1 (ja) * 2020-01-27 2021-08-05 株式会社京都製作所 検査装置、製袋システム、判定モデル、及び検査方法
JP7441673B2 (ja) * 2020-02-21 2024-03-01 シャープ株式会社 学習用データ生成装置、再生スケジュール学習システム、及び学習用データ生成方法
JP7459713B2 (ja) 2020-07-31 2024-04-02 富士通株式会社 選別プログラム、選別方法、および情報処理装置
KR102509581B1 (ko) * 2020-11-19 2023-03-13 한양대학교 산학협력단 영상 판단 장치 및 그 판단 방법
KR102621884B1 (ko) * 2020-11-27 2024-01-05 씨제이올리브네트웍스 주식회사 상품불량 선별을 위한 딥러닝 기반의 이미지 분석 방법 및 이를 위한 시스템
US20220189005A1 (en) * 2020-12-16 2022-06-16 Baker Hughes Holdings Llc Automatic inspection using artificial intelligence models
JP7451392B2 (ja) 2020-12-28 2024-03-18 住友重機械工業株式会社 画像処理装置、画像処理方法、画像処理プログラム
JP2022187661A (ja) * 2021-06-08 2022-12-20 富士フイルムビジネスイノベーション株式会社 表面検査装置及びプログラム
WO2023228282A1 (ja) * 2022-05-24 2023-11-30 三菱電機株式会社 情報処理装置、情報処理システム、情報処理方法、及び、プログラム

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003100826A (ja) * 2001-09-26 2003-04-04 Hitachi Ltd 検査データ解析プログラムと検査装置と検査システム
CN101731004A (zh) * 2007-04-23 2010-06-09 夏普株式会社 摄像装置、记录有该摄像装置的控制程序的计算机可读取的记录介质以及控制方法
CN101981683A (zh) * 2008-03-27 2011-02-23 东京毅力科创株式会社 缺陷分类方法、计算机存储介质以及缺陷分类装置
JP2011085820A (ja) * 2009-10-16 2011-04-28 Sony Corp 欠陥修正装置および欠陥修正方法
JP2011214903A (ja) * 2010-03-31 2011-10-27 Denso It Laboratory Inc 外観検査装置、外観検査用識別器の生成装置及び外観検査用識別器生成方法ならびに外観検査用識別器生成用コンピュータプログラム
JP2014022837A (ja) * 2012-07-13 2014-02-03 Nippon Hoso Kyokai <Nhk> 学習装置、及びプログラム
GB201415790D0 (en) * 2014-09-05 2014-10-22 Apical Ltd A method of image anaysis
WO2015125681A1 (ja) * 2014-02-18 2015-08-27 株式会社メガチップス 物体検出装置
CN105144239A (zh) * 2013-04-26 2015-12-09 奥林巴斯株式会社 图像处理装置、程序及图像处理方法
JP2016109495A (ja) * 2014-12-03 2016-06-20 タカノ株式会社 分類器生成装置、外観検査装置、分類器生成方法、及びプログラム
CN107123106A (zh) * 2016-02-25 2017-09-01 发那科株式会社 显示从输入图像检测到的对象物的图像处理装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4155496B2 (ja) 2002-04-25 2008-09-24 大日本スクリーン製造株式会社 分類支援装置、分類装置およびプログラム
US20050175235A1 (en) * 2004-02-05 2005-08-11 Trw Automotive U.S. Llc Method and apparatus for selectively extracting training data for a pattern recognition classifier using grid generation
JP3834041B2 (ja) * 2004-03-31 2006-10-18 オリンパス株式会社 学習型分類装置及び学習型分類方法
JP4799329B2 (ja) 2006-09-07 2011-10-26 株式会社東芝 ムラ検査方法、表示パネルの製造方法及びムラ検査装置
JP5075111B2 (ja) * 2008-12-29 2012-11-14 株式会社日立ハイテクノロジーズ 画像分類基準更新方法、プログラムおよび画像分類装置
JP5385752B2 (ja) * 2009-10-20 2014-01-08 キヤノン株式会社 画像認識装置、その処理方法及びプログラム
JP6148265B2 (ja) 2015-02-04 2017-06-14 エヌ・ティ・ティ・コムウェア株式会社 学習装置、学習方法、およびプログラム
JP6456801B2 (ja) * 2015-09-18 2019-01-23 株式会社豊田中央研究所 走行制御装置、走行制御方法、及び走行制御プログラム
US10319094B1 (en) * 2016-05-20 2019-06-11 Ccc Information Services Inc. Technology for capturing, transmitting, and analyzing images of objects
JP6833366B2 (ja) * 2016-07-06 2021-02-24 キヤノン株式会社 情報処理装置、情報処理装置の制御方法及びプログラム

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003100826A (ja) * 2001-09-26 2003-04-04 Hitachi Ltd 検査データ解析プログラムと検査装置と検査システム
CN101731004A (zh) * 2007-04-23 2010-06-09 夏普株式会社 摄像装置、记录有该摄像装置的控制程序的计算机可读取的记录介质以及控制方法
CN101981683A (zh) * 2008-03-27 2011-02-23 东京毅力科创株式会社 缺陷分类方法、计算机存储介质以及缺陷分类装置
JP2011085820A (ja) * 2009-10-16 2011-04-28 Sony Corp 欠陥修正装置および欠陥修正方法
JP2011214903A (ja) * 2010-03-31 2011-10-27 Denso It Laboratory Inc 外観検査装置、外観検査用識別器の生成装置及び外観検査用識別器生成方法ならびに外観検査用識別器生成用コンピュータプログラム
JP2014022837A (ja) * 2012-07-13 2014-02-03 Nippon Hoso Kyokai <Nhk> 学習装置、及びプログラム
CN105144239A (zh) * 2013-04-26 2015-12-09 奥林巴斯株式会社 图像处理装置、程序及图像处理方法
WO2015125681A1 (ja) * 2014-02-18 2015-08-27 株式会社メガチップス 物体検出装置
GB201415790D0 (en) * 2014-09-05 2014-10-22 Apical Ltd A method of image anaysis
JP2016109495A (ja) * 2014-12-03 2016-06-20 タカノ株式会社 分類器生成装置、外観検査装置、分類器生成方法、及びプログラム
CN107123106A (zh) * 2016-02-25 2017-09-01 发那科株式会社 显示从输入图像检测到的对象物的图像处理装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于LSSVM的磁瓦表面瑕疵偏向性分类;张振尧等;《光电工程》;第40卷(第8期);第78-83页 *

Also Published As

Publication number Publication date
JP6936957B2 (ja) 2021-09-22
CN109767418A (zh) 2019-05-17
US10885618B2 (en) 2021-01-05
JP2019087044A (ja) 2019-06-06
US20190139212A1 (en) 2019-05-09
EP3480735B1 (en) 2023-07-19
EP3480735A1 (en) 2019-05-08

Similar Documents

Publication Publication Date Title
CN109767418B (zh) 检査装置、数据生成装置、数据生成方法及存储介质
CN109961421B (zh) 数据生成装置、数据生成方法以及数据生成记录介质
JP6573226B2 (ja) データ生成装置、データ生成方法及びデータ生成プログラム
JP5546317B2 (ja) 外観検査装置、外観検査用識別器の生成装置及び外観検査用識別器生成方法ならびに外観検査用識別器生成用コンピュータプログラム
CN109767419B (zh) 数据生成装置、数据生成方法及存储介质
CN110402487B (zh) 对从晶片检测的缺陷进行分类的方法和装置
CN111160301B (zh) 基于机器视觉的隧道病害目标智能识别及提取方法
TW202105549A (zh) 對樣本的缺陷檢測的方法及其系統
JP2020106467A (ja) 欠陥検査装置、欠陥検査方法、及びそのプログラム
JP6544716B2 (ja) データ生成装置、データ生成方法及びデータ生成プログラム
JP2013167596A (ja) 欠陥検査装置、欠陥検査方法及びプログラム
TW202044067A (zh) 基於機器學習之半導體樣本中的缺陷分類
JP7214432B2 (ja) 画像処理方法、画像処理プログラム、記録媒体、画像処理装置、生産システム、物品の製造方法
JP2022027473A (ja) 半導体試料の検査に使用可能な訓練データの生成
CN117392042A (zh) 缺陷检测方法、缺陷检测设备及存储介质
CN113222913A (zh) 一种电路板缺陷检测定位方法、装置和存储介质
CN117274258A (zh) 主板图像的缺陷检测方法、系统、设备及存储介质
WO2014103617A1 (ja) 位置合せ装置、欠陥検査装置、位置合せ方法、及び制御プログラム
KR20220085115A (ko) 생산부품의 스마트 비전검사를 위한 인공지능머신의 라벨링 학습방법
JP2007198968A (ja) 画像分類方法及び画像分類装置
CN114813746B (zh) 基于机器视觉的弯针检测的方法、系统、存储介质及设备
CN116204878A (zh) 一种基于计算机视觉辅助的硬件木马自动排查判读方法
CN116917909A (zh) 整合模型的生成方法、图像检查系统、图像检查用模型的生成装置、图像检查用模型的生成程序和图像检查装置
JP2023544428A (ja) コンポーネントを分析する方法、システムをトレーニングする方法、デバイス、コンピュータプログラム及びコンピュータ可読記憶媒体
CN117830211A (zh) 一种基于语义分割的车辆内饰质量评估方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant