CN112534472A - 图像判定装置、图像判定方法及图像判定程序 - Google Patents

图像判定装置、图像判定方法及图像判定程序 Download PDF

Info

Publication number
CN112534472A
CN112534472A CN201980052353.7A CN201980052353A CN112534472A CN 112534472 A CN112534472 A CN 112534472A CN 201980052353 A CN201980052353 A CN 201980052353A CN 112534472 A CN112534472 A CN 112534472A
Authority
CN
China
Prior art keywords
output
data
image
feature
learning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201980052353.7A
Other languages
English (en)
Other versions
CN112534472B (zh
Inventor
土屋直树
井尻善久
丸山裕
大川洋平
林剣之介
山元左近
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp filed Critical Omron Corp
Publication of CN112534472A publication Critical patent/CN112534472A/zh
Application granted granted Critical
Publication of CN112534472B publication Critical patent/CN112534472B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/809—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/211—Selection of the most significant subset of features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/776—Validation; Performance evaluation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/803—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/06—Recognition of objects for industrial automation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种图像判定装置等，即便在进行学习模型的追加学习的情况下，也明确由学习模型的何种变更导致判定结果变化。图像判定装置包括：一个或多个特征提取器，分别基于检查对象的图像而输出表示图像的特定特征的特征数据；第一学习部，使第一判定器以下述方式进行学习，即，基于将第一学习图像输入至一个或多个特征提取器时输出的第一特征数据，输出表示与第一学习图像关联的第一标签数据的第一输出数据；第二学习部，使第二判定器以下述方式进行学习，即，基于将第二学习图像输入至一个或多个特征提取器时输出的第二特征数据，输出表示与第二学习图像关联的第二标签数据的第二输出数据；以及输出部，基于第一输出数据及第二输出数据，输出表示与图像有关的综合判定结果的输出数据。

Description

图像判定装置、图像判定方法及图像判定程序
技术领域
本发明涉及一种图像判定装置、图像判定方法及图像判定程序。
背景技术
以往，在工厂自动化(Factory Automation，FA)领域中，将使用图像处理的自动控制广泛地加以实用。例如，已实现如下工序：拍摄工件等检查对象，基于从所述拍摄的图像中提取的特征量，检查所述工件是否良好。
例如专利文献1中公开了下述装置，此装置使用识别器的输出结果来判定检查对象有无缺陷，所述识别器将在多个拍摄条件下拍摄的检查对象的图像用于学习用数据进行了学习。具体而言，专利文献1所记载的装置具有：学习用提取部件，从至少两个图像中分别提取所述图像的特征量，所述至少两个图像基于在至少两个不同的拍摄条件下对已知外观是否良好的对象物进行拍摄所得的图像；选择部件，从涵盖由所述学习用提取部件从所述至少两个图像中提取的特征量的、特征量中，选择用于判定对象物是否良好的特征量；以及生成部件，基于由所述选择部件所选择的所述特征量，生成判定对象物是否良好的识别器。
现有技术文献
专利文献
专利文献1：日本专利特开2017-49974号公报
发明内容
发明所要解决的问题
在根据检查对象的图像通过学习模型来进行缺陷有无或工件种类等的判定的情况下，有时使用新获取的图像或由学习模型进行了错误判定的图像来进行学习模型的追加学习。但是，若通过追加学习来更新学习模型的任意参数，则有时不明确通过追加学习对学习模型的何种部分施加了变更，而无法说明由学习模型的何种变更导致判定结果变化。
因此，本发明提供一种图像判定装置、图像判定方法及图像判定程序，即便在进行学习模型的追加学习的情况下，也明确由学习模型的何种变更导致判定结果变化。
解决问题的技术手段
本公开的一实施例的图像判定装置包括：一个或多个特征提取器，分别基于检查对象的图像而输出表示图像的特定特征的特征数据；第一判定器，基于从一个或多个特征提取器输出的特征数据，输出表示与图像有关的判定结果的第一输出数据；第二判定器，基于从一个或多个特征提取器输出的特征数据，输出表示与图像有关的判定结果的第二输出数据；第一学习部，使用包含第一学习图像及第一标签数据的学习数据，使第一判定器以下述方式进行学习，即，基于将第一学习图像输入至一个或多个特征提取器时输出的第一特征数据，输出表示与第一学习图像关联的第一标签数据的第一输出数据；第二学习部，在追加了包含第二学习图像及第二标签数据的新的学习数据的情况下，使第二判定器以下述方式进行学习，即，基于将第二学习图像输入至一个或多个特征提取器时输出的第二特征数据，输出表示与第二学习图像关联的第二标签数据的第二输出数据；以及输出部，基于第一输出数据及第二输出数据，输出表示与图像有关的综合判定结果的输出数据，所述第一输出数据是由第一判定器基于将图像输入至一个或多个特征提取器时输出的特征数据而输出，所述第二输出数据是由第二判定器基于将图像输入至一个或多个特征提取器时输出的特征数据而输出。
根据所述实施例，通过追加学习而新生成第二判定器并追加，并将第一判定器及第二判定器作出的判定综合，由此即便在进行学习模型的追加学习的情况下，也明确由学习模型的何种变更导致判定结果变化。
所述实施例中，输出部也可根据特征数据与第二特征数据的类似度，使第一输出数据及第二输出数据的相对加权变化。
根据所述实施例，可通过特征数据与第二特征数据的类似度来判定所输入的图像是否类似于第二学习图像，可使重视使用第一学习图像进行了学习的第一判定器作出的判定结果、与使用第二学习图像进行了学习的第二判定器作出的判定结果的哪一个发生变化。
所述实施例中也可为，特征空间中的特征数据与第二特征数据的距离越小，则输出部越增大第二输出数据的相对加权。
根据所述实施例，可通过特征数据与第二特征数据的距离来判定所输入的图像是否类似于第二学习图像，且距离越近，则越重视使用第二学习图像进行了学习的第二判定器作出的判定结果。
所述实施例中，也可还包括：识别器，识别特征数据类似于第一特征数据及第二特征数据的哪一个，输出部也可基于识别器的识别结果，使第一输出数据及第二输出数据的相对加权变化。
根据所述实施例，可通过识别器来识别特征数据类似于第一特征数据及第二特征数据的哪一个，由此判定所输入的图像类似于第一学习图像及第二学习图像的哪一个，可使重视使用第一学习图像进行了学习的第一判定器作出的判定结果、与使用第二学习图像进行了学习的第二判定器作出的判定结果的哪一个发生变化。
本公开的另一实施例的图像判定方法包括：使用包含第一学习图像及第一标签数据的学习数据，使第一判定器进行学习，所述第一判定器基于从一个或多个特征提取器输出的特征数据，输出表示与图像有关的判定结果的第一输出数据，所述一个或多个特征提取器基于检查对象的图像而输出表示图像的特定特征的特征数据，并且使判定器以下述方式进行学习，即，基于将第一学习图像输入至一个或多个特征提取器时输出的第一特征数据，而输出表示与第一学习图像关联的第一标签数据的第一输出数据；在追加了包含第二学习图像及第二标签数据的新的学习数据的情况下，使第二判定器进行学习，所述第二判定器基于从一个或多个特征提取器输出的特征数据，输出表示与图像有关的判定结果的第二输出数据，并且使第二判定器以下述方式进行学习，即，基于将第二学习图像输入至一个或多个特征提取器时输出的第二特征数据，而输出表示与第二学习图像关联的第二标签数据的第二输出数据；以及基于第一输出数据及第二输出数据，输出表示与图像有关的综合判定结果的输出数据，所述第一输出数据是由第一判定器基于将图像输入至一个或多个特征提取器时输出的特征数据而输出，第二输出数据是由第二判定器基于将图像输入至一个或多个特征提取器时输出的特征数据而输出。
根据所述实施例，通过追加学习来新生成第二判定器并追加，并将第一判定器及第二判定器作出的判定综合，由此即便在进行学习模型的追加学习的情况下，也明确由学习模型的何种变更导致判定结果变化。
本公开的另一实施例的图像判定程序使图像判定装置所包括的运算部作为下述部分发挥功能：一个或多个特征提取器，分别基于检查对象的图像而输出表示图像的特定特征的特征数据；第一判定器，基于从一个或多个特征提取器输出的特征数据，输出表示与图像有关的判定结果的第一输出数据；第二判定器，基于从一个或多个特征提取器输出的特征数据，输出表示与图像有关的判定结果的第二输出数据；第一学习部，使用包含第一学习图像及第一标签数据的学习数据，使第一判定器以下述方式进行学习，即，基于将第一学习图像输入至一个或多个特征提取器时输出的第一特征数据，输出表示与第一学习图像关联的第一标签数据的第一输出数据；第二学习部，在追加了包含第二学习图像及第二标签数据的新的学习数据的情况下，使第二判定器以下述方式进行学习，即，基于将第二学习图像输入至一个或多个特征提取器时输出的第二特征数据，输出表示与第二学习图像关联的第二标签数据的第二输出数据；以及输出部，基于第一输出数据及第二输出数据，输出表示与图像有关的综合判定结果的输出数据，所述第一输出数据是由第一判定器基于将图像输入至一个或多个特征提取器时输出的特征数据而输出，所述第二输出数据是由第二判定器基于将图像输入至一个或多个特征提取器时输出的特征数据而输出。
根据所述实施例，通过追加学习来新生成第二判定器并追加，并将第一判定器及第二判定器作出的判定综合，由此即便在进行学习模型的追加学习的情况下，也明确由学习模型的何种变更导致判定结果变化。
发明的效果
根据本发明，可提供一种图像判定装置、图像判定方法及图像判定程序，即便在进行学习模型的追加学习的情况下，也明确由学习模型的何种变更导致判定结果变化。
附图说明
图1为表示本发明的实施方式的图像判定系统的结构例的图。
图2为表示本实施方式的图像判定装置的硬件结构的图。
图3为表示本实施方式的图像判定装置的功能块的图。
图4为表示本实施方式的学习模型的结构例的图。
图5为表示本实施方式的学习模型的编辑例的图。
图6为由本实施方式的图像判定装置执行的图像判定处理的流程图。
图7为表示本实施方式的变形例的图像判定装置的功能块的图。
图8为由本实施方式的变形例的图像判定装置执行的图像判定处理的流程图。
具体实施方式
以下，基于附图对本发明的一侧面的实施方式(以下也表述为“本实施方式”)进行说明。但是，以下说明的实施方式在所有方面仅为本发明的例示。当然可在不偏离本发明的范围的情况下进行各种改良或变形。即，实施本发明时，也可采用与实施方式相应的具体结构。另外，通过自然语言来说明本实施方式中出现的数据，但更具体而言，以计算机可识别的伪语言、命令、参数、机器语言等来指定。
§1适用例
图1为表示本发明的实施方式的图像判定系统1的结构例的图。首先，对适用本发明的场景的一例进行说明。本实施方式的图像判定系统1利用图像判定装置100所包括的学习模型对通过拍摄检查对象从而生成的输入图像进行分析，进行缺陷检查或对象的分类。学习模型可使用学习数据，以将与检查对象有关的缺陷的有无或检查对象的种类分类的方式事先学习。而且，学习模型在获得了新的学习数据的情况下，可进行追加学习。本实施方式的图像判定系统1在进行学习模型的追加学习的情况下，以明确由学习模型的何种变更导致判定结果变化的方式来更新学习模型。另外，检查对象例如包含处于制造过程的零件、制品等工件(Work piece)。
如图1所示，图像判定系统1例如通过对拍摄工件4所得的输入图像执行图像测量处理，从而实现工件4的外观检查或外观测量，所述工件4在带式输送器2上搬送且为检查对象。以下的说明中，作为图像测量处理的典型例，对适用于工件4表面的缺陷有无的检查等的示例进行说明，但不限于此，也可应用于缺陷种类的确定、缺陷的外观形状的尺寸测量、工件4的种类的确定等。
在带式输送器2的上部配置有作为拍摄部的摄像机102，以摄像机102的拍摄视野6包含带式输送器2的规定区域的方式构成。通过摄像机102的拍摄而生成的图像数据(以下也称为“输入图像”)向图像判定装置100发送。摄像机102进行的拍摄是周期性地执行或在发生事件时执行。
图像判定装置100经由上位网络8而与可编程逻辑控制器(Programmable LogicController，PLC)10及数据库装置12等连接。图像判定装置100的测量结果也可向PLC10和/或数据库装置12发送。另外，在上位网络8，也可除了PLC10及数据库装置12以外，还连接有任意的装置。
图像判定装置100也可连接有用于显示处理中的状态或测量结果等的显示器104、以及作为受理用户操作的输入部的键盘106及鼠标108。
图像判定装置100包括通过机器学习而生成的学习模型。学习模型包含：一个或多个特征提取器，受理图像作为输入，输出表示图像的特定特征的特征数据；第一判定器，基于从一个或多个特征提取器输出的特征数据，输出表示与图像有关的判定结果的第一输出数据；以及第二判定器，基于从一个或多个特征提取器输出的特征数据，输出表示与图像有关的判定结果的第二输出数据。此处，一个或多个特征提取器例如可包含提取图像所含的边缘的边缘提取器、提取图像所含的平面区域的平面部提取器、提取图像的背景花纹的背景花纹提取器、提取图像所含的二值化区域的二值化区域提取器等。一个或多个特征提取器分别可为提取人容易理解的单一特征那样的模型，也可为机器学习模型，也可为规则库(rulebase)模型。第一判定器及第二判定器受理一个或多个特征数据作为输入，输出表示与图像有关的判定结果的输出数据。输出数据例如可为表示检查对象的缺陷有无、缺陷的种类、缺陷的外观形状的尺寸、检查对象的种类等的数据。第一判定器及第二判定器例如可由神经网络构成。
在生产线上流动的工件4的种类或拍摄条件等检查条件视生产线而为各种各样，未必与学习时的条件一致。因此，若将事先学习的学习模型用于生产线，则有时输出错误的判定结果。因此，有时收集学习模型无法正确判定的图像，进行学习模型的追加学习。此时，若无任何限制地进行学习模型的更新，则有时不明确是否着眼于当初设想的特征进行判定，不明确通过追加学习对学习模型的何种部分施加了变更，而无法说明由学习模型的何种变更导致判定结果变化。因此，在将学习模型导入至生产线的情况下，有时难以说明学习模型的可靠性，有时导致导入受阻。
鉴于此种情况，本实施方式的图像判定装置100通过事先学习来生成第一判定器，通过追加学习来生成第二判定器，不对学习模型所含的一个或多个特征提取器施加变更，而明确通过追加学习对学习模型的何种部分施加了变更。追加学习中，将一个或多个特征提取器的结构固定，进行第二判定器的学习。并且，图像判定装置100将第一判定器及第二判定器的输出整合，输出综合判定结果。如此，通过追加学习来新生成第二判定器并追加，由此即便在进行学习模型的追加学习的情况下，也明确由学习模型的何种变更导致判定结果变化。由此，在将学习模型导入至生产线的情况下，容易说明学习模型的可靠性，可使导入不受阻。另外，图像判定装置100可每当追加新的学习数据时，追加新的判定器。并且，图像判定装置100可将多个判定器的输出整合，输出综合判定结果。
§2结构例
[硬件结构]
图2为表示本实施方式的图像判定装置100的硬件结构的图。作为一例，图像判定装置100也可使用按照通用的计算机架构所构成的通用计算机来实现。图像判定装置100包含处理器110、主存储器(主存储部)112、摄像机接口114、输入接口116、显示接口118、通信接口120及贮存器(辅助存储部)130。这些组件典型而言经由内部总线122相互可通信地连接。
处理器110通过将贮存器130中保存的程序在主存储器112中展开并执行，从而实现下文中使用下图详述的功能及处理。主存储器112包含易失性存储器，作为处理器110执行程序所需要的工作存储器发挥功能。
摄像机接口为获取部的一例。摄像机接口114与摄像机102连接，获取由摄像机102所拍摄的输入图像。摄像机接口114也可对摄像机102指示拍摄时机等。
输入接口116与键盘106及鼠标108等用户进行操作的输入部连接。输入接口116获取表示用户对输入部进行的操作等的指令。
显示接口118与作为显示部的显示器104连接。显示接口118向显示器104输出通过处理器110执行程序从而生成的各种处理结果。
通信接口120负责用于经由上位网络8与PLC10及数据库装置12等进行通信的处理。
贮存器130保存用于实现学习模型136的图像处理程序132及操作系统(OperatingSystem，OS)134等用于使计算机作为图像判定装置100发挥功能的程序。贮存器130也可还保存学习模型136、从摄像机102获取的输入图像138、及用于学习模型136的学习的学习数据140。另外，学习数据140可经由上位网络8从数据库装置12等外部设备获取，可暂时保存于贮存器130。
保存于贮存器130的图像处理程序132也可经由数字多功能光盘(DigitalVersatile Disc，DVD)等光学记录介质或通用串行总线(Universal Serial Bus，USB)存储器等半导体记录介质等而安装于图像判定装置100。或者，图像处理程序132也可从网络上的服务器装置等下载。
本实施方式的图像处理程序132也可不包含用于实现本实施方式的功能的所有软件模块，而通过与OS134协作从而提供必要的功能。
本实施方式的图像处理程序132也可组入至其他程序的一部分而提供。此时，图像处理程序132自身中也不含如所述般组合的其他程序所含的模块，而与所述其他程序协作来执行处理。如此，本实施方式的图像处理程序132也可为组入至其他程序的形态。
图2中示出了使用通用计算机来实现图像判定装置100的示例，但不限于此，也可使用专用电路(例如特殊应用集成电路(Application Specific Integrated Circuit，ASIC)或现场可编程门阵列(Field-Programmable Gate Array，FPGA)等)来实现其全部或一部分功能。进而，也可使经网络连接的外部装置负责一部分处理。
[功能结构]
图3为表示本实施方式的图像判定装置100的功能块的图。图像判定装置100包括保存于贮存器130的学习模型136、学习部152及输出部154。
学习模型136包含一个或多个特征提取器136a及判定器136b。一个或多个特征提取器136a分别基于检查对象的图像，输出表示图像的特定特征的特征数据。判定器136b基于从一个或多个特征提取器136a输出的特征数据，输出表示与图像有关的判定结果的输出数据。
判定器136b包含以不同的学习数据进行了学习的多个判定器。本实施方式中，判定器136b包含第一判定器136b-1及第二判定器136b-2。第一判定器136b-1基于从一个或多个特征提取器136a输出的特征数据，输出表示与图像有关的判定结果的第一输出数据。第二判定器136b-2基于从一个或多个特征提取器136a输出的特征数据，输出表示与图像有关的判定结果的第二输出数据。另外，判定器136b也可包含三个以上的判定器。
学习部152包含第一学习部152a及第二学习部152b。第一学习部152a使用包含第一学习图像及第一标签数据的学习数据140，使第一判定器136b-1以下述方式进行学习，即，基于将第一学习图像输入至一个或多个特征提取器136a时输出的第一特征数据，输出表示与第一学习图像关联的第一标签数据的第一输出数据。此处，第一学习图像为预先拍摄的检查对象的图像。而且，第一标签数据为表示检查对象的状态的数据，例如可为表示与检查对象有关的缺陷的有无、缺陷的种类、缺陷的外观形状的尺寸、检查对象的种类等的数据。第一判定器136b-1的学习处理可在图像判定装置100组入至生产线前执行。
第二学习部152b在追加了包含第二学习图像及第二标签数据的新的学习数据的情况下，使第二判定器136b-2以下述方式进行学习，即，基于将第二学习图像输入至一个或多个特征提取器136a时输出的第二特征数据，输出表示与第二学习图像关联的第二标签数据的第二输出数据。此处，第二学习图像可为使生产线运转的期间中拍摄的、检查对象的图像，且可为第一判定器136b-1进行了错误判定的图像。而且，第二标签数据为表示检查对象的状态的数据，例如可为表示与检查对象有关的缺陷的有无、缺陷的种类、缺陷的外观形状的尺寸、检查对象的种类等的数据。第二判定器136b-2的学习处理可在图像判定装置100组入至生产线而生产线运转后执行。
输出部154基于第一输出数据及第二输出数据，输出表示与图像有关的综合判定结果的输出数据，所述第一输出数据是由第一判定器136b-1基于将检查对象的图像输入至一个或多个特征提取器136a时输出的特征数据而输出，所述第二输出数据是由第二判定器136b-2基于将图像输入至一个或多个特征提取器136a时输出的特征数据而输出。如此，输出部154将最初开始设定的第一判定器136b-1的第一输出数据、与事后追加的第二判定器136b-2的第二输出数据综合，输出表示与检查对象的图像有关的综合判定结果的输出数据。
输出部154也可根据特征数据与第二特征数据的类似度，使第一输出数据及第二输出数据的相对加权变化。此处，特征数据为将新拍摄的检查对象的图像输入至一个或多个特征提取器136a而得的数据，第二特征数据为将新的学习数据所含的第二学习图像输入至一个或多个特征提取器136a而得的数据。第二学习图像通常可有多个，第二特征数据也可有多个。在算出特征数据与第二特征数据的类似度的情况下，可算出代表多个第二特征数据的数据与特征数据的类似度，也可将多个第二特征数据各自与特征数据的类似度综合。由此，可通过特征数据与第二特征数据的类似度来判定所输入的图像是否类似于第二学习图像，可使重视使用第一学习图像进行了学习的第一判定器136b-1作出的判定结果、及使用第二学习图像进行了学习的第二判定器136b-2作出的判定结果的哪一个发生变化。
可为特征空间中的特征数据与第二特征数据的距离越小，则输出部154越增大第二输出数据的相对加权。在算出特征数据与第二特征数据的距离的情况下，可算出代表多个第二特征数据的数据与特征数据的距离，也可将多个第二特征数据各自与特征数据的距离综合。由此，可通过特征数据与第二特征数据的距离来判定所输入的图像是否类似于第二学习图像，且距离越近，则越重视使用第二学习图像进行了学习的第二判定器136b-2作出的判定结果。
§3动作例
图4为表示本实施方式的学习模型136的结构例的图。本示例的学习模型136包含特征提取器136a及判定器136b，判定器136b包含第一判定器136b-1。
特征提取器136a受理输入数据136i(检查对象的图像)作为输入，输出表示图像的特征的特征数据。特征提取器136a可提取图像所含的边缘，或提取图像所含的平面区域，或提取图像的背景花纹，或提取图像所含的二值化区域。
第一判定器136b-1输入从特征提取器136a输出的特征数据，输出表示与输入数据136i(图像)有关的判定结果的第一输出数据。
输出部154受理第一输出数据作为输入，输出表示与输入数据136i(图像)有关的综合判定结果的输出数据136o。另外，在如本示例那样判定器136b仅包含单一的判定器的情况下，输出部154将从第一判定器136b-1受理的第一输出数据直接作为输出数据136o而输出。
图5为表示本实施方式的学习模型136的编辑例的图。本示例中，示出追加了使用新的学习数据生成的第二判定器136b-2的示例。本示例的学习模型136包含特征提取器136a及判定器136b，判定器136b包含第一判定器136b-1及第二判定器136b-2。
第二判定器136b-2输入从特征提取器136a输出的特征数据，输出表示与输入数据136i(图像)有关的判定结果的第二输出数据。
输出部154受理第一输出数据及第二输出数据作为输入，输出表示与输入数据136i(图像)有关的综合判定结果的输出数据136o。可为特征空间中的特征数据与第二特征数据的距离越小，则输出部154越增大第二输出数据的相对加权。具体而言，在将特征数据表示为v，将使新的学习数据所含的第二学习图像输入至特征提取器136a时输出的第二特征数据表示为va，将第一输出数据表示为y，将第二输出数据表示为ya时，输出部154可算出输出数据y’为y’＝y+yaexp(-||va－v||2/2σa 2)。此处，||va－v||2表示特征空间中的距离的平方，可为代表多个第二特征数据的数据与特征数据的距离的平方，也可为将多个第二特征数据各自与特征数据的距离的平方综合的值。此处，σa为特征空间中的特征数据v与第二特征数据va的距离越变大，则越减小第二输出数据ya的相对权重的参数。在特征空间为多维的情况下，特征数据v成为矢量。此时，为了与特征数据v对应，第二特征数据va可为矢量，参数σa可为矩阵。例如，在特征数据v的成分为v＝(v0、v1、v2、…)时，可将第二特征数据设为va＝(va0、va1、va2、…)，且设为σa＝diag(σa0、σa1、σa2、…)，且设为y’＝y+yaexp(-||va0－v0||2/2σa0 2)exp(-||va1－v1||2/2σa1 2)exp(-||va2－v2||2/2σa2 2)…。
输出部154也可在特征空间中的特征数据与第二特征数据的距离小于阈值的情况下，输出第二输出数据作为输出数据，且在特征数据与第二特征数据的距离为阈值以上的情况下，输出第一输出数据作为输出数据。而且，输出部154也可在特征空间中的特征数据与第二特征数据的距离小于第一阈值的情况下，输出第二输出数据作为输出数据，在特征数据与第二特征数据的距离为大于第一阈值的第二阈值以上的情况下，输出第一输出数据作为输出数据，且在特征数据与第二特征数据的距离为第一阈值以上且小于第二阈值的情况下，输出根据特征数据间的距离对第一输出数据与第二输出数据进行直线插补所得的值作为输出数据。具体而言，在将特征数据与第二特征数据的距离表示为d，将第一阈值表示为d1，将第二阈值表示为d2，将第一输出数据表示为y，将第二输出数据表示为ya时，在特征数据与第二特征数据的距离d为第一阈值d1以上且小于第二阈值d2的情况下，输出部154可算出输出数据y’为y’＝ya+(d－d1)×(y－ya)/(d2－d1)。
在判定器136b包含三个以上的判定器的情况下，输出部154可基于事先准备的判定器的学习所用的学习数据的特征数据、与追加的多个判定器的学习所用的多个学习数据各自的特征数据的类似度，使事先准备的判定器的输出数据、及追加的多个判定器的多个输出数据的相对加权变化。具体而言，在将事先准备的判定器的学习所用的学习数据的特征数据表示为v，将追加的多个判定器的学习所用的多个学习数据各自的特征数据表示为va、vb、…，将事先准备的判定器的输出数据表示为y，将追加的多个判定器的多个输出数据表示为ya、yb、…时，输出部154可算出输出数据y’为y’＝y+yaexp(-||va－v||2/2σa 2)+ybexp(-||vb－v||2/2σb 2)…。而且，输出部154也可针对追加的多个判定器的多个输出数据各自，在事先准备的判定器的学习所用的学习数据的特征数据、与追加的判定器的学习所用的学习数据的特征数据的距离小于阈值的情况下，输出追加的判定器的输出数据，且在距离为阈值以上的情况下，输出事先准备的判定器的输出数据。进而，针对追加的多个判定器的多个输出数据各自，在将事先准备的判定器的学习所用的学习数据的特征数据、与追加的判定器的学习所用的学习数据的特征数据的距离表示为di，将第一阈值表示为d1i，将第二阈值表示为d2i，将事先准备的判定器的输出数据表示为y，将追加的判定器的输出数据表示为yi时，在距离di为第一阈值d1i以上且小于第二阈值d2i的情况下，输出部154可算出输出数据y’为y’＝yi+(di－d1i)×(y－yi)/(d2i－d1i)。
而且，在判定器136b包含三个以上的判定器，且利用其他判定器将第一判定器进行的分类加以细致分类的情况下，输出部154也可根据第一判定器的第一输出数据而选择其他判定器的输出数据，通过第一输出数据与所选择的判定器的输出数据的加权和来算出输出数据。具体而言，例如判定器136b包含第一判定器、第二判定器及第三判定器，第一判定器输出以0或1表示的二值的第一输出数据，第二判定器在第一输出数据为0的情况下将输入图像细致分类，第三判定器在第一输出数据为1的情况下将输入图像细致分类。并且，将第一判定器的学习所用的学习数据的特征数据表示为v，将第二判定器的学习所用的学习数据的特征数据表示为va，将第三判定器的学习所用的学习数据的特征数据表示为vb，将第一判定器的第一输出数据表示为y，将第二判定器的第二输出数据表示为ya，将第三判定器的第三输出数据表示为yb。此时，若第一输出数据y为0，则输出部154可算出输出数据y’为y’＝y+yaexp(-||va－v||2/2σa 2)。此处，σa为与第二判定器关联的参数。而且，若第一输出数据y为1，则输出部154可算出输出数据y’为y’＝y+ybexp(-||vb－v||2/2σb 2)。此处，σb为与第三判定器关联的参数。另外，在第一输出数据为0的情况下，输出部154可根据||va－v||而输出第一输出数据或第二输出数据，或输出对第一输出数据及第二输出数据进行插补所得的值。同样地，在第一输出数据为1的情况下，输出部154可根据||vb－v||而输出第一输出数据或第三输出数据，或输出对第一输出数据及第三输出数据进行插补所得的值。
图6为由本实施方式的图像判定装置100执行的图像判定处理的流程图。首先，图像判定装置100设定一个或多个特征提取器136a，此一个或多个特征提取器136a输出表示检查对象的图像的特定特征的特征数据(S10)。
随后，图像判定装置100将学习数据所含的第一学习图像输入至一个或多个特征提取器136a，将输出的第一特征数据输入至第一判定器136b-1，以输出与学习数据所含的第一标签数据对应的第一输出数据的方式，进行第一判定器136b-1的学习(S11)。
而且，图像判定装置100将新的学习数据所含的第二学习图像输入至一个或多个特征提取器136a，将输出的第二特征数据输入至第二判定器136b-2，以输出与新的学习数据所含的第二标签数据对应的第二输出数据的方式，进行第二判定器136b-2的学习，存储第二特征数据(S12)。
图像判定装置100在进行第二判定器136b-2的学习的情况下，也可仅使用新的学习数据所含的第二学习图像，将特征提取器136a及第一判定器136b-1的参数固定后，以可根据将第一判定器136b-1的第一输出数据及第二判定器136b-2的第二输出数据合并的综合判定结果来推定新的学习数据所含的第二标签数据的方式，调整第二判定器136b-2的参数。此处，在第二学习图像为一张的情况下，将使第二学习图像输入至特征提取器136a结果输出的特征数据设为与第二判定器136b-2对应的第二特征数据va，参数σa可由用户以追加学习对原本的学习数据的影响变少的方式决定。而且，在第二学习图像为多张的情况下，也可将下述结果设为与第二判定器136b-2对应的第二特征数据va及参数σa，所述结果是对将多个第二学习图像输入至特征提取器136a结果输出的多个特征数据进行统计处理而得。例如，也可将使多个第二学习图像输入至特征提取器136a结果输出的、以矢量形式表示的特征数据的各成分的平均值设为va，将以矢量形式表示的特征数据的各成分的标准偏差设为σa。
随后，利用摄像机102来拍摄检查对象的图像(S13)。并且，图像判定装置100将新拍摄的图像输入至一个或多个特征提取器136a，算出图像的特征数据(S14)。图像判定装置100算出所算出的特征数据、与所存储的第二特征数据的距离(S15)。
所算出的距离越小，则图像判定装置100越增大第二判定器136b-2的第二输出数据的加权，算出第一判定器136b-1的第一输出数据与第二判定器136b-2的第二输出数据的综合判定结果(S16)。当然，也可反复进行从图像的拍摄(S13)到输出数据的算出(S16)的处理。通过以上步骤，图像判定处理结束。
§4变形例
图7为表示本实施方式的变形例的图像判定装置100a的功能块的图。变形例的图像判定装置100a在学习模型136中包含识别器136c的方面，与本实施方式的图像判定装置100不同，关于其他结构，具有与本实施方式的图像判定装置100相同的结构。以下，对不同点进行说明。
识别器136c识别特征数据类似于第一特征数据及第二特征数据的哪一个。识别器136c例如可算出特征空间中的特征数据与第一特征数据的距离、及特征数据与第二特征数据的距离，将距离近的数据识别为类似于特征数据的数据。此处，在算出特征数据与第一特征数据的距离的情况下，可算出代表多个第一特征数据的数据与特征数据的距离，也可将多个第一特征数据各自与特征数据的距离综合。关于多个第二特征数据也相同。
输出部154基于识别器136c的识别结果，使第一判定器136b-1的第一输出数据及第二判定器136b-2的第二输出数据的相对加权变化。具体而言，输出部154增大第一特征数据及第二特征数据中由识别器136c识别为类似于特征数据的数据的加权，输出表示综合判定结果的输出数据。
如此，可通过识别器来识别特征数据类似于第一特征数据及第二特征数据，由此判定所输入的图像类似于第一学习图像及第二学习图像的哪一个，使重视使用第一学习图像进行了学习的第一判定器136b-1作出的判定结果、与使用第二学习图像进行了学习的第二判定器136b-2作出的判定结果的哪一个发生变化。
图8为由本实施方式的变形例的图像判定装置100a执行的图像判定处理的流程图。首先，图像判定装置100a设定一个或多个特征提取器136a，此一个或多个特征提取器136a输出表示检查对象的图像的特定特征的特征数据(S20)。
随后，图像判定装置100a将学习数据所含的第一学习图像输入至一个或多个特征提取器136a，将输出的第一特征数据输入至第一判定器136b-1，以输出与学习数据所含的第一标签数据对应的第一输出数据的方式，进行第一判定器136b-1的学习，存储第一特征数据(S21)。
并且，图像判定装置100a将新的学习数据所含的第二学习图像输入至一个或多个特征提取器136a，将输出的第二特征数据输入至第二判定器136b-2，以输出与新的学习数据所含的第二标签数据对应的第二输出数据的方式，进行第二判定器136b-2的学习，存储第二特征数据(S22)。
随后，利用摄像机102来拍摄检查对象的图像(S23)。并且，图像判定装置100a将新拍摄的图像输入至一个或多个特征提取器136a，算出图像的特征数据(S24)。图像判定装置100a识别所算出的特征数据类似于所存储的第一特征数据及第二特征数据的哪一个(S25)。
图像判定装置100a基于识别结果来决定第一判定器136b-1的第一输出数据及第二判定器136b-2的第二输出数据的加权，算出第一输出数据及第二输出数据的综合判定结果(S26)。当然，也可反复进行图像的拍摄(S23)到输出数据的算出(S26)的处理。通过以上步骤，图像判定处理结束。
以上所说明的实施方式是为了使本发明的理解容易，并非用于限定性地解释本发明。实施方式所包括的各元件及其配置、材料、条件、形状及尺寸等不限定于例示，可适当变更。而且，可将不同实施方式所示的结构彼此局部地替换或组合。
另外，所述实施方式的一部分或全部也可如以下的附注那样记载，但不限于以下内容。
[附注1]
一种图像判定装置(100)，包括：
一个或多个特征提取器(136a)，分别基于检查对象的图像而输出表示所述图像的特定特征的特征数据；
第一判定器(136b-1)，基于从所述一个或多个特征提取器(136a)输出的所述特征数据，输出表示与所述图像有关的判定结果的第一输出数据；
第二判定器(136b-2)，基于从所述一个或多个特征提取器(136a)输出的所述特征数据，输出表示与所述图像有关的判定结果的第二输出数据；
第一学习部，使用包含第一学习图像及第一标签数据的学习数据，使所述第一判定器(136b-1)以下述方式进行学习，即，基于将所述第一学习图像输入至所述一个或多个特征提取器(136a)时输出的第一特征数据，输出表示与所述第一学习图像关联的所述第一标签数据的所述第一输出数据；
第二学习部，在追加了包含第二学习图像及第二标签数据的新的学习数据的情况下，使所述第二判定器(136b-2)以下述方式进行学习，即，基于将所述第二学习图像输入至所述一个或多个特征提取器(136a)时输出的第二特征数据，输出表示与所述第二学习图像关联的所述第二标签数据的第二输出数据；以及
输出部(154)，基于所述第一输出数据及所述第二输出数据，输出表示与所述图像有关的综合判定结果的输出数据，所述第一输出数据是由所述第一判定器(136b-1)基于将所述图像输入至所述一个或多个特征提取器(136a)时输出的所述特征数据而输出，所述第二输出数据是由所述第二判定器(136b-2)基于将所述图像输入至所述一个或多个特征提取器(136a)时输出的所述特征数据而输出。
[附注2]
根据附注1所记载的图像判定装置(100)，其中，
所述输出部(154)根据所述特征数据与所述第二特征数据的类似度，使所述第一输出数据及所述第二输出数据的相对加权变化。
[附注3]
根据附注2所记载的图像判定装置(100)，其中，
特征空间中的所述特征数据与所述第二特征数据的距离越小，则所述输出部(154)越增大所述第二输出数据的相对加权。
[附注4]
根据附注2或3所记载的图像判定装置(100)，还包括：
识别器(136c)，识别所述特征数据类似于所述第一特征数据及所述第二特征数据的哪一个，
所述输出部(154)基于所述识别器的识别结果，使所述第一输出数据及所述第二输出数据的相对加权变化。
[附注5]
一种图像判定方法，包括：
使用包含第一学习图像及第一标签数据的学习数据，使第一判定器(136b-1)进行学习，所述第一判定器(136b-1)基于从一个或多个特征提取器(136a)输出的特征数据，输出表示与图像有关的判定结果的第一输出数据，所述一个或多个特征提取器(136a)基于检查对象的所述图像而输出表示所述图像的特定特征的所述特征数据，并且使判定器(136b-1)以下述方式进行学习，即，基于将所述第一学习图像输入至所述一个或多个特征提取器(136a)时输出的第一特征数据，输出表示与所述第一学习图像关联的所述第一标签数据的所述第一输出数据；
在追加了包含第二学习图像及第二标签数据的新的学习数据的情况下，使第二判定器(136b-2)进行学习，所述第二判定器(136b-2)基于从所述一个或多个特征提取器(136a)输出的所述特征数据，输出表示与所述图像有关的判定结果的第二输出数据，并且使第二判定器(136b-2)以下述方式进行学习，即，基于将所述第二学习图像输入至所述一个或多个特征提取器(136a)时输出的第二特征数据，而输出表示与所述第二学习图像关联的所述第二标签数据的第二输出数据；以及
基于所述第一输出数据及所述第二输出数据，输出表示与所述图像有关的综合判定结果的输出数据，所述第一输出数据是由所述第一判定器(136b-1)基于将所述图像输入至所述一个或多个特征提取器(136a)时输出的所述特征数据而输出，所述第二输出数据是由所述第二判定器(136b-2)基于将所述图像输入至所述一个或多个特征提取器(136a)时输出的所述特征数据而输出。
[附注6]
一种图像判定程序，使图像判定装置(100)所包括的运算部作为下述部分发挥功能：
一个或多个特征提取器(136a)，分别基于检查对象的图像而输出表示所述图像的特定特征的特征数据；
第一判定器(136b-1)，基于从所述一个或多个特征提取器(136a)输出的所述特征数据，输出表示与所述图像有关的判定结果的第一输出数据；
第二判定器(136b-2)，基于从所述一个或多个特征提取器(136a)输出的所述特征数据，输出表示与所述图像有关的判定结果的第二输出数据；
第一学习部，使用包含第一学习图像及第一标签数据的学习数据，使所述第一判定器(136b-1)以下述方式进行学习，即，基于将所述第一学习图像输入至所述一个或多个特征提取器(136a)时输出的第一特征数据，输出表示与所述第一学习图像关联的所述第一标签数据的所述第一输出数据；
第二学习部，在追加了包含第二学习图像及第二标签数据的新的学习数据的情况下，使第二判定器(136b-2)以下述方式进行学习，即，基于将所述第二学习图像输入至所述一个或多个特征提取器(136a)时输出的第二特征数据，输出表示与所述第二学习图像关联的所述第二标签数据的第二输出数据；以及
输出部(154)，基于所述第一输出数据及所述第二输出数据，输出表示与所述图像有关的综合判定结果的输出数据，所述第一输出数据是由所述第一判定器(136b-1)基于将所述图像输入至所述一个或多个特征提取器(136a)时输出的所述特征数据而输出，所述第二输出数据是由所述第二判定器(136b-2)基于将所述图像输入至所述一个或多个特征提取器(136a)时输出的所述特征数据而输出。
符号的说明
1：图像判定系统
2：带式输送器
4：工件
6：拍摄视野
8：上位网络
10：PLC
12：数据库装置
100：图像判定装置
102：摄像机
104：显示器
106：键盘
108：鼠标
110：处理器
112：主存储器
114：摄像机接口
116：输入接口
118：显示接口
120：通信接口
122：内部总线
130：贮存器
132：图像处理程序
134：OS
136：学习模型
136a：特征提取器
136b：判定器
136b-1：第一判定器
136b-2：第二判定器
136c：识别器
136i：输入数据
136o：输出数据
138：输入图像
140：学习数据
152：学习部
152a：第一学习部
152b：第二学习部
154：输出部

Claims (6)

1.一种图像判定装置，包括：
一个或多个特征提取器，分别基于检查对象的图像而输出表示所述图像的特定特征的特征数据；
第一判定器，基于从所述一个或多个特征提取器输出的所述特征数据，输出表示与所述图像有关的判定结果的第一输出数据；
第二判定器，基于从所述一个或多个特征提取器输出的所述特征数据，输出表示与所述图像有关的判定结果的第二输出数据；
第一学习部，使用包含第一学习图像及第一标签数据的学习数据，使所述第一判定器以下述方式进行学习，即，基于将所述第一学习图像输入至所述一个或多个特征提取器时输出的第一特征数据，输出表示与所述第一学习图像关联的所述第一标签数据的所述第一输出数据；
第二学习部，在追加了包含第二学习图像及第二标签数据的新的学习数据的情况下，使所述第二判定器以下述方式进行学习，即，基于将所述第二学习图像输入至所述一个或多个特征提取器时输出的第二特征数据，输出表示与所述第二学习图像关联的所述第二标签数据的第二输出数据；以及
输出部，基于所述第一输出数据及所述第二输出数据，输出表示与所述图像有关的综合判定结果的输出数据，所述第一输出数据是由所述第一判定器基于将所述图像输入至所述一个或多个特征提取器时输出的所述特征数据而输出，所述第二输出数据是由所述第二判定器基于将所述图像输入至所述一个或多个特征提取器时输出的所述特征数据而输出。
2.根据权利要求1所述的图像判定装置，其中，
所述输出部根据所述特征数据与所述第二特征数据的类似度，使所述第一输出数据及所述第二输出数据的相对加权变化。
3.根据权利要求2所述的图像判定装置，其中，
特征空间中的所述特征数据与所述第二特征数据的距离越小，则所述输出部越增大所述第二输出数据的相对加权。
4.根据权利要求2或3所述的图像判定装置，还包括：
识别器，识别所述特征数据类似于所述第一特征数据及所述第二特征数据的哪一个，
所述输出部基于所述识别器的识别结果，使所述第一输出数据及所述第二输出数据的相对加权变化。
5.一种图像判定方法，包括：
使用包含第一学习图像及第一标签数据的学习数据，使第一判定器进行学习，所述第一判定器基于从一个或多个特征提取器输出的特征数据，输出表示与图像有关的判定结果的第一输出数据，所述一个或多个特征提取器基于检查对象的所述图像而输出表示所述图像的特定特征的所述特征数据，并且使所述判定器以下述方式进行学习，即，基于将所述第一学习图像输入至所述一个或多个特征提取器时输出的第一特征数据，而输出表示与所述第一学习图像关联的所述第一标签数据的所述第一输出数据；
在追加了包含第二学习图像及第二标签数据的新的学习数据的情况下，使第二判定器进行学习，所述第二判定器基于从所述一个或多个特征提取器输出的所述特征数据，输出表示与所述图像有关的判定结果的第二输出数据，并且使所述第二判定器以下述方式进行学习，即，基于将所述第二学习图像输入至所述一个或多个特征提取器时输出的第二特征数据，而输出表示与所述第二学习图像关联的所述第二标签数据的第二输出数据；以及
基于所述第一输出数据及所述第二输出数据，输出表示与所述图像有关的综合判定结果的输出数据，所述第一输出数据是由所述第一判定器基于将所述图像输入至所述一个或多个特征提取器时输出的所述特征数据而输出，所述第二输出数据是由所述第二判定器基于将所述图像输入至所述一个或多个特征提取器时输出的所述特征数据而输出。
6.一种图像判定程序，使图像判定装置所包括的运算部作为下述部分发挥功能：
一个或多个特征提取器，分别基于检查对象的图像而输出表示所述图像的特定特征的特征数据；
第一判定器，基于从所述一个或多个特征提取器输出的所述特征数据，输出表示与所述图像有关的判定结果的第一输出数据；
第二判定器，基于从所述一个或多个特征提取器输出的所述特征数据，输出表示与所述图像有关的判定结果的第二输出数据；
第一学习部，使用包含第一学习图像及第一标签数据的学习数据，使所述第一判定器以下述方式进行学习，即，基于将所述第一学习图像输入至所述一个或多个特征提取器时输出的第一特征数据，输出表示与所述第一学习图像关联的所述第一标签数据的所述第一输出数据；
第二学习部，在追加了包含第二学习图像及第二标签数据的新的学习数据的情况下，使第二判定器以下述方式进行学习，即，基于将所述第二学习图像输入至所述一个或多个特征提取器时输出的第二特征数据，输出表示与所述第二学习图像关联的所述第二标签数据的第二输出数据；以及
输出部，基于所述第一输出数据及所述第二输出数据，输出表示与所述图像有关的综合判定结果的输出数据，所述第一输出数据是由所述第一判定器基于将所述图像输入至所述一个或多个特征提取器时输出的所述特征数据而输出，所述第二输出数据是由所述第二判定器基于将所述图像输入至所述一个或多个特征提取器时输出的所述特征数据而输出。
CN201980052353.7A 2018-12-27 2019-11-14 图像判定装置、图像判定方法及其程序的记录介质 Active CN112534472B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018-245674 2018-12-27
JP2018245674A JP7075057B2 (ja) 2018-12-27 2018-12-27 画像判定装置、画像判定方法及び画像判定プログラム
PCT/JP2019/044738 WO2020137228A1 (ja) 2018-12-27 2019-11-14 画像判定装置、画像判定方法及び画像判定プログラム

Publications (2)

Publication Number Publication Date
CN112534472A true CN112534472A (zh) 2021-03-19
CN112534472B CN112534472B (zh) 2024-04-30

Family

ID=71128985

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980052353.7A Active CN112534472B (zh) 2018-12-27 2019-11-14 图像判定装置、图像判定方法及其程序的记录介质

Country Status (5)

Country Link
US (1) US11922680B2 (zh)
EP (1) EP3905193A4 (zh)
JP (1) JP7075057B2 (zh)
CN (1) CN112534472B (zh)
WO (1) WO2020137228A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022185474A1 (ja) * 2021-03-04 2022-09-09 日本電気株式会社 学習装置、学習方法、検査装置、検査方法、及び、記録媒体
TW202336685A (zh) 2022-03-10 2023-09-16 日商歐姆龍股份有限公司 檢查系統以及人工智慧模型資料的管理方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0484282A (ja) * 1990-07-26 1992-03-17 Nec Corp 追記学習型パターン認識装置
JP2005034211A (ja) * 2003-07-16 2005-02-10 Fuji Photo Film Co Ltd 画像判別装置、方法およびプログラム
JP2006039862A (ja) * 2004-07-26 2006-02-09 Mitsubishi Electric Corp データ類別装置
JP2009301121A (ja) * 2008-06-10 2009-12-24 Nikon Systems Inc 印象判定処理方法、プログラム、及び、画像印象判定装置
US20150170004A1 (en) * 2011-11-21 2015-06-18 Google Inc. Evaluating image similarity
CN107113383A (zh) * 2015-01-20 2017-08-29 奥林巴斯株式会社 图像处理装置、图像处理方法和程序

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05181972A (ja) 1991-12-27 1993-07-23 Nec Corp パタン分類方法及び装置
JP2017049974A (ja) 2015-09-04 2017-03-09 キヤノン株式会社 識別器生成装置、良否判定方法、およびプログラム

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0484282A (ja) * 1990-07-26 1992-03-17 Nec Corp 追記学習型パターン認識装置
JP2005034211A (ja) * 2003-07-16 2005-02-10 Fuji Photo Film Co Ltd 画像判別装置、方法およびプログラム
JP2006039862A (ja) * 2004-07-26 2006-02-09 Mitsubishi Electric Corp データ類別装置
JP2009301121A (ja) * 2008-06-10 2009-12-24 Nikon Systems Inc 印象判定処理方法、プログラム、及び、画像印象判定装置
US20150170004A1 (en) * 2011-11-21 2015-06-18 Google Inc. Evaluating image similarity
CN107113383A (zh) * 2015-01-20 2017-08-29 奥林巴斯株式会社 图像处理装置、图像处理方法和程序
US20170302867A1 (en) * 2015-01-20 2017-10-19 Olympus Corporation Image processing apparatus, image processing method, and computer-readable recording medium

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
DOULAMIS A D ET AL: "retainable neural networks for image analysis and classification", 《IEEE》, 12 October 1997 (1997-10-12), pages 3558 - 3563, XP000788347, DOI: 10.1109/ICSMC.1997.633215 *
LIEN PO CHUN ET AL: "product surface defect detection based on deep learning", 《IEEE》, 12 August 2018 (2018-08-12), pages 250 - 255, XP033431504, DOI: 10.1109/DASC/PiCom/DataCom/CyberSciTec.2018.00051 *

Also Published As

Publication number Publication date
JP2020107104A (ja) 2020-07-09
EP3905193A1 (en) 2021-11-03
US20210256302A1 (en) 2021-08-19
US11922680B2 (en) 2024-03-05
EP3905193A4 (en) 2022-08-31
WO2020137228A1 (ja) 2020-07-02
JP7075057B2 (ja) 2022-05-25
CN112534472B (zh) 2024-04-30

Similar Documents

Publication Publication Date Title
KR20190063839A (ko) 제조 공정에서 딥러닝을 활용한 머신 비전 기반 품질검사 방법 및 시스템
EP3904866A1 (en) Defect inspecting device, defect inspecting method, and program for same
US20220222806A1 (en) Machine learning-based classification of defects in a semiconductor specimen
CN112534472B (zh) 图像判定装置、图像判定方法及其程序的记录介质
KR20210020065A (ko) 비전 시스템을 갖는 이미지에서 패턴을 찾고 분류하기 위한 시스템 및 방법
CN111783812A (zh) 违禁图像识别方法、装置和计算机可读存储介质
Nagato et al. Machine learning technology applied to production lines: image recognition system
CN112567426B (zh) 图像判定装置、图像判定方法及其程序的记录媒体
US11222267B2 (en) Image inspection apparatus, image inspection learning method, and non-transitory computer-readable storage medium for storing image inspection program
CN113298166A (zh) 缺陷分类器和缺陷分类方法、装置、设备及存储介质
KR20230036650A (ko) 영상 패치 기반의 불량 검출 시스템 및 방법
EP2573694A1 (en) Conversion method and system
JP7130190B2 (ja) 画像判定装置、学習方法及び画像判定プログラム
JP7241533B2 (ja) 画像判定装置、画像判定方法及び画像判定プログラム
CN117935174B (zh) 真空袋膜生产线的智能化管理系统及方法
WO2023032549A1 (ja) 欠陥検査装置、欠陥検査方法および予測モデル生成方法
KR102595182B1 (ko) 이미지 이상 탐지 방법
EP4343710A1 (en) Mark detection method and computer program
CN117649538A (zh) 一种工业质检场景与ai模型的匹配方法及装置
CN111275138A (zh) 图像处理装置、图像处理方法以及存储介质
CN115587959A (zh) 异常检测系统及异常检测方法
CN111914866A (zh) 对抗图像检测模型的训练方法、装置和存储介质
CN114119463A (zh) 一种缺陷的检测方法及装置
CN117173105A (zh) 芯片缺陷检测方法、装置、设备及介质
CN114529756A (zh) 图像标注方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant