CN114897037A - 类别判定系统、类别判定方法及类别判定程序 - Google Patents

类别判定系统、类别判定方法及类别判定程序 Download PDF

Info

Publication number
CN114897037A
CN114897037A CN202210072258.7A CN202210072258A CN114897037A CN 114897037 A CN114897037 A CN 114897037A CN 202210072258 A CN202210072258 A CN 202210072258A CN 114897037 A CN114897037 A CN 114897037A
Authority
CN
China
Prior art keywords
image data
classification
determination
feature amount
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202210072258.7A
Other languages
English (en)
Inventor
陈日飞
木川洋一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nitto Denko Corp
Original Assignee
Nitto Denko Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nitto Denko Corp filed Critical Nitto Denko Corp
Publication of CN114897037A publication Critical patent/CN114897037A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G06V10/765—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects using rules for classification or partitioning the feature space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/778—Active pattern-learning, e.g. online learning of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G06F18/24155—Bayesian classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06V10/7747—Organisation of the process, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/87—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using selection of the recognition techniques, e.g. of a classifier in a multiple classifier system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/06—Recognition of objects for industrial automation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)

Abstract

提供一种类别判定系统、方法及程序，其用于减少对检查对象物的图像数据进行类别判定时的错误判定。该系统包括：分类部，将检查对象物的图像数据分类为预定数量的类别之中的任意一个类别；提取部，与分类目的地相关联地配置，并且通过对由分类部分类的图像数据进行处理来提取特征量；判定部，对在针对每个分类目的地预先确定的特征量空间中的各分布区域之中的、检查对象物的图像数据被分类的分类目的地的分布区域中是否包含检查对象物的图像数据的特征量进行判定，各分布区域是分类目的地已知的图像数据的特征量的分布区域；以及输出部，在判定为未包含检查对象物的图像数据的特征量的情况下，输出检查对象物的图像数据属于新类别的判定结果。

Description

类别判定系统、类别判定方法及类别判定程序
技术领域
本发明涉及一种类别判定系统、类别判定方法及类别判定程序。
背景技术
已知一种类别判定系统，其基于检查对象物的图像数据判定检查对象物是正常还是异常，并且在异常的情况下，通过对异常的类型进行判定，从而判定检查对象物的图像数据属于哪一个类别。
在该类别判定系统中，例如，以类别已知的图像数据作为训练用数据进行有监督学习，并且使用所生成的训练完成的模型对类别未知的图像数据进行类别判定。
<现有技术文献>
<专利文献>
专利文献1：日本特开2019-32268号公报
发明内容
<本发明要解决的问题>
然而，在上述类别判定系统中，在发生训练用数据中未包含的新类型的异常的情况下，会做出错误的类别判定。
根据一个方面，本发明的目的在于提供一种类别判定系统、类别判定方法及类别判定程序，其用于减少对检查对象物的图像数据进行类别判定时的错误判定。
<用于解决问题的手段>
根据一个实施方式，提供一种类别判定系统，包括：分类部，将检查对象物的图像数据分类为预定数量的类别之中的任意一个类别；提取部，与分类目的地相关联地配置，并且通过对由所述分类部分类的图像数据进行处理来提取特征量；判定部，对在针对每个所述分类目的地预先确定的特征量空间中的各分布区域之中的、所述检查对象物的图像数据被分类的分类目的地的分布区域中是否包含所述检查对象物的图像数据的特征量进行判定，所述各分布区域是所述分类目的地已知的图像数据的特征量的分布区域；以及输出部，在判定为未包含所述检查对象物的图像数据的特征量的情况下，所述输出部输出所述检查对象物的图像数据属于新类别的判定结果。
<发明的效果>
能够提供一种类别判定系统、类别判定方法及类别判定程序，其用于减少对检查对象物的图像数据进行类别判定时的错误判定。
附图说明
图1是示出训练阶段中的类别判定系统的系统构成的一个示例的图。
图2是示出分类装置或判定装置的硬件构成的一个示例的图。
图3是示出由分类装置的分类训练部进行的处理的具体示例的图。
图4是示出由第1判定装置的第1判定训练部进行的处理的具体示例的图。
图5是示出检查阶段中的类别判定系统的系统构成的一个示例的图。
图6是示出由分类装置的分类部进行的处理的具体示例的图。
图7是示出由第1判定装置的第1判定部进行的处理的具体示例的图。
图8A是示出针对由第1判定装置分类的多个图像数据由第1判定部提取的各特征量在特征量空间中的分布的图。
图8B是示出针对由第1判定装置分类的多个图像数据由第1判定部提取的各特征量的距分布区域的重心位置的马氏距离的图。
图9是示出训练处理的流程的流程图。
图10是示出类别判定处理的流程的流程图。
符号说明
100：类别判定系统
110：分类装置
112：分类训练部
120_1：第1判定装置
122_1：第1判定训练部
120_2：第2判定装置
122_2：第2判定训练部
120_n：第n判定装置
122_n：第n判定训练部
310：分类训练用数据
401：第1训练用数据
440：特征量空间生成部
500：类别判定系统
510：分类装置
511：分类部
520_1：第1判定装置
521_1：第1判定部
520_2：第2判定装置
521_2：第2判定部
520_n：第n判定装置
521_n：第n判定部
610：训练完成CNN部
620：分类目的地切换部
710：编码器
720：判定部
730：输出部
具体实施方式
以下，参照附图对各实施方式具体进行说明。需要说明的是，在本说明书和附图中，有时针对具有实质上相同的功能构成的构成要素，赋予相同的符号以省略重复的说明。
[第1实施方式]
<训练阶段中的类别判定系统的系统构成>
首先，对根据第1实施方式的类别判定系统的训练阶段中的系统构成进行说明。图1是示出训练阶段中的类别判定系统的系统构成的一个示例的图。
如图1所示，训练阶段中的类别判定系统100具有分类装置110、第1判定装置120_1、第2判定装置120_2、……、第n判定装置120_n。
在分类装置110中安装有分类训练程序，并且通过执行该程序，使得分类装置110起到分类训练部112的功能。
分类训练部112将存储在分类训练用数据存储部111中的分类训练用数据读出。分类训练用数据是将检查对象物的图像数据与其类别相关联而成的数据集。
需要说明的是，分类训练用数据的图像数据包括由检查员判定为正常的检查对象物的图像数据(例如类别＝“类别1(OK)”的图像数据)和由检查员判定为异常的检查对象物的图像数据。并且，由检查员判定为异常的检查对象物的图像数据包括各自包含各种异常的检查对象物的图像数据(例如，类别＝“类别2(NG_1)”、“类别3(NG_2)”、……等的图像数据)。
分类训练部112使用读出的分类训练用数据对预定的模型进行训练处理。分类训练部112以将检查对象物的图像数据适当地分类到相关联的类别的方式进行训练处理。
在第1判定装置120_1中安装有第1判定训练程序，并且通过执行该程序，使得第1判定装置120_1起到第1判定训练部122_1的功能。
第1判定训练部122_1将存储在第1训练用数据存储部121_1中的第1训练用数据读出。在第1训练用数据存储部121_1中存储的第1训练用数据中，关联有·分类训练用数据的图像数据之中的、判定为正常(类别＝“类别1(OK)”)的检查对象物的图像数据、以及
·其类别(“类别1(OK)”)。
另外，第1判定训练部122_1具有VAE(Variational Autoencoder：变分自编码器)，并且使用读出的第1训练用数据对VAE进行训练处理。另外，第1判定训练部122_1通过将第1训练用数据的各图像数据输入到构成已完成训练处理的VAE的编码器来提取特征量(也称为潜在变量)。
此外，第1判定训练部122_1对提取的特征量在特征量空间(也称为潜在空间)中分布的区域(分布区域)进行确定。需要说明的是，确定的分布区域被存储在后述的第1分布区域存储部中，并且将在检查阶段中被使用。
在第2判定装置120_2中安装有第2判定训练程序，并且通过执行该程序，使得第2判定装置120_2起到第2判定训练部122_2的功能。
第2判定训练部122_2将存储在第2训练用数据存储部121_2中的第2训练用数据读出。在第2训练用数据存储部121_2中存储的第2训练用数据中，关联有·分类训练用数据的图像数据之中的、判定为异常的检查对象物的图像数据并且是被判定为预定的类别的异常(“类别2(NG_1)”)的检查对象物的图像数据、以及
·其类别(“类别2(NG_1)”)。
另外，第2判定训练部122_2具有VAE，并且使用读出的第2训练用数据对VAE进行训练处理。另外，第2判定训练部122_2通过将第2训练用数据的各图像数据输入到构成已完成训练处理的VAE的编码器来提取特征量。
此外，第2判定训练部122_2对提取的特征量在特征量空间中分布的分布区域进行确定。需要说明的是，确定的分布区域被存储在后述的第2分布区域存储部中，并且将在检查阶段中被使用。
在第n判定装置120_n中安装有第n判定训练程序，并且通过执行该程序，使得第n判定装置120_n起到第n判定训练部122_n的功能。
第n判定训练部122_n将存储在第n训练用数据存储部121_n中的第n训练用数据读出。在第n训练用数据存储部121_n中存储的第n训练用数据中，关联有·分类训练用数据的图像数据之中的、判定为异常的检查对象物的图像数据并且是被判定为预定的类别的异常(“类别n(NG_n-1)”)的检查对象物的图像数据、以及
·其类别(“类别n(NG_n-1)”)。
另外，第n判定训练部122_n具有VAE，并且使用读出的第n训练用数据对VAE进行训练处理。另外，第n判定训练部122_n通过将第n训练用数据的各图像数据输入到构成已完成训练处理的VAE的编码器来提取特征量。
此外，第n判定训练部122_n对提取的特征量在特征量空间中分布的分布区域进行确定。需要说明的是，确定的分布区域被存储在后述的第n分布区域存储部中，并且将在检查阶段中被使用。
这样一来，训练阶段中的类别判定系统100具有与分类装置110的分类训练部112对检查对象物的图像数据进行分类时的分类目的地的类别的数量(＝n)相应的数量的判定装置。需要说明的是，在本实施方式中，假设检查对象物为预定的片材(例如医疗用片材)，并且假设在检查对象物中发生的异常的类型为5种类型(附着异物、亮点、黑线、黑点、卷缩)。因此，在本实施方式中，类别的数量为n＝6，各个类别与正常或异常(或异常类型)之间的对应关系如下。
·类别1(OK)＝正常
·类别2(NG_1)＝异常(附着异物)
·类别3(NG_2)＝异常(亮点)
·类别4(NG_3)＝异常(黑线)
·类别5(NG_4)＝异常(黑点)
·类别6(NG_5)＝异常(卷缩)。
<分类装置或判定装置的硬件构成>
接着，对分类装置110或第1判定装置120_1～第n判定装置120_n的硬件构成进行说明。需要说明的是，由于分类装置110和第1判定装置120_1～第n判定装置120_n均具有同样的硬件构成，因此在此使用图2一并进行说明。
图2是示出分类装置或判定装置的硬件构成的一个示例的图。如图2所示，分类装置110或第1判定装置120_1～第n判定装置120_n具有处理器201、存储器202、辅助存储装置203、I/F(Interface：接口)装置204、通信装置205、以及驱动器装置206。需要说明的是，分类装置110或第1判定装置120_1～第n判定装置120_n的各硬件经由总线207相互连接。
处理器201具有CPU(Central Processing Unit：中央处理单元)、GPU(GraphicsProcessing Unit：图形处理单元)等各种运算设备。处理器201将各种程序(例如分类训练程序或第1～第n判定训练程序等)读出至存储器202并对其进行执行。
存储器202具有ROM(Read Only Memory：只读存储器)、RAM(Random AccessMemory：随机存取存储器)等主存储设备。处理器201和存储器202构成所谓的计算机，并且处理器201通过对读出至存储器202的各种程序进行执行，使得计算机实现例如上述的各功能(分类训练部112～第n判定训练部122_n)。
辅助存储装置203对各种程序、或由处理器201执行各种程序时所使用的各种数据进行存储。例如，分类训练用数据存储部111、第1训练用数据存储部121_1～第n训练用数据存储部121_n在辅助存储装置203中实现。
I/F装置204是连接作为外部装置的一个示例的操作装置210和显示装置211与分类装置110或第1判定装置120_1～第n判定装置120_n的连接设备。I/F装置204经由操作装置210接受针对分类装置110或第1判定装置120_1～第n判定装置120_n的操作。另外，I/F装置204经由显示装置211显示由分类装置110或第1判定装置120_1～第n判定装置120_n进行的处理的结果。通信装置205是用于与其他装置(第1判定装置120_1～第n判定装置120_n、或分类装置110)进行通信的通信设备。
驱动器装置206是用于设置记录介质212的设备。此处所称的记录介质212包括诸如CD-ROM、软盘、磁光盘等以光学、电学或磁性的方式对信息进行记录的介质。另外，记录介质212可以包括诸如ROM、快闪存储器等以电学的方式对信息进行记录的半导体存储器等。
需要说明的是，安装在辅助存储装置203中的各种程序例如通过将分发的记录介质212设置在驱动器装置206中并通过驱动器装置206读出在该记录介质212中记录的各种程序来安装。或者，安装在辅助存储装置203中的各种程序可以通过经由通信装置205从网络进行下载来安装。
<由分类装置的分类训练部进行处理的具体示例>
接着，对由分类装置110的分类训练部112进行的处理的具体示例进行说明。图3是示出由分类装置的分类训练部进行的处理的具体示例的图。
如图3所示，分类训练用数据310包括“图像数据ID”、“类别”、“分类概率”作为信息项。
在“图像数据ID”中存储有用于对多个检查对象物的图像数据进行标识的标识符。在“类别”中存储有针对相应的图像数据由检查员判定的类别。在“分类概率”中存储有分类训练部112对预定的模型进行训练处理时的正确答案数据。具体来说，存储有将相应的图像数据的类别的分类概率设为100％并且将相应的图像数据的类别以外的类别的分类概率设为0％的正确答案数据。
在图3的示例中，符号311所示的分类概率是相应的图像数据(图像数据ID＝“图像数据1”)的类别为“类别1(OK)”。因此，在符号311所示的分类概率中，分别存储有作为类别1(OK)的分类概率的“100”、以及作为类别2(NG_1)～类别6(NG_5)的分类概率的“0”。
另外，如图3所示，分类训练部112还具有CNN部320、类别1分类概率取得部331～类别6分类概率取得部336、以及比较/变更部340。
CNN部320是由分类训练部112对其进行训练处理的预定的模型。通过将由存储在分类训练用数据310的“图像数据ID”中的各个标识符标识的各图像数据输入到CNN部320，从而输出各个类别(类别1(OK)～类别6(NG_5))的分类概率。
类别1分类概率取得部331取得从CNN部320输出的各个类别(类别1(OK)～类别6(NG_5))的分类概率之中的类别1(OK)的分类概率，并将其通知给比较/变更部340。
以下，同样地，类别2分类概率取得部332～类别6分类概率取得部336分别取得从CNN部320输出的其他类别(类别2(NG_1)～类别6(NG_5))的分类概率，并将其通知给比较/变更部340。
比较/变更部340将由类别1分类概率取得部331～类别6分类概率取得部336通知的各个类别的分类概率与从分类训练用数据310中读出的相应的图像数据的分类概率进行比较，并计算误差。另外，比较/变更部340通过对计算出的误差进行反向传播并对CNN部320的模型参数进行更新，从而对CNN部320进行训练处理。
这样一来，通过分类训练部112，以使在输入图像数据时从CNN部320输出的各个类别的分类概率接近作为分类训练用数据310的正确答案数据的“分类概率”的方式，对CNN部320的模型参数进行更新。
<由第1至第n判定装置的第1至第n判定训练部进行的处理的具体示例>
接着，对由第1判定装置120_1的第1判定训练部122_1～第n判定装置120_n的第n判定训练部122_n进行的处理的具体示例进行说明。需要说明的是，由第1判定装置120_1的第1判定训练部122_1～第n判定装置120_n的第n判定训练部122_n进行的处理为同样的处理内容。因此，在此对由第1判定装置120_1的第1判定训练部122_1进行的处理的具体示例进行说明。图4是示出由第1判定装置的第1判定训练部进行的处理的具体示例的图。
如图4所示，第1训练用数据401包括“图像数据ID”和“类别”作为信息项。
在“图像数据ID”中存储有用于对由检查员判定为正常的检查对象物的图像数据(即“类别1(OK)”的图像数据)进行标识的标识符。在“类别”中存储有“类别1(OK)”。
另外，如图4所示，第1判定训练部122_1还具有构成VAE的编码器410和解码器420、比较/变更部430、以及特征量空间生成部440。
通过将第1训练用数据401的图像数据(“类别1(OK)”的图像数据)输入到编码器410，从而进行该图像数据的维度压缩，并提取特征量。
解码器420从由编码器410进行了维度压缩的图像数据再现原始图像数据。
比较/变更部430将由解码器420再现的原始图像数据与输入到编码器410的图像数据进行比较，并以使两者一致的方式对编码器410和解码器420的模型参数进行更新。
这样一来，通过构成为使用VAE，从而能够在第1判定装置120_1中进行无监督的训练(学习)处理。
需要说明的是，如果编码器410和解码器420的模型参数被更新，并且对编码器410和解码器420的训练处理完成，则向编码器410输入第1训练用数据401的各图像数据(“类别1(OK)”的图像数据)。由此，在编码器410中，提取各图像数据的特征量。
特征量空间生成部440对由编码器410提取的特征量在特征量空间中分布的区域(分布区域)进行确定。由特征量空间生成部440确定的分布区域是由检查员判定为正常的检查对象物的图像数据的特征量分布的分布区域。
具体来说，特征量空间生成部440在特征量空间中绘制由编码器410提取的特征量。在图4中，特征量空间441是横轴为特征量A、纵轴为特征量B的二维的特征量空间，×标记示出了由编码器410提取的特征量在特征量空间441中的绘制位置。
另外，特征量空间生成部440对由编码器410提取的特征量在特征量空间441中分布的第1分布区域450进行确定。在图4中，第1分布区域450是由检查员判定为正常的检查对象物的图像数据的特征量分布的分布区域。
需要说明的是，虽然在图4的示例中示出了由2种类型的特征量组成的二维的特征量空间，但是特征量空间不限于二维，而是可以形成与由编码器410提取的特征量的种类相应的维度数量的特征量空间。
另外，第1分布区域450的确定方法是任意的，例如可以计算在特征量空间中绘制的所有特征量的重心位置，并以与重心位置相距3σ的距离的位置作为边界位置来确定分布区域。
<检查阶段中的类别判定系统的系统构成>
接着，对根据第1实施方式的类别判定系统的检查阶段中的系统构成进行说明。图5是示出检查阶段中的类别判定系统的系统构成的一个示例的图。
如图5所示，检查阶段中的类别判定系统500具有分类装置510、第1判定装置520_1、第2判定装置520_2、……第n判定装置520_n。
在分类装置510中安装有分类程序，通过执行该程序时，使得分类装置510起到分类部511的功能。
分类部511具有训练完成的CNN部，并且当被输入由拍摄装置530拍摄的检查对象物540的图像数据时，将该图像数据分类为预定数量的类别之中的任意一个类别。
在第1判定装置520_1中安装有第1判定程序，通过执行该程序，使得第1判定装置520_1起到第1判定部521_1的功能。
当在分类部511中将检查对象物540的图像数据分类为类别＝“类别1(OK)”时，第1判定部521_1通过对图像数据进行处理以提取特征量。
另外，第1判定部521_1将存储在第1分布区域存储部522_1中的第1分布区域读出，并对提取的特征量是否包含在特征量空间中的第1分布区域中进行判定。
另外，在第1判定部521_1判定提取的特征量包含在特征量空间的第1分布区域中的情况下，输出检查对象物540的图像数据属于“类别1(OK)”的判定结果。
另外，在第1判定部521_1判定提取的特征量未包含在特征量空间的第1分布区域中的情况下，输出检查对象物540的图像数据属于“新类别”的判定结果。
在第2判定装置520_2中安装有第2判定程序，通过执行该程序，使得第2判定装置520_2起到第2判定部521_2的功能。
当在分类部511中将检查对象物540的图像数据分类为类别＝“类别2(NG_1)”时，第2判定部521_2通过对图像数据进行处理以提取特征量。
另外，第2判定部521_2将存储在第2分布区域存储部522_2中的第2分布区域读出，并对提取的特征量是否包含在特征量空间中的第2分布区域中进行判定。
另外，在第2判定部521_2判定提取的特征量包含在特征量空间的第2分布区域中的情况下，输出检查对象物540的图像数据属于“类别2(NG_1)”的判定结果。
另外，在第2判定部521_2判定提取的特征量未包含在特征量空间的第2分布区域中的情况下，输出检查对象物540的图像数据属于“新类别”的判定结果。
在第n判定装置520_n中安装有第n判定程序，通过执行该程序，使得第n判定装置520_n起到第n判定部521_n的功能。
当在分类部511中将检查对象物540的图像数据分类为类别＝“类别n(NG_n-1)”时，第n判定部521_n通过对图像数据进行处理以提取特征量。
另外，第n判定部521_n将存储在第n分布区域存储部522_n中的第n分布区域读出，并对提取的特征量是否包含在特征量空间中的第n分布区域中进行判定。
另外，在第n判定部521_n判定提取的特征量包含在特征量空间的第n分布区域中的情况下，输出检查对象物540的图像数据属于“类别n(NG_n-1)”的判定结果。
另外，在第n判定部521_n判定提取的特征量未包含在特征量空间的第n分布区域中的情况下，输出检查对象物540的图像数据属于“新类别”的判定结果。
这样一来，检查阶段中的类别判定系统500具有与分类装置510的分类部511对检查对象物540的图像数据进行分类时的分类目的地的类别的数量(＝n)相应的数量的判定装置。需要说明的是，在本实施方式中，针对检查阶段，也与训练阶段同样地，以类别的数量为n＝6为例进行说明。
<由分类装置的分类部进行的处理的具体示例>
接着，对由分类装置510的分类部511进行的处理的具体示例进行说明。图6是示出由分类装置的分类部进行的处理的具体示例的图。
如图6所示，分类部511还具有训练完成CNN部610和分类目的地切换部620。
训练完成CNN部610是分类训练部112在训练阶段对CNN部320进行训练处理而生成的训练完成模型。当将检查对象物540的图像数据输入到训练完成CNN部610时，训练完成CNN部610输出各个类别(类别1(OK)～类别6(NG_5))的分类概率。
分类目的地切换部620确定从训练完成CNN部610输出的各个类别(类别1(OK)～类别6(NG_5))的分类概率之中的最大分类概率的类别。另外，分类目的地切换部620将确定的类别判定为检查对象物540的图像数据的分类目的地，并将检查对象物540的图像数据发送到与判定的分类目的地相关联地配置的判定装置。
例如，在确定的类别是“类别1(OK)”的情况下，分类目的地切换部620将检查对象物540的图像数据发送到第1判定装置520_1。另外，在确定的类别是“类别2(NG_1)”的情况下，分类目的地切换部620将检查对象物540的图像数据发送到第2判定装置520_2。以下，同样地，在确定的类别是“类别3(NG_2)”～“类别6(NG_5)”中的任意一者的情况下，分类目的地切换部620分别将检查对象物540的图像数据发送到第3判定装置520_3～第6判定装置520_6中的任意一者。
<由第1至第n判定装置的第1至第n判定部进行的处理的具体示例>
接着，对由第1判定装置520_1的第1判定部521_1～第n判定装置520_n的第n判定部521_n进行的各处理的具体示例进行说明。需要说明的是，由第1判定装置520_1的第1判定部521_1～第n判定装置520_n的第n判定部521_n进行的各处理为同样的处理内容。因此，在此，对由第1判定装置520_1的第1判定部521_1进行的处理的具体示例进行说明。图7是示出由第1判定装置的第1判定部进行的处理的具体示例的图。
如图7所示，第1判定部521_1包括编码器710、判定部720、以及输出部730。
编码器710是构成第1判定训练部122_1在训练阶段对VAE进行训练处理而生成的训练完成的VAE的编码器，并且是提取部的一个示例。当被输入从分类装置510发送的检查对象物540的图像数据时，编码器710提取特征量。
判定部720从第1分布区域存储部522_1读出第1分布区域450。另外，判定部720在特征量空间441中绘制由编码器710提取的特征量。此外，判定部720对绘制的特征量是否包含在第1分布区域450中进行判定。
在由判定部720绘制的特征量包含在第1分布区域450中的情况下，输出部730输出检查对象物540的图像数据属于“类别1(OK)”的判定结果。
另外，在由判定部720绘制的特征量未包含在第1分布区域450中的情况下，输出部730输出检查对象物540的图像数据属于“新类别”的判定结果(并非类别1(OK))的判定结果)。
需要说明的是，除了输出判定结果之外，输出部730可以被构成为以可视化的方式输出判定过程(特征量空间中的特征量的分布、或特征量与分布区域的边界位置之间的关系)(参见图8A、图8B)。
图8A是示出针对由第1判定装置分类的多个图像数据由编码器710提取的各特征量在特征量空间中的分布的图。在图8A中，图表810示出了三维的特征量空间的示例，并且图表810中的各个标记(圆形标记、方形标记)表示特征量。
需要说明的是，图8A的示例示出了在检查对象物540上连续地发生污点时的多个图像数据被输入到分类装置510，并且该多个图像数据均被分类部511分类为“类别1(OK)”的情况。另外，图8的示例示出了用圆形标记绘制发生污点之前的图像数据的特征量、并用方形标记绘制发生污点之后的图像数据的特征量的情况。
这样一来，通过由输出部730将特征量空间中的特征量的分布实时地可视化，从而能够使浏览图表810的工作人员容易地掌握
·用方形标记绘制的各特征量与用圆形标记绘制的各特征量不同，并且发生了新的异常、以及
·需要生成用于对具有用方形标记绘制的各特征量的图像数据进行分类的新的类别等情况。
另外，图8B是示出针对由第1判定装置分类的多个图像数据由编码器710提取的各特征量的距分布区域的重心位置的马氏距离(Mahalanobis distance)的图。在图8B的图表820中，横轴表示图像数据ID，纵轴表示从第1分布区域450的重心位置到各图像数据的特征量的位置的马氏距离。
与图8A同样地，图8B的示例示出了在检查对象物540上连续地发生污点时的多个图像数据被输入到分类装置510，并且该多个图像数据均被分类部511分类为“类别1(OK)”的情况。
另外，在图表820中，符号821表示第1分布区域450的边界位置(如上所述，在本实施方式中，假设第1分布区域450的边界位于与特征量空间中的第1分布区域450的重心位置相距3σ的距离的位置处。
这样一来，通过将各特征量与分布区域的边界位置之间的关系实时地可视化，从而能够使浏览图表820的工作人员容易地掌握
·特征量超过第1分布区域450的边界位置，并且发生了新的异常、以及
·需要生成用于对具有超过第1分布区域450的边界位置的各特征量的图像数据进行分类的新的类别等情况。
需要说明的是，如图8A的图表810和图8B的图表820所示，虽然在检查对象物540上连续地发生污点的情况下的图像数据暂且被分类为“类别1(OK)”，但是被判定部720判定为其未包含在第1分布区域450中。因此，在第1判定部521_1中，能够输出该多个图像数据属于“新类别”的判定结果。
这样一来，通过根据第1实施方式的类别判定系统500，在发生了未包含在分类训练用数据310中的新型的异常的情况下，虽然暂且将其分类到现有的分类目的地，但是由分类目的地的判定装置重新判定其正确与否。由此，能够避免做出错误的类别判定。换言之，通过根据第1实施方式的类别判定系统500，能够减少进行检查对象物540的图像数据的类别判定时的错误判定。
<训练处理的流程>
接着，对由训练阶段中的类别判定系统100进行的训练处理的流程进行说明。图9是示出训练处理的流程的流程图。
在步骤S901中，分类装置110取得分类训练用数据，并将其存储在分类训练用数据存储部111中。
在步骤S902中，分类装置110的分类训练部112使用分类训练用数据310对CNN部320进行训练处理。
在步骤S903中，分类装置110的分类训练部112对是否结束对CNN部320的训练处理进行判定。如果在步骤S903中判定为继续进行对CNN部320的训练处理(如果在步骤S903中为“否”)，则处理返回到步骤S901。另一方面，如果在步骤S903中判定为结束对CNN部320的训练处理(如果在步骤S903中为“是”)，则处理进行到步骤S904。
在步骤S904中，分类装置110向用于对类别的数量进行计数的计数器i输入“1”。
在步骤S905中，第i判定装置取得分类训练用数据310中包含的多个图像数据之中的类别i的图像数据作为第i训练用数据。
在步骤S906中，第i判定装置的第i判定训练部使用第i训练用数据对VAE进行训练处理。
在步骤S907中，第i判定装置的第i判定训练部对是否结束对VAE的训练处理进行判定。如果在步骤S907中判定继续进行对VAE的训练处理(如果在步骤S907中为“否”)，则处理返回到步骤S905。另一方面，如果在步骤S907中判定结束对VAE的训练处理(如果在步骤S905中为“是”)，则处理进行到步骤S908。
在步骤S908中，第i判定装置的第i判定训练部通过将第i训练用数据的各图像数据输入到构成完成了训练处理的VAE的编码器，从而提取类别i的图像数据的特征量。
在步骤S909中，第i判定装置的特征量空间生成部基于类别i的图像数据在特征量空间中的特征量的分布，确定第i分布区域，并将其存储在第i分布区域存储部中。
在步骤S910中，分类装置110对在与所有的类别相对应的判定装置中对VAE的训练处理是否完成进行判定。如果在步骤S910中判定为存在尚未完成对VAE的训练处理的判定装置(如果在步骤S910中为“否”)，则处理进行到步骤S911。
在步骤S911中，分类装置110使计数器i递增，并返回到步骤S905。
另一方面，如果在步骤S910中判定为在与所有的类别相对应的判定装置中对VAE的训练处理已完成(如果步骤S910中为“是”)，则结束训练处理。
<类别判定处理的流程>
接着，对由检查阶段中的类别判定系统500进行的类别判定处理的流程进行说明。图10是示出类别判定处理的流程的流程图。
在步骤S1001中，分类装置510取得检查对象物的图像数据。
在步骤S1002中，分类装置510的分类部511通过将取得的图像数据输入到训练完成CNN部610，从而将其分类为任意一个类别。
在步骤S1003中，分类装置510的分类部511将图像数据发送到分类目的地的判定装置。
在步骤S1004中，分类目的地的判定装置将从分类装置510发送的图像数据输入到构成训练完成的VAE的编码器，并提取特征量。
在步骤S1005中，分类目的地的判定装置将提取的特征量与分类目的地的类别的分布区域进行对比。
在步骤S1006中，分类目的地的判定装置对提取的特征量是否包含在分类目的地的类别的分布区域中进行判定。
如果在步骤S1006中判定为其包含在分布区域中(如果在步骤S1006中为“是”)，则处理进行到步骤S1007。
在步骤S1007中，分类目的地的判定装置输出检查对象物的图像数据属于分类目的地的类别的判定结果。
另一方面，如果在步骤S1006中判定其未包含在分布区域中(如果在步骤S1006中为“否”)，则处理进行到步骤S1008。
在步骤S1008中，分类目的地的判定装置输出检查对象物的图像数据属于新分类的判定结果。
在步骤S1009中，分类装置510判定是否结束类别判定处理。如果在步骤S1009中判定为继续进行类别判定处理(如果在步骤S1009中为“否”)，则处理返回到步骤S1001。
另一方面，如果在步骤S1009中判定为结束类别判定处理(如果在步骤S1009中为“是”)，则结束类别判定处理。
<总结>
从以上说明可以清楚地看出，根据第1实施方式的类别判定系统进行如下处理。
·将检查对象物的图像数据分类为预定数量的类别之中的任意一个类别。
·利用与分类目的地相关联地配置的判定装置，通过对分类的图像数据进行处理来提取特征量。
·对在针对每个分类目的地预先确定的特征量空间中的各分布区域之中的、检查对象物的图像数据被分类的分类目的地的分布区域中是否包含检查对象物的图像数据的特征量进行判定，各分布区域是分类目的地已知的图像数据的特征量分布的分布区域。
·在判定为未包含检查对象物的图像数据的特征量的情况下，输出检查对象物的图像数据属于新类别的判定结果，并且在判定为包含特征量的情况下，输出检查对象物的图像数据属于分类目的地的类别的判定结果。
由此，通过根据第1实施方式的类别判定系统，即使在检查阶段发生未包含在分类训练用数据中的新型的异常的情况下，也能够避免做出错误的类别判定。因此，通过根据第1实施方式的类别判定系统，能够减少针对检查对象物的图像数据进行类别判定时的错误判定。
[第2实施方式]
虽然在上述第1实施方式中，以将训练阶段中的类别判定系统和检查阶段中的类别判定系统分开构成为例进行了说明，但是也可以将两者构成为一体的系统。
另外，虽然在上述第1实施方式中，以将第1判定装置～第n判定装置分开构成为例进行了说明，但是也可以将第1判定装置～第n判定装置构成为一体的装置。
另外，虽然在第1实施方式中，以将分类装置和第1判定装置～第n判定装置分开构成为例进行了说明，但是也可以将分类装置和第1判定装置～第n判定装置构成为一体的装置。在此情况下，例如，可以将分类训练程序和各判定训练程序构成为一个训练程序。同样地，可以将分类程序和各判定程序构成为一个类别判定程序。
另外，虽然在第1实施方式中，将类别的数量(＝n)设为“6”，但是类别的数量也可以是5个以下或7个以上。
另外，在上述第1实施方式中，对类别判定系统500进行直到判定属于新类型的处理的情况进行了说明。然而，也可以构成为在判定为属于新类别的图像数据积累到一定量的情况下，对新类别(例如“类别7(NG_6)”)进行定义，并利用分类训练部112进行重新训练处理。另外，可以构成为新准备第7判定装置120_7，以利用第7判定训练部122_7进行重新训练处理。
需要说明的是，本发明不限于此处所示的构成，例如不限于上述实施方式中举出的构成等与其他要素的组合。关于该些内容，可以在不脱离本发明的宗旨的范围内进行改变，并且可以根据其应用形态适当地确定。

Claims (7)

1.一种类别判定系统，包括：
分类部，将检查对象物的图像数据分类为预定数量的类别之中的任意一个类别；
提取部，与分类目的地相关联地配置，并且通过对由所述分类部分类的图像数据进行处理来提取特征量；
判定部，对在针对每个所述分类目的地预先确定的特征量空间中的各分布区域之中的、所述检查对象物的图像数据被分类的分类目的地的分布区域中是否包含所述检查对象物的图像数据的特征量进行判定，所述各分布区域是所述分类目的地已知的图像数据的特征量的分布区域；以及
输出部，在判定为未包含所述检查对象物的图像数据的特征量的情况下，所述输出部输出所述检查对象物的图像数据属于新类别的判定结果。
2.根据权利要求1所述的类别判定系统，其中，
在判定为包含所述特征量的情况下，所述输出部输出将所述检查对象物的图像数据分类为分类目的地的类别的判定结果。
3.根据权利要求1所述的类别判定系统，其中，
所述分类部具有通过以分类目的地已知的图像数据作为训练用数据进行训练而生成的训练完成的模型，并且通过将所述检查对象物的图像数据输入到该训练完成的模型来对所述检查对象物的图像数据进行分类。
4.根据权利要求3所述的类别判定系统，其中，
所述提取部具有构成训练完成的变分自编码器的编码器，并且通过将由所述分类部分类的图像数据输入到该编码器来提取特征量，所述训练完成的变分自编码器通过使用所述训练用数据之中的相同类别的图像数据对变分自编码器进行训练而得到。
5.根据权利要求4所述的类别判定系统，其中，
所述判定部进行判定时使用的分布区域基于通过将所述训练用数据之中的相同类别的图像数据输入到构成所述训练完成的变分自编码器的编码器而得到的特征量的分布来确定。
6.一种类别判定方法，包括：
分类工序，将检查对象物的图像数据分类为预定数量的类别之中的任意一个类别；
提取工序，与分类目的地相关联地配置，并且通过对在所述分类工序中分类的图像数据进行处理来提取特征量；
判定工序，对在针对每个所述分类目的地预先确定的特征量空间中的各分布区域之中的、所述检查对象物的图像数据被分类的分类目的地的分布区域中是否包含所述检查对象物的图像数据的特征量进行判定，所述各分布区域是所述分类目的地已知的图像数据的特征量的分布区域；以及
输出工序，在判定为未包含所述检查对象物的图像数据的特征量的情况下，输出所述检查对象物的图像数据属于新类别的判定结果。
7.一种类别判定程序，用于使计算机执行以下工序：
分类工序，将检查对象物的图像数据分类为预定数量的类别之中的任意一个类别；
提取工序，与分类目的地相关联地配置，并且通过对在所述分类工序中分类的图像数据进行处理来提取特征量；
判定工序，对在针对每个所述分类目的地预先确定的特征量空间中的各分布区域之中的、所述检查对象物的图像数据被分类的分类目的地的分布区域中是否包含所述检查对象物的图像数据的特征量进行判定，所述各分布区域是所述分类目的地已知的图像数据的特征量的分布区域；以及
输出工序，在判定为未包含所述检查对象物的图像数据的特征量的情况下，输出所述检查对象物的图像数据属于新类别的判定结果。
CN202210072258.7A 2021-01-26 2022-01-21 类别判定系统、类别判定方法及类别判定程序 Withdrawn CN114897037A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021-010593 2021-01-26
JP2021010593A JP2022114332A (ja) 2021-01-26 2021-01-26 クラス判定システム、クラス判定方法及びクラス判定プログラム

Publications (1)

Publication Number Publication Date
CN114897037A true CN114897037A (zh) 2022-08-12

Family

ID=80445631

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210072258.7A Withdrawn CN114897037A (zh) 2021-01-26 2022-01-21 类别判定系统、类别判定方法及类别判定程序

Country Status (4)

Country Link
US (1) US20220237895A1 (zh)
EP (1) EP4033404A1 (zh)
JP (1) JP2022114332A (zh)
CN (1) CN114897037A (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024161744A1 (ja) * 2023-02-02 2024-08-08 日東電工株式会社 画像分類装置、画像分類方法、検査システム及びプログラム
CN118429193A (zh) * 2024-07-02 2024-08-02 广州市斯睿特智能科技有限公司 一种自适应中值滤波的绝对相位图像优化方法及相关装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6726641B2 (ja) * 2017-05-26 2020-07-22 日東電工株式会社 画像分類プログラム、分類データ作成プログラム、及び、分類データ作成方法
CN110914864A (zh) * 2017-07-31 2020-03-24 富士通株式会社 信息处理装置、信息处理程序和信息处理方法
JP6922539B2 (ja) 2017-08-09 2021-08-18 日立金属株式会社 表面欠陥判定方法および表面欠陥検査装置
JPWO2021199706A1 (zh) * 2020-03-31 2021-10-07

Also Published As

Publication number Publication date
US20220237895A1 (en) 2022-07-28
JP2022114332A (ja) 2022-08-05
EP4033404A1 (en) 2022-07-27

Similar Documents

Publication Publication Date Title
CN109816032B (zh) 基于生成式对抗网络的无偏映射零样本分类方法和装置
CN111667066B (zh) 网络模型的训练、文字识别方法、装置和电子设备
CN114897037A (zh) 类别判定系统、类别判定方法及类别判定程序
CN111797829A (zh) 一种车牌检测方法、装置、电子设备和存储介质
CN109740609B (zh) 一种轨距检测方法及装置
US20200065664A1 (en) System and method of measuring the robustness of a deep neural network
CN112308148A (zh) 缺陷类别识别、孪生神经网络训练方法、装置及存储介质
CN110598019A (zh) 重复图像识别方法及装置
CN112883990A (zh) 数据分类方法及装置、计算机存储介质、电子设备
CN114332473A (zh) 目标检测方法、装置、计算机设备、存储介质及程序产品
KR20210082222A (ko) 화상 인식 장치 및 방법
CN112580616B (zh) 人群数量确定方法、装置、设备及存储介质
CN102243707A (zh) 字符识别结果验证设备和字符识别结果验证方法
CN116052848B (zh) 一种医学成像质控的数据编码方法及系统
CN110320802B (zh) 基于数据可视化的复杂系统信号时序识别方法
CN110826616A (zh) 信息处理方法及装置、电子设备、存储介质
JP7420578B2 (ja) 帳票仕分システム、帳票仕分方法、及びプログラム
CN115205619A (zh) 检测模型的训练方法、检测方法、装置和存储介质
CN114612246A (zh) 对象集合识别方法、装置、计算机设备及存储介质
CN113762292A (zh) 一种训练数据获取方法、装置及模型训练方法、装置
CN117690016B (zh) 一种变电站的业务场景图像匹配方法和系统
CN118429623B (zh) 城市设施异常识别方法、装置、电子设备及存储介质
US20240265551A1 (en) Apparatus, method and system for generating models for identifying objects of interest from images
CN116682122A (zh) 一种文本识别方法、装置、电子设备及存储介质
Santos et al. Exploring Image Classification Robustness and Interpretability with Right for the Right Reasons Data Augmentation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20220812