CN108320024A - 词典生成装置及方法、评估装置及方法、以及存储介质 - Google Patents

词典生成装置及方法、评估装置及方法、以及存储介质 Download PDF

Info

Publication number
CN108320024A
CN108320024A CN201810051692.0A CN201810051692A CN108320024A CN 108320024 A CN108320024 A CN 108320024A CN 201810051692 A CN201810051692 A CN 201810051692A CN 108320024 A CN108320024 A CN 108320024A
Authority
CN
China
Prior art keywords
dictionary
data
learning data
unit
creating apparatus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810051692.0A
Other languages
English (en)
Other versions
CN108320024B (zh
Inventor
梁卓琳
御手洗裕辅
龙本将史
真继优和
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Publication of CN108320024A publication Critical patent/CN108320024A/zh
Application granted granted Critical
Publication of CN108320024B publication Critical patent/CN108320024B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/02—Knowledge representation; Symbolic representation
    • G06N5/022—Knowledge engineering; Knowledge acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G06F18/2193—Validation; Performance evaluation; Active pattern learning techniques based on specific statistical tests
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/28—Determining representative reference patterns, e.g. by averaging or distorting; Generating dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/772—Determining representative reference patterns, e.g. averaging or distorting patterns; Generating dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/778—Active pattern-learning, e.g. online learning of image or video features
    • G06V10/7796—Active pattern-learning, e.g. online learning of image or video features based on specific statistical tests
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30148—Semiconductor; IC; Wafer

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Probability & Statistics with Applications (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Quality & Reliability (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Algebra (AREA)
  • Mathematical Optimization (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Molecular Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及词典生成装置及方法、评估装置及方法、以及存储介质。本发明的实施例旨在具有少数数据的高表现能力、同时防止多数数据的表现能力的降低的适当词典的学习。生成用于判别待判别的数据是否属于特定类别的词典的词典生成装置包括：生成单元，其被构造为基于属于所述特定类别的学习数据来生成第一词典；以及选择单元，其被构造为使用所生成的第一词典来估计各个部分处的学习数据与第一词典的匹配程度，并且基于估计的匹配程度来选择学习数据的一部分，其中，所述生成单元基于所选择的学习数据的一部分来生成第二词典。

Description

词典生成装置及方法、评估装置及方法、以及存储介质
技术领域
本发明涉及用于指定数据类别的词典学习技术。
背景技术
作为用于确定类别未知的数据是否属于特定类别的传统方法，存在如下方法：提取属于特定类别的许多数据共同的特征，并且根据是否能够从未知数据中提取出相似特征来做出确定。词典学习被提出作为用于提取关于特定类别的共同特征的方法。词典学习是用于获得表示多维数据空间的若干基准数据并且生成由基准数据的集合构成的词典的技术。根据属于特定类别的数据来生成词典，因此能够适当地表现特定类别的数据。另外，当确定类别时，使用来自词典的适当基准数据，针对类别未知的数据重构数据，并且根据诸如重构误差的指标来计算表现数据可能属于特定类别的似然度。
用于确定基准数据的方法与词典的表现能力有关。在Giacomo Boracchi et al.,2014,"Novelty Detection in Images by Sparse Representations",in Proceedingsof IEEE Symposium on Intelligent Embedded Systems,pp.47-54(以下称为第一非专利文献)中，描述了如下技术：为了表现正常的扫描电子显微镜(SEM)图像，迭代地校正基准数据，以降低整个学习数据的重构误差的平均值。此外，第一非专利文献描述了如下方法：为了检测图像中的异常部分，使用通过词典计算出的重构信息与正常范围的偏离程度。
然而，根据在第一非专利文献中描述的方法，学习词典以使整个数据的平均重构误差最小化。因此，当数据的一部分难以被重构时，在数据的该部分中，重构误差变得较高，并且出现词典缺乏表现能力的问题。具体地，当数据集包括具有高出现频率的数据(在下文中，被称为多数数据)和具有低出现频率的数据(在下文中，被称为少数数据)二者时，出现这样的问题：少数数据对平均重构误差贡献较小，并且难以被表现。
该问题与词典的大小有关，并且特别地，在词典中的基准数据的数量小时可能发生该问题。可以仅增加基准数据的数量，然而，存在这样的问题：对于存在于属于特定类别的数据中的异常值可能会过度采用基准数据，并且可能表现非特定类别的数据。图18例示词典的大小与表现能力之间的关系。在图18中，数据空间大致分类为：类型1，对象类别多数数据；类型2，对象类别少数数据；以及类型3，非对象类别数据。当基准数据的数量小时，仅表现类型1的数据，而类型2和类型3的数据不被表现并且难以被区分。另一方面，当基准数据的数量大时，这三种类型的数据都被表现。因此，期望词典具有适当的大小。
关于上述问题，日本特开2010-198476号公报描述了如下技术：降低多数数据的密度，并且然后与少数数据一起生成词典。因此，减少了学习的基准数据相比于少数数据的中心更偏向多数数据的中心的问题，并且能够提高表现少数数据的能力。
然而，根据日本特开2010-198476号公报中描述的技术，用于指定多数数据的方法是启发式的，并且由于多数数据的密度减小，因此可能降低表现多数数据的能力。如上所述，词典学习存在难以适当地表现少数数据的问题。
发明内容
考虑到上述问题，本发明的实施例旨在具有少数数据的高表现能力、同时防止多数数据的表现能力的降低的适当词典的学习。
根据本发明的一方面，提供了一种词典生成装置，其生成用于判别待判别的数据是否属于特定类别的词典，所述词典生成装置包括：生成单元，其被构造为基于属于所述特定类别的学习数据来生成第一词典；以及选择单元，其被构造为使用所生成的第一词典来估计各个部分处的学习数据与第一词典的匹配程度，并且基于估计的匹配程度来选择学习数据的一部分，其中，所述生成单元基于所选择的学习数据的一部分来生成第二词典。
通过以下参照附图对示例性实施例的描述，本发明的其他特征将变得清楚。
附图说明
图1是检查系统的整体视图。
图2例示用于进行词典生成处理的处理单元的软件构造。
图3是例示词典生成处理的流程图。
图4例示用于进行评估处理的处理单元的软件构造。
图5是例示评估处理的流程图。
图6例示根据第二示例性实施例的处理单元的软件构造。
图7是例示根据第二示例性实施例的词典生成处理的流程图。
图8例示显示画面的示例。
图9例示根据变型例的显示画面的示例。
图10例示根据第三示例性实施例的处理单元的软件构造。
图11是例示根据第三示例性实施例的词典生成处理的流程图。
图12例示根据第三示例性实施例的处理单元的软件构造。
图13是例示根据第三示例性实施例的评估处理的流程图。
图14例示根据第四示例性实施例的处理单元的软件构造。
图15是例示根据第四示例性实施例的词典生成处理的流程图。
图16是例示根据第四示例性实施例的评估处理的流程图。
图17例示根据变型例的显示画面的示例。
图18例示传统技术。
具体实施方式
下面将参照附图详细描述本发明的各种示例性实施例。
图1是根据第一示例性实施例的检查系统100的整体视图。根据本示例性实施例的检查系统100生成用于通过表面外观检查进行检查对象物体的质量确定的词典，并使用生成的词典确定物体的质量(即，好或坏)。更具体地，检查系统100使用已知为优质品的物体的拍摄图像作为学习数据，并生成将优质品的特征表现为特定类别的词典。此外，检查系统100将作为质量确定对象的数据(确定对象数据)作为类别未知的数据，并且通过使用词典确定该数据是否属于特定类别(优质品的类别)进行质量确定。
检查对象180由带式输送机181输送，并且通过信息处理装置110确定是优质品还是不良品。检查对象180的示例是金属部件、橡胶成型品、塑料成型品、诸如透镜的玻璃成型品、印刷电路板等。当由于加工工序等的改变而在检查对象180的表面产生在优质品上没有的瑕疵或不均匀时，检查对象180被检测为不良品。照明装置150提供适当的照明条件，使得检查对象180的表面状况可以被清楚地看到。图像拍摄装置140包括能够拍摄检查对象180的表面的视频等并且将拍摄的视频发送到信息处理装置110的摄像机。
输入装置120包括键盘和鼠标，并且从用户接收开始执行程序的指令。显示装置130包括监视器等，并显示中间处理结果和确定结果。作为显示的示例，显示检查对象的表面图片，并且其检查结果在图片的周边区域中显示为OK/NG。此外，除了OK/NG之外，显示装置130可以在图像中显示针对各个局部区域的确定结果，而不是显示整个图像的质量确定和优质品的似然度。
描述在根据本示例性实施例的信息处理装置110中实现的硬件构造。中央处理单元(CPU)111综合地控制连接到总线116的各个设备。只读存储器(ROM)113存储根据本示例性实施例的各个处理程序、操作系统(OS)、设备驱动器等。随机存取存储器(RAM)112在CPU111进行处理时临时存储程序。输入接口(I/F)115将从外部操作装置等输入的信息转换为可以由信息处理装置110处理的格式。输出I/F 114将要输出的信息转换为可以由显示装置130等处理的格式。CPU 111读取存储在ROM113中的处理步骤和程序，将它们临时存储在RAM112中，并且执行根据下面描述的各个流程图的处理。作为另一示例，信息处理装置110可以包括硬件，诸如使用CPU 111并且对应于下面描述的软件构造的各个功能的计算单元和电路。
根据第一示例性实施例的信息处理装置110通过阶段词典生成方法生成词典。更具体地，信息处理装置110生成用于重构各个阶段中的数据组的一部分的词典，并且基于针对所生成的词典的各个数据的重构信息来确定所生成的词典是否能够实现数据的近似。此外，信息处理装置110使用不能被近似的数据集生成下一阶段的词典。在根据本示例性实施例的阶段词典生成方法中，基于是否实现近似来进行二值确定，因此随着阶段的推进，在词典生成中要使用的数据的数量减少。因此，这种词典生成的类型可以被称为过滤器类型。
信息处理装置110的处理可大致分类为两个处理，即：词典生成处理和评估处理，其中，在词典生成处理中，进行词典生成处理以阶段地离线生成词典，在评估处理中，进行评估处理，以评估作为检查对象的数据属于特定类别的似然度。在词典生成处理中，信息处理装置110拍摄已知为优质品的物体的图像，从多个拍摄的图像中采样大量的小图像(在下文中，被称为补片(patch))，并且从优质品补片的集合生成由多个基准补片组成的词典。另一方面，在评估处理中，信息处理装置110拍摄质量未知的物体的图像，并且使用与词典生成处理中的方法相似的方法来从图像获得多个补片。随后，信息处理装置110使用词典生成处理中生成的词典来重构各个补片，并且根据补片与词典的匹配程度来评估补片是优质品(属于特定类别)的似然度。在评估处理中，信息处理装置110可以仅计算质量的似然度，并根据似然度确定各个补片的质量。作为另一示例，信息处理装置110可以将构成图像的多个补片的评估结果进行综合，并且计算整个图像的似然度和质量。
图2例示与信息处理装置110的词典生成处理有关的处理单元200的软件构造。图3是例示词典生成处理的流程图。如图2所示，处理单元200包括数据集读取单元210、数据集存储单元211、阶段词典生成处理单元220、新数据集读取单元250、新数据集存储单元251、以及输出处理单元260。阶段词典生成处理单元220包括词典生成处理单元230和阶段处理单元240。词典生成处理单元230包括词典生成单元231、词典存储单元232和完成确定单元233。阶段处理单元240包括重构单元241、重构信息存储单元242、模型计算单元243、模型存储单元244和选择单元245。各个单元的功能连同词典生成处理(图3)一起描述。
在图3的步骤S300中，数据集读取单元210获得用于学习的数据集，并将该数据集读取到数据集存储单元211中。用于学习的数据集包括从通过拍摄被预先已知为优质品的物体的图像而获得的拍摄图像中采样的多个补片。根据本示例性实施例，在补片采样中，综合地提取8×8像素补片，而不与拍摄的灰度图像交叠。数据集中包括的补片数量越多，数据集的能力就越好。然而，补片的数量可能会大于要生成的词典中的基准补片的数量。
作为另一个示例，可以采用允许交叠的提取方法和从随机位置提取补片的方法。当补片从图像突出时，补片可以在平行方向上移动，以被包括在图像中或在图像插值之后被裁剪。补片的大小可以不是8×8像素，并且可以采用用于根据经验采用适当大小的方法。根据本示例性实施例，数据是8×8＝64维向量，并且数据集是多个向量的集合。作为另一示例，当记录数据时，除了向量之外，还可以记录提取补片的位置。
在随后的步骤S301到S309中的处理是阶段词典生成处理。作为阶段词典生成处理中的处理对象的数据集被称为对象数据集。另外，包括在对象数据集中的数据被称为对象数据。初始阶段的对象数据集是由数据集读取单元210接收的数据集，并且随后的阶段的对象数据集是通过对数据集读取单元210接收的数据集进行过滤而获得的数据集。过滤后的数据集经由阶段处理单元240的下述处理来选择并由新数据集读取单元250读入到新数据集存储单元251中。
在步骤S301中，词典生成处理单元230中的词典生成单元231进行用于基于初始对象数据集生成K个基准数据(词典)的处理。基准数据具有相似于对象数据的格式，并且在未知数据被重构时被参考。基准数据的数量K是任意值。在阶段词典生成中，各个阶段的词典的大小可能较小。根据本示例性实施例，基准数据组的大小K是16。另外，在步骤S301中生成的词典被称为第一阶段词典。
词典生成单元231通过重复K次奇异值分解(K-SVD)和正交匹配追踪(OMP)来进一步校正生成的词典。K-SVD是使用稀疏编码(可以参考第一非专利文献)的词典生成方法。OMP是数据重构方法。在OMP中，从基准数据组中选择基准数据，以减少对各个对象数据的重构误差，并且通过所选择的基准数据的加权线性组合来近似数据。重复近似处理，直到所选择的基准数据的数量变为k个为止。各个基准数据的权重也被称为线性组合系数和重构系数。所有基准数据的权重的集合被称为线性组合系数向量和重构系数向量。
在OMP中，进行处理以计算(式1)的最优解。
[式1]
在式1中，yi{i＝1,2，...，N}表示对象数据集，并且例如，存储在数据集存储单元211和新数据集存储单元251中的数据。“i”表示数据的索引，并且“N”表示包括在对象数据集中的对象数据的数量。“D”表示基准数据组或词典。“xi”表示重构系数向量。“//yi-Dxi//2”表示重构误差。“//·//0”表示L0范数，“//·//2”表示L2范数。“k”表示基准数据的系数不为零并表示稀疏约束的数量的上限。根据本示例性实施例，词典生成单元231通过设置k＝2来计算(式1)的最优解。因此，获得这样的稀疏解：在重构系数向量的元素中，最大的两个值不为零且其他值为零。
K-SVD是用于交替进行词典校正处理和重构处理的方法，以利用少量的基准数据组合来有效地重构包括在对象数据集中的对象数据，并且可以参考Michal Aharon etal.,2006,"K-SVD:An Algorithm for Designing of Overcomplete Dictionaries forSparse Representation",IEEE Trans.Signal Processing(以下称为第二非专利文献)。
用于生成基准数据组的方法不限于根据本示例性实施例的方法。作为另一示例，词典生成单元231可以使用在生成词典时使用稀疏编码的组合系数的L1范数的词典生成方法、从自动编码器随机选择的方法、主分量分析、K均值聚类、对象数据集以及其他方法。
在步骤S301中的处理之后，在步骤S302中，完成确定单元233确定是否完成词典生成处理。当确定完成处理时(步骤S302中为“是”)，完成确定单元233使处理进行到步骤S310。当不确定完成处理时(步骤S302中为“否”)，完成确定单元233使处理进行到步骤S303。
完成确定单元233使用生成的词典对验证图像进行质量确定，并根据确定结果确定是否完成词典生成。更具体地，完成确定单元233使用被已知为优质品的物体和被已知为不良品的物体的相应拍摄图像作为验证图像。随后，完成确定单元233基于与词典的匹配程度来进行质量确定，并且当正确地确定真实优质品中的优质品的比率超过特定阈值时，确定完成词典生成。
如上所述，根据本示例性实施例的完成确定单元233将质量确定为整个图像，使得有必要统计与从图像中提取的所有补片的词典的匹配程度。更具体地，完成确定单元233计算匹配程度的平均值、最大值和方差，并生成图像的特征向量。接下来，完成确定单元233使用从学习图像集提取的特征向量，通过一类支持向量机(SVM)生成优质品分类器。随后，完成确定单元233使用生成的优质品分类器对验证图像进行质量确定。根据本示例性实施例，完成确定单元233使用一类SVM作为优质品分类器，然而，可以使用诸如最近邻法、子空间方法、费希尔辨别方法和神经网络等的辨别方法。另外，完成确定单元233可以使用用于分类器的学习的缺陷图像。
在随后的步骤S303至S307中的处理是用于选择少数数据的处理。少数数据是数据集中的、出现频率低的数据。在步骤S303中，重构单元241使用紧接在之前生成的词典(即，存储在词典存储单元232中的词典)通过在(式1)中指示的OMP处理重构对象数据集中包括的各个对象数据，并且计算重构信息。重构单元241将重构信息存储在重构信息存储单元242中。步骤S303中的处理是用于通过重构在词典的生成中使用的多个数据中的各个来获得重构信息的重构处理的示例。
在步骤S303中的处理中使用的词典是紧接在步骤S303中的处理的时间点之前生成的词典。换句话说，在步骤S301、在步骤S302中的“否”和步骤S303的处理顺序中，使用在步骤S301中的处理中生成的词典。另一方面，当在步骤S303至S307中进行处理然后通过步骤S309中的“否”返回至步骤S303的情况下，使用紧接在之前的步骤S308中的处理中生成的词典。此外，在步骤S303的处理中使用的对象数据是在步骤S308的处理中的、用于生成词典的数据集。
重构信息是表示多个参考中的各个对象数据与词典的相似度的评估值，并且包括由与多个参考相对应的多个相似度评估值构成的多个向量。作为另一示例，包括在重构信息中的重构向量的维数可以是一维。
作为另一示例，重构单元241可以使用用于使用多分辨率数据来计算重构信息的方法作为对大小未知的缺陷具有鲁棒性的方法。在这种情况下，重构单元241根据包括在数据集中的多个数据(图像)中的各个生成具有不同分辨率的多个图像。本处理是多分辨率处理的示例。此外，重构单元241可以根据各个分辨率的图像的重构信息，针对各个分辨率进行阶段词典生成。作为另一示例，重构单元241可以根据对象数据(图像)的水平、竖直和倾斜方向上的边缘图像生成词典，并且针对生成的词典计算重构信息。
在这种情况下，重构单元241对对象数据(原始图像)进行Haar小波变换，并且针对作为转换结果的多分辨率图像中的平滑图像和水平、竖直和对角方向上的高频分量提取图像中的各个学习词典。重构单元241还计算各个词典中的重构误差和重构系数向量的L1范数，并且最终获得连接所有这些评估值的向量作为重构信息。例如，当多分辨率的标度数为8时，获得总共8×4×2＝64维的重构信息向量。L1范数由(式2)获得。(式2)中的“d”是重构系数向量的维数。
[式2]
||xi||1＝|xi0|+|xi1|+...+|xi(d-1)|
[式3]
为了简化描述，(式3)指示从单个层级生成的重构向量。“//y-Dx//2”表示重构误差，“//·//1”表示L1范数，“x”表示通过稀疏编码等计算的重构系数向量，“y”表示评估数据，“D”表示词典，并且“r”表示评估数据的重构信息向量。
重构信息是指示数据与词典的匹配程度的信息的示例。根据本示例性实施例，使用重构信息作为指示匹配程度的信息，然而，指示匹配程度的信息不限于重构信息。指示匹配程度的信息可以是指示数据与词典的相似度的值、指示数据相对于词典的偏离程度的值等。另外，参数(诸如，作为各个指标的参考的特征量)的类型和数量不被特别限制。重构信息例如包括重构误差、重构系数向量的L1范数以及用于重构的基准数据的指标。此外，重构信息可以是这些信息中的一个或这些信息中的一些的组合。
接下来，在步骤S304中，模型计算单元243计算与存储在重构信息存储单元242中的各个对象数据相对应的多个重构信息中的各个的投影误差(//r-WWTr//2)。更具体地，模型计算单元243使用表示重构信息的重构向量来进行主分量分析，并且获得部分空间。此外，模型计算单元243将各个对象数据的重构信息向量投影到所生成的部分空间上，并计算其投影误差。在这方面，W＝{u1，u2，...，udk}表示通过对对象数据的重构信息进行主分量分析而获得的特征向量的集合，并且“dk”表示要使用的特征向量的数量。步骤S304中的处理是用于计算投影误差的投影误差评估处理的示例。
接下来，在步骤S305中，模型计算单元243计算(生成)针对多个对象数据中的各个获得的多个投影差错的分布模型。更具体地，模型计算单元243将投影误差的平均值μ0和标准方差σ0视为分布模型。步骤S305中的处理是用于生成投影误差的分布模型的模型生成处理的示例。
作为另一示例，模型计算单元243可以将在第二非专利文献中描述的、表示重构信息的向量的分布模型假定为高斯分布。作为又一示例，模型计算单元243可以不使用单峰高斯分布而是使用诸如混合高斯分布的复杂分布作为分布模型。在这种情况下，模型计算单元243通过KGMM个的高斯分布的混合来假定对象数据集的重构信息向量集{ri}{i＝1,2，...，N}的分布，并且通过期望最大化(EM)算法生成模型。
重构数据与对象数据的重合度越低，投影误差的值就越大。换句话说，投影误差是指示各个对象数据是否与词典匹配的评估值。根据本示例性实施例，信息处理装置110不按原样使用投影误差，而是计算通过平均值μ0和标准方差σ0将投影误差归一化而获得的值作为异常程度，并且通过这个指标来评估各个数据与词典的匹配程度。
接下来，在步骤S306中，选择单元245基于分布模型计算各个对象数据的异常程度。选择单元245还设置用于分离对象数据的异常范围和正常范围的异常程度的阈值。如上所述，选择单元245将投影误差的平均值和方差用于分布模型，并且将通过平均值μ0和标准方差σ0对投影误差进行归一化的值计算为异常程度。异常程度是相应数据与词典的匹配程度的指标值的示例。本处理是将投影误差转换为指标值的转换处理的示例。选择单元245将投影误差为平均值μ0到大于或等于nσ0的值的范围设置为异常范围，并将除此之外的范围确定为正常范围。更具体地，选择单元245设置(式4)中的阈值thres.1。
[式4]
(||r-WWTr||2-μ0)/σ0＜thres.1
(式4)的左侧表示异常程度。阈值thres.1是用于确定异常程度的正常与异常之间的边界的阈值，并且根据本示例性实施例，预先确定阈值被设置为thres.1＝n＝1的条件。作为另一示例，选择单元245可以根据用户操作来设置阈值。阈值可以与用于使用生成的词典来判别未知的输入图像是正常还是异常的阈值相同。
接下来，在步骤S307中，选择单元245选择与不满足(式4)的重构向量r对应的对象数据作为少数数据。本处理是基于分布模型选择少数数据的选择处理的示例。
作为步骤S306和S307中的处理的另一示例，选择单元245可以将分布模型假定为高斯分布，并基于与高斯分布的偏离程度来选择少数数据。更具体地，选择单元245计算各个数据与高斯分布的马氏距离作为异常程度。随后，选择单元245选择与不满足(式5)的重构向量r对应的对象数据作为少数数据。
[式5]
(式5)的左侧表示与高斯分布的马氏距离，“μ”和“Σ”分别表示对象数据的似然度的平均值和方差。“d”表示重构向量的维数。“thres.2”表示用于确定正常与异常之间的边界的阈值。
作为另一示例，选择单元245可以将分布模型假定为混合高斯分布，并且计算似然度P(r|θ)而不是重构向量的异常程度。此外，选择单元245可以基于似然度来选择少数数据。更具体地，选择单元245选择与不满足(式6)的重构向量r对应的对象数据作为少数数据。
[式6]
在(式6)中，θk＝{πk，μk，Σk}，θ＝{θk}，以及{k＝1,2，...，KGMM}表示混合高斯分布的参数，并且“thres.3”表示用于确定正常与异常之间的边界的阈值。如上所述，选择单元245可以使用似然度而不是异常程度作为相应数据与词典的匹配程度的指标值。作为又一个示例，选择单元245可以使用似然度的倒数作为异常程度。
如上所述，阶段处理单元240生成重构信息的正常模型，通过对相对于正常模型的似然度和异常程度(偏离程度)的阈值处理来确定少数数据的范围，并且选择属于所确定的范围的数据作为少数数据。通过阈值处理偏离程度和似然度可以由符号函数来表示。转换后的偏离程度和似然度被视为与词典的匹配程度。
作为另一示例，重构信息可以为一维，并且在这种情况下，阶段处理单元240可以通过对重构信息的阈值处理来选择少数数据，而不生成分布模型。例如，选择单元245可以将投影误差的降序中的前n％或前n个位置设置为阈值，并且选择前n％或前n个位置中的补片作为少数数据。在这种情况下，响应于用户操作，选择单元245可以将值n设置为阈值。另外，选择单元245可以响应于根据下面描述的第二示例性实施例的用户操作，通过少数区域选择来确定正常范围，并且选择在正常范围之外的数据作为少数数据。
如上所述，根据本示例性实施例，选择单元245根据重构信息的重构向量来计算投影误差，并且基于投影误差的分布模型来选择少数数据。选择单元245的处理是用于基于重构信息来选择数据的处理、用于基于投影误差选择数据的处理以及用于基于投影误差的分布模型来选择数据的处理。所有的重构信息、重构向量、投影误差以及分布模型都是指示数据与词典的匹配程度的信息的示例。
接下来，在步骤S308中，新数据集读取单元250获得在步骤S305中选择的少数数据，并将少数数据作为新数据集读取到新数据集存储单元251中。随后，词典生成单元231将新数据集视为对象数据集，并使用对象数据集生成新的词典。基于对象数据集生成词典的处理与在步骤S301中描述的用于生成第一阶段词典的处理相似。如果在处理定时仅生成第一阶段词典，则在步骤S308中生成的词典是第二阶段词典。随后，通过重复步骤S303至S309中的处理，生成作为第三阶段、第四阶段等的阶段词典。步骤S308中的处理是词典生成处理的示例。
接下来，在步骤S309中，完成确定单元233进行词典生成处理的完成确定。当确定完成处理时(步骤S309中为“是”)，完成确定单元233使处理进行到步骤S310。当不确定完成处理时(步骤S309中为“否”)，完成确定单元233使处理进行到步骤S303。通过本处理，重复少数数据的选择处理和词典生成处理。换句话说，本处理是重复处理的示例。
完成确定单元233使用所生成的阶段词典来对验证图像进行质量确定，并根据确定结果确定是否完成词典生成。更具体地，完成确定单元233使用被已知为优质品的物体和被已知为不良品的物体的相应拍摄图像作为验证图像。随后，完成确定单元233基于与词典的匹配程度来进行质量确定，并且当正确地确定真实优质品中的优质品的比率超过特定阈值时，确定完成词典生成。本处理与步骤S302中的处理相似。
作为另一示例，完成确定单元233可以以阶段数为横轴并且以对象数据集的平均重构误差为纵轴绘制变化曲线，并且当曲线的变化变得柔和时确定完成处理。作为另一示例，当正常区域中的补片与缺陷区域中的补片之间的分离程度变为最高时，完成确定单元233可以确定完成处理。作为又一示例，当以预定数量的阶段生成词典时，完成确定单元233可以确定完成处理。
在步骤S310中，输出处理单元260进行控制以输出诸如所生成的词典(阶段词典)、各个词典的分布模型以及分布模型的正常范围的信息作为学习结果。因此，完成阶段词典生成处理。
如上所述，根据本示例性实施例的信息处理装置110使用在词典的生成中实际使用的多个数据来生成各个投影误差的分布模型，根据分布模型确定阈值，并选择少数数据。因此，与理论上假设投影误差的分布模型然后确定其阈值的情况相比，信息处理装置110可以选择更合适的数据作为少数数据。因此，信息处理装置110可以生成适合于作为属于特定类别的似然度的评估对象的数据的特征的词典。
接下来，描述信息处理装置110的评估处理。图4例示与信息处理装置110的评估处理有关的处理单元400的软件构造。图5是例示评估处理的流程图。如图4所示，处理单元400包括数据读取单元410、数据存储单元411、阶段数据处理单元420、新数据读取单元430、新数据存储单元431和输出处理单元440。阶段数据处理单元420包括词典读取单元421、词典存储单元422、重构单元423、重构信息存储单元424、分布模型读取单元425、分布模型存储单元426、异常程度计算单元427和评估单元428。连同评估处理(图5)一起描述各个单元的功能。
在图5的步骤S500中，数据读取单元410获得作为确定对象的数据，并将该数据读取到数据存储单元411中。作为确定对象的数据是从未知是否是优质品的物体的拍摄图像中获得的补片数据。数据读取单元410使用与图3中的步骤S300中的处理中描述的采样方法相似的采样方法来生成补片。在下文中，将作为确定对象的数据称为对象数据。
后续步骤S501至S507中的处理是使用阶段生成的多个词典重构对象数据的处理。在步骤S501中，词典读取单元421将在词典生成处理(图3)中生成的词典读入到在线词典存储单元422中。重复执行步骤S501中的处理，并且当响应于阶段词典的生成而第一次执行步骤S501中的处理时，词典读取单元421读取在步骤S301中生成的第一阶段词典。此外，词典读取单元421根据步骤S501中的处理的重复计数(从步骤S501到步骤S507的循环处理)，按照阶段的顺序读取词典(诸如，第二阶段词典和第三阶段词典)。在下文中，将在步骤S501中读取的词典称为对象词典。
接下来，在步骤S502中，重构单元423使用对象词典重构对象数据，并计算重构信息。用于根据对象数据计算重构信息的处理与在步骤S303中描述的处理相似。接下来，在步骤S503中，分布模型读取单元425将与对象词典对应的分布模型读入分布模型存储单元426中。在该步骤中读取的分布模型是在步骤S304中针对对象词典生成的分布模型。以下，将步骤S503中读取的分布模型称为对象分布模型。接下来，在步骤S504中，异常程度计算单元427基于在步骤S502中计算的重构信息来计算对象数据相对于对象词典的异常程度。用于计算异常程度的处理相似于在步骤S306中描述的处理。如上所述，根据本示例性实施例的信息处理装置110在对象数据的质量确定中也使用异常程度。
接下来，在步骤S505中，评估单元428基于异常程度来进行对象数据是否在正常范围内的少数确定。正常范围是在步骤S305中对分布模型设置的范围。当对象数据不包括在正常范围内时，评估单元428将对象数据确定为少数。当确定为少数时(步骤S506中为“是”)，评估单元428使处理进行到步骤S507。当未确定为少数时(步骤S506中为“否”)，评估单元428使处理前进到步骤S510。在步骤S510中，评估单元428将对象数据确定为正常数据。此外，输出处理单元440进行控制以输出正常的确定结果作为评估结果。因此，完成评估处理。
另一方面，在步骤S507中，评估单元428确认对象词典是否是最终阶段词典。当对象词典不是最终阶段词典时(步骤S507中为“否”)，评估单元428使处理前进到步骤S508。当对象词典是最终阶段词典时(步骤S507中为“是”)，评估单元428使处理进行到步骤S509。在步骤S508中，评估单元428清除异常程度。此外，新数据读取单元430将在此之前操纵为处理对象的数据读入到新数据存储单元431中，以再次将数据设置为对象数据。随后，新数据读取单元430使处理进行到步骤S501。在这种情况下，在步骤S501中，词典读取单元421读取下一阶段词典并进行随后的处理。在步骤S509中，输出处理单元440进行控制以输出针对最终阶段词典获得的异常程度作为评估结果。由此，评估处理完成。步骤S509和S510中的处理是用于评估对象数据属于特定类别的似然度的评估处理的示例。
作为另一示例，在步骤S510中，输出处理单元440可以进行控制以输出异常程度作为与属于特定类别的似然度相对应的指标，而不是正常的确定结果。作为又一个示例，输出处理单元440可以代替上述评估结果或除上述评估结果以外，输出与构成捕获图像的多个补片中的各个的评估结果相对应的综合评估结果。
如上所述，根据本示例性实施例的信息处理装置110生成过度检测数据的词典，粗略地确定学习数据，并通过下一阶段词典再次确定数据。因此，信息处理装置110可以渐近地计算属于特定类别的少数数据与不属于特定类别的数据之间的、难以确定的边界。
根据本示例性实施例的信息处理装置110可以根据词典生成中使用的数据与词典的匹配程度，来选择适当的少数数据。因此，信息处理装置110可以生成具有少数数据的高表现能力，同时防止多数数据的表现能力的降低的适当词典。
作为第一示例性实施例的第一变型例，信息处理装置110可以选择包括少数补片的外围补片的少数区域作为少数数据。例如，信息处理装置110将通过在本示例性实施例中描述的处理选择的少数数据视为少数数据候选。此外，信息处理装置110基于关于图像的位置信息和被选择作为少数数据候选的对象数据的分布模型的投影误差来生成投影误差映射图(map)。随后，信息处理装置110可以在映射图中搜索作为少数区域的显著区域，再次使用区域中的投影误差的最大值和平均值作为阈值来确定正常范围和少数范围，并且选择少数数据。通过上述处理，信息处理装置110可以通过区域搜索参考外围区域来获得例如300×300像素的宏范围而不是8×8像素的微范围中的异常区域。在这种情况下，用户可以通过向用户呈现异常候选区域的应用等直观地理解处理装置的效果。
作为第二变型例，词典生成处理和评估处理可以在不同的装置中执行。例如，第一信息处理装置进行词典生成处理，并且将诸如所生成的阶段词典和各个词典的分布模型等的信息发送到第二信息处理装置。此外，第二信息处理装置对数据进行评估处理。
作为第三变型例，信息处理装置110可以基于重构信息来选择少数数据，并且用于选择的具体处理不限于本示例性实施例中的处理。例如，当如上所述重构信息为一维时，信息处理装置110可以按照由重构信息所指示的值的降序来选择相对于词典具有较高偏离程度的预定数量或者预定比率的数据作为少数数据。换句话说，在这种情况下，投影误差的计算、分布模型的生成以及异常程度(或偏离程度)的计算是不必要的。
另外，信息处理装置110可以基于指示匹配程度的信息来选择少数数据，并且这里要使用的、指示匹配程度的信息不限于重构信息、投影误差、和异常程度(或偏离程度)。指示匹配程度的信息可以是指示可以评估相对于词典的偏离程度或相似度的值的信息。此外，信息处理装置110可以使用指示与用于生成分布模型的指标值的匹配程度的值，而不限于投影误差。换句话说，信息处理装置110可以基于指示匹配程度的信息的分布来选择少数数据，并且用于选择的具体处理不限于本示例性实施例中的处理。
接下来，描述根据第二示例性实施例的检查系统100。当正常范围被广泛设置时，被确定为正常的大部分数据的比率增加，并且少数学习的效率降低。另一方面，当正常范围变窄时，有可能错过要再学习的正常数据。因此，需要一种确定用于设置正常范围与异常范围之间的边界的适当阈值的方法。少数学习的目的在于区分正常数据中异常程度高的数据和缺陷数据中异常程度低的数据。当专注于这一点时，期望的是识别缺陷数据中具有最小异常程度的数据，并且使用所识别的数据的异常程度的邻近值作为边界来选择少数数据。这样选择的少数数据被使用，并且因此能够生成缺陷数据与正常数据之间的边界精度高的词典。
在下文中，描述根据第二示例性实施例的检查系统100与根据第一示例性实施例的检查系统100的不同点。图6例示根据第二示例性实施例的、与信息处理装置110的词典生成处理有关的处理单元600的软件构造。图7是例示根据第二示例性实施例的词典生成处理的流程图。如图6所示，除了根据第一示例性实施例的处理单元200(图2)的构造之外，处理单元600还包括缺陷数据集读取单元610和缺陷数据集存储单元611。连同词典生成处理(图7)一起描述各个单元的功能。
针对图7，与参考图3描述的词典生成处理中的处理相似的各个处理用相同的附图标记表示，并且省略其描述。在步骤S305中的处理之后，CPU 111使处理进行到步骤S700。在步骤S700中，缺陷数据集读取单元610将缺陷图像数据集读取到缺陷数据集存储单元611中。缺陷图像数据集是从缺陷图像获得的补片数据的集合。缺陷数据集读取单元610使用与在图3的步骤S300中的处理中描述的方法相似的采样方法来生成补片。
接下来，在步骤S701中，阶段处理单元240针对对象词典计算缺陷图像数据集中的各个数据的重构信息，根据重构信息计算投影误差，并进一步计算异常程度。本处理相似于在步骤S303至S306中描述的处理。接下来，在步骤S702中，输出处理单元260基于异常程度对缺陷图像数据集中的多个数据进行排序。异常程度是指示数据与词典的匹配程度的信息，并且本处理是排序处理的示例。输出处理单元260控制显示装置130显示数据列表，在该数据列表中，多个数据被按排序顺序布置。本处理是显示处理的示例。接下来，在步骤S703中，选择单元245选择由用户操作选择的数据作为少数数据。
图8例示在步骤S702中的处理的时间点处在显示装置130上显示的显示画面的示例。数据列表810被显示在显示画面800上。在数据列表810中，包括在缺陷图像数据集中的各个数据811被按异常程度的顺序显示。此外，在显示画面800上显示与缺陷数据集对应的原始图像(缺陷图像)820。
用户在视觉上确认显示在数据列表810中的各个数据(图像)。此外，用户选择作为指示正常状态的图像的图像(数据)，而用户将比指示明显缺陷的图像的异常程度更高的异常程度指示为再学习对象数据，即，少数数据。当用户选择数据列表810中的数据811时，选择的数据被传送到再学习数据的区域830。另外，输出处理单元260进行控制以突出显示与由用户操作选择的数据对应的原始图像820中的区域。当用户按下再学习按钮840时，选择单元245选择传送到区域830的数据作为少数数据。
根据本示例性实施例，不仅显示数据列表810而且显示原始图像820，使得用户可以正确地确定各个数据是异常数据还是正常数据。在这方面，期望选择少数数据以缩小正常范围，以不错过具有低异常程度的缺陷。
返回图7，在步骤S702中的处理之后，CPU 111使处理进行到步骤S308。在步骤S308中，新数据集读取单元250获得在步骤S703中选择的少数数据，并将其作为新数据集读入到新数据集存储单元251中。随后，词典生成单元231将新数据集视为对象数据集并使用对象数据集生成新的词典。根据第二示例性实施例的信息处理装置110中的其他构造和处理与根据第一示例性实施例的信息处理装置110中的构造和处理相似。
如上所述，根据第二示例性实施例，通过与不属于特定类别的数据的比较，通过用户操作来设置阈值，重点在于少数数据是难以与不属于特定类别的数据区分的数据。如上所述，可以灵活地设置阈值。
作为第二示例性实施例的第一变型例，在通过上述处理从缺陷图像中选择正常少数数据(少数数据)之后，选择单元245可以进一步将来自缺陷图像的正常少数数据(少数数据)和优质品的图像相加。当缺陷图像的数量小时，该处理是有效的。
更具体地，选择单元245计算所选择的少数数据的异常程度Aminor的分布(μ(Aminor)，σ(Aminor))。选择单元245还针对从缺陷图像裁剪的所有缺陷区域计算异常程度的最小值min(Adefect)。此外，选择单元245使用min(min(Adefect)，(μ(Aminor)-n*σ(Aminor)))确定用于确定正常少数范围的阈值。这里，“n”表示用于控制阈值的微调整的参数。用于调整n值的调整条可以被添加在显示画面上。在这种情况下，在用户选择少数数据之后，通过默认值n来确定少数数据，并且更新后的少数数据被在数据列表810中突出显示。用户经由调整条来调整n值，并且因此其比率可以改变。
作为用于添加少数数据的处理，信息处理装置110可以从区域中提取诸如重构信息的特征，并且通过k-最近邻算法等选择在各个选择的区域附近的多个未选择的区域。此外，信息处理装置110可以将通过上述方法确定的阈值记录为分布模型的正常范围的阈值，并且在确定中参考记录的阈值来确定少数数据。
作为第二变型例，信息处理装置110还可以基于缺陷位置的信息来选择少数数据。例如，信息处理装置110可以获得指示缺陷图像中的缺陷位置的信息。此外，信息处理装置110可以根据用户操作选择的少数数据是否与缺陷位置交叠来自动地确定是否是少数数据并仅选择少数数据。此外，信息处理装置110可以根据缺陷位置确定当评估数据时的阈值。
作为第三变型例，当存在多个少数模式时，信息处理装置110可以通过分组或聚类来显示各个少数模式。信息处理装置110基于例如前一阶段词典中的重构信息进行分组。图9例示根据第三变型例的显示画面的示例。缺陷数据列表910被显示在显示画面900上。在缺陷数据列表910中，布置各个组的列表912，并且在各个列表912中布置缺陷数据911。期望各个列表的右侧和左侧位置与显示画面800中的数据列表810的右侧和左侧位置相匹配。另外，原始图像820、区域830和再学习按钮840被显示在显示画面900上。
例如，存在图9所示的原始图像820中包括两种类型的少数的情况。如上所述，当存在多个少数类型时，用户可能需要很长时间来确定是少数还是缺陷。另外，具有低异常程度的缺陷很可能被错过。因此，根据本变型例，信息处理装置110不仅按行显示排序的数据，而且显示从分组的相似少数模式中选择的代表性图案。因此，不显示许多相似的图案，并且当用户选择数据时可以提高效率。
作为第四变型例，信息处理装置110可以根据投影误差的值对数据进行排序而不生成分布模型。更具体地，当生成词典时(在步骤S301或步骤S308中)，信息处理装置110针对所生成的词典来计算缺陷数据集中的各个数据的投影误差，并且根据投影误差的值对数据进行排序。在这种情况下，信息处理装置110可以对与词典的匹配程度相对应的数据适当地进行排序。
作为第五变型例，信息处理装置110可以基于指示匹配程度的信息对数据进行排序，并且用于排序的具体处理不限于本示例性实施例中的处理。根据第二示例性实施例，描述了使用投影误差作为指示匹配程度的信息的示例，然而，指示匹配程度的信息不限于投影误差，并且从重构信息获得的另一指标值可以被使用。作为另一示例，信息处理装置110可以使用除重构信息之外的信息作为指示匹配程度的信息。
接下来，描述根据第三示例性实施例的检查系统100。根据第一示例性实施例和第二示例性实施例，信息处理装置110根据异常程度(似然度)选择少数数据，然而，根据本示例性实施例的信息处理装置110通过将与异常程度(似然度)相对应的权重添加到各个数据来生成阶段词典。
根据本示例性实施例的信息处理装置110通过划分大规模词典来生成小规模词典候选，并且从词典候选生成阶段词典。另外，在评估处理中，根据本示例性实施例的信息处理装置110针对多个阶段词典中的各个计算评估对象数据的异常程度(似然度)，并基于多个词典中的各个的异常程度评估数据是正常数据(属于特定类别)的似然度。
在下文中，描述根据第三示例性实施例的检查系统100与根据其他示例性实施例的检查系统100的不同点。图10例示根据第三示例性实施例的、与信息处理装置110的词典生成处理有关的处理单元1000的软件构造。图11是例示根据第三示例性实施例的词典生成处理的流程图。如图10所示，处理单元1000包括数据集读取单元1010、数据集存储单元1011、词典候选生成单元1020、词典候选存储单元1021和阶段词典生成处理单元1030。处理单元1000还包括权重值读取单元1060、权重值存储单元1061和输出处理单元1070。阶段词典生成处理单元1030包括词典选择单元1040和权重值处理单元1050。词典选择单元1040包括重构单元1041、重构信息存储单元1042、词典候选评估单元1043、词典存储单元1044和完成确定单元1045。权重值处理单元1050包括数据评估单元1051和权重值更新单元1052。与词典生成处理(图11)一起描述各个单元的功能。
在图11的步骤S1100中，数据集读取单元1010获得用于学习的数据集，并将该数据集读入到数据集存储单元1011中。本处理与参考图3描述的、步骤S300中的处理相似。接下来，在步骤S1101中，词典候选生成单元1020使用该数据集生成多个词典候选，并且将词典候选记录在词典候选存储单元1021中。更具体地，词典候选生成单元1020使用数据集生成单个大规模词典并将词典划分成多个小规模词典。词典候选生成单元1020将通过划分而获得的小规模词典作为词典候选记录在词典候选存储单元1021中。词典候选生成单元1020例如通过与在图3的步骤S301中的处理相似的方法生成大规模词典。为了保证词典候选的覆盖范围，期望使用更多个K0基准数据，换句话说，期望生成过度配备的词典。接下来，词典候选生成单元1020将基准数据随机划分为M个组，并且获得属于各个组的基准数据作为词典候选。根据本示例性实施例，词典候选生成单元1020设置K0＝256和M＝256，并且生成基准数据的数量是1的词典候选。
作为另一示例，词典候选生成单元1020可以在将基准数据划分成组时使用诸如K均值聚类的聚类方法。作为又一示例，用户可以指定具有差异特性的数据，并且词典候选生成单元1020可以根据与用户指定的区域相对应的基准数据集来进行分组。在这种情况下，可以生成能够捕获组中的微小变化和组之间的显著变化的词典候选。作为另一示例，词典候选生成单元1020可以基于基准数据和基准数据对被参考的频率来进行分组。
接下来，在步骤S1102中，权重值读取单元1060将初始值记录为与包括在权重值存储单元1061中的数据集中的各个数据相对应的权重值。权重值是指示当评估词典候选时，各个数据有助于词典候选成为评估对象的程度的评估值。根据本示例性实施例，权重值读取单元1060将初始权重wi (0)记录为1。“i”表示数据集中的第i个数据。wi (0)中的“0”表示词典生成的阶段是“0”。
接下来，在步骤S1103中，词典选择单元1040计算指示与由多个词典候选中的各个的权重值加权的输入数据集中的各个数据的匹配程度的评估值。在下文中，将词典候选对输入数据集中的各个数据的评估值称为词典评估值。根据本示例性实施例，词典评估值是通过对与包括在输入数据集中的多个数据相对应的词典候选的评估值进行综合而获得的值。另外，输入数据集中包括的各个数据针对词典(词典候选)的评估值被称为数据评估值。由重构单元1041和词典候选评估单元1043进行步骤S1103中的处理。在本处理中，可以使用以下描述的两种评估方法中的任一种。
(评估方法1)：该方法是使用全部词典候选对数据重构一次的相对评估方法，将所有词典候选对数据的贡献程度的总和视为1，并且根据各个词典候选的贡献程度的比率来评估词典候选。更具体地，重构单元1041使用(式1)和K0＝M个基准数据来重构各个数据y，并且将重构信息记录在重构信息存储单元1042中。因此，重构的数据可以以(式7)的形式表现。
[式7]
在(式7)中，“i”表示输入数据的索引，“m”表示词典候选(基准数据)的索引。“yi”表示重构的数据，“D＝{bm}，m＝0，...，K0-1”表示过度配备的词典，“xi”表示重构系数向量，“bm”表示第m基准数据，并且“xim”表示第m基准数据的系数。
接下来，词典候选评估单元1043使用(式8)来计算针对各个词典候选的词典评估值。
[式8]
在(式8)中，“N”表示输入数据的数量。“Vm (t)”表示关于第t词典选择处理的第m词典候选(第m基准数据bm)的评估值。“wi (t)”表示第t确定的词典选择处理中的第i输入数据的权重值。“Sim”表示第i输入数据与第m词典候选(基准数据)的相似度或第m词典候选(基准数据)对第i输入数据的贡献程度。相似度Sim由(式9)获得。
[式9]
相似度Sim不仅是第m词典候选(基准数据)与输入数据等的点积，而是通过(式1)的优化基于参考全部基准数据确定的重构系数，所以评估方法被称为相对评估。相似度Sim不会由时间t改变，因此可以预先计算。
(评估方法2)：该方法是使用各个词典候选对数据进行重构的绝对评估方法，并且选择具有最佳词典评估值的词典候选。当词典候选包括足够的基准数据时，例如，在K0＝256且M＝16的情况下，可以进行这样的评估。更具体地，当计算出第m词典候选时，重构单元1041使用(式4)至(式6)等来计算异常程度分数Aim，并将该异常程度分数Aim记录在重构信息存储单元1042中。接下来，词典候选评估单元1043使用(式8)计算词典评估值。然而，在本处理中，(式10)用于计算相似度Sim。
[式10]
当第i输入数据被第m生成的词典候选近似时，计算异常程度分数Aim。异常程度分数Aim可以被预先计算。
接下来，在步骤S1104中，词典候选评估单元1043基于词典评估值从词典候选中选择词典。在本处理中，根据步骤S1103中的处理，可以使用不同的选择方法。
(选择方法1(对应于评估方法1))：词典候选评估单元1043选择多个基准数据并选择其集合作为确定的词典。描述了在确定的词典中选择K'个基准数据的情况。词典候选评估单元1043按照K0个候选基准数据降序的顺序对评估值Vm (t)进行排序，并选择评估值最高的K'个基准数据。当所有基准数据的索引的集合被视为“I”时，所选择的基准数据的索引的集合被视为“Ik'”，并且未被选择的基准数据的索引的集合被视为“Ik””，所确定的词典由(式11)表示。
[式11]
在(式11)中，“D(t)”表示第t选择的确定词典(第t阶段确定的词典)。
(选择方法2(对应于评估方法2))：词典候选评估单元1043选择一个词典候选作为所确定的词典。词典候选评估单元1043将与M个评估值Vm (t)中的词典评估值的最大值对应的词典候选作为第t确定的词典存储在词典存储单元1044中。
接下来，在步骤S1105中，完成确定单元1045进行词典生成的完成确定。完成确定单元1045自动设置适合于数据集的词典生成次数T，并且当词典生成达到次数T时，使用与根据第一示例性实施例参考图3描述的、步骤S309中的处理相似的方法确定完成词典生成。与完成评估处理(步骤S309)的不同点是指示与最终阶段词典的匹配程度的指标值的计算方法。在步骤S1105中，完成确定单元1045使用下面描述的(式15)将与阶段词典的相似度计算为指标值。作为另一示例，可以预先设置词典生成的次数T。当确定完成处理时(步骤S1105中为“是”)，完成确定单元1045使处理进行到步骤S1108。在步骤S1108中，输出处理单元1070进行控制以输出所生成的词典(阶段词典)作为学习结果。当未确定完成处理时(步骤S1105中为“否”)，完成确定单元1045使处理进行到步骤S1106。
在步骤S1106中，数据评估单元1051针对在步骤S1104中选择的所确定的词典计算数据集中包括的各个数据的数据评估值。根据本示例性实施例，根据第一示例性实施例描述的异常程度被计算为数据评估值。
接下来，在步骤S1107中，当基于作为数据评估值的异常程度选择下一个词典时，权重值更新单元1052计算在步骤S1103中使用的数据的权重值，并且用新计算的权重值更新存储在权重值存储单元1061中的权重值。
更具体地，权重值更新单元1052首先计算相对于在步骤S1106中计算的第t阶段词典(确定的词典)的异常程度A(t)的平均值μ(A(t))和方差σ(A(t))，并将它们记录在词典存储单元1044中。接下来，权重值更新单元1052通过(式12)对异常程度进行标准化。通过本处理，异常程度的平均值变为零。
[式12]
接下来，权重值更新单元1052通过(式13)更新权重值。在(式13)中，将第t个数据的权重乘以系数，然而，异常程度分数不是按原样相乘，而是通过S型函数从0到1对异常程度分数进行归一化，并将其作为系数相乘。通过该处理，保证数据的权重随着次数T的增加而单调减小。
[式13]
在(式13)中，“wi (t)”表示紧接在处理之前执行的步骤S1103中使用的权重值，换句话说，表示紧接在之前生成的确定的词典的生成中使用的权重值。“wi (t+1)”表示紧接在处理之后执行的步骤S1103中使用的权重值。“Ai (t)”表示当数据i由第t选择的词典(第t阶段词典)近似时的异常程度，并且表现数据i与词典的匹配程度。“α”表示控制非线性变化的强度的增益。
步骤S1107中的处理是用于在第n阶段(n是大于或等于1的整数)词典被选择的时间点，响应于作为指示各个数据与没有被选择作为词典的词典候选的匹配程度的信息的异常程度来加权数据的加权处理的示例。当选择第(n+1)阶段词典时，使用通过本处理加权的数据。
作为另一示例，根据本示例性实施例，信息处理装置110可以针对所生成的词典生成输入数据的分布模型，并且进行控制，以将分布模型连同该词典一起输出到词典存储单元1044。
接下来，描述根据第三示例性实施例的信息处理装置110的评估处理。图12例示与信息处理装置110的评估处理有关的处理单元1200的软件构造。图13是例示评估处理的流程图。如图12所示，处理单元1200包括数据读取单元1210、数据存储单元1211、阶段数据处理单元1220、词典可靠性读取单元1230、词典可靠性存储单元1231和输出处理单元1240。阶段数据处理单元1220包括词典读取单元1221、词典存储单元1222、异常程度计算单元1223、词典可靠性计算单元1224、累加值计算单元1225和评估单元1226。与评估处理(图13)一起描述各个单元的功能。
在步骤S1300中，数据读取单元1210获取将成为确定对象的数据并将该数据读取到数据存储单元1211中。本处理与图5中的步骤S500中的处理相似。接下来，在步骤S1301，词典读取单元1221将由词典生成处理(图11)生成的词典和针对词典计算的值读入到词典存储单元1222中。针对词典计算的值包括作为包括在数据集中的各个数据的数据评估值的异常程度的平均值μ(A(t))和方差σ(A(t))。当生成分布词典时，词典读取单元1221也可以读取分布模型。
当步骤S1301中的处理被重复执行时，词典读取单元1221响应于阶段词典的生成而在第一次执行步骤S1301中的处理时读取第一阶段词典。此外，词典读取单元1221根据步骤S1301中的处理的重复计数(从步骤S1301到步骤S1305的循环处理)，按照诸如第二阶段词典和第三阶段词典的阶段的顺序读取词典。在下文中，将在步骤S1301中读取的词典称为对象词典。
接下来，在步骤S1302中，异常程度计算单元1223计算数据与对象词典的异常程度(偏离程度)Ai (t)。本处理与参考图5描述的步骤S502至S504的处理相似。接下来，在步骤S1303中，词典可靠性计算单元1224基于异常程度Ai (t)计算对象词典的词典可靠性。更具体地，词典可靠性计算单元1224使用(式14)计算针对对象词典的词典可靠性αi (t)。在(式14)中，“t”表示词典的阶段数。
[式14]
接下来，在步骤S1304中，累加值计算单元1225计算直到第t阶段词典的词典可靠性的累加值。接下来，在步骤S1305中，评估单元1226确认是否对通过词典生成处理生成的所有词典完成了从步骤S1301到步骤S1304的处理。当对所有词典完成了处理时(步骤S1305中为“是”)，评估单元1226使处理进行到步骤S1306。当存在任何未处理的词典时(步骤S1305中为“否”)，评估单元1226使处理进行到步骤S1301。在这种情况下，在步骤S1301中，词典读取单元1221读取处理后的词典的下一阶段词典。然后，执行后续处理。当对所有词典完成处理时，词典可靠性的累加值由(式15)表示。
[式15]
在(式15)中，“Si *”表示第i个数据与阶段学习的词典的匹配程度。“Si (t)”表示第i个数据与第t阶段词典的匹配程度，并且可以用异常程度分数Ai (t)的倒数来代替。“αi (t)”表示通过基于纵轴反转(式13)的系数部分而获得的(式14)计算的第i个数据相对于第t阶段词典的词典可靠性。
在步骤S1306中，输出处理单元1240进行控制以输出评估结果。词典可靠性的累加值是与各个词典的匹配程度的加权平均值，并且权重是对词典的可靠性的变型。计算出的累加值是与根据第一和第二示例性实施例的评估处理获得的异常程度(指示匹配程度的指标值)相对应的值。在步骤S1306中，输出处理单元1240输出累加值作为数据属于特定类别的似然度的评估结果。
作为另一示例，输出处理单元1240还可以生成分类器以根据累加值确定两个值，即，正常值或异常值，并将结果输出为评估结果。作为又一示例，输出处理单元1240可以针对从图像采样的各个小图像计算累加的匹配程度，使用所有小图像的统计量将质量确定为整个图像，并将结果输出为评估结果。
如上所述，根据第三示例性实施例的检查系统100将词典的重构能力指标化为像Si (t)那样的连续值，而不是在阶段词典生成的处理中的、是否使用用于学习的数据的二值化。另外，检查系统100在确定中将词典的重构能力指标化为如Si (t)那样的连续值。因此，检查系统100可以学习(生成)适当的词典。
接下来，描述根据第四示例性实施例的检查系统100。根据本示例性实施例，信息处理装置110将数据空间划分为与数据分布的多模态相对应的子空间，并且对各个子空间进行词典学习和评估。在下文中，描述根据第四示例性实施例的检查系统100与根据其他示例性实施例的检查系统100的不同点。图14例示根据第四示例性实施例的、与词典生成处理和评估处理有关的处理单元1400的软件构造。图15是例示根据第四示例性实施例的词典生成处理的流程图。图16是例示根据第四示例性实施例的评估处理的流程图。
如图14所示，处理单元1400包括数据集读取单元1410、数据集存储单元1411、划分单元1412、划分模型存储单元1413、子数据集存储单元1414和阶段词典生成单元1415。处理单元1400还包括词典存储单元1416、词典输出处理单元1417、数据读取单元1420、数据存储单元1421、子词典识别单元1422、阶段数据处理单元1423和评估结果输出处理单元1424。与图14和15一起描述各个单元的功能。
在图15中的词典生成处理中，首先，在步骤S1500中，数据集读取单元1410读取设置到数据集存储单元1411中的数据。本处理与图15中的步骤S300中的处理相似。接下来，在步骤S1501中，划分单元1412将数据集划分为多个数据集。在划分中，可以使用各种聚类方法。根据本示例性实施例，划分单元1412通过图3中的步骤S301至步骤S307的处理来选择少数数据，并基于在选择少数数据时获得的中间结果的信息(诸如重构信息)来进行聚类。因此，可以有效地进行划分处理。用于划分数据集的具体处理不限于本示例性实施例中的处理，并且可以在不使用少数数据的情况下划分数据集。
使用少数数据的划分方法包括以下方法。
数据划分方法1：作为要在聚类生成中使用的数据，除了原样使用补片和补片的离散余弦变换(DCT)结果以外，还可以使用重构系数向量(式7)和重构信息向量yi'。当数据空间被划分时，可以使用各种基本的聚类方法，诸如凝聚层次聚类生成和基于非分层优化的K均值聚类。另外，可以将根据第一示例性实施例描述的诸如K-SVD的词典生成方法应用于少数数据集，并且可以将获得的基准数据设置为聚类的中心。
数据划分方法2：要在聚类生成中使用的数据是关于哪个基准数据用于重构原始数据的信息。当重构方法是正交匹配追踪(OMP)时使用该方法。例如，在基准数据的数量K＝8并且选择的基准数据的数量k＝2的情况下，在重构处理之后，少数数据集被自动划分为NC＝kCK＝28个聚类。
数据划分方法3：数据划分方法2的扩展。当基准数据的数量大时，基准数据对的数量也增加，从而需要控制聚类的数量。在获得Nc个聚类之后，合并相似的聚类以减少聚类的数量。更具体地，重复使用通过数据划分方法2获得的聚类作为聚集聚类的中间阶段来计算聚类间距离并且合并相似聚类的处理，直到聚类达到指定数量的聚类。关于聚类间距离计算方法，可以使用最近邻法、组平均法、聚类间方差、贝叶斯误差率等。
接下来，在步骤S1502中，划分单元1412将划分模型记录在划分模型存储单元1413中。划分模型是关于在步骤S1501中获得的聚类生成的参数(聚类的中心等)的信息。接下来，在步骤S1503中，阶段词典生成处理单元1415从子数据集存储单元1414获得一个子数据集。接下来，在步骤S1504中，阶段词典生成处理单元1415使用步骤S1503中获得的子数据集作为对象数据集进行词典生成处理，并将词典记录在词典存储单元1416中。步骤S1504中的处理与图11中的步骤S1101至步骤S1107的处理相似。作为另一示例，在步骤S1504中，信息处理装置110可以进行图3中的、从步骤S301到步骤S309的处理。
接下来，在步骤S1505中，阶段词典生成处理单元1415确认是否对所有的子分组数据集完成步骤S1504中的处理。当对所有子数据组完成处理时(步骤S1505中为“是”)，阶段词典生成处理单元1415使处理进行到步骤S1506。当存在任何未处理的子数据集时(步骤S1505中为“否”)，阶段词典生成处理单元1415使处理进行到步骤S1503。在这种情况下，在步骤S1503中，阶段词典生成处理单元1415获得一个未处理的子数据集。然后，执行后续处理。在步骤S1506中，词典输出处理单元1417进行控制以输出生成的词典。由此，词典生成处理完成。
接下来，描述评估处理。在图16的评估处理中，首先，在步骤S1600中，数据读取单元1420获得将成为确定对象的数据，并将该数据读取到数据存储单元1421中。本处理与图5中的步骤S500中的处理相似。接下来，在步骤S1601中，子词典识别单元1422获得存储在划分模型存储单元1413中的各个聚类的划分模型。接下来，在步骤S1602中，阶段数据处理单元1423读取由词典生成处理获得的各个聚类的词典。
接下来，在步骤S1603中，阶段数据处理单元1423选择要用于确定对象数据的词典。更具体地，阶段数据处理单元1423计算对象数据与各个聚类的中心之间的距离，并且选择与距离最短的聚类相对应的词典。接下来，在步骤S1604中，阶段数据处理单元1423使用在步骤S1605中选择的词典来重构对象数据。
接下来，在步骤S1605中，评估结果输出处理单元1424进行控制以输出确定结果。步骤S1604和S1605中的处理与根据第一示例性实施例的、参照图5描述的步骤S502至S510中的处理相似。作为另一示例，信息处理装置110可以使用各个聚类的词典来指定与词典的匹配程度，而不指定数据所属的聚类，并且进行控制以将与各个聚类的词典的匹配程度的平均值输出为评估处理中的确定结果。
当存在少数数据时，可以认为多模态出现在数据的分布中。当对多模态数据进行词典学习时，学习表现聚类间差异的基准数据，然而，在聚类中出现精细表现不足的问题。根据本示例性实施例的信息处理装置110通过将数据空间划分为子空间来进行词典生成和确定，并且因此可以针对这样的问题提高聚类中的精细表现能力。
作为第四示例性实施例的变型例，数据划分处理不限于在本示例性实施例中描述的处理。当补片的大小很小时，难以确定补片是缺陷区域的一部分还是正常区域的一部分，因此基于补片的聚类不能提供直观的结果。在这种情况下，期望通过考虑外围补片来获得大面积，并且然后进行聚类。然而，在这种情况下，数据的维数变得更高，并且难以获得良好的聚类结果。就这一点而言，信息处理装置110可以响应于用户操作来进行聚类。
图17例示根据该变型例的显示画面的示例。数据列表810、原始图像820和再学习按钮840被显示在显示画面1700上。另外，显示与聚类相对应的两个区域1701和1702以及添加按钮1710。区域1701和1702分别属于不同的聚类。由用户传送到区域1701的数据属于与区域1701对应的聚类，并且传送到区域1702的数据属于与区域1702对应的聚类。另外，根据本变型例，每当用户按下添加按钮1710，添加并显示与聚类相对应的区域。因此，可以生成与用户操作相对应的数量的聚类，并且可以根据用户操作将各个数据分配到适当的聚类。与根据第二示例性实施例的、由用户的少数数据选择相比，本变型例可以与选择同时地判别数据，并且因此在数据中出现多模态时是有效的。
在上述示例性实施例中生成的词典涉及用于表现特定类别的表现词典的生成方法。这些方法可以应用于生成用于判别特定类别和非特定类别的判别性词典。当未知缺陷的类型难以预测时，表现词典是有效的。另一方面，例如，当缺陷的类型有限时，判别性词典是有效的。
当学习判别性词典时，需要使指示学习数据是否属于特定类别的学习数据标签信息作为已知信息。关于分类器，可以使用各种分类器，诸如线性判别式分类器、支持向量机和神经网络。与判别性词典的匹配程度表现分类器的判别结果与标签信息之间的一致程度。当使用神经网络作为分类器时，可以考虑如下判别方法：通过使用从学习图像裁剪的许多多分辨率小图像作为输入数据的自动编码器进行特征提取，并且使用逻辑回归对最后阶段进行判别性词典学习。此外，可以通过使用从学习图像裁剪的许多小图像作为输入数据学习卷积神经网络，来进行判别。
作为使用判别性词典的示例性实施例，根据第一示例性实施例，信息处理装置110可以在再学习中使用判别结果的类别与已知类别不一致的数据。作为使用判别性词典的另一示例性实施例，根据第二示例性实施例，信息处理装置110可以在用户界面中分别提供特定类别和非特定类别的再学习对象池。与第二示例性实施例的情况一样，信息处理装置110根据异常程度的高度(判别分数)确定显示区域的顺序。然而，当用户选择区域时，信息处理装置110分别对特定类别和非特定类别进行判别性词典的再学习，以将进入其他类别的一个类别的区域移动到该区域自己的类别的再学习对象池。根据本示例性实施例，如果在学习数据中存在标签信息仅部分已知的数据，则可以通过用户的反馈来进行判别性词典学习。
作为使用判别性词典的另一示例性实施例，根据第三示例性实施例，信息处理装置110使用学习数据是否属于特定类别作为已知信息将判别结果的类别与已知类别进行比较。此外，当两个类别彼此不一致时，信息处理装置110可以通过关注数据来进行再学习。在这种情况下，可以认为，类别与其他类别容易混淆的程度被用作在使用判别分数的再学习中的数据权重。
作为使用判别性词典的另一示例性实施例，根据第四示例性实施例，当在属于特定类别的数据中出现多模式时，可以将上述方法应用于各个划分的数据组以生成多个子分类器。
根据上述示例性实施例(第一至第四示例性实施例)，描述了将检查系统100应用于外观检查的示例，然而，检查系统100的应用对象不限于上述示例性实施例。作为另一示例，上述示例性实施例可以应用于评估运动图像是否包括特定场景的评估处理。例如，在从监视照相机检测到异常行为并且将人行走的行为视为正常行为并且将行走以外的行为视为异常行为的情况下，行走的人在场景中经过彼此的行为不被视为正常并且被检测为异常行为。然而，如果人们经过彼此的行为被视为少数模式，则可以应用上述示例性实施例中的方法。此外，例如，在可以生成用于表现诸如音频数据、超声波形分析、其他多媒体数据和文本数据等的数据的词典的情况下，可以将上述示例性实施例中的方法应用于其他格式的数据。
此外，根据上述示例性实施例的检查系统100确定类别未知的数据是否属于特定类别，然而，检查系统100可以应用于多类别分类问题以确定类别未知的数据属于许多具体类别中的哪一个类别。在这种情况下，检查系统100在学习词典时对各个类别进行阶段词典学习，并且在评估时，计算评估数据与各个类别的词典的匹配程度，并且可以输出数据属于具有最高的匹配程度的类别或数据不属于任何类别的结果。
根据本发明的实施例，可以学习具有少数数据的高表现能力的适当词典，同时防止多数数据的表现能力的降低。
其他实施例
本发明的(多个)实施例也可以通过如下实现：一种系统或装置的计算机，该系统或装置读出并执行在存储介质(其也可被更充分地称为“非暂态计算机可读存储介质”)上记录的计算机可执行指令(例如，一个或多个程序)，以执行上述(多个)实施例中的一个或多个的功能，并且/或者，该系统或装置包括用于执行上述(多个)实施例中的一个或多个的功能的一个或多个电路(例如，专用集成电路(ASIC))；以及由该系统或者装置的计算机执行的方法，例如，从存储介质读出并执行计算机可执行指令，以执行上述(多个)实施例中的一个或多个的功能，并且/或者，控制所述一个或多个电路以执行上述(多个)实施例中的一个或多个的功能。所述计算机可以包括一个或更多处理器(例如，中央处理单元(CPU)，微处理单元(MPU))，并且可以包括分开的计算机或分开的处理器的网络，以读出并执行所述计算机可执行指令。所述计算机可执行指令可以例如从网络或存储介质被提供给计算机。例如，存储介质可以包括如下中的一个或多个：硬盘，随机存取存储器(RAM)，只读存储器(ROM)，分布式计算系统的存储器，光盘(例如，压缩盘(CD)，数字多功能光盘(DVD)，或蓝光光盘(BD)TM)，闪速存储器装置，存储卡，等等。
本发明的实施例还可以通过如下的方法来实现，即，通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给系统或装置，该系统或装置的计算机或是中央处理单元(CPU)、微处理单元(MPU)读出并执行程序的方法。
虽然参照示例性实施例对本发明进行了描述，但是应当理解，本发明并不限于所公开的示例性实施例。应当对所附权利要求的范围给予最宽的解释，以使其涵盖所有这些变型例以及等同的结构和功能。

Claims (34)

1.一种词典生成装置，所述词典生成装置生成用于判别待判别的数据是否属于特定类别的词典，所述词典生成装置包括：
生成单元，其被构造为基于属于所述特定类别的学习数据来生成第一词典；以及
选择单元，其被构造为使用所生成的第一词典来估计各个部分处的学习数据与第一词典的匹配程度，并且基于估计的匹配程度来选择学习数据的一部分，
其中，所述生成单元基于所选择的学习数据的一部分来生成第二词典。
2.根据权利要求1所述的词典生成装置，其中，所述选择单元基于针对学习数据的匹配程度的分布来选择学习数据。
3.根据权利要求1所述的词典生成装置，所述词典生成装置还包括：
重构单元，其被构造为使用所述词典重构用于生成所述词典的学习数据，
其中，所述选择单元基于通过重构获得的重构信息来选择学习数据。
4.根据权利要求3所述的词典生成装置，其中
所述词典是用于稀疏编码的词典，并且
所述重构信息包括稀疏编码的组合系数的L1范数。
5.根据权利要求3所述的词典生成装置，所述词典生成装置还包括：
投影误差评估单元，其被构造为针对各个学习数据，计算当包括在所述重构信息中的重构向量被投影到通过重构向量的主分量分析而获得的部分空间时产生的投影误差，
其中，所述选择单元基于所述投影误差来选择学习数据的一部分。
6.根据权利要求5所述的词典生成装置，所述词典生成装置还包括：
模型生成单元，其被构造为生成各个学习数据的投影误差的分布模型，
其中，所述选择单元基于所述分布模型来选择学习数据的一部分。
7.根据权利要求6所述的词典生成装置，所述词典生成装置还包括：
转换单元，其被构造为基于所述分布模型，将所述投影误差转换为指示与所述第一词典的匹配程度的指标值，
其中，所述选择单元基于所述指标值来选择学习数据的一部分。
8.根据权利要求1所述的词典生成装置，所述词典生成装置还包括重复单元，所述重复单元被构造为进行控制，以使用由所述生成单元生成的所述词典和用于生成所述词典的学习数据来重复所述选择单元和所述生成单元的处理。
9.根据权利要求1所述的词典生成装置，所述词典生成装置还包括：
多分辨率单元，其被构造为根据用于生成所述第一词典的各个学习数据，来生成具有不同分辨率的多个学习数据，
其中，所述选择单元基于用于生成各个词典的学习数据相对于基于各个分辨率的多个学习数据而生成的多个第一词典的匹配程度，从各个分辨率的多个学习数据中选择学习数据的一部分，并且
其中，所述生成单元使用由所述选择单元选择的各个分辨率的学习数据来生成各个分辨率的第二词典。
10.根据权利要求1所述的词典生成装置，所述词典生成装置还包括：
划分单元，其被构造为基于特征将属于所述特定类别的学习数据划分成多个数据集，
其中，所述选择单元基于用于生成各个第一词典的学习数据相对于基于所述多个数据集中的各个而生成的多个第一词典中的各个的匹配程度，来从所述多个数据集中的各个中选择学习数据的一部分，并且
其中，所述生成单元生成与所述多个数据集中的各个相对应的第二词典。
11.一种词典生成装置，所述词典生成装置生成用于判别待判别的数据是否属于特定类别的词典，所述词典生成装置包括：
排序单元，其被构造为，基于包括在第二数据集中的学习数据相对于基于第一数据集而生成的第一词典的匹配程度，来对包括在第二数据集中的学习数据进行排序，所述第一数据集包括属于特定类别的学习数据，所述第二数据集包括属于特定类别的数据和不属于特定类别的数据；
显示处理单元，其被构造为在显示单元上显示数据列表，在所述数据列表中，学习数据根据排序而被布置；
选择单元，其被构造为响应于针对在显示单元上显示的学习数据的第一用户操作，来选择第二数据集中的学习数据的一部分；以及
词典生成单元，其被构造为使用由所述选择单元选择的学习数据来生成第二词典。
12.根据权利要求11所述的词典生成装置，所述词典生成装置还包括：
重构单元，其被构造为使用第一词典重构用于生成所述第一词典的学习数据，
其中，所述排序单元基于通过重构而获得的重构信息来对学习数据进行排序。
13.根据权利要求12所述的词典生成装置，所述词典生成装置还包括：
投影误差评估单元，其被构造为针对各个学习数据，计算当包括在所述重构信息中的重构向量被投影到通过重构向量的主分量分析而获得的部分空间时产生的投影误差，
其中，所述排序单元基于所述投影误差对学习数据进行排序。
14.根据权利要求13所述的词典生成装置，所述词典生成装置还包括：
模型生成单元，其被构造为针对各个学习数据生成投影误差的分布模型；以及
转换单元，其被构造为基于所述分布模型，将所述投影误差转换为指示与所述第一词典的匹配程度的指标值，
其中，所述排序单元基于所述指标值对学习数据进行排序。
15.根据权利要求11所述的词典生成装置，其中，
所述第二数据集包括根据属于与特定类别不同的类别的图像而生成的多个数据，并且
所述显示处理单元将所述图像与数据列表一起显示在显示单元上。
16.根据权利要求15所述的词典生成装置，其中，在响应于第二用户操作而在所述数据列表中选择学习数据的情况下，所述显示处理单元进行控制，以突出显示与所选择的学习数据相对应的图像的部分区域。
17.根据权利要求11所述的词典生成装置，所述词典生成装置还包括重复单元，所述重复单元被构造为进行控制，以使用由所述生成单元生成的第一词典以及包括在第二数据集中的学习数据来重复所述排序单元、所述显示处理单元、所述选择单元和所述生成单元的处理。
18.一种词典生成装置，所述词典生成装置生成用于判别待判别的数据是否属于特定类别的词典，所述词典生成装置包括：
加权单元，其被构造为在从基于属于特定类别的学习数据而生成的多个词典候选中选择第n阶段词典时，根据各个学习数据相对于未被选择为词典的词典候选的匹配程度，对学习数据中的至少一个学习数据进行加权，所述n是大于或等于1的整数；以及
选择单元，其被构造为基于由所述加权单元加权的学习数据，从未被选择为词典的词典候选中选择第(n+1)阶段词典。
19.根据权利要求18所述的词典生成装置，所述词典生成装置还包括：
重构单元，其被构造为针对未被选择为词典的词典候选生成各个学习数据的重构信息，
其中，所述加权单元基于所述重构信息来对学习数据进行加权。
20.根据权利要求19所述的词典生成装置，所述词典生成装置还包括：
投影误差评估单元，其被构造为针对各个学习数据，计算当包括在所述重构信息中的重构向量被投影到通过重构向量的主分量分析而获得的部分空间时产生的投影误差，
其中，所述加权单元基于所述投影误差来对学习数据进行加权。
21.根据权利要求20所述的词典生成装置，所述词典生成装置还包括：
模型生成单元，其被构造为生成多个数据中的各个的投影误差的分布模型，
其中，所述加权单元基于所述分布模型来对学习数据进行加权。
22.根据权利要求18所述的词典生成装置，所述词典生成装置还包括：
划分单元，其被构造为基于特征将属于特定类别的学习数据划分成多个数据集，
其中，所述加权单元对包括在各个数据集中的学习数据中的至少一个学习数据进行加权，并且
其中，所述选择单元针对各个数据集选择第(n+1)阶段词典。
23.根据权利要求18所述的词典生成装置，其中
所述选择单元还包括评估单元，所述评估单元被构造为评估各个学习数据相对于未被选择为词典的各个词典候选的匹配程度，并且
所述选择单元基于所述评估单元的评估结果来选择第(n+1)阶段词典。
24.一种评估装置，所述评估装置包括计算单元，所述计算单元被构造为，使用基于学习数据相对于词典的匹配程度而生成的多个阶段词典，来计算处理对象数据属于特定类别的似然度。
25.根据权利要求24所述的评估装置，其中，所述计算单元基于用于生成所述多个阶段词典中的各个阶段词典的各个学习数据的匹配程度的分布、以及所述处理对象数据的匹配程度，来计算所述似然度。
26.根据权利要求24所述的评估装置，其中，所述计算单元使用基于匹配程度加权的学习数据而按阶段生成的多个词典，来计算所述似然度。
27.一种词典生成方法，所述词典用于判别待判别的数据是否属于特定类别，所述词典生成方法包括以下步骤：
生成步骤，基于属于所述特定类别的学习数据来生成第一词典；
选择步骤，使用所生成的第一词典来估计各个部分处的学习数据与第一词典的匹配程度，并且基于估计的匹配程度来选择学习数据的一部分；以及
在所述生成步骤中，基于所选择的学习数据的一部分来生成第二词典。
28.一种词典生成方法，所述词典用于判别待判别的数据是否属于特定类别，所述词典生成方法包括以下步骤：
排序步骤，基于包括在第二数据集中的学习数据相对于基于第一数据集而生成的第一词典的匹配程度，来对包括在第二数据集中的学习数据进行排序，所述第一数据集包括属于特定类别的学习数据，所述第二数据集包括属于特定类别的数据和不属于特定类别的数据；
显示处理步骤，在显示单元上显示数据列表，在所述数据列表中，学习数据根据排序而被布置；
选择步骤，响应于针对在显示单元上显示的学习数据的第一用户操作，来选择第二数据集中的学习数据的一部分；以及
词典生成步骤，使用所选择的学习数据来生成第二词典。
29.一种词典生成方法，所述词典用于判别待判别的数据是否属于特定类别，所述词典生成方法包括以下步骤：
加权步骤，在从基于属于特定类别的学习数据而生成的多个词典候选中选择第n阶段词典时，根据各个学习数据相对于未被选择为词典的词典候选的匹配程度，对学习数据中的至少一个学习数据进行加权，所述n是大于或等于1的整数；以及
选择步骤，基于加权的学习数据，从未被选择为词典的词典候选中选择第(n+1)阶段词典。
30.一种评估方法，所述评估方法包括：使用基于学习数据相对于词典的匹配程度而生成的多个阶段词典，来计算处理对象数据属于特定类别的似然度。
31.一种存储介质，所述存储介质存储用于使计算机执行词典生成方法的各个处理的程序，所述词典用于判别待判别的数据是否属于特定类别，所述词典生成方法包括以下步骤：
生成步骤，基于属于所述特定类别的学习数据来生成第一词典；
选择步骤，使用所生成的第一词典来估计各个部分处的学习数据与第一词典的匹配程度，并且基于估计的匹配程度来选择学习数据的一部分；以及
在所述生成步骤中，基于所选择的学习数据的一部分来生成第二词典。
32.一种存储介质，所述存储介质存储用于使计算机执行词典生成方法的各个处理的程序，所述词典用于判别待判别的数据是否属于特定类别，所述词典生成方法包括以下步骤：
排序步骤，基于包括第二数据集中的学习数据相对于基于第一数据集而生成的第一词典的匹配程度，来对包括在第二数据集中的学习数据进行排序，所述第一数据集包括属于特定类别的学习数据，所述第二数据集包括属于特定类别的数据和不属于特定类别的数据；
显示处理步骤，在显示单元上显示数据列表，在所述数据列表中，学习数据根据排序而被布置；
选择步骤，响应于针对在显示单元上显示的学习数据的第一用户操作，来选择第二数据集中的学习数据的一部分；以及
词典生成步骤，使用所选择的学习数据来生成第二词典。
33.一种存储介质，所述存储介质存储用于使计算机执行词典生成方法的各个处理的程序，所述词典用于判别待判别的数据是否属于特定类别，所述词典生成方法包括以下步骤：
加权步骤，在从基于属于特定类别的学习数据而生成的多个词典候选中选择第n阶段词典时，根据各个学习数据相对于未被选择为词典的词典候选的匹配程度，对学习数据中的至少一个学习数据进行加权，所述n是大于或等于1的整数；以及
选择步骤，基于加权的学习数据，从未被选择为词典的词典候选中选择第(n+1)阶段词典。
34.一种存储介质，所述存储介质存储用于使计算机执行评估方法的各个处理的程序，所述评估方法包括：
使用基于学习数据相对于词典的匹配程度而生成的多个阶段词典，来计算处理对象数据属于特定类别的似然度。
CN201810051692.0A 2017-01-16 2018-01-16 词典生成装置及方法、评估装置及方法、以及存储介质 Active CN108320024B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017-005275 2017-01-16
JP2017005275A JP7058941B2 (ja) 2017-01-16 2017-01-16 辞書生成装置、辞書生成方法、及びプログラム

Publications (2)

Publication Number Publication Date
CN108320024A true CN108320024A (zh) 2018-07-24
CN108320024B CN108320024B (zh) 2022-05-31

Family

ID=62841563

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810051692.0A Active CN108320024B (zh) 2017-01-16 2018-01-16 词典生成装置及方法、评估装置及方法、以及存储介质

Country Status (3)

Country Link
US (1) US11521099B2 (zh)
JP (1) JP7058941B2 (zh)
CN (1) CN108320024B (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108388876B (zh) * 2018-03-13 2022-04-22 腾讯科技（深圳）有限公司 一种图像识别方法、装置以及相关设备
JP7106391B2 (ja) * 2018-08-22 2022-07-26 株式会社Ye Digital 画像判定方法、画像判定装置および画像判定プログラム
CN109359678B (zh) * 2018-10-09 2022-08-30 四川轻化工大学 一种白酒图谱的高精度分类识别算法
FR3088123B1 (fr) * 2018-11-02 2020-10-23 Commissariat Energie Atomique Procede et dispositif de detection d'un arc electrique dans un systeme electrique
CN109544614B (zh) * 2018-11-26 2022-04-01 东南大学 一种基于图像低频信息相似度的匹配图像对识别的方法
US11064219B2 (en) * 2018-12-03 2021-07-13 Cloudinary Ltd. Image format, systems and methods of implementation thereof, and image processing
JP7263074B2 (ja) * 2019-03-22 2023-04-24 キヤノン株式会社 情報処理装置、及びその制御方法、プログラム、記憶媒体
JP7170605B2 (ja) * 2019-09-02 2022-11-14 株式会社東芝 欠陥検査装置、欠陥検査方法、およびプログラム
JP7397404B2 (ja) 2020-02-07 2023-12-13 オムロン株式会社 画像処理装置、画像処理方法、及び画像処理プログラム
CN115375609A (zh) * 2021-05-21 2022-11-22 泰连服务有限公司 自动零件检查系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101295401A (zh) * 2008-06-05 2008-10-29 上海交通大学 基于线性pca的红外点目标检测方法
JP2009002743A (ja) * 2007-06-20 2009-01-08 Hitachi High-Technologies Corp 外観検査方法及びその装置および画像処理評価システム
JP2011007553A (ja) * 2009-06-24 2011-01-13 Hitachi High-Technologies Corp 欠陥検出方法及び装置
CN106164980A (zh) * 2014-03-27 2016-11-23 佳能株式会社 信息处理装置以及信息处理方法

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010198476A (ja) 2009-02-26 2010-09-09 Omron Corp 欠陥検出装置、欠陥検出方法および欠陥検出プログラム
JP5538967B2 (ja) * 2009-06-18 2014-07-02 キヤノン株式会社 情報処理装置、情報処理方法、プログラム
US9053393B2 (en) * 2010-03-19 2015-06-09 Canon Kabushiki Kaisha Learning method and apparatus for pattern recognition
CN103188988A (zh) * 2010-08-27 2013-07-03 索尼公司 图像处理装置及方法
KR101629165B1 (ko) * 2013-12-10 2016-06-21 삼성전자 주식회사 자기공명영상장치 및 그 제어방법
US9396409B2 (en) * 2014-09-29 2016-07-19 At&T Intellectual Property I, L.P. Object based image processing
US9984283B2 (en) * 2015-02-14 2018-05-29 The Trustees Of The University Of Pennsylvania Methods, systems, and computer readable media for automated detection of abnormalities in medical images
US10148680B1 (en) * 2015-06-15 2018-12-04 ThetaRay Ltd. System and method for anomaly detection in dynamically evolving data using hybrid decomposition
US11049004B1 (en) * 2015-11-15 2021-06-29 ThetaRay Ltd. System and method for anomaly detection in dynamically evolving data using random neural network decomposition
US10755395B2 (en) * 2015-11-27 2020-08-25 Canon Medical Systems Corporation Dynamic image denoising using a sparse representation
JP7089296B2 (ja) * 2016-09-06 2022-06-22 ビー．ジー．ネゲブ テクノロジーズ アンド アプリケーションズ リミテッド， アット ベン‐グリオン ユニバーシティー 画像からのハイパースペクトルデータの回復
US11238350B2 (en) * 2016-09-21 2022-02-01 Scianta Analytics Llc Cognitive modeling system
US10496880B2 (en) * 2017-06-27 2019-12-03 Canon Kabushiki Kaisha Method and apparatus for comparing objects in images
US11138477B2 (en) * 2019-08-15 2021-10-05 Collibra Nv Classification of data using aggregated information from multiple classification modules

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009002743A (ja) * 2007-06-20 2009-01-08 Hitachi High-Technologies Corp 外観検査方法及びその装置および画像処理評価システム
CN101295401A (zh) * 2008-06-05 2008-10-29 上海交通大学 基于线性pca的红外点目标检测方法
JP2011007553A (ja) * 2009-06-24 2011-01-13 Hitachi High-Technologies Corp 欠陥検出方法及び装置
CN106164980A (zh) * 2014-03-27 2016-11-23 佳能株式会社 信息处理装置以及信息处理方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
DIEGO CARRERA ET AL.: "SCALE-INVARIANT ANOMALY DETECTION WITH MULTISCALE GROUP-SPARSE MODELS", 《2016 IEEE INTERNATIONAL CONFERENCE ON IMAGE PROCESSING (ICIP)》 *

Also Published As

Publication number Publication date
JP7058941B2 (ja) 2022-04-25
US11521099B2 (en) 2022-12-06
CN108320024B (zh) 2022-05-31
US20180204132A1 (en) 2018-07-19
JP2018116364A (ja) 2018-07-26

Similar Documents

Publication Publication Date Title
CN108320024A (zh) 词典生成装置及方法、评估装置及方法、以及存储介质
Pietikäinen et al. Computer vision using local binary patterns
Bodesheim et al. Local novelty detection in multi-class recognition problems
Yuan et al. Automatic polyp detection via a novel unified bottom-up and top-down saliency approach
CN109344889B (zh) 脑疾病分类装置、用户终端和计算机可读存储介质
Hamreras et al. Content based image retrieval by ensembles of deep learning object classifiers
Zou et al. Chronological classification of ancient paintings using appearance and shape features
CN105488463A (zh) 基于人脸生物特征的直系亲属关系识别方法及系统
Akhtar et al. Optical character recognition (OCR) using partial least square (PLS) based feature reduction: an application to artificial intelligence for biometric identification
Shang et al. Support vector machine-based classification of rock texture images aided by efficient feature selection
Stanitsas et al. Evaluation of feature descriptors for cancerous tissue recognition
Velliangira et al. A novel forgery detection in image frames of the videos using enhanced convolutional neural network in face images
Lu et al. Coarse-to-fine classification via parametric and nonparametric models for computer-aided diagnosis
Ehret et al. How to reduce anomaly detection in images to anomaly detection in noise
Angara Automatic License Plate Recognition Using Deep Learning Techniques
Scherhag Face morphing and morphing attack detection
Rigamonti et al. Beyond kernelboost
Jena et al. Elitist TLBO for identification and verification of plant diseases
Aman et al. Characterizing colonic detections in CT colonography using curvature-based feature descriptor and bag-of-words model
Mame et al. Parameter optimization of histogram-based local descriptors for facial expression recognition
Turtinen Learning and recognizing texture characteristics using local binary patterns
Rahmat et al. Probabilistic Neural Network to Classify Image of Children’s Face with Down Syndrome
Nyaga et al. A Review of Sign Language Hand Gesture Recognition Algorithms
Bianco et al. Curl: Co-trained unsupervised representation learning for image classification
Happy et al. Dual-threshold based local patch construction method for manifold approximation and its application to facial expression analysis

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant