CN108335287B - 信息处理装置和信息处理方法 - Google Patents
信息处理装置和信息处理方法 Download PDFInfo
- Publication number
- CN108335287B CN108335287B CN201810044736.7A CN201810044736A CN108335287B CN 108335287 B CN108335287 B CN 108335287B CN 201810044736 A CN201810044736 A CN 201810044736A CN 108335287 B CN108335287 B CN 108335287B
- Authority
- CN
- China
- Prior art keywords
- score
- information processing
- pixel
- filtered images
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 55
- 238000003672 processing method Methods 0.000 title claims abstract description 7
- 238000004590 computer program Methods 0.000 title description 2
- 238000004364 calculation method Methods 0.000 claims abstract description 41
- 239000002131 composite material Substances 0.000 claims abstract description 21
- 230000005856 abnormality Effects 0.000 claims abstract description 17
- 230000002950 deficient Effects 0.000 claims description 16
- 230000002159 abnormal effect Effects 0.000 claims description 9
- 230000010354 integration Effects 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 12
- 230000006870 function Effects 0.000 description 12
- 238000000034 method Methods 0.000 description 12
- 238000009826 distribution Methods 0.000 description 11
- 238000004422 calculation algorithm Methods 0.000 description 10
- 238000012545 processing Methods 0.000 description 10
- 238000003860 storage Methods 0.000 description 9
- 230000007547 defect Effects 0.000 description 8
- 238000012986 modification Methods 0.000 description 7
- 230000004048 modification Effects 0.000 description 7
- 230000008569 process Effects 0.000 description 7
- 238000007689 inspection Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 4
- 238000012937 correction Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 238000011179 visual inspection Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 150000001875 compounds Chemical class 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/36—Applying a local operator, i.e. means to operate on image points situated in the vicinity of a given point; Non-linear local filtering operations, e.g. median filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20076—Probabilistic image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30168—Image quality inspection
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Quality & Reliability (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- Multimedia (AREA)
- Nonlinear Science (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Medical Informatics (AREA)
- Evolutionary Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及信息处理装置和信息处理方法。其目的在于对各种对象采用一定基准，进行统一的异常判断。本发明的信息处理装置具备，生成单元(202)，用于对一个输入图像使用多个不同的空间滤波器，生成多个滤波图像；第一计算单元(211)，用于使用与多个滤波图像一一对应、且用多个分别包含一个以上具有表示对象形状的参数的模型的模型组，计算多个滤波图像各自包含的多个像素中的每个像素的分数，该分数表示像素与相应模型组之间的差异所对应的值；第二计算单元(212)，用于计算综合分数，该综合分数表示综合多个滤波图像中所有彼此对应的多个像素各自的分数而得到的结果；判断单元(205)，用于根据综合分数判断输入图像中的异常。
Description
技术领域
本发明涉及信息处理装置和信息处理方法。
背景技术
目前存在一种机械学习算法，其能够针对某个数据，判断该数据属于怎样的状态。该机械学习算法被广泛利用，能够进行文章、声音等的识别，如识别图像中的被摄体是否是人物，拍摄了什么画面等。
以往，如专利文献1(JP特开2008-20235号公报)公开的用于材料判断、缺陷检查的方法中经常使用该机械学习算法。
但是，现有技术有否缺陷的判断中，当用多个分辨率的图像进行检测，以提高精度的检测时，可以检测异常量或与预备的特征量进行比较，但是在判断到底有多少异常时无法给出具有统计意义的阈值，因而需要调整各种参数。换言之，存在难以对各种对象进行统一的采用一定基准的异常判断的问题。
发明内容
本发明是鉴于上述问题提出的发明，其目的在于提供能够对各种对象采用一定基准，进行统一的异常判断的信息处理装置和信息处理方法。
为了达到上述目的，本发明提供一种信息处理装置，其中具备：生成单元，用于对一个输入图像使用多个不同的空间滤波器，生成多个滤波图像；第一计算单元，用于使用与所述多个滤波图像一一对应、且用多个分别包含一个以上具有表示对象形状的参数的模型的模型组，来计算所述多个滤波图像各自包含的多个像素中的每个像素的分数，该分数表示该像素与相应的所述模型组之间的差异所对应的值；第二计算单元，用于计算综合分数，该综合分数表示综合所述多个滤波图像中所有彼此对应的多个像素各自的所述分数所得到的结果；以及，判断单元，用于根据所述综合分数来判断所述输入图像中的异常。
本发明的效果在于，能够对各种对象采用一定基准，进行统一的异常判断。
附图说明
图1是信息处理系统的简要构成的示意图。
图2是一例信息处理装置的硬件结构示意图。
图3是信息处理装置的一例功能示意图。
图4是学习单元的一例动作流程图。
图5是学习单元的一例动作流程图。
图6是用来说明关于成为学习单元进行处理的前提的模型推定问题的示意图。
图7是到求出综合分数为止的算法的整体构成的示意图。
图8是检查时的信息处理装置的一例动作流程图。
图9是变型例的处理流程示意图。
具体实施方式
以下参考附图详述本发明涉及的信息处理装置和信息处理方法的实施方式。
图1是本实施方式的信息处理系统100的简要构成的示意图。该信息处理系统100起到图像检查系统的作用。如图1所示，信息处理系统100包括照相机120、信息处理装置130、输出装置140。照相机120用于拍摄对象物110，信息处理装置130用于取得上述拍摄获得的图像(以下也称为摄影图像)。信息处理装置130还用摄影图像来判断对象物110的状态(判断有无异常区域)，将判断结果送往输出装置140。输出装置140输出从信息处理装置130收到的判断结果。输出的形态为任意形态，既可以是声音输出，也可以是图像输出。
图1例示的信息处理装置130直接与照相机装置120(有线)连接，但是本发明并不受此限制。例如信息处理装置130与照相机120之间也可以采用无线连接的方式。再如，信息处理装置130可以经由以太网(注册商标)、WiFi、LTE、3G、4G等网络与照相机120连接。再如，照相机120与信息处理装置130一体构成。同样，输出装置140和信息处理装置130也可以一体构成。
图2是一例信息处理装置130的硬件结构示意图。信息处理装置130也可以是个人计算机或工作站等形式。如图2所示，信息处理装置130具有CPU 131、ROM 132、RAM 133、存储装置134、输入单元135、显示单元136、设备I/F 137、通信I/F 138。
CPU 131整体控制信息处理装置130的动作。CPU 131以RAM 133的规定区域作为工作区域，执行保存在ROM 132或存储装置134等中的程序，实现信息处理装置130具有的各项功能。关于信息处理装置130具有的功能的具体内容将在下文中详述。
ROM 132是保存关于信息处理装置130的程序和各种设定信息等的非易失性存储器(存储器)。
RAM 133，例如是SDRAM(Synchronous Dynamic Random Access Memory)等存储装置，用来作为CPU 131的操作区域，起到缓冲器的作用。
存储装置134例如是HDD(Hard Disk Drive)等辅助存储装置。输入单元135是用于接受用户操作的设备。显示单元136是显示与信息处理装置130有关的各种信息的装置，例如以液晶显示器等构成。
设备I/F 137是用于与例如照相机120或输出装置140连接的接口。通信I/F 138是用于与因特网等网络连接的接口。也可以采用例如用通信I/F 138取代设备I/F 137，经由通信I/F 138是与照相机120和输出装置140连接的形态。
图3是信息处理装置130的一例功能示意图。如图3所示，信息处理装置130具有取得单元201和生成单元202、学习单元203、计算单元204、判断单元205以及判断结果通知单元206。为了便于说明，图3主要显示了与本实施方式相关的功能，但是信息处理装置130所具有的功能不局限于此。
取得单元201用于从照相机120取得摄影图像。生成单元202用于对一个输入图像(取得单元201取得的摄影图像)用多个不同的空间滤波器，生成多个滤波图像。在此，滤波器的数量是12个，但本发明不受此限制。在如本实施方式使用12个滤波器的情况下，可以设为例如三个尺度(scale)×4个方向(0度方向、45度方向、90度方向和135度方向)等。例如，可以使用以下式(1)～式(4)表示的四个滤波矩阵作为滤波系数。
作为尺度，除了等倍，还把1/4倍、1/8倍缩小的输入图像适用到多个滤波器，恢复到原来的等倍，得到总共12个滤波图像。在此再加上未使用上述过滤器状态的摄影图像(在特殊情况下，可以认为滤波图像的一个形态)，本示例共计使用13个滤波图像进行异常检测。
学习单元203用预备好的多个没有缺陷的图像(合格品图像)为基础，学习合格品的对象物110的图像。具体而言，学习单元203学习每个空间滤波器的模型组，该模型组包含一个以上具有表示对象形状的参数的模型。在本例中学习单元203学习与13个滤波图像一一对应的13个模型组。本例中，用多个合格品图像的各像素值的平均值(像素平均值)μ(x，y)以及方差(像素方差)σ2(x，y)作为参数，但不限于此。
以下描述学习方法。在此以学习任意一空间滤波器的包含多个(K个)模型的模型组的情况为例进行说明。作为模型，假设各像素具有正态分布，并且以这种模型存在多个(K个)为前提。设定可观察图像是从多个模型中的任意一个模型生成的图像。在此，从哪个模型观察到是未知的，作为隐性变量。学习结束后(模型推定结束时)，获得每一个模型的像素平均值μ(x，y)和像素方差值σ2(x，y)。在检查时，以该多个模型的每一个模型的参数为基础，来判断摄影图像中是否存在缺陷。
由于隐性变量和模型参数不能同时确定，因此，在此使用对于具有隐性变量情况下的模型参数的推定有效的EM算法进行学习。以下分别说明EM算法的E步骤和M步骤。
学习首先从E步骤开始。输入图像(在上述一个空间滤波器对应的n个合格品图像(合格品滤波图像))包含的多个像素，学习单元203计算各个像素的K个模型各自的Z分数。以下的式(5)可以用来表示相对于第n个输入图像所包含的像素(x，y)的第k个模型的Z分数Znk(x，y)。在式(5)中，In(x，y)是第n个输入图像的像素(x，y)的像素值(灰度值)。μk(x，y)和σk 2(x，y)是第k个模型的像素(x，y)的参数。具体而言，μk(x，y)是第k个模型的像素(x，y)的像素值平均值，σk 2(x，y)是第k个模型的像素(x，y)的像素的方差值。Z分数是表示假定概率模型具有正态分布时的偏离量的值。
其次，学习单元203求出第n个输入图像In符合第k个模型k的概率enk。概率enk可由下式6表示。本例中，学习单元203将Z分数代入平均0、方差1的标准正态分布的计算式，求出每个像素的概率密度，计算每个像素或区域的概率密度的乘积，用意求出联合概率。以下式(6)中的X、Y分别为输入图像的横向和纵向的像素数。这里，不是根据每个像素而是根据整个图像的像素值分布，来求出上述概率enk。以这种方法，可以观察输入图像的零件整体，同时适当地求出符合哪个模型的概率。
而后，学习单元203使用上述概率，求出相当于输入图像从哪一个模型产生的期望值的负担率γnk。负担率γnk可以用以下的式(7)求出。N是输入图像的总数，K表示模型数量。以上为E步骤的内容。
E步骤结束后，学习单元203在M步骤推定各个模型的参数。具体而言，学习单元203可以在上述负担率γnk中设置权重，求出第k个模型的各个像素的像素平均值μk(x，y)。本例中的像素平均值μk(x，y)可以用以下式(8)求出。
学习单元203还可以在上述负担率γnk中设置权重，求出第k个模型的各个像素的像素方差值σk 2(x，y)。本例中的像素方差值σk 2(x，y)可以用以下式(9)求出。
上述式(8)和式(9)中的Nk用下式(10)求出。
以上M步骤结束后，学习单元203返回E步骤，反复进行处理，直到与前一次相比参数变动小于阈值(直到满足收束条件)。通过反复上述E步骤和M步骤，能够在存在隐性变量的状态下推定模型的参数。作为一例初始值，μk(x，y)为随机数，σk 2(x，y)为1，或者，如果明确将输入图像分给哪一个模型，用以让用户能够基于观察输入图像进行种类的分类，则作为模型的初始值，也可以用该输入图像的像素值作为μk(x，y)。如上所述，学习单元203学习K个模型的参数(μk(x，y)，σk 2(x，y))。
图4是学习单元203的一例动作流程图。如图4所示，首先，学习单元203取得预备的合格品图像(步骤S1)。例如，对于多个空间滤波器，在存储装置134等中保存每个滤波器的预备的合格品图像群，学习单元203也可以是访问存储装置134等，取得每个空间滤波器的合格品图像群的形态。而后，学习单元203进行以上描述的学习处理(步骤S2)。
图5是表示步骤S2的学习处理的详细内容的流程图。各步骤的具体内容与上述相同，因而省略说明。此外，图5所示的各步骤的处理的实施次数相当于空间滤波器数量，但为了便于说明，以下描述一个空间滤波器所对应的处理。如图5所示，学习单元203对作为对象的空间滤波器所对应的输入图像(合格品图像)包含的多个像素，求出每个像素的K个模型各自的Z分数(步骤S11)。接着，学习单元203求出上述概率enk(步骤S12)。接下来，学习单元203计算负担率γnk(步骤S13)。接着，学习单元203求出每个模型的参数(μk(x，y)，σk 2(x，y))(步骤S14)。上述的步骤S11～步骤S13的处理相当于E步骤，上述步骤S14的处理相当于M步骤。
接下来，学习单元203判断与前一次相比参数变化是否为阈值以下(步骤S15)。如果步骤S15的结果为否定(步骤S15:否)，则重复上述步骤S11以后的处理。而如果步骤S15的结果为肯定(步骤S15:是)，则将步骤S14中求出的参数定设为最终参数(步骤S16)。以上确定的参数被保存到例如存储装置134等中。
图6是用来说明关于作为上述学习单元203实行处理的前提的模型推定问题的示意图。图6中的样本图像是对从“图像应用技术专家委员会外观检查算法竞赛2014”(外观检查算法竞赛2014，主持人:精密工学会图像应用技术专家委员会)的课题图像中引用的图像进行加工后使用的图像。在图6的例子中以两种模型(任意一空间滤波器对应的模型组包含的两种模型)，即以K＝2的情况为例进行说明。在图6的例子中，假定各像素具有正态分布的模型的数量为两个，能够观测的图像是从其中某个模型生成的图像。在此，从哪个模型观测到是未知，为隐性变量。完成学习，即模型的推定结束时，得到如图6中左侧所示的每个模型中的像素平均图像和像素方差图像。以该两个图像为基础，检测在测试时输入图像是否有缺陷。
如上所述，在本实施方式的学习处理中，决定并保存优化上述负担率γnk的像素平均值μk(x，y)和像素值方差σk 2(x，y)。图6的(a)是映射图5中步骤S16确定的每个像素(x，y)的像素平均值μk(x，y)和像素值方差σk(x，y)所表示的可视性显示模型数据的图。在本实施方式中，使用图6的(a)所示的信息，基于上述概率enk和上述负担率γnk，从测定图像推算隐性变量的模型，选择或加权来考虑。
返回图3，继续描述信息处理装置130的功能。计算部204根据生成部单元202生成的多个滤波图像和学习单元203学习的模型组，计算考虑了所有模型的Z分数。在此，计算单元204包含第一计算单元211和第二计算单元212。
第一计算单元211使用与多个滤波图像一一对应的多个模型组，计算各个滤波图像包含的多个像素各自的分数，该分数表示与相应模型组之间的差异所对应的值(本例中表示与模型组之间的差异越大就越大的值)。第一计算部211用于对多个图像各自包含的多个像素的每一个像素，根据该像素的像素值和对应的模型组的参数，来计算分数。在此，以Z分数表示分数。
以下用任意一个的滤波图像对应的模型组，来说明该滤波图像所包含的各像素的Z分数的计算方法，其他的滤波图像的各像素的Z分数的计算与此相同。在此，以任意一个滤波图像对应的模型组包含K个模型为例进行说明，但本发明不限于此，例如模型组也可以是仅包括1个模型(模型组包含的模型数量是任意的)。
生成单元202生成上述某个滤波图像(输入图像)，该滤波图像被输入到第一计算单元211，第一计算单元211对上述一个滤波图像所包含的各个像素，用上述式(5)，计算每个模型的Z分数Znk(x，y)。而后，第一计算部211用上述式(6)求出上述概率enk。进而，第一计算单元211对上述某个滤波图像包含的各个像素，用以下式(11)求出与模型之间的偏离量，即求出缺陷推定量Sn(x，y)。当模型组是包含多个模型的多模型时，该缺陷推定量Sn(x，y)是基于所学习的模型的发生概率的Z分数。本例中，第一计算单元211将上述某个滤波图像的各像素的缺陷推定量Sn(x，y)作为最终Z分数来计算。也就是说，在本实施方式中，任一滤波图像对应的模型组为包含多个模型时，第一计算部211对该滤波图像包含的各个像素，根据表示该像素与各个模型之间的差异所对应的值的单元分数(本例中为K个模型各自的Z分数Znk(x，y))和该滤波图像与各模型符合的概率enk，来决定该像素的最终Z分数。
此处，在上述学习处理获得的图像(学习图像)的灰度值基本保持一致的部分中，检查用的输入图像的相应部分的灰度值与学习图像的灰度值只要稍微偏离，Z分数就会作为很大的异常而大大增加。然而，在人的感觉上，由于无法得知该部分像素之间的微小差别，因此在通常的目视检查中不被当作异常。对此，为了配合人的视觉特性，可以将上述式(5)改为以下的式12，用以提高检查精度。
上述式(12)中的sat(x)是用下式(13)表示的函数。
Sat(x)＝x if x＞c
c if x≤c 式(13)
上述式(13)中c是常数，是基于观察测试结果进行调整的参数。通过让上述式(13)表示的函数起到方差值的作用，学习图像的区域中包含的像素的灰度值全部、或者即便在基本一致的情况下，作为经过学习的方差值，成为一个不是0或很小的值的固定值(所述c的值)。因此，在检查时，即便是在学习图像中灰度值基本保持一致的部分的像素的灰度值的平均值与输入图像中相应部分的灰度值之间稍有偏差的情况下，也能够抑制Z分数变得过大。
除了上述式(13)所表示的函数之外，例如还有，只要让学习的方差值不变得过小即可，因而也可以使用将上述式(5)改为以下式(14)的方法。
在此，上述式(14)中的d是常数，是基于观察测试结果进行调整的参数。通过使用该式，分母不会变得过小，所以Z分数不会变得过大。
如上所述，学习图像中灰度值基本保持一致的部分中，检查时的输入图像的相应部分的灰度值只要略微偏离，便会作为很大的异常而被检测出来，但在人的感觉上，因像素之间微小差别而无法得知。对此，可以通过降低该部分的异常检测的敏感度来解决上述问题。即，本实施方式的信息处理装置130也可以采用具有补偿像素方差值功能(方差补偿单元)的方式，将表示合格品图像的像素值偏差的像素方差值补偿为大于阈值(例如0之类非常小的值)的规定值。具体而言，既可以是上述第一计算单元211兼顾上述方差补正单元的方式，也可以是设置不同于上述第一计算单元211的上述方差补正单元的方式。
如上所述，第一计算单元211求出多个滤波图像各自包含的多个像素的每个像素的Z分数。在以下的描述中，将第m个滤波图像的像素(x，y)的Z分数表示为Zm(x，y)。
在此，设各像素(pixel)的发生概率为正态分布，所以在考虑输入图像的相应像素所学习的模型时，该Z分数表示标准正态分布中多少σ的发生概率。本例描述了使用多模型时的情况，当然也可以假设单一模型进行同样处理，在这种情况下，K＝1，学习时用上述式(8)及式(9)求出模型，检测时用上述式(5)算出Z分数。在此假设每个像素具有正态分布，如果需要进一步提高精度，与上述多模型中实行的相同，也可以使用EM算法作为混合高斯分布搭建模型。
第二计算单元212计算综合分数Ztotal(x，y)，综合分数Ztotal(x，y)表示综合多个滤波图像上所有彼此对应的多个像素各自的Z分数Zm(x，y)的结果。也可视为求出合并多个滤波图像为1个图像的各个像素的综合分数Ztotal(x，y)。本例中设13个滤波图像的像素数目相同，且各个像素彼此对应。而且，Z分数Zm(x，y)为标准正态分布的标准偏差，因此，第二计算单元212根据多个滤波图像中所有彼此对应的多个像素各自的Z分数Zm(x，y)所对应的发生概率Pm(x，y)的联合概率，来计算该多个像素各自的综合分数Ztotal(x，y)。进一步具体地说，第二计算单元212用以下的式(15)来求出Z分数Zm(x，y)所对应的发生概率Pm(x，y)，并用以下的式(16)求出综合分数Ztotal(x，y)。
上述综合分数Ztotal(x，y)是考虑了所有模型组的Z分数的值。该值是所有的空间滤波器，即不同尺度和不同边缘方向等的要件全部作为标准正态分布的标准偏差这一合乎道理的发生概率来统一表示的值，与所谓生产工序等中经常使用的允许最多为多少σ的值一致。因此，用该值决定阈值，就不再需要对多个空间滤波器的每个滤波器设定单独的阈值，进而能够用将多少σ以上作为异常这样有依据的基准来判断异常。
如上所述，本实施方式在检查时，将多个不同的空间滤波器用于一个输入图像(摄影图像)，生成多个滤波图像，多个滤波图像各自包含多个像素，求出每个像素与相应模型组之间的差异所对应的Z分数Zm(x，y)。而后求出多个滤波器中所有彼此对应的多个像素各自的Z分数Zm(x，y)的综合分数Ztotal(x，y)。图7是到求出综合分数Ztotal(x，y)为止的算法的整体构成的示意图。
返回图3继续说明。判断单元205根据综合分数Ztotal(x，y)来判断异常。进一步具体而言，判断部205可以将取得单元201取得的摄影图像中综合分数Ztotal(x，y)被表示为达到预定阈值以上的区域，判断为异常区域(存在缺陷的缺陷区域)。
判断结果通知单元206将表示被判断部205判断为异常区域的信息通知给输出装置140。输出装置140收到该通知后，输出用来报知异常区域的信息(既可以是语音信息，也可以是图像信息)。
图8是检查时的信息处理装置130的一例动作流程图。如图8所示，取得部201从照相机120取得摄影图像(步骤S101)。接着，生成部202将多个不同的空间滤波器用于在步骤S101中取得的摄影图像(输入图像)上，生成多个滤波图像(步骤S102)。接着，计算单元204根据在步骤S102中取得的多个图像、以及预先通过学习单元203学习的多个模型组(与多个滤波图像一一对应)，来计算上述综合分数值Ztotal(x，y)(步骤S103)。接着，判断单元205将在步骤S101中取得的摄影图像中综合分数Ztotal(x，y)表示为达到预定阈值以上的区域判断为异常区域(存在缺陷的缺陷区域)(步骤S104)。接着，判断结果通知单元206将步骤S104的判断结果通知给输出装置140(步骤S105)。
如上所述，本实施方式用综合分数Ztotal(x，y)表示综合多个滤波图像上所有彼此对应的多个像素各自的Z分数Zm(x，y)，基于该综合分数Ztotal(x，y)，来判断所输入的图像(摄影图像)的异常区域，因而能够用统一的固定基准，对各种对象进行异常判断。
以上，对本发明的实施方式进行了说明，但本发明不受上述各实施方式限定，可以在实施阶段，在不脱离本发明宗旨的范围内，改变结构要素并具体实施。另外，还可以适当地组合上述实施方式公开的多个构成要素。例如，可以删除实施方式所示的全部结构要素中的某些结构要素。也可以适当地组合不同实施方式和变型例。
另外，上述实施方式的信息处理系统100执行的程序可以构成为，以可安装形式或可执行形式的文件存储到CD-ROM、软磁盘(FD)、CD-R、DVD(Digital Versatile Disk：数字多功能光盘)、USB(Universal Serial Bus：通用串行总线)等的计算机可读存储介质中来提供，也可以构成为经由互联网等网络来提供或颁发。进而还可以构成为将各种程序预先存放到ROM等中来提供。
以下描述变型例。
(1)变型例1
例如，第二计算单元212可以将多个滤波图像中所有彼此对应的多个像素各自的Z分数Zm(x，y)的平均值作为综合分数Ztotal(x，y)来计算。在这种情况下，第二计算单元212可以用下式(17)求出综合分数Ztotal(x，y)。
(2)变型例2
例如，第二计算单元212还可以将多个滤波图像中所有彼此对应的多个像素各自的Z分数Zm(x，y)的合计值作为综合分数Ztotal(x，y)来计算。在这种情况下，第二计算单元212可以用下式(18)求出综合分数Ztotal(x，y)。
(3)变型例3
例如，还可以使用一次性地计算滤波群的Wavelet变换。图9是这种情况下的处理流程示意图。首先对输入图像执行Wavelet变换，从而变换成包含多个阶层图像(也可以认作为与上述的多个空间滤波器1一一对应的多个层级)的一个图像。然后，该图像与预先通过学习获得的一个模型进行比较，用与上述实施方式相同的方式求出各个像素的Z分数Zm(x，y)。此时的一个模型可以被认为是综合多个滤波图像各自的模型(每一个层级的模型)的一个模型。按照另一种观点，此时的一个模型也可以被看作为包含与多个滤波图像一一对应的多个模型。之后，通过逆Wavelet变换返回到原来的一张图像，从而获得综合每个像素的Z分数Zm(x，y)的综合分数Ztotal(x，y)。其结果，本变型例与上述实施方式相同，能够获得与输入图像包含的各个像素的综合分数Ztotal(x，y)。该方式通过使用Wavelet变换，具有减少计算时间的优点。
Claims (10)
1.一种信息处理装置，其中具备：
生成单元，用于对一个输入图像使用多个不同的空间滤波器，生成多个滤波图像；
第一计算单元，用于使用与所述多个滤波图像一一对应、且用多个分别包含一个以上具有表示对象形状的参数的模型的模型组，来计算所述多个滤波图像各自包含的多个像素中的每个像素的分数，该分数表示该像素与相应的所述模型组之间的差异所对应的值；
第二计算单元，用于计算综合分数，该综合分数表示综合所述多个滤波图像中所有彼此对应的多个像素各自的所述分数所得到的结果；以及，
判断单元，用于根据所述综合分数来判断所述输入图像中的异常，其中，不需要对多个不同的空间滤波器的每个滤波器设定单独的阈值，将输入图像中综合分数被表示为达到预定阈值以上的区域，判断为异常区域。
2.根据权利要求1所述的信息处理装置，其中，
所述参数包含表示合格品图像的像素值的平均的像素平均值、以及所述合格品图像的像素值的方差的像素方差值，
所述第一计算单元对于所述多个滤波图像各自包含的多个像素的每个像素，根据该像素的像素值和对应的所述参数来计算所述分数。
3.根据权利要求2所述的信息处理装置，其中，进一步具备方差补偿单元，用来将所述像素方差值补偿到大于阈值的规定值。
4.根据权利要求2所述的信息处理装置，其中，所述分数为Z分数。
5.根据权利要求4所述的信息处理装置，其中，所述第二计算单元对所述多个滤波图像中所有彼此对应的多个像素中的每一个像素，根据该多个像素各自的所述分数所对应的发生概率的联合概率，来计算所述综合分数。
6.根据权利要求5所述的信息处理装置，其中，所述第二计算单元用以下式(1)计算所述分数对应的发生概率，并用以下式(2)计算所述综合分数，
其中，Pm(x，y)表示发生概率，Zm(x，y)表示Z分数，Ztotal(x，y)表示综合分数，M表示滤波图像的数量。
7.根据权利要求1至4中任意一项所述的信息处理装置，其中，所述第二计算单元对所述多个滤波图像中所有彼此对应的多个像素中的每一个像素，计算该多个像素各自的所述分数的平均值，用以作为所述综合分数。
8.根据权利要求1至4中任意一项所述的信息处理装置，其中，所述第二计算单元对所有所述多个滤波图像中彼此对应的多个像素中的每一个像素，计算该多个像素各自的所述分数的合计值，用以作为所述综合分数。
9.根据权利要求1所述的信息处理装置，其中，在任意一个所述滤波图像所对应的模型组包含多个模型的情况下，所述第一计算单元对所述滤波图像包含的多个像素的各个像素，根据单位分数以及该滤波图像与各个模型相符合的概率，来决定该像素的最终的所述分数，所述单位分数表示所述像素与各个模型之间的差异所对应的值。
10.一种信息处理方法，其中包含：
生成步骤，对一个输入图像使用多个不同的空间滤波器，生成多个滤波图像；
第一计算步骤，使用与所述多个滤波图像一一对应、且用多个分别包含一个以上具有表示对象形状的参数的模型的模型组，来计算所述多个滤波图像各自包含的多个像素中的每个像素的分数，该分数表示该像素与相应的所述模型组之间的差异所对应的值；
第二计算步骤，计算综合分数，该综合分数表示综合所有所述多个滤波图像中彼此对应的多个像素各自的所述分数所得到的结果；以及，
判断步骤，根据所述综合分数来判断所述输入图像中的异常，其中，不需要对多个不同的空间滤波器的每个滤波器设定单独的阈值，将输入图像中综合分数被表示为达到预定阈值以上的区域，判断为异常区域。
Applications Claiming Priority (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017-006524 | 2017-01-18 | ||
| JP2017006524 | 2017-01-18 | ||
| JP2017104704A JP6904062B2 (ja) | 2017-01-18 | 2017-05-26 | 情報処理装置、情報処理方法およびプログラム |
| JP2017-104704 | 2017-05-26 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108335287A CN108335287A (zh) | 2018-07-27 |
| CN108335287B true CN108335287B (zh) | 2021-10-26 |
Family
ID=62840998
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810044736.7A Expired - Fee Related CN108335287B (zh) | 2017-01-18 | 2018-01-17 | 信息处理装置和信息处理方法 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US10685432B2 (zh) |
| CN (1) | CN108335287B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101916347B1 (ko) * | 2017-10-13 | 2018-11-08 | 주식회사 수아랩 | 딥러닝 기반 이미지 비교 장치, 방법 및 컴퓨터 판독가능매체에 저장된 컴퓨터 프로그램 |
| JP7253152B2 (ja) * | 2018-10-04 | 2023-04-06 | 日本電気株式会社 | 情報処理装置、情報処理方法、及びプログラム |
Family Cites Families (25)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CA2400085C (en) * | 2000-02-17 | 2008-02-19 | British Telecommunications Public Limited Company | Visual attention system |
| US6983065B1 (en) * | 2001-12-28 | 2006-01-03 | Cognex Technology And Investment Corporation | Method for extracting features from an image using oriented filters |
| US6888564B2 (en) * | 2002-05-24 | 2005-05-03 | Koninklijke Philips Electronics N.V. | Method and system for estimating sharpness metrics based on local edge kurtosis |
| US8041103B2 (en) * | 2005-11-18 | 2011-10-18 | Kla-Tencor Technologies Corp. | Methods and systems for determining a position of inspection data in design data space |
| US8818109B2 (en) * | 2006-07-04 | 2014-08-26 | Hewlett-Packard Development Company, L.P. | Context-aware image processing |
| JP2008020235A (ja) | 2006-07-11 | 2008-01-31 | Olympus Corp | 欠陥検査装置及び欠陥検査方法 |
| JP2011118694A (ja) * | 2009-12-03 | 2011-06-16 | Sony Corp | 学習装置および方法、認識装置および方法、並びにプログラム |
| JP5130257B2 (ja) * | 2009-05-28 | 2013-01-30 | アルプス電気株式会社 | 画像処理装置 |
| JP2012181148A (ja) | 2011-03-02 | 2012-09-20 | Mitsubishi Electric Corp | 物体検出装置 |
| US9916538B2 (en) * | 2012-09-15 | 2018-03-13 | Z Advanced Computing, Inc. | Method and system for feature detection |
| US8976161B2 (en) * | 2012-03-01 | 2015-03-10 | Apple Inc. | Systems and methods for image processing |
| US11089247B2 (en) * | 2012-05-31 | 2021-08-10 | Apple Inc. | Systems and method for reducing fixed pattern noise in image data |
| US9332239B2 (en) * | 2012-05-31 | 2016-05-03 | Apple Inc. | Systems and methods for RGB image processing |
| JP2014056415A (ja) | 2012-09-12 | 2014-03-27 | Nec Corp | 画像照合システム、画像照合方法、およびプログラム |
| US10127652B2 (en) * | 2014-02-06 | 2018-11-13 | Kla-Tencor Corp. | Defect detection and classification based on attributes determined from a standard reference image |
| US20150324662A1 (en) * | 2014-05-08 | 2015-11-12 | Tandent Vision Science, Inc. | Method for identifying color-based vectors for analysis of frames of a video |
| US9336584B2 (en) * | 2014-06-30 | 2016-05-10 | Trimble Navigation Limited | Active imaging systems for plant growth monitoring |
| JP6547275B2 (ja) | 2014-10-29 | 2019-07-24 | 株式会社リコー | 情報処理システム、情報処理装置、情報処理方法、及びプログラム |
| WO2016120441A2 (en) * | 2015-01-30 | 2016-08-04 | Ventana Medical Systems, Inc. | Quality metrics for automatic evaluation of dual ish images |
| US10025988B2 (en) * | 2015-05-22 | 2018-07-17 | Tektronix, Inc. | Anomalous pixel detection |
| JP6765788B2 (ja) * | 2015-06-04 | 2020-10-07 | リコーエレメックス株式会社 | 画像検査装置 |
| JP6620439B2 (ja) | 2015-07-01 | 2019-12-18 | 株式会社リコー | 学習方法、プログラム及び学習装置 |
| EP3176751B1 (en) | 2015-12-01 | 2020-12-30 | Ricoh Company, Ltd. | Information processing device, information processing method, computer-readable recording medium, and inspection system |
| JP6707920B2 (ja) | 2016-03-14 | 2020-06-10 | 株式会社リコー | 画像処理装置、画像処理方法、およびプログラム |
| US10402697B2 (en) * | 2016-08-01 | 2019-09-03 | Nvidia Corporation | Fusing multilayer and multimodal deep neural networks for video classification |
-
2018
- 2018-01-16 US US15/872,257 patent/US10685432B2/en active Active
- 2018-01-17 CN CN201810044736.7A patent/CN108335287B/zh not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| US20180204316A1 (en) | 2018-07-19 |
| US10685432B2 (en) | 2020-06-16 |
| CN108335287A (zh) | 2018-07-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2012032370A (ja) | 欠陥検出方法、欠陥検出装置、学習方法、プログラム、及び記録媒体 | |
| JP6707920B2 (ja) | 画像処理装置、画像処理方法、およびプログラム | |
| TWI736696B (zh) | 成像疊對度量方法、電腦程式產品、度量模組及成像疊對度量系統 | |
| US20170330315A1 (en) | Information processing apparatus, method for processing information, discriminator generating apparatus, method for generating discriminator, and program | |
| JP7462429B2 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
| US9299011B2 (en) | Signal processing apparatus, signal processing method, output apparatus, output method, and program for learning and restoring signals with sparse coefficients | |
| US9558534B2 (en) | Image processing apparatus, image processing method, and medium | |
| JP2020129276A5 (zh) | ||
| WO2019176990A1 (ja) | 検査装置、画像識別装置、識別装置、検査方法、及び検査プログラム | |
| CN108335287B (zh) | 信息处理装置和信息处理方法 | |
| US20150187051A1 (en) | Method and apparatus for estimating image noise | |
| CN109461122A (zh) | 一种基于多视点图像的压缩感知图像重建方法 | |
| JP5091994B2 (ja) | 動きベクトル検出装置 | |
| CN111179235A (zh) | 图像检测模型的生成方法及装置、应用方法及装置 | |
| CN103858432A (zh) | 图像处理装置、方法、程序以及记录介质 | |
| US20140086479A1 (en) | Signal processing apparatus, signal processing method, output apparatus, output method, and program | |
| JPWO2006073155A1 (ja) | パターン欠陥検査のための装置、その方法及びそのプログラムを記録したコンピュータ読取り可能な記録媒体 | |
| JP6904062B2 (ja) | 情報処理装置、情報処理方法およびプログラム | |
| CN108288267B (zh) | 一种基于暗通道的扫描电镜图像清晰度无参考评价方法 | |
| WO2016092783A1 (en) | Information processing apparatus, method for processing information, discriminator generating apparatus, method for generating discriminator, and program | |
| JP2017098604A (ja) | 映像品質推定装置、映像品質推定方法、及びプログラム | |
| JP2022029262A (ja) | 画像処理装置、画像処理方法、画像処理プログラム、および学習装置 | |
| CN108256633B (zh) | 一种测试深度神经网络稳定性的方法 | |
| US9407934B2 (en) | Image evaluation apparatus and method | |
| JP7386287B1 (ja) | 検査方法及び検査装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20211026 |