CN102129563A - 感官检查装置及感官检查方法 - Google Patents

Abstract

本发明的感观检查装置及感观检查方法，由于是使用从特征量空间的原点起分布在马氏距离的初始样品，对成为合格与否的判定基准的合格与否判定的边界线进行学习，从而能仅使用边界附近的初始样品进行学习，因此能以较少的学习用的样品来决定最合适的合格与否的判定基准。另外，由于在使用疑似样品进行学习时，向进行了误判定的疑似样品附加加权，从而不新追加疑似样品，就能在机械性的判定工序中再次对误判定的疑似样品进行判定，因此，能以较少的学习用样品来决定最适合的合格与否判定基准。

Description

感官检查装置及感官检查方法

技术领域

本发明涉及自动地对显示器的目测检查、各种机械的异常噪音检查等进行检查的感官检查装置及感官检查方法。

背景技术

近年来，各种工业产品的制造工序日渐自动化，检查工序也不例外。然而，另一方面，对于显示器的不均匀、机构零部件的异常噪音等需要感官判断的检查，依旧依赖于由操作者进行的目测、听觉等的主观检查。然而，操作者的主观检查中存在以下问题。首先，长时间的感官检查会对操作者形成负担。另外，取决于个人差异、身体条件、时段等的检查结果的偏差较大。另外，正确的检查需要熟练度，培育熟练的检查员需要时间。而且，有时存在操作者的处理能力不足的情况。由于存在这样的问题，在取决于操作者的主观性的检查中难以维持检查结果是相同的。因此，在感官检查中也要求不取决于操作者的主观性的自动化。

作为使这样的感官检查自动化的方法，存在使用模式识别的方法。

此处，使用图13对利用模式识别的检查进行说明。

图13是表示使用现有的模式识别的检查中的特征量空间的图。

在使用模式识别的检查中，首先，由检测器对检查对象进行检测，从检测出的信息中提取出多个特征量，如图13所示，并绘制到以各特征量为坐标轴的特征量空间中。然后，根据在绘制时属于哪个区域来将检查对象分类为合格品、不合格品、或中间品(不能判断为合格品、不合格品的产品)。图13中为了简单起见，设定了两个特征量，但也可以采用一个或三个以上的特征量。此时，对于决定哪个区域是合格品、不合格品、或中间品，是事先准备预先知道合格与否的样品，将这些样品绘制到特征量空间中，基于此时的分布进行学习，并进行区域划分。

作为该学习、分类的方法，有使用神经网络、SVM(support-vector-machine：支持向量机，以下简写为SVM)、自组织映射、MT(Mahalanobis Taguchi：马田法，以下简写为MT)法等方法。另外，在使用神经网络的方法中存在以下方法：即，基于合格品、不合格品的样品来产生疑似不合格，将其用作为学习用的样品，从而能以较少的学习用样品来提高判定精度(例如参照日本专利特开2005-156334号公报)。

以下，使用图14、图15，说明现有的感官检查装置中的特征量空间的合格与否区域学习。

图14是表示现有的感官检查装置中的特征量空间的合格与否区域的学习装置的结构的图，是表示了日本专利特开2005-156334号公报中所记载的现有的框图。图15是表示现有的感官检查装置中的特征量空间中、基于合格品来合成不合格品的情况的图。

在图14中，可使用神经网络101来检查产品合格与否。对于合格品的学习，是利用合格品图像输入部102读取预先保存的合格品图像，经由进行滤波处理、提取出特征量的前处理部107，输入到神经网络101，作为合格品进行学习。

对于不合格品的学习，是在不合格品的图像的数量为所需要的学习数量以上时，读取预先保存的不合格品图像，经由前处理部107来输入到神经网络101，从而作为不合格品数据进行学习。

然而，由于通常难以获得所需学习数量的原始的不合格数据，因此，包括：不合格图像提取部104，该不合格图像提取部104基于不合格图像来提取出与合格品的差分数据108；疑似不合格图像生成部106，该疑似不合格图像生成部106从合格品图像输入部102读取合格品图像，合成差分数据108来生成疑似不合格图像；以及疑似数据条件设定部105，该疑似数据条件设定部105将对差分数据108与合成位置等如何进行合成的条件、与随机数发生部109的随机数进行组合，来对疑似不合格图像生成部106发出指示。

由此，在现有结构中，如图15所示，基于实际的不合格图像，在其附近生成多个疑似不合格图像，来增加学习用的样品，从而如图16那样，提高判定合格、不合格的精度。

发明内容

然后，即使在上述现有的结构中，也不能完全解决使用模式识别的检查的自动化的问题。

使用模式识别的检查的自动化的问题在于，由于用于决定合格品和不合格品的边界的有效样品较少，因此，难以对用于与人进行相同判定的边界进行学习。

使用表示现有的特征量空间的合格品和不合格品的分布的图16来进行详细说明。一般，由于合格品的偏差为正态分布，因此样品大多存在于平均值附近，在边界附近的合格品较少。另外，不合格品的发生频率一般较少，即使发生不合格品，也容易成为远离边界的样品。若将这种情况绘制到特征量空间，则成为图16那样。在图16中，由于合格品和不合格品之间的间隔较大，因此可以形成数量较多的判别合格品和不合格品的边界线，难以唯一确定，不能对与人类的感觉相近的边界线进行学习。

另外，涉及日本专利特开2005-156334号公报所示的疑似不良图像自动生成装置及图像检查装置的发明，虽然弥补了不合格品数量较少的问题，若以特征量空间进行说明，则如图15所示，是基于所产生的不合格品数据、通过合成从而增加不合格品数量的方法，但是所增加的样品限于原来的不合格品数据的周边。因此，不能希望大幅提高检查精度。

本发明是解决上述现有问题的发明，其目的在于实现一种感官检查，该感官检查能以较少的学习用样品确定与人的判断相近的合格与否的判定基准。

为了达到以上目的，本发明的感观检查装置的特征在于，包括：疑似样品生成部，该疑似样品生成部生成疑似样品；判定输入部，该判定输入部输入由人对上述疑似样品进行判定时的合格与否的结果；疑似样品特征量生成部，该疑似样品特征量生成部基于上述判定输入部输入的合格与否的结果来生成合格品和不合格品的边界附近的特征量，设定为上述疑似样品的特征量；SVM判定部，该SVM判定部基于上述疑似样品生成部生成的疑似样品的特征量来生成合格品和不合格品的边界线，进行利用SVM解析的合格与否的判定；判定比较部，该判定比较部对上述判定输入部的合格与否的结果与上述SVM判定部的合格与否的结果进行比较；再判定输入部，该再判定输入部输入由人对上述判定比较部中的合格与否的结果不同的疑似样品进行再判定的合格与否的结果；加权处理部，该加权处理部对于由上述再判定输入部输入的合格与否结果，附加对应于由上述SVM判定部生成的边界线起的距离的加权，来追加样品；以及感观检查部，该感观检查部添加由上述加权处理部追加的样品来进行合格与否的判定。

另外，为了达到以上目的，本发明的感观检查方法的特征在于，包括：疑似样品生成工序，该疑似样品生成工序生成疑似样品；判定输入工序，该判定输入工序输入由人对上述疑似样品进行判定时的合格与否的结果；疑似样品特征量生成工序，该疑似样品特征量生成工序基于上述判定输入工序输入的合格与否的结果来生成合格品和不合格品的边界附近的特征量，设定为上述疑似样品的特征量；SVM判定工序，该SVM判定工序进行基于上述疑似样品的特征量来生成合格品和不合格品的边界线的SVM解析，利用上述SVM解析进行合格与否的判定；判定比较工序，该判定比较工序对上述判定输入工序与上述SVM判定工序的结果进行比较；再判定输入工序，该再判定输入工序输入由人对上述判定比较工序中的合格与否的判定不同的疑似样品进行再判定的合格与否的结果；加权处理工序，该加权处理工序对于由上述再判定输入工序输入的结果，附加对应于由上述SVM判定工序生成的边界线起的距离的加权，来追加疑似样品；以及感观检查工序，该感观检查工序添加由上述加权处理工序追加的样品来进行合格与否的判定。

附图说明

图1(a)是表示本发明的实施方式1中的感观检查装置的疑似样品发生系统的框图。

图1(b)是表示本实施方式1中的感观检查装置的模式识别学习装置的框图。

图2是表示本实施方式1中的疑似样品生成处理的流程的流程图。

图3(a)是表示本实施方式1中的、以摄像机对LCD进行摄像所得的图像中合格品图像的例子的图。

图3(b)是表示本实施方式1中的、以摄像机对LCD进行摄像所得的图像中不合格品图像的例子的图。

图4是表示本实施方式1中的特征量提取的流程的流程图。

图5(a)是说明本实施方式1中的特征量空间的初始样品的特征量的图。

图5(b)是说明本实施方式1中的特征量空间的初始样品合格与否的结果的图。

图5(c)是表示本实施方式1中的疑似样品的增加方法的图。

图5(d)是表示本实施方式1中的特征量空间中的、疑似样品增加后合格与否的结果的图。

图6是表示本实施方式1中的疑似样品生成部的结构的框图。

图7是表示本实施方式1中的模式识别学习方法的流程的流程图。

图8是举例表示本实施方式1中的特征量空间映射的图。

图9是举例表示本实施方式1中的人对特征量空间上的疑似样品进行判定的结果的图。

图10是举例表示本实施方式1中的特征量空间上的SVM的判定结果的图。

图11是说明本实施方式1中的特征量空间上的加权处理方法的图。

图12(a)是说明本实施方式2中的特征量空间中的初始样品的特征量的图。

图12(b)是说明本实施方式2中的特征量空间中的初始样品合格与否的结果的图。

图12(c)是表示本实施方式2中的疑似样品的增加方法的图。

图12(d)是表示本实施方式2中的特征量空间中的、疑似样品增加后合格与否的结果的图。

图13是表示使用模式识别的检查中的特征量空间的图。

图14是表示现有的感观检查装置中的、特征量空间的合格与否区域学习装置的结构的图。

图15是表示现有的感官检查装置中的特征量空间中、基于合格品来合成不合格品的情况的图。

图16是表示现有的特征量空间中的、合格品和不合格品的分布的图。

具体实施方式

下面，参照附图，说明本发明的实施方式。另外，在以下的说明中，对相同的结构附加相同标号，适当地省略说明。

(实施方式1)

首先，使用图1～图11，说明实施方式1中的感观检查装置及感观检查方法。

图1(a)是表示本发明的实施方式1中的感观检查装置的疑似样品发生系统的框图。图1(b)是表示本发明的实施方式1中的感观检查装置的模式识别学习装置的框图。在本实施方式1中，疑似样品发生系统是疑似样品发生装置。

在图1(a)中，利用合格品数据输入部1读取预先保存的合格品的图像、声音等数据，经由进行滤波处理、特征量的提取的特征量提取部2，将所提取出的特征量输入到特征量空间生成部3。特征量空间生成部3基于特征量的分布进行标准化、坐标变换，生成特征量空间，由特征量空间存储部4存储该坐标系。另外，在样品特征量生成部5中，基于由特征量空间生成部3生成的特征量空间来生成初始样品的特征量，并输出到特征量空间存储部4和疑似样品生成部6。

在疑似样品生成部6中，将由样品特征量生成部5生成的初始样品的特征量与从合格品数据输入部1输入的合格品数据进行合成，来生成疑似样品。此时，在特征量中存在自由度的情况下，也可以利用随机数发生部7来决定该自由度的范围内的特征量，用于生成疑似样品。然后，在疑似样品显示部8中，显示由疑似样品生成部6生成的疑似样品。在判定输入部9中，检查员能够输入所显示的疑似样品的合格与否，将其结果发送到特征量空间存储部4。在特征量空间存储部4中，成对地存储从样品特征量生成部5输入的疑似样品的特征量、和与其相对应的从判定输入部9输入的判定结果。

对疑似样品特征量生成部10输入特征量空间存储部4中存储的特征量空间和疑似样品的判定结果，来新生成有效的样品的特征量，使得在模式识别中划定边界线(表示合格品和不合格品的边界的线)，并输入到疑似样品生成部6和特征量空间存储部4。该特征量与疑似样品的特征量同样，以与判定结果成对的方式存储到特征量空间存储部4。

图2是表示本发明的实施方式1中的疑似样品生成处理的流程的流程图。

如图2所示，在生成疑似样品的情况下，首先，在合格品数据输入部1中，读出多个预先由检测部检测并保存的合格品的数据(步骤S001)。接着，在特征量提取部2中，从各合格品数据中提取出特征量(步骤S002)。然后，在特征量空间生成部3中，基于与各合格品数据的平均值的偏差来计算马氏距离，由此进行各特征量的标准化，生成表示标准化后的各特征量分布的特征量空间，用特征量空间存储部4对特征量空间进行存储(步骤S003)。接着，在样品特征量生成部5中，生成多个从原点起的马氏距离为固定值的样品作为初始样品(步骤S004)。此时，也可以生成马氏距离为某种程度的范围内的初始样品，作为某种程度的范围，最好将从固定值起±10％以内设为范围。具体而言，最好从原点起的马氏距离为2～5。另外，在初始样品有多个的情况下，最好将其均等地配置在以特征量空间的原点为中心的超球面上。接着，在疑似样品生成部中，基于由步骤S001读出的合格品数据的平均值来生成标准合格品数据，将所生成的初始样品的特征量与标准合格品数据的特征量进行合成，来生成疑似样品(步骤S005)。接着，用疑似样品显示部8显示所生成的疑似样品，熟练的检查员、质量保证的责任者对所显示的疑似样品来判定合格与否，将其结果输入到判定输入部9(步骤S006)。接着，将输入的判定结果和与其相对应的疑似样品的特征量追加到特征量空间上(步骤S007)。

此处，在特征量空间上的样品数量为小于一定值N的情况下，基于所存储的样品的特征量，来生成新追加样品的特征量。作为样品数量的一定值N，适当地设定为基于检查员的经验的数字、设计上所要求的数字(步骤S008)。在步骤S008之后返回步骤S005，基于新生成的追加样品的特征量来再次生成疑似样品。在样品数量为一定值N以上的情况下，结束生成疑似样品。由此，结束生成疑似样品，成为模式识别的能进行学习的状态(步骤S009)。

接着，使用图3、图4，来具体说明本实施方式的学习动作。

图3是以摄像机拍摄LCD(液晶显示器)的图像的例子，表示了从X方向和Y方向这两个方向来看其一部分的线亮度文件的图。图3(a)是合格品图像，图3(b)是存在不均匀的情况下的不合格品图像。在图3(a)的合格品图像的情况下，有较大的光滑的明暗变化(shading)，但局部的变动较小。另一方面，图3(b)的不合格品图像有与合格品图像相同的明暗变化，还有局部的变动，该不合格品图像是作为不均匀而成为不合格的。此处所谓的明暗变化，现状是指图像的中心附近比端部要明亮，若观察图像整体的线亮度文件，则为山形那样。另外，相对于在该整体上发生的明暗变化，将在局部发生的、部分的与相邻亮度的变化不一致的亮度分布的部位作为不均匀。

首先，为了求出与标准合格品的平均值的偏差，读取从n个合格品获取的图像。为了求出与平均值的偏差，合格品的个数越多越好，但由于在最开始准备样品较难且耗时间，因此，此时的合格品只要有20个左右就可以(参照图2的步骤S001)。

接下来，提取出合格品的不均匀的特征量。使用图4说明该工序。图4是表示实施方式1中的特征量提取的流程的流程图。在提取出合格品的不均匀的特征量时，首先在合格品数据输入部1中输入合格品的图像(步骤S021)。接着，通过低通滤波器来获得从合格品图像除去了局部变动的图像(步骤S022)。通过将其从原始合格品图像中减去，从而去除明暗变化的影响，能够获得仅局部变动的图像(步骤S023)。然后，以一定的阈值对该图像进行二值化处理(步骤S024)。在进行二值化处理后，对多个具有不均匀的部分加以标记(步骤S025)。接着，在加以标记的各部分算出面积和体积(步骤S026)。检索其中亮度最大的最大亮度作为最大的不均匀(步骤S027)。最后，输出最大的不均匀的面积Si(i＝1，2，…，n)和体积Vi(i＝1，2，…，n)作为特征量(步骤S028)。此处，只取最大不均匀的原因在于，若其是合格品级别的，则能够将其他较小的不均匀也判定为合格品，若其是不合格品级别的，则能将至少比其大的不均匀判定为不合格(参照图2的步骤S002)。

由此，若提取出合格品的不均匀的特征量，则接着利用特征量空间生成部3来基于马氏距离生成特征量空间。若将由步骤S002求出的面积Si和体积Vi的平均值分别设为ms、mv，将标准偏差分别设为σs、σv，将对面积Si和体积Vi进行了标准化后的特征量分别设为si、vi，则si、vi可由下式(式1)求出。

[数学式1]

$\mathrm{si}=\frac{\mathrm{Si}-\mathrm{ms}}{\mathrm{\σs}}$

…(式1)

$\mathrm{vi}=\frac{\mathrm{Vi}-\mathrm{mv}}{\mathrm{\σv}}$

接着，利用下式(式2)求出标准化后的特征量的相关矩阵R。

[数学式2]

$R=\left[\begin{array}{cc}1& r12\\ r21& 1\end{array}\right]$ …(式2)

式中，r12、r21由下式(式3)表示。

[数学式3]

$r12=r21=\frac{1}{n}\underset{i=1}{\overset{n}{\mathrm{\Σ}}}\mathrm{si}\·\mathrm{vi}$ …(式3)

然后，求出相关矩阵R的逆矩阵A。

[数学式4]

A＝R^-1  …(式4)

此时，由于相关矩阵R为对称矩阵，因此，逆矩阵A也为对称矩阵。因此，若对矩阵A进行固有值分解，则能够以下式(式5)表示。

[数学式5]

A＝X′ΛX    …(式5)

式中，Λ是将固有值排列在对角上的对角矩阵，X’是X的转置矩阵。接着，将Λ的各要素乘上1/2后作为Λ1/2，以下式(式6)将特征量si、vi进行变换。

[数学式6]

${\mathrm{xi}}^{\′}={\mathrm{\Λ}}^{1/2}\·X\·\mathrm{xi},\mathrm{xi}=\left[\begin{array}{c}\mathrm{si}\\ \mathrm{vi}\end{array}\right],{\mathrm{xi}}^{\′}=\left[\begin{array}{c}{\mathrm{si}}^{\′}\\ {\mathrm{vi}}^{\′}\end{array}\right]$ …(式6)

然后，将该变换后的特征量si’、vi’作为特征量空间。此时，从特征量空间的原点起的距离‖x’‖成为马氏距离(参照图2的步骤S003)。

接着，基于特征量空间生成初始样品的特征量。此时，如图5(a)所示，生成多个样品，该样品从特征量空间的原点起的距离成为常数a。此处，在工序的不合格率为已知的情况下，将a设为成为该不合格率的特征量的标准偏差的倍数。例如，若不合格率为0.3％，则a＝3，若不合格率为4.6％，则a＝2。在工序的不合格率为未知的情况下，使用推定的不合格率、或使用作为标准的工序能力而根据经验求出的值，例如设a＝3。由此，由于从特征量空间的原点起的距离成为马氏距离，在与不合格率相对应的距离生成初始样品，因此，初始样品离合格品和不合格品的边界附近的样品很近。因此，能确保所需的样品，并能降低学习所需的样品数量(参照图2的步骤S004)。

接着，基于所生成的初始样品的特征量来生成疑似样品。图6是表示本发明的实施方式1中的疑似样品生成部的结构的框图。在图6中，合格品图像输入部21输入n幅合格品图像，在平均图像生成部22中对n幅的合格品图像的特征量进行平均化，生成合格品的平均图像。特征量输入部23输入由初始样品特征量生成部5、疑似样品特征量生成部10生成的特征量si’、vi’。特征量si’、vi’在特征量变换部24中利用下式(式7)、(式8)变换为面积Si、体积Vi。

[数学式7]

$\mathrm{xi}={[{\mathrm{\Λ}}^{1/2}\·X]}^{-1}\·{\mathrm{xi}}^{\′},\mathrm{xi}=\left[\begin{array}{c}\mathrm{si}\\ \mathrm{vi}\end{array}\right],{\mathrm{xi}}^{\′}=\left[\begin{array}{c}{\mathrm{si}}^{\′}\\ {\mathrm{vi}}^{\′}\end{array}\right]$ …(式7)

[数学式8]

Si＝σs·si+ms

…(式8)

Vi＝σv·vi+mv

由于特征量仅由面积Si和体积Vi决定，因此，不均匀的位置、形状具有自由度。此处，随机数发生部7所产生的随机数被输入到随机数输入部25，在参数决定部26中决定不均匀的位置、形状。最后，在图像合成部27中，将不均匀与合格品的平均图像进行合成来生成疑似样品(参照图2的步骤S005)。

接着，用疑似样品显示部8显示所生成的疑似样品，检查员将其划分为合格品、边界附近的合格品、边界附近的不合格品、不合格品这四级来进行评价，将该结果输出到判定输入部9(参照图2的步骤S006)。

接着，将所生成的特征量si’、vi’和由步骤S006判定的判定结果成对地保存到特征量空间存储部4。此时的结果如说明特征量空间中的初始样品的合格与否的结果的图5(b)所示，成为对于从特征量空间的原点起的距离为一定的样品表示合格品、边界附近的合格品、边界附近的不合格品、不合格品这四级的评价结果的结果(参照图2的步骤S007)。

然后，由于为了高精度地决定合格与否的判定边界而需要最少N个样品，因此，在所生成的疑似样品的数量为小于N个的情况下，生成新的疑似样品。新的疑似样品首先由疑似样品特征量生成部10生成该特征量，特征量的生成方法有三种。使用表示疑似样品的增加方法的图5(c)来说明该方法。第一种方法是，计算从被判定为合格品的样品的特征量起向原点方向变化预定量(使马氏距离减小)的特征量；第二种方法是，计算从被判定为不合格品的样品的特征量起向原点的反方向变化预定量(增大马氏距离)的特征量；第三种方法是，从被判定为边界附近的合格品、被判定为边界附近的不合格品的样品的特征量中选出两个，对其矢量的大小和方法分别进行平均，来计算特征量。作为平均化的方法，可以列举出以相同比例来合成从特征量的原点起的距离和方向的方法，例如以1/2的比例进行合成。通过生成具有这样的特征量的疑似样品，从而能重点增加合格品和不合格品的边界附近的疑似样品(参照图2的步骤S008)。

重复以上循环，直至疑似样品的数量成为N个以上。其结果是，如表示特征量空间中的疑似样品增加后的合格与否的结果的图5(d)所示，合格品和不合格品的边界附近的样品增多。然后，由于用于生成疑似样品的合格品、不合格品的判定结果是人的判定结果，因此生成后的疑似样品的合格品、不合格品的判定结果也与人的判定结果相近，能够高精度地决定如虚线所示的合格品、不合格品的边界线作为与人的判断相近的边界线。

最后，再次显示所有产生的疑似样品，用模式识别学习系统对其进行检测(参照图2的步骤S009)。

在模式识别学习系统中，使用如上所述生成的疑似样品进行学习。

此外，在本实施方式中，以面积和体积这二维说明了特征量，但是也不特别限定于二维，也可以作为m维。这时，将m个标准化后的特征量作为yji(j＝1，2，…，m、i＝1，2，…，n)，以下式(式9)、(式10)来表示式2、式3。

[数学式9]

…(式9)

[数学式10]

$\mathrm{rjk}=\frac{1}{n}\underset{i=1}{\overset{n}{\mathrm{\Σ}}}\mathrm{yji}\·\mathrm{yki}$ …(式10)

此外，在本实施方式中，将生成初始样品的特征量时的从原点起的距离生成作为固定值a，但也可以在规定的距离内具有某种程度的范围的偏差。由此，在生成疑似样品时容易产生具有不同马氏距离的样品。

以下，使用图1(b)、图7，说明学习装置及学习方法。

在图1(b)中，检测部11是实际样品、疑似样品产生装置，或是获取由疑似样品产生方法生成的图像、声音的装置，使用CCD摄像机或麦克风等。特征量提取部12基于由检测部11获取的图像、声音来提取出特征量，输出到特征量空间生成部13。特征量空间生成部13基于特征量的分布进行标准化、坐标变换，生成特征量空间，由特征量空间存储部15存储该特征量空间的坐标系统。另外，将由特征量空间生成部13提取出的疑似样品的特征量输出到SVM(support-vector-machine：支持向量机)判定部16。另外，判定输入部14输入由人对所生成的疑似样品来判定合格与否的结果。在特征量空间存储部15中，成对地存储从特征量空间生成部13输入的特征量的值、和与其相对应的从判定输入部14输入的判定结果。基于输入到SVM判定部16的疑似样品的特征量空间来实施SVM解析，机械性地对所生成的疑似样品判定合格与否。判定比较部17对判定输入部14中的由人进行的判定结果与SVM判定部16的机械性的判定结果进行比较，再判定输入部18仅读出合格与否的判定(结果)不同的疑似样品，再次由人判定合格与否。

此处，考虑再次由人判定合格与否的结果为合格品的情况。在加权处理部19中，以直线连接再次判定为合格品的疑似样品的特征量空间上的P点、和不合格品(与再次判定的合格与否相反的合格与否的结果)的判定空间群的重心点O，将该直线与SVW解析的合格与否判定空间的边界线的交点设为Q，在将线段OQ的长度设为L1、将线段QP的长度设为L2的情况下，根据这两段线段的长度将M×L2/L1(M为加权系数)的量对再判定为合格品的疑似样品的特征量进行加权。然后，向再次SVM判定部16输入合格与否判定结果，实施SVM解析，由判定比较部17对SVM判定部16的判定结果与再判定输入部18的判定结果是否相同进行确认。若不一致，则重复相同的处理直至一致为止。对于所学习的疑似样品的判定结果，若SVM判定部16的与再判定输入部18的相同，则向合格与否空间输出部20输出学习后的合格与否空间。实际的检查是使用上述生成的合格与否空间来进行的，基于实际样品的特征量来判定其合格与否，指示检查结果。

图7是表示本发明的实施方式1中的模式识别学习方法的流程的流程图。

如图7所示，首先，检测部11读出由疑似样品生成部6生成的疑似样品(步骤S011)。接着，在特征量提取部12中，从各样品中提取出特征量(步骤S012)。然后，在特征量空间生成部13中，将各样品的特征量映射到特征量空间上，由特征量空间存储部15对其进行存储(步骤S013)。接着，由熟练的检查员、质量保证的责任者等对读入的疑似样品判定合格与否，将其结果输入到判定输入部14(步骤S014)。接着，将从疑似样品提取出的特征量输入到SVM判定部16来进行SVM解析(步骤S015)。判定比较部17对每个疑似样品来比较在步骤S014中进行的人的判定结果与SVM的判定结果(步骤S016)。在其判定结果不同的情况下(包含误判定的情况)，重新对误判定的疑似样品进行再次判定。此处，所谓的误判定的情况，是指人判定为合格品而SVM解析的结果判定为不合格品的(过检)的情况、和人判断为不合格品而SVM解析的结果判断为合格品的(漏检)的情况这两种情况。此时，对于判定结果，在加权处理部中使特征量空间具有再判定结果的加权(步骤S017)。而且，重复同样的处理，若无误判定，则通过完成与人的判断相同的合格与否的空间，因而用于检查的边界线变明确，可以转移到实际样品的检查(步骤S018)。

在以上说明中，以进行SVM判定的情况为例进行了说明，但是判定方法并不是特定的，能够使用其他的进行机械性的合格与否判定的判定方法。

接着，使用图3所示的LCD的例子说明本实施方式的动作。

首先，生成LCD画面的疑似样品，读入该图像(参照图7的步骤S011)。

接着，实施使用图4说明的图像处理，来提取出特征量。在这种情况下，检测出LCD画面上的斑点。将斑点的最大亮度值和面积提取作为特征(参照图7的步骤S012)。接着，如图8所示，映射生成在特征量空间上的疑似样品(参照图7的步骤S013)。图8是举例表示本发明的实施方式1中的特征量空间映射的图。

接着，熟练的检查员、质量保证的责任者等对映射后的疑似样品判定合格与否(参照图7的步骤S014)。图9是举例表示本发明的实施方式1的由人对特征量空间上的疑似样品进行判定的结果的图，表示了由人判定合格与否的结果。接着，利用SVM解析对同样的映射后的疑似样品进行判定(参照图7的步骤S015)。如举例表示本发明的实施方式1中的特征量空间上的SVM判定结果的图10所示那样，根据SVM解析结果来设定判定合格与否的边界线。接着，比较由人作出的合格与否的判定结果和SVM的合格与否的判定结果，输出误判定样品(参照图7的步骤S016)。接着，如图11所示，以直线连接再次判定为漏判的疑似样品的点P、和不合格品(与再次判定的点P相反的合格与否的内容)的判定空间群的重心点O，若在将该直线与SVM解析的合格与否判定空间的边界线的交点设为Q、将线段OQ的长度设为L1、线段QP的长度设为L2的情况下，将误判定点P从合格与否的边界偏离的程度定量化，则定量化的距离变量X成为下式(式11)。

[数学式11]

X＝L2/L1  …(式11)

式中，加权量Y成为下式(式12)。

[数学式12]

Y＝MX+1  …(式12)

式中，M是加权系数，取任意的常数。即，通过向误判定的疑似样品的特征量附加加权M，从而将再判定的结果的内容向相同特征量空间上追加Y的量，使疑似样品在特征量空间上增加。即，在再判定疑似样品存在一个、将该疑似样品进行加权的量Y成为3的情况下，总共生成四个疑似样品。因此，通过进行加权，从而在特征量空间上的疑似样品增加三个。

由此，即使机械性地追加疑似样品也能正确地进行SVM判定，不会因人的缘故而故意新追加用于学习的疑似样品，能够计算出合格与否的边界线(参照图7的步骤S017)。图11的情况(存在漏判的误判定的情况)下，再次进行SVM解析，重复进行直至人和SVM的判定完全一致，若无误判定，则于是完成具有反映人的判断的边界线的合格与否空间。然后，使用该特征量空间，进行实际样品的模式识别来实施合格与否判定检查。

由此，由于使用从特征量空间的原点起分布在马氏距离的初始样品，对成为合格与否的判定基准的合格与否判定的边界线进行学习，从而能仅使用边界附近的初始样品进行学习，因此能以较少的学习用的样品来决定最合适的合格与否的判定基准。

另外，由于在使用疑似样品进行学习时，向进行了误判定的疑似样品附加加权，从而不需要由人来新追加疑似样品，就能在机械性的判定工序中再次对误判定的疑似样品进行判定，因此，能以较少的学习用样品来决定最合适的合格与否判定基准。

另外，在以上说明中，以进行上述处理这两种处理的情况为例进行了说明，但即使仅进行任一处理，也能以较少的学习用样品来决定最合适的合格与否的判定基准。

(实施方式2)

接着，使用图12，对实施方式2中的感观检查装置及感观检查方法相对于实施方式1的不同特征进行说明。

图12是表示本发明的实施方式2的特征量空间的图。在图12中，对与图5相同的结构要素使用相同标号，省略说明。

图12(a)是初始样品的特征量。在选择初始样品时，在实施方式1中，是选择从原点起的距离成为a的初始样品，方向是随机的，但在本实施方式2中，选择从原点起的距离为a、相互间的间隔成为相等间隔的初始样品。

在图12(b)中，表示初始样品的判定结果。

图12(c)是表示用疑似样品特征量生成部10来生成特征量的方法的图。此处，在实施方式2中，尽管沿着从原点起的直线来生成新的疑似样品，但若判定结果是合格品，则在离原点远的位置生成新的疑似样品，若判定结果是不合格品，则在离原点近的位置生成新的疑似样品。

然后，作为结束条件，在实施方式1中，是重复进行直至超过疑似样品的个数，但在实施方式2中，是重复进行直至检测出边界附近的合格品、边界附近的不合格品。表示特征量空间中的疑似样品增加后的合格与否结果的图12(d)是举例表示此时的疑似样品的分布的图。

由于除此处说明以外的处理与实施方式1相同，因此省略说明。

在本发明的实施方式2的感观检查装置及方法中，由于不使用随机数，不检测个数，而是直至检测出实际在边界附近的合格与否的结果为止来生成疑似样品，因此能减少无用的样品，并更正确地用较少的学习用样品来确定最合适的合格与否的判定基准。

Claims (20)

1.一种感观检查装置，其特征在于，包括：

疑似样品生成部，该疑似样品生成部生成疑似样品；

判定输入部，该判定输入部输入由人对所述疑似样品进行判定的合格与否的结果；

疑似样品特征量生成部，该疑似样品特征量生成部基于所述判定输入部输入的合格与否的结果来生成合格品和不合格品的边界附近的特征量，以设定为所述疑似样品的特征量；

SVM判定部，该SVM判定部基于所述疑似样品生成部生成的疑似样品的特征量，来生成合格品和不合格品的边界线，进行利用SVM解析的合格与否的判定；

判定比较部，该判定比较部对所述判定输入部的合格与否的结果与所述SVM判定部的合格与否的结果进行比较；

再判定输入部，该再判定输入部输入由人对所述判定比较部中的合格与否的结果不同的疑似样品进行再判定的合格与否的结果；

加权处理部，该加权处理部对于由所述再判定输入部输入的合格与否结果，附加对应于由所述SVM判定部生成的边界线起的距离的加权，来追加样品；以及

感观检查部，该感观检查部添加由所述加权处理部追加的样品来进行合格与否的判定。

2.如权利要求1所述的感观检查装置，其特征在于，包括：

合格品数据输入部，该合格品数据输入部输入合格品样品的合格品数据；

特征量空间生成部，该特征量空间生成部将从所述合格品数据中提取出的特征量进行变换，使得从特征量空间的原点起的距离成为马氏距离；

初始样品生成部，该初始样品生成部生成从特征量空间的原点起的距离成为固定值的初始样品，基于所述初始样品来生成疑似样品。

3.如权利要求2所述的感观检查装置，其特征在于，

所述初始样品是从特征量空间的原点起的距离为固定值±10％以内。

4.如权利要求3所述的感观检查装置，其特征在于，

所述初始样品是从特征量空间的原点起的距离为2～5之间。

5.如权利要求1～权利要求4的任一项所述的感观检查装置，其特征在于，

由所述判定输入部输入的合格与否的结果可分为合格品、边界线附近的合格品、边界线附近的不合格品、及不合格品这四级。

6.如权利要求5所述的感观检查装置，其特征在于，

所述疑似样品可由以下任一种方法生成，即：基于所述判定输入部的判定合格与否的样品的结果、减小合格品样品的特征量的马氏距离的方法；增大不合格品样品的特征量的马氏距离的方法；及以相同比例对边界线附近的合格品样品、边界线附近的不合格品样品中的两个样品的特征量的原点起的距离与方向进行合成的方法。

7.如权利要求6所述的感观检查装置，其特征在于，

对边界线附近的合格品样品、边界线附近的不合格品样品中的两个样品的特征量的特征量空间的原点起的距离和方向进行合成的比例分别为1/2。

8.如权利要求5所述的感观检查装置，其特征在于，

所述初始样品均等地配置在以特征量空间的原点为中心的超球面上，

所述疑似样品可通过以下任一种方法生成：即，基于由所述判定输入部判定的样品的结果、减小合格品样品的特征量的马氏距离的方法；及增大不合格品样品的特征量的马氏距离的方法。

9.如权利要求8所述的感观检查装置，其特征在于，

对于由人对所述判定输入部和所述SVM判定部的合格与否的判定结果不同的疑似样品进行再判定的结果，再次实施SVM解析，

持续进行再判定直至所述判定输入部和所述SVM判定部的合格与否的结果一致。

10.如权利要求9所述的感观检查装置，其特征在于，

当对于再判定的疑似样品、附加加权进行复制来使疑似样品增加时，

在所述再判定输入部中，以直线连接再判定的疑似样品的点P、和与再判定的疑似样品合格与否相反的判定空间群的重心点O，

对于该直线与SVM解析的合格与否判定空间的边界线的交点Q，在将线段OQ设为L1、将线段QP设为L2、将加权系数设为M的情况下，进行M×L2/L1的量的加权。

11.一种感观检查方法，其特征在于，包括：

疑似样品生成工序，该疑似样品生成工序生成疑似样品；

判定输入工序，该判定输入工序输入由人对所述疑似样品进行判定时的合格与否的结果；

疑似样品特征量生成工序，该疑似样品特征量生成工序基于所述判定输入工序输入的合格与否的结果来生成合格品和不合格品的边界附近的特征量，设定为所述疑似样品的特征量；

SVM判定工序，该SVM判定工序进行基于所述疑似样品的特征量来生成合格品和不合格品的边界线的SVM解析，利用所述SVM解析进行合格与否的判定；

判定比较工序，该判定比较工序对所述判定输入工序与所述SVM判定工序的结果进行比较；

再判定输入工序，该再判定输入工序输入由人对所述判定比较工序中的合格与否的判定不同的疑似样品进行再判定的合格与否的结果；

加权处理工序，该加权处理工序对于由所述再判定输入工序输入的结果，附加对应于由所述SVM判定工序生成的边界线起的距离的加权，来追加疑似样品；以及

感观检查工序，该感观检查工序添加由所述加权处理工序追加的样品来进行合格与否的判定。

12.如权利要求11所述的感观检查方法，其特征在于，包括：

合格品数据输入工序，该合格品数据输入工序输入合格品样品的合格品数据；

特征量空间生成工序，该特征量空间生成工序将从所述合格品数据中提取出的特征量进行变换，使得从特征量空间的原点起的距离成为马氏距离；以及

初始样品生成工序，该初始样品生成工序生成从特征量空间的原点起的距离成为固定值的初始样品，基于所述初始样品来生成疑似样品。

13.如权利要求12所述的感观检查方法，其特征在于，

所述初始样品是从特征量空间的原点起的距离为固定值±10％以内。

14.如权利要求13所述的感观检查方法，其特征在于，

所述初始样品是从特征量空间的原点起的距离为2～5之间。

15.如权利要求11～权利要求14的任一项所述的感观检查方法，其特征在于，

由所述判定输入工序输入的合格与否的结果可分为合格品、边界线附近的合格品、边界线附近的不合格品、及不合格品这四级。

16.如权利要求15所述的感观检查方法，其特征在于，

所述疑似样品可由以下任一种方法生成，即：基于所述判定输入工序的判定样品的结果、减小合格品样品的特征量的马氏距离的方法；增大不合格品样品的特征量的马氏距离的方法；及以相同比例对边界线附近的合格品、边界线附近的不合格品样品中的两个样品的特征量的原点起的距离与方向进行合成的方法。

17.如权利要求16所述的感观检查方法，其特征在于，

对边界线附近的合格品、边界线附近的不合格品样品中的两个样品的特征量的原点起的距离和方向进行合成的比例分别为1/2。

18.如权利要求16所述的感观检查方法，其特征在于，

所述初始样品均等地配置在以特征量空间的原点为中心的超球面上，

所述疑似样品可通过以下任一种方法生成：即，基于由所述判定输入工序判定的样品的结果、减小合格品样品的特征量的马氏距离的方法；及增大不合格品样品的特征量的马氏距离的方法。

19.如权利要求18所述的感观检查方法，其特征在于，

对于由人对所述判定输入工序和所述SVM判定工序的合格与否的判定结果不同的疑似样品进行再判定的结果，再次实施SVM解析，

持续进行再判定直至所述判定输入工序和所述SVM判定工序的合格与否的结果一致。

20.如权利要求19所述的感观检查方法，其特征在于，

当对再判定的疑似样品、附加加权并进行复制来使疑似样品增加时，

在所述再判定输入工序中，以直线连接再判定的疑似样品的点P、和与再判定的疑似样品合格与否相反的判定空间群的重心点O，

对于该直线与SVM解析的合格与否判定空间的边界线的交点Q，在将线段OQ设为L1、将线段QP设为L2、将加权系数设为M的情况下，进行M×L2/L1的量的加权。

Images