CN1656371A - 判定表面缺陷的方法 - Google Patents

Abstract

短时期而且自动制作缺陷种类和缺陷等级的判定逻辑，同时提高缺陷种类和缺陷等级的符合率。具体解决手段如下。把过去得到积累的大量表面缺陷的特征量用特征空间上的点表示，在利用假想映射函数，在映射端空间上完全可以进行线性分离的识别面存在的约束条件下，把距识别面的距离最近的点与距识别面的距离作为目标函数，将通过解析最大化的2次规划问题求出的识别面作为识别函数预先求出，把种类未知表面缺陷的特征量代入上述识别函数，根据其结果，判定种类未知的表面缺陷是否上述缺陷种类。

Description

判定表面缺陷的方法

技术领域

本发明涉及在表面检查中判定表面缺陷种类或表面缺陷等级的方法。

背景技术

作为检测制品(下面称为“被检查材”)表面缺陷的装置有如图1所示的，向输送中的被检查材10照射从外部照明20发出的光，用摄象机30拍摄从被检查材10表面反射的光，对拍摄的图像经图像处理提取缺陷的特征量，以提取的特征量为基础判定缺陷种类和缺陷等级的表面缺陷检查装置。

用这样的表面缺陷检查装置，根据经图像处理得到的表面缺陷的长度、宽度、面积等尺寸的特征量、圆度、纵横尺寸比等的形状特征量、缺陷部位图像浓度的平均值、缺陷部位图像浓度的最小值、缺陷部位图像浓度的最大值等的图像浓淡的特征量等，用确定树方式进行缺陷种类和缺陷等级的判定。所谓的确定树方式是指，把判定条件组合成树形，在第1次的判定中，若符合第1的判定条件，则判定为第1种缺陷，否则进行第2次判定，若符合第2的判定条件，则判定为第2种缺陷，如此反复进行直到确定了缺陷种类和缺陷等级的方法。另一方面，在各个判定条件中，预先选择各缺陷种类和各缺陷等级具有特征的几个特征量，与对每个特征量预先设定的阀值对比进行判定。

发明内容

可是用上述的现有方法存在的问题是，在各判定条件中，专业技术人员由于根据大量的数据进行解析，选定各缺陷具有特征的特征量，以尝试法对阀值进行设定，完成判定逻辑需要花费很多工时，表面缺陷检查装置的启动需要花费很长的时间。

此外还存在有，如果被检查材的材质变更或加工方法变更的话，必须从头开始上述的操作，要花费这么大的工时，不能应对快速的检查的问题。

此外，判定条件使用的特征量的选择和各特征量的阀值的设定，若特征量多的话，在理论上与缺陷种类和缺陷等级的符合率提高，而实际上解析变得困难，存在着在提高缺陷种类和缺陷等级的符合率上明限度的问题。其中所谓的符合率是指，认为检查员的判定正确，检查员的判定和检查装置的判定一致的比例。例如，在判定缺陷种类的情况下是指，检查员判定为缺陷种类A的缺陷中，检查装置判定为缺陷种类A的比例。或相反是指，表面缺陷检查装置判定为缺陷种类A的缺陷中，检查员判断认为是对的判断的比例。关于缺陷等级也一样。

另一方面特开平4-142412等发表了为了节省在建立判定逻辑中需要花费的工时，使用神经网络的自动制作判定逻辑的技术。可是神经网络学习需要大量的数据，而且学习时间长、效率低。此外还存在有，由于内容是黑箱，就一个个特定的事项即使产生判定失误，也不能一个个调整的问题。

本发明是鉴于这些情况做出的发明，目的在于，提供短时间自动制作缺陷种类和缺陷等级的逻辑判定，同时使缺陷种类和缺陷等级的符合率提高的方法。

为了解决上述课题，本发明的第1方案提供一种表面缺陷判定方法，获得被检查材表面状态的信息，根据获得的信息，提取表面缺陷的特征量，以上述特征量为基础，判定是否符合规定的缺陷种类，其特征在于：把过去得到积累的多个表面缺陷的特征量和与其对应的表面缺陷种类作为学习的数据而预先准备，把上述学习的数据用特征空间上的点表示，在利用假想的映射函数可以在映射端空间上完全进行线性分离的识别面存在的约束条件下，通过把距上述识别面的距离最近的点与距上述识别面的距离作为目标函数，解析使上述目标函数最大化的2次规划问题，把最佳识别面作为识别函数预先求出，把种类未知表面缺陷的特征量代入上述识别函数，根据其结果，判定上述种类未知的表面缺陷是否符合上述缺陷种类。

本发明的第2方案提供一种表面缺陷判定方法，获得被检查材表面状态的信息，根据获得的信息提取表面缺陷的特征量，以上述特征量为基础，判定是否符合规定的缺陷种类，其特征在于：把过去得到积累的大量表面缺陷的特征量和与其对应的表面缺陷种类作为学习的数据而预先准备，把上述学习的数据用特征空间上的点表示，设定利用假想映射函数可以在映射端空间上完全进行线性分离的识别面存在的约束条件，同时把距上述识别面的距离最近的点与距上述识别面的距离作为目标函数而进行设定，使上述完全进行线性分离的约束条件放宽，允许产生识别失误的点存在，同时在上述目标函数中附加惩罚项进行补正，在上述放宽了的约束条件下，把通过解析使上述补正的目标函数最大化的2次规划问题而求解的识别面作为识别函数预先求出，把种类未知的表面缺陷的特征量代入上述识别函数，根据其结果，判定上述种类未知的表面缺陷是否符合上述缺陷种类。

本发明的第3方案提供一种表面缺陷判定方法，其特征在于：对于方案1或2的识别函数，对不允许漏检的重要程度高的表面缺陷，调整上述识别函数的偏置项，以得到期望的缺陷种类符合率。

本发明的第4方案提供一种表面缺陷判定方法，其特征在于：利用方案1至3中任何一项所述的表面缺陷判定方法判定缺陷等级。

本发明的第5方案提供一种表面缺陷判定方法，其特征在于：利用把方案1至4中任何一项中的表面缺陷判定方法编入确定树中，判定多种缺陷种类和/或缺陷等级。

采用本发明的第1方案的话，使在特征空间不能线性分离的分布数据可以完全识别，提高缺陷种类的符合率。此外为了短期间而且自动制作判定逻辑，可以节省完成判定逻辑需要的工时，同时可以使表面缺陷检查装置早启动工作。

采用本发明的第2方案的话，即使不是此缺陷种类的两部分数据混合存在于识别面附近，不用过度的学习，也可以恰当地进行判定。

采用本发明的第3方案的话，通过专门的技术人员等的调整，有意识地把识别面平行移动，可以扩大不允许漏检的重要程度高的表面缺陷一侧的特征空间区域，可以得到所希望的缺陷种类符合率。

采用本发明的第4方案的话，可以使从本发明的第1方案到第3方案的判定缺陷种类的方法也可以适用于判定缺陷等级的方法。

采用本发明的第5方案的话，把从方案1到4中任何一项中的表面缺陷判定方法编入确定树中，可以判定多种缺陷种类和缺陷等级。

附图说明

图1为表示在实施本发明的表面缺陷检查方法中使用的检查装置结构的框图。

图2为表示上述检查装置的表面缺陷种类判定部分的说明图。

图3为表示本发明的表面缺陷检查方法的表面缺陷种类和等级判定部分的说明图。

实施发明的最佳方式

下面参照附图对本发明的实施方式进行说明。

图1为在获得被检查材表面状态的信息中使用摄象机情况下的表面缺陷检查装置整体结构的示例。利用照明20把光照射到沿图中箭头L方向输送的被检查材10上，用摄象机30对其反射光和散射光进行拍摄。

对拍摄的图像在表面缺陷特征量提取部分40进行图像处理，从图像浓度的变化等检测表面缺陷，提取多个特征量。作为特征量，有与表面缺陷尺寸有关的长度、宽度、面积等、与表面缺陷形状有关的圆度、纵横尺寸比等、与图像浓度有关的缺陷部位图像浓度的平均值、缺陷部位图像浓度的最小值、缺陷部位图像浓度的最大值等。

作为用于获得被检查材表面状态信息的手段，除了上述的方法以外，还有用激光照射被检查材，利用它的反射光和散射光的变化的方法等。

因为本发明处理在特征空间上的数据，所以如果在各特征量之间数值的范围不同，就不能正确评价。所以得到的特征量要在格式化处理部分50格化化成例如(1)式、(2)式所示的形式。

(x-μ)/σ            ……(1)

其中μ：作为学习数据获得的某个特征量的平均值

    σ：作为学习数据获得的某个特征量的标准离差

或

(x-x_min)/(x_max-x_min)    ……(2)

其中x_min：作为学习数据获得的某个特征量的最小值

    x_max：作为学习数据获得的某个特征量的最大值

格式化后的特征量在表面缺陷种类判定部分60进行处理，判定表面缺陷种类，在表面缺陷种类判定结果输出部分90输出判定的结果。

图2作为表面缺陷种类判定部分60的一个示例，表示判定是否符合此表面缺陷A情况的图示。此表面缺陷种类判定部分60分为学习数据处理部分70和未知数据判定部分80。在学习数据处理部分70作为学习的数据，输入过去得到存储的多个表面缺陷的特征量和与其对应的表面缺陷种类组。

在2次规划问题处理部分72进行以下处理。①把学习数据用特征空间上的点来表示。②在约束条件求解使目标函数最大化的2次规划问题。③通过求解2次规划问题得到最佳识别面。④把最佳识别面作为识别函数。其中，所谓的约束条件是指，利用假想映射函数可以在映射端空间上完全进行线性分离的识别面存在。所谓目标函数是指，距识别面最近的点与此识别面的距离。

作出的识别函数被存储在识别函数存储部分74中。对应于输入的表面缺陷的特征量的表面缺陷种类是根据检查人员的判断等确定的。此外，可以只输入学习数据，在产生被检查材材质变更和加工方法变更等随时间的变化时，也可以再输入新的学习数据，更新识别函数。也就是，无须由专门的技术人员进行数据解析，在尝试法中制作判定逻辑。

另一方面，在未知数据判定部分80，用识别函数存储部分74存储的识别函数，对是否符合表面缺陷A进行判定。

实施例

实施例1

在此，对在判定表面缺陷A和其他的表面缺陷A′的情况下的表面缺陷种类判定部分60的学习数据处理部分70中的学习方法进行详细说明。用特征空间上的点表示的学习数据的特征量矢量X₁，通过满足(3)式的假想映射函数Φ进行X_i→Φ(x_i)映射。

Φ(x_i)·Φ(x_j)＝K(x_i·x_j)    ……(3)

也就是，在映射端的Φ空间上的内积Φ(x_i)·Φ(x_j)为映射元的特征空间上的内积x_i·x_j的函数。

其中i、j是学习数据的编号。

i，j＝1，2，…，n(n：学习数据数)。此外，此映射保存在映射元的特征空间上的距离的关系，同时映射的结果可以使在Φ空间的表面缺陷A的集合和其他的表面缺陷A′的集合线性分离。

由于在Φ空间上可以线性分离，所以使用符号函数sgn(正值返回到+1，负值返回到-1)，利用下式可以判定A的集合和A′的集合。

Y＝sgn[w·Φ(x)+h]    ……(4)

其中y：判定输出值{+1，-1}

    w：权重矢量

    x：未知缺陷的特征矢量

    h：偏置

其中，从几何学上解释(4)式的话，可以解释为在界面上把由法线矢量w和偏置h确定的识别面分成2个Φ空间，一个设定为1，另一个设定为-1。可是，对A的集合和A′的集合在完全进行线性分离的识别面存在的情况下，法线矢量w和偏置h不能唯一确定。所以把距离识别面最近的点和距与此识别面的距离d_m最大的识别面作为最佳识别面来求解。

$d_m=\underset{i}{\min }\left[\right||w\·\mathrm{\Φ}\left(x_i\right)+h||/|\left|w\right|\left|\right]=\left|\right|w\·\mathrm{\Φ}\left(x_{\mathrm{sv}}\right)+h\left|\right|/\left|\right|w\left|\right|$

x_sv：距最佳识别面的最近的点

此外，用于排除W和h的冗余性的格式化条件，也就是给出

$\underset{i}{\min }\left|\right|w\·\mathrm{\Φ}\left(x_i\right)+h\left|\right|=\left|\right|w\·\mathrm{\Φ}\left(x_{\mathrm{sv}}\right)+h\left|\right|=1---\left(6\right)$

另一方面，因对A的集合和A′的集合可以完全分离，必须存在满足(7)式的ε。

y_i·[w·Φ(x_i)+h]≥ε    ………(7)

其中利用格式化条件(6)，(7)式可以用下式表示。

y_i·[w·Φ(x_i)+h]≥1    ………(8)

把以上整理为

目标函数：‖w‖²→最大化

约束条件：y_i·[w·Φ(x_i)+h]≥1    ………(9)

这样可以归结为2次规划问题。

其中，导入求解2次规划问题时常用的拉格朗日函数的话，得到

$L(w,h,\mathrm{\α})={\left|\right|w\left|\right|}^2/2-\underset{i}{\mathrm{\Σ}}{\mathrm{\α}}_i[y_i\·\{w\·\mathrm{\Φ}\left(x_i\right)+h\}-1]---\left(10\right)$

其中，α_i：拉格朗日乘数(α_i≥0)

在w、h的鞍点得到以下关系。

$\∂L/\∂h=-\underset{i}{\mathrm{\Σ}}{\mathrm{\α}}_i{y}_i=0---\left(11\right)$

$\∂L/\∂w=w-\underset{i}{\mathrm{\Σ}}{\mathrm{\α}}_i{y}_i\mathrm{\Φ}\left(x_i\right)=0---\left(12\right)$

把这些关系式代入原来的拉格朗日函数中，可以归结于以下的对偶问题。

·目标函数：

·约束条件： $\underset{i}{\mathrm{\Σ}}{\mathrm{\α}}_i{y}_i=0,{\mathrm{\α}}_i\≥0---\left(13\right)$

其中，从(3)式的关系变成

·目标函数：

大化

·约束条件： $\underset{i}{\mathrm{\Σ}}{\mathrm{\α}}_i{y}_i=0,{\mathrm{\α}}_i\≥0---\left(14\right)$

本次具体的K的函数，使用

K(x_i·x_j)＝exp[-‖x_i-x_j‖²/2σ²]  ……(15)

因此(14)式成为

·目标函数： $\underset{i}{\mathrm{\Σ}}{\mathrm{\α}}_i-1/2\underset{i}{\mathrm{\Σ}}\underset{j}{\mathrm{\Σ}}{\mathrm{\α}}_i{\mathrm{\α}}_j{y}_i{y}_j\exp [-{\left|\right|x_i-x_j\left|\right|}^2/2$

·约束条件： $\underset{i}{\mathrm{\Σ}}{\mathrm{\α}}_i{y}_i=0,{\mathrm{\α}}_i\≥0---\left(16\right)$

例如利用求解用Matlab准备的2次规划问题的函数quadprog等，可以实际求解(16)式，求出α。

此外，利用(3)式、(12)式、(15)式，识别函数(4)式，变成

$Y=\mathrm{sgn}[\underset{i}{\mathrm{\Σ}}{\mathrm{\α}}_i{y}_i\mathrm{\Φ}\left(x_i\right)\·\mathrm{\Φ}\left(x\right)+h]$

$=\mathrm{sgn}[\underset{i}{\mathrm{\Σ}}{\mathrm{\α}}_i{y}_{i}K(x_i\·x)+h]$

$=\mathrm{sgn}[\underset{i}{\mathrm{\Σ}}{\mathrm{\α}}_i{y}_i\exp (-{\left|\right|x_i-x\left|\right|}^2/2{\mathrm{\σ}}^2)+h]---\left(17\right)$

利用通过求解2次规划问题而求出的α和给出适当的σ、h，可以确定识别函数。

实施例2

可是由于实际上在特征空间上的各集合的分布从概率上说其中也有错误的数据(检查人员的判断是正确的，但也包括有错误的判断)，没有必要经常对学习的数据是正确进行判定。

所以在第2实施例中，使在第1实施例中所示的完全进行线性分离的约束条件放宽。允许产生识别错误的点存在，这种情况下，在第1实施例所示的目标函数中附加惩罚项。下面对此方法进行说明。

在本实施例中，利用允许约束条件中的识别错误变量ξ和对识别错误的惩罚参数C，把(9)式用以下方式表示。

目标函数：

约束条件：y_i·[w·Φ(x_i)+h]≥1-ξ_i    ……(18)

把(18)式代入与第1实施例相同的拉格朗日函数中，归结为对偶问题，使用(15)式可以表示成以下形式。

·目标函数： $\underset{i}{\mathrm{\Σ}}{\mathrm{\α}}_i-1/2\underset{i}{\mathrm{\Σ}}\underset{j}{\mathrm{\Σ}}{\mathrm{\α}}_i{\mathrm{\α}}_j{y}_i{y}_j\exp [-{\left|\right|x_i-x_j\left|\right|}^2/2$

·约束条件： $\underset{i}{\mathrm{\Σ}}{\mathrm{\α}}_i{y}_i=0,C\≥{\mathrm{\α}}_i\≥0---\left(19\right)$

(19)式也与(16)式相同，例如，利用求解Matlab准备的2次规划问题的函数quadprog等，可以实际求解(16)式，求出α。

此外，识别函数与(17)式相同，利用通过求解2次规划问题的方法求出的α和给出适当的σ、h，可以确定识别函数。

在本实施例中，作为识别函数的参数选择C＝10⁴、σ＝1.0、h＝0或C＝∞、σ＝10、h＝0。

实施例3

上述的实施例2对表面缺陷A的符合率(例如认为检查员等的判定正确，在判定属于某个缺陷种类A的缺陷中，用表面检查装置的判定为种类A的比例)和除此之外的表面缺陷A′符合率(例如认为检查员等的判定正确，在判定属于某个缺陷种类A′的缺陷中，用表面检查装置的判定为种类A′的比例)进行大体均衡的判定。可是根据表面缺陷种类的不同，也有不允许漏检的重要程度高的表面缺陷，有时会有对此缺陷种类以外的缺陷种类的判定符合率即使低，也想提高对此缺陷种类的判定符合率的情况。

所以，第3实施例是用于对不允许漏检的重要程度高的表面缺陷得到希望的缺陷种类符合率的方法，对此方法进行说明。

在本实施例中，在给出学习数据，自动制作的识别函数(17)式中，预先对偏置h进行调整，以得到希望的符合率。利用专门的技术人员进行调整，可以有意识地把识别面平行移动，扩大不允许漏检的重要程度高的表面缺陷一侧的特征空间区域，得到所希望的符合率。

实施例4

实施例1到3是以表面缺陷种类为对象的实施例，下面第4实施例是以表面缺陷等级为对象的情况，对此进行说明。

在本实施例中，作为特征量，与圆度、纵横尺寸比等的缺陷形状相比，是使用以表面缺陷的长度、宽度、面积等缺陷尺寸和图像浓度等的特征量为中心。这种情况下，可以用与从实施例1到3完全相同的方法进行缺陷等级判定。

实施例5

以上是判定是否符合规定的缺陷种类或缺陷等级的情况，而实际上缺陷种类有A、B、C…多种，缺陷等级有大、中、小等多种，大多想分别判定。所以第5实施例是判定多种缺陷种类和/或缺陷等级的情况，对此进行说明。

图3为表示判定多种缺陷种类情况下的表面缺陷种类判定部分60的图示。多种判定条件预先被编入确定树中构成树形，首先开始利用表面缺陷A判定条件部分，判定是表面缺陷A还是其他的表面缺陷A′，判定是其他的表面缺陷A′的情况下，进入表面缺陷B判定条件部分。在表面缺陷B判定条件部分，判定是表面缺陷B还是其他的表面缺陷B′，判定是其他的表面缺陷的情况下，进入表面缺陷C判定条件部分，依次判定下去。判定条件部分只有想判定的表面缺陷种类的数。

此外，把判定条件A、B、C…替换成适当的缺陷等级判定条件的话，即使多种缺陷种类和缺陷等级混在一起，也可以分别区分开进行判定。

本实施例的判定条件与在实施例1到4中说明的表面缺陷种类判定部分60中的方法相同。

采用本发明的话，在判定制品表面缺陷的情况下，提高缺陷种类的符合率。此外，由于判定逻辑在短期间且自动作成，可以节省完成判定逻辑花费的工时。可以在短期间使表面缺陷检查装置启动工作。即使不符合缺陷种类的两种数据在识别面附近混在一起，不用过度学习也可以适当判定。对于不允许漏检的重要程度高的表面缺陷，通过专业技术人员进行调整有意识地把识别面平行移动，可以扩大不允许漏检的重要程度高的表面缺陷一侧的特征空间区域，得到所希望的缺陷种类符合率。不仅可以判定缺陷种类，也可以判定缺陷等级。可以判定多种缺陷种类和缺陷等级。

Claims (5)

1.一种表面缺陷判定方法，获得被检查材表面状态的信息，根据获得的信息提取表面缺陷的特征量，以所述特征量为基础，判定是否符合规定的缺陷种类，其特征在于：

把过去得到积累的多个表面缺陷的特征量和与其对应的表面缺陷种类作为学习数据而预先准备，

把所述学习数据作为特征空间上的点进行表示，在利用假想的映射函数可以在映射端空间上完全进行线性分离的识别面存在的约束条件下，

通过把距所述识别面的距离最近的点与所述识别面的距离作为目标函数，解析使所述目标函数最大化的2次规划问题，

把最佳识别面作为识别函数预先求出，

把种类未知的表面缺陷的特征量代入所述识别函数，根据其结果，判定所述种类未知的表面缺陷是否符合所述缺陷种类。

2.一种表面缺陷判定方法，获得被检查材表面状态的信息，根据获得的信息提取表面缺陷的特征量，以所述特征量为基础，判定是否符合规定的缺陷种类，其特征在于：

把过去得到积累的多个表面缺陷的特征量和与其对应的表面缺陷种类作为学习数据而预先准备，

把所述学习数据作为特征空间上的点进行表示，设定利用假想的映射函数可以在映射端空间上完全进行线性分离的识别面存在的约束条件，同时

把距所述识别面的距离最近的点与所述识别面的距离作为目标函数而进行设定，

使所述可以完全进行线性分离的约束条件放宽，允许产生识别失误的点存在，同时在所述目标函数中附加惩罚项进行补正，

在所述放宽了的约束条件下，把通过解析使所述补正的目标函数最大化的2次规划问题而求解的识别面作为识别函数预先求出，

把种类未知的表面缺陷的特征量代入所述识别函数，根据其结果，判定所述种类未知的表面缺陷是否符合所述缺陷种类。

3.一种表面缺陷判定方法，其特征在于：

对于权利要求1或2的的识别函数，对重要的表面缺陷，调整所述识别函数的偏置项以得到期望的缺陷种类符合率。

4.一种表面缺陷判定方法，其特征在于：

利用权利要求1至3中任何一项所述的表面缺陷判定方法判定缺陷等级。

5.一种表面缺陷判定方法，其特征在于：通过把权利要求1至4中任何一项中的表面缺陷判定方法编入确定树中，判定多种缺陷种类和/或缺陷等级。

Images