CN1871506A - 表面缺陷检查方法及装置 - Google Patents

Abstract

本发明提供一种表面缺陷检查方法及装置，为了向被检查面照射规定的图案形状的照射光，利用处于被照射状态的上述被检查面的摄像图像检查上述被检查面，作为照射光，从照射面照射网眼状分布使各网眼内的形状相同，并且与光轴垂直的平面中的照射面积小于非照射面积的照射光，基于摄像图像中对应于被检查面的非照射区域的图像区域的明暗信息，检查被检查面，把在形成在网眼内的暗面内产生的中间亮度的明点作为缺陷候补点挑出。

Description

表面缺陷检查方法及装置

技术领域

本发明涉及向被检查面照射规定的布局图案的照射光，对照明了照射光的被检查面摄像来进行检查的表面缺陷检查技术。

背景技术

作为这种表面缺陷检查的代表例子，可以举出用于汽车体部(具体来说是保险杠)的涂装面的检查的技术。在这样的表面缺陷检查中，存在于作为被检查面的涂装面上的凹凸或伤等成为其检查对象。

作为使用在发光面上成为图案的照射光的检查技术，有以下技术：向涂装面照明所谓的条状，即产生横纹状的明暗的照射光，由摄像机对处于照明状态的涂装面摄像，使用获得的摄像图像进行表面检查。

在图17中表示这种检查系统的具体构成。

在图17中所示的缺陷检查系统中，投入员204随时从存有成为检查对象的多个保险杠的存货站202取出保险杠，安装在保持保险杠1且进行姿势变更的机器人22上。

机器人22以保持保险杠1的状态，绕图17所示的旋转轴22d旋转，来变更保险杠1的姿势。对应于该姿势变更，在系统中具备以规定的横纹图案照明光的照明装置220。在图示的例子中，设置该装置220以包围保险杠1进行姿势变更的移动空间。照射光的照明图案为平行于保险杠1的旋转轴22d的条状明暗图案。

在照明装置220的规定位置，设有多个摄像机4，由这些摄像机4拍摄照向保险杠1的照射光的明暗图案，摄像结果送至解析侧，进行有无缺陷等的评价。

位于机器人22下游侧的检查员201，在结束了机器人22进行的保持·姿势变更后，取下保险杠1，送至目视检查等的以后工序。

这时，检查员201获得来自缺陷评价机构的评价信息，得到在检查中应注意的位置的信息，迅速可靠地开展作业。

在图18中表示该构成的表面缺陷检查的基本原理。

如该图所示，在使涂装面向规定方向(例如R方向)移动的情况下，位于涂装面上的称为凹凸面的缺陷的图像部分，不改变与上述移动方向R垂直的方向(例如图18中的纸面里外方向)的坐标，而是利用一边改变该方向坐标(R坐标)一边摄像，可以进行缺陷的检测。

即，缺陷区域在摄像图像中，由于利用在明亮的条纹部位拍得较暗，在较暗的条纹部位拍得较亮来识别缺陷，所以可以作为条纹的明亮部分和较暗部分的中间灰度图像发现缺陷。使用同样的检查原理的技术记载在专利文献1中。

进而，为了检测作为表面周期性的凹凸的称为“橙皮”的缺陷，有的从作为照射光的明暗条纹的交界线的摄像图像上的波动看出涂装厚度的斑点(参照专利文献2)。

在该检查手法中，不需要移动被检查面，但是大概来说，遍及涂装面比较广的范围在条纹的交界线图像上产生错位的紊乱发生的涂装面成为检测对象。

专利文献1：日本国特开平8-145906号公报(图5、图9和图15)

专利文献2：日本国特开平9-126744号公报(图13)

发明内容

在专利文献1和2这样的现有的表面缺陷检查中，由于照明被检查面的照明部向涂装面上照明条纹状的明暗图案，所以用于表面检查的照射光的绕入，只在与条纹状的明暗图案的垂直(横截)的方向发生。

结果，在被检查面上，在该条纹图案的条纹方向(条纹延长方向的同一方向)存在缺陷的情况下，难以发现这种缺陷。

进而，根据该技术，实质上只能挑出凸状缺陷，关于照入位置，因为是难以得到明暗差的二价值处理，故容易出现误检测。再者，难以发现外观线及其附近的缺陷。

进而，如图17、18所示，由于用于检查的照射光的照明光轴和摄像机的摄像光轴相交，所以在取入摄像机的光量这点上不充分，还有待改善。

再者，在这样的检查系统中，由于光学的复杂，所以缺陷评价侧的处理也不得不复杂。同时，产生使照射系统、摄像系统的位置关系精密的必要性。

本发明的目的在于获得一种表面缺陷检查技术，照射系统和摄像系统的构成最合理并且简单，可以进行信赖性高的检查。

本申请的表面缺陷检查方法，向被检查面照射规定的图案形状的照射光，利用处于被照射状态的上述被检查面的摄像图像来检查上述被检查面，其特征在于，

作为上述照射光，从照射面照射以下照射光：呈网眼状分布以使各网眼内的形状相同，并且与光轴垂直的平面中的照射面积(发光部分的面积)小于非照射面积(成为较暗区域的部分的面积)，

基于上述摄像图像中对应于上述被检查面的非照射区域的图像区域的明暗信息，检查上述被检查面。

在该方法中，从照射面照射明亮部分呈网眼状分布，在其明亮部分中存在成为封闭区域的较暗部分(暗面)的照射光。

如果用CCD摄像机等摄像装置对照射有该照射光的被检查面摄像，则在被检查面是平面，在该面上没有缺陷的情况下，照射侧的网眼状明暗图案几乎保持原状地射入。与此相对，在存在缺陷的情况下，在缺陷位于较暗部分的正下方等情况下，从照射侧的明亮部分照射的光，由于缺陷而使光路弯曲，射入本来应成为较暗部分的区域(非照射区域)。

结果，可以在作为较暗部分的网眼内的大致中央形成独立明亮点。在本申请中，利用该现象，可以检测缺陷。另外，通过网眼内形状相同，可以以大致相同的条件检测位于任意网眼内的可能存在的缺陷。

进而，该构成，通过网眼对应照射部，网眼内对应非照射部，较大选择非照射面积，作为体现为较暗部分的明亮部分，可以使检测缺陷的概率较高。

再者，在本申请中，由于明亮部分形成为网眼状，所以可以从包围较暗部分的整周，把这种射入的光，射入具有二维扩展的摄像装置的规定位置象素，可以检测在现有技术中难以检测的形状、大小、深度的缺陷。

在发明者们的研究中，在使网眼的大小、平均直径(把网眼看成圆的情况的直径)为25mm左右的情况下，用通用的CCD摄像机可以识别俯视大致为圆形，半径0.3mm，深度0.03mm左右的缺陷。

再者，在检查时，由于一边使被检查体通常相对于表面缺陷检查装置相对移动一边依次检查，所以伴随该移动，在某一个网眼部捕捉缺陷作为明确的缺陷图像，可以进行可靠的检测。

进而，由于明亮部分和较暗部分的交界线成为网状，所以在检测“橙皮”等缺陷时，可以消除像现有类型中具有条纹的检测那样，具有特定方向性的问题。

作为使用这样的表面缺陷检查方法的表面缺陷检查装置，具备：

照射机构，把规定图案形状的照射光照射到被检查面上；摄像机构，对处于照射有上述照射光的被照射状态的上述被检查面的摄像图像进行摄像；图像处理机构，对由上述摄像机构得到的摄像图像进行图像处理，

作为上述照射光，上述照射机构从照射面照射以下照射光：呈网眼状分布以使各网眼内的形状相同，并且与光轴垂直的平面中的照射面积小于非照射面积，

上述图像处理机构，在上述图像处理中，构成为能够处理对应于上述被检查面的非照射区域的图像区域的明暗信息，由此可以构成装置。

这样，在上述方法中，在以把上述照射光照射到正常的被检查面的状态中的摄像图像为正常摄像图像，以上述正常摄像图像中的照射区域的亮度为高亮度，上述非照射区域的亮度为低亮度的情况下，

最好把存在于摄像图像内且处于上述高亮度和低亮度之间的中间亮度的区域即中间亮度区域作为注意区域进行检查。

如上所述，在本申请中，由于主要利用由缺陷的存在引起的来自明暗图案的明亮部分的光的射入、而进行缺陷的检测，所以其缺陷图像成为位于作为照射部分的亮度的高亮度和作为非照射部分的亮度的低亮度之间的中间亮度。

因此，通过去除高亮度部和低亮度部，可以容易挑出缺陷存在概率高的区域，可以以简单的图像处理，迅速地挑出考虑为目标缺陷的图像区域。

执行这样的处理的表面缺陷检查装置，可以以以下构成实现：在以将上述照射光照射到正常的被检查面的状态下的摄像图像为正常摄像图像，以上述正常摄像图像中的照射区域的亮度为高亮度，上述非照射区域的亮度为低亮度的情况下，上述图像处理机构具备中间亮度区域挑出机构，挑出存在于摄像图像内且处于上述高亮度和低亮度之间的中间亮度的区域即中间亮度区域。

这样，在本申请的表面缺陷检查方法中使用的照射光，在其照射面中，处于发光侧的明亮部分成为网眼状，其网眼内成为较暗部分。因此，该图案在被检查面是平面且在网眼的摄像中不产生变形的情况，和被检查面是曲面且在网眼的摄像中产生变形的情况下，都在摄像图像中得到体现。因此，实质上与缺陷没有关系的网眼的正常部分，在图像处理中，作为连续的明亮部分可以从注意区域排除。

即，通过把对应于上述被检查面的照射区域的图像区域，作为连续的明亮区域挑出，并且把该连续的明亮区域从注意区域排除，可以容易地挑出对应于缺陷的图像的区域。

为了执行这样的表面缺陷检查方法，可以在上述图像处理机构上具备：

连续明亮区域挑出机构，挑出对应于上述被检查面的照射区域的图像区域即连续的明亮区域；和排除机构，从注意区域排除挑出的上述连续的明亮区域。

进而，在上述表面缺陷检查方法中，最好在每个封闭的较暗区域中挑出对应于上述被检查面的非照射区域的图像区域，并且在上述较暗区域内存在独立的明亮区域的情况下，使上述独立的明亮区域为注意区域。

在该方法中，注意照射光成为网眼状的情况，把该网眼内的区域识别为基本封闭的较暗区域，在该较暗区域内存在独立的明亮区域的情况下，作为有在非检查面上存在异常(缺陷)的可能性，成为注意区域。

该情况，在是例如被检查面成为曲面，基本的网眼形状出现较大幅度的变形的情况下，也可以利用照射光具有的形状特征，执行有效的缺陷检测。

在构成使用该表面缺陷检查方法的表面缺陷检查装置的情况下，首先说明的图像处理机构，通过构成为具备：

封闭较暗区域挑出机构，分别挑出作为对应于被检查面的非照射区域的图像区域即封闭的较暗区域；

和独立明亮区域挑出机构，挑出存在于已挑出的封闭较暗区域内的独立的明亮区域，由此可以执行上述的表面缺陷检查方法。

进而，在照射机构中上述照射光最好由分布为网眼状的多个发光元件形成。

在该情况下，通过使用发光元件，可以减少采用间接照射机构的情况等伴随亮度不足的微小缺陷的看漏等发生的可能性，确保照射侧的充分亮度，可以进行可靠且信赖性高的检查。再者，通过例如黑板上的发光元件的分布变更，可以获得具有任意网眼状分布的照射光。

进而，也如后面说明的那样，在本申请中，使摄像装置的焦点和照射侧的照射面(发光面)一致来获得摄像图像，但是在该情况下，由于把发光元件的发光部和其背景的亮度差取得较大，所以可以使摄像侧的图像更清晰，一般可以容易地使容易成为模糊、较小图像的缺陷起因的图像部位显出。

另一方面，在照射机构中，照射光最好透过网眼状分布的宽度较窄的狭缝间来形成。在该情况下，像现有技术中进行的那样，通过在光源前配置扩散板，在更前方分配配置用于形成与网眼内的形状一致的较暗部分的遮蔽体，可以容易获得与本申请的使用目的吻合的照射光。进而，其交界线也可以明确。

进而，在至此说明的技术中，最好构成为可以调节上述网眼的大小。

像本申请这样，在利用由缺陷产生的射入光的情况下，如果从摄像侧观看，则经由缺陷反射的光线的光路，需要到达成为网眼的明亮部分，是否发生射入与检测对象的缺陷的大小(包括开口面积、深度等)以及网眼的大小有很大关系。因此，通过可以调节网眼大小，选择相对于规定大小的缺陷能够良好进行检测的大小的网眼，可以良好地进行检测。

进而，最好构成为可以调节上述被检查面的照射区域和非照射区域的亮度差。

例如，在检查对象是汽车体部的涂装面的情况下，作为其表面，有视作几乎平面的部位，也有曲面部。因此，在照射系统、摄像系统中的光路距离中存在不均，不一定始终能以良好的状态确保缺陷检测所需的光量。

然而，如果预先使上述亮度差可以调节，则根据被检测对象的状态容易选择射入所需的光量，可以进行信赖性高的检测。

在以上的说明中，并没有涉及照射光的形成方法，但是在现行技术中，为了形成成为像本申请这样的比较复杂的图案的照射光，在制造技术上，最现实的是构成为使多个发光元件分布为规定的布局图案。

因此，采用这样的构成的情况中且用于达成本申请目的的表面缺陷检查装置的构成，如下所述。

本发明的表面缺陷检查装置，具备：多个发光元件，以规定的布局图案配置；摄像机，对由上述发光元件的照射光照明的被检查面进行摄像；和输出部，输出上述摄像机的摄像信息，其特征构成在于，

上述布局图案使上述发光元件连续配置以在内侧残留规定形状的暗面，在至少一个上述暗面上配置上述摄像机，以接收从上述被检查面反射的上述各发光元件的照射光。

在该表面缺陷检查装置中，作为其检查原理，也利用照射光的射入，但是在利用该检查原理的情况下，采用以在内侧残留规定形状的暗面的方式配置在照明部的发光元件的连续的布局图案。

这样，在例如涂装面是平面，照明部中的发光元件的布局图案是六边形，照射光的光轴和摄像机的光轴朝向涂装面的法线方向的情况下，如果在涂装面上没有缺陷则摄像成为六边形的明暗图案。然而，在有缺陷的情况下，由于该缺陷，在形成于六边内部的暗面上，如图7所示，作为孤立点形成亮度区域。因此，用摄像机可以可靠地对该缺陷引起的图像进行摄像。

而且，通过把摄像机配置在暗面，可以使照射光的光轴和摄像机的光轴方向一致，可以进行所谓的落射状态下的摄像检查。

另外，如果预先作成具备缺陷评价部的构成，该缺陷评价部评价来自上述输出部的输出信号，从而检测上述被检查面中的缺陷，则利用作为图像处理技术确立的解析技术，可以自动地评价、分出缺陷位置。

那么，上述布局图案，最好是在规定方向上重复的重复布局图案。

通过采用这样的布局图案，以例如发光元件的布局图案部位和设在其内部的暗面作为单位，可以以同一基准反复进行针对摄像的图像处理。再者，在被检查面正在移动的情况下，可以反复检查同一被检查面部位，关于该被检查面部位可以获得提高信赖性的充分的信息。

进而，最好具备相对于上述多个发光元件和上述摄像机相对运送移动上述被检查面的运送装置，上述布局图案的重复方向为上述相对运送方向。

在这种表面缺陷检查中，有时也在被检查面自动移动的状态下检查，通过规定的布局图案的重复，依次对特定的被检查面反复摄像，获得摄像信息，由此可以进行信赖性高的检查。

进而，上述多个发光元件的发光面(照射面)和上述摄像机的摄像面最好位于同一平面内。

在这种检查中，摄像图像中的图象的明亮程度，进而其图像部位的位置等都受到被检查面相对于发光面和摄像面的位置关系的较大影响。从这点出发，通过使发光面和摄像面位于同一平面上，可以容易地构筑它们一体化的摄像组件，只通过调节从该同一平面到被检查面的距离，就可以实质上限定检查中的光学构成，从这一点来说也可以确立检查的信赖性。

如以上说明的那样，如果构成为组合多个把发光元件连续配置在照明部使在内侧残留规定形状的暗面的布局图案，则在通过摄像机得到的被检查面的图像上存在多个发光元件的发光像，根据这时被检查面的形状等条件，产生连续配置的发光元件的发光像断续，与缺陷难以区别的问题的担心。

为了解决该课题，本发明的表面缺陷检查装置，包括：照明部，构成为组合多个使发光元件连续配置以在内侧残留规定形状的暗面的布局图案；摄像机，对由上述照明部产生的照射光照明的被检查面进行摄像；和缺陷评价机构，评价上述摄像机的输出信号，检测上述被检查面中的缺陷，上述缺陷评价机构，具备：孤立点挑出部，把根据上述输出信号生成的上述被检查面的明暗图像中孤立的突出亮度区域判定为缺陷候补；和缺陷候补选择部，把包含在表示上述明暗图像中上述连续设置的发光元件的发光像的区域中的上述缺陷候补从缺陷候补中去除。

根据该构成，实质上，对于存在于连续配置为网眼(以环为代表)状的发光元件组的照射点的内侧、即相向于暗面的被检查面的缺陷，从其缺陷的整周方向接触一部分照射光，缺陷像在较暗的暗面像中明亮地显出，可以作为明暗图像中孤立的突出亮度区域而检测为缺陷候补，并且相对于连续配置的发光元件的发光像作为断续部分仍然孤立的突出亮度区域(也称为孤立点)被检测，从缺陷候补去除存在于规定图案的连续发光像的延长线上的孤立点，由此降低缺陷误检测。

通过使被检查面相对于摄像机和照明部相对地移动，缺陷必然离开发光元件组的照射点而来到与暗面相向的位置，所以即使把作为用规定图案检测的突出亮度区域的连续发光像的区域作为缺陷判定对象外区域也没有妨碍。

由于使用连续配置有多个发光元件的照明部，所以用摄像机捕捉其发光元件在照射光的被检查面上的反射光，在从摄像机输出的图像上作为发光像产生，但是该发光像的亮度值根据检查条件、特别是被检查面的状况而变动。

在本发明中，由于该发光像的亮度值成为缺陷判定的重要参考，所以具备应补偿那样的变动的进行图像处理的前处理部很合适，以便在从来自摄像机的输出信号生成上述明暗图像时，从成为基准的正常的被检查面得到的上述连续配置的发光元件的发光像的亮度水平、和实际检查时的连续的发光像区域的亮度水平实质上一致。对取得的摄像图像施行亮度调整，以便与在预先成为基准的被检查面上得到的发光像的亮度水平一致，由此实现其后的缺陷判定的精度提高。

在被检查面和摄像机的摄像视野相比更小的情况等中，被检查面以外的被照体(背景等)进入取得图像内，但是这样不需要的图像区域的位置信息可以预先预测，或者可以用周知的背景选择算法掌握，所以在本发明中，也提出以下方案：把包含从上述缺陷候补去除的突出亮度区域的其周边区域增加背景等不需要的图像区域而得到的综合区域作为缺陷判定对象外区域，对所得图像进行掩模处理。

本发明的其它特征和优点应该通过使用以下附图的实施方式的说明变得清楚。

例如在汽车体部的涂装面上，可以可靠地检测出现有检测困难的缺陷。

附图说明

图1是表示采用本发明的表面缺陷检查装置的检查系统的概略构成的图。

图2是表示本发明的表面缺陷检查装置的概略整体构成的图。

图3是表示本发明的表面缺陷检查装置的概略整体构成的图。

图4是表示本发明的表面缺陷检查装置的摄像组件的图。

图5是表示本发明的表面缺陷检查装置的摄像组件的控制·信息处理系统的图。

图6是表示安装在表面缺陷检查装置上的缺陷评价机构的构成的功能块图。

图7是说明2值化了的输入图像的说明图。

图8是说明存在于发光像的断点部的孤立点的说明图。

图9是表示缺陷评价机构进行的被检查面的缺陷评价的顺序的流程图。

图10是由荧光管和扩散板构成照明部的其他实施方式。

图11是表示暗面的其它构成的例子。

图12是以其它发光元件的配置构成照明部的例子。

图13是表示采用图12所示的发光元件的配置情况下的问题点的图。

图14是相对于图11所示的例子，表示优选的发光元件的配置例的图。

图15是表示进行3值化处理的情况下的缺陷挑出的状况的说明图。

图16是被检查面是曲面的情况的优选发光元件的配置的说明图。

图17是表示现有类型的保险杠检查系统的构成的图。

图18是表示条纹状的照射光的检查原理的说明图。

符号说明

3：照明部

4：摄像机

5：图像处理控制器

6：缺陷评价部(机构)

30：发光元件(LED元件)

31：暗面

60A：前处理部

60B：缺陷确定部

61：亮度调节部

62：2值化处理部

63：缺陷候补(孤立点)挑出部

64：缺陷候补选择部

65：图像掩模生成部

66：标识设定部

67：面积运算部

68：缺陷判定部

具体实施方式

以下关于本申请的表面缺陷检查装置100进行说明。

本申请的表面缺陷检查装置100，是用于与图17对应的图1所示的检查系统200，图1表示检查系统200的整体构成，图2、3表示表面缺陷检查装置100的整体构成，图4表示表面缺陷检查装置100的摄像组件300的构成，图5表示摄像信息的评价系统的构成。

再者，该检查系统200也如先前现有技术说明的那样，例如以保险杠1的表面缺陷检查为目的。表面缺陷检查装置100，在该系统200中，配设在存货站202的下游侧、目视检查站203的上游侧，在该表面缺陷检查装置100上，具备具有本申请独特构成的摄像组件300。

该摄像组件300仿照保险杠1的形状而进行动作，可以以显著高于现有技术的精度和信赖性进行检查。

以下，按检查系统200的构成、表面缺陷检查装置100中的摄像组件300的仿照构成、摄像图像的处理的顺序详细说明。

[检查系统]

如图1所示，在本申请的检查系统200中，作为检查对象的保险杠1的运送机器人2进行的移动路径为直线移动路径。

在图1中，检查对象的保险杠1，从图上的右上侧运送至左下侧。如图所示，检查将一对保险杠1作为一个单位来进行。因此，沿该运送方向，设有存货站202、表面缺陷检查装置100、目视检查站203。

保险杠1从存货站202向运送机器人(运送装置的一个例子)2的移动由投入员204进行，由检查员201进行目视检查，关于这一点，与现有技术相同。

如果沿作业的流程进行说明，则投入员204从存货站202随时取出一对保险杠1，安装在运送机器人2的保险杠支承部2a上。

运送机器人2，保持着保险杠1，向运送路径的下游侧移动。这时保险杠1不产生姿势变更，只是沿运送路径并进移动。如果保险杠1进入表面缺陷检查装置100内，则上述摄像组件300伴随姿势变更移动，以模仿保险杠1的表面形状。其移动状态如后边说明的那样，使摄像组件300的照明部3平行于检查面，并且把摄像机4的光轴维持在检查面的法线方向，从而使被检查面和摄像组件300之间的距离一定。

另外，利用摄像组件300上具备的多个摄像机4对照向保险杠1的照射光的明暗图案进行摄像。摄像结果送至成为解析侧的缺陷评价机构的缺陷评价部6，来进行有无缺陷等的评价。

位于运送下游侧的检查员201目视检查送来的保险杠1，但是如图1所示，这时，检查员201可以利用检查结果投影仪15把来自缺陷评价部6的评价信息作为检查中应注意的位置信息，特别地可以以该位置等为中心开展目视检查。

[表面缺陷检查装置中的摄像组件的模仿构成]

A摄像组件300

在图4中表示了摄像组件300的俯视图(a)、主视图(b)、俯视的详细(c)。如该图所示，摄像组件300构成为具备：组件框300a，基本具有大致长方体形状；和摆动支承框部300b，在该组件框300a的纵长方向(图4(a)中的L1方向)的两端从组件框300a沿上下方向延伸。

又，如该图所示，上述组件框300a的上侧端面，作为本申请中所说的照明部3构成，在该照明部3上以重复布局、以六边形作为单位配置有多个发光元件30。

进而，在该照明部3的宽度方向中央，以规定均等间隔备有摄像机4的镜头面4a(即摄像部)。在图示的例子中，表示了具备10个摄像机4的例子。如图4(b)所示，在组件框300a的内部，设有摄像机4和发光元件30用的DC电源300c。

B模仿结构

上述的摄像组件300，构成为用设在上述摆动支承框部300b的前端的左右一对支承轴300d支承组件300。该支承轴300d构成为，可以绕其轴心旋转，并且可以相对于表面缺陷检查装置100的装置框100a在其上下方向和其前后方向移动。

图2是从与运送路径垂直的正面方向观看上述装置框100a的图，在该图中，运送机器人2从右侧向左移动。

图3是从运送机器人2的进入侧(即侧面)观察上述装置框100a的图。

如图2所示，装置框100a构成为，其侧视是门形，其正视是方形的结构体。

在该装置框100a上，备有沿其正视的左右方向(沿运送方向的方向)可以移动的行进框100b；和能够沿上下方向移动的上下移动框100c。

该升降框100c构成为可以沿设在上述行进框100b上的轨道rc在上下方向移动。该上下方向移动通过设在行进框100b的中央部位的升降马达Mc执行。

上述行进框100b的运送方向移动通过使该行进框100b的行进可能的轨道rb、和驱动传递装置来执行，该驱动传递装置传递从装置框100a上具备的行进马达Mb对行进框100b的行进驱动。

进而，如图3所示，在设在上述摆动支承框部300b的前端的左右一对支承轴300d上，具备旋转马达Md、和使该旋转马达Md的旋转减速并将其传递至上述支承轴的齿轮传递装置G，构成为利用旋转马达Md的旋转可以执行摄像组件300的摆动姿势的调整。

这样，现在具备用于检测在摄像机300中成为检查对象的保险杠1的表面部位的位置和倾斜(图2中所示的倾斜)的激光传感器400(参照图1)。

来自该激光传感器400的信息，送至也具有作为模仿控制装置的功能的主机14。

在该计算机14中，基于保险杠1的形状信息、运送机器人2的运送位置信息生成控制指令，但是通过来自上述激光传感器400的检测信息修正控制信息，将控制信息送至上述的升降马达Mc、行进马达Mb、旋转马达Md的各马达，自动控制摄像组件300使其相对于被检查面具有适当的位置关系。

所谓的该适当的位置关系是指，如图2所示，摄像机4的光轴为被检查面的法线方向，照明面(发光面3a)平行于被检查面，照明面(发光面3a)和摄像面(即镜头面4a)都与被检查面相距规定距离的关系。在图2中，示意地表示摄像组件300相对于不同的两个被检查面的位置和姿势。

[摄像图像的处理]

在本申请的表面缺陷检查装置100中，如图4、5所示，摄像检查的主要系统，如上所述，包括：照明部3，向作为被检查面的保险杠1的涂装面照射照射光；摄像机4，对由该照明部3照明的被检查面摄像；和图像处理控制器5，进行使用来自该摄像机4的输出信号的被检查面中的缺陷存在的评价及其评价缺陷的输出。

如图4、5所示，该控制器5，位于作为相对于上述主机14的下位计算机的位置，具备连接在该图像处理控制器5自身的输出部10上的作为输出设备的监视器12和打印机13。

在图像处理控制器5上，具有进行照明部3的控制的照明·摄像控制部9、从摄像机4取入输出信号并作为数字图像数据(以下简称为输入图像)向存储器8展开的图像输入部7、和使用输入图像进行缺陷评价的缺陷评价部6。

进而，图像处理控制器5，连接为经由通信部11可以向主机14传送数据。

在该主机14中存储根据需要而下载到图像处理控制器5上的成为检查对象的保险杠1的信息或作为运送装置的运送机器人2的动作信息，进而在图像处理控制器5生成的涂装面的缺陷信息也从图像处理控制器5上传至主机14，并存储于此。

再者，由网络连接在主机14上的终端所控制的检查结果投影仪15或打印机等配备于目视检查站，构成为基于从图像处理控制器5经由主机14送来的缺陷信息，经由检查结果投影仪15向检查员指示缺陷位置等。

追随控制如上所述的摄像组件300，以使照明部3的发光面3a和摄像机4的镜头面(相当于摄像面)4a，与由运送机器人2运送的保险杠1的被检查面相向，其照明面3a和摄像面4a的法线与被检查面的法线一致，进而间隔距离一定。

如图4所示，照明部3具有以留有六边形的空间的网眼状(环状)的布局图案，而且重复该六边形布局图案且连续(邻接的LED元件30之间紧贴)配置多个发光元件(在该实施方式中由于使用LED元件，所以以后称为LED元件)30。由配置为六边形网眼状的LED元件30空出的空间在此称为暗面31，是黑或暗色的板面。

利用配置为网眼状的LED元件30出现多个暗面31，但是摄像机4的镜头面4a位于在暗面31内的中央部上均等分散的位置，多个摄像机4构成为组装入照明部3。在使用时，摄像机4的焦点，不与涂装面一致而是与照射部3的发光面3a一致。

图像处理控制器5，以CPU作为核心部件，以硬件或软件或两方构筑用于进行该表面缺陷检查装置100的种种动作的功能部。

如图6所示，作为本发明特别相关的功能部，缺陷评价部6可以分为：前处理部60A，作为图像处理机构发挥作用，且将向存储器8展开的输入图像变换为适于缺陷检测的形态；和缺陷确定部60B，使用前处理的输入图像，发现被检查面上的缺陷。

前处理部60A，包括对输入图像进行亮度调整的亮度调节部61、和对亮度调整了的输入图像进行2值化处理的2值化处理部62。该实施方式的亮度调节部61，构成为不仅进行伽玛调整，也进行象素区域单位的亮度调整，以使输入图像中含有的发光像的亮度水平达到从成为涂装色或涂装面的各自的基准的正常的被检查面得到的LED元件的发光像的亮度水平。

再者，2值化处理部62，具备：2值化阈值确定部62a，用统计手法从输入图像的浓淡柱状图确定2值化阈值；和图像特征挑出部62b，为了消除噪音而向输入图像作用平滑化滤波器并且为了加强发光像或缺陷像的轮廓而作用Sobel滤波器等边缘加强滤波器，使使用由2值化阈值确定部62a确定的2值化阈值并用图像特征挑出部62b加强的输入图像成为2值化图像。

在图7中表示了由2值化处理部62进行了2值化的输入图像的一个例子。在该2值化明暗图像中，亮度高的区域用白色表示，作为以六边形布局图案连续配置的发光像的LED元件组作为铺满的六边形连续相连的白色轮廓线表示，与暗面31相向的涂装面区域作为较暗区域表示，根据情况不同而存在的涂装缺陷作为由来自其周围的照射光带来的漫反射而在较暗区域显出的白色独立区域表示。

因此，缺陷检测，在2值化图像中，只要找出亮度突出的区域(在该实施方式中是白色区域)，不以规定的图案连续的区域，即孤立点即可。可以使用寻找既具有规定水平的亮度值(浓度值)又连续的象素，或寻找孤立的区域的图象处理算法本身周知的方法。

然而，由于被检查面(在此为涂装面)的形状对照射光的反射特性的变动等，如图8放大所示，在作为本来连续相连的线表现的LED元件30的发光像在中途出现断点，其断点部分有可能被作为缺陷误检测。缺陷确定部60B实质上用程序构成以便适当避免这样的误检测。

即，该缺陷确定部60B，具备：缺陷候补挑出部63，以由规定数以内的象素数构成的非连续的独立象素区域作为孤立点检测而成为缺陷候补；缺陷候补选择部64，把表示连续配置的LED元件30的发光像的区域(挑出该区域的机构是连续明亮区域挑出机构。)中包含的缺陷候补从缺陷后补中去除(进行该去除处理的是排除机构。)；图像掩模生成部65，综合用该缺陷候补选择部64从缺陷候补中去除的孤立点区域和背景等不需要图像区域作为缺陷判定对象外区域，进行掩模处理；标识设定部66，为了识别位于图像掩模外的多个缺陷候补区域而进行在不同的缺陷候补区域分配不同标识(序号)的标识处理；面积运算部67，运算各个被标识的缺陷候补区域的面积；和缺陷判定部68，基于来自该面积运算部67的面积信息，把缺陷候补判定为真的缺陷并写入缺陷地图。这样，结果为，构成本申请中所说的封闭较暗区域挑出机构和与此相对的独立明亮区域挑出机构。

缺陷候补选择部64，为了选择用缺陷候补挑出部63挑出的缺陷候补，具备：缺陷候补时间序列判定部64a，通过检查从从摄像机4依次运来的图像中是否挑出了规定次数缺陷候补，来防止把突然产生的明亮区域视作缺陷候补；和发光像非连续部探索部64b，由图8可以很好地理解，通过检查挑出的缺陷候补(孤立点)是否位于连续的发光像的延长线上，来防止把发光像的断点部视作缺陷候补。

该发光像非连续部的探索，可以使用一边摸索连续的发光像象素一边挑出位于其断点端的延长线区域的较暗区域的形状特征挑出算法等进行，存在于该断点区域的孤立点从缺陷候补中去除。

以下使用图9的流程图说明由这样构成的缺陷评价机构6进行的涂装面的缺陷评价的步骤。

首先，把从摄像机4经由图像输入部7依次送来的框架图像取入存储器8(#01)。取入的输入图像由亮度调节部61调节亮度(浓度值)(#02)。这时需要输入图像的特征量，但是其特征量最好是用规定的划分数划分输入图像，在每个分区分别运算的浓度平均值的最大值。

该特征量接下来的2值化阈值的确定也可以用于摄像机4的镜头开口度的调整。在2值化阈值确定部62a中确定2值化阈值(#03)，并且用图像特征挑出部62b进行图像的平滑化和边缘加强后(#04)，该输入图像被2值化处理而成为2值化图像(#05)。

从2值化了的输入图像，由缺陷候补挑出部63，挑出由规定数以内(根据图像分辨率等预先确定的)的象素数构成的孤立明亮象素区域作为缺陷候补(#06)。

挑出的缺陷候补中属于由外部紊乱光瞬时且局部产生的孤立点的缺陷候补，由缺陷候补时间序列判定部64a从缺陷候补中去除(#07)，进而挑出的缺陷候补中属于位于发光像的断点区域的孤立点的缺陷候补由发光像非连续部探索部64b从缺陷候补中去除(#08)。

包含由发光像非连续部探索部64b找出的发光像的断点区域的其周边区域，作为基于从主机14传送来的作为被检查物的保险杠1的形状信息和由运送机器人2带来的运送位置信息而确定的作为被检查面的涂装面以外的背景区域和不需要象素区域，由图像掩模生成部65进行掩模处理(#09)。

此外，在该实施方式中，从主机14得到的运送位置信息可能与实际位置不同，所以使用激光传感器等检查实时的保险杠1的错位，来修正其图像掩模位置(#10)。

这样结束了缺陷候补的选择和背景图像的去除后，标识剩余的缺陷候补(孤立点)(#11)，运算分配了各标识的孤立点的面积(#12)，只把满足预先设定的面积条件(是否有阈值以上的面积)的孤立点判定为真的缺陷(#13)，将其坐标位置和尺寸等写入缺陷地图(#14)。

[后处理]

以上由缺陷评价机构6进行的涂装面的缺陷评价的步骤结束了，但是如果通过该步骤结束涂装面的检查，则在目视检查站203中，经由主机14从图像处理控制器5送来的缺陷地图中，使用赋予与运入目视检查站203的保险杠的ID一致的ID的缺陷地图，进行缺陷核对。

这时，为了使由检查员进行的核对作业变得容易，很适当的是：使检查结果投影仪15动作以便基于该缺陷地图指出缺陷位置。当然，可以由连接在表面缺陷检查装置100的输出部10上的打印机13纸输出基于那样的缺陷地图的缺陷信息，并把该输出纸张贴在保险杠1上。

在上述实施方式中，用连续配置为六边形的网眼状的LED元件组构成照明部3，但是其网眼状形态也可以采用六边形以外的形状，作为发光元件30也可以采用LED元件以外的元件。

[其他实施方式]

以下，说明本申请的其他实施方式。

1.在上述实施方式中，表示了进行汽车体部(特别是保险杠)的涂装面的检查的例子，但是作为检查对象，可以以具有任意表面缺陷的被检查面为对象。作为这种例子，有压制形成品的表面检查等。

2.在上述实施方式中，在本申请的表面缺陷检查装置中为了构成其照明部，

配置多个发光元件而在内部形成暗面，但是也可以不采用这个结构，而是构成为使来自背面侧的散乱光通过形成为网眼状的狭缝。

在图10中表示了该构成例。在该图所示的例子中，相对于内部配设有多个荧光管111的照明箱112，在其前面部位设置扩散板113，并且在该扩散板113的前方配设用于形成狭缝及其内部的暗面的狭缝板114，来构成合乎本申请目的的照明部。

3.在至此说明的例子中，暗面全部为圆形，但是如图11所示可以构成为各种各样。(a)是使暗面为正方形的例子，(b)是使暗面为横长椭圆的例子，(c)相对于(a)记载的例子，将暗面配置为交错状。另一方面(d)使暗面为比较小面积的三角形。

(a)中所示的结构，最好为实质上在左右方向和上下方向发生缺陷的射入的情况。另一方面，(b)中所示的结构，最好在被检查面是曲面，在摄像侧形成沿上下方向延伸的暗面的情况下采用。(c)中所示的结构，在缺陷的形成趋于沿上下方向连续形成的情况下有效，用交错配置的上下2级方形暗面的某一个，可以检测上下方向连续的缺陷。进而，(d)的情况，容易检测比较小的缺陷。

4.在先前所示的实施方式中，表示了以六边形的布局图案作为发光元件的布局图案，但是从在暗面中心确保均等光量的目的出发，最好是接近圆的布局图案，图12所示的例子为八边形。

再者，在该例中，如图13所示，在作为被检查面的移动方向的左右方向，如s所示，存在发光元件重叠的配置部，如果采用该构成，则在路径A中，在缺陷检测上，与路径B比较有时发生问题。因此，该情况如图14所示，发光元件的布局图案的某一个部位s1、s2相对于被检查面的移动方向(路径C、D)，最好没有重合的部位。

5.在上述实施方式中，经由2值化处理进行了缺陷挑出，但是也可以基于3值化处理进行。

在图15中表示3值化中的图像处理状态。

图15分别表示原图像(a)、3值化处理后的图像(b)、和排除处理后的图像(c)，在(a)中，白色部分表示具有亮度的部分C1、C3，带有阴影的部分C2表示暗的缺陷部位。在(b)中，用阴影部表示(a)中中间灰度的部分，在(c)中，用阴影部C3表示注意点。

这些图像，表示在位于从左上端部数第2行第2列的暗面对应的涂装部位存在缺陷的情况。其他部位表示正常状态。

在摄像图像中，如(a)所示，由对应于照明侧的明亮部分的高亮度K1的部分C1和对应于较暗部分的低亮度K2的部分C2成立。

另外，如果取其中间亮度K3的部分，则如图(b)所示，可以挑出环状的中间亮度K3的部分C4和缺陷产生的中间亮度K3的部分C3。

另外，通过针对于此施行膨胀·收缩处理，可以消除作为实际上比较狭窄的区域的环状中间亮度区域(c中所示)，结果可以只剩余对应于缺陷的部位。

6.在上述实施方式中，被检查面作为平面进行了说明，但是在曲面的情况下，最好进行图案配置使在摄像侧暗面形状成为规定的适于检测的形状。图16表示了该例子。

如先前说明的那样，在被检查面是曲面的情况下，网眼在特定方向发生变形等现象。图16(b)表示在照射环状的照射光，被检查面在纸面横向具有中心轴的情况下，形成有在图像上下方向缩短的椭圆的眼镜状环。

这种变形的发生，成为使在环状的明亮区域内形成独立的明亮区域，把它挑出来得到缺陷图像的本申请方法中的障碍。

因此，在上述被检查面是曲面的情况下，最好设定对应于上述被检查面的曲面形状的上述照射面中的照射光的网眼状分布，使上述摄像图像中的上述网眼的形状成为圆或正多边形的网眼形状。

例如，如图16(c)所示，在以图像上下方向的收缩产生的曲面为对象的情况下，预先估计该收缩，使网眼分布为纵长形状。

如果这样准备，则在摄像图像中，可以确保作为连续的明亮部分来认识的部位且对应于网眼内部的暗部的面积为规定面积以上，在由于缺陷存在的影响而在网眼内形成中间亮度的区域的情况下，其形成也可以成为独立区域，适用本申请手法，可以良好地进行检测。

在上述的实施方式中，表示了为了构成检查系统200，按存货站202、本申请的表面缺陷检查装置100、目视检查站203的顺序配置的例子，但是在使该系统为伴有规定的表面加工(涂装、压制成形等)的制造·检查系统的情况下，变成按存货站、执行涂装等的加工处理部、表面缺陷检查装置、目视检查站的顺序配置各工序部。

在上述的实施方式中，使发光元件的发光面和摄像机的摄像面位于同一平面上，但是两面也可以位于离开被检查面的距离不同的位置。

工业实用性

可以得到能够可靠地检测微小的涂装缺陷的表面缺陷检查装置。

Claims (18)

1.一种表面缺陷检查方法，向被检查面照射规定的图案形状的照射光，利用处于被照射状态的上述被检查面的摄像图像来检查上述被检查面，其特征在于，

作为上述照射光，从照射面照射以下的照射光：呈网眼状分布以使各网眼内的形状相同，并且与光轴垂直的平面中的照射面积小于非照射面积，

基于上述摄像图像中对应于上述被检查面的非照射区域的图像区域的明暗信息，检查上述被检查面。

2.如权利要求1所述的表面缺陷检查方法，其特征在于，在将上述照射光照射到正常的被检查面的状态中的摄像图像设为正常摄像图像，将上述正常摄像图像中的照射区域的亮度设为高亮度，非照射区域的亮度设为低亮度时，

把存在于摄像图像内且处于上述高亮度和低亮度之间的中间亮度的区域即中间亮度区域作为注意区域。

3.如权利要求1所述的表面缺陷检查方法，其特征在于，把对应于上述被检查面的照射区域的图像区域作为连续的明亮区域挑出，并且把上述连续的明亮区域从注意区域排除。

4.如权利要求1所述的表面缺陷检查方法，其特征在于，在把对应于上述被检查面的非照射区域的图像区域作为封闭的较暗区域挑出、并且在上述封闭的较暗区域内存在独立的明亮区域的情况下，使上述独立的明亮区域为注意区域。

5.如权利要求1-4中的任一项所述的表面缺陷检查方法，其特征在于，在上述被检查面是曲面的情况下，设定对应于上述被检查面的曲面形状的上述照射面中的照射光的网眼状分布，使上述摄像图像中的上述网眼的形状成为圆或正多边形的网眼形状。

6.一种表面缺陷检查装置，具备：照射机构，把规定图案形状的照射光照射到被检查面上；摄像机构，对处于照射有上述照射光的被照射状态的上述被检查面的摄像图像进行摄像；图像处理机构，对由上述摄像机构得到的摄像图像进行图像处理，

作为上述照射光，上述照射机构从照射面照射以下的照射光：呈网眼状分布以使各网眼内的形状相同，并且与光轴垂直的平面中的照射面积小于非照射面积，

上述图像处理机构构成为，在上述图像处理中，能够处理与上述被检查面的非照射区域相对应的图像区域的明暗信息。

7.如权利要求6所述的表面缺陷检查装置，其特征在于，上述图像处理机构，具备中间亮度区域挑出机构，

在将上述照射光照射到正常的被检查面的状态中的摄像图像设为正常摄像图像，将上述正常摄像图像中的照射区域的亮度设为高亮度，非照射区域的亮度设为低亮度时，

把存在于摄像图像内且处于上述高亮度和低亮度之间的中间亮度的区域即中间亮度区域挑出。

8.如权利要求6所述的表面缺陷检查装置，其特征在于，在上述照射机构中，上述照射光由呈网眼状分布的多个发光元件形成。

9.如权利要求6所述的表面缺陷检查装置，其特征在于，在上述照射机构中，上述照射光透过呈网眼状分布的窄幅的狭缝间而形成。

10.如权利要求6-9中的任一项所述的表面缺陷检查装置，其特征在于，在上述照射机构中，

对应于上述被检查面的曲面形状，设定上述照射面中的照射光的网眼状分布，使上述摄像图像中的上述网眼的形状成为圆或正多边形的网眼形状。

11.一种表面缺陷检查装置，具备：多个发光元件，以规定的布局图案配置；摄像机，对利用上述发光元件的照射光照明的被检查面进行摄像；和输出部，输出上述摄像机的摄像信息，其特征在于，

上述布局图案使上述发光元件连续配置以在内侧残留规定形状的暗面，在至少一个上述暗面上配置上述摄像机，以接收从上述被检查面反射的上述各发光元件的照射光。

12.如权利要求11所述的表面缺陷检查装置，其特征在于，具备缺陷评价部，评价来自上述输出部的输出信号，从而检测上述被检查面中的缺陷。

13.如权利要求11或12所述的表面缺陷检查装置，其特征在于，上述布局图案为在规定方向上重复的重复布局图案。

14.如权利要求11或12所述的表面缺陷检查装置，其特征在于，具备相对于上述多个发光元件和上述摄像机相对运送移动上述被检查面的运送装置，

上述布局图案的重复方向为上述相对运送方向。

15.如权利要求11或12所述的表面缺陷检查装置，其特征在于，上述多个发光元件的发光面和上述摄像机的摄像面位于同一平面内。

16.如权利要求11所述的表面缺陷检查装置，其特征在于，包括缺陷评价机构，评价上述摄像机的输出信号来检测上述被检查面中的缺陷，

上述缺陷评价机构，具备：孤立点挑出部，把根据上述输出信号生成的上述被检查面的明暗图像中孤立的突出亮度区域判定为缺陷候补；和缺陷候补选择部，把包含在表示上述明暗图像中上述连续设置的发光元件的发光像的区域中的、上述缺陷候补从缺陷候补中去除。

17.如权利要求16所述的表面缺陷检查装置，其特征在于，具备进行图像处理的前处理部，以便在从上述输出信号生成上述明暗图像时，从成为基准的正常的被检查面得到的上述连续配置的发光元件的发光像的亮度水平、和实际检查时的连续的发光像区域的亮度水平一致。

18.如权利要求17所述的表面缺陷检查装置，其特征在于，综合包含从缺陷候补去除的上述突出亮度区域的其周边区域、和背景等不需要图像区域，作为缺陷判定对象外区域而进行掩模处理。

Images