CN116823714A - 工件的检查装置及方法 - Google Patents

Abstract

本发明提供一种工件的检查装置及方法，以减少工件的预定的缺陷种类的缺陷的过度检测。检查装置通过将从工件的被检图像提取出的多个片段图像分别输入到将图像作为输入且将种类作为输出的学习模型，从而针对该多个片段图像的每一个判定种类。检查装置基于该多个片段图像各自的判定出的种类是否为预定的缺陷种类，来判定在被检图像中是否映现有预定的缺陷种类的缺陷。

Description

工件的检查装置及方法

技术领域

本发明概括而言涉及工件的检查技术。

背景技术

作为这种技术，例如已知有专利文献1所公开的检查装置。在专利文献1中公开了以下内容。即，检查装置基于管玻璃的被检图像与阈值的比较，对管玻璃的品质的好坏进行1次判定。在1次判定中判定为管玻璃为不良品的情况下，检查装置从被检图像切出缺陷图像(映现有缺陷的部位的图像)，将缺陷图像输入到学习模型，由此进行对缺陷的种类进行分类的2次判定。然后，检查装置基于与分类后的缺陷种类相应的阈值和被检图像的比较，再次判定管玻璃的品质的好坏。

现有技术文献

专利文献

专利文献1：日本特开2020-85774号公报

发明内容

发明所要解决的课题

作为工件的缺陷之一，有裂纹。在工件的检查中，期望减少裂纹的过度检测。

但是，在专利文献1所公开的技术中，难以减少裂纹的过度检测。理由之一如下。

即，输入到学习模型的图像是映现有缺陷的部位的图像，即，是映现有缺陷整体的图像。因此，在缺陷为裂纹的情况下，裂纹整体的图像会输入到学习模型中。

但是，使学习模型学习到能够高精度地判定缺陷种类为裂纹这样的程度是困难的。作为其理由之一，裂纹的长度是各种各样的，根据裂纹的不同，映现有裂纹的图像有时会成为大范围的图像。在大范围的图像中，有时未映现有裂纹的区域比映现有裂纹的区域更大，因此裂纹的特征变小，作为结果，学习模型的精度下降。另外，在未映现有裂纹的区域中，有可能映现有裂纹以外的缺陷(粉末附着等)，若裂纹以外的缺陷也与裂纹一起映现在一个图像中，则裂纹的特征变得不准确，作为结果，学习模型的精度下降。

由于这样的理由，难以高精度地使学习模型进行学习，因此，即使裂纹以外的缺陷的图像被输入到学习模型，也有可能被过度检测为缺陷种类是裂纹。另外，对于与裂纹(工件上的预定种类的一维缺陷)不同的预定种类的缺陷，例如工件上的预定种类的二维缺陷即毛刺(典型的是损伤)，也可能存在这样的课题。

用于解决课题的方法

检查装置通过将从工件的被检图像提取出的多个片段图像分别输入到将图像作为输且将种类作为输出的学习模型，从而针对该多个片段图像的每一个判定种类。检查装置基于该多个片段图像各自的判定出的种类是否为预定的缺陷种类，来判定在被检图像中是否映现有上述预定的缺陷种类的缺陷。

发明效果

根据本发明，输入到学习模型的图像是片段图像，因此能够准备判定精度高的学习模型，由此，能够减少工件的预定的缺陷种类的缺陷的过度检测。

附图说明

图1示意性地表示本发明第一实施方式的检查系统的构成。

图2表示控制设备的构成。

图3表示图像处理部进行的处理。

图4表示个别判定部进行的处理。

图5示意性地表示深度学习模型的学习。

图6表示整体判定部进行的处理。

图7表示检查结果画面的一例。

图8示意性地表示模型管理部进行的处理。

图9A表示片段图像提取的第一例，图9B表示片段图像提取的第二例，图9C表示片段图像提取的第三例。

图10表示本发明第二实施方式的检查装置进行处理的流程的概要。

图11表示毛刺整体判定处理。

图12表示小孔整体判定处理。

图13表示本发明第三实施方式的模型管理部进行的学习处理的流程。

符号说明

450…检查装置

具体实施方式

在以下的说明中，“接口装置”可以是一个以上的接口设备。该一个以上的接口设备可以是下述中的至少一个。

·一个以上的I/O(Input/Output)接口设备。I/O(Input/Output：输入/输出)接口设备是针对I/O设备和远程的显示用计算机中的至少一个的接口设备。针对显示用计算机的I/O接口设备可以是通信接口设备。至少一个I/O设备可以是用户接口设备，例如键盘和点击设备那样的输入设备、以及显示设备那样的输出设备中的任意一种。

·一个以上的通信接口设备。一个以上的通信接口设备可以是一个以上的同种的通信接口设备(例如一个以上的NIC(Network Interface Card：网络接口卡))，也可以是2个以上的不同种类的通信接口设备(例如NIC和HBA(Host Bus Adapter：主机总线适配器))。

另外，在以下的说明中，“存储器”是作为一个以上的存储设备的一例的一个以上的存储器件，典型地可以是主存储设备。存储器中的至少一个存储器件既可以是易失性存储器件，也可以是非易失性存储器件。

此外，在以下的说明中，“永久存储装置”可以是作为一个以上的存储设备的一例的一个以上的永久存储设备。永久存储设备典型地可以是非易失性的存储设备(例如辅助存储设备)，具体而言，例如可以是HDD(Hard Disk Drive，硬盘驱动器)、SSD(Solid StateDrive，固态驱动器)、NVME(Non-Volatile Memory Express，非易失性内存主机控制器接口规范)驱动器、或者SCM(Storage Class Memory，存储类内存)。

另外，在以下的说明中，“存储装置”可以是存储器和永久存储装置中的至少存储器。

此外，在以下的说明中，“处理器”可以是一个以上的处理器设备。至少一个处理器设备典型地可以是CPU(Central Processing Unit：中央处理单元)那样的微处理器设备，但也可以是GPU(Graphics Processing Unit：图形处理单元)那样的其他种类的处理器设备。至少一个处理器设备可以是单核也可以是多核。至少一个处理器设备也可以是处理器核。至少一个处理器设备可以是通过进行处理的一部分或全部的硬件描述语言而作为门阵列的集合体的电路(例如FPGA(Field-Programmable Gate Array：现场可编程门阵列)、CPLD(Complex Programmable Logic Device：复杂可编程逻辑器件)或ASIC(ApplicationSpecific Integrated Circuit：专用集成电路))这样的广义的处理器设备。

另外，在以下的说明中，有时以“yyy部”的表现来说明功能，但功能既可以通过由处理器执行一个以上的计算机程序来实现，也可以通过一个以上的硬件电路(例如FPGA或ASIC)来实现，还可以通过它们的组合来实现。在通过由处理器执行程序来实现功能的情况下，会适当地使用存储装置和/或接口装置等来进行所确定的处理，因此功能也可以视为处理器的至少一部分。将功能作为主语而说明的处理也可以是处理器或者具有该处理器的装置进行的处理。程序也可以从程序源安装。程序源例如也可以是程序分发计算机或者计算机可读取的记录介质(例如非暂时性记录介质)。各功能的说明是一个例子，也可以将多个功能汇总为一个功能，或者将一个功能分割为多个功能。

以下，参照附图对本发明的几个实施方式进行说明。

[第一实施方式]

图1示意性地表示本发明第一实施方式的检查系统500的结构。

检查系统500具备旋转台510、一对线形照明器520、线传感器照相机530、区域照相机560、环形照明器580以及检查装置450。

旋转台510是用于载置陶瓷制的圆柱状蜂窝结构体550的台。圆柱状蜂窝结构体550具有上表面551(第一底面)、底面552(第二底面)以及侧面553。圆柱状蜂窝结构体550(特别是侧面553)是工件的一例。旋转台510能够沿XYZ方向移动，并且能够使圆柱状蜂窝结构体550以旋转轴(与圆柱状蜂窝结构体550的高度方向(Z方向)平行)为中心旋转。

线形照明器520是用于对圆柱状蜂窝结构体550的侧面553(外周面)照射光的照明器。隔着侧面553中的线状的拍摄范围沿Y方向左右配置。线状的拍摄范围的长度(高度)可以与侧面553的高度相同。

线传感器照相机530对来自圆柱状蜂窝结构体550的侧面553的反射光进行拍摄。

区域照相机560从上方对载置于旋转台510的圆柱状蜂窝结构体550的上表面551进行拍摄。

环形照明器580是能够从上方对载置于旋转台510的圆柱状蜂窝结构体550的上表面551照射光的照明器。

检查装置450可以是个人计算机那样的计算机，具备输入设备572、显示设备540以及与它们连接的控制设备570。输入设备572以及显示设备540也可以如触摸面板那样为一体。

向控制设备570输入来自对旋转的圆柱状蜂窝结构体550的侧面553进行拍摄的线传感器照相机530的拍摄图像。线状的拍摄图像沿着Y方向(与线传感器照相机530的拍摄方向和高度方向(Z方向)垂直的方向)排列，由此得到二维的拍摄图像。若在圆柱状蜂窝结构体550的侧面553存在裂纹，则控制设备570检测出该裂纹。

一对线形照明器520照射的光也可以是不同的颜色，但在本实施方式中，一对线形照明器520向线状的拍摄范围照射相同颜色的光。另外，线传感器照相机530也可以是彩色线传感器照相机，但在本实施方式中，是单色线传感器照相机。线传感器照相机530的分辨率和灵敏度高。因此，虽会担心裂纹的过度检测，但根据本实施方式的检查装置450，可以减少裂纹的过度检测。

图2表示控制设备570的结构。

控制设备570具有接口装置10、存储装置20以及与它们连接的处理器30。

接口装置10以能够通信的方式与输入设备572、显示设备540以及线传感器照相机530连接。

存储装置20存储计算机程序、信息。例如，存储装置20存储深度学习模型260、工件规格信息270及检查结果信息280。

深度学习模型260是学习模型的一例，将图像作为输入并将缺陷种类作为输出。深度学习模型260典型的是神经网络。深度学习模型260用于后述的个别判定部220的学习、推论。

工件规格信息270是表示每个客户的工件规格的信息。“客户”是指圆柱状蜂窝结构体550的提供对象。对于各客户而言，“工件规格”是指圆柱状蜂窝结构体550的规格，包括视为裂纹的条件(特别是裂纹长度的条件)。

检查结果信息280是表示每个圆柱状蜂窝结构体550的检查结果的信息。检查结果可以包含缺陷的有无、检测出的缺陷的种类以及映现有缺陷的被检图像。检查结果也可以包含缺陷的位置(例如，将圆柱状蜂窝结构体550的侧面553上的规定位置设为基准坐标(原点)时的坐标)这样的详细结果。

通过由处理器30执行存储于存储装置20的计算机程序，从而可实现图像处理部210、个别判定部220、整体判定部230、显示控制部240以及模型管理部250这样的功能。另外，也可以实现对旋转台510、线传感器照相机530这样的各种装置进行控制的控制部(未图示)。

以下，对功能210、220、230、240及250所进行的处理进行说明。另外，在以下的说明中，纵向与线拍摄图像的长边方向(Z方向)同义，横向与线拍摄图像的排列方向(Y方向)同义。

图3表示图像处理部210进行的处理。

图像处理部210进行个别判定部220进行的处理的前段的处理。前段的处理是生成输入到个别判定部220的被检图像的处理。具体而言，例如，图像处理部210可以从二维拍摄图像(由在横向上排列的线拍摄图像构成的图像)中切出二维的缺陷图像，对每个缺陷图像进行以下的S301～S304。“二维拍摄图像”例如可以是侧面553的整周的条状图像。“缺陷图像”既可以是二维拍摄图像整体，也可以是从二维拍摄图像中提取并映现有一个缺陷整体的图像。即，可以针对每个缺陷而存在缺陷图像，根据缺陷的大小(例如，缺陷的纵横方向的尺寸)，缺陷图像的纵横的尺寸可以不同。在以下的说明中，将在一个缺陷图像中映现的缺陷设为一个。

图像处理部210通过对缺陷图像实施滤波处理(平滑化处理)，从缺陷图像去除噪声成分(S301)。例如，对于缺陷的在纵向上较长的范围，在横向上除去低频成分，在纵向上除去高频成分，作为结果，缺陷的在纵向上较长的范围变得鲜明。

接着，图像处理部210对实施了滤波处理的缺陷图像进行二值化处理(S302)。由此，在缺陷图像中提取亮度低的像素。

接着，图像处理部210对实施了二值化处理的缺陷图像进行形态处理(S303)。在该形态处理中，对于在S302的二值化处理中提取出的像素，在与该像素重叠的缺陷的长度方向上进行膨胀处理和连结处理。作为结果，即使在S302的二值化处理中提取出的像素在缺陷的长度方向上断续，也会成为一个连续的缺陷。因此，即使缺陷为裂纹，在二值化处理的结果中裂纹断续，也可以通过形态处理，作为一个连续的裂纹而被提取出。

最后，图像处理部210根据实施了形态处理的缺陷图像，针对各种项目(例如圆度、坐标、纵横比)计算特征量，并基于计算出的各种特征量，将缺陷图像中映现的缺陷的种类分类为裂纹或非裂纹(裂纹以外)中的任一种。

缺陷种类被分类为裂纹的缺陷图像整体或其一部分作为被检图像，由个别判定部220进行处理。对于缺陷种类被分类为非裂纹的缺陷图像，既可以进行也可以不进行由个别判定部220进行的处理。

以下，将输入到个别判定部220的被检图像设为由图像处理部210分类为缺陷种类是裂纹的缺陷图像或其一部分。因此，在以下的说明中，假设被检图像是作为图像处理部210对缺陷图像进行处理(包含形态处理等的处理)的结果的图像，即，映现有被检测为裂纹的缺陷(对象)的图像。因此，将在被检图像中映现的缺陷设为裂纹。需要说明的是，关于在被检图像中映现的裂纹，通过上述形态处理，即使实际上是断续的，也可以是连续的裂纹。

图4表示个别判定部220进行的处理。

个别判定部220从裂纹范围中的未被作为片段图像获取的范围中提取片段图像(S401)。“裂纹范围”是被检图像中映现有裂纹的图像范围，可以是被检图像的整个区域或一部分。“片段图像”是映现有裂纹(严格来说是裂纹的一部分)的图像，典型的是方形的图像(参照图4中的附图标记41)。片段图像例如可以是纵横200像素的图像。另外，片段图像可以以预定的顺序(例如，从裂纹范围的开头到末尾依次)提取。

个别判定部220进行作为映现在片段图像中的缺陷的种类是否为裂纹的判定的推论。具体而言，个别判定部220将S401中提取出的片段图像输入到深度学习模型260(S402)，从深度学习模型260取得关于该片段图像的判定结果(所判定的缺陷种类(级别))和可靠度(判定的可靠度)(S403)。

在S401中取得的片段图像是能够从裂纹范围提取的最后的片段图像的情况下(S404：是)，换言之，从裂纹范围取得了全部的片段图像的情况下，处理结束。另一方面，在裂纹范围中存在未被作为片段图像取得的范围的情况下(S404：是)，处理返回到S401。

这样，针对从裂纹范围提取出的每个片段图像，通过将片段图像输入到深度学习模型260来判定缺陷种类。需要说明的是，如图5所示，深度学习模型260已使用每个缺陷种类的教师数据(例如，作为应将缺陷种类判定为裂纹的多个片段图像的教师数据700A、作为应将缺陷种类判定为纤维的多个片段图像的教师数据700B)进行了学习。对于作为裂纹以外的缺陷种类而准备教师数据的缺陷种类，可以代替纤维或除了纤维之外，为粉末附着、成型条纹及污垢等中的至少一种。即，深度学习模型260的输出可以是裂纹，或者是裂纹以外的多个缺陷种类中的任一种缺陷种类。可以针对陶瓷制的工件所特有的缺陷种类，准备教师数据，由个别判定部220进行深度学习模型260的学习，以便能够进行该缺陷种类的判定。

图6表示整体判定部230进行的处理。在以下的说明中，将判定为缺陷种类是裂纹的片段图像称为“裂纹片段图像”，将判定为缺陷种类是裂纹以外的任意种类的片段图像称为“非裂纹片段图像”。

整体判定部230从由个别判定部220判定了缺陷种类的片段图像中选择一个未被选择的片段图像(S601)。片段图像可以按照预定的顺序(例如，从裂纹范围的开头到末尾依次)选择。

整体判定部230判定在S601中选择的片段图像是否是裂纹片段图像(S602)。在S602的判定结果为假的情况下(S602：否)，处理进入S605。

在S602的判定结果为真的情况下(S602：是)，整体判定部230判定在S601中选择出的裂纹片段图像和与该裂纹片段图像最接近的已选择的裂纹片段图像(在过去的S601中选择出的裂纹片段图像)之间的距离是否满足连接条件(S603)。“连接条件”表示裂纹片段图像间的容许的距离。该距离可以用像素数或片段图像数来表现。在裂纹片段图像间的距离为零的情况下，裂纹片段图像彼此相邻。

在S603的判定结果为真的情况下(S603：是)，整体判定部230将裂纹片段图像彼此连接(S604)。具体而言，例如，如图所示，在裂纹片段图像间存在一个以上的非裂纹片段图像的情况下，整体判定部230将该一个以上的非裂纹片段图像各自的判定结果(片段图像的属性)从非裂纹(裂纹以外)变更为裂纹。其结果是，裂纹片段图像间全部成为裂纹片段图像，因此，多个裂纹片段图像会不隔着非裂纹片段图像而连续。

S602为否或S604之后，整体判定部230判定是否选择了裂纹范围的全部片段图像(S605)。在S605的判定结果为假的情况下(S605：否)，处理返回S601。

在S605的判定结果为真的情况下(S605：是)，整体判定部230判定裂纹长度是否满足条件(S606)。具体而言，整体判定部230根据工件规格信息270，确定与被检图像对应的圆柱状蜂窝结构体550的客户所对应的工件规格。整体判定部230判定裂纹长度(按照不隔着非裂纹片段图像而连续的裂纹片段图像的长度)是否满足该确定的工件规格所表示的裂纹长度条件。裂纹长度条件是为了被认为是裂纹的长度条件。裂纹长度可以以SI单位(例如mm(毫米))来表达，也可以以片段图像或像素的数量来表达。

在S606的判定结果为真的情况下(S606：是)，整体判定部230判定被检图像的缺陷的种类是裂纹(S607)。即，判定为由图像处理部210做出的检测结果(分类结果)正确。

另一方面，在S606的判定结果为假的情况下(S606：否)，整体判定部230判定被检图像的缺陷的种类是非裂纹(S608)。即，判定为由图像处理部210做出的检测结果是错误(过度检测)。需要说明的是，在S606为否的情况下，非裂纹的判定也可以包括缺陷是裂纹以外的哪一种缺陷的判定。例如，在从裂纹范围提取出的全部片段图像中判定为“粉末附着”的片段图像最多的情况下(且相对于从裂纹范围提取出的全部片段图像，判定为“粉末附着”的片段图像的比例为预定比例以上的情况下)，缺陷的种类可以判定为“粉末附着”。

可以将圆柱状蜂窝结构体550的工件ID与缺陷图像一起输入至图像处理部210。工件ID可以沿着处理的流程从图像处理部210移交给个别判定部220，从个别判定部220移交给整体判定部230。表示由图像处理部210做出的检测结果(分类结果)的信息、表示由个别判定部220做出的每个片段图像的判定结果(及其可靠度)的信息以及表示由整体判定部230做出的判定结果的信息可以与存储于检查结果信息280并与工件ID建立关联。显示控制部240基于检查结果信息280将检查结果画面显示于显示设备540。

图7表示检查结果画面700的一例。

关于检查结果画面700，典型的是GUI(Graphical User Interface：图形用户界面)。在检查结果画面700中例如显示下述内容。

(A)由操作员(例如管理者)指定的客户的客户ID。

(B)基于与该客户ID对应的工件规格判定了裂纹长度是否满足条件的每个工件(圆柱状蜂窝结构体550)的工件ID、检查结果以及详细内容。

(B)的检查结果是由图像处理部210做出的检测结果(分类结果)和由整体判定部230做出的判定结果中的任意一个。

(B)的详细内容包含得到(B)的检查结果的理由。另外，在(B)的检查结果为非裂纹的情况下，(B)的详细内容包括缺陷是哪一种。

图8示意性地表示模型管理部250进行的处理。

模型管理部250根据多个片段图像的各自的可靠度(判断结果的可靠度)判断是否继续使用深度学习模型260。由此，在产生了数据漂移的情况下，会检测出该数据漂移，停止深度学习模型260的继续，从而能够维持检查装置450的可靠性。例如，如下所述。

即，假设通过形态处理，得到了纵向较长的裂纹范围的从上端(开头)到下端(末尾)连续的裂纹。

如果未产生数据漂移，则如实线曲线图所例示的那样，任意的片段图像都会被判定为裂纹片段图像，并且，各片段图像的判定结果的可靠度高。

另一方面，当产生了数据漂移时，如虚线曲线图所例示的那样，对于应被判定为裂纹片段图像的一部分片段图像，会被判定为非裂纹片段图像，或者即使片段图像被判定为裂纹片段图像(即，即使判定结果正确)，该判定结果的可靠度也低。模型管理部250能够停止继续使用这样的深度学习模型260。

以上的实施方式例如能够如下总结。下述的总结可以包含上述的说明的补充说明、变形例的说明。

在检查装置450中，个别判定部220将从被检图像提取的多个片段图像分别输入到深度学习模型260，由此对该多个片段图像的每一个判定种类。在检查装置450中，整体判定部230基于该多个片段图像各自的被判定出的种类是否为裂纹，来判定在被检图像中是否映现有裂纹。

由于输入到深度学习模型260的图像是比被检图像整体小的片段图像，因此能够准备判定精度高的学习模型，从而能够期待减少裂纹的过度检测。例如，在上述的实施方式中，由图像处理部210进行的裂纹检测(基于特征量分类的结果的判定结果)有可能是过度检测，但通过后阶段的个别判定部220以及整体判定部230，能够减少裂纹的过度检测。

作为用于减少过度检测的一个方法，可考虑采用对被检图像进行使用了双边滤波器的处理这样的计算负荷高的滤波处理，来代替使用深度学习模型260。但是，由于处理的计算负荷较高，因此检查需要较长的时间。在上述实施方式中，通过在后阶段采用使用了深度学习模型260的处理，从而在前阶段的滤波处理可以是平滑化处理这样的计算负荷低的处理，作为结果，能够期待在保证检查精度的同时缩短检查时间。

也可以代替深度学习模型260而采用其他种类的学习模型，例如决策树。但是，在其他种类的学习模型中，难以高精度地进行以图像为输入的推论。深度学习模型260适合于以图像为输入的推论，可期待高精度的推论。

另外，深度学习模型260是所谓的黑箱型的模型。即，虽然对所输入的片段图像判定(输出)种类，但没有其判定理由的输出。即，没有说明性。因此，若输入到深度学习模型260的图像为被检图像，则无法使对于被检图像的判定结果具有说明性。在本实施方式中，由个别判定部220针对每个片段图像判定种类，之后，基于每个片段图像的判定结果，由整体判定部230判定在被检图像中是否映现有裂纹(具体而言，例如，如果在被检图像中映现有缺陷，则判定该缺陷的种类)。因此，能够实现关于以图像为输入的推论的高精度、以及使对于被检图像的判定结果具有说明性(例如，由于裂纹长度满足条件(或者不满足条件)而判定(或者未判定)为裂纹这样的说明)这两者。

被检图像可以是工件(例如，圆柱状蜂窝结构体550的侧面553)的整个区域的拍摄图像，也可以是该拍摄图像中的通过预定的方法(例如，规则库的判断)确定的部分的缺陷图像(映现有缺陷的范围的图像)。缺陷图像既可以是作为上述的裂纹范围的图像，也可以是包含裂纹范围(映现有缺陷的范围即缺陷范围的一例)的广泛的图像。

可以由个别判定部220从被检图像提取出多个片段图像。片段图像的提取的例子可以是下述中的任一个(另外，片段图像典型地可以是正方形或长方形)。

·如图9A所例示那样，个别判定部220以在片段图像901间不产生间隙的方式从被检图像900提取片段图像901。被检图像900的整个区域或一部分是裂纹范围。即，在图9A所示的例子中，也可以从裂纹范围以外的范围提取片段图像901。另外，可以由图像处理部210确定或不确定被检图像900的哪个范围是裂纹范围。

·如图9B所例示，个别判定部220仅从被检图像900中的裂纹范围910以在片段图像901间不产生间隙的方式提取片段图像901。裂纹可以在其长度方向上不连续而中断，也可以排列有多个裂纹。在这样的情况下，被检图像900大致分为一个或多个裂纹范围910和裂纹范围910以外的范围。如图9B所示，个别判定部220仅从裂纹范围910提取片段图像901。需要说明的是，也可以针对每个裂纹范围910，将以该裂纹范围910作为整个区域的图像设为被检图像900。

·如图9C所例示，个别判定部220也可以从被检图像900的任意部位或者预定部位提取片段图像901，在片段图像901间产生任意长度或者预定长度的间隙。间隙的长度可以与片段图像的长度(沿着片段图像的排列方向的长度)相同，也可以比片段图像的长度短或长(例如，也可以是片段长度的n倍(n为自然数))。另外，片段图像也可以从裂纹范围以外的范围提取，也可以仅从裂纹范围提取。

整体判定部230可以在根据一个或多个裂纹片段图像所确定的裂纹长度满足裂纹长度条件的情况下，判定为在被检图像中映现有裂纹。每个片段图像的判定结果的精度高，能够减少裂纹的过度检测。

例如，在满足裂纹长度条件的最短的裂纹长度与一个裂纹片段图像所表示的裂纹长度相同或比其短的情况下，只要有一个裂纹片段图像，则判定为在被检图像中映现有裂纹。

整体判定部230可以在由连续的两个以上的裂纹片段图像所确定的裂纹长度(例如，连续的两个以上的裂纹片段图像所构成的范围的长度方向的长度(沿着裂纹片段图像的排列方向的长度))满足裂纹长度条件的情况下，判定为在被检图像中映现有裂纹。由此，能够减少裂纹的过度检测。

在裂纹片段图像间存在距离且该距离小于容许距离的情况下，整体判定部230可以将该距离视为裂纹(裂纹长度)的一部分。由此，能够高精度地检测裂纹。例如，通过图9A或图9B所例示的片段图像提取，即使在裂纹片段图像间存在一个以上的非裂纹片段图像，在裂纹片段图像间的距离小于容许距离的情况下，整体判定部230也可以针对该一个以上的非裂纹片段图像的每一个将片段图像的判定结果变更为裂纹。由此，即使由于深度学习模型260的可靠性降低等原因而一部分片段图像被误判为非裂纹，也能够检测出裂纹。另外，例如，如果通过图9C所例示的片段图像提取，在连续的两个裂纹片段图像之间(裂纹片段图像与下一个裂纹片段图像之间)存在间隙，且该间隙的距离小于容许距离，则整体判定部230可以将该间隙的距离视为裂纹长度的一部分。

显示控制部240基于检查结果信息280使检查结果进行显示，该检查结果信息280包含表示由整体判定部230做出的判定结果的信息。检查结果可以显示于检查装置450所具有的显示设备540，也可以显示于与检查装置450(例如服务器)连接的远程的计算机。所显示的检查结果可以包含(a)在上述被检图像中是否映现有裂纹的判定结果以及(b)是否满足了上述裂纹长度条件，也可以包含(a)的判定结果的理由。由此，能够将使用了作为黑箱型模型的深度学习模型260的判定结果与该判定结果的理由(说明)一起显示。

裂纹长度条件可以是针对每个客户规定的工件规格中在与圆柱状蜂窝结构体550的客户对应的工件规格中规定的条件。在像这样裂纹长度条件因客户而不同的情况下，若输入到深度学习模型260的图像是被检图像(例如映现有裂纹整体的图像)，则针对每个客户需要教师数据以及学习。根据上述的实施方式，与由连续的裂纹片段图像确定的裂纹长度进行比较的裂纹长度条件根据客户而不同，每个片段图像的判定与客户无关而相同。因此，能够将教师数据和学习与客户无关地设为通用，便利性高。

模型管理部250可以基于针对多个片段图像的各自的判定结果从深度学习模型260得到的可靠度，判定是否继续使用深度学习模型260。由此，在产生了数据漂移的情况下，会检测出数据漂移，能够停止可靠度降低了的深度学习模型260的继续，从而维持检查装置450的可靠性。

[第二实施方式]

对本发明的第二实施方式进行说明。此时，主要说明与第一实施方式的不同点，对于与第一实施方式的共同点，省略或简化说明。

图10表示第二实施方式的检查装置450进行处理的流程的概要。

作为预定的缺陷种类，能够代替裂纹或在裂纹的基础上采用其他缺陷种类，例如，能够采用毛刺(^ササク _レ)、小孔。另外，裂纹在第一实施方式中是纵向裂纹，但在纵向裂纹的基础上(或者代替纵向裂纹)可采用横向裂纹。即，“裂纹”可以是纵向裂纹、横向裂纹或它们的总称。

在本实施方式中，作为多个缺陷种类，采用纵向裂纹、横向裂纹、毛刺以及小孔。

针对多个缺陷种类的每一种，存在与该缺陷种类对应的学习模型。具体而言，例如有作为纵向裂纹用的学习模型的纵向裂纹模型260A、作为横向裂纹用的学习模型的横向裂纹模型260B、作为毛刺用的学习模型的毛刺模型260C以及作为小孔用的学习模型的小孔模型260D。模型260A～260D都是例如深度学习模型(典型地是神经网络)。

针对多个缺陷种类的每一种，个别判定部220将从被检图像提取出的多个片段图像分别输入到与该缺陷种类对应的学习模型，由此针对该多个片段图像的每一个判定该片段图像的种类。整体判定部230基于该多个片段图像各自的判定出的种类是否符合该缺陷种类，来判定在被检图像中是否映现有符合该缺陷种类的缺陷。由此，能够期待减少工件(在本实施方式中为圆柱状蜂窝结构体550的侧面553)中的各种缺陷的过度检测。

如图10所示，图像处理部210生成输入到个别判定部220的被检图像，并将该被检图像输入到个别判定部220。被检图像可以在后述的四个个别判定处理(纵向裂纹个别判定处理、横向裂纹个别判定处理、毛刺个别判定处理和小孔个别判定处理)中通用，也可以按每个个别判定处理分别准备，另外，被检图像可以按每个个别判定处理分别准备，每个个别判定处理的被检图像都用于四个个别判定处理中。

另外，在按每个个别判定处理分别准备被检图像的情况下，图像处理部210可以针对每个个别判定处理进行与该个别判定处理(缺陷种类)对应的滤波处理、二值化处理或者形态处理。图像处理部210可以通过基于规则库等预定的方法，将实施了形态处理的图像分类为缺陷种类中的任一种。在四个个别判定处理中可以使用关联有缺陷种类的被检图像。

个别判定部220进行每种缺陷种类的个别判定处理，在本实施方式中进行四个个别判定处理。四个个别判定处理并行地进行，但也可以顺序地进行其中的两个以上的个别判定处理。另外，在四个个别判定处理中，被检图像是共用的。不限于纵向裂纹个别判定处理，其他任意一个个别判定处理的流程都可以与图4所示的流程相同。也就是说，可以通过从被检图像获取片段图像并将片段图像输入到学习模型260来判定该片段图像的缺陷种类。在提取出的多个片段图像中，片段图像彼此也可以部分重复(在第一实施方式中也同样)。

在纵向裂纹个别判定处理中，各片段图像是纵向裂纹片段图像(被分类为纵向裂纹的片段图像)和非纵向裂纹片段图像(被分类为纵向裂纹以外的片段图像)中的任意一种。在横向裂纹个别判定处理中，各片段图像是横向裂纹片段图像(被分类为横向裂纹的片段图像)和非横向裂纹片段图像(被分类为横向裂纹以外的片段图像)中的任意一种。在毛刺个别判定处理中，各片段图像是毛刺片段图像(被分类为毛刺的片段图像)和非毛刺片段图像(被分类为毛刺以外的片段图像)中的任意一种。在小孔个别判定处理中，各片段图像是小孔片段图像(被分类为小孔的片段图像)和非小孔片段图像(被分类为小孔以外的片段图像)中的任意一种。

整体判定部230进行按每种缺陷种类的整体判定处理，在本实施方式中进行四个整体判定处理(纵向裂纹整体判定处理、横向裂纹整体判定处理、毛刺整体判定处理以及小孔整体判定处理)。四个整体判定处理并行地进行，但也可以顺序地进行其中的两个以上的整体判定处理。

纵向裂纹整体判定处理的流程如图6所示。另外，横向裂纹整体判定处理的流程也如图6所示。具体而言，例如，通过将关于纵向裂纹整体判定处理的说明的“纵向”以及“纵向裂纹”替换为“横向”以及“横向裂纹”，从而能够作为横向裂纹整体判定处理的说明，例如采用下述内容(“纵向”以及“横向”是“一维方向”的例子)。

·整体判定部230在根据横向上排列的一个或多个横向裂纹片段图像确定的横向裂纹长度满足与长度相关的条件即横向裂纹长度条件的情况下(S606：是)，判定为在被检图像中映现有横向裂纹。例如，整体判定部230在根据横向上连续的两个以上的横向裂纹片段图像确定的横向裂纹长度满足横向裂纹长度条件的情况下，判定为在被检图像中映现有横向裂纹。

·在横向裂纹片段图像间存在距离且该距离小于容许距离的情况下，整体判定部230将该距离视为横向裂纹的一部分。例如，即使在横向裂纹片段图像间存在一个以上的非横向裂纹片段图像，在该横向裂纹片段图像间的距离小于容许距离的情况下，整体判定部230针对该一个以上的非横向裂纹片段图像的每一个，将片段图像的判定结果变更为横向裂纹。

毛刺整体判定处理的流程如图11所示。S1101～S1108与图6所示的S601～S608对应，主要的不同点如下所述。即，在步骤S1102中，整体判定部230判断在步骤S1101中选择的片段图像是否是毛刺片段图像。在S1102的判定结果为真的情况下，在S1103中，整体判定部230判定在S1101中选择出的毛刺片段图像与最接近该毛刺片段图像的已选择的毛刺片段图像(在过去的S1101中选择出的毛刺片段图像)之间的距离是否满足连接条件。所谓“连接条件”，表示毛刺片段图像间的被容许的二维方向的距离(该距离与裂纹片段图像间的距离同样，可以用像素数或片段图像数来表达)。在S1103的判定结果为真的情况下，在S1104中，整体判定部230将毛刺片段图像彼此连接。具体而言，例如，如图所示，当在毛刺片段图像之间存在一个以上的非毛刺片段图像时，整体判定部230将该一个以上的非毛刺片段图像各自的判定结果(片段图像的属性)从非毛刺变更为毛刺。其结果是，毛刺片段图像间全部成为毛刺片段图像，因此，多个毛刺片段图像会不会被非毛刺片段图像隔开而连续。在毛刺片段图像间存在距离且该距离小于容许距离的情况下，整体判定部230可以将该距离视为毛刺的一部分。即使在毛刺片段图像间存在一个以上的非毛刺片段图像，在该毛刺片段图像间的距离小于容许距离的情况下，整体判定部230也可以针对该一个以上的非毛刺片段图像的每一个，将片段图像的判定结果变更为毛刺。在S1106中，整体判定部230判定根据在二维方向上排列的一个或多个毛刺片段图像确定的毛刺面积和/或毛刺密度是否满足面积/密度条件(与面积和/或密度相关的条件)。“毛刺面积”是毛刺的面积，“毛刺密度”是毛刺的密度。面积/密度条件可以是根据工件规格信息270确定的条件(例如，基于与客户对应的工件规格的条件)。在S1106的判定结果为真的情况下，在S1107中，整体判定部230判定为被检图像的缺陷的种类是毛刺(判定为在被检图像中映现有毛刺)。

小孔整体判定处理的流程如图12所示。即，整体判定部230从被检图像中选择片段图像(S1201)，判定所选择的片段图像是否为小孔片段图像(S1202)。在S1202的判定结果为真的情况下(S1202：是)，整体判定部230将在S1201中选择的小孔片段图像暂时分类为小孔(S1203)，判定是否选择了全部片段图像(S1204)。在S1204的判定结果为真的情况下(S1204：是)，整体判定部230判定根据小孔片段图像确定的直径和/或真圆度是否满足直径/真圆度条件(与直径和/或真圆度相关的条件)(S1205)。直径/真圆度条件可以是从工件规格信息270确定的条件(例如，基于与客户对应的工件规格的条件)。在S1205的判定结果为真的情况下(S1205：是)，整体判定部230判定为被检图像的缺陷的种类为小孔(判定为在被检图像中映现有小孔)(S1206)，在S1205的判定结果为假的情况下(S1205：否)，整体判定部230判定为被检图像的缺陷的种类为非小孔(S1207)。

整体判定部230可以输出基于四个整体判定处理的结果的判定结果。显示控制部240可以将包含表示该判定结果的信息的检查结果信息检查结果画面显示于显示设备540。检查结果可以包含在被检图像中是否映现有预定的缺陷种类的缺陷的判定结果以及该判定结果的理由，该理由包括是否满足了用于判定为映现有预定的缺陷种类的缺陷的条件。“预定的缺陷种类”可以是纵向裂纹、横向裂纹、毛刺以及小孔，特别是在整体判定处理中进行片段图像的连接的纵向裂纹、横向裂纹以及毛刺中的至少一种。

[第三实施方式]

对本发明的第三实施方式进行说明。此时，主要说明与第一或第二实施方式的不同点，省略或简化与第一或第二实施方式的共同点的说明。

在第一～第三实施方式中的任意一个实施方式中，模型管理部250可以根据从深度学习模型得到的可靠度，针对多个片段图像的各个判定结果判定是否继续使用深度学习模型。例如，可以对模型260A～260D的各自进行参照图8说明的处理。

另外，在本实施方式中，在每个片段图像包含该片段图像和与该片段图像对应的种类的教师数据的量小于一定量的情况下，在该教师数据中，针对每个片段图像，该片段图像被分类为属于所述预定的缺陷种类的两个以上的详细种类中的任一个或者属于非缺陷种类的两个以上的详细种类中的任一个，模型管理部250可以使用该教师数据来学习深度学习模型。这例如可以对模型260A～260D的各自进行。

具体而言，例如，可以对模型260A～260D的各自进行图13所示的处理。以一个深度学习模型为例。模型管理部250判断深度学习模型的教师数据的数据量是否充分(阈值以上)(S1301)。

在S1301的判定结果为真的情况下(S1301：是)，模型管理部250进行少分类的学习(S1302)。“少分类的学习”是指，在学习所使用的教师数据中，对于预定的缺陷种类和非缺陷种类(预定的缺陷种类以外的种类)的任一者，所准备的种类都是预定的缺陷种类本身或非缺陷种类本身，或是少数的种类。

另一方面，在S1301的判定结果为假的情况下(S1301：否)，模型管理部250进行多分类的学习(S1303)。“多分类的学习”是指，在学习所使用的教师数据中，对于预定的缺陷种类和非缺陷种类(预定的缺陷种类以外的种类)的任一者，所准备的种类都比用于少分类的学习的教师数据多。在教师数据的数据量不充分的情况下，通过对于预定的缺陷种类和非缺陷种类，也将片段图像分类为更详细的种类(换言之，通过对于预定的缺陷种类，也按照非缺陷种类这样的粗略种类的每一种，与多种详细的种类关联起来，将片段图像分类为详细的种类)，从而与教师数据的数据量相比，可期待使深度学习模型成为精度高的模型。

以上，对几个实施方式进行了说明，但这些是用于说明本发明的例示，并非旨在将本发明的范围仅限定于这些实施方式。本发明也能够以其他各种方式来实施。

Claims (17)

1.一种检查装置，具有：

个别判定部，其通过将从工件的被检图像提取出的多个片段图像分别输入到将图像作为输入且将种类作为输出的学习模型，从而针对该多个片段图像的每一个判定该片段图像的种类，以及

整体判定部，其根据所述多个片段图像各自的判定出的种类是否为预定的缺陷种类，来判定所述被检图像中是否映现有所述预定的缺陷种类的缺陷。

2.根据权利要求1所述的检查装置，其中，

所述预定的缺陷种类为裂纹，

所述学习模型是裂纹用的深度学习模型，

判定出的种类为裂纹的片段图像是裂纹片段图像，

在根据在一维方向上排列的一个或多个裂纹片段图像确定的裂纹长度满足与长度相关的条件即裂纹长度条件的情况下，所述整体判定部判定为在所述被检图像中映现有裂纹。

3.根据权利要求2所述的检查装置，其中，

在根据在一维方向上连续的两个以上的裂纹片段图像确定的裂纹长度满足所述裂纹长度条件的情况下，所述整体判定部判定为在所述被检图像中映现有裂纹。

4.根据权利要求3所述的检查装置，其中，

在裂纹片段图像间存在距离且该距离小于容许距离的情况下，所述整体判定部将该距离视为裂纹的一部分。

5.根据权利要求4所述的检查装置，其中，

即使在裂纹片段图像间存在一个以上的非裂纹片段图像，在该裂纹片段图像间的距离小于容许距离的情况下，所述整体判定部针对该一个以上的非裂纹片段图像的每一个，将片段图像的判定结果变更为裂纹。

6.根据权利要求1所述的检查装置，其中，

所述预定的缺陷种类为毛刺，

所述学习模型是毛刺用的深度学习模型，

判定出的种类为毛刺的片段图像是毛刺片段图像，

在根据在二维方向上排列的一个或多个毛刺片段图像确定的毛刺面积和/或毛刺密度满足与面积和/或密度相关的条件即面积/密度条件的情况下，所述整体判定部判定为在所述被检图像中映现有毛刺。

7.根据权利要求6所述的检查装置，其中，

在根据在二维方向上连续的两个以上的毛刺片段图像确定的毛刺面积和/或毛刺密度满足所述面积/密度条件的情况下，所述整体判定部判定为在所述被检图像中映现有毛刺。

8.根据权利要求7所述的检查装置，其中，

在毛刺片段图像间存在距离且该距离小于容许距离的情况下，所述整体判定部将该距离视为毛刺的一部分。

9.根据权利要求8所述的检查装置，其中，

即使在毛刺片段图像间存在一个以上的非毛刺片段图像，在该毛刺片段图像间的距离小于容许距离的情况下，所述整体判定部针对该一个以上的非毛刺片段图像的每一个，将片段图像的判定结果变更为毛刺。

10.根据权利要求1所述的检查装置，还具备显示控制部，

所述显示控制部基于检查结果信息使检查结果进行显示，所述检查结果信息包含表示所述整体判定部的判定结果的信息，

所述检查结果包括：

在所述被检图像中是否映现有所述预定的缺陷种类的缺陷的判定结果，以及

所述判定结果的理由，该理由包括是否满足了用于判定为映现有所述预定的缺陷种类的缺陷的条件。

11.根据权利要求1所述的检查装置，其中，

用于判定为映现有所述预定的缺陷种类的缺陷的条件是针对作为工件的提供对象的每个客户规定的工件规格中，在与所述工件的客户对应的工件规格中规定的条件。

12.根据权利要求1所述的检查装置，其中，

还具备模型管理部，

所述学习模型是深度学习模型，

所述模型管理部基于针对所述多个片段图像每一个的判定结果从所述深度学习模型得到的可靠度，判定是否继续使用所述深度学习模型。

13.根据权利要求1所述的检查装置，其中，

所述工件是陶瓷制的工件。

14.根据权利要求1所述的检查装置，其中，

针对包含所述预定的缺陷种类在内的多个缺陷种类的每一种，存在与该缺陷种类对应的学习模型，

针对所述多个缺陷种类的每一种，所述个别判定部将从所述被检图像提取出的多个片段图像分别输入到与该缺陷种类对应的学习模型，由此针对该多个片段图像的每一个判定该片段图像的种类，

所述整体判定部基于该多个片段图像各自的判定出的种类是否符合该缺陷种类，来判定在所述被检图像中是否映现有符合该缺陷种类的缺陷。

15.根据权利要求1所述的检查装置，其中，

还具备模型管理部，

所述学习模型是深度学习模型，

在每个片段图像包含该片段图像和与该片段图像对应的种类的教师数据的量小于一定量的情况下，在该教师数据中，针对所述教师数据中的每个片段图像，该片段图像被分类为属于所述预定的缺陷种类的两个以上的详细种类中的任一种、或者属于非缺陷种类的两个以上的详细种类中的任一种，

所述模型管理部使用该教师数据来学习所述深度学习模型。

16.一种检查方法，其中，

计算机通过将从工件的被检图像提取出的多个片段图像分别输入到将图像作为输入且将种类作为输出的学习模型，从而针对该多个片段图像的各自判定种类，

计算机基于所述多个片段图像各自的判定出的种类是否为预定的缺陷种类，来判定在所述被检图像中是否映现有所述预定的缺陷种类的缺陷。

17.一种计算机程序，用于使计算机执行以下步骤：

通过将从工件的被检图像提取的多个片段图像分别输入到将图像作为输入且将种类作为输出的学习模型，针对该多个片段图像的各自判定种类，以及基于所述多个片段图像各自的判定出的种类是否为预定的缺陷种类，来判定在所述被检图像中是否映现有所述预定的缺陷种类的缺陷。