CN110390661A - 检查管理系统、检查管理装置及检查管理方法 - Google Patents

Abstract

本发明提供在通过多个不同的方式拍摄被检查物并且针对各个拍摄方式来检测缺陷的片状物品的外观检查中，减少因对表示同一缺陷的多个缺陷图像数据分别进行管理而导致的弊端的技术手段。本发明的用于检查片状的被检查物的检查管理系统具有：外观检查部，具有通过不同的方式拍摄被检查物的外观的多个拍摄单元、及基于由多个拍摄单元拍摄的各个图像来检测被检查物的缺陷的检测单元；存储部，对通过不同的方式进行拍摄的多个拍摄单元中的每个拍摄单元，记录拍摄有由检测单元检测出的缺陷的缺陷图像数据；以及检查管理部，具有将记录在存储部中的拍摄有被检查物的同一缺陷的多个缺陷图像数据作为一个同一缺陷图像集进行处理的同一缺陷图像整合单元。

Description

检查管理系统、检查管理装置及检查管理方法

技术领域

本发明涉及一种检测片状的被检查物的异常部位的技术，尤其涉及一种用于对检测出的异常进行分析的技术。

背景技术

在用于制造或加工片状物品的生产线中，利用一种如下的检查装置，即，使用通过对片材照射可见光或紫外光并由照相机拍摄该透过光或反射光而得到的图像，来检测片材中的异常(混入异物、污垢、褶皱等。以下，也称为缺陷)(例如，专利文献1、专利文献2等)。

作为这种装置，存在一种通过如表面反射图像、背面反射图像、透过图像、可见光图像、红外光图像等不同的多个拍摄方法拍摄被检查物并进行各图像中的缺陷检测(优劣判定)的装置，由此，能够提高检查的精度(减少缺陷的遗漏)。

此外，利用上述装置，不仅检测产品的缺陷来消除次品，而且还将该检测出的缺陷按照每个发生原因(以下，也称为类别)进行分类，并将各缺陷的发生频率转换成数据来进行分析，由此也能够用于掌握制造商品的品质的状况、制造工序的异常的早期发现、预防维护等。

如此，在有效利用按缺陷类别而分类的数据时，该缺陷的发生数、分类等的准确性十分重要，但在如上所述利用不同的多个拍摄方法(以下，也称为检查方式)的情况下，有可能会产生得到的数据的准确性降低的弊端。

例如，即使求出各个缺陷类别的准确的缺陷数，在利用多个检查方式的情况下，由于有时对于一个缺陷会通过多个检查方式中的每个检查方式来检测缺陷，因此在将通过各检查方式得到的缺陷数单纯地相加的情况下，也会产生该数量与产品的本来的缺陷数不一致等问题。

对此，专利文献2中提出了一种具有如下的功能的检查系统，该功能是将由不同的照相机装置拍摄的同一缺陷的缺陷信息进行比较，并将基于如下的图像数据而提取出的缺陷信息决定为代表缺陷信息并进行显示的功能，该图像数据是根据决定规则而决定的不同的照相机装置中的一个照相机装置所拍摄的图像数据。然而，根据这种方法，将好不容易用多个照相机获取的除了代表缺陷信息以外的缺陷图像数据剔除，而不能有效地利用。

此外，在对缺陷的类别进行分类时，也可以利用以缺陷图像作为训练数据而进行了深度学习的AI，但在登记训练数据时，对于缺陷类别的识别困难的缺陷图像，可能产生将该缺陷图像与不同于实际的缺陷类别的缺陷类别捆绑登记的人为失误。另外，此时也有可能发生对于本来应表示同一缺陷的多个缺陷图像数据，按照各个检查方式而登记为不同的缺陷类别等的情况。然后，由利用如此登记的错误的训练数据进行了学习的AI来分类的数据的准确性令人生疑。

此外，在按照多个检查方式分别获取缺陷图像，并将这些缺陷图像与缺陷类别分别捆绑并登记的情况下，若检查方式的种类较多，则会单纯地增加与检查方式的种类相应的量的训练数据登记的工夫，效率较低。

专利文献1：日本特开2015-172519号公报

专利文献2：日本专利第5305002号公报

发明内容

本发明是鉴于上述情况而提出的，其目的在于，提供一种在通过多个不同的方式拍摄被检查物并且针对各个拍摄方式来检测缺陷的片状物品的外观检查中，能够减少因对表示同一缺陷的多个缺陷图像数据分别进行管理而导致的弊端的技术手段。

为了解决上述课题，本发明的检查管理系统用于对片状的被检查物的检查进行管理，具有：外观检查部，具有通过不同的方式拍摄所述被检查物的外观的多个拍摄单元、以及基于由多个所述拍摄单元拍摄的各个图像来检测所述被检查物的缺陷的检测单元；存储部，对于通过不同的方式进行拍摄的多个所述拍摄单元中的每一个拍摄单元，记录拍摄有由所述检测单元检测出的缺陷的缺陷图像数据；以及检查管理部，具有同一缺陷图像整合单元，所述同一缺陷图像整合单元将记录在所述存储部中的所述缺陷图像数据的集合中的、拍摄有所述被检查物的同一缺陷的多个缺陷图像数据作为一个同一缺陷图像集进行处理。

此处，“通过不同方式的拍摄”例如可以是拍摄的被检查物的面不同的方式，也可以是检测的光的波长不同的方式，还可以是拍摄反射光的方式与拍摄透过光的方式不同的方式。此外，关于“拍摄有所述被检查物中的同一缺陷”，如后文所述，在被检查物的缺陷位置相同的情况下，认定为如此即可。另外，构成系统的各要素无需为单独个体，也可以将全部要素一体形成并收纳在箱体中，也可以将一部分要素一体形成。

根据上述结构，即使在通过多个方式拍摄被检查物，并对于被检查物的一个缺陷记录有拍摄方式不同的多个缺陷图像数据的情况下，也能将表示同一缺陷的多个数据作为一个集合进行管理。由此，能够减少因将表示同一缺陷的多个缺陷图像数据分别进行管理而导致的弊端。

此外，所述检查管理部还具有缺陷计数单元，所述缺陷计数单元对所述同一缺陷图像集的数量进行计数，对每个规定的检查单位计算缺陷数。此处，“规定的检查单位”也能够由用户在任意的时机进行设定、变更。根据这种结构，由于并非将对同一缺陷拍摄的多个缺陷图像分别进行计数，而是对于被检查物的各个缺陷将缺陷数进行计数，因此能够计算出准确的缺陷数。

此外，所述检查管理系统还可以具有输出部，所述检查管理部还可以具有缺陷数警告单元，所述缺陷数警告单元在计算出的所述缺陷数超过规定的值的情况下，经由所述输出部通知该消息。通过采取这种结构，由于在缺陷数超过规定的值的情况下，用户能够容易地了解这一情况，因此能够有效地进行检查管理。

另外，输出部通过用户能够感知的方法来进行通知即可，例如，输出部可以是液晶显示器等显示装置，也可以是扬声器等声音输出装置，还可以是印刷装置。此外，还可以兼用这些装置来进行通知。

此外，所述检查管理部还可以具有缺陷类别分类单元，所述缺陷类别分类单元对各个所述同一缺陷图像集将所述缺陷的类别进行分类。根据这种结构，能够防止对于多个不同的拍摄单元将本来应表示同一缺陷的多个缺陷图像数据分类成分别不同的缺陷类别等情况。

此外，所述检查管理部还可以具有缺陷类别计数单元，所述缺陷类别计数单元对由所述缺陷类别分类单元分类出的各个缺陷类别，将所述同一缺陷图像集的数量进行计数，并对每个规定的检查单位计算各个缺陷类别的缺陷数。根据这种结构，能够对各个缺陷类别求出准确的缺陷数。

此外，所述检查管理系统可以具有输出部，所述检查管理部还可以具有缺陷类别缺陷数警告单元，所述缺陷类别缺陷数警告单元在计算出的各个所述缺陷类别的缺陷数超过对该缺陷类别设定的规定的值的情况下，经由所述输出部通知该消息。另外，缺陷类别缺陷数警告单元也可以将超过规定的值的缺陷类别一同通知。根据这种结构，用户能够在各个缺陷类别的缺陷数超过规定的值的情况下了解该情况，并能够进行更详细的检查管理。

另外，在检查系统是也具有所述缺陷数警告单元的情况下，输出部也可以与所述缺陷数警告单元共用。

此外，所述缺陷类别分类单元可以包括已经通过深度学习的方法进行了学习的推论单元。近年来，基于使用了深度学习的方法的人工智能来进行的图像识别技术取得了很高的成果，通过利用这种技术，能够高效地自动进行缺陷类别的分类。

此外，所述检查管理系统还可以具有显示部，所述检查管理部还可以具有深度学习用训练数据登记单元，所述深度学习用训练数据登记单元将各个所述同一缺陷图像集与构成该同一缺陷图像集的缺陷图像数据同时显示在所述显示部，并向用户请求进行与该显示出的缺陷图像数据的同一缺陷图像集对应的缺陷类别的登记。

此处，显示部通常是液晶显示器等显示器装置，但也可以利用其他显示技术手段，例如用投影仪进行显示等。根据上述结构，能够将表示同一缺陷的缺陷图像数据批量地进行登记，从而能够高效地进行训练数据的登记。此外，由于用户能够将同一缺陷图像集所含有的通过多个检查方式拍摄的缺陷图像进行比较并决定、登记缺陷类别，因此与仅将个别的缺陷图像数据作为对象来进行缺陷类别的登记的情况相比，能够减少缺陷类别的选择失误、判断花费时间的情况。

此外，所述缺陷类别分类单元可以在未以规定的准确度以上的准确度来进行所述同一缺陷图像集的缺陷类别的分类的情况下，将该同一缺陷图像集的缺陷类别分类为不明。根据这种结构，能够防止因勉强对准确度不高的缺陷类别进行分类，导致结果得到的数据的可靠度降低的情况。

此外，所述缺陷类别分类单元可以对于缺陷类别被分类为不明的所述同一缺陷图像集，请求用户进行缺陷类别的分类。根据这种结构，能够防止缺陷类别被分类为不明的同一缺陷图像集就那样被当作分类不明的数据而剩下的情况。

此外，通过不同的方式拍摄所述被检查物的外观的多个拍摄单元可以包括：拍摄在所述被检查物的第一面发生反射的反射光所产生的图像的表面拍摄单元、拍摄在与所述被检查物的第一面相反的一侧的第二面发生反射的反射光所产生的图像的背面拍摄单元、以及拍摄透过所述被检查物的透过光所产生的图像的透过光拍摄单元中的任意两种以上。根据这种结构，能够与各种缺陷的种类对应地进行缺陷的检测和/或分类。

此外，通过不同的方式拍摄所述被检查物的外观的多个拍摄单元可以包括：利用第一波长的光来拍摄所述被检查物的第一波长拍摄单元、以及利用与所述第一波长不同的波长的光来拍摄所述被检查物的第二波长拍摄单元。根据这种结构，能够与各种缺陷的种类对应地进行缺陷的检测和/或分类。

此外，所述同一缺陷图像整合单元可以将所述缺陷在所述被检查物中的位置相同的多个不同的缺陷图像数据整合为一个同一缺陷图像集。

此处，“位置相同的范围内”的意思不限于位置完全一致，也包括位于规定的容许范围内的情况。作为识别在多个缺陷图像数据中所拍摄的缺陷是否相同的方法，能够采用将产品的缺陷位置相同的情况认定成是拍摄有同一缺陷的图像数据的方法。为了确定被检查物的缺陷位置，例如，基于预先确定的各拍摄单元的配置场所、拍摄范围、被检查物的搬送速度等来计算缺陷的位置即可。

此外，为了解决上述课题，本发明的检查管理装置对于通过不同的多个拍摄方式来拍摄片状的被检查物的外观从而获取的缺陷图像数据进行处理，所述检查管理装置具有同一缺陷图像整合单元，所述同一缺陷图像整合单元从所述缺陷图像数据的集合中，将拍摄有所述被检查物的同一缺陷的多个缺陷图像数据作为一个同一缺陷图像集进行处理。

此外，为了解决上述课题，本发明的检查管理方法对片状的被检查物的外观检查进行管理，所述检查管理方法包括：第一步骤，通过两种以上的不同的方式拍摄所述被检查物；第二步骤，基于在所述第一步骤中拍摄的基于多个不同的拍摄方式而拍摄到的被检查物的图像，来检测所述被检查物的缺陷；第三步骤，记录拍摄有在所述第二步骤中检测出的缺陷的缺陷图像数据；第四步骤，从在所述第三步骤中记录的缺陷图像数据的集合中，将拍摄有所述被检查物的同一缺陷的多个缺陷图像数据整合为一个同一缺陷图像集；以及第五步骤，对于每个规定的检查单位，将在所述第四步骤中整合成的同一缺陷图像集的数量进行计数，并计算缺陷数。

此外，所述检查管理方法还可以包括第六步骤，所述第六步骤是在所述第五步骤中计算出的缺陷数超过规定的值的情况下，通知该消息。

需要说明的是，上述处理或技术手段在不产生技术矛盾的范围内能够自由组合并实施。

根据本发明，在通过多个不同的方式来拍摄被检查物，并针对各个拍摄方式来检测缺陷的片状物品的外观检查中，能够减少因对表示同一缺陷的多个缺陷图像数据分别进行管理而导致的弊端。

附图说明

图1是示意性示出应用例的检查管理系统的结构例的图。

图2是示出在应用例的检查管理系统中进行的处理的流程的流程图。

图3是示意性示出实施例的检查管理系统的结构例的图。

图4是示出实施例中的缺陷类别分类的处理的流程的流程图。

其中，附图标记说明如下：

1、9 检查管理系统

2 外观检查装置

211、911 表面反射光源

212、912 背面反射光源

213、913 透过光源

221 表面反射光照相机

222 背面反射光照相机

223 透过光照相机

23、93 控制终端

3 检查管理装置

921 表面拍摄照相机

T 被检查物

具体实施方式

下面，参照附图说明本发明的实施方式的一例。

应用例

本发明例如能够用作图1所示的检查管理系统9。图1是示意性示出本应用例的检查管理系统9的结构例的图。检查管理系统9是对片状物品的缺陷进行检测、以及对检查所涉及的信息进行管理的系统，作为主要结构要素，具有照明系统的表面反射光源911、背面反射光源912、透过光源913、作为测定系统的表面拍摄照相机921、背面拍摄照相机922、控制终端93、以及搬送机构(未图示)。

如图1所示，被检查物T由未图示的搬送机构在水平方向(箭头方向)上搬送，在进行该搬送时由测定系统连续获取被检查物T的外观图像，并基于该外观图像来实施检查。被检查物T形成为片状，例如，举例示出纸、布、薄膜、树脂、纤维素等。此外，不限于单一材料，也可以是如将薄膜与无纺布贴合而成的包装纸等具有多层的片体。此外，还可以是干燥海苔等食品。

照明系统的表面反射光源911配置为对被检查物T的表面(第一面)照射可见光(例如白光)，背面反射光源912同样地配置为对被检查物T的背面(第二面)照射可见光。此外，透过光源913配置为对被检查物T的背面(第二面)照射红外线。

测定系统的表面拍摄照相机921具有未图示的信号输出部、可见光受光传感器、红外线受光传感器、分光棱镜、以及透镜，并且表面拍摄照相机921被配置为对被检查物T的表面进行拍摄。具体而言，利用从表面反射光源911照射并在被检查物T的表面发生反射的光(以下，称为表面反射光)、以及从透过光源913照射并透过被检查物T的红外线(以下，称为透过光)，来拍摄被检查物T。分光棱镜将入射到照相机的光至少分为可见光区域的波长的光与红外线，并使对应的各传感器受光。作为传感器，能够使用例如CCD(Charge-CoupledDevice：电荷耦合器件)或CMOS(Complementary Metal Oxide Semiconductor：互补金属氧化物半导体)传感器。

此外，背面拍摄照相机922具有未图示的信号输出部、能够检测可见光区域的光的受光传感器、以及透镜，并且背面拍摄照相机922被配置为对被检查物T的背面进行拍摄。具体而言，利用从背面反射光源912照射并在被检查物T的背面发生反射的光(以下，称为背面反射光)来拍摄被检查物T。作为受光传感器，能够使用例如CCD或CMOS传感器。

控制终端93进行照明系统、测定系统、搬送机构的控制，并且进行检查所涉及的各种信息的处理。控制终端93具有各种输入输出装置、处理器、存储装置等作为硬件结构，并具有缺陷检测部931、缺陷位置确定部932、缺陷图像存储部933、同一缺陷图像整合部934、缺陷计数部935、缺陷数警告部936、以及缺陷类别分类部937作为功能模块。

缺陷检测部931基于从测定系统的各照相机输入的图像信号，对被检查物T所含有的缺陷进行检测。缺陷的检测例如是通过判定根据拍摄的图像得到的特征量是否超出规定的阈值来进行的。作为特征量，例如能够使用亮度等，也可以使用明度、色彩饱和度、色调等。

本应用例中，对表面拍摄照相机921所拍摄的由表面反射光产生的图像(以下，称为表面反射图像)以及由透过光产生的图像(以下，称为透过图像)、和背面拍摄照相机922拍摄的由背面反射光产生的图像(以下，称为背面反射图像)，分别进行特征量的判定。

在检测出缺陷的情况下，缺陷位置确定部932确定该缺陷位于被检查物T的哪一部位。例如能够基于预先决定的被检查物T的搬送速度、照相机的设置位置、被检查物T的大小、以及从检查开始起的经过时间来进行位置的确定。

在检测出缺陷的情况下，缺陷图像存储部933将由各照相机拍摄的具有该缺陷的图像(以下，称为缺陷图像)与缺陷位置确定部932所确定出的该缺陷的位置的信息建立关联关系并记录在存储装置中。此外，不仅是检测到了缺陷的拍摄方式的图像，其他拍摄方式的对应部位的图像也记录在存储装置中。

在缺陷位置确定部932所确定出的缺陷的位置相同的、多个不同的缺陷图像被记录在存储装置中的情况下，同一缺陷图像整合部934将该缺陷的位置相同的多个图像捆绑为一组同一缺陷图像集。如上所述地成为一个图像集的多个缺陷图像在以后显示到显示装置上、进行各种数据分析等时被一体地处理。此外，也可以将该同一缺陷图像集作为图像集重新记录在存储装置中。

缺陷计数部935针对每个规定的检查单位将同一缺陷图像集的数量进行计数，并且计算每个该检查单位的缺陷数。此处，规定的检查单位可以是规定数量(例如，一卷、一批次、数批次)，也可以是规定时间(例如，一天、一周、一个月)。由于通过像这样地计算缺陷数，因此不会重复计数表示被检查物T中的同一缺陷的多个缺陷图像数据，从而能够针对每个规定的检查单位得到准确的缺陷数。

缺陷数警告部936判定缺陷计数部935所计算出的缺陷数是否超过规定的值，并且在判定为缺陷数超过了该规定的值的情况下，通过将该消息从未图示的输出装置(例如，液晶显示器、扬声器等)输出来通知用户。

缺陷类别分类部937将被整合为同一缺陷图像集的缺陷图像数据按照缺陷的种类进行分类，并且将该分类后的类别与缺陷图像数据捆绑并记录。分类的缺陷的类别能够由用户任意设定，例如，可以设定混入异物、污垢、褶皱、孔等类别，也可以设定进一步细分的类别(例如，虫子、木片、金属异物、油污、水垢、大孔、小孔等)。

作为对缺陷类别进行分类的方法，可以基于表面反射图像、背面反射图像、透过图像中的任一图像的特征量来进行，也可以通过各图像的缺陷位置的特征量的对比来进行，此外，也可以根据各个检查方式是否检测出了缺陷及检查方式的组合等来进行。此外，也能将这些方法组合使用来进行分类。如此，通过将表示同一缺陷的多个缺陷图像数据作为一个图像数据集来进行缺陷类别的分类，与基于检测出缺陷的单一图像来进行缺陷类别的分类的方法相比，能够准确地进行缺陷类别的分类。

图2是示出在本应用例的检查管理系统9中进行的处理的流程的流程图。检查管理系统9首先用测定系统获取表面反射图像、背面反射图像、透过图像(步骤S101)，并基于该图像，用缺陷检测部931进行缺陷的检测(步骤S102)。接着，缺陷图像存储部933将缺陷图像记录在存储装置中(步骤S103)。接下来，同一缺陷图像整合部934从所记录的缺陷图像中将被检查物中的缺陷位置相同的多个图像整合为一组同一缺陷图像集(步骤S104)。接着，缺陷计数部935对每个规定的检查单位将同一缺陷图像集的组数进行计数，并计算每个该检查单位中的缺陷数(步骤S105)。此处，缺陷数警告部936判定步骤S105中计算出的缺陷数是否超过规定的值(阈值)(步骤S106)，在判定超过的情况下，通知该消息(步骤S107)，并且进行步骤S108。反之，在判定为缺陷数不超过规定的值的情况下，直接进行步骤S108。然后，在步骤S108中，缺陷类别分类部937对被整合为同一缺陷图像集的缺陷图像数据的缺陷类别进行分类、记录，并结束一系列的处理。需要说明的是，可以将从测量缺陷数起至在缺陷数超过了规定值的情况下进行通知(步骤S105至步骤S107)为止的处理与步骤S108的处理的交换顺序。

由于通过如上所述的本应用例的检查管理系统9的结构，能够将表示同一缺陷的多个缺陷图像数据作为一个图像数据集，并进行计数、缺陷类别分类，因此能够减少由对表示同一缺陷的多个缺陷图像数据分别进行管理而导致的弊端(例如，重复对同一缺陷进行计数、准确度低的缺陷类别的分类等)。

实施例

下面，更详细地说明用于实施本发明的实施方式的一例。其中，在没有特殊记载的情况下，本发明的范围不仅限定于本实施例中记载的构成部件的尺寸、材质、形状、及其相对配置等。

(系统结构)

图3是示意性示出本实施例的检查管理系统1的结构例的图。如图3所示，本实施例的检查管理系统1具有外观检查装置2及检查管理装置3来作为主要结构。

(外观检查装置)

外观检查装置2是一种用于获取片状的物品的外观图像并基于该图像进行缺陷的检测的装置。外观检查装置2具有照明系统、测定系统、搬送机构(未图示)、以及控制终端23作为主要结构。

被检查物T由未图示的搬送机构在水平方向(箭头方向)搬送，在进行该搬送时由测定系统连续获取被检查物T的外观图像，并基于该外观图像来实施检查。被检查物T形成为片状，例如，能够举例示出纸、布、薄膜等。此外，不限于单一材料，也可以是如将薄膜与无纺布贴合而成的包装纸等具有多层的片体。此外，还可以是干燥海苔等食品。

照明系统具有对被检查物T的表面照射可见光(例如白光)的表面反射光源211、对被检查物T的表面照射可见光的背面反射光源212、以及对被检查物T的背面照射可见光的透过光源213。作为这些各光源，例如可以使用LED照明等。

测定系统具有：拍摄从表面反射光源211照射并在被检查物T的表面发生反射的光(以下，称为表面反射光)的表面反射光照相机221、拍摄从背面反射光源212照射并在被检查物T的背面发生反射的光(以下，称为背面反射光)的背面反射光照相机222、以及拍摄从透过光源213照射并透过被检查物T的光的透过光照相机223。需要说明的是，构成测定系统的各照相机相当于本发明中的拍摄单元。

各照相机分别具有能够检测拍摄的光的受光传感器、透镜、以及信号输出部传感器，作为该信号输出部传感器，例如能够使用CCD或CMOS传感器。

控制终端23控制照明系统、测定系统、搬送机构，并且进行各种信息的处理。控制终端23具有输入输出装置、处理器、存储装置等作为硬件结构，并具有缺陷检测部231、缺陷位置确定部232、缺陷图像存储部233作为功能模块。

缺陷检测部231基于从测定系统的各照相机输入的图像信号，对被检查物T中含有的缺陷进行检测。例如通过判定根据拍摄的图像而得到的特征量是否超出规定的阈值来进行缺陷的检测。作为特征量，例如能够使用亮度等，也可以使用明度、色彩饱和度、色调等。

在本实施例中，对表面反射光照相机221拍摄的图像(以下，称为表面反射图像)、背面反射光照相机222拍摄的图像(以下，称为背面反射图像)、以及透过光照相机223拍摄的图像(以下，称为透过图像)，分别进行特征量的判定。

在从被检查物T检测出缺陷的情况下，缺陷位置确定部232确定该缺陷位于被检查物T的哪一部位。例如能够通过预先决定的被检查物T的搬送速度、照相机的设置位置、被检查物T的大小、以及从检查开始起的经过时间来进行位置的确定。

在检测出缺陷的情况下，缺陷图像存储部233将由各照相机拍摄的该缺陷的图像(以下，称为缺陷图像)与缺陷位置确定部232确定的该缺陷的位置的信息建立关联关系并记录在存储装置中(以下，将所记录的数据称为缺陷图像数据)。此外，不仅是检测出缺陷的拍摄方式的图像，其他拍摄方式的对应部位的图像也可以记录在存储装置中。

(检查管理装置)

上述的外观检查装置2经由网络(LAN)连接到检查管理装置3。检查管理装置3是一种从外观检查装置2获取检查所涉及的信息并且对该信息进行处理的装置，检查管理装置3由具有CPU(处理器)、主存储装置(存储器)、辅助存储装置(硬盘等)、输入装置(键盘、鼠标、控制器、触摸屏等)、输出装置(液晶显示器、扬声器、打印机等)等的通用计算机系统构成。

另外，检查管理装置3可以由一台计算机构成，也可以由多台计算机构成。或者，也能对外观检查装置2的控制终端23安装检查管理装置3的功能的全部或一部分。或者，也可以由网络上的服务器(云服务器等)来实现检查管理装置3的功能的一部分。

本实施例的检查管理装置3的CPU具有：同一缺陷图像整合部31、缺陷类别分类部32、训练数据登记部33、缺陷类别计数部34、以及缺陷类别缺陷数警告部35作为功能模块。

同一缺陷图像整合部31从外观检查装置2获取缺陷图像数据，并将被检查物T中的缺陷位置相同的多个缺陷图像整合为一组同一缺陷图像集。如此地被整合为图像集的多个缺陷图像作为一个图像集而被记录在存储装置中，在显示到显示装置上、进行各种数据分析等时被一体地处理。

缺陷类别分类部32将被整合为同一缺陷图像集的缺陷图像数据按照缺陷类别进行分类。分类的缺陷的类别能够由用户任意设定，例如，可以设定混入异物、污垢、褶皱、孔等类别，也可以设定进一步细分的类别(例如，虫子、木片、金属异物、油污、水垢、大孔、小孔等)。

作为对缺陷类别进行分类的方法，可以基于表面反射图像、背面反射图像、透过图像中的任一图像的特征量来进行；也可以通过各图像的缺陷部位的特征量的对比来进行；此外，也可以根据各个检查方式是否检测出了缺陷、检测方式的组合等来进行。此外，也能将这些方法组合使用来进行分类。

在本实施例中，缺陷类别分类部32组合推论处理来进行缺陷类别的分类，该推论处理利用通过深度学习的方法生成的已学习模型。另外，缺陷类别分类处理的流程将在后文进行说明。

训练数据登记部33具有受理用于使缺陷类别分类部32的人工智能进行深度学习的训练数据的登记的功能，训练数据登记部33在显示装置中显示构成同一缺陷图像集的多个缺陷图像，并且向用户请求与该同一缺陷图像集对应的缺陷类别的输入。

缺陷类别计数部34对缺陷类别分类后的同一缺陷图像集的数量针对各个类别进行计数，并且计算每个规定的检查单位中的各个缺陷类别的缺陷数。此处，规定的检查单位可以是规定数量(例如，一卷、一批次、数批次)，也可以是规定时间(例如，一天、一周、一个月)。

缺陷类别缺陷数警告部35判定缺陷类别计数部所计算出的各个缺陷类别的缺陷数是否超过对各个该缺陷类别设定的规定的值，在判定为超过了该规定的值并且存在计算出缺陷数的缺陷类别的情况下，从输出装置输出该消息来向用户通知。此处，输出装置的输出例如可以由显示装置显示，也可以从扬声器发出警报音，还可以由打印机进行印刷。此外，也可以共用这些方法来通知。另外，缺陷类别缺陷数警告部35也可以将超过了规定的值的缺陷的类别一起通知。

(缺陷类别分类的处理的流程)

接着，基于图4说明缺陷类别分类部32对缺陷类别进行分类时的处理的流程。图4是示出本实施例中的缺陷类别分类的处理的流程的流程图。

缺陷类别分类部32首先根据作为对象的同一缺陷图像集中的表面反射图像、背面反射图像、透过图像中有无检测出缺陷的组合来对缺陷类别进行分类(步骤S201)。由于根据缺陷类别的不同，必定存在通过特定的检查方式可检测出、或者通过特定的检测方式检测不出的情况，因此能够在同一缺陷图像集所含有的通过各检查方式检查出的图像的有无(即检查时是否检测出缺陷)的组合条件下，进行缺陷类别的判别。另外，在记录缺陷图像数据时，在不仅是检测出缺陷的拍摄方式的图像，其他拍摄方式的对应部位的图像也记录在存储装置中的情况下，若对各图像赋予缺陷检测有无的识别信息，则能够用该识别信息的组合进行同样的处理。在步骤S201中已进行了缺陷类别的分类的情况下结束处理，而在未进行分类的情况下进行步骤S203(步骤S202)。

在步骤S203中，缺陷类别分类部32根据规定的特征量进行缺陷类别分类。具体而言，在同一缺陷图像集所含有的缺陷图像中至少存在一个符合该特征量判定的条件的图像的情况下，将同一缺陷图像集分类为该缺陷类别。例如，对于透过图像，在亮度的峰值水平为100以上(最大值为255)、表示该缺陷的面积为1mm²以上的情况下，将同一缺陷图像集的缺陷类别分类为孔。在步骤S203中已进行了缺陷类别的分类的情况下结束处理，而在未进行分类的情况下进行步骤S205(步骤S204)。

在步骤S205中，缺陷类别分类部32对于同一缺陷图像集，基于事先对每个检查方式通过深度学习的方法生成的已学习推论模型来进行缺陷类别分类。具体而言，利用与表面反射图像、背面反射图像、透过图像的各图像的对应的检查方式的已学习模型进行推论，计算各缺陷类别的判定概率(即，作为规定的缺陷类别的概率)。然后，将同一缺陷图像集所含有的全部图像的各缺陷类别的判定概率中值最大的缺陷类别分类为该同一缺陷图像集的缺陷类别。另外，在同一缺陷图像集所含有的图像中不存在超过规定的判定概率(例如50％)的缺陷类别的情况下，将缺陷类别分类为“不明”。在步骤S205中将缺陷类别分类为“不明”的情况下，进行步骤S207，而在分类为除了“不明”以外的缺陷类别的情况下，结束处理(步骤S206)。

在步骤S207中，将缺陷类别被分类为不明的同一缺陷图像集的图像显示在显示装置中，并且向用户发出敦促确认的警告，结束分类处理。根据如上所述的结构，用户能够从大量图像中判断应优先确认的图像。

此外，上述的分类结果也可以进一步作为推论模型的训练数据来运用。即使是最终类别被分类为“不明”的同一缺陷图像集也可以作为训练数据来运用。具体而言，在上述的步骤S207的警告后，用户确认该同一缺陷图像集，若判定概率最高的缺陷类别与实际的缺陷一致，则将同一缺陷图像集所含有的图像追加为该缺陷的训练数据。另一方面，在与判定概率最高的缺陷类别不同的缺陷类别是实际的缺陷的情况下，将同一缺陷图像集所含有的图像登记为该其他缺陷的训练数据。由此，能够积累更准确的训练数据。

此外，利用训练数据登记部33的功能，在登记训练数据时，将表示同一缺陷的通过多个检查方式所产生的图像共同进行排列显示，并且一起受理缺陷类别的输入，因此能够准确且高效地将缺陷图像数据登记为训练数据。基于如此登记的准确的训练数据进行学习，由此能够生成判定精度更高的已学习模型。

变形例

另外，在上述实施例的缺陷类别分类的处理中，在根据特征量进行的缺陷类别分类(步骤S203)后，基于已学习推论模型来进行缺陷类别分类(步骤S205)，但上述处理的顺序可以调换。

此外，在上述实施例中，使用通过深度学习的方法生成的推论模型，但也可以使用通过其他机器学习的方法而生成的模型。此外，还可以将通过多个机器学习的方法生成的模型组合来进行分类处理。

此外，在上述的实施例中，检查管理装置3具有对缺陷类别分类后的同一缺陷图像集的数量进行计数的缺陷类别计数部34，但除此以外，还可以具有对缺陷类别分类前的同一缺陷图像集进行计数的缺陷数测量部。此外，在该情况下，还可以具有缺陷数警告部，对该缺陷数测量部所计算出的缺陷数是否超过规定的值进行判定，在判定为超过的情况下，该缺陷数警告部经由输出装置向用户通知该消息。

此外，在上述的实施例中，照明系统的光源全部照射可见光，测定系统具有与光源的数量相同数量的照相机，但照明系统、测定系统的结构不必限定于此。例如，光源的一部分或全部可以是红外线，也可以在测定系统的照相机中设置分光棱镜并能够用一台照相机检测多个不同的波长的光。此外，还可以不获取表面反射图像、背面反射图像、透过图像中的任一个。

其他

上述的实施例的说明仅示例性地说明本发明，本发明不限于上述的具体实施方式。本发明在其技术思想的范围内可以进行各种变形。例如在上述的各例中，将照明系统及测定系统固定，而使被检查物T移动，但也可以将被检查物T固定，而使照明系统及测定系统移动。

本发明的一个实施方式是一种用于检查片状的被检查物的检查管理系统(1)，具有：外观检查部(2)，具有通过不同的方式拍摄所述被检查物(T)的外观的多个拍摄单元(221；222；223)、以及基于由所述多个拍摄单元拍摄的各个图像来检测所述被检查物的缺陷的检测单元(231)；存储部，对于通过不同的方式进行拍摄的多个所述拍摄单元中的每一个拍摄单元，记录拍摄有由所述检测单元检测出的缺陷的缺陷图像数据；以及检查管理部(3)，具有同一缺陷图像整合单元(31)，该同一缺陷图像整合单元(31)将记录在所述存储部中的所述缺陷图像数据的集合中的、拍摄有所述被检查物的同一缺陷的多个缺陷图像数据作为一个同一缺陷图像集进行处理。

此外，本发明的另一实施方式是一种对片状的被检查物的外观检查进行管理的检查管理方法，包括：第一步骤(S101)，通过两种以上的不同的方式拍摄所述被检查物；第二步骤(S102)，基于在所述第一步骤中拍摄的采用多个不同的拍摄方式的被检查物的图像，来检测所述被检查物的缺陷；第三步骤(S103)，记录拍摄有在所述第二步骤中检测出的缺陷的缺陷图像数据；第四步骤(S104)，从所述第三步骤中记录的缺陷图像数据的集合中，将拍摄有所述被检查物的同一缺陷的多个缺陷图像数据整合为一个同一缺陷图像集；以及第五步骤(S105)，对于每个规定的检查单位，将在所述第四步骤中整合的同一缺陷图像集的数量进行计数，计算缺陷数。

Claims (16)

1.一种检查管理系统，用于对片状的被检查物的检查进行管理，其中，所述检查管理系统具有：

外观检查部，具有通过不同的方式拍摄所述被检查物的外观的多个拍摄单元、以及基于由多个所述拍摄单元拍摄的各个图像来检测所述被检查物的缺陷的检测单元；

存储部，对于通过不同的方式进行拍摄的多个所述拍摄单元中的每一个拍摄单元，记录拍摄有由所述检测单元检测出的缺陷的缺陷图像数据；以及

检查管理部，具有同一缺陷图像整合单元，所述同一缺陷图像整合单元将记录在所述存储部中的所述缺陷图像数据的集合中的、拍摄有所述被检查物的同一缺陷的多个缺陷图像数据作为一个同一缺陷图像集进行处理。

2.根据权利要求1所述的检查管理系统，其中，

所述检查管理部还具有缺陷计数单元，所述缺陷计数单元对所述同一缺陷图像集的数量进行计数，对每个规定的检查单位计算缺陷数。

3.根据权利要求2所述的检查管理系统，其中，

所述检查管理系统还具有输出部，

所述检查管理部还具有缺陷数警告单元，所述缺陷数警告单元在计算出的所述缺陷数超过规定的值的情况下，经由所述输出部通知该消息。

4.权利要求1所述的检查管理系统，其中，

所述检查管理部还具有缺陷类别分类单元，所述缺陷类别分类单元对各个所述同一缺陷图像集将所述缺陷的类别进行分类。

5.根据权利要求4所述的检查管理系统，其中，

所述检查管理部还具有缺陷类别计数单元，所述缺陷类别计数单元对由所述缺陷类别分类单元分类出的各个缺陷类别，将所述同一缺陷图像集的数量进行计数，并对每个规定的检查单位计算各个缺陷类别的缺陷数。

6.根据权利要求5所述的检查管理系统，其中，

所述检查管理系统具有输出部，

所述检查管理部还具有缺陷类别缺陷数警告单元，所述缺陷类别缺陷数警告单元在计算出的各个所述缺陷类别的缺陷数超过对该缺陷类别设定的规定的值的情况下，经由所述输出部通知该消息。

7.根据权利要求4～6中任一项所述的检查管理系统，其中，

所述缺陷类别分类单元包括已经通过深度学习的方法进行了学习的推论单元。

8.根据权利要求7所述的检查管理系统，其中，

所述检查管理系统还具有显示部，

所述检查管理部还具有深度学习用训练数据登记单元，所述深度学习用训练数据登记单元将各个所述同一缺陷图像集与构成该同一缺陷图像集的缺陷图像数据同时显示在所述显示部，并向用户请求进行与该显示出的缺陷图像数据的同一缺陷图像集对应的缺陷类别的登记。

9.根据权利要求4所述的检查管理系统，其中，

所述缺陷类别分类单元在未以规定的准确度以上的准确度来进行所述同一缺陷图像集的缺陷类别的分类的情况下，将该同一缺陷图像集的缺陷类别分类为不明。

10.根据权利要求9所述的检查管理系统，其中，

所述缺陷类别分类单元对于缺陷类别被分类为不明的所述同一缺陷图像集，请求用户进行缺陷类别的分类。

11.根据权利要求1所述的检查管理系统，其中，

通过不同的方式拍摄所述被检查物的外观的多个拍摄单元包括：拍摄在所述被检查物的第一面发生反射的反射光所产生的图像的表面拍摄单元、拍摄在与所述被检查物的第一面相反的一侧的第二面发生反射的反射光所产生的图像的背面拍摄单元、以及拍摄透过所述被检查物的透过光所产生的图像的透过光拍摄单元中的任意两种以上。

12.根据权利要求1所述的检查管理系统，其中，

通过不同的方式拍摄所述被检查物的外观的多个拍摄单元包括：利用第一波长的光来拍摄所述被检查物的第一波长拍摄单元、以及利用与所述第一波长不同的波长的光来拍摄所述被检查物的第二波长拍摄单元。

13.根据权利要求1所述的检查管理系统，其中，

所述同一缺陷图像整合单元将所述缺陷在所述被检查物中的位置相同的多个不同的缺陷图像数据整合为一个同一缺陷图像集。

14.一种检查管理装置，对于通过不同的多个拍摄方式来拍摄片状的被检查物的外观从而获取的缺陷图像数据进行处理，其中，

所述检查管理装置具有同一缺陷图像整合单元，所述同一缺陷图像整合单元从所述缺陷图像数据的集合中，将拍摄有所述被检查物的同一缺陷的多个缺陷图像数据作为一个同一缺陷图像集进行处理。

15.一种检查管理方法，对片状的被检查物的外观检查进行管理，其中，所述检查管理方法包括：

第一步骤，通过两种以上的不同的方式拍摄所述被检查物；

第二步骤，基于在所述第一步骤中拍摄的基于多个不同的拍摄方式而拍摄到的被检查物的图像，来检测所述被检查物的缺陷；

第三步骤，记录拍摄有在所述第二步骤中检测出的缺陷的缺陷图像数据；

第四步骤，从在所述第三步骤中记录的缺陷图像数据的集合中，将拍摄有所述被检查物的同一缺陷的多个缺陷图像数据整合为一个同一缺陷图像集；以及

第五步骤，对于每个规定的检查单位，将在所述第四步骤中整合成的同一缺陷图像集的数量进行计数，并计算缺陷数。

16.根据权利要求15所述的检查管理方法，其中，

所述检查管理方法还包括第六步骤，所述第六步骤是在所述第五步骤中计算出的缺陷数超过规定的值的情况下，通知该消息。