CN116368375A - 缺陷检查装置、缺陷检查方法以及制造方法 - Google Patents

Abstract

一种缺陷检查装置，基于被检查体的图像来检查在上述被检查体中产生的缺陷，其中，具备多个缺陷辨别器，上述缺陷辨别器基于图像，使用规定的机器学习模型来辨别各自不同的缺陷的种类，各个缺陷辨别器所辨别的缺陷的种类是作为缺陷检查装置的辨别对象的规定数量的缺陷种类的一部分。本实施方式能够以缺陷检查装置、缺陷检查方法、制造方法中的任意一种方式实现。根据本实施方式，能够容易地进行缺陷检查中的系统管理。

Description

缺陷检查装置、缺陷检查方法以及制造方法

技术领域

本发明涉及缺陷检查装置、缺陷检查方法以及制造方法。本发明例如涉及用于使用表示被检查体的图像的图像数据来判定被检查体中产生的缺陷的状态的技术。

本申请主张在2020年12月15日向日本申请的专利申请2020-207561号的优先权，将其内容引用至此。

背景技术

管理产品的品质时，判定产品的状态是重要的。例如，表面由金属或氧化物等的薄膜覆盖的玻璃基板中，有时在其表面形成微小的电子部件等。该玻璃基板例如能够用于液晶显示器等各种显示器、光掩模、电子器件支承、信息记录介质、平面型天线等。在玻璃基板的表面产生的缺陷是以断线为代表的不合格的原因。缺陷例如有伤痕、污垢等。因此，对玻璃基板的表面要求较高的清洁性、平坦性等。

为了减少断线等不合格，可以考虑：分析玻璃基板表面的状态，判定缺陷的状态，根据需要而确定缺陷的发生原因，实施对制造工序的对策。因此，尝试对被检查体的图像使用机器学习模型来对缺陷种类进行分类。例如，专利文献1中记载有使用深层学习(深度学习、Deep Learning)模型来对作为基板的晶片上产生的缺陷进行分类的缺陷检查方法。

一般而言，深层学习模型需要使用大量的训练数据，对表示输入输出关系的模型参数进行学习。根据用于学习的训练数据的量，有可能频繁产生误分类。例如，在对图像所表示的缺陷的种类进行分类的情况下，有时误分类为特定种类的概率变高。在这样的情况下，存在用户为了避免误分类而希望修正模型参数的情况。

专利文献1：日本特开2019-124591号公报

然而，当在以深层学习模型为代表的机器学习模型中修正模型参数的情况下，难以仅纠正对特定种类的误分类，也容易影响对其他种类的分类结果。即，即使模型参数修正为准确地进行对特定种类的分类，也有可能对其他种类的分类变得不准确。由于不得不考虑对全部种类的分类地修正模型参数，所以系统管理有时花费大量的劳力、时间。

发明内容

本发明是鉴于上述问题而完成的，本发明的课题之一是提供一种在缺陷检查中更容易进行系统管理的缺陷检查装置、缺陷检查方法以及制造方法。

(1)本发明是为了解决上述课题而完成的，本发明的一个形态是缺陷检查装置，基于被检查体的图像来检查上述被检查体中产生的缺陷，其中，具备多个缺陷辨别器，上述缺陷辨别器基于上述图像，使用规定的机器学习模型来辨别各自不同的上述缺陷的种类，各个缺陷辨别器所辨别的上述缺陷的种类是作为上述缺陷检查装置的辨别对象的规定数量的缺陷种类的一部分。

(2)本发明的另一形态是缺陷检查方法，基于被检查体的图像来检查上述被检查体中产生的缺陷，其中，具备多个缺陷辨别工序，在上述缺陷辨别工序中，基于上述图像，使用规定的机器学习模型来辨别各自不同的上述缺陷的种类，在各个缺陷辨别工序中辨别的上述缺陷的种类是在上述缺陷检查方法中作为辨别对象的规定数量的缺陷种类的一部分。

(3)本发明的另一形态也可以是玻璃的制造方法，其中，上述被检查体为玻璃，具有使用了(1)的缺陷检查装置的检查工序、或(2)的缺陷检查方法。

根据本发明，可以更容易地进行缺陷检查中的系统管理。例如，能够降低或消除对特定种类的错误判定的频度，而不影响其他种类的缺陷的判定结果。

附图说明

图1是表示本实施方式所涉及的缺陷检查装置的结构例的概略框图。

图2是表示本实施方式所涉及的检查处理的第一例子的流程图。

图3是用于对本实施方式所涉及的拍摄部中的拍摄条件进行说明的说明图。

图4是表示被检查体的图像的一个例子的图。

图5是表示被检查体的图像的另一例子的图。

图6是表示本实施方式所涉及的缺陷辨别器的连接例子的图。

图7是表示本实施方式所涉及的缺陷辨别处理的处理时间的例子的图。

图8是表示由本实施方式所涉及的机器学习模型导致的缺陷类别的错误回答率的例子的图。

图9是表示本实施方式所涉及的检查处理的第二例子的流程图。

图10是用于对本实施方式所涉及的特征量空间中的距离进行说明的说明图。

图11是表示本实施方式所涉及的检查处理的第三例子的流程图。

图12是从本实施方式所涉及的检查工序向制造工序的反馈处理的一个例子的说明图。

图13是表示本实施方式所涉及的玻璃的制造工序的一个例子的流程图。

图14是表示本实施方式所涉及的机器学习模型的一个例子的图。

具体实施方式

以下，参照附图对本发明的实施方式进行说明。

首先，对本实施方式的结构进行说明。图1是表示本实施方式所涉及的缺陷检查装置的结构例的概略框图。

本实施方式所涉及的缺陷检查装置100是用于使用表示被检查体的图像的图像数据来检查该被检查体中可能产生的缺陷的检查装置。缺陷检查装置100执行多个缺陷辨别工序，上述缺陷辨别工序是如下工序：取得表示被检查体的图像的图像数据，基于已取得的图像数据，使用规定的机器学习模型来辨别被检查体中产生的缺陷的种类。在各个缺陷辨别工序中作为辨别对象的1种或多种缺陷的候补是作为缺陷检查装置100整体的辨别对象的规定数量(M种，M为2以上的规定整数)的缺陷种类(以下，可辨别种类)的一部分。另外，作为辨别对象的1种或多种缺陷的候补在每个缺陷辨别工序中不同。

缺陷检查装置100构成为包括：控制部110、拍摄部130、输入输出部140、操作部150、显示部160、存储部170。

控制部110执行用于实现缺陷检查装置100的功能的处理、用于控制该功能的处理。控制部110也可以包括处理器等通用部件，构成为计算机。处理器读出预先存储于存储部170的程序，进行通过已读出的程序所记述的指令而指示的处理，实现该功能。在本申请中，有时将进行通过程序所记述的指令而指示的处理称为执行程序、程序的执行等。控制部110的一部分或全部也可以构成为包括LSI(Large Scale Integration)、ASIC(Application Specific Integrated Circuit)等专用硬件，而不局限于处理器等通用硬件。关于实现控制部110的功能的功能部，后文叙述。

拍摄部130拍摄表示本部件周边的视野范围内存在的各种物体的图像，向控制部110输出表示已拍摄到的图像的图像数据。拍摄部130也可以具备针对1个被检查体使拍摄条件可变的机构，也可以具有一次以多个拍摄条件进行拍摄的机构。拍摄条件是明显影响被拍摄的图像的条件。根据被检查体中产生的缺陷的种类，该缺陷的像的亮度、形状有时根据拍摄条件而显著不同。拍摄条件例如通过辉度、拍摄方向、照明方法等中的任意一个、或这它们的组合来指定。

图3例示一次以四种拍摄条件拍摄共同的1个被检查体的图像的情况。四种拍摄条件分别作为辉度与拍摄方向的组合而分类为2种，作为照明方法分类为反射和透射2种。辉度与拍摄方向的组合中有明视野和暗视野。所谓明视野，是将照明所发出的光线向被检查体Sb照射，并在从被检查体Sb反射的反射光或透射的透射光的入射方向包含在视野内的位置及朝向上设置拍摄部130(照相机)而成的拍摄条件。在明视野中，来自被检查体Sb的反射光或透射光直接入射至照相机，因此可以拍摄明亮的图像。所谓暗视野，是将照明所发出的光线向被检查体Sb照射，并在从被检查体Sb反射的反射光或透射的透射光的入射方向不包含在视野内但被检查体Sb包含在视野内的位置及朝向上设置拍摄部130而成的拍摄条件。在暗视野中，来自被检查体Sb的反射光或透射光不直接入射至照相机，而在被检查体Sb的表面产生的散射光入射，所以拍摄到比明视野暗的图像。

拍摄部130也可以构成为包括拍摄静止图像的数码相机、拍摄动态图像的数码摄像机中的任意一者。动态图像构成为包括以恒定时间间隔(例如1/120～1/12秒)反复拍摄而得到的静止图像。

返回图1，输入输出部140通过无线或有线而与其他设备连接为可输入输出各种数据。输入输出部140例如具备输入输出接口或通信接口。输入输出部140例如与制造工序中使用的各种控制设备、测量设备、其他设备连接。

操作部150接受用户的操作，生成与接受到的操作相应的操作信号。操作部150例如也可以构成为包括按钮、旋钮、拨盘等专用部件，也可以构成为包括鼠标、键盘等通用部件。操作部150也可以是通过无线或有线从其他设备接收操作信号的输入接口。其他设备例如能够是遥控器、多功能移动电话机等移动设备。操作部150向控制部110输出已取得的操作信号。

显示部160显示基于从控制部110输入的显示数据的图像、文字、符号等显示信息。显示部160例如也可以具备液晶显示器、有机电致发光显示器等中的任意一者。

除上述程序之外，存储部170存储用于控制部110所执行的处理的各种数据、控制部110已取得的各种数据。存储部170例如构成为包括ROM(Read Only Memory)、闪存、HDD(Hard Disk Drive)等非易失性的(非暂时性的)存储介质。另外，存储部170构成为包括RAM(Random Access Memory)、寄存器等易失性的存储介质。

控制部110构成为包括缺陷检测部112、缺陷辨别部114、综合判定部116、模型学习部118、制造工序管理部120、新种类判定部122以及判定输入部124作为实现其功能的功能部。这些功能部也可以分别构成为包括专用部件，也可以通过处理器执行规定程序来起到其功能。在以下的说明中，以被检查体为薄型面板显示器(FPD：Flat Panel Display)用玻璃基板的情况为主，但被检查体也可以是其他物体。

控制部110构成为包括缺陷检测部112、缺陷辨别部114、综合判定部116、模型学习部118、制造工序管理部120、新种类判定部122以及判定输入部124作为实现其功能的功能部。这些功能部也可以分别构成为包括专用部件，也可以通过处理器执行规定程序来起到其功能。在以下的说明中，以被检查体为薄型面板显示器(FPD：Flat Panel Display)用玻璃基板的情况为主，但被检查体也可以是其他物体。

返回图1，缺陷检测部112向缺陷辨别部114输出图像数据，上述图像数据将包含各1个缺陷区域的部分的图像表示为缺陷图像。缺陷检测部112在未从被检测体的图像检测到缺陷区域的情况下，将该被检测体的图像判定为合格图像，向综合判定部116输出表示合格图像的图像数据。另外，在该情况下，缺陷检测部112也可以向判定输入部124输出对输入画面的显示进行指示的指示信息。

此外，在确定为缺陷区域的区域的大小在水平方向、垂直方向的每一个上不足规定的大小的检测阈值的情况下，缺陷检测部112也可以忽略该缺陷区域的判定结果，确定为正常区域。预先在缺陷检测部112中设定比典型性的缺陷的大小充分小的大小作为检测阈值。

缺陷辨别部114具备多个缺陷辨别器。在以下的说明中，将缺陷辨别器的个数设为N个(N为2以上的预先决定的整数)，有时对各个缺陷辨别器标注缺陷辨别器114-1、114-2等子编号来进行区别。同样地，有时也对各个缺陷辨别器的结构部标注子编号来进行区别。各个缺陷辨别器也可以并非一定仅由硬件构成，也可以通过规定程序的执行来实现其功能。

N个缺陷辨别器114-1～114-N分别针对被检查体中产生的缺陷的每一个进行如下处理：将通过从缺陷检测部112输入的图像数据表示的图像中示出的缺陷的种类，辨别为1种或多种缺陷的候补中的任意一种。作为可辨别的1种或多种缺陷的候补，可以在N个缺陷辨别器114-1～114-N间不同。这些候补分别形成缺陷检测部112整体可辨别的M种可辨别种类的一部分。因此，M与N相等，或比N多。在M和N相等的情况下，N个缺陷辨别器114-1～114-N作为一级辨别器发挥功能，上述一级辨别器对被检查体中产生的缺陷的种类是否是各自不同的各1种的缺陷种类、或者是该1种的概率进行判定。在M比N多的情况下，至少1个缺陷辨别器作为多级辨别器发挥功能，上述多级辨别器对被检查体中产生的缺陷的种类是多个种类中的哪一种、或者是各个种类的概率进行判定。在以下的说明中，主要以M和N相等的情况为例。

接下来，对缺陷辨别器114-1的功能结构进行说明。对于缺陷辨别器114-2～114-N而言，只要没有特别说明，则具备与缺陷辨别器114-1共同的功能结构，引用对缺陷辨别器114-1的说明。

缺陷辨别器114-1执行：前处理工序、推断工序、缺陷判定工序以及良否判定工序(图2中相当于步骤S112-1、S114-1、S116-1及S118-1)。前处理工序包括用于使输入至本设备的图像数据的形式整合为作为向推断工序的输入所要求的形式(例如输入值的要素数量)的处理。前处理工序中包括维度削减、尺寸调整中的一方或两方。

尺寸调整是变更作为处理对象的部分区域的水平方向、垂直方向的像素数量的处理。尺寸调整可以是放大，也可以是缩小。缺陷辨别器114-1对输入的图像的每个像素的信号值进行插值，决定放大或缩小后的图像的每个像素的信号值。缺陷辨别器114-1在插值中例如能够利用双线性插值、双三次插值等公知的插值方法。缺陷辨别器114-1也可以对各1个缺陷区域，决定为包括该缺陷区域的整体在内，其水平方向或垂直方向的直径的最大值为部分区域的水平方向或垂直方向的大小的常量r(例如为0.5以上、不足1的实数)倍，而不是单纯地按规定的倍率变更图像的尺寸。所谓直径，相当于横穿缺陷区域的所有方向的线段的长度。例如，在检测到的缺陷形状为椭圆形的情况下，作为该缺陷的直径的最大值，以长轴的长度为代表。在检测到的缺陷形状为长方形的情况下，作为该缺陷的直径的最大值，以长边的长度为代表。

维度削减是将以各自不同的拍摄条件拍摄1个部分区域而得到的多个图像汇集为更少个数的图像的处理。维度削减通过图像合成而实现。图像合成包括如下处理：针对每个像素算出多个图像间的辉度值的加权和，作为新的信号值。加权和相当于各个图像的辉度值与该图像所对应的权重系数的积亦即乘法值的图像间的总和。通过图像合成而生成的图像的数量只要最低是1个即可，但也可以是多个(例如3个)。在图像合成中，例如也可以使用阿尔法混合这样的方法。所谓阿尔法混合，是作为合成对象的每个图像的权重系数(阿尔法值)的总和被归一化为1的方法。在缺陷辨别器114-1～114-N间，图像间的权重系数的比也可以不同。由此，也可以根据每个缺陷辨别器的缺陷种类，设定比针对其他图像的权重系数大的值，作为针对容易检测该缺陷的拍摄条件下的图像的权重系数。例如，针对伤痕，设定为：使针对在明视野下拍摄到的图像的权重系数相对地小，使针对在暗视野下拍摄到的图像的权重系数大。可以更加可靠地从在暗视野下取得的图像中检测伤痕。

在将通过维度削减而生成的图像的数量设为3个的情况下，缺陷辨别器114-1也可以生成表示1个彩色图像的图像数据，上述1个彩色图像是通过针对每个像素采用所生成的每个图像的信号值作为各自不同的色调的颜色信号值，并合并三种色调的每个色调的图像而形成的。作为用于表现彩色图像的表色系统，能够利用RGB表色系统、YCrCb表色系统等。例示对4个拍摄条件不同的部分区域的图像Im01～Im04通过维度削减而合成1个彩色图像Im05的情况。首先，缺陷辨别器114-1取得在明视野下拍摄到的图像Im01、Im02以及在暗视野下拍摄到的图像Im03、Im04。此时，图像Im01、Im03是拍摄透射光而得到的图像，图像Im02、Im04是拍摄反射光而得到的图像。根据拍摄条件，缺陷的形状、辉度不同。图像Im05在缺陷辨别器114-1中通过按红、绿、蓝使用各自不同的权重系数合成4个图像的信号值而得到的合成值表示。例如，图像Im05的红色通道的信号值通过对图像Im01的辉度值和图像Im02的辉度值用0.7：0.3作为各自的权重系数的比进行合成而得到。图像Im05的绿色通道的信号值通过对图像Im03的辉度值和图像Im04的辉度值用0.4：0.6作为各自的权重系数的比进行合成而得到。图像Im05的蓝色通道的信号值通过对图像Im02的辉度值和图像Im03的辉度值用0.5：0.5作为各自的权重系数的比进行合成而得到。

推断工序是对表示作为处理对象的图像的图像数据，确定被检查体中产生的缺陷的种类是规定种类的概率的工序。缺陷辨别器114-1输入构成图像数据的每个像素的信号值作为输入值，对已输入的输入值使用规定的机器学习模型，运算该概率作为输出值。输出值是0以上1以下的实数值。在缺陷辨别器114-1中预先设定用于根据输入值运算输出值的参数集(Parameter Set，模型参数)。

作为机器学习模型，例如能够利用卷积神经网络(CNN：Convolutional NeuralNetwork)、递归神经网络(RNN：Recurrent Neural Network)等神经网络。可利用的机器学习模型并不局限于神经网络，也能够利用随机森林(RF：Random Forest)、支持向量机(SVM：Support Vector Machine)等方法。

缺陷判定工序是基于在推断工序中算出的概率，判定是否符合作为判定对象的种类的缺陷的工序。缺陷辨别器114-1例如在算出的概率比规定的缺陷判定阈值大的情况下，判定为符合该种类，在算出的概率为缺陷判定阈值以下的情况下，判定为不符合该种类。缺陷判定阈值也可以按判定对象的缺陷的种类独立设定。例如，在各个缺陷辨别器中，越是针对发生风险高的种类的缺陷的缺陷判定阈值，设定越小的值，越是针对发生风险较低的种类的缺陷的缺陷判定阈值，设定越大的值。所谓发生风险高，是指产生由发生导致的物的或经济性的损失的可能性高，或者这些损失大。即，存在如下趋势：越是发生风险高的缺陷的种类亦即高风险缺陷，越不允许漏检而否定，越是发生风险低的缺陷的种类亦即低风险缺陷，越允许过检测。例如，对伤痕、气泡、异物、污垢各自的风险，按该顺序变低，对伤痕的风险较高。因此，通过越是高风险缺陷，越减小缺陷判定阈值，而能够提高能够相对无遗漏地检测出缺陷的再现率(Recall)。通过越是发生风险低的缺陷的种类亦即低风险缺陷，越增大缺陷判定阈值，而能够提高能够相对可靠地检测为缺陷的精确率(Precision)。缺陷辨别器114-1对作为判定对象的对象区域，生成表示对缺陷的符合或不符合的缺陷标志，将与对象区域建立对应而生成的缺陷标志存储于存储部170。

此外，在本申请中，如上述的“异物”、“污垢”那样，作为缺陷的种类，有时对规定物体附着或混入的状态使用该物体的名称来进行呼称。

良否判定工序是如下工序：当在缺陷判定工序中判定为符合规定的缺陷种类的情况下，对检测到的缺陷，基于规定的判定基准值来判定缺陷的区域的良否。当在缺陷判定工序中判定为不符合缺陷的情况下，不执行良否判定工序。缺陷辨别器114-1例如在检测到的缺陷的大小(尺寸)比预先在本设备中设定的判定数据所示的判定基准值大的情况下，将该区域判定为不合格，在检测到的缺陷的大小为判定基准值以下的情况下，将该区域判定为合格。一般，各个缺陷由二维平面上的图形表示，但缺陷辨别器114-1将检测到的缺陷的直径的最大值决定为缺陷的大小。判定基准值也可以按判定对象的缺陷的种类独立设定。例如，对伤痕的判定基准值为100～300μm，对异物的判定基准值为50～120μm。缺陷辨别器114-1针对作为判定对象的缺陷及其种类，生成表示合格或不合格的不合格标志，与对象区域建立对应地将不合格标志存储于存储部170。

综合判定部116参照已检测到的缺陷各自的良否状态，判定被检查体整体的状态。综合判定部116例如与缺陷种类无关地，对被检查体的各缺陷，参照良否标志所示的全部良否判定，对被判定为不合格的缺陷的个数进行计数。综合判定部116在全部种类的缺陷的个数比规定的判定基准个数多的情况下，将被检查体判定为不合格，在全部种类的缺陷的个数为规定的判定基准个数以下的情况下，将被检查体判定为合格。

在缺陷辨别部114中，良否判定工序在缺陷种类间并行，所以存在针对1个缺陷关联对多个缺陷种类表示不合格的不合格标志的情况。综合判定部116也可以处理为关联了该多个不合格标志的缺陷符合该多个种类。例如，在从被检查体检测到3个缺陷时，综合判定部116对某个缺陷001判定为符合伤痕及异物两者，对缺陷002判定为符合污垢，对缺陷003判定为符合异物及污垢。缺陷辨别部114也可以将现实中产生的缺陷的个数亦即3个决定为缺陷个数，也可以将每个种类的件数的总和亦即5件决定为缺陷个数。

此外，在综合判定部116中，例如也可以预先设定表示每个缺陷种类的缺陷个数的判定基准个数的判定数据，使用判定数据来判定被检查体的状态(规则库)。综合判定部116按缺陷种类，对各缺陷，参照良否标志所示的良否判定，计数缺陷个数。综合判定部116在已计数的缺陷个数为判定数据所示的判定基准个数以上的缺陷种类存在时，将被检查体判定为不合格，在该缺陷种类不存在时，将被检查体判定为合格。也可以构成为，发生风险越高的缺陷种类的判定基准个数越少，发生风险越低的缺陷种类的判定基准个数越多。例如，在缺陷种类为伤痕、灰尘的情况下，判定基准个数分别设为1个、5个。图5例示从被检查体检测到1个伤痕和2个灰尘的情况。假设在仅关注特定种类的缺陷亦即灰尘，而不关注其他种类的缺陷的情况下，检测到的灰尘的个数为2个，比判定基准件数少，所以被检查体被判定为合格。但是，伤痕的个数为1个，与判定基准件数相等，所以综合判定部116将被检查体判定为不合格。因此，针对各个缺陷种类，与判定基准个数进行比较，从而能够避免对具有不被允许的缺陷的被检查体判定为合格的风险。

也可以对综合判定部116预先设定每个缺陷种类的权重系数，算出每个缺陷种类的权重系数与缺陷个数的乘法值的缺陷种类间的总和亦即加权和，作为实效个数。综合判定部116也可以在实效个数比规定的判定基准个数多的情况下，将被检查体判定为不合格，在实效个数为判定基准个数以下的情况下，将被检查体判定为合格。

也可以在从缺陷检测部112向综合判定部116输入表示合格图像的图像数据时，将被检查体判定为合格。

也可以在与缺陷种类无关地，针对被检查体的各缺陷，判定为良否标志所示的全部缺陷及种类的良否判定成为合格的情况下，综合判定部116向判定输入部124输出表示输入画面的显示的指示信息。

被判定为合格的被检查体成为出厂对象，被判定为不合格的被检查体成为废弃对象或向制造工序退回的对象。综合判定部116向制造工序管理部120输出表示判定结果的判定结果信息。制造工序管理部120参照从综合判定部116输入的判定结果信息，将判定为不合格的被检查体废弃或退回至制造工序。制造工序管理部120例如向制造设备输出表示向制造工序退回或废弃的控制信号。

此外，综合判定部116也可以在判定结果信息中包含每个缺陷种类的缺陷个数或全部缺陷个数的信息。

模型学习部118算出用于通过缺陷辨别部114辨别缺陷种类的机器学习模型的参数组作为模型参数。模型学习部118按作为辨别对象的缺陷的种类，对训练数据((trainingdata)，也被称为学习数据(learning data)、监督数据(supervised data)等)使用规定的机器学习模型，进行学习(learning)处理来计算出模型参数。在模型学习部118中，在进行学习处理之前设定训练数据，上述训练数据包含多集(典型而言，1000～10000以上)已知的输入值与该输入值所对应的输出值的组亦即数据集。作为输入值，使用包含每个像素的信号值的图像数据。作为训练数据所包含的各集的输出值，在通过作为输入值的图像数据表示的图像示出作为辨别对象的种类的缺陷的图像的情况下，赋予1，在其他情况下，赋予0。模型学习部118在学习处理中，例如能够按作为输入值的每个图像数据，使用附加(注释(annotation))该缺陷的种类及其输出值而构成的训练数据。

在学习处理中，模型学习部118更新模型参数，直到多集整体上对输入值使用规定的机器学习模型算出的运算值与输出值的差的大小收敛为近似为零为止。更新前后的模型参数的变化量、或更新前后的差的大小的变化量不足规定的收敛判定阈值时，能够判定为模型参数已收敛。

在模型参数的更新中，例如能够使用最速下降法(steepest descent)、随机梯度下降法(stochastic gradient descent)、共轭梯度法(conjugate gradient method)、误差反向传播法(back propagation)等方法。

作为差的大小的指标值，例如能够使用均方误差(SSD：Sum of SquaredDifferences)、交叉熵误差(cross entropy error)等误差函数。模型学习部118将按缺陷种类算出的模型参数设定于该缺陷种类的辨别所涉及的缺陷辨别器。

此外，模型学习部118也可以对从判定输入部124输入的缺陷种类，在该缺陷种类所涉及的训练数据中追加将该缺陷种类所涉及的输出值设为1并将作为判定对象的图像数据作为输入值的数据集。另外，模型学习部118也可以在该缺陷种类所涉及的训练数据中追加将除此之外的种类所涉及的输出值设为0并将作为判定对象的图像数据作为输入值的数据集。然后，模型学习部118也可以使用新追加了的训练数据，更新各个缺陷种类所涉及的模型参数(迁移学习)。

制造工序管理部120基于作为由缺陷辨别部114判定的被检查体的产品中产生的缺陷的状态，控制该产品的制造工序。在制造工序管理部120中例如预先设定控制数据，上述控制数据预先包含缺陷的状态及修正条件的信息，并将它们建立对应地表示。所谓修正条件，是用于修正在该时间点在制造工序中使用的制造条件并赋予修正后的制造条件的条件。作为缺陷状态的信息的例子，制造工序管理部120能够使用被检查体中产生的缺陷的按种类区分的个数。每个缺陷种类的个数通过从综合判定部116输入的判定结果信息而传递。制造条件中能够包含用于执行产品的制造工序的动作参数、表示该环境的环境参数。动作参数中能够包含形成制造设备的动力的旋转速度、消耗电力等。环境参数中能够包含温度、压力等。修正条件能够用用于赋予变更后的制造条件的任意一种参数的变化量来表示。制造工序管理部120使用控制数据，确定与所参照的缺陷状态对应的修正条件的信息。制造工序管理部120生成对已确定的修正条件下的制造条件的变更进行指示的控制信息，向制造设备输出已生成的控制信息。制造设备使用通过从制造工序管理部120输入的制造信息表示的修正条件，修正制造条件，在修正后的制造条件下执行制造工序。

新种类判定部122判定从被检查体检测到的缺陷的种类是否是与已知的缺陷种类中的任意一种都不同的新种类。新种类判定部122例如在判定为缺陷检测部112所检测到的缺陷的种类不是缺陷辨别部114已辨别的缺陷种类中的任意一种时，判定为该缺陷种类为新种类。新种类判定部122例如对缺陷辨别器114-1～114-N的每一个所对应的缺陷种类，能够对缺陷标志均表示不符合的缺陷判定为缺陷种类是新种类。新种类判定部122也可以在判定为缺陷种类是新种类的情况下，使表示缺陷种类是新种类的通知画面显示于显示部160。另外，该情况下，新种类判定部122也可以向判定输入部124输出表示输入画面的显示的指示信息。由此，能够使用户亦即作业人员注意缺陷种类是新种类的情况，促使缺陷类别、良否的判定输入。

判定输入部124从操作部150输入操作信号，上述操作信号表示图像数据所示的图像中表示的被检查体中产生的缺陷的种类或该被检查体的良否。判定输入部124例如也可以生成输入画面，使已生成的输入画面显示于显示部160，上述输入画面包括图像数据所示的被检查体的图像、和通过按下而能够指示缺陷种类、被检查体良否中的任意一者或者这两者的画面部件。所谓按下，除现实地按下之外，是指根据操作从操作部150或其他设备输入操作信号，上述操作信号表示包含于显示区域的位置。作为画面部件，例如能够利用按钮、复选框、菜单栏等。

此外，也可以在从缺陷检测部112、综合判定部116或新种类判定部122输入表示输入画面的显示的指示信息时，使输入画面显示于显示部160。由此，促使对用户的类别或良否的判定输入。

判定输入部124向综合判定部116输出已输入的缺陷类别、被检查体的良否判定的信息。另外，判定输入部124也可以向模型学习部118输出已输入的缺陷类别。

(检查处理)

接下来，对本实施方式所涉及的检查处理的例子进行说明。图2是表示本实施方式所涉及的检查处理的例子的流程图。

(步骤S102)拍摄部130拍摄作为被检查体的例子的FPD用玻璃基板的图像。之后，进入步骤S104的处理。

(步骤S104)缺陷检测部112从拍摄部130所拍摄的被检测体的图像，检测产生有缺陷的部位亦即缺陷区域。之后，进入步骤S110的处理。

步骤S110的处理包括步骤S110-1～S110-N的处理。对于步骤S110-1～S110-N的处理而言，缺陷辨别器114-1～114-N分别针对包含从拍摄到的图像检测到的各个缺陷区域在内的共同的部分区域的每一个，并列地执行处理。关于步骤S110-2～S110-N的处理，分别与步骤S110-1的处理同样，所以引用其说明。

(步骤S112-1)缺陷辨别器114-1对部分区域内的图像执行前处理工序。缺陷辨别器114-1包括：对按不同的拍摄条件拍摄到的图像的维度削减；和对维度削减后的图像的要素数量的向对图像推断工序的输入值的要素数的尺寸调整。在一个例子中，作为成为处理对象的图像的要素数量，水平方向的像素数量、垂直方向的像素数量、维数(帧数)分别为200、200、4时，前处理后的图像的水平方向的要素数量、垂直方向的要素数量、维数分别能够为224、224、3。缺陷辨别器114-1也可以重构为水平方向的像素数量、垂直方向的像素数量分别为224、224的二维彩色图像。之后，进入步骤S114-1的处理。

(步骤S114-1)缺陷辨别器114-1对表示前处理后的图像的每个像素的信号值执行推断处理。缺陷辨别器114-1将每个像素的信号值作为输入值，使用规定的机器学习模型，算出部分区域所表示的缺陷的种类符合本设备中规定的缺陷种类的概率作为输出值。之后，进入步骤S116-1的处理。

(步骤S116-1)缺陷辨别器114-1执行缺陷判定工序。缺陷辨别器114-1根据算出的概率是否比本设备中设定的规定的缺陷判定阈值大，判定缺陷的种类是否符合本设备中规定的缺陷种类。之后，进入步骤S118-1的处理。

(步骤S118-1)缺陷辨别器114-1执行良否判定工序。缺陷辨别器114-1例如基于检测到的缺陷的大小是否比本设备中设定的判定基准值大，来判定良否。之后，进入步骤S122的处理。

(步骤S122)综合判定部116参照已检测到的各个缺陷种类的良否状态，判定是合格或是不合格，作为被检查体整体的状态。综合判定部116例如根据被判定为不合格的缺陷个数是否比规定的判定基准个数多，判定是合格或是不合格。之后，制造工序管理部120采用已判定为合格的被检查体作为出厂对象产品，将已判定为不合格的被检查体废弃或退回至制造工序。之后，结束图2的处理。

如上所述，本实施方式所涉及的缺陷检查装置100具备缺陷辨别器114-1～114-N，上述缺陷辨别器114-1～114-N按缺陷种类判定已检测到的缺陷是否符合该种类。因此，用于1种缺陷的判定的模型参数的修正不对其他种类的缺陷的判定产生影响。另外，能够使用与各个缺陷种类适合的拍摄条件、拍摄部130或者前处理。而且，N个缺陷辨别器114-1～114-N以并联的方式排列。即，各个缺陷辨别器分别与其他缺陷辨别器的判定结果无关地、判定已检测到的缺陷的种类是否符合规定的缺陷种类。因此，即使作为判定对象的缺陷的种类增加，处理时间也不产生变化，另外，各个缺陷辨别器与缺陷良否的判定基准值无关地、选择针对该种类的缺陷的信息、例如该种类中固有的特征量。但是，判定对象的缺陷的种类越多，则越需要更多的运算资源。

在缺陷检查装置100中，缺陷辨别器114-1～114-N也可以以串联的方式排列。更具体而言，在缺陷辨别器114-n(n为1以上N－1以下的整数)判定为在部分区域内的图像中检测到的缺陷的种类不符合本设备中规定的缺陷种类时，缺陷辨别器114-n+1开始对检测到的缺陷的种类是否符合本设备中规定的缺陷种类进行判定的处理。缺陷辨别器114-n在判定为从部分区域内的图像检测到的缺陷的种类符合本设备中规定的种类时，将检测到的缺陷的种类确定为已判定为符合的种类，不进行缺陷辨别器114-n+1及以后的处理。在图6所示的例子中，在步骤S110-1中，缺陷辨别器114-1判定已检测到的缺陷的种类是否是伤痕，在判定为符合伤痕时，结束图6的处理。在判定为不符合伤痕时，缺陷辨别器114-1前进至步骤S110-2的处理。在步骤S110-2中，缺陷辨别器114-2判定已检测到的缺陷种类是否是气泡，在判定为符合气泡时，结束图6的处理。在判定为不符合气泡时，缺陷辨别器114-2进入以后的处理。

因此，通过以串联的方式连接缺陷辨别器114-1～114-N，而将一次执行缺陷辨别工序的缺陷辨别器的数量限定为1个，所以能够有效地利用有限的计算资源。另外，在后续的缺陷辨别器中使用的模型参数的学习能够和在先的缺陷辨别器中使用的模型参数的学习独立地执行，所以不产生学习所需要的时间增大这样的课题。但是，开始借助后续的缺陷辨别器实现的缺陷辨别工序的执行的时机是借助在先的缺陷辨别器实现的缺陷辨别工序完成后。因此，如图7所例示那样，缺陷检查装置100整体上具有如下趋势：辨别对象的缺陷的种类越多；则处理时间越慢。在图7中，纵轴、横轴分别表示处理时间、模型数量。模型数量相当于作为检测对象的缺陷的种类、即缺陷辨别器的个数。图7所例示的处理时间包括与模型数成比例的成分、和与模型数无关地恒定的成分(约0.043秒，参照虚线)。前者相当于判定有无针对各个缺陷种类的符合所需要的时间。后者相当于拍摄、前处理等与缺陷种类无关地花费的时间。其中，在缺陷辨别器的个数为10个以下的情况下，处理时间与使用以往使用的多级模型的情况几乎同等。关于精度，若以缺陷辨别器所采用的机器学习模型为2级模型的情况、和为多级模型的情况进行比较，则同等，或者2级模型具有更高精度。2级模型是用于判定缺陷种类是否符合规定的1种的机器学习模型。多级模型是用于判定缺陷种类是规定的多个种类中的哪一种的机器学习模型。在图8所示的例子中，关于多级模型、2级模型的每一个，错误回答率为4.0％、2.0％，2级模型具有更高精度。

此外，对以串联的方式连接的缺陷辨别器114-1～114-N，也可以以使分别作为辨别对象的第一～第N种缺陷成为它们的发生频度的降序的方式进行确定。越频繁出现的种类的缺陷越在早期检测出，所以处理时间不会过大。另外，缺陷辨别器114-1～114-N也可以以使分别作为辨别对象的第一～第N种缺陷成为它们的风险大小的降序的方式进行确定。风险越大的种类的缺陷越在早期检测出，所以能够降低由缺陷的检测延迟导致的损害。

接下来，使用图9对新种类判定部122的另一结构例进行说明。新种类判定部122执行新种类判定工序(步骤S122-n)。新种类判定工序包括前处理工序(步骤S122-a)、推断工序(步骤S122-b)、新种类度计算工序(步骤S122-c)以及新种类度判定工序(步骤S122-d)。其中，在图9中省略了步骤S110-3的图示，但并不意味着必须省略步骤S110-3的处理。

在步骤S122-a中，新种类判定部122进行与步骤S112-1或步骤S112-2同样的前处理工序。

在步骤S122-b中，新种类判定部122对输入至本部件的部分图像，进行使用了N级机器学习模型的推断，提取在推断中算出的特征量。作为N级机器学习模型，例如能够使用N级神经网络(例如CNN)，上述N级神经网络运算作为缺陷种类的N种中的每一个的概率来作为输出值。在新种类判定部122中设定已使用训练数据而学习到的模型参数，上述训练数据针对各集，对由作为输入值的图像数据示出的图像所示出的缺陷种类赋予1作为与该种类对应的维度的输出值，并附加0作为与其他种类对应的维度的输出值。而且，新种类判定部122能够取得从除构成本部件的神经网络的输入层和输出层之外的规定的中间层输出的运算值，作为表示该图像的特征的特征量。此外，使用所设定的模型参数，对缺陷种类为已知的各个图像，通过后述的方法算出表示图像(缺陷)的特征的特征量，针对各个缺陷种类，将特征量的代表值(例如重心)预先设定在新种类判定部122中。

在步骤S122-c中，新种类判定部122对按缺陷种类决定的特征量的代表值与已取得的特征量的距离进行计算，将按种类计算出的距离中的最小值确定为新种类度。对于图10而言，表示对检测到的缺陷(检测缺陷)的特征量的二维矢量在由作为要素的特征量X、Y展开的特征量空间中用星号表示。而且，作为缺陷种类的污垢、伤痕、气泡、灰尘各自的代表值(×印)与算出的特征量的距离中的、气泡的代表值与特征量的距离作为新种类度而被算出。

返回图9，在步骤S122-d中，新种类判定部122在算出的新种类度比规定的距离阈值大的情况下，判定为缺陷种类是新种类，在为规定的距离阈值以下的情况下，判定为缺陷种类不是新种类。新种类判定部122将比任意一种特征量的方差都充分大的值确定为距离阈值。作为表示距离的指标值，例如能够利用马氏距离(Mahalanobis’distance)、闵氏距离(Minkowski’s distance)、曼哈顿距离(Manhattan distance)、余弦相似度(cosinesimilarity)等。

此外，新种类判定部122也可以在判定为缺陷种类是新种类时，向综合判定部116输出新种类检测信息，上述新种类检测信息表示作为判定对象的缺陷种类是新种类。另外，综合判定部116在被从新种类判定部122输入新种类检测信息时，也可以对通过新种类检测信息示出的缺陷，废弃良否标志。由此，可以避免错误地采用已有的判定结果。

新种类判定部122也可以将表示被判定为新种类的缺陷的图像的特征量决定为新种类的代表值。新种类判定部122也可以在根据另一个图像数据算出的特征量与新种类的代表值的距离为规定的距离以内的情况下，判定为该图像数据所示的缺陷种类是新种类。而且，模型学习部118也可以进行使用了训练数据的学习处理，决定用于根据图像数据辨别新种类的缺陷的模型参数，上述训练数据包含：赋予表示新种类的缺陷的图像的图像数据作为输入值，赋予1作为输出值的多个集；和赋予表示其他种类的缺陷的图像的图像数据作为输入值，赋予0作为输出值的多个集。缺陷辨别部114也可以构成新的缺陷判定器，上述新的缺陷判定器用于使用已决定的模型参数来辨别新种类的缺陷。

接下来，使用图11和图12对借助制造工序管理部120进行的制造工序的控制的例子进行说明。图11、图12所例示的处理包括步骤S102-S126的处理。关于步骤S102-S122的处理，引用上述的说明。其中，在步骤S122中，作为在成为被检查体的产品中产生的缺陷的状态的例子，综合判定部116向制造工序管理部120输出表示每个缺陷种类的个数的判定结果信息。

步骤S102-S122的处理包含于一系列的检查工序，作为被检查体的每个产品的缺陷状态、或它们的时间序列作为品质趋势而得到。

在步骤S124中，制造工序管理部120参照本部件中预先设定的控制数据，决定判定结果信息所示的缺陷状态所对应的修正条件(后述)。

在步骤S126中，制造工序管理部120生成对所决定的修正条件下的制造条件的变更进行指示的控制信息，向制造设备输出(反馈)已生成的控制信息。制造设备使用通过从制造工序管理部120输入的制造信息示出的修正条件，修正制造条件。已修正的每个产品的制造条件、或它们的时间序列作为控制趋势而得到。在制造工序中，制造设备使用修正后的制造条件来执行制造工序(步骤S200)。本实施方式可以作为包括步骤S102-S122的检查工序的制造方法而实现。

另外，步骤S102-S126的处理例如也可以集成于切入/切断工序S203与研磨工序S204之间等制造工序S200的中途，而不是制造工序S200之后。该情况下，在步骤S126中，制造工序管理部120也可以向执行比步骤S102-S126先行的工序的上游的制造设备输出(反馈)已生成的控制信息，取而代之或者进一步地，制造工序管理部120也可以向执行比步骤S102-S126后续的工序的下游的制造设备输出(前馈)已生成的控制信息。由此，比步骤S102-S126后续的下游的工序中的制造条件更效率化。例如，在步骤S102-S126集成于研磨工序S204之前的情况下，基于在步骤S126中生成的控制信息，在研磨工序S204中调整研磨量。

接下来，对向玻璃基板的制造工序的应用例进行说明。关于制造工序整体，例如更详细地记载于国际公开第2012/090766号公报、日本专利第5983406号公报，关于研磨工序，例如更详细地记载于日本专利第4862404号公报、日本专利4207153号公报。

玻璃基板使用浮法、融合法等制法来制造。图13所例示的玻璃基板的制造工序S200例如包括熔化工序S201、成形工序S202、切入/切断工序S203、研磨工序S204、产品部落下工序S205以及粉碎工序S208。分别执行熔化工序S201、成形工序S202、切入/切断工序S203、研磨工序S204、产品部落下工序S205以及粉碎工序S208的熔化机构、成形机构、切入/切断机构、研磨机构、产品部落下机构以及粉碎机构构成制造设备(未图示)。本实施方式所涉及的缺陷检查装置100也可以包含于制造设备。

作为熔化机构，例如使用熔化窑。熔化窑在熔化工序S201中，通过加热而熔化玻璃原料，形成熔融玻璃。作为成形机构，例如使用成形装置。成形装置具备熔融锡浴，在成形工序S202中，在熔融锡浴内的锡上展开从熔化窑移送的熔融玻璃，将具有规定宽度的带状的玻璃成形为玻璃带。玻璃带载也可以置于输送辊的主输送路，作为成为产品的玻璃基板，朝向包装机构(未图示)输送。在到达包装机构为止的期间，对玻璃基板执行切入/切断工序S203、研磨工序S204以及产品部落下工序S205。作为执行切入/切断工序S203的切入/切断机构，例如使用切割折叠装置。切割折叠装置将在主输送路流动的玻璃带形成为规定尺寸的玻璃基板，在输送方向的上游具备切入线加工装置，在比切入线加工装置靠下游具备折叠装置。在切入/切断工序S203中，切入线加工装置具备刀具，通过将刀具的前端以规定的压力压靠于玻璃带的表面，在玻璃带形成切入线。折叠装置沿着切入线分割玻璃带，将其分割为规定大小的玻璃基板。

作为执行研磨工序S204的研磨机构，使用研磨已分割的玻璃基板的表面的研磨装置。研磨装置例如具备多台进行自转及公转的圆形研磨工具，以在玻璃基板的输送方向上移动的状态，连续研磨玻璃基板(连续式)。研磨装置将直径比玻璃基板的宽度小的圆形研磨工具以玻璃基板的移动中心线为基准形成一对，沿着该移动方向锯齿状地配置两对，圆形研磨工具以超过移动中心线的方式研磨玻璃基板的表面。

研磨装置也可以具备用于在静止的状态下研磨玻璃基板的表面的结构(非连续式)。研磨装置例如具备基板粘贴工作台、膜框安装工作台、研磨工作台、膜框拆卸工作台以及基板拆卸工作台。基板粘贴工作台供将玻璃基板粘贴于膜框。膜框安装工作台供将膜框安装于载体的下部。研磨工作台供在将膜框安装至载体后，使载体和研磨平台相对靠近，将粘贴于膜体的基板的研磨面压靠于研磨平台并进行研磨。膜框拆卸工作台供从载体拆卸膜框。基板拆卸工作台供从膜框拆卸研磨后的玻璃基板。

作为执行产品部落下工序S205的产品部落下机构，使用落下装置。落下装置具备控制部和转动机构，在产品部落下工序S205中，控制已制造的玻璃基板是否从主输送路落下。控制部在接收到表示从缺陷检查装置100向制造工序退回的控制信号时，使转动机构转动形成主输送路的连结部件。由此，被判定为不合格的玻璃基板落下，不经过包装机构出厂而退回至制造工序。落下的玻璃基板通过与障碍物碰撞而断裂，成为断裂物。另一方面，在控制部未接收到控制信号的情况下，维持主输送路。因此，被判定为合格的玻璃基板被包装机构输送，成为出厂对象。

作为执行粉碎工序S208的粉碎机构，使用破碎机。破碎机具备将断裂物粉碎的旋转刀，在粉碎工序S208中，形成成为玻璃原料的碎玻璃。碎玻璃通过装备于制造设备的传送带输送，向熔化窑供给。

在本实施方式所涉及的检查工序中，典型而言，应用通过研磨工序S204生成的研磨后的玻璃基板作为作被检查体。根据检查对象的缺陷种类，也可以应用通过熔化工序S201产生的熔融玻璃、通过成形工序S202产生的玻璃带、或者通过切入/切断工序S203产生的研磨前的玻璃基板。

本实施方式所涉及的缺陷检查装置100能够辨别在各个工序中可能产生的种类的缺陷，实现与已辨别的缺陷相应的控制。例如，对于玻璃基板中产生的气泡而言，在熔化工序S201中存在熔化玻璃的温度越比规定的基准温度低则越产生的趋势。因此，用于制造工序的控制的控制数据中关联设定为：作为检测到的缺陷状态，气泡的量越多，则作为修正条件，熔化窑的温度的上升量越多。由此，对于制造工序管理部120而言，能够检测到的气泡越增加则越使熔化窑的温度上升。

对于附着于玻璃基板表面的异物而言，在研磨工序S204中存在研磨时间越比基准时间短则越残留的趋势。因此，在控制数据中关联设定为：作为检测到的缺陷状态，异物的量越多，则作为修正条件，研磨时间的增加量越变多。由此，对于制造工序管理部120而言，能够检测到的异物越增加则越延长研磨时间。

对于玻璃基板表面的伤痕而言，存在因用于研磨工序S204的研磨剂的劣化而发生的趋势。因此，控制数据中，将作为检测到的缺陷状态的伤痕的量的基准量、和作为修正条件的研磨工具的更换关联设定。由此，制造工序管理部120在检测到的伤痕的量超过基准量时，能够更换研磨工具。

对于伤痕而言，存在因用于研磨工序S204的研磨工具对玻璃基板表面的按压力不足而发生的趋势。因此，控制数据中也可以关联设定为：作为检测到的缺陷状态的伤痕的量越多，则作为修正条件的研磨工具的按压力的增加量越变多。由此，制造工序管理部120能够检测到的伤痕越增加则越增大研磨工具对玻璃基板表面的按压力。

此外，制造工序管理部120也可以接受来自表示针对制造条件的修正条件的操作信号的操作部150的输入，将该变更条件和通过判定结果信息示出的缺陷状态建立关联的信息包含于控制数据进行保存。由此，使用将用户亦即作业人员用通过操作对制造设备指示的制造条件、和检测到的缺陷状态建立关联的信息，更新控制数据。因此，已更新的控制数据能够利用于基于检测到的缺陷状态的制造条件的控制。

(机器学习模型)

接下来，对本实施方式所涉及的机器学习模型的例子进行说明。图14示出CNN作为本实施方式所涉及的机器学习模型的一个例子。在图14所示的例子中，是对CNN的输入值为二维的图像数据，并算出一维的概率(标量)作为来自CNN的输出值的2级模型。

CNN是人工神经网络的一种，具备1层输入层、多层中间层以及输出层。图14所例示的CNN具备输入层In02、6层中间层以及输出层Out16。6层中间层具备3层卷积层Cv04、Cv08、Cn12、2层池化层Pl06、Pl10以及全连接层Fc14。其中，1层卷积层和1层池化层交替重复2次后，后置1层卷积层Cv12，并且后置1层全连接层Fc14。

各层具有1个以上的节点(也称为node、神经元等)。各节点输出规定函数相对于输入值的函数值作为输出值。

输入层In02分别向下一层输出通过作为输入值输入的测量信号表示的每个采样点的信号值。各个采样点与各1个像素对应。在输入层In02的各节点中，输入该节点所对应的采样点的信号值，输入的信号值向下一层的对应的节点输出。在卷积层中，预先设定内核数。所谓内核数，相当于分别用于对输入值的处理(例如运算)的内核的个数。惯例上，内核数比输入值的个数少。所谓内核，是指用于一次计算1个输出值的处理单位。在某个层中算出的输出值用作向下一层的输入值。内核也被称为滤波器。所谓内核尺寸，表示内核中的用于一次处理的输入值的数量。惯例上，内核尺寸为2以上的整数。

池化层和卷积层根据多个输入值算出表示其特征的特征量。作为特征量，来自卷积层Cv04、Cv08、Cv12和池化层Pl06、Pl10中任意一个规定的一层的输出值能够用于新种类的缺陷的判定。

所谓卷积层，是如下的层：针对从紧前的层向多个节点的每一个输入的输入值按照每个内核进行卷积运算来算出卷积值，计算针对修正值的规定的激活函数的函数值作为输出值，将算出的输出值向下一层输出，上述修正值通过将算出的卷积值和偏置值相加而得到。此外，在卷积运算中，从紧前的层向各节点输入1个或多个输入值，对各个输入值使用独立的卷积系数。卷积系数、偏置值以及激活函数的参数是1集模型参数的一部分。

作为激活函数，例如能够利用归一化线性单元(Rectified Linear Unit)、双弯曲函数等。归一化线性单元是作为相对于规定阈值(例如0)以下的输入值的输出值而确定为该阈值，并将超过规定阈值的输入值保持原样输出的函数。因此，该阈值能够成为1集模型参数的一部分。另外，关于卷积层，是否参照来自紧前的层的节点的输入值、是否向下一层的节点输出输出值也能够成为1集模型参数的一部分。因此，与后述的全连接层不同，卷积层的各节点不一定和紧前的层的全部节点结合为被输入输入值，不一定结合为向下一层的全部节点输出输出值。

所谓池化层是如下的层：具有根据从紧前的层的多个节点分别输入的输入值决定1个代表值，并将已决定的代表值作为输出值向下一层输出的节点。代表值例如使用最大值、平均值、最频值等统计性地代表多个输入值的值。池化层中预先设定跨距。所谓跨距，表示相对于1个节点参照输入值的紧前的层的相互邻接的节点的范围。因此，池化层能够视为将来自紧前的层的输入值向更低维收缩(下采样)并向下一层提供输出值的层。

全连接层是如下的层：对从紧前的层向多个节点的每一个输入的输入值进行卷积运算来算出卷积值，计算将算出的卷积值和偏置值相加而得到的运算值作为输出值，将算出的输出值向下一层输出。即，全连接层是如下的层：对从紧前的层输入的多个输入值的全部，分别使用集数比输入值的数量少的参数集(内核)进行卷积处理，输出由此得到的运算值。因此，在全连接层中，卷积系数、偏置值以及激活函数的参数是1集模型参数的一部分。这样，通过在输出层的紧前配置全连接层，而能够一边无遗漏地考虑对从紧前的层赋予的特性值明显地赋予影响的成分，一边降低自由度，导出最终的输出值。

此外，CNN的层的数量、每层的类别、各层的节点的数量等并不局限于图14所示的例子。本实施方式所涉及的CNN只要具有如下结构即可：能够针对具有多个采样点的每一个的信号值作为输入值的测量信号，算出缺陷的每个类别的概率作为输出值。但是，如图14所例示那样，本实施方式所涉及的CNN优选为具备将1个以上的卷积层和池化层交替地重复1个周期以上并依次层叠而构成的中间层。这是因为通过卷积层的重复，筛选对特性值明显地赋予影响的成分。此外，在该卷积层的重复中，也可以省略池化层。

另外，作为3级以上的多级模型，只要使用计算要素数量为3个以上的矢量值作为输出值的机器学习模型即可。若以应用于缺陷种类的判定的情况为例，输出值的要素作为该要素所对应的缺陷的种类的概率而得到。在图14所示的例子中，在全连接层Fc14中，需要设定与各个输出值的要素对应的参数集。因此，在多级模型中，在模型学习中对全部参数集进行基于规定规范的最佳化。因此，如上所述，即使意图仅对1种缺陷的判定进行参数集的修正，也可能对其他种类的缺陷的判定结果造成影响。因此，本实施方式所涉及的缺陷辨别部114优选使用多个用于判定对各1种缺陷的符合/不符合的2级模型。

此外，在上述例子中，以应用每个像素的信号值作为对机器学习模型的输入值的情况为主，但并不局限于此。缺陷检查装置100的控制部110也可以具备特征分析部(未图示)，上述特征分析部根据图像数据，算出表示图像中出现的图样(也包含缺陷)的特征的特征量。而且，缺陷辨别器114-1～114-N的全部或一部分也可以取代每个像素的信号值、或与该信号值一起，将特征分析部算出的特征量用作向机器学习模型的输入值。作为形成用于这些机器学习模型的模型参数的算出的训练数据的输入值，模型学习部118取代每个像素的信号值、或与该信号值一起，将特征分析部算出的特征量用作向机器学习模型的输入值。作为该特征量，例如能够利用圆形度、欧拉数、费雷特直径等形状特征参数、HOG(Histograms of Oriented Gradients)特征量、SIFT(Scaled Invariance FeatureTransform)特征量等用于图像识别的特征量等中的任意一个或它们的组合。换言之，算出的特征量能够用作表示被检查体的状态的缺陷的特征量。新种类判定部122为了新种类的判定，也可以使用特征分析部算出的特征量。

此外，在判定数据中，作为表示被检查体的状态的信息，也可以取代每个缺陷种类的缺陷的有无、个数而包含图像特征量。而且，缺陷辨别部114或综合判定部116也可以还具备缺陷辨别器，上述缺陷辨别器参照判定数据，根据特征分析部分析出的图像特征量确定该缺陷的种类。

如以上说明那样，本实施方式所涉及的缺陷检查装置100是基于被检查体的图像来检查在被检查体中产生的缺陷的缺陷检查装置，具备多个缺陷辨别器，上述缺陷辨别器基于该图像，使用规定的机器学习模型来辨别各自不同的缺陷的种类。各个缺陷辨别器所辨别的缺陷的种类是作为缺陷检查装置的辨别对象的规定量的缺陷种类的一部分。

另外，多个上述缺陷辨别器也可以分别判定被检查体中产生的缺陷的种类是否符合规定的1种缺陷。

另外，也可以实现为如下的制造方法：被检查体是玻璃，具有使用了上述缺陷检查装置的检查工序。

通过该结构，各个缺陷辨别器对根据图像检测到的缺陷的种类，分别判定是否是规定数量的缺陷种类的一部分。在变更特定的缺陷辨别器用于缺陷种类的判定的参数集的情况下，与以规定数量的缺陷种类的全部为判定对象的情况不同，不影响其他缺陷辨别器所使用的参数集，进而不影响该缺陷的种类的判定。特别是，各个缺陷辨别器在分别判定是否符合规定的1种缺陷的情况下，还可以避免判定精度的劣化。因此，系统管理变得更容易。

另外，多个缺陷辨别器也可以分别与其他缺陷辨别器的判定结果无关地、并行地辨别被检查体中产生的缺陷的种类。

通过该结构，对各个缺陷种类的符合/不符合的判定并列，因此即使作为辨别对象的缺陷的种类增加，处理时间也不增加，所以能够实现迅速的处理。

另外，也可以缺陷辨别器的个数为N个，第n缺陷辨别器判定在被检查体中产生的缺陷的种类是否符合第n缺陷种类，在第n缺陷辨别器判定为在被检查体中产生的缺陷的种类不符合第n缺陷种类时，第n+1缺陷辨别器开始判定上述被检查体中产生的缺陷的种类是否符合第n+1缺陷种类的处理。

通过该结构，各个缺陷辨别器判定是否符合规定的缺陷种类的处理以串联的方式执行。可以避免处理量过大，因此有助于经济性的实现。

另外，n也可以按第n缺陷种类的发生频度或风险大小的降序来决定。

通过该结构，发生频度越高的缺陷的种类或发生风险越大的缺陷的种类，越优先辨别，因此系统整体能够抑制由缺陷的发生导致的损害。

另外，多个缺陷辨别器也可以分别使用机器学习模型来提取缺陷的特征量。

通过该结构，即使未预先定义特定的特征量，也可以表现出与各个缺陷种类相应的特征。

另外，也可以具备模型学习部，上述模型学习部针对表示包含特定种类的缺陷的图像的图像数据，决定用于使用机器学习模型来辨别该特定种类的缺陷的模型参数。

通过该结构，能够使用表示作为输入值的图像数据和作为输出值的缺陷种类的关系的训练数据来决定用于辨别该缺陷的种类的模型参数。因此，通过在缺陷种类的辨别中使用与使用环境相应的模型参数，而能够使判定精度提升。

另外，缺陷辨别器也可以基于表示针对被检查体的拍摄条件不同的多个图像的图像数据，辨别缺陷的种类。

通过该结构，能够将图像特征的每个拍摄条件的差异作为线索，更加准确地判定缺陷种类。

另外，也可以具备新种类判定部，上述新种类判定部计算表示缺陷特征的特征量的空间中的距离、即按缺陷的种类预先决定的代表特征量与从图像提取的特征量亦即提取特征量的距离，在计算出的距离相对于缺陷的种类中的任意一种都比规定的距离阈值大的情况下，将从图像检测到的缺陷的种类判定为新种类。

通过该结构，能够将特征与已知的缺陷种类不同的缺陷辨别为新种类的缺陷。因此，能够促进与特征不同的缺陷相应的工序管理。

另外，也可以具备新种类判定部，上述新种类判定部在不存在缺陷种类的辨别成功的缺陷辨别器时，将从上述图像检测到的缺陷的种类判定为新种类。

通过该结构，能够将无法辨别种类的缺陷辨别为新种类的缺陷。因此，能够促进不依赖于已知的缺陷种类的工序管理。

另外，也可以还具备制造工序管理部，上述制造工序管理部基于多个缺陷辨别器所辨别的缺陷的状态，来决定用于修正被检查体的制造条件的修正条件。

通过该结构，能够不依赖于手工地高效地控制与已辨别的缺陷的状态相应的被检查体的制造工序。

另外，也可以具备：特征分析部，根据图像分析缺陷的特征量；和第二缺陷辨别器，使用表示缺陷的特征量与该缺陷的种类的关系的判定数据，根据上述特征分析部已分析的缺陷的特征量，来决定该缺陷的种类。

通过该结构，基于已知的缺陷的特征量与缺陷的种类的关系，决定与检测到的缺陷的特征量相应的缺陷种类。能够完全不依赖于机器学习模型地判定缺陷的种类，因此能够降低处理量。

另外，也可以具备判定输入部，上述判定输入部将被检查体中产生的缺陷的种类确定为由所取得的操作输入示出的缺陷种类。

通过该结构，能够由用户得知已判定的缺陷的种类。能够完全不依赖于机器学习模型地判定缺陷的种类，因此能够降低对判定错误的风险。

另外，也可以在多个缺陷辨别器确定被检查体中产生的缺陷的种类之前，由第二缺陷辨别器或判定输入部确定被检查体中产生的缺陷。

通过该结构，进行使用了已知的缺陷的特征量与缺陷的种类的关系的判定、或借助用户的判定，所以即使是通过机器学习模型无法判定的缺陷种类，也可以确定缺陷种类。

另外，本实施方式所涉及的玻璃的制造方法也可以构成为：被检查体为玻璃，具有使用了上述缺陷检查装置的检查工序。

以上，参照附图对本发明的实施方式详细进行了说明，但具体结构并不局限于上述结构，能够在不脱离本发明主旨的范围内形成各种设计变更等。

例如，缺陷检查装置100也可以作为被检查体的制造设备的一部分而实现，也可以是与被检查体独立的单一设备。缺陷检查装置100也可以从数据积蓄装置、PC等其他设备取得图像数据，而不局限于制造设备。

另外，缺陷检查装置100也可以具备拍摄部130、操作部150以及显示部160，也可以省略它们的一部分或全部。拍摄部130、操作部150以及显示部160也可以分别经由输入输出部140而连接。

在缺陷检查装置100中，也可以省略模型学习部118、制造工序管理部120、新种类判定部122以及判定输入部124的一部分或全部。

根据被检查体的种类、作为检测对象的缺陷的种类及其数量，也可以省略缺陷检测部112和综合判定部116中的一者或两者。

作为被检查体的玻璃的宽度、长度、厚度等大小是任意的。另外，作为被检查体，缺陷检查装置100也可以用于除玻璃以外的种类的物体、例如电路基板、晶片等的缺陷的有无、缺陷的种类的辨别。

另外，也可以将上述实施方式中的缺陷检查装置100的一部分或者全部实现为LSI(Large Scale Integration)等集成电路。缺陷检查装置100的各功能模块也可以分别独立地进行处理器化，也可以集成一部分或者全部地进行处理器化。另外，集成电路化的方法并不局限于LSI，也可以通过专用电路或通用处理器实现。另外，在通过半导体技术的进步而代替LSI的集成电路化的技术出现了的情况，也可以使用借助该技术的集成电路。

工业上的可利用性

根据上述各形态的缺陷检查装置、缺陷检查方法以及制造方法，各个缺陷辨别器判定从图像检测到的缺陷的种类是否分别是规定数量的缺陷种类的一部分。在变更特定的缺陷辨别器用于缺陷种类的判定的参数集的情况下，与以规定数量的缺陷种类的全部为判定对象的情况不同，不影响其他缺陷辨别器所使用的参数集，进而不影响该缺陷的种类判定。因此，系统管理变得更容易。

附图标记说明

100…缺陷检查装置；110…控制部；112…缺陷检测部；114…缺陷辨别部；116…综合判定部；118…模型学习部；120…制造工序管理部；122…新种类判定部；124…判定输入部；130…拍摄部；140…输入输出部；150…操作部；160…显示部；170…存储部。

Claims (15)

1.一种缺陷检查装置，基于被检查体的图像来检查在所述被检查体中产生的缺陷，其特征在于，

具备多个缺陷辨别器，所述缺陷辨别器基于所述图像，使用规定的机器学习模型来辨别各自不同的所述缺陷的种类，

各个缺陷辨别器所辨别的所述缺陷的种类是作为所述缺陷检查装置的辨别对象的规定数量的缺陷种类的一部分。

2.根据权利要求1所述的缺陷检查装置，其特征在于，

多个所述缺陷辨别器分别与其他的缺陷辨别器的判定结果无关地、并行地辨别在所述被检查体中产生的缺陷的种类。

3.根据权利要求1所述的缺陷检查装置，其特征在于，

所述缺陷辨别器的个数为N个，

第n缺陷辨别器判定在所述被检查体中产生的缺陷的种类是否符合第n缺陷种类，其中，n为1以上、N－1以下的整数，

在第n缺陷辨别器判定为在所述被检查体中产生的缺陷的种类不符合第n缺陷种类时，第n+1缺陷辨别器开始进行判定在所述被检查体中产生的缺陷的种类是否符合第n+1缺陷种类的处理。

4.根据权利要求3所述的缺陷检查装置，其特征在于，

所述n按第n缺陷种类的发生频度或风险大小的降序来决定。

5.根据权利要求1～4中的任一项所述的缺陷检查装置，其特征在于，

多个所述缺陷辨别器分别判定在所述被检查体中产生的缺陷的种类是否符合规定的1种缺陷。

6.根据权利要求1～5中的任一项所述的缺陷检查装置，其特征在于，

具备模型学习部，所述模型学习部针对表示包含特定种类的缺陷的图像的图像数据，决定用于使用所述机器学习模型来辨别该特定种类的缺陷的模型参数。

7.根据权利要求1～6中的任一项所述的缺陷检查装置，其特征在于，

所述缺陷辨别器基于表示针对所述被检查体的拍摄条件不同的多个图像的图像数据，辨别所述缺陷的种类。

8.根据权利要求1～7中的任一项所述的缺陷检查装置，其特征在于，

具备新种类判定部，所述新种类判定部计算表示缺陷特征的特征量的空间中的、按所述缺陷的种类预先决定的代表特征量与从所述图像提取的特征量亦即提取特征量的距离，

在计算出的距离相对于所述缺陷的种类中的任意一种都比规定的距离阈值大的情况下，将从所述图像检测到的缺陷的种类判定为新种类。

9.根据权利要求1～7中的任一项所述的缺陷检查装置，其特征在于，

具备新种类判定部，当不存在成功地辨别出缺陷的种类的缺陷辨别器时，所述新种类判定部将从所述图像检测到的缺陷的种类判定为新种类。

10.根据权利要求1～9中的任一项所述的缺陷检查装置，其特征在于，

还具备制造工序管理部，所述制造工序管理部基于多个所述缺陷辨别器所辨别出的缺陷的状态，决定用于修正所述被检查体的制造条件的修正条件。

11.根据权利要求1～10中的任一项所述的缺陷检查装置，其特征在于，具备：

特征分析部，根据图像数据分析缺陷的特征量；

第二缺陷辨别器，使用表示缺陷的特征量与该缺陷的种类的关系的判定数据，根据所述特征分析部分析出的缺陷的特征量，来确定该缺陷的种类；以及

判定输入部，将在所述被检查体中产生的缺陷的种类确定为由所取得的操作输入示出的缺陷种类。

12.根据权利要求11所述的缺陷检查装置，其特征在于，

在多个所述缺陷辨别器确定在所述被检查体中产生的缺陷的种类之前，由所述第二缺陷辨别器或所述判定输入部来确定在所述被检查体中产生的缺陷。

13.一种缺陷检查方法，基于被检查体的图像来检查在所述被检查体中产生的缺陷，其特征在于，

具备多个缺陷辨别工序，在所述缺陷辨别工序中，基于所述图像，使用规定的机器学习模型来辨别各自不同的所述缺陷的种类，

在各个缺陷辨别工序中辨别的所述缺陷的种类是在所述缺陷检查方法中作为辨别对象的规定数量的缺陷种类的一部分。

14.一种玻璃的制造方法，其特征在于，

所述被检查体为玻璃，

使用了权利要求13所述的缺陷检查方法。

15.一种玻璃的制造方法，其特征在于，

所述被检查体为玻璃，

具有使用了权利要求1～12中的任一项所述的缺陷检查装置的检查工序。

Images