CN113850749B - 训练缺陷侦测器的方法 - Google Patents

Abstract

本发明涉及一种训练缺陷侦测器的方法包括：取得第一参考物体的第一参考图像，其中第一参考物体具有缺陷，且第一参考图像具有用以标示缺陷的第一标记，依据第二参考物体的第二参考图像训练重建模型，其中第二参考物体的缺陷程度落于具有上限值的可容许范围内，且第二参考物体关联于第一参考物体，取得目标物体的目标图像，目标物体关联于第一参考物体及第二参考物体，依据目标图像、重建模型及误差计算程序产生第二标记，第二标记包含目标物体的缺陷，以及依据第一参考图像、目标图像及第二标记执行机器学习算法以训练缺陷侦测器。

Description

训练缺陷侦测器的方法

技术领域

本发明涉及一种图像侦测及神经网络模型，特别涉及一种训练缺陷侦测器的方法。

背景技术

在最终出货给客户之前，笔记本电脑或平板电脑等产品需要由品质管理人员检查和确认。这些品质管理人员依据校验准则检查产品是否具有刮痕、凹痕或其他缺陷。如果缺陷的严重程度超出规格所允许的范围，则电脑产品被视为“不合格”；反之，则电脑产品被视为“通过”缺陷检测。

为了检测电脑产品外观上的缺陷，可以搜集电脑产品的多个表面图像，在图像上标记缺陷类型，然后训练用于在自动光学检查(Automatic Optical Inspection，AOI)机器中进行缺陷侦测的机器学习或深度学习(deep learning)模型。传统上，物体侦测(detection)和分类(classification)均以监督方式进行。在监督式学习的状况中，为了提高侦测准确度需要搜集大量带有标记(label)的训练数据，包括正常的样本以及有缺陷的样本。

更多的训练数据意味着更多的标记工作。然而，训练数据的搜集和标记需要大量的人力成本，而且可能相当困难。举例来说，电脑产品制造商若未设置用于搜集大数据(尤其是大量图像数据)的基础建设，而将数据搜集和标记任务外包，则数据的安全性、完整性和机密性可能会引起极大的关注。更重要的是，随着电脑产品的生命周期缩短，且产品设计趋向多元，以足够的多样性来搜集和标记电脑表面图像的缺陷显得不切实际。电脑产品的表面可能是任何颜色，也可以有任何纹理和材质。此外，表面缺陷具有许多类型，例如刮痕、凹痕，污渍等等。同一类型的表面缺陷可能有各种形状和大小。更严重的是，某些表面缺陷不易被归类。训练数据中不可避免地会出现不一致的标记。常规方法需要在训练数据中正确地对缺陷检测进行分类和标记，以期具有良好的准确性。因此，很难收集具有足够种类的大量一致的标记数据。而等到搜集和标记足够的训练图像之后，这些训练图像所对应的电脑产品可能已经接近下市。

因此，若能提供一种仅需要少量具有标记的训练数据便可具有高准确率的物体侦测器(detector)或分类器(classifier)，将可有效地降低成本。

发明内容

有鉴于此，本发明提出一种训练缺陷侦测器的方法，借此降低提供大量具有标记的训练数据所需的成本。

依据本发明一实施例叙述的一种训练缺陷侦测器的方法，包括：取得第一参考物体的第一参考图像，其中第一参考物体具有缺陷，且第一参考图像具有用以标示缺陷的第一标记；依据第二参考物体的第二参考图像训练重建模型，其中第二参考物体的缺陷程度落于具有上限值的可容许范围内，且第二参考物体关联于第一参考物体；取得目标物体的目标图像，目标物体关联于第一参考物体及第二参考物体；依据目标图像、重建模型及误差计算程序产生第二标记，第二标记包含目标物体的缺陷；以及依据第一参考图像、目标图像及第二标记执行机器学习算法以训练缺陷侦测器。

依据本发明提出的训练缺陷侦测器的方法所训练的缺陷侦测器仅使用少量人工标记的图像作为训练数据，仍具有良好的推理性能。

以上关于本公开内容的说明及以下实施方式的说明用以示范与解释本发明的精神与原理，并且提供本发明的权利要求书更进一步的解释。

附图说明

图1是依据本发明一实施例的训练缺陷侦测器的方法所示出的流程图。

图2是图1中步骤S14的详细流程图。

图3是图2中步骤S142的详细流程图。

图4是依据本发明另一实施例的训练缺陷侦测器的方法所示出的流程图。

具体实施方式

以下在实施方式中详细叙述本发明的详细特征以及优点，其内容足以使任何本领域技术人员了解本发明的技术内容并据以实施，且根据本说明书所公开的内容、权利要求书及图式，任何本领域技术人员可轻易地理解本发明相关的目的及优点。以下实施例进一步详细说明本发明的观点，但非以任何观点限制本发明的范围。

本发明提出的训练缺陷侦测器的方法，适用于产生一个用于侦测待测物体的缺陷的侦测器。

请参考图1，其示出依据本发明一实施例的训练缺陷侦测器的方法的流程图。请参考步骤S11，取得具有缺陷的第一参考物体的第一参考图像及标示缺陷的第一标记。在一实施例中，第一参考物体是电脑产品的表面，像是笔记本电脑的上盖，缺陷则是位于上盖的刮痕、凹痕或污渍等。在另一实施例中，第一参考物体是印刷电路板，缺陷则是零件的缺件、偏斜或错件等。实务上，可由摄像装置拍摄第一参考物体而得到第一参考图像，并由人工在第一参考图像上添加作为第一标记的边界框(bounding box)，被添加的一个或多个边界框用以标示第一参考物体的缺陷。具有缺陷的第一参考物体相当于不合格样本，其作用是在训练时让缺陷侦测器以高准确率辨识出已有的缺陷种类。

请参考步骤S12，依据缺陷程度落于具有上限值的可容许范围内的第二参考物体的第二参考图像训练重建模型(reconstruction model)。详言之，第二参考物体关联于第一参考物体。第二参考物体相当于合格样本，或被称为可容许样本。第二参考物体例如是笔记本电脑的上盖。第二参考物体的缺陷的数量及程度落于可容许范围内。举例来说，请参考表格一，可容许范围例如包括第一级及第二级的缺陷类型，且上限值为第二级中定义的最大边界值(20mm、2条、1mm²和/或2个)或者例如包括第一级的缺陷类型，且上限值为第一级中定义的最大边界值(12mm、2条、0.7mm²和/或3个)。为便于叙述，后文将“缺陷程度落于可容许范围内”简称为“不具有缺陷”。

表格一

重建模型，或称为生成模型(generative model)，其是用来描述合格样本的模型。在一实施例中，步骤S12中所述的重建模型是自编码器(autoencoder)。在另一实施例中，步骤S12所述的重建模型是单一类别的支持向量机(one-class support vector machine)。

请参考步骤S13，取得关联于第一参考物体的目标物体的目标图像。目标物体也关联于第二参考物体。举例来说，以摄像装置拍摄目标物体的目标图像。目标物体例如是笔记本电脑的上盖或印刷电路板。实务上，目标图像的数量大于步骤S11中第一参考图像的数量。目标图像的数量也大于步骤S12中第二参考图像的数量。

请参考步骤S14，依据目标图像、重建模型及误差计算程序产生包含目标物体的缺陷的第二标记。

请参考图2，其示出步骤S14的详细流程图。请参考步骤S141，依据目标图像及重建模型产生重建图像。举例来说，摄像装置将步骤S13取得的目标图像发送至处理器。处理器依据目标图像及重建模型产生重建(reconstruction)图像。重建图像可被视为“不具有缺陷”的目标图像。重建模型产生重建图像的方式包括但不限于：从多个候选重建图像中挑选一个、从多个特征原型中以线性组合方式产生重建图像、或者依据图像转换函数输出重建图像。

若目标图像中的目标物体具有缺陷，则在步骤S141产生重建图像之后，重建图像与目标图像之间具有重建误差(reconstruction error)。请参考步骤S142及步骤S143，这两个步骤S142、S143为误差计算程序。步骤S142是处理器依据目标图像及重建图像执行第一差异算法以产生第一差异图像，步骤S143是处理器依据目标图像及重建图像执行第二差异算法以产生第二差异图像。步骤S142及步骤S143是处理器依据不同的比对尺度去计算重建误差。步骤S142及步骤S143可同时被执行，也可先后被执行，本发明并不限制处理器执行步骤S142及步骤S143的顺序。

请参考图3，其示出本发明一实施例中步骤S142的详细流程图。

请参考步骤S1421及步骤S1422。步骤S1421是依据目标图像及神经网络模型产生第一特征图(feature map)。步骤S1422是依据重建图像及此神经网络模型产生第二特征图。所述的第一特征图及第二特征图中分别具有一个或多个特征区块，这些特征区块代表特征图需要被注意的部分。特征区块的大小例如为长宽各64像素的矩形区块(patch)，本发明并不限制区块的长宽尺寸。特征图也可被称为深度特征(deep feature)。

在一实施例中，步骤S1421及步骤S1422所用的神经网络模型例如是SqueezeNet。在其他实施例中，神经网络模型可为AlexNet或ResNet。在一实施例中，神经网络模型预先以大型视觉数据库(例如ImageNet)中的多个图像进行训练，这些图像与目标物体无关联。在训练时，以每个图像的每一像素检索包含此像素的矩形区块(例如为长宽各64像素的矩形区块)作为训练数据。在另一实施例中，首先以与目标物体无关联的多个图像训练出神经网络模型，然后以包括以关联于目标物体的多个图像微调此神经网络模型，借此提高特征提取的准确度。训练后的神经网络模型在特征提取(feature extraction)阶段输出的特征图具有相似于人类视觉感知的特征辨识策略。

请参考步骤S1423，计算第一特征图及第二特征图的差异作为第一差异图像。举例来说，第一差异图像为第一特征图与第二特征图进行相减。第一差异图像是感知注意图(perceptual attention map)，此感知注意图具有模仿人类比对图像差异的效果。详言之，人类在比对参考图像及目标图像时，并不会特别注意到两个图像是否有轻微的位移或微小的差异，而是容易观察到两个图像中相同位置的区块之间的差异。步骤S1421～S1423所述的第一差异算法是从区块角度计算粗略级别(coarse level)的重建误差。

一般而言，自编码器采用L2损失函数(loss function)或结构相似性指标(structural similarity index，SSIM)来计算目标图像与重建图像之间的重建误差。然而，这些指标通常对轻微的整体变化敏感，因此，当比对重点放在纹理图案相似性(texturepattern similarity)而不是精确对齐上时，上述的指标将无法很好地发挥作用。即使目标图像中的目标物体的缺陷程度并不严重，若目标图像与重建图像之间具有少量的位移，上述的指标还有可能增加不必要的重建误差。因此，本发明采用步骤S1421～S1423所介绍的第一差异算法以强调高阶结构与特征表示的匹配性。整体而言，应用第一差异算法所产生的第一差异图像具有强调感兴趣区域(region of interest，ROI)及减少背景噪声(noise)的效果。

请参考步骤S143，依据目标图像及重建图像执行第二差异算法以产生第二差异图像。第二差异算法是处理器依据重建图像及目标图像的每一像素计算相对误差值(relative error)。所述的相对误差值例如是两张图像中每个像素的平方误差(pixel-wise square error)或每个像素的绝对值误差(pixel-wise absolute error)。本步骤S143是处理器以像素级别运算得到目标图像中的目标物体的缺陷位置。

请参考步骤S144，依据第一差异图像及第二差异图像执行像素尺度(pixel-wise)运算以产生第二标记。在一实施例中，所述的像素尺度运算是位元乘法。详言之，步骤S144中，对于第一差异图像的某一位置及第二差异图像的相同位置，若处理器判断这两个位置的像素值皆指示为缺陷，则处理器将以第二标记标示此位置的缺陷。若第一差异图像及第二差异图像中仅有一个判断某一位置的像素值指示为缺陷，则处理器不以第二标记标示此位置。

请参考步骤S15，以优化网络(refinement network)依据目标图像选择性地移除第二标记。优化网络包括一个分类器(classifier)和一个边界框回归器(boundingregressor)。分类器用于调整第二标记的信心估计值(confidence estimation)，边界框回归器用于优化第二标记的边界框大小。本步骤S15可通过设定门槛值而选择性地移除那些低信心估计值的第二标记，被移除的第二标记通常是假阳性(false positive)。详言之，处理器依据步骤S11取得的第一参考图像及第一标记预先训练神经网络模型，优化网络是此神经网络模型中位于区域提议网络(Region Proposal Network，RPN)之后的两个回归器。在一实施例中，此神经网络模型为Faster-RCNN，但本发明并不以此为限。

在一实施例中，可省略步骤S15的优化步骤，而直接以步骤S14产生的第二标记及步骤S13取得的目标图像作为步骤S16的训练数据。

请参考步骤S16，依据第一参考图像、目标图像及第二标记执行机器学习算法以训练缺陷侦测器。值得注意的是，在步骤S13中取得的大量未标记的目标图像在经过步骤S14及步骤S15的处理之后已成为具有缺陷标记的目标图像。因此，这些目标图像、缺陷标记(第二标记)，以及步骤S11中取得的第一参考图像(包含第一标记)可作为机器学习算法的训练数据。机器学习算法例如为区域基础的卷积神经网络(Region-based ConvolutionalNeural Network，R-CNN)实现的缺陷侦测模型。所述的区域基础的卷积神经网络例如：FastR-CNN、Faster R-CNN、Mask R-CNN、YOLO(You Only Look Once)或SSD(Single ShotDetection)。

在步骤S16之后，可让训练完成的缺陷侦测器上线运行以侦测待测物体中是否具有缺陷。举例来说，取得待测图像，以缺陷侦测器从待测图像中选取边界框及输出关联于边界框的特征参数，依据边界框及特征参数执行分类判定算法以决定待测物体是否符合规格。其中，待测图像为待测物体的图像，待测物体关联于第一参考物体，边界框中包含待测物体的缺陷。所述的分类判定算法例如是支持向量机。

在本发明一实施例中，于步骤S16时以第一参考图像(包含第一标记)、目标图像及第二标记当作训练数据以建立缺陷侦测器。

需注意的是，虽然本发明一实施例的训练缺陷侦测器的方法如图1所示，然而步骤S11～S16之间的顺序并不因为图1而被限制。举例来说，步骤S11可和步骤S12同时被执行，借此减少实现本发明一实施例的全部时间。举另一例来说，步骤S13可在步骤S12之前被执行，或是与步骤S12同时被执行。

请参考图4，其示出本发明另一实施例的训练缺陷侦测器的方法的流程图。此另一实施例与上述叙述的实施例的差异点在于，先以第一参考图像及第一标记进行缺陷侦测器的初始训练，再以目标图像及第二标记校正初始训练时所建立的缺陷侦测器。详细流程如下所述：

请参考步骤S41，取得具有缺陷的第一参考物体的第一参考图像及标示缺陷的第一标记。步骤S41基本上与步骤S11相同，在此不重复叙述。

请参考步骤S42，依据第一参考图像及第一标记执行机器学习算法以训练缺陷侦测器。步骤S42与步骤S16相似，其差别在于仅采用步骤S11取得的数据进行训练以产生初步的缺陷侦测器。此时的缺陷侦测器可侦测的缺陷种类受限于第一参考图像的数量，然而在侦测指定类型的缺陷时具有高正确率。

步骤S43～S45基本上与步骤S12～S14相同，在此不重复叙述。

请参考步骤S46，依据目标图像及第二标记校正缺陷侦测器。本步骤S46以步骤S44取得的目标图像及步骤S45产生的第二标记对步骤S42训练得到的缺陷侦测器进一步校正，以提高此缺陷侦测器对于未知种类的缺陷的分辨能力。

需注意的是，本发明另一实施例的训练缺陷侦测器的方法如图4所示，然而步骤S41～S46之间的顺序并不因为图4而被限制。举例来说，步骤S41～S42可与步骤S43同时被执行，借此减少实现本发明另一实施例的全部时间。

综上所述，依据本发明提出的训练缺陷侦测器的方法所训练的缺陷侦测器仅使用少量人工标记的图像作为训练数据，仍具有良好的推理性能。

Claims (9)

1.一种训练缺陷侦测器的方法，其特征在于，包括：

取得第一参考物体的第一参考图像，其中该第一参考物体具有缺陷，且该第一参考图像具有用以标示该缺陷的第一标记；

依据第二参考物体的第二参考图像训练重建模型，其中该第二参考物体的缺陷程度落于具有上限值的可容许范围内，且该第二参考物体关联于该第一参考物体；

取得目标物体的目标图像，该目标物体关联于该第一参考物体；

依据该目标图像、该重建模型及误差计算程序产生第二标记，该第二标记包含该目标物体的缺陷；以及

依据该第一参考图像、该目标图像及该第二标记执行机器学习算法以训练缺陷侦测器；

该误差计算程序包括第一差异算法及第二差异算法，且依据该目标图像、该重建模型及该误差计算程序产生该第二标记包括：

依据该目标图像及该重建模型产生重建图像；

依据该目标图像及该重建图像分别执行该第一差异算法及该第二差异算法以分别产生第一差异图像及第二差异图像；以及

依据该第一差异图像及该第二差异图像执行像素尺度运算以产生该第二标记。

2.根据权利要求1所述的训练缺陷侦测器的方法，其特征在于，在依据该第一参考图像、该目标图像及该第二标记执行该机器学习算法以训练该缺陷侦测器之前，还包括：

依据该第一参考图像及该第一标记训练神经网络模型，该神经网络模型包括优化网络；以及

以该优化网络依据该目标图像选择性地移除该第二标记。

3.根据权利要求2所述的训练缺陷侦测器的方法，其特征在于，该神经网络模型是Faster R-CNN，且该优化网络是该神经网络模型的分类器。

4.根据权利要求1所述训练缺陷侦测器的方法，其特征在于，该第一差异算法包括：

依据该目标图像及神经网络模型产生第一特征图；

依据该重建图像及该神经网络模型产生第二特征图；以及

计算该第一特征图及该第二特征图之间的差异度，其中该第一差异图像中包含该差异度。

5.根据权利要求1所述训练缺陷侦测器的方法，其特征在于，该第二差异算法包括：依据该重建图像及该目标图像的每一像素计算相对误差值。

6.根据权利要求1所述的训练缺陷侦测器的方法，其特征在于，该像素尺度运算是位元乘法。

7.根据权利要求1所述的训练缺陷侦测器的方法，其特征在于，在依据该第一参考图像、该第一标记、该目标图像及该第二标记执行该机器学习算法以产生该缺陷侦测器之后，还包括：

取得待测图像，该待测图像为待测物体的图像，该待测物体关联于该第一参考物体；

以该缺陷侦测器从该待测图像中选取边界框及输出关联于该边界框的特征参数，其中该边界框中包含该待测物体的缺陷；以及

依据该边界框及该特征参数执行分类判定算法以决定该待测物体是否符合规格。

8.一种训练缺陷侦测器的方法，其特征在于，包括：

取得第一参考物体的第一参考图像，其中该第一参考物体具有缺陷，且该第一参考图像具有用以标示该缺陷的第一标记；

依据该第一参考图像及该第一标记执行机器学习算法以训练缺陷侦测器；

依据第二参考物体的第二参考图像训练重建模型，其中该第二参考物体的缺陷程度落于具有上限值的可容许范围内，且该第二参考物体关联于该第一参考物体；

取得目标物体的目标图像，该目标物体关联于该第一参考物体；

依据该目标图像、该重建模型及误差计算程序产生第二标记，该第二标记包含该目标物体的缺陷；以及

依据该目标图像及该第二标记执行该机器学习算法以校正该缺陷侦测器；

该误差计算程序包括第一差异算法及第二差异算法，且依据该目标图像、该重建模型及该误差计算程序产生该第二标记包括：

依据该目标图像及该重建模型产生重建图像；

依据该目标图像及该重建图像分别执行该第一差异算法及该第二差异算法以分别产生第一差异图像及第二差异图像；以及

依据该第一差异图像及该第二差异图像执行像素尺度运算以产生该第二标记。

9.根据权利要求8所述的训练缺陷侦测器的方法，其特征在于，在依据该目标图像及该第二标记执行该机器学习算法以校正该缺陷侦测器之前，还包括：

依据该第一参考图像及该第一标记训练神经网络模型，该神经网络模型包括优化网络；以及

以该优化网络依据该目标图像选择性地移除该第二标记。