CN109934814B - 表面缺陷侦测系统及其方法 - Google Patents

Abstract

本发明公开了一种表面缺陷侦测方法，适用于一物件的一表面，所述的方法包括：以一摄像装置取得该表面的一影像，以一计算装置执行一深度学习算法以从该影像中选取多个定界框及输出关联于这些定界框的多个特征参数，其中每个定界框中包括该表面的一可能缺陷，以及以该计算装置根据该群定界框及该特征参数执行一分类判定算法，以决定该表面是否符合一规格。本发明还公开了一种表面缺陷侦测系统。

Description

表面缺陷侦测系统及其方法

技术领域

本发明关于缺陷检测，特别是一种用于物件的表面的缺陷侦测系统及其方法。

背景技术

在例如笔记本电脑或平板计算机之类的计算机出货之前，必须由品管人员检查是否有表面缺陷。品管人员检查是否有规格文件中定义的刮痕、凹痕或其他表面缺陷。如果表面缺陷的类型及其严重程度超出规格中允许的范围，则此计算机被认为是不合格；反之，如果表面缺陷的类型及其严重程度落在规格中允许的范围内，则此计算机“通过”表面缺陷检测。

传统上，表面缺陷检测由人工检测员执行。他们阅读并遵循检测规格文件以决定受检的计算机是否通过。这种表面缺陷检查工作不只需要大量的人力，而且采用人工检测员还有三个缺点。

第一是“不精确”。人眼无法进行精确测量，尤其是在非常小的范围内。即使比较两个相似的物体，人眼也可能没发现一个物体略小于另一个物体。这点同样体现在例如表面粗糙度，尺寸以及任何需要测量的其他因素。尽管检测规格文件的形式通常是尺寸阈值，但人类视觉仍无法作为完成任务的精确工具。

第二是“不可靠”。判断检测规格中定义的某些表面缺陷需要非常精细的视觉。检测可以非常复杂，例如：极小的尺寸；或者非常棘手，例如：容易与计算机表面纹理混淆。另外，众所周知人类的眼睛可能被错觉欺骗。因此，人类视觉检查不总是可靠。

第三是“不一致”。人类容易疲劳或注意力不集中。例如，当人工检测员轮班即将结束时，他或她可能会感到疲倦或失焦，因此没检测出表面缺陷，而将有缺陷的计算机当作正常产品放行。从检查站出来的计算机品质随着时间改变。不同的人工检测员也有不同的判断标准，从而导致检查站出来的产品质量变动。

另一方面，在传统用于SMT产线或印刷电路板的缺陷检测方式例如模板匹配(template matching)或计算机视觉(computer vision)等技术。然而，上述技术容易出现几何套合误差(geometric registration error)，而且在缺陷类型数量增加时也难以更新配置，而当缺陷无法用几何语言或规则精确描述时，上述技术也无法适应。虽然，人工检测员仍然可以发现未对齐样本中的缺陷，或规则不易描述的缺陷，例如指纹或污垢造成的表面污染，以及磨损或划痕造成的缺陷。然而，人工检测员也有前文述及的缺点。整体而言，无论是人工检测员、模板匹配或是计算机视觉技术皆无法完全胜任表面缺陷侦测流程中所有需求。

发明内容

有鉴于此，本发明提出基于机器学习(machine learning，ML)为基础的视觉辨识系统用于计算机的表面缺陷检测。本发明包括系统及方法以达到自动表面缺陷检测及分类的目标。

依据本发明一实施例所叙述的一种表面缺陷侦测方法，适用于一物件的一表面，所述的方法包括：以一摄像装置取得该表面的一影像；以一计算装置执行一深度学习算法以从该影像中选取一定界框及输出关联于该定界框的一特征参数，其中该定界框中包括该表面的一缺陷；以及以该计算装置根据该定界框及该特征参数执行一分类判定算法，以决定该表面是否符合一规格。

依据本发明一实施例所叙述的一种表面缺陷侦测系统，适用于一物件的一表面，所述的系统包括：一摄像装置，用以取得该表面的一影像；一计算装置，电性连接该摄像装置，该计算装置用以执行一深度学习算法以从该影像中选取一定界框及输出关联于该定界框的一特征参数，其中该定界框中包括该表面的一缺陷；该计算装置进一步用以根据该定界框及该特征参数执行一分类判定算法，以决定该表面是否符合一规格；以及一后端处理装置，电性连接该计算装置，该后端处理装置用以根据该计算装置的判定结果执行关联于该表面的操作。

藉由上述架构，本发明所提出的基于深度学习的系统是模仿人类视觉系统，只要提供样本训练影像，便能够检测到规则难以描述的模糊缺陷。此外，基于机器学习的表面缺陷检测还能够检测出各种不断增加的缺陷，而不会牺牲检测性能以及速度。

本发明所提出的基于深度学习的表面缺陷侦测系统及其方法比传统的计算器视觉方法更能够找到细微的缺陷。此外，本发明避免了人工检测员的不精确、不可靠及不一致的缺点。在实际产线上，人工检测员可依据检测规范而容忍一定程度的缺陷。本发明在执行分配判定算法时，同样可基于机器学习的机制，从产线上的数据中学习而达到客制化判定的功效。

本发明所进行的缺陷检测和分类可直接在产线上进行，而不必将影像数据发送到云端服务器去进行缺陷检测。因此可不计入传输上的延迟。并且由于所有的检测及分类运算皆是在本地端执行，因此传输大型影像信息的成本及影像数据的安全性皆因此改善。

本发明所公开的表面缺陷侦测系统及其方法，通过深度学习算法圈选出物件的表面上的缺陷，再由分类判定算法依据规格文件判定该物件的表面是否可通过表面缺陷测试。本发明可以侦测出各种样式的表面缺陷避免人工检测带来的不精确、不可靠及不一致等缺点，并且维持快速的侦测速度。

以上的关于本发明内容的说明及以下的实施方式的说明用以示范与解释本发明的精神与原理，并且提供本发明的专利申请权利要求保护范围更进一步的解释。

附图说明

图1是依据本发明一实施例所绘示的表面缺陷侦测系统的架构图。

图2是依据本发明一实施例所绘示的表面缺陷侦测方法的流程图。

图3是绘示在物件的表面上标注的定界框及例外区域。

其中，附图标记：

100 表面缺陷侦测系统

10 摄像装置

30 计算装置

50 后端处理装置

L 物件

LS 表面

S1～S4 步骤

B1～B4 定界框

B5 例外区域

具体实施方式

以下在实施方式中详细叙述本发明的详细特征以及优点，其内容足以使任何本领域的技术人员了解本发明的技术内容并据以实施，且根据本说明书所公开的内容、权利要求保护范围及附图，任何本领域的技术人员可轻易地理解本发明相关的目的及优点。以下的实施例进一步详细说明本发明的观点，但非以任何观点限制本发明的范畴。

本发明适用于检测物件L的一表面LS的缺陷。所述的表面LS基本上近似一平面，但该平面可能具有指定范围内的高低落差。实务上，本发明可用于检测笔记本电脑的顶盖(Top Cover)、掌托(Palm rest，笔记本电脑内部表面除键盘和触控板以外的平面区域)或平板计算机的触控面板。

请参考图1，其绘示本发明一实施例的表面缺陷侦测系统100的架构示意图。所述的表面缺陷侦测系统100包括：摄像装置10、计算装置30及后端处理装置50，其中计算装置30电性连接摄像装置10及后端处理装置50，如图1所示。

摄像装置10用以取得物件L的表面LS的一影像。实务上，可增设一发光装置在物件L的周围形成一均匀光场，藉此让摄像装置10取得清楚的影像。

计算装置30依据表面LS的影像决定表面LS是否符合一规格。换言之，计算装置30判断表面LS上的缺陷数量或缺陷严重程度是否在规格定义的容忍范围内。

后端处理装置50用以根据计算装置30的判定结果执行关联于表面LS的操作。如图1所示，后端处理装置50例如为屏幕，可显示计算装置30的判断结果供产线上的操作人员检视。

详言之，计算装置30的判断分为两个阶段：第一阶段为基于深度学习的缺陷侦测，第二阶段为基于机器学习的分类判定。第一阶段的输出数据将作为第二阶段的输入数据。

在第一阶段，计算装置30执行一深度学习算法以从影像中选取多个定界框(bounding box)及输出关联于这些定界框的多个特征参数，每一定界框中包括表面LS的一缺陷。此缺陷的类型可包括表面LS上的一刮伤、一磨损、一凹痕及一污点等。

所述的深度学习算法例如采用区域基础的卷积神经网络(Region-basedConvolutional Neural Network，R-CNN)经事先训练得到的缺陷侦测模型。所述的区域基础的卷积神经网络例如：Fast R-CNN、Faster R-CNN、Mask R-CNN、YOLO(You Only LookOnce)或单目标检测(SSD，Single Shot Detection)。然而需注意的是，上述仅列举可用于深度学习算法的范例，而非用以限制本发明可采用的深度学习算法。在本发明一实施例中，采用Faster R-CNN训练缺陷侦测模型，其在辨识速度及准确率上皆具有良好的表现。

在本发明一实施例中，定界框为矩形。然而，若采用可圈选出缺陷形状的深度学习算法，则定界框也可以是不规则形。特征参数包括矩形定界框的面积、对角线长度、信心指数及缺陷类型。信心指数例如以百分比方式呈现定界框内缺陷的符合程度。

在第二阶段，计算装置30根据第一阶段被输出的定界框及特征参数执行一分类判定算法，以决定表面LS是否符合一规格。

在一实施例中，计算装置30将定界框数量及一面积比例作为输入数据。定界框数量是在第一阶段中被选取的定界框个数。面积比例是在第一阶段中被选取的定界框的面积总和与表面LS的面积的比例。然而，本发明并不限制只采用上述两个维度的数据执行分类判定算法。

所述的分类判定算法例如采用判定树(Decision Tree)、支持向量机(SupportVector Machine，SVM)、及K-近邻算法(K Nearest Neighbor，KNN)其中之一经事先机器训练得到的二元分类判定模型，其用以判定表面LS通过或不通过。在本发明一实施例中，采用SVM训练分类判定模型。

在产线上，计算装置30例如采用NVIDIA Jetson TX2套件，其可从云端服务器加载训练后的Faster R-CNN及SVM模型。在实际检测时，不需再行联机至服务器，而是在产线上实时地针对表面LS上的刮痕等缺陷进行判定，因此增加缺陷判定的速度，同时也节省额外传输影像至云端服务器的时间及成本。然而需注意的是，本发明所述的计算装置30也可以是云端服务器本身。本发明对于计算装置30的硬件类型并不特别限制。

请参考图2，其绘示本发明一实施例的表面缺陷侦测方法的流程。请参考步骤S1：摄像装置10取得物件L的表面LS的一影像。

请参考步骤S2：计算装置30执行一深度学习算法以从影像中选取一定界框及输出关联于定界框的一特征参数，其中定界框中包括表面LS的一缺陷。

请参考图3，其是深度学习算法在表面LS的影像上标示定界框B1～B4及例外区域B5的示意图。定界框B1围绕一刮痕。定界框B2围绕一磨损或一污痕。需注意的是，深度学习算法对于每个缺陷皆单独标记，无论标示出的定界框是否重叠。例如，图3中有重叠部分的定界框B3和B4分别属于两个缺陷。

请参考步骤S3：计算装置30根据定界框及特征参数执行一分类判定算法，以决定表面LS是否符合一规格。

请参考步骤S4：后端处理装置根据计算装置30的判定结果执行关联于表面LS的操作。例如以屏幕显示判定结果，或以输送装置区分通过与不通过的表面LS。

于本发明另一实施例，在步骤S1取得影像之前，还包括：以一发光装置在物件L的周围形成一均匀光场。藉此，可减少环境光影响摄像装置10取得表面LS的影像。

于本发明另一实施例，在步骤S2执行深度学习算法之前，还包括：以计算装置30针对影像设置一例外区域(如图3的B5)；且所选取的定界框与例外区域无重叠。例外区域B5例如是笔记本电脑上盖的厂牌名称。深度学习算法针对该例外区域B5不做任何缺陷侦测。

于本发明另一实施例，在步骤S2执行深度学习算法之前，还包括：以一服务器取得多个训练影像及对应的训练参数。

所述的训练影像的来源包括具有缺陷的表面LS的影像及不具有缺陷的表面LS的影像。在初次训练时，有缺陷的训练影像至少需500张，而不具缺陷的训练影像至少需100张。藉此让深度学习算法学习如何辨识出缺陷及其各种型态。需注意的是，上述影像张数的数量仅为范例，而非作为本发明的一限制。

训练参数包括具有缺陷的训练影像标注的样本定界框及对应的缺陷类型卷标，样本定界框是包括缺陷整体的一矩形。

服务器在取得如上所述的训练影像及对应的训练参数之后，即可依据这些训练数据执行深度学习算法以产生一缺陷侦测模型。

另外，训练影像各自具有第一影像或第二影像的标注，第一影像的标注代表该影像符合一规格；第二影像的标注代表该影像不符合该规格。举例来说，原本不具有缺陷的100影像一般而言会被标注为第一影像，而在具有缺陷的500张影像中，可能有150张影像因为缺陷数量较少或缺陷面积总和较小而被标注为第一影像，其余350张影像被标注为第二影像。因此，在所有600张训练影像中，有250张影像被标注为第一影像，有350张影像被标注为第二影像。服务器依据这些训练影像与它们各自的标注执行分类判定算法，而产生分类判定模型。

计算装置30从服务器加载训练完成的缺陷侦测模型及分类判定模型，并且在步骤S2及步骤S3分别执行这两个模型，以执行对于表面LS的表面缺陷侦测。

实务上，缺陷侦测模型可以将实际检测所用的数据作为训练数据以更新模型，藉此提升缺陷侦测的准确度。

另外，在训练过程中，可将训练影像先行划分成多个子影像，以减少训练时服务器处理的数据吞吐量。

综合以上所述，本发明所公开的表面缺陷侦测系统及其方法，通过深度学习算法可精确地标示出物件的表面上的各种型态缺陷，并由分类判定算法依据规格文件判定该表面是否可通过表面缺陷测试。本发明可以侦测出各种式样的表面缺陷避免人工检测带来的不精确、不可靠及不一致等缺点，并且维持快速的侦测速度。

当然，本发明还可有其他多种实施例，在不背离本发明精神及其实质的情况下，熟悉本领域的技术人员当可根据本发明作出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。

Claims (8)

1.一种表面缺陷侦测方法，其特征在于，适用于一物件的一表面，所述的方法包括：

以一摄像装置取得该表面的一影像；

以一计算装置执行一深度学习算法以从该影像中选取一定界框及输出关联于该定界框的一特征参数，其中该定界框中包括该表面的一缺陷，该定界框为一矩形，且该特征参数包括该矩形的一面积、该矩形的一对角线长度、一信心指数及一缺陷类型，该信心指数用于呈现定界框内缺陷的符合程度，该缺陷类型包括该表面上的一刮伤、一磨损、一凹痕及一污点；以及

以该计算装置根据该定界框及该特征参数执行一分类判定算法，以决定该表面是否符合一规格；

在执行该深度学习算法之前，所述的方法还包括：以该计算装置针对该影像设置一例外区域；且所选取的该定界框与该例外区域无重叠；

在该计算装置执行该分类判定算法之前，所述的方法还包括：

以该计算装置从该影像中选取另至少一定界框及输出关联于该至少一定界框的另至少一特征参数，其中该至少一定界框中包括该表面的另至少一缺陷；

计算由该深度学习算法所选取的该些定界框的一数量；

计算由该深度学习算法所选取的该些定界框的面积总和与该表面的面积的一比例；以及

以该计算装置依据该数量及该比例执行该分类判定算法以决定该表面是否符合该规格。

2.根据权利要求1所述的表面缺陷侦测方法，其特征在于，该深度学习算法是一区域基础的卷积神经网络R-CNN。

3.根据权利要求2所述的表面缺陷侦测方法，其特征在于，该区域基础的卷积神经网络是Fast R-CNN、Faster R-CNN、Mask R-CNN或YOLO。

4.根据权利要求1所述的表面缺陷侦测方法，其特征在于，该分类判定算法为判定树Decision Tree、支持向量机SVM、及K-近邻算法KNN其中之一。

5.根据权利要求1所述的表面缺陷侦测方法，其特征在于，在取得该影像之前还包括：以一发光装置在该物件的周围形成一均匀光场。

6.根据权利要求1所述的表面缺陷侦测方法，其特征在于，在执行该深度学习算法之前还包括：

以一服务器取得多个训练影像，其中该些训练影像包括具有该缺陷的该表面的影像及不具有该缺陷的该表面的影像；每一具有该缺陷的该些训练影像中具有一样本定界框及一缺陷类型，该样本定界框包括该缺陷整体的一矩形，该缺陷类型关联于该缺陷；每一该些训练影像还包括一第一影像标注或一第二影像标注，其中该第一影像标注代表该训练影像符合该规格，该第二影像的标注代表该训练影像不符合该规格；

以该服务器依据该些训练影像、该些样本定界框及该些缺陷类型执行该深度学习算法以产生一缺陷侦测模型；

以该服务器依据该些训练影像、该第一影像标注及该第二影像标注执行该分类判定算法以产生一分类判定模型；以及

以该计算装置从该服务器加载该缺陷侦测模型及该分类判定模型。

7.一种表面缺陷侦测系统，其特征在于，适用于一物件的一表面，所述的系统包括：

一摄像装置，用以取得该表面的一影像；

一计算装置，电性连接该摄像装置，该计算装置用以执行一深度学习算法以从该影像中选取一定界框及输出关联于该定界框的一特征参数，其中该定界框中包括该表面的一缺陷，该定界框为一矩形，且该特征参数包括该矩形的一面积、该矩形的一对角线长度、一信心指数及一缺陷类型，该信心指数用于呈现定界框内缺陷的符合程度，该缺陷类型包括该表面上的一刮伤、一磨损、一凹痕及一污点；该计算装置进一步用以根据该定界框及该特征参数执行一分类判定算法，以决定该表面是否符合一规格，并用以针对该影像设置一例外区域，所选取的该定界框与该例外区域无重叠；以及

一后端处理装置，电性连接该计算装置，该后端处理装置用以根据该计算装置的判定结果执行关联于该表面的操作；

该计算装置进一步用以从该影像中选取另至少一定界框及输出关联于该至少一定界框的另至少一特征参数，并依据一数量及一比例执行该分类判定算法；其中

该至少一定界框中包括该表面的另至少一缺陷；

该数量关联于该深度学习算法所选取的该些定界框；且

该比例关联于该深度学习算法所选取的该些定界框的面积总和与该表面的面积。

8.根据权利要求7所述的表面缺陷侦测系统，其特征在于，

该深度学习算法为一区域基础的卷积神经网络；

该分类判定算法为判定树Decision Tree、支持向量机SVM、及K-近邻算法KNN其中之一。

Images