CN109946303A - 检查装置和方法 - Google Patents

Abstract

本发明公开了一种检查装置和方法。根据本发明的实施例的检查装置包括：图像捕获单元，所述图像捕获单元用于获取被检查产品的产品图像；缺陷检测单元，所述缺陷检测单元用于检测产品图像中被检查产品的缺陷并提取检测到的缺陷的特征值；缺陷图像提取单元，所述缺陷图像提取单元用于提取包含有产品图像中检测到的缺陷的缺陷图像；分类单元，所述分类单元将提取到的缺陷图像分类为多个组中的一组；以及判断单元，所述判断单元通过将特征值与所分类的组的瑕疵判断标准进行比较以判断被检查产品是否具有瑕疵。

Description

检查装置和方法

技术领域

本发明的实施例涉及用于检查产品的装置和方法。

背景技术

在用于液晶显示板等的偏振膜的制造过程中，在形成为具有恒定宽度的长且大的带状薄膜上自动执行各种处理，并且最终将处理过的薄膜切割成单独的偏振膜(即“产品”)，以便使其根据产品的规格具有预先确定的形状。

传统上，在本领域中已知一种用于检查偏振膜的方法，其通过缺陷检查装置(自动检查装置)自动检测带状偏振膜上的缺陷，并在该缺陷附近形成标记，以便在后续工序中容易识别该缺陷。

通常来讲，具有由缺陷检查装置检测到的缺陷的偏振膜不一定意味着它们百分之百不能使用。由缺陷检查装置检测到的缺陷根据其类型对与产品的光学性质具有不同的影响。因此，一些缺陷即便是检测到有少量也不能使用，而另外的缺陷如果检测到有少量也可能在使用中不存在问题。然而，传统的缺陷检查装置不能对每种类型的缺陷进行分类，因此会检测所有缺陷，而不管缺陷类型如何。

因此，通常来讲，通过由操作者进行视觉确认的测试来最终判断是否允许使用由缺陷检查装置检测到的缺陷。然而，由于操作者的技能，检查精度和生产率会降低，使得不可能以高精度来快速地检查批量生产的产品。

例如，韩国专利注册No.10-1711073公开了一种使用深度学习算法对柔性触摸屏板的微裂纹检测装置和的方法，然而，其并没有解决上述问题。

发明内容

根据本发明的一个方面，提供了一种检查装置和检查方法，用于通过检测产品的缺陷来判断薄膜产品是否具有瑕疵。

为了实现上述目的，在本发明的实施例中采用以下技术方案。

(1)一种检查装置，包括：图像捕获单元，所述图像捕获单元用于获取被检查产品的产品图像；缺陷检测单元，所述缺陷检测单元用于检测所述产品图像中所述被检查产品的缺陷，并提取所检测到的缺陷的特征值；缺陷图像提取单元，所述缺陷图像提取单元用于提取包含所述产品图像中所述检测到的缺陷的缺陷图像；分类单元，所述分类单元将所述提取到的缺陷图像分类为多个组中的一组；以及判断单元，所述判断单元通过将所述特征值与针对所分类的组的瑕疵判断标准进行比较来判断被检查产品是否具有瑕疵。

(2)根据上述(1)所述的检查装置，其中，所述分类单元使用分类模型对所提取的缺陷图像进行分类，所述分类模型已通过使用针对所述多个组中的每个组预先收集的多个缺陷图像进行了学习。

(3)根据上述(2)所述的检查装置，其中，所述分类模型是基于深度学习的分类模型。

(4)根据上述(1)所述的检查装置，其中，所述瑕疵判断标准对于所述多个组中的每个组是不同的。

(5)根据上述(1)所述的检查装置，其中，所述特征值包括所述检测到的缺陷的亮度、尺寸、峰值、面积、ΔX(dx)、ΔY(dy)、密度、厚度和阴影中的至少一个。

(6)一种检查方法，包括：获取被检查产品的产品图像；检测所述产品图像中所述被检查产品的缺陷；提取所述检测到的缺陷的特征值；提取包含所述产品图像中所述检测到的缺陷的缺陷图像；将所述提取到的缺陷图像分类为多个组中的一组；以及通过将所述特征值和所分类的组的瑕疵判断标准进行比较来判断所述产品是否具有瑕疵。

(7)根据上述(6)所述的检查方法，其中，所述分类使用分类模型对所述提取到的缺陷图像进行分类，所述分类模型已通过使用针对所述多个组中的每个组预先收集的多个缺陷图像进行了学习。

(8)根据上述(7)所述的检查方法，其中，所述分类模型是基于深度学习的分类模型。

(9)根据上述(6)所述的检查方法，其中，所述瑕疵判断标准对于所述多个组中的每个组是不同的。

(10)根据上述(6)所述的检查方法，其中，所述特征值包括所述检测到的缺陷的亮度、大小、峰值、面积、ΔX(dx)、ΔY(dy)、密度、厚度和阴影中的至少一个。

根据本发明的实施例，通过将包含有从产品图像提取的缺陷的缺陷图像分类为多个预设组中的一组，并通过使用为该分类的组设置的判断标准和从检测到的缺陷中提取到的特征值来判断是否出现了瑕疵，因此可以提高产品检查的准确性和可靠性。

此外，通过自动化产品的瑕疵判断，可以提高产品的生产率。

附图说明

图1是表示根据本发明的实施例的检查装置的配置的框图；

图2是表示根据本发明的实施例的检查方法的过程的流程图；以及

图3是示出了包括适用于本发明的示例性实施例的计算设备的计算环境的框图。

具体实施方式

在下文中，将参考附图描述本发明的特定实施例。然而，提供以下详细描述以帮助全面理解本公开中所描述的方法、装置和/或系统。然而，这些仅是说明性示例，且本发明不限于此。

在本发明的实施例的描述中，将不再详细描述被判断为会使本发明的主旨不必要地模糊的公知技术。参考附图，其中，在若干视图中，相同的附图标记表示相同或相应的部分。另外，本文中使用的术语是通过考虑本公开的功能来定义的，并且可以根据用户或操作者的习惯或意图来改变。因此，术语的定义应根据本文所阐述的整体公开内容进行。此外，本文中使用的术语仅出于描述特定实施例的目的，并且不旨在将本发明限制于此。除非上下文中另有明确说明，本文中未指明数量时以及使用“该”时也旨在包括复数形式。将进一步理解的是，当在本文中使用术语“包含”、“包含有”、“包括”和/或“包括有”时，是指所述特征、整数、步骤、操作、元件和/或组件的存在，但不排除存在或添加一个或多个其他特征、整数、步骤、操作、元素、组件和/或其组合。

图1是示出根据本发明的实施例的检查装置的配置的框图。

参考图1，根据本发明实施例的检查装置包括：图像捕获单元110，缺陷检测单元130，缺陷图像提取单元150，分类单元170和判断单元190。

图像捕获单元110获取要检查产品的产品图像。

此时，待检查产品可包括各种类型的光学膜，例如触摸传感器膜、偏振膜等。然而，待检查产品不特别限于上述示例，并且可以包括能够根据产品的图像来判断缺陷的各种类型的产品。

缺陷检测单元130检测由图像捕获单元110获取的产品图像中的待检查产品的缺陷。

具体地，根据本发明的实施例，缺陷检测单元130可以使用产品图像的像素值来检测产品的缺陷。例如，缺陷检测单元130可以通过将产品图像中的像素之间的亮度差异与预设的参考值进行比较，或者将与产品图像中所设定的感兴趣区域内的像素的亮度相关的统计值(例如，平均值、方差、标准差等)与预设的参考值进行比较来检测产品的缺陷。此时，可以为每个产品图像预先设置或者由操作者单独设置所述感兴趣区域。

根据本发明的另一实施例，缺陷检测单元130可以通过将预先存储在其中的产品图(例如，CAD图)与产品图像进行比较来检测产品图像中与产品图有差异的部分作为产品缺陷。

同时，当检测到缺陷时，由缺陷检测单元130提取检测到的缺陷的特征值。此时，如果检测到多个缺陷，则缺陷检测单元130可以提取每个所检测到的缺陷的特征值。

同时，所述特征值可以包括检测到的缺陷的亮度、尺寸、峰值、面积，ΔX(dx)，ΔY(dy)，密度、厚度和阴影中的至少一个。

此时，所述尺寸可以表示检测到的缺陷的最长部分的长度(下文中称为长边)。然而，检测到的缺陷的尺寸不特别限于长边的长度，并且可以使用长边的长度和与垂直于长边的线上的缺陷区域相对应的部分(下文中称为短边)来计算特征值。在这种情况下，例如可以通过下面的等式1来计算检测到的缺陷的尺寸。

此时，所述峰值可以表示在被识别为缺陷的部分中的亮度的最大值或最小值(灰度级，0至255)与该部分附近的亮度的平均值之间的差值。

该区域可以表示被识别为缺陷的部分的区域。例如，缺陷检测单元130计算缺陷区域，诸如包括被识别为缺陷的部分的圆形或矩形的区域、被识别为缺陷的部分的像素数量、被识别为缺陷的部分的实际区域等。

ΔX表示被识别为缺陷的部分的最长x轴长度，ΔY表示被识别为缺陷的部分的最长y轴长度。例如，ΔX可以是包括被识别为缺陷的部分的像素的最长x轴长度，并且ΔY可以是包括被识别为缺陷的部分的像素的最长y轴长度。

密度可以表示通过用被识别为缺陷的部分所占据的实际面积除以包括被识别为缺陷的部分的矩形或圆的面积而获得的值。例如，密度可以是通过用被识别为缺陷的部分所占的实际面积除以将缺陷的主轴作为直径的圆的面积而获得的值。

厚度可以是每个缺陷点之间的距离的平均值，所述距离通过绘制对被视为缺陷的部分的两个或更多个外点进行连线的线和其中心线而获得。在这种情况下，所述线可以是缺陷的主轴，但不限于此。

阴影表示黑、白和黑和白的三个值，其中黑表示所有被识别为缺陷的部分比周围的正常区域暗的情况，白色表示所有被识别为缺陷的部分比周围正常区域亮的情况，以及黑和白意味着一些被识别为缺陷的部分比周围正常区域亮而一些被识别为缺陷的部分比周围正常区域暗的情况。同时，可以用预先判断的数字来表示黑、白和黑和白这三个值。

缺陷图像提取单元150从由图像捕获单元110获取的产品图像中提取包含缺陷的图像(下文中也称为缺陷图像)，所述缺陷是通过缺陷检测单元130检测到的。

例如，缺陷图像提取单元150可以提取预先判断区域作为缺陷图像，所述预先判断区域包括在产品图像中检测到的缺陷。此时，提取区域的尺寸可以根据缺陷的尺寸而变化，并且可以根据各种实施例由操作者预先设置。

同时，当在产品图像中检测到多个缺陷时，缺陷图像提取单元150可以提取每个缺陷的缺陷图像。

分类单元170将由缺陷图像提取单元150提取的缺陷图像分类为多个组中的一个组。此时，当缺陷图像提取单元150提取到多个缺陷图像时，该分类单元170可以将每个缺陷图像分类为多个组中的一个组。

此时，可以基于可能在待检查产品中出现的缺陷类型对所述多个组进行分类。例如，当要检查产品是偏振膜时，所述多个组可能包括正常组、聚集亮点缺陷组、针脚缺陷组、亮点缺陷组、星形缺陷组、划痕缺陷组、黑点缺陷组、气泡缺陷组、异物气泡缺陷组、白点异物缺陷组、异物缺陷组，不规则缺陷组、突起缺陷组等。作为另一个示例，当要检查产品是触摸传感器膜时，所述多个组可以包括正常组、外来缺陷组、气泡缺陷组、针脚缺陷组、焊盘裂纹缺陷组、膜裂纹缺陷组、毛刺缺陷组、不规则缺陷组、划痕组等。然而，所述多个组不特别限于上述示例，并且可以根据待检查产品而不同。

同时，根据本发明的实施例，分类单元170可以使用分类模型对由缺陷图像提取单元150提取的缺陷图像进行分类，所述分类模型已通过使用针对多个组中的每个组预先收集的多个缺陷图像进行了学习。在这种情况下，该分类模型可以是基于深度学习的分类模型，更具体地，该分类模型可以是基于深度学习而进行学习的卷积神经网络(CNN)结构的分类模型。

判断单元190通过将由缺陷检测单元130提取的缺陷的特征值与由分类单元170进行分类的组的瑕疵判断标准进行比较，以判断在待检查产品中是否出现了瑕疵。

此时，可以预先设置针对多个组中的每个组的上述瑕疵判断标准，并且针对每个组的瑕疵判断标准可以不同。具体地，判断单元190可以通过将缺陷图像所属的组的瑕疵判断标准与缺陷图像中所包括的缺陷的特征值进行比较来最终判断在待检查产品中是否出现了瑕疵。

同时，当缺陷检测单元130检测到多个缺陷时，判断单元190可以针对每个缺陷来判断产品中是否出现了瑕疵。如果判断出在至少一个检测到的缺陷中出现了瑕疵，则可以将产品判断为有瑕疵的产品。

另外，根据各种实施例，当通过分类单元170将特定缺陷的缺陷图像分类为正常组时，判断单元190可以省略对产品中是否出现了瑕疵的判断。

图2是示出根据本发明的实施例的检查方法的过程的流程图。

图2中示出的检查方法可以由图1所示的检查装置100执行。

参考图2，由检查装置100获取待检查产品的产品图像(210)。

然后，由检查装置100检测在上述步骤中获取的产品图像中的待检查产品的缺陷(220)。

此后，由检查装置100提取所检测到的缺陷的特征值(230)。此时，特征值可以包括例如检测到的缺陷的亮度、尺寸、峰值、面积、ΔX(dx)、ΔY(dy)、密度、厚度和阴影中的至少一个。

另外，当检测到多个缺陷时，检查装置100可以提取每个检测到的缺陷的特征值。

此后，由检查装置100提取包含在产品图像中检测到的缺陷的图像(“缺陷图像”)(240)。此时，当检测到多个缺陷时，检查装置100的缺陷图像提取单元150可以针对每个检测到的缺陷提取缺陷图像。

然后，由检查装置100将提取到的缺陷图像分类到多个组中的一个组(250)。此时，当存在多个缺陷图像时，检查装置100可以将各个缺陷图像分别分类为多个组中的一个组。

另外，根据本发明的另一实施例，检查装置100可以使用分类模型对各个缺陷图像进行分类，所述分类模型已通过使用针对多个组中的每个组预先收集的多个缺陷图像进行了学习。在这种情况下，该分类模型可以是基于深度学习的分类模型，更具体地，该分类模型可以是基于深度学习而进行学习的卷积神经网络(CNN)结构的分类模型。

此后，检查装置100通过将检测到的缺陷的特征值与缺陷图像所属的组的瑕疵判断标准进行比较来判断产品中是否出现了瑕疵(260)。

此时，可以针对多个组中的每个组设置不同的瑕疵判断标准。另外，当检测到多个缺陷时，检查装置100可以将从各个检测到的缺陷中提取的特征值与缺陷的缺陷图像所属的组的瑕疵判断标准进行比较。如果判断出在至少一个检测到的缺陷中出现了瑕疵，则可以将该产品判断为有瑕疵的产品。

同时，在图2中，通过将过程分成多个步骤来描述该检查方法。然而，至少一些步骤可以通过改变顺序来执行、可以结合其他步骤来执行、可以省略、可以通过分成子步骤执行，或者通过添加图中未示出的一个或多个步骤来执行。

图3是示出了包括适用于本发明的示例性实施例的计算设备的计算环境的框图。在所示实施例中，除了下面描述的组件之外，每个组件可以具有不同的功能和性能，并且除了下面描述的组件之外，还可以包括其他组件。

图3中示出的计算环境1包括计算设备12。在一个实施例中，该计算设备12可以是检查装置100中所包括的一个或多个组件。

计算设备12包括：至少一个处理器14；计算机可读存储介质16；和通信总线18。处理器14可以允许计算设备12根据上述示例性实施例进行操作。例如，处理器14可以执行存储在计算机可读存储介质16中的一个或多个程序。所述一个或多个程序可以包括一个或多个计算机可执行指令。当处理器14执行计算机可执行指令时，可以配置为由处理器14允许计算设备12执行根据上述示例性实施例的操作。

计算机可读存储介质16被配置为存储计算机可执行指令和程序代码、程序数据和/或其他合适形式的信息。存储在计算机可读存储介质16中的程序20包括可由处理器14执行的一组指令。在一个实施例中，计算机可读存储介质16可包括任何一种存储器(易失性存储器(如随机存取存储器)、非易失性存储器或其任何合适的组合)、一个或多个磁盘存储设备、光盘存储设备、闪存设备、或者可以由计算设备12访问以在其中存储所需信息的任何其他类型的存储介质、或其任何合适的组合。

通信总线18对计算设备12的各种其他组件进行互连，所述各种其他组件包括处理器14和计算机可读存储介质16。

计算设备12还可以包括一个或多个输入/输出接口22以及一个或多个网络通信接口26，所述一个或多个输入/输出接口22为一个或多个输入/输出设备24提供接口。输入/输出接口22和网络通信接口26连接到通信总线18。输入/输出设备24可以通过输入/输出接口22连接到计算设备12的其他组件。作为示例，输入/输出设备24可以包括指针设备(如鼠标或触控板等)、键盘、触摸输入设备(如触摸板或触摸屏等)、语音或声音输入设备、各种类型的传感器设备和/或诸如成像设备的输入设备、和/或诸如显示设备、打印机、扬声器和/或网卡的输出设备。示例性输入/输出设备24可以作为用于形成计算设备12的一个组件包括在计算设备12中，并且可以作为与计算设备12不同的单独设备与另外的计算设备12相连接。

尽管已经详细描述了本发明的代表性实施例，但是在本发明所属技术领域中具有公知常识的人员将理解的是，在不脱离本发明的范围的情况下可以进行各种修改和变化。因此，本发明的范围不应限于上述实施例，而应是由所附权利要求及其等同物来进行限定。

[附图标记说明]

1：计算环境

12：计算设备

14：处理器

16：计算机可读存储介质

18：通信总线

20：程序

22：输入/输出接口

24：输入/输出设备

26：网络通信接口

100：检查装置

110：图像捕获单元

130：缺陷检测单元

150：缺陷图像提取单元

170：分类单元

190：判断单元。

Claims (10)

1.一种检查装置，包括：

图像捕获单元，所述图像捕获单元用于获取被检查产品的产品图像；

缺陷检测单元，所述缺陷检测单元用于检测所述产品图像中所述被检查产品的缺陷并提取所检测到的缺陷的特征值；

缺陷图像提取单元，所述缺陷图像提取单元用于提取包含所述产品图像中所述检测到的缺陷的缺陷图像；

分类单元，所述分类单元将所提取到的缺陷图像分类为多个组中的一组；以及

判断单元，所述判断单元通过将所述特征值与针对所分类的组的瑕疵判断标准进行比较来判断所述被检查产品是否具有瑕疵。

2.根据权利要求1所述的检查装置，其中，所述分类单元使用分类模型对所提取的缺陷图像进行分类，所述分类模型已通过使用针对所述多个组中的每个组预先收集的多个缺陷图像进行了学习。

3.根据权利要求2所述的检查装置，其中，所述分类模型是基于深度学习的分类模型。

4.根据权利要求1所述的检查装置，其中，所述瑕疵判断标准对于所述多个组中的每个组是不同的。

5.根据权利要求1所述的检查装置，其中，所述特征值包括所述检测到的缺陷的亮度、尺寸、峰值、面积、ΔX(dx)、ΔY(dy)、密度、厚度和阴影中的至少一个。

6.一种检查方法，包括：

获取被检查产品的产品图像；

检测所述产品图像中所述被检查产品的缺陷；

提取所检测到的缺陷的特征值；

提取包含所述产品图像中所述检测到的缺陷的缺陷图像；

将所提取到的缺陷图像分类为多个组中的一组；以及

通过将所述特征值和所分类的组的瑕疵判断标准进行比较来判断所述产品是否具有瑕疵。

7.根据权利要求6所述的检查方法，其中，所述分类使用分类模型对所提取到的缺陷图像进行分类，所述分类模型已通过使用针对所述多个组中的每个组预先收集的多个缺陷图像进行了学习。

8.根据权利要求7所述的检查方法，其中，所述分类模型是基于深度学习的分类模型。

9.根据权利要求6所述的检查方法，其中，所述瑕疵判断标准对于所述多个组中的每个组是不同的。

10.根据权利要求6所述的检查方法，其中，所述特征值包括所述检测到的缺陷的亮度、大小、峰值、面积、ΔX(dx)、ΔY(dy)、密度、厚度和阴影中的至少一个。