CN113646801B - 缺陷图像的缺陷检测方法、装置及计算机可读存储介质 - Google Patents

Abstract

提供了缺陷图像的缺陷检测方法、装置和计算机可读介质，包括：获取基板图作为待检测缺陷图像；利用缺陷检测算法集中的每种缺陷检测算法分别对所述待检测缺陷图像进行缺陷检测并生成对应的响应，得到缺陷检测响应集，其中所述缺陷检测算法集包括至少两种缺陷检测算法；以及基于所述缺陷检测响应集以及多种候选缺陷类别的优先级来在多种候选缺陷类别中确定所述待检测缺陷图像的缺陷类别。

Description

缺陷图像的缺陷检测方法、装置及计算机可读存储介质

技术领域

本公开涉及一种缺陷图像的缺陷检测方法、装置及计算机可读存储介质。

背景技术

在产品制造过程中，例如半导体产品的制造过程中，由于设备、参数、操作、环境干扰等环节存在的问题，会导致产出的产品不符合工艺要求甚至导致不良出现，所以需要在每道工序后及时把不符合要求的不良缺陷产品的不良种类、不良大小、位置等信息计算识别出来，进行及时的修正和改善，避免不良的继续产生。

目前图像分析可用在产线上用于质量把控。图像中最重要的为AOI彩图，这是对电路层面不良的检测。基板层面的数字宏观(Digital Macro，DM)图是对玻璃基板层面不良的检测，用于监控面板加工过程中玻璃基板的完好情况，是质量把控的重要补充手段。作业员花在DM图的缺陷判级上的时间和精力远低于AOI彩图，但DM图一旦出现问题都是非常严重的事故级不良，对DM图的错判和漏判，轻则导致浪费后续的加工时间，重则导致损坏后续的加工设备。DM图的缺陷包括破损、碎片、区域放电、线放电、特殊不均、白点、黑条、灰带。

目前传统的对图像(包括AOI彩图、DM图等)中的缺陷的识别方法主要是依靠人工检测。这要求对检测人员进行专业培训。尤其在生产的产品型号多、问题复杂的情况下，需要检测人员投入较长时间和专注力去进行缺陷查找和有关判断。

综上，现有技术手段解决上述问题存在效率较低，准确度较低的问题。

发明内容

根据本公开的一方面，提供了一种缺陷图像的缺陷检测方法，包括：获取基板图作为待检测缺陷图像；利用缺陷检测算法集中的每种缺陷检测算法分别对所述待检测缺陷图像进行缺陷检测并生成对应的响应，得到缺陷检测响应集，其中所述缺陷检测算法集包括至少两种缺陷检测算法；以及基于所述缺陷检测响应集以及多种候选缺陷类别的优先级来在多种候选缺陷类别中确定所述待检测缺陷图像的缺陷类别。

根据本公开的另一方面，提供了一种缺陷图像的缺陷检测装置，包括：处理器；和存储器，其上存储有计算机可用指令，所述指令在由所述处理器执行时，使得所述处理器执行如上所述的方法中的步骤。

根据本公开的又一方面，还提供了一种计算机可读存储介质，其上存储有程序指令，所存储的程序指令可由处理器读取并执行，以使所述处理器执行如上所述的方法中的步骤。

附图说明

为了更清楚地说明本公开至少一实施例的技术方案，下面将对实施例的描述中所需要使用的附图作简单的介绍。下面描述中的附图仅仅是本公开的示例性实施例。

图1(a)-(i)示出了DM图中的几种示例候选缺陷类别对应的缺陷示意图；

图2示出了根据本公开实施例的缺陷图像的缺陷检测方法的流程图；

图3示出了根据本公开实施例的通过缺陷检测算法集中的各种缺陷检测算法判断各种候选缺陷类别的流程示意图；以及

图4示出了根据本公开实施例的缺陷图像的缺陷检测装置的框图。

具体实施方式

以下将参照附图更充分地描述本公开实施例，在附图中示出了本公开实施例。然而，可以用很多不同形式来实施本公开，并且本公开不应理解为受限于在此所阐述的实施例。在全文中，使用相似的标号表示相似的元件。

在此所使用的术语仅用于描述特定实施例的目的，而并非意欲限制本公开。如在此所使用的那样，单数形式的“一个”、“这个”意欲同样包括复数形式，除非上下文清楚地另有所指。还应当理解，当在此使用时，术语“包括”指定出现所声明的特征、整体、步骤、操作、元件和/或组件，但并不排除出现或添加一个或多个其它特征、整体、步骤、操作、元件、组件和/或其群组。

除非另外定义，否则在此所使用的术语(包括技术术语和科学术语)具有与本公开所属领域的普通技术人员所共同理解的相同意义。在此所使用的术语应解释为具有与其在该说明书的上下文以及有关领域中的意义一致的意义，而不能以理想化的或过于正式的意义来解释，除非在此特意如此定义。以下参照示出根据本公开实施例的方法、装置(系统)和/或计算机程序产品的框图和/或流程图描述本公开。应理解，可以通过计算机程序指令来实现框图和/或流程图示图的一个方框以及方框的组合。可以将这些计算机程序指令提供给通用计算设备、专用计算设备的处理器和/或其它可编程数据处理装置，使得经由计算设备处理器和/或其它可编程数据处理装置执行的指令创建用于实现框图和/或流程图块中所指定的功能/动作的方法。

相应地，还可以用硬件和/或软件(包括固件、驻留软件、微码等)来实施本公开。更进一步地，本公开可以采取计算机可使用或计算机可读存储介质上的计算机程序产品的形式，其具有在介质中实现的计算机可使用或计算机可读程序代码，以由指令执行系统来使用或结合指令执行系统而使用。在本公开上下文中，计算机可使用或计算机可读介质可以是任意介质，其可以包含、存储、通信、传输、或传送程序，以由指令执行系统、装置或设备使用，或结合指令执行系统、装置或设备使用。

目前，如前面所述，人工检测存在诸多的风险和不稳定因素等，均会导致检测过程整体质量的下降，从而给产品质量带来隐患。另一方面，检测过程中，所有数据均是手动录入，效率低下，同时人工在有限的时间内在待检测产品的图像上获取的信息颗粒度较粗，对后续的缺陷原因查找和分析带来不便。

此外，随着人工智能图像识别分类技术和大数据技术的不断发展和应用，人工智能图像分类技术可以不间断的自学习和利用更多分完类的样本训练和加强整体的模型识别能力，使系统的准确度越来越好，同时保证稳定性。但是人工智能图像识别的分类技术对数据的需求高，并且对计算机的计算能力以及资源需求也比较高。例如，在具体设计中，由于不良图像数据可能难以收集，用于训练的样本数量有限，很容易出现模型过拟合等问题，这在一定程度上限制了其使用。

基于上述全部或部分的原因，本公开提出一种用于基板图(例如DM图)的缺陷检测方法、装置以及计算机可读存储介质。本公开提出的缺陷检测方法考虑到DM图不良图片难以收集的情况，使用传统图像处理算法，人工预先设计用于区分不同表现形式的缺陷的主特征，针对用于区分各种缺陷的主特征而选择不同的缺陷检测算法，从而根据各个缺陷检测算法的检测结果来对待检测缺陷图像中的缺陷进行检测。与人工智能中的神经网络算法相比，传统的图像处理算法对数据数量要求较低，可以解决难以跨越的数据集收集问题。

此外，由于DM图是玻璃基板层面的图像，而玻璃基板层面的缺陷较少，因此，一般一张DM图上只有一个缺陷，并且下面的描述也是基于对一张DM图上的该一个缺陷进行检测来进行的。

同时，虽然本文以DM图为例来描述各种实施例，但这仅仅是示例性的，并且不应被理解为对本公开实施例的限制。本领域技术人员可以容易地理解，本公开提出的各种实施例也可以用于其他类型的基板图。

图1(a)-(i)示出了DM图中的几种示例候选缺陷类别对应的缺陷示意图。

图1(a)示出了破损(Broken)缺陷，该缺陷是指玻璃基板破碎。

图1(b)示出了碎片(Piece)缺陷，该缺陷是指玻璃基板上存在玻璃碎片。

图1(c)示出了区域放电(Area Arcing)缺陷，该缺陷是指玻璃基板上存在大范围的放电不良，通常遍布基板上的一个或几个面板。

图1(d)示出了线放电(Line Arcing)缺陷，该缺陷是指由于某条或某几条栅极/数据线的放电在玻璃基板上可看到的一条或几条异常线，通常在水平方向上。

图1(e)示出了特殊灰阶不均(Special Gray Aldistribution)缺陷(后文在某些地方也简称为特殊不均)，该缺陷是指玻璃基板上存在边界不规则的灰色区域，有时会形成特殊图案。

图1(f)示出了白点缺陷(White Pot)缺陷，该缺陷是指玻璃基板上存在白色残留。

图1(g)-(h)示出了黑条(Black Slip)缺陷，该缺陷是指玻璃基板上存在黑色条带(第一类型黑条图1(g))或条状线条(第二类型黑条图1(f))。一般由线路问题或者图像合成问题导致。

图1(i)示出了灰带(Gray Gap)缺陷，该缺陷是指玻璃基板上存在有明显的明暗条纹。

需要注意的是，上面几种候选缺陷类别的缺陷仅仅是示例性的，本领域技术人员可以根据实际场合和实际需求而对缺陷进行其他分类，这不脱离本公开的范围。

对于每种表现形式的缺陷，都有各自的主特征，并且至少两种候选缺陷类别具有相同主特征。该至少两种候选缺陷类别在表现形式方面存在相似的特征，因此可以将该相似的特征认为是它们共有的(或相同的)主特征。

例如，特殊不均缺陷、碎片缺陷以及白点缺陷这三种候选缺陷类别缺陷的主特征为缺陷区域的灰度不同于周围区域；区域放电缺陷的主特征为在一个或相邻几个面板内有大范围的裂纹状图案；第二类型黑条缺陷与线放电缺陷这两种候选缺陷类别缺陷的主特征为线段；灰带缺陷的主特征为在竖直方向会存在线条或者颜色异常的块状区域；并且第一类型黑条缺陷和破损缺陷这两种候选缺陷类别缺陷的主特征为在缺陷区域内的像素灰度值为零。

对于各种候选缺馅类别缺陷，都有适用于检测该候选缺陷类别缺陷的主特征的缺陷检测算法。即，对于每种主特征，都有一种对应的缺陷检测算法。

例如，黑白斑检测算法用于检测主特征为缺陷区域中的灰度不同于周围区域的候选缺陷类别缺陷，包括特殊不均缺陷、碎片缺陷以及白点缺陷；边缘密度检测算法用于检测主特征为在一个或相邻几个面板内有大范围的裂纹状图案的候选缺陷类别缺陷，包括区域放电缺陷；霍夫变换直线检测算法用于检测主特征为线段的候选缺陷类别缺陷，包括第二类型黑条缺陷与线放电缺陷；竖直投影检测算法用于检测主特征为在竖直方向会存在线条或者颜色异常的块状区域的候选缺陷类别缺陷，包括灰带缺陷；并且低阈值二值化检测算法用于检测主特征为在缺陷区域内的像素灰度值为零的候选缺陷类别缺陷，包括第一类型黑条缺陷和破损缺陷。

而对于具有相同主特征的至少两种候选缺陷类别缺陷，还需要基于主特征的子特征来对该至少两种候选缺陷类别缺陷进行进一步地区分，以确定最终的缺陷类别。例如，主特征为缺陷区域的灰度不同于周围区域的缺陷包括特殊不均缺陷、碎片缺陷以及白点缺陷这三种候选缺陷类别缺陷时，且该主特征的子特征为斑块颜色以及白斑内的灰阶值标准差；主特征为线段缺陷包括第二类型黑条缺陷与线放电缺陷这两种候选缺陷类别缺陷时，该主特征的子特征为线段的方向和长度；并且主特征为在缺陷区域内的像素灰度值为零的缺陷包括第一类型黑条缺陷和破损缺陷这两种候选缺陷类别缺陷时，该主特征的子特征为图像二值图中存在黑像素的列中的黑像素个数、或者图像二值图中缺陷区域边界的形状和长度。

本公开在对DM图(待检测缺陷图像)中的缺陷进行检测时，同时通过各种缺陷检测算法分别对DM图中的缺陷进行检测，根据检测结果来确定DM图中的缺陷属于哪种缺陷类别。

此外，DM图是一张合成的灰阶图，由相机逐列拍摄最终拼接而成。除了在横竖方向都有比较明显的面板边缘以外，由于相机拍摄的照片在水平方向上亮度不均导致在竖直方向还有等间距的拼接痕迹。由于拼接痕迹不是非常明显，对算法影响较小，因此可以将其忽略。但是，面板边缘在灰阶值上与边缘附近的像素差异较大，会对许多缺陷检测算法造成干扰，因此要设计面板边缘去除算法，这将在后文具体介绍。

图2示出了根据本公开实施例的缺陷图像的缺陷检测方法的流程图。

在步骤210，获取基板图作为待检测缺陷图像。

可选地，该基板图可以为DM灰阶图，并且将基板图作为待检测缺陷图像包括：读取DM图，将该DM图重设大小。此外，DM图本身就是灰阶图，读取DM图时可选择将其灰阶值读取为整型或浮点型；整型的常用灰阶值范围为[0，255](无符号8-bit)，但是[0，65535](无符号16-bit)、[-32768，32767](有符号16-bit)等也是可行的；浮点型的常用灰阶值为[0.0,1.0](32位、64位常用值均为[0.0，1.0]，但也可用其他值如[-1.0，2.0])。由于DM图原图的像素值不固定，但比例接近1:1.15，因此可选用一对长宽值对原图重设大小，例如(400，460)、(600，690)、(800，920)等(为了避免某些小缺陷在重采样时消失，一般不使用更小的像素值)。作为示例，本公开选用的灰阶值范围为[0，255](无符号8-bit)，DM图的重设大小为(600，690)。

此外，由于面板边缘在灰阶值上与边缘附近的像素差异较大，会对许多缺陷检测算法造成干扰，因此可选地可以设计面板边缘去除算法以提高检测的准确性。

可选地，去除基板上的面板边缘主要包括以下步骤：1)对DM图的每一行和每一列的灰阶值分别实施累加操作，分别得到一个一维向量，一维向量的每个元素对应该行或该列的灰阶值总和；(2)对得到的一维向量采用低通滤波器(本公开中以中值滤波器为例，其他的常用低通滤波器还有均值滤波器、巴特沃斯低通滤波器、高斯低通滤波器等)；(3)使用原一维向量减去低频分量(对原向量使用低通滤波得到的向量)得到原向量的高频分量；(4)对高频分量使用某个阈值进行分割，超过阈值的元素位置即被认为是面板边缘；(5)去除DM图中面板边缘位置邻域的几个像素宽度的几行和几列。

在步骤220，利用缺陷检测算法集中的每种缺陷检测算法分别对待检测缺陷图像进行缺陷检测并生成对应的响应，得到缺陷检测响应集，其中缺陷检测算法集包括至少两种缺陷检测算法。

可选地，该缺陷检测算法集包括黑白斑检测算法、边缘密度检测算法、霍夫变换直线检测算法、投影检测算法、低阈值二值化检测算法。这几种检测算法所针对的主特征已在前文描述，这里不再重复。

可选地，缺陷检测响应集中的每个响应为“有响应”和“无响应”中的一种，每个响应分别指示对应的缺陷检测算法在对待检测缺陷图像的缺陷进行检测时是否检测到缺陷中存在该缺陷检测算法对应的主特征。

可选地，可以基于检测到的与主特征相关的特定参数与预设阈值的大小关系来生成“有响应”或“无响应”的响应。例如，关于“有响应”和“无响应”的判定，对于黑白斑检测算法，如果检测到黑斑或白斑缺陷的缺陷区域面积足够大(例如，大于预定面积阈值)则为“有响应”，反之则为“无响应”。再例如，对于霍夫变换直线检测算法，如果检测到线段长度足够长(例如，大于预定长度阈值)则为“有响应”，反之则为“无响应”。对于其他检测算法也类似定义。

同时，为了帮助更好地理解本公开，表1示出了缺陷检测算法集中的各种缺陷检测算法相对于各种候选缺陷类别的响应的一种示例图。

表1

在表1中，“○”表示“有响应”，以及“×”表示无响应。

此外，在表1中，线放电缺陷以及第二类型黑条缺陷对应的缺陷检测响应集是相同的，因此在要对两者对应的线段缺陷进行细分时，还应该考虑其他独特信息，例如水平线段长度。特殊不均以及白点缺陷对应的缺陷检测响应集是相同的，因此在黑白斑检测算法中还包括对斑块颜色对黑白斑进行区分，以得到黑斑缺陷或者白斑缺陷，并且在确定为白斑时，进一步对白斑内的灰阶值标准差进行计算，从而区分是白点缺陷还是碎片缺陷。同时，破损缺陷和第一类型黑条缺陷对应的缺陷检测响应集也是相同的，此时也需要考虑进一步的分析算法，这将在后文进行描述。

在步骤230，基于缺陷检测响应集以及多种候选缺陷类别的优先级来在多种候选缺陷类别中确定所述待检测缺陷图像的缺陷类别。

玻璃基板上的每种缺陷类别对整个生产过程所带来的后果的严重性是不同的，工作人员可以根据不同的缺陷类别而选择适当的操作，因此还可以根据严重程度对各种候选缺陷类别的优先级进行排序，这对于生产过程具有指导意义。

每种候选缺陷类别的优先级的排序如表2所示。

表2

可选地，基于缺陷检测响应集以及缺陷类别的优先级来在多种候选缺陷类别中确定待检测缺陷图像的缺陷类别包括：从将最高优先级的候选缺陷类别确定为当前候选类别开始，按照优先级降序重复以下操作，直到确定了待检测缺陷图像的缺陷类别：确定当前候选缺陷类别，判断用于检测当前候选缺陷类别缺陷的主特征的缺陷检测算法所对应的响应是否为“有响应”；在缺陷检测响应集中用于检测当前候选缺陷类别缺陷的主特征的缺陷检测算法所对应的响应为“有响应”的情况下，将当前候选缺陷类别确定为待检测缺陷图像的缺陷类别，或者基于主特征的子特征来确定待检测缺陷图像的缺陷类别，其中主特征的子特征用于将具有相同主特征的至少两种候选缺陷类别缺陷进行区分，并且在缺陷检测响应集中用于检测当前候选缺陷类别缺陷的主特征的缺陷检测算法所对应的响应为“无响应”的情况下，将下一优先级的候选缺陷类别确定为当前候选缺陷类别。

下面具体描述各种缺陷检测算法用于检测待检测缺陷图像中的缺陷的过程。图3示出了通过缺陷检测算法集中的各种缺陷检测算法检测各种候选缺陷类别的流程示意图。

在利用缺陷检测算法集中的每种缺陷检测算法分别对待检测缺陷图像进行缺陷检测并生成对应的响应，得到缺陷检测响应集之后，按照如表2所示的缺陷类别优先级，从最高的破损缺陷开始进行如下判断。

如果缺陷检测响应集中低阈值二值化算法对应的响应为“有响应”时，进一步获取图像二值图，对图像二值图执行竖直投影算法，并且在存在黑像素的列中黑像素个数少于图像列像素的总和的情况下，确定待检测图像的缺陷类别是破损缺陷，在存在黑像素的列中黑像素个数少于图像列像素的总和的情况下，确定待检测图像的缺陷类别是第一黑条类型。

或者，如果缺陷检测响应集中低阈值二值化算法对应的响应为“有响应”时，进一步获取图像二值图，对图像二值图进行边缘检测，并且在检测到区域边界为曲线的情况下，确定待检测图像的缺陷类别是破损缺陷，并且在检测到区域边界为竖直直线并且长度等于待检测缺陷图像的列长度的情况下，确定待检测图像的缺陷类别是第一黑条类型。

在不存在破损缺陷的情况下，进行是否存在碎片缺陷的判断。

如果缺陷检测响应集中黑白斑检测算法对应的响应为“有响应”时，并且在通过黑白斑检测算法确定是黑斑的情况下，确定待检测图像的缺陷类别是特殊不均，并且在通过黑白斑检测算法确定是白斑的情况下，进一步对白斑区域内的灰度值标准差进行分析，并且如果灰度值标准差小于第一预设阈值，则确定缺陷类别是碎片缺陷，如果灰度值标准差大于等于第一预设阈值，则确定缺陷类别是白点缺陷。

在不存在碎片缺陷的情况下，进行是否存在区域放电缺陷的判断。

如果缺陷检测响应集中边缘密度检测算法对应的响应为“有响应”，则确定缺陷类别是区域放电缺陷。

在不存在区域放电缺陷的情况下，进行是否存在线放电缺陷的判断。

如果缺陷检测响应集中霍夫变换直线检测算法对应的响应为“有响应”，进一步对通过霍夫变换直线检测算法检测到的线段进行分析，并且如果线段水平长度小于第二预设阈值，则确定待检测图像的缺陷类别是线放电缺陷，并且如果线段水平长度大于等于第二预设阈值，则确定待检测图像的缺陷类别是第二类型黑条缺陷。

当上面提及的所有候选缺陷类别都未被检测到时，则进一步判断是否存在灰带缺陷。

如果缺陷检测响应集中仅有竖直投影检测算法对应的响应为“有响应”，则确定缺陷类别是灰带缺陷。

为了更完整的公开本公开的实施例，下面对各种缺陷检测算法进行详细描述。

对于低阈值二值化算法：如前面分析，主要针对主特征为缺陷区域中的灰度不同于周围区域的缺陷，该类缺陷后文也可以称为区域分割缺陷(可细分为破损缺陷或第一类型黑条缺陷)，主要步骤为：(1)使用低预设阈值对待检测缺陷图像进行二值分割(阈值可选(0，20]，本公开实施例中选择2)，将待检测缺陷图像上的像素点的灰阶置为0或255，也就是将整个图像呈现出明显的黑白效果，查找是否存在阳性点(如下公式所示，值为255的像素点)：

(2)使用数字图像处理中的形态学闭操作去除尺度较小的阳性点区域(使用不同大小的核对待检测缺陷图像整体或是局部进行处理，闭操作可以将小于核大小的阳性点区域去除，核大小以像素为单位，本文选用(10，10))，本步骤为可选步骤；(3)寻找待检测缺陷图像的二值图中是否存在区域分割缺陷。由于低阈值二值化算法针对的是区域分割缺陷，此类缺陷一般在二值图中的像素为0的区域较大，因此如果存在分割的区域，则低阈值二值化算法对应的响应为“有响应”。

此外，在确定低阈值二值化算法对该待检测缺陷图像(的缺陷)“有响应”时，进一步获取经低阈值二值化检测算法处理后的待检测缺陷图像的二值图，并对二值图进行边缘检测，并且在检测到区域边界为曲线的情况下，确定最终缺陷类别是破损缺陷，并且在检测到区域边界为竖直直线并且长度等于图像的列长度的情况下，确定缺陷类别是第一黑条类型。

或者，由于如果是破损缺陷，那么经过低阈值二值化算法处理后，在某些列方向上黑像素的个数一般小于图像的列像素总数，而第一类型黑条缺陷黑像素的个数会等于图像的列像素的总数，因此也可以采用竖直投影(在二值图的基础上)来对这两种缺陷进行区分。也就是说，如果存在黑像素的列中黑像素个数少于图像列像素的总数，则确定待检测图像的缺陷类别是破损缺陷，如果存在黑像素的列中黑像素个数等于(或在误差范围内等于)图像列像素的总和，则确定待检测图像的缺陷类别是第一黑条类型。

对于黑白斑检测算法：如前面分析，主要针对主特征为缺陷区域内的像素灰度值为零的缺陷，该类缺陷也可以称为斑块缺陷(可细分为特殊不均缺陷、碎片缺陷和白点缺陷)，主要步骤为：(1)以列为单位，寻找待检测缺陷图像的一列像素灰阶值的中值，由于灰阶值越小表现为越黑，检测黑斑使用的预设阈值为中值-n(检测白斑使用的阈值相应为中值+n)，其中n值根据图像的具体情况而定，本公开中使用的n为20，公式为：

(2)使用形态学闭操作去除某些较小的阳性点区域，主要针对可能出现线放电或者黑条缺陷等导致的线状阳性点区域，本文选用的核大小为(5，5)(白斑检测无此步骤，因白点中可能出现尺寸较小的斑点，避免将其去除)；(3)使用边缘检测算法获得响应的边缘和位置信息；(4)通过斑块颜色区分出是黑斑缺陷还是白斑缺陷，从而黑白斑检测算法对应的响应为“有响应”；(5)检测到白斑并获得白斑位置后，对白斑内的像素求取灰阶值的标准差，并将得到的标准差与预设阈值进行比较，以用于区分碎片和白点。

对于边缘密度检测算法：如前面分析，主要针对主特征为在一个或相邻几个面板内有大范围的裂纹状图案的缺陷，包括区域放电缺陷。通过先用边缘检测算法获得边缘，再对边缘长度进行统计，边缘长度高于预设阈值即可判出此类。具体步骤为：(1)使用边缘检测算法(例如Canny算子)检侧待检测缺陷图像的边缘；(2)在每一个面板内部，使用边缘点的像素数除以面板的总像素数；(3)设立预设阈值区分该比例，当超过预设阈值时，说明存在区域放电缺陷，从而边缘密度检测算法对应的响应为“有响应”。

值得注意的是，边缘检测算法种类较多，除了上述Canny算子之外，如Sobel算子、Laplace算子等也可以用于边缘检测。Canny算子是目前公认的效果很好的边缘检测算法。

对于霍夫变换直线检测算法：如前面分析，主要针对主特征为线段的缺陷，包括线放电缺陷和第二类型黑条缺陷。具体步骤为：(1)使用边缘检测算法(例如Canny算子)检测待检测缺陷图像的边缘；(2)使用霍夫线变换寻找边缘中的直线，并且在找到直线时霍夫变换直线检测算法对应的响应“有响应”；(3)在找到的直线中，还利用端点的坐标值区分水平方向和竖直方向的直线；(4)如果线段在水平方向，则进一步计算线段长度，并且在线段长度在一个面板间拼接宽度±2像素范围内的判为第二类型黑条缺陷，其他为线放电缺陷，面板间拼接长度是已知的。

对于投影算法：如前面分析，主要针对主特征为在竖直方向会存在颜色异常的块状区域的缺陷，包括灰带缺陷。因此使用投影算法计算每一列像素的总值，并分析是否有在较短的区域内有较大变化的情况，即可分辨此类。具体步骤为：(1)对待检测缺陷图像的每列的灰阶值分别实施累加操作，得到一个一维向量，向量的每个元素分别对应该列的灰阶值总和；(2)对得到的一维向量采用低通滤波(例如中值滤波)；(3)在向量的低通分量中查找在n个像素的宽度内变化幅度超过m的位置，如果找到，则说明存在第一类型灰带缺陷，从而竖直投影检测算法对应的响应为“有响应”。例如，本公开使用的n，m分别为3和200。

通过本公开实施例中的缺陷检测方法，针对用于区分各种缺陷的典型特征而选择不同的图像处理算法，从而对缺陷图像中的缺陷进行检测。传统的图像处理算法对数据数量要求较低，可以解决难以跨越的数据集收集问题。

下面将参照图4描述根据本公开实施例的缺陷检测装置。图4是根据本公开实施例的用于缺陷图像的缺陷检测装置的框图。由于本实施例的缺陷检测装置执行的操作与在上文中描述的方法的细节相同，因此在这里为了简单起见，省略对相同内容的详细描述。

如图4所示，缺陷检测装置400包括处理器401和存储器402。需要注意的是，尽管在图4中缺陷检测装置被示出为只包括2个装置，但这只是示意性的，缺陷检测装置也可以包括一个或多个其他装置。

图4中，存储器402用于存储计算机可执行指令，该计算机可执行指令在被处理器运行时使处理器执行如前面所述的方法的各个步骤。

此外，本公开还提供了一种计算机可读存储介质，其上存储有程序指令，所存储的程序指令可由处理器(例如处理器401)读取并执行，以使处理器执行如前面所述的方法的各个步骤。

虽然已经针对本公开的各种具体示例实施例详细描述了本公开，但是每个示例通过解释而不是限制本公开来提供。本领域技术人员在得到对上述内容的理解后，可以容易地做出这样的实施例的变更、变化和等同物。因此，本发明并不排除包括将对本领域普通技术人员显而易见的对本公开的这样的修改、变化和/或添加。例如，作为一个实施例的一部分图示或描述的特征可以与另一实施例一起使用，以产生又一实施例。因此，意图是本公开覆盖这样的变更、变化和等同物。

具体地，尽管本公开的附图出于图示和讨论的目的分别描述了以特定顺序执行的步骤，但是本公开的方法不限于特定图示的顺序或布置。在不偏离本公开的范围的情况下，上述方法的各个步骤可以以各种方式省略、重新布置、组合和/或调整。

本领域技术人员可以理解，本申请的各方面可以通过若干具有可专利性的种类或情况进行说明和描述，包括任何新的和有用的工序、机器、产品或物质的组合，或对他们的任何新的和有用的改进。相应地，本申请的各个方面可以完全由硬件执行、可以完全由软件(包括固件、常驻软件、微码等)执行、也可以由硬件和软件组合执行。以上硬件或软件均可被称为“数据块”、“模块”、“引擎”、“单元”、“组件”或“系统”。此外，本申请的各方面可能表现为位于一个或多个计算机可读介质中的计算机产品，该产品包括计算机可读程序编码。

除非另有定义，这里使用的所有术语(包括技术和科学术语)具有与本公开所属领域的普通技术人员共同理解的相同含义。还应当理解，诸如在通常字典里定义的那些术语应当被解释为具有与它们在相关技术的上下文中的含义相一致的含义，而不应用理想化或极度形式化的意义来解释，除非这里明确地这样定义。

以上是对本公开的说明，而不应被认为是对其的限制。尽管描述了本公开的若干示例性实施例，但本领域技术人员将容易地理解，在不背离本公开的新颖教学和优点的前提下可以对示例性实施例进行许多修改。因此，所有这些修改都意图包含在权利要求书所限定的本公开范围内。应当理解，上面是对本公开的说明，而不应被认为是限于所公开的特定实施例，并且对所公开的实施例以及其他实施例的修改意图包含在所附权利要求书的范围内。本公开由权利要求书及其等效物限定。

Claims (13)

1.一种缺陷图像的缺陷检测方法，包括：

获取基板图作为待检测缺陷图像；

利用缺陷检测算法集中的每种缺陷检测算法分别对所述待检测缺陷图像进行缺陷检测并生成对应的响应，得到缺陷检测响应集，其中所述缺陷检测算法集包括至少两种缺陷检测算法；以及

基于所述缺陷检测响应集以及多种候选缺陷类别的优先级来在多种候选缺陷类别中确定所述待检测缺陷图像的缺陷类别，

其中，所述缺陷检测算法集中的每种缺陷检测算法用于检测一种主特征，所述主特征是能够区分具有不同表现形式的缺陷的缺陷特征，且至少两种候选缺陷类别缺陷具有相同主特征，

其中，所述缺陷检测响应集中的每个响应为“有响应”和“无响应”中的一种，每个响应分别指示对应的缺陷检测算法在对待检测缺陷图像的缺陷进行检测时是否检测到缺陷中存在该缺陷检测算法对应的主特征。

2.根据权利要求1所述的方法，其中，基于所述缺陷检测响应集以及多种候选缺陷类别的优先级来在多种候选缺陷类别中确定所述待检测缺陷图像的缺陷类别包括：

从将最高优先级的候选缺陷类别确定为当前候选类别开始，按照优先级降序重复以下操作，直到确定了所述待检测缺陷图像的缺陷类别：

确定当前候选缺陷类别，

判断用于检测当前候选缺陷类别缺陷的主特征的缺陷检测算法所对应的响应是否为“有响应”：

在缺陷检测响应集中用于检测当前候选缺陷类别缺陷的主特征的缺陷检测算法所对应的响应为“有响应”的情况下，将当前候选缺陷类别确定为所述待检测缺陷图像的缺陷类别，或者基于主特征的子特征来确定所述待检测缺陷图像的缺陷类别，其中所述主特征的子特征用于将具有相同主特征的至少两种候选缺陷类别缺陷进行区分，并且

在所述缺陷检测响应集中用于检测当前候选缺陷类别缺陷的主特征的缺陷检测算法所对应的响应为“无响应”的情况下，将下一优先级的候选缺陷类别确定为当前候选缺陷类别。

3.根据权利要求2所述的方法，其中，所述缺陷检测算法集包括黑白斑检测算法、边缘密度检测算法、霍夫变换直线检测算法、竖直投影检测算法、低阈值二值化检测算法，

其中，所述黑白斑检测算法用于检测主特征为缺陷区域的灰度不同于周围区域的缺陷；所述边缘密度检测算法用于检测主特征为在一个或相邻几个面板内有大范围的裂纹状图案的缺陷；所述霍夫变换直线检测算法用于检测主特征为线段的缺陷；所述竖直投影检测算法用于检测主特征为在竖直方向会存在线条或者颜色异常的块状区域的缺陷；并且所述低阈值二值化检测算法用于检测主特征为在缺陷区域内的像素灰度值为零的缺陷。

4.根据权利要求3所述的方法，其中，

多种候选缺陷类别按优先级降序排序包括：破损缺陷、碎片缺陷、区域放电缺陷、线段缺陷、特殊不均缺陷、白点缺陷、第一类型黑条缺陷、第二类型黑条缺陷、和灰带缺陷。

5.根据权利要求4所述的方法，其中，

主特征为缺陷区域的灰度不同于周围区域的缺陷包括特殊不均缺陷、碎片缺陷以及白点缺陷，且该主特征的子特征为斑块颜色以及白斑内的灰阶值标准差；

主特征为在一个或相邻几个面板内有大范围的裂纹状图案的缺陷包括区域放电缺陷；

主特征为线段的缺陷包括第二类型黑条缺陷与线放电缺陷，且该主特征的子特征为线段的方向和长度；

主特征为在竖直方向会存在线条或者颜色异常的块状区域的缺陷包括灰带缺陷；并且

主特征为在缺陷区域内的像素灰度值为零的缺陷包括第一类型黑条缺陷和破损缺陷，且该主特征的子特征为图像二值图中存在黑像素的列中的黑像素个数、或者图像二值图中缺陷区域边界的形状和长度。

6.根据权利要求5所述的方法，其中，在缺陷检测响应集中用于检测当前候选缺陷类别的主特征的缺陷检测算法所对应的响应为“有响应”的情况下，将当前候选缺陷类别确定为所述待检测缺陷图像的缺陷类别，或者基于主特征的子特征来确定所述待检测缺陷图像的缺陷类别，包括：

在确定存在于待检测的缺陷图像中的缺陷是否为破损缺陷时，如果低阈值二值化算法对应的响应为“有响应”时，对所述待检测缺陷图像的图像二值图执行竖直投影算法，并且

在存在黑像素的列中黑像素个数少于图像列像素的总和的情况下，确定所述待检测图像的缺陷类别是破损缺陷，在存在黑像素的列中黑像素个数等于图像列像素的总和的情况下，确定所述待检测图像的缺陷类别是第一黑条类型。

7.根据权利要求5所述的方法，其中，在缺陷检测响应集中用于检测当前候选缺陷类别的主特征的缺陷检测算法所对应的响应为“有响应”的情况下，将当前候选缺陷类别确定为所述待检测缺陷图像的缺陷类别，或者基于主特征的子特征来确定所述待检测缺陷图像的缺陷类别，包括：

在确定存在于待检测的缺陷图像中的缺陷是否为破损缺陷时，如果低阈值二值化算法对应的响应为“有响应”时，对图像二值图进行边缘检测，并且

在检测到缺陷区域边界为曲线的情况下，确定所述待检测图像的缺陷类别是破损缺陷，并且在检测到缺陷区域边界为竖直直线并且长度等于待检测缺陷图像的列长度的情况下，确定所述待检测图像的缺陷类别是第一黑条类型。

8.根据权利要求5所述的方法，其中，在缺陷检测响应集中用于检测当前候选缺陷类别的主特征的缺陷检测算法所对应的响应为“有响应”的情况下，将当前候选缺陷类别确定为所述待检测缺陷图像的缺陷类别，或者基于主特征的子特征来确定所述待检测缺陷图像的缺陷类别，包括：

在确定存在于待检测的缺陷图像中的缺陷是否为碎片缺陷时，如果黑白斑检测算法对应的响应为“有响应”时，并且在通过黑白斑检测算法确定是黑斑的情况下，确定所述待检测图像的缺陷类别是特殊不均，并且

在通过黑白斑检测算法确定是白斑的情况下，对白斑区域内的灰度值标准差进行分析，并且如果所述灰度值标准差小于第一预设阈值，则确定所述缺陷类别是碎片缺陷，如果所述灰度值标准差大于等于第一预设阈值，则确定所述缺陷类别是白点缺陷。

9.根据权利要求5所述的方法，其中，在缺陷检测响应集中用于检测当前候选缺陷类别的主特征的缺陷检测算法所对应的响应为“有响应”的情况下，将当前候选缺陷类别确定为所述待检测缺陷图像的缺陷类别，或者基于主特征的子特征来确定所述待检测缺陷图像的缺陷类别，包括：

在确定存在于待检测的缺陷图像中的缺陷是否为区域放电缺陷时，如果边缘密度检测算法对应的响应为“有响应”，则确定所述缺陷类别是区域放电缺陷。

10.根据权利要求5所述的方法，其中，在缺陷检测响应集中用于检测当前候选缺陷类别的主特征的缺陷检测算法所对应的响应为“有响应”的情况下，将当前候选缺陷类别确定为所述待检测缺陷图像的缺陷类别，或者基于主特征的子特征来确定所述待检测缺陷图像的缺陷类别，包括：

在确定存在于待检测的缺陷图像中的缺陷是否为线段放电缺陷时，如果霍夫变换直线检测算法对应的响应为“有响应”，对通过霍夫变换直线检测算法检测到的线段进行分析，并且：

在检测到线段在水平方向时，如果线段水平长度小于第二预设阈值，则确定所述待检测图像的缺陷类别是线放电缺陷，并且如果线段水平长度大于等于第二预设阈值，则确定所述待检测图像的缺陷类别是第二类型黑条缺陷。

11.根据权利要求5所述的方法，其中，在缺陷检测响应集中用于检测当前候选缺陷类别的主特征的缺陷检测算法所对应的响应为“有响应”的情况下，将当前候选缺陷类别确定为所述待检测缺陷图像的缺陷类别，或者基于主特征的子特征来确定所述待检测缺陷图像的缺陷类别，包括：

在确定存在于待检测的缺陷图像中的缺陷是否为灰带缺陷时，如果仅有竖直投影检测算法对应的响应为“有响应”，则确定所述缺陷类别是灰带缺陷。

12.一种缺陷图像的缺陷检测装置，包括：

处理器；和

存储器，其上存储有计算机可用指令，所述指令在由所述处理器执行时，使得所述处理器执行权利要求1-11中任一项的方法中的步骤。

13.一种计算机可读存储介质，其上存储有程序指令，所存储的程序指令可由处理器读取并执行，以使所述处理器执行权利要求1-11中任一项的方法中的步骤。