CN110874837B - 一种基于局部特征分布的缺陷自动检测方法 - Google Patents

Abstract

本发明公开了一种基于局部特征分布的缺陷自动检测方法，包括以下步骤：首先采集到的图像进行预处理，包括坐标校正及高斯滤波，以达到过滤信号噪声的目的。然后建立数据集，提取数据集的特征，并计算特征的分布。最后通过比较检测点局部特征分布与参考点局部特征分布距离来判定待检测点是否为缺陷点。本发明基于检测点局部特征分布距离差进行异常性检测，稳定性好、精度高。

Description

一种基于局部特征分布的缺陷自动检测方法

技术领域

本发明涉及AOI(自动光学检测)领域，尤其涉及一种基于局部特征分布的缺陷检测方法。

背景技术

自动光学检测具有非接触性，经济性，灵活性和集成性等优点，在工业测试与在线检测领域具有广泛的应用前景。在目前液晶面板行业对晶元缺陷检测过程中是不可或缺的关键步骤之一。传统的人工检测的方法具有工作量大，效率低，且不能检测所有类型缺陷等问题。近年来，随着机器视觉技术的发展，基于图像处理技术的液晶显示器(LCD)、有机发光二极管(OLED)等各种制造工艺缺陷检测得到了广泛的应用。由于具有高准确性、高效性、低成本、无损伤等特性，使得机器视觉在缺陷检测领域具有重要的意义。

目前缺陷检测方可以分为两类：有参考图像检测和无参考图像检测。有参考图像检测是将检测图像的特征与相关参考图像进行对比，进而得到缺陷区域；无参考图像检测为检查图像的特征是否满足无缺陷的条件。大部分研究主要集中在有参考图像检测中，每种方法都有各自的缺点。最简单常用的方法是基于灰度比较方法，即将检测图像的强度减去相关参考图像的强度，再根据给定阈值判断是否为缺陷，该方法简单易于实现，但由于该方法基于减法，易受光照变化的影响。另一种利用两幅图像间归一化相关的方法(NCC)，基于NCC的方法通过计算两幅图像子区域的相似度来检测缺陷，但这种方法对噪声和对齐比较敏感。还有一种方法利用核密度估计(KDE)构造了一幅正常图像的概率模型，并将其作为特征值的似然值，与先验的均匀分布相结合，用图像分割算法确定每个像素的正常性，该方法在高维数据中存在维数问题。

发明内容

本发明提出一种稳定、高精度的根据局部特征分布距离差进行异常值和缺陷点检测的方法。

虽然某些缺陷与正常数据点的差异很小，但是可以通过考虑偏差的方向来区分；缺陷点局部分布与其他正常数据点局部分布在同一方向上会有较大差异。基于这种特性，本发明引入了数据点的局部特征高斯分布的概念，通过比较数据点的局部特征高斯分布来计算数据的离散度，进而判断是否为缺陷。

具体的，本发明提供了一种基于局部特征分布的缺陷自动检测方法，包括以下步骤：

获取待检测样本图像数据；

对所述图像数据进行高斯滤波，去除图像信号噪声；

对高斯滤波后的检测图像与参考图像做坐标校正，以得到精确的参考坐标；

建立局部数据集，提取局部数据集合特征并收集有效的数据集；

利用所述有效数据集计算局部分布模型；

计算检测点的局部分布与参考数据的局部分布的距离；

通过所述距离判断当前检测点异常性，并标记。

进一步地，所述对图像数据进行高斯滤波，公式为：其中xy为图像二维坐标，这里采用核大小为5*5，标准差为1.0的整数值高斯核，如下：

进一步地，所述对高斯滤波后的检测图像与参考图像做坐标校正，公式如下：

式中(x_i1，y_i1)i∈{1，2，…，N}代表检测图像中待校正点坐标，(x_i2，y_i2)i∈{1，2，…，N}代表参考图像中相应点坐标。

进一步地，所述建立局部数据集，包括：局部数据集合建立，对局部数据集合进行特征提取建立局部特征数据集合，有效数据集选取。

进一步地，所述建立局部数据集，具体实现方法是：给定一个检测图像I₀和n个大小相同的参考图像I₁，I₂，…，I_n，待检测点(x，y)的局部像素集合P(x，y)由待检测点像素值，以及参考图像位于(x，y)位置的窗口W内所有像素组合而成，P(x，y)＝{I(i，u，v)}，其i∈{0，1…n}，u∈{x-W，…，x，x+W}，v∈{y-W，…，y+W}。

进一步地，所述对局部数据集合进行特征提取建立局部特征数据集合D(x，y)：D(x，y)＝{f(i，u，v)}，其中

(i，u，v)∈P(x，y)

进一步地，计算局部分布模型，包括以下步骤：

首先将局部特征数据集转换为以数据点p点为中心的数据集CLDS，CLDS定义为：

CLDS(p)＝{x|x＝(q-p)，q∈NK(p)}

其中NK(p)表示数据点p的K近邻。当邻居是在一个足够小的区域内形成的，局部分布用高斯分布近似表示，则给定数据点p局部分布模型表示为：ld(p)＝(μ_p1，σ_p1，…，μ_pn，σ_pn)，其中μ_pi为均值，σ_pi为协方差，i∈{1，2…，n}。

进一步地，所述计算检测点的局部分布与参考数据的局部分布的距离，包括：通过比较数据点的局部高斯分不差来计算数据的离散度，定位为：LGADD(p)＝∑_q∈NK(p)D_ld(ld(p)，ld(q))/|NK(p)|，其中D_ld表示待检测点局部分布与参考数据局部分布之间的距离。与现有技术相比，本发明的有益效果是通过待检测点邻居内的局部特征分布距离来判定其异常性，检测精度高，又由于局部分布中包含了邻域内不同位置的像素，因此本发明可以适用于图像存在少量形状变化的情况；本发明还可以进一步扩充，使得利用此方法来适应更多的待检测异常。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1为本发明的一种基于局部特征分布的缺陷自动检测方法流程图；

图2为本发明的构建用于图像像素缺陷检测的数据集示意图；

图3为本发明预处理后图像的检测方法详细流程图；

图4为本发明的缺陷原图区域与检测结果图。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施方式。虽然附图中显示了本公开的示例性实施方式，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

如图1所示，本发明的目标是检测对比度较低缺点。计算过程如下：

1.图像采集

利用TDI(time Delayed and Integration)CCD获取待检测屏幕的图像。

然后进行图像预处理，包括去噪处理和坐标校正。

2.去噪处理

通过TDI-CCD获取到的图像较大，其中不仅包含了待检测区域，还包含些非检测的区域，所以接收到图像后，首先根据输入的区域标定信息，对图像做分割。对分割后的图像做滤波处理，去除图像中的噪声，这里选用高斯滤波，本实例选用大小为5*5，标准差为1.0的整数高斯核

3.坐标校正

由于每次采集的图像或多或少会有些偏差，为了得到更精准的检测结果，需要将检测图像与参考图像做坐标校正。检测图像与参考图像的位置偏差可以通过相同特征点的坐标差得到，为了提高准备性，计算多个点的偏差均值：

式中(x_i1，y_i1)i∈{1，2，…，N}代表检测图像中待校正点坐标，(x_i2，y_i2)i∈{1，2，…，N}代表参考图像中相应点坐标。每张玻璃在相同位置都印有相同的Mask标志，因此可以通过Mask定位点来进行坐标校正。

4.建立数据集

本实例中一个数据集是由待检测数据点与相关的N个参考图像数据点组成，通过计算特征点位置的数据分布与其邻居的数据分布的离散度来确定是否为缺陷。如图3所示，为预处理后图像检测过程示意图，包括以下过程：

A.局部数据集合提取特征

给定一个待检测图像I₀和n个参考图像I₁，I₂，…，I_n，所有图像大小相同，待检测点(x，y)的局部像素集合P(x，y)由待检测点像素值，以及参考图像位于(x，y)位置的窗口W内所有像素组合而成，

P(x，y)＝{I(i，u，v)}，其i∈{0，1…n}，u∈{x-W，…，x，x+W}，v∈{y-W，…，y+W}

如图2所示，对于P(x，y)中的每个像素提取特征向量，构成数据集D(x，y)：

D(x，y)＝{f(i，u，v)}，其中

(i，u，v)∈P(x，y)

具体构造过程：

1)以检测位置(x，y)为中心，W为半径窗口内的所有像素点，记为一组P(x，y)，这里取3。

2)本实例中，对P(x，y)中每个像素中提取7个特征向量：强度、x和y位置、灰度均值、最大灰度值、最小灰度值、灰度标准方差，所有的特征向量组合构成了数据集D(x，y)。

由于P(x，y)中包含了参考图像中(x，y)不同位置的一些像素，因此本发明方法可以适用于图像存在一些少量的形状变化。

B.收集有效的数据集

在创建的所有数据集中收集检测点P的K近邻内所有的数据点作为有效的数据集；p的K近邻定义为，数据点到P的欧几里得距离小于阈值k-limit(p)：

NK(p)＝{q∈D，D：d(p，q)≤k-limit(p)，p≠q}

5.计算局部特征分布模型

设数据点P的局部分布模型用Id(p)表示，是由数据集NK(p)得到的。由于局部分布是为了表示NK(p)在数据点p周围的分布模型，这里使用以P点为中心的数据集CLDS构成，CLDS定义为：

CLDS(p)＝{x|x＝(q-p)，q∈NK(p)}

由于NK(p)中的数据点坐标是由P坐标转换而成，因此不管原始数据点绝对坐标如何，数据及CLDS(p)都反映了p与其邻居的相对位置。

由于本实例选取邻居范围很小，当邻居是在一个足够小的区域内形成的，局部分布可以用高斯分布近似表示，则给定数据点p局部分布模型可以表示为：

ld(p)＝(μ_p1，σ_p1，…，μ_pn，σ_pn)，其中μ_pi为均值，σ_pi为协方差，i∈{1，2…，n}

本实例中n＝7。

6.计算局部特征分布差

这里通过比较数据点的局部高斯分布差来计算数据的离散度。定义为：

其中d_ld表示带检测点局部分布与参考数据局部分布之间的距离。由于本实例中用高斯分布来表示数据局部分布，因此需要选择一种适合于测量高斯分布之间距离的方法，这里选择使用Fisher距离，定义为：

则计算检测数据分布Id(p)与参考数据分布Id(q)之间的距离为：

其中D_F(ld(p)，ld(q))是p点局部分布与q点局部分布的Fisher距离，除以N的平方根是为了防止数据维数很高时距离过大，本实例中N＝7。

7.标记并输出结果

最后通过标记功能标记每个检测点，标记函数为：

Flag(x，y)值为255时表示该点为异常点，否则为正常点。图4为本发明的缺陷原图区域与检测结果图。由图4看出，本发明通过待检测点邻居内的局部特征分布距离来判定其异常性，检测精度高，又由于局部分布中包含了邻域内不同位置的像素，因此本发明可以适用于图像存在少量形状变化的情况。

本发明是以检测数据点与参考数据点的局部特征分布距离差来判定检测点的奇异性，最终实现缺陷的检测。在高精度视觉测量要求行业有着极大的应用价值；本发明还可以进一步扩充，使得利用此方法来适应更多的待测特征(平板显示产品的缺陷检测，PCB缺陷检测等)的测量。

需要说明的是：

在此提供的算法和显示不与任何特定计算机、虚拟装置或者其它设备固有相关。各种通用装置也可以与基于在此的示教一起使用。根据上面的描述，构造这类装置所要求的结构是显而易见的。此外，本发明也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明的内容，并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。

在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。

类似地，应当理解，为了精简本公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。

本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。

此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。

本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的虚拟机的创建装置中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。

应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (5)

1.一种基于局部特征分布的缺陷自动检测方法，其特征在于，包括以下步骤：

获取待检测样本图像数据；

对所述图像数据进行高斯滤波，去除图像信号噪声；

对高斯滤波后的检测图像与参考图像做坐标校正，以得到精确的参考坐标；

建立局部数据集，提取局部数据集合特征并收集有效数据集，包括：局部数据集合建立，对局部数据集合进行特征提取建立局部特征数据集合，有效数据集选取；所述建立局部数据集，具体实现方法是：给定一个检测图像I₀和n个大小相同的参考图像I₁，I₂，…，I_n，待检测点(x,y)的局部像素集合P(x,y)由待检测点像素值，以及参考图像位于(x,y)位置的窗口W内所有像素组合而成，P(x，y)＝{I(i，u，v)}，其i∈{0，1…n}，u∈{x-W，…,x，x+W}，v∈{y-W,…,y+W}；在创建的所有数据集中收集检测点P的K近邻内所有的数据点作为有效的数据集；

利用所述有效数据集计算局部分布模型，包括以下步骤：

首先将局部特征数据集合转换为以数据点p点为中心的数据集CLDS，CLDS定义为：

CLDS(p)＝{x|x＝(q-p),q∈NK(p)}

其中NK(p)表示数据点p的K近邻，当邻居是在一个足够小的区域内形成的，局部分布用高斯分布近似表示，则给定数据点p局部分布模型表示为：

ld(p)＝(μ_p1,σ_p1,…,μ_pi,σ_pi,…,μ_pn，σ_pn)，其中μ_pi为均值，σ_pi为协方差，i∈{1，2…，n}

计算检测点的局部分布与参考数据的局部分布的距离；

通过所述距离判断当前检测点异常性，并标记。

2.根据权利要求1所述的一种基于局部特征分布的缺陷自动检测方法，其特征在于：所述对图像数据进行高斯滤波，公式为：其中xy为图像二维坐标，这里采用核大小为5*5，标准差为1.0的整数值高斯核，如下：

3.根据权利要求1所述的一种基于局部特征分布的缺陷自动检测方法，其特征在于：所述对高斯滤波后的检测图像与参考图像做坐标校正，公式如下：

式中(x_i1，y_i1)i∈{1，2，…，N}代表检测图像中待校正点坐标，(x_i2，y_i2)i∈{1，2，…，N}代表参考图像中相应点坐标。

4.根据权利要求1的方法，其特征在于，所述对局部数据集合进行特征提取建立局部特征数据集合D(x，y)：D（x，y)＝{f(i，u，v)}，其中

分别表示强度、灰度均值、最大灰度值、最小灰度值、灰度标准方差，所有的特征向量组合构成了数据集D(x，y)。

5.根据权利要求1所述的一种基于局部特征分布的缺陷自动检测方法，其特征在于，所述计算检测点的局部分布与参考数据的局部分布的距离，包括：通过比较数据点的局部高斯分布差来计算数据的离散度，定义为：LGADD(p)＝∑_q∈NK(p)D_ld(ld(p)，ld(q))/|NK(p)|，其中D_ld表示待检测点局部分布与参考数据局部分布之间的距离。