CN107534756A

CN107534756A - 用于缺陷检查应用的快速密度估计方法

Info

Publication number: CN107534756A
Application number: CN201680000106.9A
Authority: CN
Inventors: 邹卫文
Original assignee: Hong Kong Applied Science and Technology Research Institute ASTRI
Current assignee: Hong Kong Applied Science and Technology Research Institute ASTRI
Priority date: 2016-03-24
Filing date: 2016-03-29
Publication date: 2018-01-02
Anticipated expiration: 2036-03-29
Also published as: US9846929B2; WO2017161598A1; US20170278235A1; CN107534756B

Abstract

本发明提供一种高速空间密度估计算法，以在用于检查的图像处理领域中估计用于斑点分析的缺陷密度图。本发明的方法使用旋转的L1艾普西龙‑球邻域掩模以为目标像素中的每一个确定缺陷密度，从而生成用于对象的缺陷检测的缺陷密度图。本发明的方法能够提供高检测速度并且从图像基本消除了噪声的影响。

Description

用于缺陷检查应用的快速密度估计方法

本专利文件的公开内容的一部分包括受到版权保护的材料。该版权的拥有者不反对任何人对与专利商标局的专利文件或记录中一样的专利文件或专利公开内容的传真复制，但除此之外保留所有版权的任何权利。

技术领域

本发明涉及图像处理领域，并且更具体地，涉及用于缺陷检查的图像分析。

背景技术

制造中的缺陷检查是在生产过程期间执行检查。这种检查方法有助于通过在对产品进行检测后立即修复缺陷的源来控制产品的质量，并且对于希望提高生产率、减小缺陷率和减少返工和浪费的任何工厂都是有用的。通常关于部件纹理信息或高度信息进行缺陷信息的测量。在常规方法中，我们通常测量并考虑局部缺陷分布以确定区域是否具有缺陷。

许多高级的图像处理应用需要估计二值图像中斑点(blob)的空间密度。所述应用中的一种是在缺陷检查中从缺陷斑点去除噪声斑点。在这样的情形中，具有低密度的斑点区域将被视为噪声而其他区域将被视为缺陷。通过使用这种技术，用户可以轻易地将缺陷区域与低对比度和粗糙表面区分开来。按照这些思路，可以实现对于粗糙表面的自动光学检查(AOI)。

然而，密度估计几乎总是基于窗口搜索算法，其中所述算法需要进行全面搜索以估计每个空间位置(即，像素位置)的密度。举例来说，对于WxH大小的图像，现有的基于搜索的算法的复杂度为O(W*H*ε²)，其中ε²是邻域的大小，该领域可以是搜索窗口，O代表计算复杂度。我们能发现当ε²增加时复杂度急剧增加(增加2个数量级)。在具有高精度的视觉检查应用中，窗口尺寸总是很大的，例如50x50，这对应的复杂度将是在5x5情形中的复杂度的100倍。因此，斑点密度估计将被减慢并且高速检查将受到这种低速估计算法的拖累。

现有技术中需要一种高速空间密度估计算法，以在用于检查的图像处理领域中估计用于斑点(blob)分析的缺陷密度图。

发明内容

相应地，本发明提供一种用于缺陷检查的快速密度估计方法。

根据本发明的实施方式，一种通过使用缺陷密度估计检查对象的一个或多个缺陷的方法，所述方法包括：捕获对象的一个或多个图像；根据一个或多个捕获的图像估计缺陷响应；基于估计的缺陷响应生成包括一个或多个缺陷元素的二值矩阵；基于预定邻域半径为一个或多个捕获的图像的目标像素中的每一个确定第一邻域掩模；通过旋转第一邻域掩模通过预定角度来确定第二邻域掩模；基于二值矩阵确定对于在第二邻域掩模内的目标像素中的每一个的缺陷密度；以及基于目标像素的确定的缺陷密度确定对象的缺陷。

优选地，一个或多个捕获的图像中的每一个是二维灰度图像、彩色图像、深度图像或二值图像。

优选地，二值矩阵由二值化方法生成。

优选地，二值化方法包括将矩阵转换为二值矩阵的方法。

优选地，二值化方法包括适应性二值化方法或传统的二值化方法。

优选地，一个或多个缺陷元素中的每一个均是非零元素。

优选地，一个或多个缺陷元素中的每一个均是零元素。

优选地，第一邻域掩模是第一L1艾普西龙-球(epsilon-ball)邻域掩模。

优选地，预定邻域半径是目标像素和第一邻域掩模的边缘处任意点之间的曼哈顿距离(Manhattan distance)。

优选地，预定邻域半径是基于对象的输入缺陷图像数据和预测模型计算的最优邻域半径。

优选地，预测模型通过进行数据融合过程和基于回归的学习过程而确定。

优选地，预定邻域半径是通过基于机器学习的过程确定的最优邻域半径。

优选地，基于机器学习的过程包括进行数据融合过程和基于回归的学习过程以生成预测模型；以及基于一个或多个捕获的图像的数据和预测模型计算最优邻域半径。

优选地，预定角度是45度、135度、225度或315度。

优选地，缺陷密度通过计数二值矩阵的缺陷元素而确定。

优选地，所述方法还包括基于目标像素的确定的缺陷密度生成缺陷密度图，用于确定对象的缺陷，以及根据缺陷密度图对一个或多个捕获的图像的噪声分类以输出缺陷图像。

优选地，所述方法还包括基于目标像素的确定的缺陷密度对来自一个或多个捕获的图像的缺陷像素和噪声像素分类以输出缺陷图像；以及利用一个或多个形态学操作或斑点滤波针对几何大小、连接像素的面积或减少噪声像素的方面对缺陷图像进行后处理。

优选地，该一个或多个形态学操作包括数字图像处理环境中的腐蚀、膨胀、开运算和/或闭运算。

优选地，基于目标像素的确定的缺陷密度利用一个或多个缺陷密度图像完成对缺陷像素和噪声像素分类的步骤。

附图说明

在下文中参考附图更加详细地描述本发明的实施方式，在附图中：

图1是根据本发明的一种实施方式的用于缺陷检查的密度估计方法的流程图；

图2A示意了根据本发明的一种实施方式的在捕获的图像和对应的二值图像之间的转换；

图2B示意了根据本发明的一种实施方式的通过使用提出的邻域掩模估计的缺陷密度图；

图3A描绘了具有分布在内部的缺陷/噪声像素的二值矩阵；

图3B描绘了根据现有技术通过使用圆形邻域从二值矩阵到缺陷密度图的生成；

图4A示意了圆形掩模和第一邻域掩模之间的对于邻域边界的比较。

图4B描绘了根据本发明的一种实施方式的从第一邻域掩模到第二邻域掩模的旋转。

图5示意了本发明的方法(A)和常规方法(B)-(C)之间的误差比较。

图6示出了根据本发明的一种实施方式的基于机器学习的优化方法的流程图；

图7示出了通过使用不同的估计方法(A)-(C)的密度估计结果；以及

图8示出了传统的估计方法和本发明之间的用于缺陷密度估计的时间的比较。

具体实施方式

在下列描述中，作为优选例子，阐述了一种通过使用缺陷密度估计来检查对象的一个或多个缺陷的方法。将对于本领域内技术人员来说显而易见的是，可以进行包括添加和/或替换的修改而不背离本发明的范围和精神。可以省略具体的细节以便不模糊本发明；然而，本公开文件写得能够使得本领域技术人员在没有过度实验的情况下实施本文的教导。

鉴于前述的背景技术，本发明的目的在于提供一种空间密度算法以估计用于缺陷检查的缺陷密度图。

图1是根据一种实施方式的用于缺陷检查的密度估计方法的流程图。如在图1中示出的，步骤11是为了在对象的表面上针对缺陷估计捕获一个或多个图像。在一种实施方式中，图像被顺序地捕获作为对象的表面上的块。在步骤12中，捕获的图像被转换为二值矩阵用于密度估计。图2A示意了根据一种实施方式的在捕获的图像和对应的二值图像之间的转换。如在图2A中示出的，呈白色的像素代表缺陷和/或噪声，而呈黑色的像素表示良好区域。在备选实施方式中，代表缺陷和/或噪声的像素可以被设置为黑色而代表良好区域的像素可以被设置为白色。

在步骤13中，通过基于机器学习的过程计算最优邻域值(∈)，该最优邻域值用于确定二值矩阵的每个缺陷/噪声像素的邻域掩模。在步骤14中，对于二值矩阵的每个像素，基于最优邻域值L1计算第一邻域掩模。在这之后，通过旋转第一邻域掩模通过预定角度而确定第二邻域掩模。之后，可以在第二邻域掩模内估计对于对应像素的缺陷密度。

在通过步骤14确定了对于所有像素的缺陷密度之后，可以在步骤15中创建如在图2B中示出的缺陷密度图以将真实缺陷与噪声区分开来。

在备选实施方式中，仅对于二值矩阵中至少部分像素的缺陷密度，即仅缺陷/噪声像素，才需要被计算以形成缺陷密度图。

下面是对步骤13和步骤14的详细描述。

缺陷的密度代表缺陷像素在空间域中的局部特征。其通常的计算方法是计数以某个像素为中心的邻域片块中缺陷像素的数目/平均数目。通常，缺陷的密度与缺陷像素的分布的性质有关。图3A描绘了具有分布在感兴趣的表面上的缺陷/噪声像素的二值矩阵。如在图3A中示出的，具有高密度缺陷的区域指的是真实缺陷。具有低密度缺陷的区域指的是噪声，即灰尘。因此，有必要为二值矩阵确定缺陷密度图以分类哪些是真实缺陷像素而哪些是噪声。

在这样的情况下，窗口搜索方法可以被用于估计缺陷密度并生成缺陷密度图。在常规方法中，对于二值矩阵的每个像素，总是将圆形邻域掩模用于窗口搜索以估计在一个像素周围的掩模区域内的缺陷密度。图3B描绘了根据现有技术方法通过使用圆形邻域从二值矩阵到缺陷密度图的生成。如在图3B中示出的，在限定圆形邻域掩模之后，可以通过计数边界框区域内的缺陷像素的数目/平均数目计算在掩模内的缺陷密度。在已经计算所有像素的缺陷密度之后，可以基于计算的缺陷密度生成缺陷密度图。

然而，通过使用这种方法，对于缺陷密度(表示为像素(i,j)的d(i,j))的计算复杂度相对较高，如下面所示：

其中i和j代表像素的坐标，ε代表圆形掩模半径，I表示缺陷响应(例如，二值图像矩阵或灰度图像，其中强度代表缺陷程度)，K表示用于密度估计的核矩阵(通常其是宽度和高度为2∈的代表球形的方型矩阵)，N表示像素的邻域(其在数字图像上下文中由核掩模代表)。对于像素(i,j)，复杂度为O(ε²)。

在本发明中，使用优化的邻域值以创建邻域掩模，并且计算复杂度将会如下面说明地显著降低。

在一种实施方式中，对于二值矩阵的每个像素，基于邻域值ε计算第一邻域掩模。在一种实施方式中，像素可以是第一领域掩模的中心。并且第一邻域掩模确定中心和掩模的边缘处的任意点之间的曼哈顿距离等于邻域值ε。图4A示意了圆形掩模和第一邻域掩模之间的邻域边界的比较。如在图4A的右侧示出的，通过使用曼哈顿距离来限定邻域掩模，掩模可以是菱形，而不是在左侧的圆形。在这之后，可以通过旋转第一邻域掩模绕预定角度而确定第二邻域掩模。在一种实施方式中，可以通过将第一邻域掩模旋转45度、135度、225度或315度而确定第二邻域掩模。总体上，预定角度可以为(45+nx90)度，其中n是任意整数。图4B描述了从第一邻域掩模到第二邻域掩模的旋转。在旋转之后，最终的掩模可以是如在图4B的右侧示出的正方形掩模。然后可以在第二邻域掩模内估计对应像素的缺陷密度。

在这样的情况下，通过下面的等式给出缺陷密度：

N(i，j)＝{(n，m)||n-i|＜ε′，|m-j|＜ε′}

其中i和j代表像素的坐标，ε代表中心和掩模的边缘处任意点之间的旋转的曼哈顿距离。

显而易见，与常规方法相比，通过使用L1范数取代L2范数、去除核掩模项和减少重复计算，计算复杂度得以显著简化。

本发明的优点主要包括两方面。第一，与常规方法相比，可以减少由于离散化造成的误差。图5示意了请求的方法和常规方法之间的误差比较。如图5A示出的，由于邻域掩模是正方形，因此在掩模内部的所有像素能够被整体地包含并且与掩模细致地匹配。然而，如图5B和5C示出的，由于邻域掩模呈圆形，因此在掩模的边缘处的像素不能被包含并且其将造成离散误差。

第二，由于减少了计算复杂度，因此可以缩短处理时间。另外，由于新的邻域掩模更加规则，所以可以对高速数据存取实现内存对齐；可以容易地应用高级计算机指令集，例如MMX/SSE3/NEON；可以容易地应用高级计算架构，例如GPU/多核处理/DSP。

在一种实施方式中，邻域值ε应当确定最优值以增强最终性能，例如准确度和检测速度。可以将基于机器学习的优化用于邻域构建。图6示出了根据一种实施方式的基于机器学习的优化方法的流程图。首先，在步骤61中参数缺陷标定真实(defect ground true)数据g以及密度和艾普西龙对(di,εi)被输入到数据融合单元中用于数据融合。然后，在步骤62中来自数据融合单元的输出数据通过基于回归的学习模块而被学习，用于在步骤63中创建学习模型并且在步骤64中建立模型的数据库。

在操作过程中，可以将具有初步限定的邻域值ε的二值矩阵的参数输入到预测模型单元中以在步骤65中基于存储在数据库中的学习模型预测合适的模型。基于预测模型，在步骤66中可以确定最优邻域值ε’。

图7示出通过使用不同的估计方法的密度估计结果。如在图7A中示出的，缺陷密度图是通过利用圆形掩模的传统方法的估计结果。如在图7B中示出的，缺陷密度图是利用上面描述的第一邻域掩模的邻域方法。如在图7C中示出的，缺陷密度图是利用上面描述的第二邻域掩模的邻域方法。显而易见，图7C的缺陷密度图比其他两个图更加准确。

图8示出了传统的估计方法和本发明之间的用于缺陷密度估计的时间的比较。如在图8中示出的，带点的线代表基于传统的窗口搜索的方法，而平滑的线代表本发明提出的方法。如从图8清楚地示出的，本发明提出的方法比传统方法快得多。

根据本发明，限定了一种利用新的邻域掩模以对于对象的捕获图像估计缺陷密度的缺陷密度估计方法，以增强缺陷密度估计的准确度和效率。

本文公开的实施方式可以使用通过或专用计算设备、计算机处理器或电子电路实施，电子电路包括但不限于数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)和根据本公开的教导被配置或编程的其他可编程逻辑器件。运行在通过或专用计算设备、计算机处理器或可编程逻辑器件中的计算机指令或软件代码可以由软件或电子领域中的技术人员基于本公开的教导而容易地制备。

在一些实施方式中，本发明包括计算机存储介质，其具有存储在其中的能够被用于编程计算机或微处理器以执行本文的任意过程的计算机指令或软件代码。所述存储介质可以包括但不限于：软盘、光盘、蓝光盘、DVD、CD-ROM和磁光盘、ROM、RAM、闪存装置或适用于存储指令、代码和/或数据的任何类型的介质或装置。

已经提供了本发明的前述描述用于示意和说明的目的。并未意欲穷尽本发明或将本发明限定于公开的精确形式。许多修改和变型对于本领域内的技术人员来说将是显而易见的。

选择并描述了上述实施方式以便最好地说明本发明的原理和其实际应用，从而使得本领域内的其他技术人员能够理解本发明的各种实施方式和适于预想的特定引用的各种修改。本发明的范围应当由随附的权利要求以及其等价物限定。

Claims

1.一种通过使用缺陷密度估计检查对象的一个或多个缺陷的方法，所述方法包括：

捕获对象的一个或多个图像；

根据一个或多个捕获的图像估计缺陷响应；

基于估计的缺陷响应生成包括一个或多个缺陷元素的二值矩阵；

基于预定邻域半径为一个或多个捕获的图像的目标像素中的每一个确定第一邻域掩模；

通过旋转第一邻域掩模通过预定角度来确定第二邻域掩模；

基于二值矩阵确定对于在第二邻域掩模内的目标像素中的每一个的缺陷密度；以及

基于目标像素的确定的缺陷密度确定对象的缺陷。

2.根据权利要求1所述的方法，其中，一个或多个捕获的图像中的每一个是二维灰度图像、彩色图像、深度图像或二值图像。

3.根据权利要求1所述的方法，其中，所述二值矩阵由二值化方法生成。

4.根据权利要求3所述的方法，其中，所述二值化方法包括将矩阵转换为二值矩阵的方法。

5.根据权利要求3所述的方法，其中，所述二值化方法包括适应性二值化方法或传统的二值化方法。

6.根据权利要求1所述的方法，其中，一个或多个缺陷元素中的每一个均是非零元素。

7.根据权利要求1所述的方法，其中，一个或多个缺陷元素中的每一个均是零元素。

8.根据权利要求1所述的方法，第一邻域掩模是第一L1艾普西龙-球邻域掩模。

9.根据权利要求1所述的方法，其中，所述预定邻域半径是目标像素和第一邻域掩模的边缘处任意点之间的曼哈顿距离。

10.根据权利要求1所述的方法，其中，所述预定邻域半径是基于对象的输入缺陷图像数据和预测模型计算的最优邻域半径。

11.根据权利要求10所述的方法，其中，预测模型通过进行数据融合过程和基于回归的学习过程而确定。

12.根据权利要求1所述的方法，其中，所述预定邻域半径是通过基于机器学习的过程确定的最优邻域半径。

13.根据权利要求12所述的方法，其中，所述基于机器学习的过程包括：

进行数据融合过程和基于回归的学习过程以生成预测模型；以及

基于所述一个或多个捕获的图像的数据和所述预测模型计算最优邻域半径。

14.根据权利要求1所述的方法，其中，所述预定角度是45度、135度、225度或315度的角度。

15.根据权利要求1所述的方法，其中，所述缺陷密度通过计数二值矩阵的缺陷元素而确定。

16.根据权利要求1所述的方法，还包括：

基于所述目标像素的确定的缺陷密度生成缺陷密度图，用于确定对象的缺陷。

17.根据权利要求16所述的方法，还包括：

根据所述缺陷密度图对所述一个或多个捕获的图像的噪声分类以输出缺陷图像。

18.根据权利要求1所述的方法，还包括

基于目标像素的确定的缺陷密度对来自一个或多个捕获的图像的缺陷像素和噪声像素分类以输出缺陷图像；以及

利用一个或多个形态学操作或斑点滤波针对几何大小、连接像素的面积或减少噪声像素的方面对缺陷图像进行后处理。

19.根据权利要求18所述的方法，其中，所述一个或多个形态学操作包括数字图像处理环境中的腐蚀、膨胀、开运算和/或闭运算。

20.根据权利要求18所述的方法，其中，基于目标像素的确定的缺陷密度利用一个或多个缺陷密度图像完成对缺陷像素和噪声像素进行分类的步骤。