CN112419296A - 微纳光学元件表面缺陷检测方法及图像分割方法 - Google Patents

Abstract

本申请公开了一种微纳光学元件表面缺陷检测方法以及用于在检测中分割粘连的缺陷区域的图像分割方法。所述方法包括：获取微纳光学元件的表面缺陷分布图；对表面缺陷分布图中的缺陷区域进行距离变换，得到灰度图像；进行灰度拉伸，得到拉伸图像；利用分水岭算法进行图像分割，分割得到的多个分割区域形成分割图形；以及对位于两个以上分割区域中的单个缺陷区域进行分割，得到经校正的缺陷区域。根据本发明实施例，基于距离变换、灰度拉伸和分水岭算法对微纳光学元件表面的缺陷区域再次进行分析，对以“腰形”连接区域为特征的粘连的缺陷区域进行校正，提高了微纳光学元件表面缺陷检测的准确率。

Description

微纳光学元件表面缺陷检测方法及图像分割方法

技术领域

本发明总体上涉及微纳光学元件检测技术，具体地涉及用于微纳光学元件的表面缺陷检测方法以及用于在微纳光学元件表面缺陷检测过程中分割粘连的缺陷区域的图像分割方法。

背景技术

微纳光学是目前光电子产业的重要发展方向，在光通信、光互联、光存储、半导体器件等诸多领域，发挥了巨大作用。微纳光学元件，通常而言，是指通过光刻、电沉积或微纳米压印等手段，在材料中引入微纳光学结构从而实现新型光学功能的微纳米级别的元件。微纳光学元件例如包括DOE(衍射光学元件,Diffractive Element)、MLA(微透镜阵列,Micro Lens Array)和超表面(metasurface)光学器件等。

微纳光学元件由于具有微纳米量级尺寸的精密光学结构，所以其制造加工的精度要求高，成本也高。后续产品缺陷检测结果的准确度对于制造加工的整体效率影响很大。一方面，应通过缺陷检测防止超过缺陷管控标准的不合格产品流入市场；另一方面，也要防止将尚处在缺陷管控标准内的合格产品误判为不合格产品，而导致生产效率降低，成本不合理地上升。现有的微纳光学元件表面缺陷检测技通常利用人工肉眼来进行，不但效率低，而且准确性上也不一致，有待于进一步改善。

发明内容

本发明的目的是提供一种改进的微纳光学元件表面缺陷检测方法以及一种用于在微纳光学元件表面缺陷检测过程中分割粘连的缺陷区域的图像分割方法，所述方法至少部分地克服了现有技术中的不足。

根据本发明的一个方面，提供了一种图像分割方法，其用于在微纳光学元件表面缺陷检测过程中分割粘连的缺陷区域。所述方法包括：

获取微纳光学元件的待测表面的表面缺陷分布图，表面缺陷分布图中标示出对应于待测表面上的缺陷的多个缺陷区域；

对表面缺陷分布图中的缺陷区域进行距离变换，得到距离变换后的灰度图像；

对灰度图像进行灰度拉伸，得到拉伸图像；

基于拉伸图像利用分水岭算法进行图像分割，分割得到的多个分割区域形成分割图形；以及

基于表面缺陷分布图以及分割图形，对位于两个以上分割区域中的单个缺陷区域进行分割，得到经校正的缺陷区域。

在有利的实施例中，对表面缺陷分布图中的缺陷区域进行距离变换包括：对灰度值进行赋值，使得各个缺陷区域内的像素的灰度值为该像素与该缺陷区域的边界之间所间隔的最小像素数量。所述方法还可以包括：对表面缺陷分布图进行处理，使得缺陷区域外的像素的灰度值为0。

在有利的实施例中，灰度拉伸包括：确定灰度拉伸倍率M＝G/g，其中G为拉伸图像中的最大目标灰度值，g为灰度图像中的最大实际灰度值g；以及将灰度图像中所有像素灰度值乘以拉伸倍率M并取整。

所述方法还可以包括：在利用分水岭算法进行图像分割之前，对拉伸图像进行反相处理，使得反相后的拉伸图像中各个像素的灰度值为预设的最大目标灰度值与反相前拉伸图像中的该像素的灰度值的差值。

所述方法还可以包括：在利用分水岭算法进行图像分割之前，对反相后的拉伸图像进行高斯滤波，消除噪声。

在有利的实施例中，基于表面缺陷分布图以及分割图形对位于两个以上分割区域中的单个缺陷区域进行分割，可以包括：

以预定腐蚀半径对分割图形进行图像形态学腐蚀，使分割图形中的各个分割区域彼此分离，得到腐蚀后的分割区域；以及

取表面缺陷分布图中的各个缺陷区域与腐蚀后的分割区域的交集区域，得到经校正的缺陷区域。

在有利的实施例中，所述取所述表面缺陷分布图中的各个缺陷区域与所述腐蚀后的分割区域的交集区域包括：

将表面缺陷分布图二值化；以及

将二值化后的表面缺陷分布图中的各个缺陷区域与腐蚀后的分割区域进行灰度值的与运算。

根据本发明的另一个方面，提供了一种用于微纳光学元件的表面缺陷检测方法，该方法包括：

对微纳光学元件待测表面进行图像采集，获得待测表面图像；

对待测表面图像进行图像处理，提取出对应于待测表面上的缺陷的缺陷区域，形成表面缺陷分布图；

基于表面缺陷分布图执行上述图像分割方法，得到经校正的缺陷区域；

基于经校正的缺陷区域，计算待测表面的缺陷的尺寸。

在有利的实施例中，所述对待测表面图像进行图像处理，提取出缺陷区域，形成表面缺陷分布图，是通过自动光学检测设备实现的。

根据本发明实施例，基于距离变换、灰度拉伸和分水岭算法对微纳光学元件表面的缺陷区域再次进行分析，对以“腰形”连接区域为特征的粘连的缺陷区域进行校正，提高了微纳光学元件表面缺陷检测的准确率。

附图说明

通过阅读参照以下附图所作的对非限制性实施例的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1示出了微纳光学元件表面的粘连缺陷区域的一个示例；

图2为根据本发明实施例一的图像分割方法的流程图；

图3示意性地示出了图2所示图像分割方法的各项处理得到的图像的示例；

图4为根据本发明实施例二的图像分割方法的流程图；

图5示意性地示出了图4所示图像分割方法的各项处理得到的图像的示例；

图6示出了一种示例性方法，该方法用于实现图4所示方法中取各缺陷区域与分割区域的交集区域的处理；以及

图7为根据本发明实施例的微纳光学元件表面缺陷检测方法的流程图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。为了便于描述，附图中仅示出了与发明相关的部分。

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。

本发明的发明人发现：在对微纳光学元件进行表面缺陷检测时，例如通过AOI(自动光学检测，Automated Optical Inspection)技术进行检测时，有些缺陷区域会被“蜂腰”形状的邻接区域粘连起来。在一些情况下，基于该粘连的区域计算得到的缺陷尺寸会超过微纳光学元件表面缺陷的管控标准，造成相应的产品被当成废片处理；而产品实际的单个缺陷的尺寸均不超过管控标准。这种检测结果属于误判。

为了便于理解，图1以示例的方式示出了微纳光学元件表面的粘连缺陷区域的一个示例，其中左边示出了产品的灰度图像，右边示出了上述灰度图像经AOI检测提取得到的缺陷区域分布图。根据微纳光学元件的设计和制造加工工艺，图1中附图标记“a”所指的区域可能是根据微纳光学元件的设计而形成的设计区域(例如MLA中两个邻接的微透镜之间形成的形貌平坦的区域)，也可能是制造加工中形成的缺陷区域(例如在转印过程中发生脱胶而造成的平坦区域)，所以区域a是有待于检测尺寸大小以判断是否为缺陷的区域；而附图标记“b”所指的区域通常为由于两个区域a的毗邻而造成的区域，在该区域b中也存在与区域a中相同的形貌(例如脱胶而造成的低洼、平坦的形貌)，从而将两个区域a粘连起来。区域b经常形成为“蜂腰”形区域，如图1所示。在缺陷检测时，需要测量的是各个区域a的尺寸，从而判断区域a是否属于缺陷；但是由于区域b的粘连，如果将两个区域a当做一个整体的区域来测量尺寸，就很可能因为整体尺寸超出管控标准而做出误判。

基于上述发现，本发明的发明人提出了用于在微纳光学元件表面缺陷检测过程中分割粘连的缺陷区域的图像分割方法。下面将参考附图并结合实施例来详细说明本发明。

首先，参照图2和图3介绍根据本发明实施例一的用于在微纳光学元件表面缺陷检测过程中分割粘连的缺陷区域的图像分割方法100。

图2为图像分割方法100的流程图；图3示意性地示出了该方法的各项处理中得到的图像的示例。如图2所示，根据本发明实施例一的图像分割方法100包括以下处理：

S110:获取微纳光学元件的待测表面的表面缺陷分布图，其中表面缺陷分布图中标示出对应于所述待测表面上的缺陷的多个缺陷区域；

S120:对表面缺陷分布图中的缺陷区域进行距离变换，得到距离变换后的灰度图像；

S130:对灰度图像进行灰度拉伸，得到拉伸图像；

S140:基于拉伸图像利用分水岭算法进行图像分割，分割得到的多个分割区域形成分割图形；以及

S150:基于表面缺陷分布图以及分割图形，对位于两个以上分割区域中的单个缺陷区域进行分割，得到经校正的缺陷区域。

在处理S110中，获取微纳光学元件的待测表面的表面缺陷分布图；这里，“表面缺陷分布图”指的是标示出对应于微纳光学元件待测表面上的缺陷的多个缺陷区域的图形。在处理S110中，可以通过例如采集微纳光学元件待测表面的图像并进行图像处理提取出缺陷区域而形成上述表面缺陷分布图，也可以直接接收已经生成的表面缺陷分布图，例如来自于其它设备或程序。微纳光学元件待测表面的表面缺陷分布图的一个示例在图3的图像(1a)中示出。

在处理S120中，对表面缺陷分布图中的缺陷区域进行距离变换。在一些优选的实现方式中，对表面缺陷分布图中的缺陷区域进行距离变换可以包括：对表面缺陷分布图中各像素的灰度值进行赋值，使得各个缺陷区域内的像素的灰度值为该像素与该缺陷区域的边界之间所间隔的最小像素数量。在处理S120中还可以对表面缺陷分布图进行处理，使得缺陷区域外的像素的灰度值为0。

经过处理S120中的距离变换，会生成一幅灰度图像。通过上述距离变换得到的灰度图像中的，对应缺陷区域外的位置灰度值为0，对应缺陷区域内的位置灰度值等于该位置距离缺陷区域边界的最小像素数的距离。由于微纳光学元件中的光学结构仅具有微纳米量级的尺寸，所以光学结构上的缺陷的尺寸也非常小，缺陷区域对应的像素数量少；因此，经过处理S120得到的灰度图像的灰度值大多分布于0附近，从图像上看近似一张黑图，如图3中的图像(1b)所示。

可以看到，对于微纳光学元件的表面缺陷检测而言，经过距离变换得到的图像并不适合于进行后续的图像分割算法处理。为此，在根据本发明实施例的图像分割方法中，在处理S130中，对距离变换得到的灰度图像进行灰度拉伸。图3中的图像(1c)示出了对灰度图像进行灰度拉伸之后得到的拉伸图像的一个示例。

在优选的实现方式中，处理S130中的灰度拉伸可以包括：

(1)确定灰度拉伸倍率M＝G/g，其中G为拉伸图像的最大目标灰度值，g为经过处理S120得到的灰度图像中的最大实际灰度值g；以及

(2)将上述灰度图像中所有像素灰度值乘以拉伸倍率M并取整。

然而，应该理解，上述灰度拉伸的方法仅仅是示例性的，其还可以有其它变形的实现方式。例如，在其它一些实现方式下，灰度拉伸倍率的值可以首先被取整，然后再与灰度图像中的灰度值进行运算。本申请中的“灰度拉伸”处理意图覆盖所有这些变形的实现方式。

接下来，在处理S140中，基于拉伸图像利用分水岭算法进行图像分割。分水岭算法是一种基于拓扑理论的数学形态学的分割方法，其基本思想是把图像看作是测地学上的拓扑地貌，图像中每一个像素的灰度值表示该点的海拔高度，每一个局部极小值及其影响区域称为集水盆，而集水盆的边界则形成分水岭。分水岭算法可以包括多种实现方式，例如浸水模拟和降水模拟等方式。根据本发明实施例的图像分割方法中的采用分水岭算法不限于分水岭算法的特定实现方式。处理S140中利用分水岭算法进行图像分割后得到的多个分割区域形成的分割图形。图3中的图像(1d)示出了分割图形的一个示例。

最后，在处理S150中，进行如下缺陷区域分割：如果表面缺陷分布图(例如图3中的图像(1a))中的单个缺陷区域的范围，从分割图形(例如图3中的图像(1d))中来看，位于两个以上分割区域中，则按照所述两个以上分割区域的边界对单个缺陷区域进行分割。上述分割得到的缺陷区域之间可以形成间隔，例如以一定像素宽度的“间隔带”分隔开；或者，上述分割得到的缺陷区域之间可以不形成间隔，而仅通过标记被标识为不同的缺陷区域。图3中的图像(1e)示出了经过处理S150得到的经校正的缺陷区域分布图，其中经分割的缺陷区域被以一定“间隔带”分隔开。

接下来参照图4和图5介绍根据本发明实施例二的用于在微纳光学元件表面缺陷检测过程中分割粘连的缺陷区域的图像分割方法200。

图4为图像分割方法200的流程图；图5示意性地示出了该方法的各项处理中得到的图像的示例。如图4所示，根据本发明实施例二的图像分割方法200包括以下处理：

S210:获取微纳光学元件的待测表面的表面缺陷分布图，其中表面缺陷分布图中标示出对应于所述待测表面上的缺陷的多个缺陷区域；

S220:对表面缺陷分布图中的缺陷区域进行距离变换，得到距离变换后的灰度图像；

S230:对灰度图像进行灰度拉伸，得到拉伸图像；

S240：对拉伸图像进行反相处理；

S250：进行滤波，消除噪声；

S260:基于拉伸图像利用分水岭算法进行图像分割，分割得到的多个分割区域形成分割图形；

S270：对分割图形进行图像形态学腐蚀，使各个分割区域彼此分离；以及

S280：取表面缺陷分布图中的各个缺陷区域与腐蚀后的分割区域的交集区域，得到经校正的缺陷区域。

图像分割方法200中的处理S210、S220、S230与以上介绍的图像分割方法100中的处理S110、S120、S130相同，在此不再赘述。图5中的图像(2a)、(2b)、(2c)分别示出处理S210、S220、S230得到的图像的示例。

在处理S240中，对灰度拉伸处理之后的灰度图像进行反相处理。在优选的实现方式中，拉伸图像中各个像素的灰度值为g(x,y)，其中(x,y)为该像素的坐标，拉伸图像中的预设的最大目标灰度值为G，则反相之后各个像素的灰度值g′(x,y)＝G-g(x,y)。换句话说，反相后的拉伸图像中各个像素的灰度值为预设的最大目标灰度值与反相前所述拉伸图像中的该像素的灰度值的差值。然而，应该理解，上述实现方式仅仅示例性的，其还可以有其它变形的实现方式。例如，反相之后的各个像素的灰度值可以以大于上述最大目标灰度值G的其它常数值减去原像素灰度值g(x,y)而计算得到。本申请中的“反相”处理意图覆盖所有这些变形的实现方式。图5中的图像(2d)示出了对图像(2c)进行上述反相处理得到的图像的一个示例。

然后，在处理S250中，对反相之后的拉伸图像进行滤波，消除噪声。在有利的实现方式中，在处理S250，对图像进行高斯滤波。然而，应该理解，本发明并不限于特定的滤波方式，只要能够从图像中消除对于分水岭算法图像分割不利的噪声。图5中的图像(2e)示出了高斯滤波之后得到的图像的一个示例。

图像分割方法200中的处理S260与上文中介绍的图像分割方法100中的处理S140相同，在此不再赘述。图5中的图像(2f)示出了在处理S260中利用分水岭算法进行图像分割后得到的分割图形的一个示例。

图像分割方法200中的处理S270、S280为上文中介绍的图像分割方法100中的处理S150的一种示例性的实现方式。

在处理S270中，可以以预定腐蚀半径对经过处理S260而得到的分割图形进行图像形态学腐蚀，使得分割图形中的各个分割区域向区域内收缩，从而彼此分离，得到腐蚀后的分割图形，如图5中图像(2g)所示。所述预定腐蚀半径例如为一个像素。

在处理S280中，取表面缺陷分布图中的各个缺陷区域与所述腐蚀后的分割区域的交集区域，得到经校正的缺陷区域。在该处理中，如果表面缺陷分布图(例如图5中的图像(2a))中的单个缺陷区域的范围，从腐蚀后的分割图形(例如图5中的图像(2g))中来看，位于两个以上分割区域中，则该单个缺陷区域与所述两个以上分割区域取交集区域，将得到与分割区域相同数量的缺陷区域，由此将表面缺陷分布图中被粘连的缺陷区域分割开来。图5中的图像(2h)示出了经校正的缺陷区域分布图的一个示例。

为了便于理解，进一步在图6示出了用于实现方法200中的处理S280的一种示例性方法，即方法300。如图6所示，为了取表面缺陷分布图中的各个缺陷区域与腐蚀后的分割区域的交集区域，可以进行以下处理：

S310：将表面缺陷分布图二值化；以及

S320：将二值化后的表面缺陷分布图与腐蚀后的分割区域进行灰度值的与运算。

在处理S310中，可以将表面缺陷分布图中的缺陷区域内的像素的灰度值设为1，区域外的像素的灰度值设为0。此时，如果分割图形不是二值化的，也可以对分割图形进行二值化，将分割图形中腐蚀后的分割区域内的像素的灰度值设为1，区域外的像素的灰度值设为0。

在处理S320中，通过像素值的与运算得到经校正的缺陷区域。

应该理解，取两个图像区域的交集可以采用多种不同的方法，以上结合图6介绍的仅仅是示例性的，而非限制性的。

基于上述介绍的根据本发明实施例的图像分割方法，在此还提供了一种微纳光学元件表面缺陷检测方法。图7示出该微纳光学元件表面缺陷检测方法400的流程图。

如图7所示，根据本发明实施例的微纳光学元件表面缺陷检测方法400包括以下处理：

S410：对微纳光学元件待测表面进行图像采集，获得待测表面图像；

S420：对待测表面图像进行图像处理，提取出缺陷区域，形成表面缺陷分布图；

S430：基于表面缺陷分布图执行根据本发明实施例的图像分割方法，得到经校正的缺陷区域；以及

S440：基于经校正的缺陷区域，计算待测表面的缺陷的尺寸。

上述处理S420可以通过例如自动光学检测设备来实现。在优选的实现方式中，上述处理S410和处理S420均可以通过例如自动光学检测设备来实现。

以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离所述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (10)

1.一种图像分割方法，用于在微纳光学元件表面缺陷检测过程中分割粘连的缺陷区域，所述方法包括：

获取微纳光学元件的待测表面的表面缺陷分布图，所述表面缺陷分布图中标示出对应于所述待测表面上的缺陷的多个缺陷区域；

对所述表面缺陷分布图中的缺陷区域进行距离变换，得到距离变换后的灰度图像；

对所述灰度图像进行灰度拉伸，得到拉伸图像；

基于所述拉伸图像利用分水岭算法进行图像分割，分割得到的多个分割区域形成分割图形；以及

基于所述表面缺陷分布图以及所述分割图形，对位于两个以上分割区域中的单个缺陷区域进行分割，得到经校正的缺陷区域。

2.如权利要求1所述的图像分割方法，其中，所述对所述表面缺陷分布图中的缺陷区域进行距离变换包括：对灰度值进行赋值，使得各个缺陷区域内的像素的灰度值为该像素与该缺陷区域的边界之间所间隔的最小像素数量。

3.如权利要求1所述的图像分割方法，其中，所述方法还包括：对所述表面缺陷分布图进行处理，使得所述缺陷区域外的像素的灰度值为0。

4.如权利要求1-3中任一项所述的图像分割方法，其中，所述灰度拉伸包括：确定灰度拉伸倍率M＝G/g，其中G为所述拉伸图像中的最大目标灰度值，g为所述灰度图像中的最大实际灰度值g；以及将所述灰度图像中所有像素灰度值乘以所述拉伸倍率M并取整。

5.如权利要求1-3中任一项所述的图像分割方法，其中，所述方法还包括：在所述利用分水岭算法进行图像分割之前，对所述拉伸图像进行反相处理，使得反相后的拉伸图像中各个像素的灰度值为预设的最大目标灰度值与反相前所述拉伸图像中的该像素的灰度值的差值。

6.如权利要求5所述的图像分割方法，其中，所述方法还包括：在所述利用分水岭算法进行图像分割之前，对所述反相后的拉伸图像进行高斯滤波，消除噪声。

7.如权利要求1-6中任一项所述的图像分割方法，其中，所述基于所述表面缺陷分布图以及所述分割图形对位于两个以上分割区域中的单个缺陷区域进行分割，包括：

以预定腐蚀半径对所述分割图形进行图像形态学腐蚀，使所述分割图形中的各个分割区域彼此分离，得到腐蚀后的分割区域；以及

取所述表面缺陷分布图中的各个缺陷区域与所述腐蚀后的分割区域的交集区域，得到经校正的缺陷区域。

8.如权利要求7所述的图像分割方法，其中，所述取所述表面缺陷分布图中的各个缺陷区域与所述腐蚀后的分割区域的交集区域包括：

将所述表面缺陷分布图二值化；以及

将所述二值化后的表面缺陷分布图中的各个缺陷区域与所述腐蚀后的分割区域进行灰度值的与运算。

9.一种用于微纳光学元件的表面缺陷检测方法，包括：

对微纳光学元件的待测表面进行图像采集，获得待测表面图像；

对所述待测表面图像进行图像处理，提取出对应于所述待测表面上的缺陷的缺陷区域，形成表面缺陷分布图；

基于所述表面缺陷分布图执行如权利要求1-8中任一项所述的图像分割方法，得到经校正的缺陷区域；

基于所述经校正的缺陷区域，计算所述待测表面的缺陷的尺寸。

10.如权利要求9所述的表面缺陷检测方法，其中，所述对所述待测表面图像进行图像处理，提取出对应于所述待测表面上的缺陷的缺陷区域，形成表面缺陷分布图，是通过自动光学检测设备实现的。

Images