CN114298959A - 缺陷检测方法与系统 - Google Patents

Abstract

一种缺陷检测方法，针对受测板的多个影像以及参考板的多个影像进行分析，并包含：对受测板的影像与参考板的影像进行面板校准程序；针对已校准的受测板的影像以及参考板的影像分别进行特征点对齐程序；针对已对齐的受测板的每一影像与参考板的对应影像相互比对以获得差异影像；及依据差异影像决定是否存在缺陷。

Description

缺陷检测方法与系统

技术领域

本发明是有关于一种缺陷检测方法与系统，特别是指一种采用渐进式(coarse tofine)对位演算的缺陷检测方法与系统。

背景技术

在面板或者电路板等电子零件制造过程中，为确保良率，大多使用自动光学检测设备进行品质控管。

自动光学检测设备主要包括用于承载受测面板或电路板(以下称受测物)的一平台或者输送带、对受测物撷取影像的一摄影机，以及用于分析影像的运算装置。借由影像分析方法来检测受测物上的异物、刮伤、残胶等缺陷。

至于自动光学检测设备中所采用的影像分析方法，其针对摄影机所撷取的大量影像所进行的处理策略及程序，往往成了检测效率以及准确率的关键。

发明内容

因此，本发明的目的，即在提供一种采用渐进式对位演算而能兼顾检测效率以及准确率的缺陷检测方法与系统。

于是，本发明提供一缺陷检测方法，针对受测板的多个影像以及参考板的多个影像进行分析，缺陷检测方法包含以下步骤：

对受测板的影像与参考板的影像进行面板校准程序；

针对已校准的受测板的影像以及参考板的影像，分别进行特征点对齐程序；

针对已对齐的受测板的每一影像与参考板的对应影像相互比对以获得差异影像；及

依据差异影像决定是否存在缺陷。

本发明的另一目的在于提供一种缺陷检测系统，包含运算装置及存储检测程序的存储装置，运算装置读取存储装置的检测程序而执行前述的缺陷检测方法。

本发明的功效在于：针对受测板与参考板先进行全域影像对位，再针对完成对位的各个影像进行内部细节对齐，可快速且精准完成大范围的大量受测板的缺陷检测，借以同时提升检测效率以及检测准确率。

附图说明

本发明的其他的特征及功效，将于参照图式的实施方式中清楚地呈现，其中：

图1是一方块图，说明本发明缺陷检测系统的一实施例；

图2是一示意图，示意说明一玻璃基板上的多片面板；

图3A是一流程图，说明本发明缺陷检测方法的一实施例；

图3B是另一流程图，更进一步说明图3A所述的缺陷检测方法；

图4是一示意图，示意说明一受测板与两个参考板进行比对；

图5是一细部流程图，说明图3B中的步骤S03；及

图6是一细部流程图，说明图3B中的步骤S04。

具体实施方式

在本发明被详细描述前，应当注意在以下的说明内容中，类似的元件是以相同的编号来表示。

参阅图1与图2，本发明缺陷检测系统100的一实施例用于检测位于同一平面的多个待测物。本实施例中，待测物是输送带或检测平台(图未示)上的一玻璃基板20。玻璃基板20由多个待切割的面板2所组成；待测物也可以是已完成切割而共同平放在输送带或检测平台上的多个面板2。缺陷检测系统100的检测范围可针对面板2的膜内区或/及膜外区。在其他实施例中，待测物可以是电路板或其他具有待检测表面的物件。

缺陷检测系统100包括用于对面板2撷取多个影像3的一线扫描相机11、与线扫描相机11连线以接收影像3的一运算装置12、用于存储检测程序以及影像3的一存储装置13、用于接收使用者操作的一输入接口14，及用于输出检测结果的一输出装置15。存储装置13可以设置在本机端(例如运算装置内部)也可建置在云端，而运算装置12读取存储装置13中的检测程序以及影像3以执行检测运算。

参阅图3A，本发明提供一缺陷检测方法，针对一受测板的多个影像以及一参考板的多个影像进行分析，主要包含步骤S03，对所述受测板的所述影像与所述参考板的所述影像进行一面板校准程序；步骤S04，针对已校准的所述受测板的各所述影像以及所述参考板的各所述影像分别进行一特征点对齐程序；步骤S05，针对已对齐的所述受测板的每一影像与所述参考板的对应影像相互比对以获得一差异影像；及步骤S06，依据所述差异影像决定是否存在一缺陷。

具体来说，进一步参阅图3B，上述的缺陷检测方法更进一步包含以下步骤。

步骤S01，当面板2平放在输送带或检测平台上，线扫描相机11对多个面板2进行线扫描以撷取面板2的多个影像3。影像3存储于存储装置13并供运算装置12存取。

详细来说，线扫描相机11所撷取每一张影像3包括N1×N2个像素，例如16352×10000，其中N1代表线扫描相机11在一道扫描中x方向上的像素数，N2代表y方向的扫描次数。以如图2所示的玻璃基板20具有3×6块面板2举例来说，总共需撷取上千张N1×N2像素的影像3。

在步骤S02，再进一步同时参阅图4，运算装置12接收来自于使用者通过输入接口14所做的多个选择，使用者的选择包括对于图2所示的面板2中选择其中一个面板2作为受测板2a，作为检测运算的对象，并且选择两个相异于受测板2a的面板2作为参考板2b、2c。参考板2b、2c可以是邻接于受测板2a的面板2，也可以是任意的、非邻接的面板2。在其他实施例中，运算装置12可直接针对所有面板2依序指定为受测板，每次随机或者依照特定规则(例如前一个以及后一个面板)择定参考板，直到全数面板2受测完毕。

在步骤S03，运算装置12对受测板2a的影像3与参考板2b的影像3、以及与参考板2c的影像3分别进行一面板校准(Panel Registration)程序。以下仅针对受测板2a与参考板2b的影像3进行面板校准程序提供详细说明，受测板2a与参考板2c由于使用相同的面板校准程序，所以不加以赘述。

再进一步同时参阅图5，本发明所采用的面板校准程序是以线性代数方法求解一转换矩阵，在本实施例中，包括但不限于，以最小平方解(Least Square Solution)并且以适应本发明检测条件的方式进行优化处理而求解转换矩阵。

首先，在步骤S031，运算装置12接收由使用者通过输入接口14对受测板2a的两个特定部位分别标记的两个具特殊样式的受测记号(标记于影像3上)。举例来说，使用者可以是在受测板2a的影像3中，在对应受测板2a的左上角处标记第一种图形(例如两条平行短线)的受测记号，以及在对应受测板2a的左下角处标记第二种图形(例如呈折角的双线)的受测记号。同一步骤中，运算装置12对参考板2b自动搜寻相同的特定部位(左上角及左下角)，并分别标记与第一种图形及第二种图形相同的的参考记号。

在步骤S032，运算装置12依据受测记号的坐标(x₁，y₁)与(x₂，y₂)，以及参考记号的坐标(x₁′，y₁′)与(x₂′，y₂′)，以最小平方解求得受测板2a对位到参考板2b所需要的一转换矩阵。

详言，假设一个最小平方解问题：求方程式||AX-B||的最小值且满足CX＝1，其中

其中的X即本步骤所要求解的转换矩阵，a代表x方向的缩放率，b代表y方向的缩放率，t_x代表x方向的平移，且t_y代表y方向的平移。在本实施例，由于采用线扫描相机11撷取影像3，因此x方向的变形相对来说可以忽略，所以限制

也就是限制转换矩阵X中的a＝1。

值得一提的是，现有面板校准程序是利用多个点来计算两个影像间的旋转角度、缩放率以及平移量，其计算量庞大且鲁棒性(Robustness)相对不佳。本实施例所采用的上述优化方程式，不但限制x方向的缩放率为1，并且考虑到所有面板2为在同一玻璃基板20上切割前或切割后的面板2，也就是同方向设置、两两间可视为无相对旋转，因此省略转动角度的运算，整体收敛为三个参数(即b、t_x及t_y)的运算，也就是说，转换矩阵X经限定为只容许x方向平移、y方向平移，以及y方向缩放三个变数，其余设定为定值，借此提高演算的鲁棒性以及效率。另外，受测记号以及参考记号的数量必须是多个，但不以标记两个受测记号以及两个参考记号为限，可视需求以及视运算装置12的硬体效能而增加。当受测板2a取n个受测记号，矩阵A的大小就是2n×4，矩阵B的大小会是2n×1。当数量越大，转换矩阵X的准确率可以越高。

在步骤S033，依据求得的转换矩阵X来对受测板2a的影像3与参考板2b的影像3进行对位。也就是说，利用求得的y方向的缩放率、x方向的平移量，以及y方向的平移量来调整受测板2a中的每个影像3，借此完成两个面板2间的面板校准。值得一提的是，上述步骤虽然是以调整受测板2a来对位到参考板2b举例说明，但本发明面板校准程序当然也可以是调整参考板2b来对位到受测板2a，也就是受测记号的坐标(x₁，y₁)与(x₂，y₂)带入矩阵B而参考记号的坐标(x₁′，y₁′)与(x₂′，y₂′)带入矩阵A。

另需说明的是，由于线扫描相机11对每一面板2撷取影像3时，偶有影像3跨越两面板2的状况，因此本步骤所述的「受测板2a的影像3与参考板2b的影像3进行对位」或者下文中述及「受测板2a的影像3与参考板2b的对应影像3」，当中的「影像3」必要时须进行影像切割及/或拼接处理。前述影像切割及/或拼接处理可以现有技术实现而不以特定方式为限。

回到参阅图1至图4，在步骤S04中，运算装置12针对完成面板校准程序后的受测板2a的每一影像3，与参考板2b的对应影像3、以及与参考板2c的对应影像3，分别对于内部细节进行一特征点对齐程序。以下仅针对受测板2a与参考板2b的影像3进行小区域的特征点对齐程序的详细说明，与参考板2c的特征点对齐程序相同，所以不加以赘述。

进一步同时参阅图6，本实施例的特征点对齐程序是采用特征点侦测以及模板匹配(Template Matching)技术进行影像3内部细节对齐，来解决非线性影像变形的问题。以受测板2a举例来说，对于每一个影像3特征点对齐程序包含以下步骤S041与S042，参考板2b、2c的特征点对齐程序也相同，所以不加以赘述。

在步骤S041中，运算装置12针对受测板2a的影像3以一第一切分尺度切割成多个小格，例如500×500像素的小格。接下来运算装置12针对影像3中所有小格依序执行以下步骤，直到所有小格处理完毕。

在步骤S042中，运算装置12利用一特征点侦测技术在一个小格中侦测特征点，并判断是否撷取到特征点。本实施例的特征点侦测技术，包括但不限于，是利用FAST(Features from Accelerated Segment Test)方法撷取特征点，但不以此为限，本发明也可采用其他转角侦测、边缘侦测等方法撷取特征点。具体来说，由于本实施例是针对面板2进行检测，而面板2内会因为制程的关系存在特定的图案或网底，当被侦测的小格中存在满足特征点的条件的图案或网底的交叉点，即可在本步骤中被运算装置12侦测出。若找到特征点，则进行步骤S043，若无则进行步骤S044。

在步骤S043中，运算装置12利用例如归一化互相关(Normalized CrossCorrelation，以下称NCC)的模板匹配技术，将受测板2a的影像3中，满足特征点条件的小格内的特征点，与参考板2b的对应影像3的对应小格内的特征点对齐，实际上即移动小格。在其他实施例，也可以使用差绝对值和(Sum of Absolute Difference，简称SAD)或差平方和(Sum of Squared Difference，简称SSD)演算法进行模板匹配。在执行模板匹配处理后，受测板2a的影像3当中的小格，可能部分产生位移而产生的留白处，则略过不处理。

若在步骤S042，运算装置12未能在被侦测的小格中找到特征点，则在步骤S044中，将被侦测的小格依据上一个小格的位移量进行同等的位移。若被侦测的小格是第一个小格而没有「上一个小格」，则不做位移处理。

无论执行步骤S043或S044，运算装置12接下来执行步骤S045检视影像3内的所有小格是否皆已处理完毕，若否，则继续处理下一小格直到全数处理完毕。

在其他实施例，影像3中所有小格是同步地执行步骤S042与S043，在无法找到特征点的情况下则小格先不位移，待所有小格对齐处理完毕，再依据邻近小格的位移量进行同等位移。

再回到图3B及图4，在步骤S05，运算装置12针对完成特征点对齐程序的受测板2a的所有影像3与参考板2b的所有影像3进行比对，也就是影像相减而获得一第一差异影像。同样地，运算装置12也针对受测板2a完成面板校准程序以及特征点对齐程序的影像3与另一参考板2c的影像3比对，获得一第二差异影像。

在步骤S06，运算装置12比较第一差异影像与第二差异影像，并判断是否存在缺陷。举例来说，当受测板2a与参考板2b影像完全一样，经步骤S05比对后会获得「全黑」的第一差异影像(如图4中全黑影像所示)，但若第一差异影像中存在亮点，则代表受测板2a与参考板2b间存在差异。又，若第二差异影像相同位置也存在亮点，代表受测板2a与参考板2c间也存在同样的差异，则在此步骤将判断所述受测板2a存在缺陷，接下来执行步骤S07。值得注意的是，本实施例中，运算装置12以逻辑运算中的AND位元运算子进行第一与第二差异影像的比较，但不以此为限。

若受测板2a只有与其中一个参考板2b或2c存在差异(例如第一差异影像中存在亮点，但第二差异影像中无亮点)则代表不是受测板2a有问题，在此步骤不会判断存在缺陷。若受测板2a与参考板2b及2c皆无差异(第一差异影像与第二差异影像皆全黑)，则代表受测板2a没有问题，在此步骤也不会判断存在缺陷。此时，则回到步骤S04检测受测板2a的下一影像，直到受测板2a所有影像3都检测完毕。

在受测板2a被初步判断存在缺陷的情况下，本实施例还进一步进行以下一假缺(False Positive)滤除程序，也就是进行更精确的第二次确认，以排除肇因于对位不佳的误判。

在步骤S07，运算装置12依据第一差异影像亮点所在的位置坐标，在完成特征点对齐程序的受测板2a的影像3的对应坐标处，以小于第一切分尺度的一第二切分尺度划定一涵盖亮点的局部范围，例如50×50像素的微小格，并在参考板2b的对应影像3利用NCC模板匹配技术搜寻对应的局部对应范围，也就是目标要找到一个对应的50×50像素微小格。

详言，运算装置12是将受测板2a的影像3的局部范围，与参考板2b的对应影像3的许多个假定的局部范围逐一计算出一归一化互相关系数(Normalized Cross CorrelationCoefficient，简称NCC系数)，接着从中找出一第一相似度分数的极大值，所述极大值即代表所计算的范围是所述参考板2b的对应影像3中与所述受测板2a的影像3的局部范围最相似者，也就是搜寻到所述局部对应范围。

同样地，运算装置12也针对受测板2a的影像3的局部范围与参考板2c的影像3也计算并找出一第二相似度分数极大值，也就是搜寻到参考板2c的局部对应范围。

在步骤S08以及步骤S09，运算装置12依据所述受测板2a的局部范围与所述参考板2b、所述参考板2c的局部对应范围分别进行比对以判断是否仍然存在所述缺陷。具体来说也就是将第一与第二相似度分数极大值与一门槛值比较，借此判断是否仍存在缺陷。若第一相似度分数极大值与第二相似度分数极大值皆小于门槛值，也就是不够相似、都存在差异，则缺陷被确认，通过输出装置15输出检测结果。若有其中一者相似度分数极大值或两者皆大于门槛值，则代表先前步骤S06所判断的缺陷并非真正的缺陷，回到步骤S04检测受测板2a的下一影像，直到受测板2a所有影像3都检测完毕。

在本发明的另一实施例中，参考板可以是一个系统200预先指定的面板2，其影像3已经事前经检测并判断为无缺陷，因此在步骤S02中仅接受一受测板2a的选择，参考板无须由使用者选择。且在此实施例中只需要一个参考板，步骤S03～S05以及S07～S08只需针对受测板2a与单一个参考板进行处理，而步骤S06及S09省略比较运算、直接判断是否存在缺陷。

综上所述，本发明缺陷检测系统100及检测方法可针对受测板2a与参考板2b、2c先进行板对板的全域对位，以完成面板校准程序，再针对完成对位的面板进行内部细节对齐，以完成特征点对齐程序，可同时兼顾效率以及精确度。此外，本发明采用优化的面板校准技术，提高演算的鲁棒性以及效率。更进一步地，本发明针对缺陷处执行更精确的假缺滤除程序，第二次确认以排除误判，更加提升检测正确性。借以，本发明同时提升检测效率以及检测准确率，所以确实能达成本发明的目的。

惟以上所述者，仅为本发明的实施例而已，当不能以此限定本发明实施的范围，凡是依本发明权利要求书及说明书内容所作的简单的等效变化与修饰，皆仍属本发明涵盖的范围内。

Claims (16)

1.一种缺陷检测方法，针对受测板的多个影像以及参考板的多个影像进行分析，其特征在于包含以下步骤：

对所述受测板的所述影像与所述参考板的所述影像进行面板校准程序；

针对已校准的所述受测板的各所述影像以及所述参考板的各所述影像，分别进行特征点对齐程序；

针对已对齐的所述受测板的每一影像与所述参考板的对应影像相互比对以获得差异影像；及

依据所述差异影像决定是否存在缺陷。

2.如权利要求1所述的缺陷检测方法，其特征在于：所述面板校准程序包括依据所述受测板的所述影像上的多个受测记号以及所述参考板的所述影像上的多个参考记号进行校准。

3.如权利要求2所述的缺陷检测方法，其特征在于：所述缺陷检测方法还包含在所述面板校准程序前，接收由使用者输入、对所述受测板的多个特定部位分别标记的所述受测记号，以及对所述参考板自动搜寻多个对应部位并分别标记所述参考记号。

4.如权利要求3所述的缺陷检测方法，其特征在于：所述受测板与所述参考板为同方向摆放，每一张影像包括N1×N2像素，N1代表在一道线扫描中x方向上的像素数，N2代表y方向的线扫描次数。

5.如权利要求4所述的缺陷检测方法，其特征在于：在所述面板校准程序中，是以线性代数方法求解转换矩阵，且在所述转换矩阵中设定x方向的缩放率为1。

6.如权利要求5所述的缺陷检测方法，其特征在于：所述面板校准程序是输入所述受测记号的坐标以及自动搜寻所得的所述参考记号的坐标以求解所述转换矩阵。

7.如权利要求4所述的缺陷检测方法，其特征在于：在所述面板校准程序中，所述转换矩阵经限定为只容许x方向平移、y方向平移，以及y方向缩放三个变数，其余设定为定值。

8.如权利要求1所述的缺陷检测方法，其特征在于：在所述特征点对齐程序包括先针对所述受测板的各所述影像以及所述参考板的各所述影像侦测多个特征点，再针对所述受测板的各所述影像的所述特征点与所述参考板的对应影像的所述特征点以模板匹配技术进行对齐。

9.如权利要求8所述的缺陷检测方法，其特征在于：侦测所述特征点的步骤包括：针对各所述影像，先以第一切分尺度切割成多个小格，再利用特征点侦测技术在各所述小格中撷取特征点。

10.如权利要求9所述的缺陷检测方法，其特征在于：当在被侦测的小格中未找到特征点，则将被侦测的小格依据上一个小格的位移量进行同等的位移。

11.如权利要求9所述的缺陷检测方法，其特征在于：决定是否存在所述缺陷的步骤，包括依据所述差异影像判断是否在局部存在所述缺陷，若是，则进行假缺滤除程序：

依据所述差异影像中亮点的所在位置坐标，在所述受测板的所述影像的对应坐标处以小于所述第一切分尺度的第二切分尺度划定涵盖所述亮点的局部范围；

在所述参考板的对应影像利用模板匹配技术搜寻与所述受测板的局部范围最相似的所述参考板的局部对应范围；及

依据所述受测板的局部范围与所述参考板的所述局部对应范围进行比对以判断是否仍然存在所述缺陷，若是，则确认存在所述缺陷。

12.如权利要求11所述的缺陷检测方法，其特征在于：所述假缺滤除程序的搜寻与所述受测板的局部范围最相似的所述参考板的局部对应范围的步骤，是将所述受测板的所述影像的所述局部范围与所述参考板的对应影像的多个假定的局部范围逐一计算出归一化互相关系数，并从中找出极大值作为与所述受测板的所述局部范围最相似的所述参考板的所述局部对应范围；

其中所述受测板的所述局部范围与所述参考板的所述局部对应范围进行比对以判断是否仍然存在所述缺陷的步骤，是将所述极大值与门槛值比较，若所述极大值小于所述门槛值，则所述缺陷被确以。

13.如权利要求1所述的缺陷检测方法，其特征在于：所述缺陷检测方法还包含以下步骤：

针对所述受测板的所述影像以及另一参考板的多个影像进行分析；

依据所述受测板的所述影像上的多个受测记号以及所述另一参考板的所述影像上的多个参考记号，对所述受测板的所述影像与所述另一参考板的所述影像进行所述面板校准程序；

对已校准的所述受测板的各所述影像以及所述另一参考板的各所述影像，分别进行所述特征点对齐程序；

针对已对齐的所述受测板的每一影像与所述另一参考板的对应影像分别侦测多数个特征点；

针对所述受测板的各所述影像的所述特征点与所述另一参考板的对应影像的所述特征点以模板匹配技术进行对齐；

针对完成特征点对齐程序后的所述受测板的各所述影像与所述另一参考板的对应影像相互比对以获得另一差异影像；及

依据两个所述差异影像进行比较运算以决定是否存在所述缺陷。

14.如权利要求13所述的缺陷检测方法，其特征在于：所述受测板来自于使用者输入、从多个待测物中选择其中一者，而所述参考板来自于接收使用者输入、从所述待测物中选择相异于所述受测板的其中二者。

15.一种缺陷检测系统，其特征在于：包含运算装置及存储检测程序的存储装置，所述运算装置读取所述检测程序而执行如权利要求1至14中任一权利要求所述的缺陷检测方法。

16.如权利要求15所述的缺陷检测系统，其特征在于：所述缺陷检测系统还包含线扫描相机，用于撷取所述受测板的所述影像及所述参考板的所述影像，所述影像存储于所述存储装置内。

Images