CN104217420B - 检测图像中的重复图案的方法及装置 - Google Patents

检测图像中的重复图案的方法及装置 Download PDF

Info

Publication number
CN104217420B
CN104217420B CN201410235685.8A CN201410235685A CN104217420B CN 104217420 B CN104217420 B CN 104217420B CN 201410235685 A CN201410235685 A CN 201410235685A CN 104217420 B CN104217420 B CN 104217420B
Authority
CN
China
Prior art keywords
pixel
active layer
unit cell
cell pattern
input picture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201410235685.8A
Other languages
English (en)
Other versions
CN104217420A (zh
Inventor
士秀多
李相鹤
金钟沆
河成钟
安瑠璃
权姸希
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung SDS Co Ltd
Original Assignee
Samsung SDS Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung SDS Co Ltd filed Critical Samsung SDS Co Ltd
Publication of CN104217420A publication Critical patent/CN104217420A/zh
Application granted granted Critical
Publication of CN104217420B publication Critical patent/CN104217420B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/956—Inspecting patterns on the surface of objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G06T7/49—Analysis of texture based on structural texture description, e.g. using primitives or placement rules
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20061—Hough transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30121—CRT, LCD or plasma display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30148—Semiconductor; IC; Wafer

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Quality & Reliability (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种有效地检测图像中的重复图案的方法及装置。本发明的一实施方式包括以下步骤：以各像素的颜色为基准对构成输入图像的像素进行聚类，获取由各个群组内包括的像素所构成的一个以上的颜色层；在所述一个以上的颜色层中选择一个以上的有效层，所述有效层包括规定个数以上的由多个像素构成且具有规定形状或具有规定大小的面积的像素组件；按各有效层，在所述有效层中所包括的像素组件中选择位置不同地重复配置在所述有效层上的单位图案；按各有效层计算所述单位图案之间的间隔；以及汇集各有效层的所述间隔来计算所述输入图像的单位图案的重复周期。

Description

检测图像中的重复图案的方法及装置
技术领域
本发明涉及一种检测图像中的重复图案的方法及装置。
背景技术
为了检测出半导体晶片、OLED基板、LED基板或LCD基板的缺陷，使用如自动缺陷分类(Automatic Defect Classification)等探测外观不良来检测缺陷的技术。由于这种外观检测方式比较迅速地发现缺陷并显著地降低不良率，因此提供如减少生产费用等优点。
但是，现有外观检测方式通过将显示没有缺陷的晶片或基板的外观的基准图像(reference image)和需要判断有无缺陷的测试图像进行比较来检测缺陷。因此，现有外观检测方式必须提供没有缺陷的晶片或基板的图像，即基准图像。
然而，在有些情况下，难以提供基准图像。例如，技术上难以满足满意的清晰度及精确度的要求条件，或在构成各单位工序中个别制造的基准图像的生产费用及所需时间上存在制约。
在这种情况下，需要通过外观检测方式检测测试图像的缺陷而无需提供基准图像。
发明内容
本发明所要解决的问题是提供一种有效地检测输入图像中的重复图案的方法及装置，以便能通过外观检测方式检测缺陷而无需提供基准图像。
本发明所要解决的另一问题是提供一种使用从输入图像中检测出的重复图案检测测试图案的缺陷的方法，以便能通过外观检测方式检测缺陷而无需提供基准图像。
本发明所要解决的问题并不限定于上述所涉及的问题，本领域技术人员从下述的记载能明确理解本发明没有提及到的其他问题。
为了解决上述问题，本发明的重复图案检测方法的一实施方式包括以下步骤：以各像素的颜色为基准对构成输入图像的像素进行聚类(clustering)，获取由各个群组内包括的像素所构成的一个以上的颜色层；在所述一个以上的颜色层中选择一个以上的有效层，所述有效层包括规定个数以上的由多个像素构成且具有规定形状或具有规定大小的面积的像素组件(pixel component)；按各有效层，在所述有效层中所包括的像素组件中选择位置不同地重复配置在所述有效层上的单位图案；按各有效层计算所述单位图案之间的间隔；以及汇集各有效层的所述间隔来计算所述输入图像的单位图案的重复周期。
所述有效层包括第一有效层和第二有效层，汇集所述各有效层的所述间隔来计算所述输入图像的单位图案的重复周期的步骤可包括：计算对从所述第一有效层中检测出的单位图案的间隔取中值(median)的第一中间值；计算对从所述第二有效层中检测出的单位图案的间隔取中值的第二中间值；以及将对所述第一中间值和所述第二中间值取中值的第三中间值确定为重复周期。
所述选择一个以上的有效层的步骤可包括：分别对各所述颜色层进行连通区域标记(connected component labeling，CCL)来获取像素组件；以及获取获取的像素组件的面积、轮廓线、周长、一对特征值及一对特征向量中的至少之一。
所述选择一个以上的有效层的步骤可包括：在所述一个以上的颜色层中选择一个以上的有效层，所述有效层包括规定个数以上的所述一对特征值的比率为0.7以上且1以下的像素组件。
所述选择一个以上的有效层的步骤可包括：在所述一个以上的颜色层中选择一个以上的有效层，所述有效层包括规定个数以上的所述面积为规定值以上且所述周长的规定比率以上的像素组件。
所述选择位置不同地重复配置在所述有效层上的单位图案的步骤可包括：以用于评价各像素组件之间的特征相似度的费用函数值为基础选择单位图案。
所述以用于评价各像素组件之间的特征相似度的费用函数值为基础选择单位图案的步骤可包括：将所述像素组件的面积、轮廓线、周长、一对特征值及一对特征向量中的至少之一进行比较并以用于评价特征相似度的费用函数值为基础选择单位图案。
所述以用于评价各像素组件之间的特征相似度的费用函数值为基础选择单位图案的步骤可包括：将所述像素组件的重合的区域进行比较并以用于评价特征相似度的费用函数值为基础选择单位图案。
所述获取一个以上的颜色层的步骤可包括：以各像素颜色为基准对构成输入图像的像素进行均值漂移聚类(Mean Shift clustering)，获取由各个群组内包括的像素所构成的一个以上的颜色层。
所述重复图案检测方法可进一步包括：利用所述单位图案和所述重复周期形成图案图像；以及将需要判断有无缺陷的测试图像和所述图案图像进行比较来检测缺陷。
为了解决上述问题，本发明的重复图案检测装置的一实施方式可包括：颜色聚类部，以各像素颜色为基准对构成输入图像的像素进行聚类(clustering)，获取由各个群组内包括的像素所构成的一个以上的颜色层；有效层选择部，在所述一个以上的颜色层中选择一个以上的有效层，所述有效层包括规定个数以上的由多个像素构成并具有规定形状或具有规定大小的面积的像素组件；单位图案检测部，按各有效层，在所述有效层中所包括的像素组件中选择位置不同地重复配置在所述有效层上的单位图案；以及重复周期计算部，按各有效层计算所述单位图案之间的间隔，并且汇集各有效层的所述间隔来计算所述输入图像的单位图案的重复周期。
为了解决上述问题，本发明的重复图案检测方法的另一实施方式可包括以下步骤：对构成输入图像的像素进行边缘(edge)检测，去除由多个像素构成线(line)形状的线形像素组件；从去除所述线形像素组件的输入图像中，检测由多个像素构成圆形状的圆形像素组件；在所述图像上设定由多个四边形单元形成多个水平列和垂直列的栅格，并且在所述栅格的单元内配置所述圆形像素组件来构成分布矩阵(distribution matrix)；以及测量所述圆形像素组件之间的间隔，计算所述输入图像的圆形像素组件的重复周期。
所述计算所述输入图像的圆形像素组件的重复周期的步骤可包括：构成将配置在所述多个垂直列中的一个垂直列上的圆形像素组件之间的间隔作为元素的频率矩阵(frequency matrix)；以及分析关于所述频率矩阵的元素的直方图(histogram)，将具有最大频率的元素值确定为重复周期。
所述检测圆形像素组件的步骤可包括：构成用于评价所述圆形像素组件和其他圆形像素组件的相关度的互相关矩阵(cross correlation matrix)来检测圆形像素组件。
所述检测圆形像素组件的步骤可包括：对去除所述线形像素组件的输入图像进行霍夫变换(Hough transform)来检测所述圆形像素组件。
所述在栅格的单元内配置所述圆形像素组件来构成分布矩阵的步骤可进一步包括：在所述多个垂直列中，去除没有配置所述圆形像素组件的垂直列。
为了解决上述问题，本发明的重复图案检测装置的另一实施方式可包括：线形像素组件去除部，对构成输入图像的像素进行边缘(edge)检测，去除由多个像素构成线(line)形状的线形像素组件；圆形像素组件检测部，从去除所述线形像素组件的输入图像中，检测由多个像素构成圆形状的圆形像素组件；分布矩阵构成部，在所述图像上设定由多个四边形单元形成多个水平列和垂直列的栅格，并且在所述栅格的单元内配置所述圆形像素组件来构成分布矩阵；以及重复周期计算部，测量所述圆形像素组件之间的间隔，计算所述输入图像的圆形像素组件的重复周期。
本发明的其他具体事项被包括在详细的说明及附图中。
由于本发明从输入图像中检测出重复图案，因此能够以外观检测方式探测测试图像的缺陷而无需提供基准图像。因此，在难以提供基准图像的情况下，也能够原样使用可比较迅速地发现缺陷且显著地降低不良率而减少生成费用的外观检测方式。
此外，由于本发明无需逐一制造适合于各单位工序的基准图像，仅用输入图像也能够检测出测试图像的缺陷，因此不仅能够灵活应付在多种工序中所产生的各种缺陷，而且在如部分工序变更为其他方式的情况或变更为使用其他方式的基板的情况等时，也能够灵活地且迅速地进行缺陷检测。
附图说明
图1是用于说明本发明的一实施例的重复图案检测装置的概略图。
图2是用于说明本发明的另一实施例的重复图案检测方法的流程图。
图3是表示本发明的另一实施例的输入图像的图。
图4是用于说明本发明的另一实施例的颜色聚类的流程图。
图5是表示本发明的另一实施例的颜色聚类结果的图。
图6是用于说明本发明的另一实施例的有效层选择过程的流程图。
图7是表示本发明的另一实施例的所选择的有效层的图。
图8是用于说明本发明的另一实施例的选择单位图案的过程的流程图。
图9是表示本发明的另一实施例的单位图案的图。
图10是用于说明本发明的另一实施例的计算单位图案的重复周期的过程的一部分的流程图。
图11是表示本发明的另一实施例的构成图案图像的结果的图。
图12是表示本发明的另一实施例的将图案图像和测试图像进行比较来检测缺陷的过程的图。
图13是用于说明本发明的又一实施例的重复图案检测装置的概略图。
图14是用于说明本发明的又一实施例的重复图案检测方法的流程图。
图15是表示本发明的又一实施例的输入图案的图。
图16是表示本发明的又一实施例的分布矩阵的图。
图17是表示本发明的又一实施例的频率矩阵的图。
附图标记
11：输入图像 12：颜色聚类部
13：有效层选择部 14：单位图案检测部
15：重复周期计算部 16：重复周期
31、41：输入图像 43：聚类层
51：第一颜色层 52：第二颜色层
53：第三颜色层 54：第四颜色层
55：第五颜色层 72：第一有效层
73：第二有效层 74：第三有效层
92、93、94：层 111、121：图案图像
112：图案区域 122：测试图像
131、151、161：输入图像 132：线形像素组件去除部
135：重复周期计算部 136：重复周期
152、162、163、164：圆形像素组件
153：不存在区域 154：被检测错误的像素组件
具体实施方式
参照附图的同时参照详细地后述的实施例，将会明确本发明的优点和特征，以及实现这些的方法。但是，本发明并不限定于以下所公开的实施例，而是以彼此不同的多种方式实现，本实施例仅仅使本发明的公开全面，并且为了给本发明所属技术领域的技术人员告知发明的范围而提供的，本发明仅由权利要求的范围定义。在说明书全文中相同的附图标记指相同的结构要素。
一个元件(element)被称为与另一元件“连接(connected to)”或“联接(coupledto)”，均包括与另一元件的直接连接或联接的情况或者中间存在其他元件的情况。相反，一个元件被称为与另一元件“直接连接(directly connected to)”或“直接联接(directlycoupled to)”是表示在中间不存在其他元件的情况。在说明书全文中相同的附图标记指相同的结构要素。“和/或”包括所涉及的每个项目及一个以上项目的所有组合。
虽然为了叙述多种元件、结构要素和/或部分而使用第一、第二等，但是当然这些元件、结构要素和/或部分不会被这些用语限制。这些用语仅为了区别一个元件、结构要素或部分与另一元件、结构要素或部分而使用。因此，以下所涉及的第一元件、第一结构要素或第一部分在本发明的技术思想内当然也可以是第二元件、第二结构要素或第二部分。
在本说明书中所使用的用语是用于说明实施例，并不旨在限制本发明。在本说明书中，只要在句子中没有特别提到，则单数形式也包括复数形式。在说明书中所使用的“包括(comprises)”和/或“包含(comprising)”，所涉及的结构要素、步骤、动作和/或元件不排除一个以上的另一结构要素、步骤、动作和/或元件存在或追加。
如果没有其他定义，则在本发明中所使用的所有用语(技术用语和科技用语)能够以本发明所属技术领域的技术人员共同理解的含义使用。另外，一般来讲，在所使用的词典中定义的用语只要没有被明确地特别定义，就不异常地或过度地解释。
图1是用于说明本发明的一实施例的重复图案检测装置的方框结构图。参照图1，重复图案检测装置包括：颜色聚类部12，进行聚类来获取一个以上的颜色层；有效层选择部13，在一个以上的颜色层中选择有效层；单位图案检测部14，按各有效层选择单位图案；以及重复周期计算部15，按各有效层计算单位图案间隔，并且汇集各有效层间隔来计算图案重复周期。所述重复图案检测装置将输入图像11作为输入，并且通过上述结构计算重复周期16。
图2是用于说明本发明的另一实施例的重复图案检测方法的流程图。
参照图2，颜色聚类部12以各像素的颜色为基准对构成输入图像的像素进行聚类(clustering)，获取由各个群组内包括的像素所构成的一个以上的颜色层(步骤S21)。
具体来讲，图3是表示本发明的另一实施例的输入图像31的图，图4是用于说明本发明的另一实施例的颜色聚类的流程图。参照图3，输入图像31可包括由多个像素构成的具有多种颜色的形状。在这些形状中，一部分可构成具有规定的间隔的图案，另一部分可以是无规则地分布的形状。参照图4，颜色聚类部12为了得到仅由类似的颜色的像素构成的图案，以各像素的颜色为基准对构成输入图像41的像素进行聚类。此时，一般不会预先提供输入图像41的颜色分布的信息，因此所述聚类可优选为均值漂移聚类(mean shiftclustering)。通过均值漂移聚类，选择各像素的颜色信息值(例如，RGB值)的代表值，并且利用该代表值形成群组。由此，获取由各个群组内包括的像素所构成的一个以上的聚类颜色层43。
图5是表示本发明的另一实施例的颜色聚类结果的图。即，表示根据本发明的一实施例对输入图像进行颜色聚类来获取第一颜色层51、第二颜色层52、第三颜色层53、第四颜色层54及第五颜色层55的结果。
再次参照图2，有效层选择部13在一个以上的颜色层中选择一个以上的有效层(步骤S22)，该有效层包括规定个数以上的由多个像素构成并具有规定形状或具有规定大小的面积的像素组件。为了在步骤S21获取的一个以上的颜色层中检测出重复图案，除去不需要的颜色层只选择所需的颜色层。
图6是用于说明本发明的另一实施例的有效层选择过程的流程图。本发明的一实施例的选择一个以上有效层的步骤可包括如下步骤。首先，分别对在步骤S21获取的一个以上的颜色层进行连通区域标记(connected component labeling，CCL)来获取像素组件Sij(步骤S61)。具体来讲，根据本发明的一实施例，在步骤S21获取n个(在此，n为n≥1的整数)颜色层的情况下，其中第i个颜色层(在此，i为1≤i≤n的整数)可包括m种(在此，m为m≥1的整数)像素组件。例如，图5所示的第二颜色层52包括两种像素组件，即平行四边形像素组件和圆形像素组件。结果，像素组件Sij指第i个颜色层中所包括的第j个(在此，j为1≤j≤m的整数)像素组件。其次，提取所获取的像素组件的特征(步骤S62)。具体来讲，获取像素组件Sij的面积A(Sij)、轮廓线、周长P(Sij)、一对特征值λ1 ij、λ2 ij和一对特征向量e1 ij、e2 ij中的至少之一(步骤S62)。在此，一对特征值λ1 ij、λ2 ij和一对特征向量e1 ij、e2 ij例如可通过主成分分析来获取。
在提取像素组件Sij的特征之后，选择具有规定形状或具有规定大小的面积的像素组件作为有效的像素组件Sij a。规定形状可包括例如圆形、四边形或三角形等，但并不限定于此。在用于选择圆形像素组件的本发明的一实施例中，可选择一对特征值λ1 ij、λ2 ij的比率满足如下条件(即，具有接近1的值)的像素组件作为有效的像素组件(步骤S63)。
λ1 ij/λ2 ij≈1
在本发明的另一实施例中，可选择一对特征值λ1 ij、λ2 ij的比率为0.5以上且1以下的像素组件作为有效的像素组件。此外，在本发明的另一实施例中，可选择一对特征值λ1 ij、λ2 ij的比率为0.7以上且1以下、0.8以上且1以下或者0.9以上且1以下的像素组件作为有效的像素组件。
其次，在用于选择具有规定大小的面积的像素组件的本发明的一实施例中，可选择像素组件的面积A(Sij)满足如下条件的像素组件作为有效的像素组件(步骤S64)。
A(Sij)＞TA&&A(Sij)＞αP(Sij)
在此，TA为能够在具体的工序中确定的值，例如，可取输入图像大小的1％以下的值。另外，αP(Sij)意味着关于像素组件Sij的周长的规定比率，例如，α可取1以上的值。
由此，选择包括规定个数以上的所述有效像素组件的颜色层作为有效层。例如，可选择包括两个以上的所述有效颜色组件的颜色层作为有效层。图7是表示发明的另一实施例的所选择的有效层的图。即，表示根据本发明的一实施例选择有效层来获取第一有效层72、第二有效层73及第三有效层74的结果。
再次参照图2，单位图案检测部14按各有效层在有效层中所包括的像素组件(即，有效像素组件Sij a)中选择位置不同地重复配置在有效层上的单位图案(步骤S23)。优选地，可将用于评价各像素组件Sij a之间的特征相似度的费用函数值为基础选择单位图案。在此，特征相似度可以是像素组件Sij a的特征，例如可以是对于在步骤S62提取的像素组件Sij a的面积A(Sij a)、轮廓线、周长P(Sij a)、一对特征值λ1 ij、λ2 ij及一对特征向量e1 ij、e2 ij中的至少之一的相似度，具体来讲，可以将任意两个像素组件Sij a进行比较来计算出费用函数值的方式评价相似度。例如，可通过对任意两个像素组件Sij a的重合的区域进行比较来进行匹配，并且以该费用函数值为基础选择单位图案。此外，也可通过将任意两个像素组件Sij a的轮廓线进行比较来进行匹配，并且以该费用函数值为基础进行选择。
图8是用于说明本发明的另一实施例的选择单位图案的过程的流程图。首先，如上述，评价各像素组件Sij a之间的特征相似度(步骤S81)。在此，将任意两个像素组件的特征进行比较和匹配，若该费用函数的值为规定的临界值T以下，则可将所述两个像素组件作为构成输入图像的重复图案的单位图案来处理。由此，可选择各像素组件Sij a在右侧最邻接且费用函数的值为规定的临界值T以下的像素组件SijR a(以下，称作“右侧相邻像素组件”)，选择各像素组件Sij a在下侧最邻接且费用函数的值为规定的临界值T以下的像素组件SijB a(以下，称作“下侧相邻像素组件”)。如此选择的像素组件Sij a成为从输入图像检测出的图案的单位图案。
再次参照图2，重复周期计算部15按各有效层计算单位图案之间的间隔(步骤S24)，并且汇集各有效层的所述间隔来计算所述输入图像的单位图案的重复周期(步骤S25)。具体来讲，步骤S24可通过计算像素组件Sij a与右侧相邻像素组件SijR a之间的距离及像素组件Sij a与下侧相邻像素组件SijB a之间的距离来获取。图9是表示发明的另一实施例的单位图案的图。例如，层93表示用直线连接四边形的像素组件Sij a的右侧相邻像素组件SijR a和下侧相邻像素组件SijB a的图。即，在层93中四边形的像素组件Sij a成为单位图案，所连接的直线的长度就成为单位图案之间的间隔。在大部分情况下，所述间隔可为单位图案的重复周期。但是，在如具有像素组件的局部缺失等某些情况下，单位图案之间的间隔值中的部分间隔值会与单位图案的重复周期不同。
因此，在本发明的一实施例中，为了计算单位图案的正确的重复周期，使用取单位图案的间隔值的中间值的方法。图10是用于说明本发明的另一实施例的计算单位图案的重复周期的过程的一部分的流程图。参照图10，步骤S25计算对从第一层中检测出的单位图案的所有间隔取中值(median)的第一中间值diH a、div a(步骤S101及步骤S102)。其次，步骤25计算对从第二层中检测出的单位图案的所有间隔取中值的第二中间值之后，可将对第一中间值及第二中间值取中值的第三中间值确定为重复周期。
图11是表示本发明的另一实施例的构成图案图像111的结果的图。参照图11，使用通过上述的方法获取的图案及单位图案的重复周期来形成图案图像111。特别是，可知在图案图像111中如区域112的图案横竖重复两次。
图12是表示将本发明的另一实施例的图案图像121和测试图像122进行比较来检测缺陷的过程的图。如图12所示，通过对由上述方法构成的图案图像和需要判断有无缺陷的测试图像进行比较，能够检测出可能在测试图像中存在的缺陷。
由于本发明的上述实施例，从输入图像中检测出重复图案，因此即使不提供基准图像也能够以外观检测方式探测测试图案的缺陷。此外，由于无需逐一制造适合于各单位工序的基准图像，能够仅用给出的输入图像检测出测试图像的缺陷，因此不仅能够灵活应付在多种工序中所产生的各种缺陷，而且在如部分工序变更为其他方式的情况或变更为使用其他形状的基板的情况等时，也能够灵活地且迅速地进行缺陷检测。
以上对在单位图案为任意形状的情况下检测重复图案的方法及装置的一实施例进行了说明，下面对在单位图案特别为圆形的情况下检测重复图案的方法及装置的一实施例进行说明。
图13是用于说明本发明的又一实施例的重复图案检测装置的方框结构图。参照图13，重复图案检测装置包括：线形像素组件去除部132，进行边缘(edge)检测来去除线形像素组件；圆形像素组件检测部133，检测圆形像素组件；分布矩阵构成部134，设定栅格并配置圆形像素组件来构成分布矩阵；以及重复周期计算部135，计算圆形像素组件间隔及图案重复周期。重复图案检测装置将输入图像131作为输入，并且通过上述结构计算重复周期136。
图14是用于说明本发明的又一实施例的重复图案检测方法的流程图。
参照图14，为了从输入图像中检测出圆形的单位图案，线形像素组件去除部13对构成输入图像的像素进行边缘检测，去除由多个像素构成线(line)形状的线形像素组件(步骤S141)。由于从输入图像中检测边缘，因此容易从输入图像中检测出线形像素组件或圆形像素组件。优选地，为了检测边缘，可对输入图像使用高斯模糊滤波器(Gaussianblurring filter)和Canny边缘检测算子(canny edge detector)。在进行边缘检测之后，从输入图像中去除线形像素组件。
其次，从去除线形像素组件的输入图像中检测多个像素构成圆形状的圆形像素组件(步骤S142)。例如，步骤S142可对去除线形像素组件的输入图像进行霍夫变换(Houghtransform)以检测圆形像素组件。
但是，根据如此的霍夫变换，会产生噪音(noise)，有可能产生错误地检测圆形像素组件的问题。为了防止这种问题，可构成用于评价圆形像素组件与其他圆形像素组件的相关度的互相关矩阵(cross correlation matrix)来检测圆形像素组件。互相关矩阵包括用值表示各圆形像素组件与其他圆形像素组件的相似度的元素。圆形像素组件与其他圆形像素组件越相似，则构成互相关矩阵的元素的值越大，圆形像素组件与其他圆形像素组件越不相似，则构成互相关矩阵的元素的值越小，对应于规定值以下的元素的圆形像素组件被分类为检测错误，可从重复图案检测对象中去除。
图15是表示本发明的又一实施例的输入图像的图。输入图像151包括圆形像素组件152和被错误地检测为圆形的像素组件154。不存在区域153表示的是从图案的规则形状来看有可能存在圆形像素组件但实际上不存在的区域。
再次参照图14，在图像上设定由多个四边形单元形成多个水平列和垂直列的栅格，并且在栅格的单元内配置圆形像素组件来构成分布矩阵(distribution matrix)(步骤S143)。具体来讲，在输入图像161中设定由多个四边形单元形成多个水平列和垂直列的栅格。其次，在栅格的单元内配置圆形像素组件来构成分布矩阵。与此相关地，图16是表示本发明的又一实施例的分布矩阵的图。可知在图16中设定由400个四边形的单元形成20个水平列和20个垂直列的栅格，并且圆形像素组件162、163、164分布在构成栅格的一个垂直列上。
在输入图像上设定栅格之后，配置圆形像素组件来构成分布矩阵的部分情况下，在构成栅格的部分垂直列上有可能根本没有配置圆形像素组件。那么，由于在根本没有配置圆形像素组件的部分垂直列上只设定有栅格单元，单元内部为空，因此为了防止重复图案检测过程中所不需要的计算，可以删除这些垂直列。如此，也可以从分布矩阵中删除重复图案检测过程中所不需要的垂直列来构成紧凑分布矩阵(compact distributionmatrix)。
再次参照图14，测量圆形像素组件之间的间隔(步骤S144)，计算输入图像的圆形像素组件的重复周期(步骤S145)。首先，测量配置在构成栅格的多个垂直列中的一个垂直列上的圆形像素组件之间的间隔，构成以该值为元素的频率矩阵(frequency matrix)。例如，如图16所示，可通过圆形像素组件之间的四边形单元的个数测量本发明的一实施例中的圆形像素组件之间的间隔。
其次，分析关于频率矩阵的元素的直方图(histogram)，将具有最大频率的元素值决定为重复周期。与此相关地，图17是表示本发明的又一实施例的频率矩阵的图。参照频率矩阵的两列，则存在值为5的元素和值为10的元素。同时参照图16，圆形像素组件163和圆形像素组件164之间的距离为5，圆形像素组件162和圆形像素组件163之间的距离为例如10。
即，由于从图案的规则的形状来看虽然有可能存在圆形像素组件但实际不存在的区域，圆形像素组件162和圆形像素组件163之间的距离被测量为10。但是，这种值(即，10)不可能成为圆形像素组件的正确的重复周期的值。为了计算正确的重复周期，对图17所示的频率矩阵的直方图进行分析，可知值为5的元素的个数明显多于值为3、7或10的元素的个数。由此，可得出图案的规则的形状是规则地具有间隔为5的圆形像素组件横竖分布的形状。
如与图12关联地进行说明那样，通过将利用由上述的方法获取的重复周期来构成的图案图像和需要判断有无缺陷的测试图像进行比较，能够检测出可能在测试图像中存在的缺陷。
本发明的多种实施例的重复图案检测方法及装置可适用于半导体领域。例如，本发明的多种实施例的重复图案检测方法及装置可用于检测与包括多个半导体元件的基板、OLED、LED或LCD(例如，TFT-LCD)相关的显示装置的缺陷，或用于在以BGA(Ball GridArray)为首的半导体封装相关领域中检测以半导体元件的短路为首的缺陷。具体来讲，能够从按规则的排列形成而形成显示器的OLED、LED元件或LCD像素的配置提取如上述的重复图案，从而不用基准图像而检测出OLED、LED或LCD(例如，TFT-LCD)基板的缺陷，并且在BGA中从构成矩阵排列的球(ball)的配置提取如上述的重复图案，从而不用基准图像而检测出BGA的缺陷。而且，对于包括多个半导体芯片的晶片也能够适用本发明的多种实施例以不用基准图像而检测出重复图案的方式检测半导体芯片的缺陷。
特别是，通过在利用半导体元件的集成度高的图案的半导体工艺中从输入图像检测出重复图案，因此不提供基准图像也能够以外观检测方式探测测试图像的缺陷。此外，由于无需逐一制造适合于半导体领域的各单位工序的基准图像，仅以给定的输入图像也能够检测出测试图像的缺陷，因此不仅能够灵活应付在半导体领域的多种工序中所产生的各种缺陷，而且在部分工序变更为其他方式的情况下或如变更为使用其他形状的基板的情况下也能够灵活地且迅速地进行缺陷检测。以上参照附图对本发明的实施例进行了说明，但本发明所属技术领域的技术人员应能理解，本发明能够不变更本发明的技术思想或必要特征而以其他具体方式实施。因此，应理解为以上所述的实施例在所有方面为示例性的，并非限定性的。

Claims (17)

1.一种重复图案检测方法，包括以下步骤：
以各像素的颜色为基准对构成输入图像的像素进行聚类，获取由各个群组内包括的像素所构成的一个以上的颜色层；
在所述一个以上的颜色层中选择一个以上的有效层，所述有效层包括规定个数以上的由多个像素构成且具有规定形状或具有规定大小的面积的像素组件；
按各有效层，在所述有效层中所包括的像素组件中选择位置不同地重复配置在所述有效层上的单位图案；
按各有效层计算所述单位图案之间的间隔；以及
汇集各有效层的所述间隔来计算所述输入图像的单位图案的重复周期。
2.根据权利要求1所述的重复图案检测方法，其中，
所述有效层包括第一有效层和第二有效层，
所述汇集各有效层的所述间隔来计算所述输入图像的单位图案的重复周期的步骤包括：
计算对从所述第一有效层中检测出的单位图案的间隔取中值的第一中间值；
计算对从所述第二有效层中检测出的单位图案的间隔取中值的第二中间值；以及
将对所述第一中间值和所述第二中间值取中值的第三中间值确定为重复周期。
3.根据权利要求1所述的重复图案检测方法，其中，
所述选择一个以上的有效层的步骤包括：
分别对各所述颜色层进行连通区域标记来获取像素组件；以及
获取获取的像素组件的面积、轮廓线、周长、一对特征值及一对特征向量中的至少之一。
4.根据权利要求3所述的重复图案检测方法，其中，
所述选择一个以上的有效层的步骤进一步包括：在所述一个以上的颜色层中选择一个以上有效层，所述有效层包括规定个数以上的所述一对特征值的比率为0.7以上且1以下的像素组件。
5.根据权利要求3所述的重复图案检测方法，其中，
所述选择一个以上的有效层的步骤进一步包括：在所述一个以上的颜色层中选择一个以上的有效层，所述有效层包括规定个数以上的所述面积为规定值以上且为所述周长的规定比率以上的像素组件。
6.根据权利要求1所述的重复图案检测方法，其中，
所述选择位置不同地重复配置在有效层上的单位图案的步骤包括：
以用于评价各像素组件之间的特征相似度的费用函数值为基础选择单位图案。
7.根据权利要求6所述的重复图案检测方法，其中，
所述以用于评价各像素组件之间的特征相似度的费用函数值为基础选择单位图案的步骤包括：
将所述像素组件的面积、轮廓线、周长、一对特征值及一对特征向量中的至少之一进行比较并以用于评价特征相似度的费用函数值为基础选择单位图案。
8.根据权利要求6所述的重复图案检测方法，其中，
所述以用于评价各像素组件之间的特征相似度的费用函数值为基础选择单位图案的步骤包括：
将所述像素组件的重合的区域进行比较并以用于评价特征相似度的费用函数值为基础选择单位图案。
9.根据权利要求1所述的重复图案检测方法，其中，
所述获取一个以上的颜色层的步骤包括：
以各像素颜色为基准对构成输入图像的像素进行均值漂移聚类，获取由各个群组内包括的像素所构成的一个以上的颜色层。
10.根据权利要求1所述的重复图案检测方法，其中，进一步包括：
利用所述单位图案及所述重复周期形成图案图像；以及
将需要判断有无缺陷的测试图像和所述图案图像进行比较来检测缺陷。
11.一种重复图案检测装置，包括：
颜色聚类部，以各像素颜色为基准对构成输入图像的像素进行聚类，获取由各个群组内包括的像素所构成的一个以上的颜色层；
有效层选择部，在所述一个以上的颜色层中选择一个以上的有效层，所述有效层包括规定个数以上的由多个像素构成并具有规定形状或具有规定大小的面积的像素组件；
单位图案检测部，按各有效层，在所述有效层中所包括的像素组件中选择位置不同地重复配置在所述有效层上的单位图案；以及
重复周期计算部，按各有效层计算所述单位图案之间的间隔，并且汇集各有效层的所述间隔来计算所述输入图像的单位图案的重复周期。
12.一种重复图案检测方法，包括以下步骤：
对构成输入图像的像素进行边缘检测，去除由多个像素构成线形状的线形像素组件；
从去除所述线形像素组件的输入图像中，检测由多个像素构成圆形状的圆形像素组件；
在所述图像上设定由多个四边形单元形成多个水平列和多个垂直列的栅格，并且在所述栅格的单元内配置所述圆形像素组件来构成分布矩阵；以及
测量所述圆形像素组件之间的间隔，计算所述输入图像的圆形像素组件的重复周期。
13.根据权利要求12所述的重复图案检测方法，其中，
所述计算所述输入图像的圆形像素组件的重复周期的步骤包括：
构成将配置在所述多个垂直列中的一个垂直列上的圆形像素组件之间的间隔作为元素的频率矩阵；以及
分析关于所述频率矩阵的元素的直方图，将具有最大频率的元素值确定为重复周期。
14.根据权利要求12所述的重复图案检测方法，其中，
所述检测圆形像素组件的步骤包括：
构成用于评价所述圆形像素组件和其他圆形像素组件的相关度的互相关矩阵来检测圆形像素组件。
15.根据权利要求12所述的重复图案检测方法，其中，
所述检测圆形像素组件的步骤包括：
对去除所述线形像素组件的输入图像进行霍夫变换来检测所述圆形像素组件。
16.根据权利要求12所述的重复图案检测方法，其中，
所述在所述栅格的单元内配置所述圆形像素组件来构成分布矩阵的步骤进一步包括：
在所述多个垂直列中，去除没有配置所述圆形像素组件的垂直列。
17.一种重复图案检测装置，包括：
线形像素组件去除部，对构成输入图像的像素进行边缘检测，去除由多个像素构成线形状的线形像素组件；
圆形像素组件检测部，从去除所述线形像素组件的输入图像中，检测由多个像素构成圆形状的圆形像素组件；
分布矩阵构成部，在所述图像上设定由多个四边形单元形成多个水平列和垂直列的栅格，并且在所述栅格的单元内配置所述圆形像素组件来构成分布矩阵；以及
重复周期计算部，测量所述圆形像素组件之间的间隔，计算所述输入图像的圆形像素组件的重复周期。
CN201410235685.8A 2013-05-31 2014-05-29 检测图像中的重复图案的方法及装置 Active CN104217420B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020130062249A KR101565748B1 (ko) 2013-05-31 2013-05-31 이미지에서 반복 패턴을 검출하는 방법 및 장치
KR10-2013-0062249 2013-05-31

Publications (2)

Publication Number Publication Date
CN104217420A CN104217420A (zh) 2014-12-17
CN104217420B true CN104217420B (zh) 2018-01-26

Family

ID=51985175

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410235685.8A Active CN104217420B (zh) 2013-05-31 2014-05-29 检测图像中的重复图案的方法及装置

Country Status (3)

Country Link
US (2) US9330450B2 (zh)
KR (1) KR101565748B1 (zh)
CN (1) CN104217420B (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140064596A1 (en) * 2012-08-29 2014-03-06 Micron Technology, Inc. Descriptor guided fast marching method for analyzing images and systems using the same
CN107003785B (zh) * 2014-12-09 2020-09-22 巴斯夫欧洲公司 光学检测器
CN104484878B (zh) * 2014-12-16 2017-10-17 深圳市华星光电技术有限公司 显示面板缺陷的自动检测方法
TWI521476B (zh) * 2015-04-17 2016-02-11 銘傳大學 週期性圖案之自動光學檢測方法
CN107871011B (zh) * 2017-11-21 2020-04-24 Oppo广东移动通信有限公司 图像处理方法、装置、移动终端及计算机可读存储介质
KR102010085B1 (ko) * 2017-12-26 2019-08-12 주식회사 포스코 수퍼픽셀을 이용한 미세조직의 라벨링 이미지 생성방법 및 생성장치
KR102010086B1 (ko) * 2017-12-26 2019-08-12 주식회사 포스코 미세조직의 상 분할 방법 및 장치
KR102604170B1 (ko) * 2018-09-27 2023-11-20 삼성전자주식회사 전자 장치 및 그 제어 방법
JP7287669B2 (ja) * 2019-08-21 2023-06-06 株式会社ブイ・テクノロジー 欠陥部認識装置及び欠陥部認識方法
KR102349156B1 (ko) * 2019-12-17 2022-01-10 주식회사 포스코 미세 조직의 상 분할 장치 및 방법
CN112462571B (zh) * 2020-12-04 2023-05-23 深圳清华大学研究院 周期性图形阵列提取方法、计算机装置及存储介质
CN113706607B (zh) * 2021-08-18 2023-10-20 广东江粉高科技产业园有限公司 一种基于圆环阵列图的亚像素定位方法、计算机设备与装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1456015A (zh) * 2001-01-11 2003-11-12 皇家菲利浦电子有限公司 识别并行地出现在单个电视信号场中的影片和视频对象
CN102685367A (zh) * 2011-01-26 2012-09-19 株式会社理光 图像处理装置与像素插值方法
CN102770864A (zh) * 2010-01-29 2012-11-07 香港科技大学 基于图像的建筑物图案检测以及建模

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE3587846T2 (de) 1984-12-26 1994-10-06 Hitachi Ltd Verfahren und Gerät zum Prüfen der Geometrie von Mehrschichtmustern für integrierte Schaltungsstrukturen.
JP2010151824A (ja) 2005-01-14 2010-07-08 Hitachi High-Technologies Corp パターン検査方法及びその装置
US8816460B2 (en) 2009-04-06 2014-08-26 Nokia Corporation Image sensor
JP5409237B2 (ja) * 2009-09-28 2014-02-05 キヤノン株式会社 パターン検出装置、その処理方法及びプログラム
JP5498189B2 (ja) 2010-02-08 2014-05-21 株式会社日立ハイテクノロジーズ 欠陥検査方法及びその装置
JP2011174896A (ja) 2010-02-25 2011-09-08 Mitsubishi Heavy Ind Ltd 撮像装置及び撮像方法
KR101261016B1 (ko) 2011-03-15 2013-05-06 (주) 인텍플러스 평판패널 기판의 자동광학검사 방법 및 그 장치
JP6222514B2 (ja) * 2012-01-11 2017-11-01 パナソニックＩｐマネジメント株式会社 画像処理装置、撮像装置、およびコンピュータブログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1456015A (zh) * 2001-01-11 2003-11-12 皇家菲利浦电子有限公司 识别并行地出现在单个电视信号场中的影片和视频对象
CN102770864A (zh) * 2010-01-29 2012-11-07 香港科技大学 基于图像的建筑物图案检测以及建模
CN102685367A (zh) * 2011-01-26 2012-09-19 株式会社理光 图像处理装置与像素插值方法

Also Published As

Publication number Publication date
US9330450B2 (en) 2016-05-03
US20140355873A1 (en) 2014-12-04
US9430713B2 (en) 2016-08-30
CN104217420A (zh) 2014-12-17
KR20140141027A (ko) 2014-12-10
US20160210527A1 (en) 2016-07-21
KR101565748B1 (ko) 2015-11-05

Similar Documents

Publication Publication Date Title
CN104217420B (zh) 检测图像中的重复图案的方法及装置
US11719650B2 (en) Method for performing smart semiconductor wafer defect calibration
US11144778B2 (en) Descriptor guided fast marching method for analyzing images and systems using the same
CN100499057C (zh) 晶片检测方法
JP5357725B2 (ja) 欠陥検査方法及び欠陥検査装置
US20140198975A1 (en) Region-of-interest determination apparatus, observation tool or inspection tool, region-of-interest determination method, and observation method or inspection method using region-of-interest determination method
CN103346104B (zh) 一种芯片缺陷检测方法
TWI547802B (zh) 檢驗方策產生技術及基於檢驗方策之檢驗技術
US8090192B2 (en) Pattern misalignment measurement method, program, and semiconductor device manufacturing method
CN110031188B (zh) 集成电路光学芯片光圈测试方法
WO2010023791A1 (ja) 欠陥検査方法及び装置
US9207279B2 (en) Inspection tool and methodology for three dimensional voltage contrast inspection
CN104062305A (zh) 一种集成电路缺陷的分析方法
CN111047655A (zh) 基于卷积神经网络的高清摄像机布料疵点检测方法
CN107689335B (zh) 一种多种产品晶圆缺陷的分析方法
CN112396599B (zh) 一种透明封装ic缺陷的视觉检测方法
CN104978752A (zh) 用于芯片缺陷扫描的关注区域划分方法
KR101702752B1 (ko) 전자 부품 검사 방법
WO2010053040A1 (ja) 電子線式基板検査装置
US7079966B2 (en) Method of qualifying a process tool with wafer defect maps
JP5155938B2 (ja) パターン輪郭検出方法
JP2003282665A (ja) 半導体不良解析ツール、システム、不要解析方法および半導体装置の製造方法
US6815233B1 (en) Method of simultaneous display of die and wafer characterization in integrated circuit technology development
US8126257B2 (en) Alignment of semiconductor wafer patterns by corresponding edge groups
US7220605B1 (en) Selecting dice to test using a yield map

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant