CN113554633A - 对缺陷的聚类方法及聚类装置、检测设备及可读存储介质 - Google Patents
对缺陷的聚类方法及聚类装置、检测设备及可读存储介质 Download PDFInfo
- Publication number
- CN113554633A CN113554633A CN202110871489.XA CN202110871489A CN113554633A CN 113554633 A CN113554633 A CN 113554633A CN 202110871489 A CN202110871489 A CN 202110871489A CN 113554633 A CN113554633 A CN 113554633A
- Authority
- CN
- China
- Prior art keywords
- defects
- image
- mapping
- clustering
- position information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000007547 defect Effects 0.000 title claims abstract description 271
- 238000000034 method Methods 0.000 title claims abstract description 49
- 238000001514 detection method Methods 0.000 title claims abstract description 20
- 238000013507 mapping Methods 0.000 claims abstract description 133
- 238000004590 computer program Methods 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 abstract description 10
- 238000010586 diagram Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 5
- 238000007689 inspection Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 238000000638 solvent extraction Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 238000005192 partition Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000004806 packaging method and process Methods 0.000 description 1
- 239000000047 product Substances 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 239000011265 semifinished product Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Geometry (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
Abstract
本申请公开了一种对缺陷的聚类方法。聚类方法包括:获取多个缺陷在第一图像中的第一位置信息;获取第二图像,第二图像包括多个图像单元;基于第一位置信息,将多个缺陷映射至第二图像中以形成映射图案;基于映射图案所在的图像单元的第二位置信息,对映射图案对应的缺陷划分为至少两个不同的类;及对每个不同的类中的缺陷单独进行聚类。本申请还公开了一种对缺陷的聚类装置、检测设备及计算机可读存储介质。将多个缺陷映射至第二图像中并形成映射图案,且先将多个缺陷划分为至少两个不同的类,再就不同的类中的缺陷单独进行聚类,在进一步进行单独聚类时,每一类中需要进行单独聚类的缺陷的数量较少,聚类的总的计算量较小。
Description
技术领域
本申请涉及工业检测技术领域,特别涉及一种对缺陷的聚类方法、对缺陷的聚类装置、检测设备及计算机可读存储介质。
背景技术
在工业检测中,通常需要检测出待检测工件上的缺陷的位置、缺陷的种类、缺陷的大小等信息,再将这些缺陷的信息显示出来以供分析和处理。为了便于对缺陷的信息进行集中的分析和处理,通常需要将众多的缺陷进行聚类,比如通过计算所有缺陷两两之间的距离,并将距离较近的缺陷聚为一类,而计算所有缺陷两两之间的距离,需要耗费大量的运算资源及运算时间,尤其是当缺陷的数量较多时,例如几万个缺陷时,耗费的运算资源及运算时间尤其多。
发明内容
本申请实施方式提供了一种对缺陷的聚类方法、对缺陷的聚类装置、检测设备及计算机可读存储介质。
本申请实施方式的对缺陷的聚类方法包括:
获取多个缺陷在第一图像中的第一位置信息;
获取第二图像,所述第二图像包括多个图像单元;
基于所述第一位置信息,将多个所述缺陷映射至所述第二图像中以形成映射图案;
基于所述映射图案所在的图像单元的第二位置信息,对所述映射图案对应的缺陷划分为至少两个不同的类;及
对每个不同的类中的缺陷单独进行聚类。
在某些实施方式中,所述获取第二图像,包括:
划分所述第二图像为多个阵列排布的图像单元,多个所述图像单元与所述第一图像中,多个边长为预设距离阈值的正方形单元格一一对应;
所述基于所述第一位置信息,将多个所述缺陷映射至所述第二图像中以形成映射图案,包括:将每个单元格内的缺陷映射至对应的图像单元内。
在某些实施方式中,所述基于所述第一位置信息,将多个所述缺陷映射至所述第二图像中以形成映射图案,包括:
对于已映射至少一个缺陷的图像单元,定义为第一颜色;
对于未映射有缺陷的图像单元,定义为第二颜色;及
基于所有带所述第一颜色的图像单元形成所述映射图案。
在某些实施方式中,所述距离阈值小于或等于,同一类缺陷内任意一个缺陷与其余缺陷之间的最小距离。
在某些实施方式中,所述基于所述映射图案所在的图像单元的第二位置信息,对所述映射图案对应的缺陷划分为至少两个不同的类,包括:
依据所述第二位置信息,将所述映射图案划分为多个映射区域,同一个映射区域所在的图像单元连通,不同的映射区域所在的图像单元不连通;及
将不同的映射区域对应的缺陷分为不同的类。
在某些实施方式中,所述对每个不同的类中的缺陷单独进行聚类,包括:
计算同一个映射区域对应的多个缺陷两两之间的距离;及
基于所述多个缺陷两两之间的距离将同一个映射区域对应的多个缺陷分为多类,不同类的缺陷之间的最小距离大于距离阈值。
在某些实施方式中,所述聚类方法还包括:
同一类缺陷中,以面积最大的缺陷的第一位置信息,作为所述同一类缺陷的代表位置;及
依据所有类缺陷的代表位置,在第三图像上进行标记。
本申请实施方式的对缺陷的聚类装置包括:
第一获取模块,用于获取多个缺陷在第一图像中的第一位置信息;
第二获取模块,用于获取第二图像,所述第二图像包括多个图像单元;
映射模块,用于基于所述第一位置信息,将多个所述缺陷映射至所述第二图像中以形成映射图案;
第一聚类模块,用于基于所述映射图案所在的图像单元的第二位置信息,对所述映射图案对应的缺陷划分为至少两个不同的类;及
第二聚类模块,对每个不同的类中的缺陷单独进行聚类。
本申请实施方式的检测设备包括:
存储器,所述存储器存储有第一图像;及
处理器,所述处理器用于执行本申请任一实施方式所述的聚类方法。
本申请实施方式的非易失性计算机可读存储介质存储有计算机程序,当所述计算机程序被一个或多个处理器执行时,使得所述处理器执行本申请任一实施方式所述的聚类方法。
本申请实施方式的对缺陷的聚类方法、对缺陷的聚类装置、检测设备及计算机可读存储介质中,基于多个缺陷的第一位置信息,将多个缺陷映射至第二图像中并形成映射图案,且基于映射图案所在的图像单元的第二位置信息,先将多个缺陷划分为至少两个不同的类,再就不同的类中的缺陷单独进行聚类,由于先将多个缺陷进行初步分类,在进一步进行单独聚类时,每一类中需要进行单独聚类的缺陷的数量较少,聚类的总的计算量较小,节约了运算资源和运算所需的时间。
本申请实施方式的附加方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本申请的实践了解到。
附图说明
本申请的上述和/或附加的方面和优点可以从结合下面附图对实施方式的描述中将变得明显和容易理解,其中:
图1为本申请某些实施方式的聚类方法的流程示意图;
图2至图5为本申请某些实施方式的聚类方法的实施原理示意图;
图6为本申请某些实施方式的聚类方法的流程示意图;
图7为本申请某些实施方式的聚类方法的实施原理示意图;
图8至图10为本申请某些实施方式的聚类方法的流程示意图;
图11为本申请某些实施方式的聚类方法的实施原理示意图;
图12为本申请某些实施方式的聚类方法的流程示意图;
图13为本申请某些实施方式的聚类方法的实施原理示意图;
图14至图19是本申请某些实施方式的聚类装置的模块示意图;
图20是本申请某些实施方式的检测设备的结构示意图;
图21是本申请某些实施方式的计算机可读存储介质与处理器的连接示意图。
具体实施方式
下面详细描述本申请的实施方式,所述实施方式的示例在附图中示出,其中,相同或类似的标号自始至终表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的,仅用于解释本申请的实施方式,而不能理解为对本申请的实施方式的限制。
为了提高产品的良率,通常在工件的多个制程之间,需要对每个制程完成后产生的半成品进行缺陷检测,或者工件在出厂前也需要进行缺陷检测。在进行缺陷检测时,检出的缺陷可能有很多,例如成千上万个,甚至达到十万、百万以上的数量级。但是,在一些情况下不需要将所有的缺陷都展示出来,例如仅仅为了直观地展示缺陷的总体分布情况,又或者在一些情况下不需要针对每一个缺陷都进行针对性地处理,例如只需要对一定区域内的缺陷进行统一处理,此时,就有必要对为数众多的缺陷先进行聚类。
在聚类时,常用的一种做法是将距离靠近的缺陷聚为一类,显然,这需要先计算多个缺陷两两之间的距离,才能依据距离进行聚类。然而,诚如上述,缺陷的数量可能有很多,计算两两之间的距离,再逐一进行判断是否应该聚为一类,计算量非常大,需要耗费的时间也很长,这已经成为整个行业的一个痛点。
本申请实施方式公开了一种对缺陷的聚类方法,以实现在对缺陷进行聚类时,减少对运算资源的耗费,节约运算所需的时间。当然,也可以将聚类方法运用于对其余任意的特征进行聚类,而不限于对缺陷进行聚类。具体地,请参阅图1,本申请实施方式的对缺陷的聚类方法包括步骤:
01:获取多个缺陷在第一图像中的第一位置信息;
02:获取第二图像,第二图像包括多个图像单元;
03:基于第一位置信息,将多个缺陷映射至第二图像中以形成映射图案;
04:基于映射图案所在的图像单元的第二位置信息,对映射图案对应的缺陷划分为至少两个不同的类;及
05:对每个不同的类中的缺陷单独进行聚类。
基于多个缺陷的第一位置信息,将多个缺陷映射至第二图像中并形成映射图案,且基于映射图案所在的图像单元的第二位置信息,先将多个缺陷划分为至少两个不同的类,再就不同的类中的缺陷单独进行聚类,由于先将多个缺陷进行初步分类,在进一步进行单独聚类时,每一类中需要进行单独聚类的缺陷的数量较少,聚类的总的计算量较小,节约了运算资源和运算所需的时间。
步骤01中,获取多个缺陷在第一图像中的第一位置信息,其中,第一图像可以是工件的原始图像,第一图像可以由检测设备先拍摄工件的图像,然后识别出工件中的缺陷的信息,并将缺陷逐一标记出来而得到。从第一图像中,可以获取到缺陷的数量、每个缺陷的位置信息(即第一位置信息)、每个缺陷的面积大小、每个缺陷的形状等信息。在如图2所示的例子中,第一图像P1中的黑色点代表缺陷所在的位置,白色区域为不包含缺陷的区域。
可以理解,图2中第一图像P1仅作为示例表示以便于说明,在其他例子中,第一图像的形状可以是圆形、椭圆、矩形等任意形状,缺陷的数量可以更多,或者更少,在此不作限制。
步骤02中,获取第二图像,第二图像包括多个图像单元,诚如上述,第一图像为检测设备拍摄的工件的原始图像,通常第一图像的精度较高,数据量较大,直接以第一图像先对缺陷进行分类,会导致处理起来的运算量过高,因此,可以先另行准备第二图像,以便于后续针对第二图像进行部分处理,减少需要的运算量。第二图像包括多个图像单元,以便于后续通过图像单元之间的关系快捷地将缺陷进行分类。其中,图像单元可以是第二图像中的像素单元,也可以是自定义第二图像中的一定大小的区域为图像单元,在此不作限制。在图3所示的例子中,第二图像P2中的最小方格为图像单元,当然,在实际的第二图像中,可能并不会用线划分出图像单元,图3仅为便于示意。
步骤03中,基于第一位置信息,将多个缺陷映射至第二图像中以形成映射图案,先将缺陷的第一位置信息映射至第二图像以形成映射图案,以将缺陷的信息部分转移至第二图像中,使得后续可以依据映射图案先对缺陷进行分类,且可以再将分类产生的相关信息再对应到第一图像中的缺陷上。如图4所示的例子中,第一图像中的缺陷映射至第二图像P2后,形成了映射图案,其中,映射图案由第二图像P2中的带填充的图像单元构成,该映射图案实际上体现了缺陷在第一图像中的分布信息。
步骤04中,基于映射图案所在的图像单元的第二位置信息,对映射图案对应的缺陷划分为至少两个不同的类,具体地,映射图案由带有特定信息的图像单元排列得到,依据映射图案中各图像单元的第二位置信息,实际上可以体现缺陷的第一位置信息,体现缺陷的分布状况,而相较于直接在第一图像上分析缺陷的分布状况,通过映射到第二图像中的映射图案进行分析时,能够更为快捷且直观地将缺陷先分为至少两个不同的类。
如图4及图5所示的例子中,依据图4中第二图像P2中的映射图案,可以将映射图案的图像单元对应的第一图像中的缺陷分为至少两个不同的类,例如如图5所示的第一图像P1中,两个虚线框内的缺陷分别属于不同类的缺陷。
步骤05中,对每个不同的类中的缺陷单独进行聚类,具体地,实施步骤04时,仅依据映射图案的图像单元所在的第二位置信息,对多个缺陷进行分类,该分类较粗略,可以达到将部分不是在同一类的缺陷分开的目的,而被分为同一类的缺陷中,可能还可以继续分为不同的类,因此,有必要对由实施步骤04分出的同一类缺陷再次进行单独聚类,以全面地对多个缺陷进行聚类。
请参阅图6,在某些实施方式中,步骤02包括步骤021:划分第二图像为多个阵列排布的图像单元,多个图像单元与第一图像中,多个边长为预设距离阈值的正方形单元格一一对应。步骤03包括步骤031:将每个单元格内的缺陷映射至对应的图像单元内。
通过在第二图像中划分与第一图像的单元格一一对应的图像单元,便于将第一图像中的缺陷以单元格为单位映射至第二图像,同时,也便于后续依据第二图像中图像单元的位置关系对缺陷进行分类。
步骤021中,划分第二图像为多个阵列排布的图像单元,其中,划分的多个图像单元与第一图像中定义的多个单元格一一对应。在将缺陷映射至第二图像之前,需要先确定好第一图像与第二图像之间的映射关系,具体地,如上所述,第一图像为拍摄工件所得到的原始图像,且第一图像的比例尺为已知,即,第一图像上的尺寸与实际物理尺寸之间可以互相转换,第一图像上的缺陷之间的图上距离即可用于体现缺陷之间的实际物理距离。可以先在第一图像中定义多个阵列排布的正方形单元格,单元格的边长预设为距离阈值,例如第一图像的尺寸为1.5米*1.5米,单元格的尺寸为500微米*500微米,每个单元格内可能有任意数量的缺陷,例如零个、一个、两个、三个、四个等任意数量。可以理解,处于同一个单元格内的多个缺陷之间的距离可能较近,处于相邻单元格内的多个缺陷之间的距离也可能较近,而既不处于同一个单元格内,又不处于相邻单元格内的多个缺陷之间的距离则可能较远。
在一个例子中,距离阈值小于或等于同一类缺陷内任意一个缺陷与其余缺陷之间的最小距离。在对缺陷进行聚类之前,用户先定义该距离阈值,如果一个缺陷与另一个缺陷之间的距离小于或等于距离阈值时,则该缺陷与该另一个缺陷可以被分为一类;如果一个缺陷与任意其余的缺陷之间的距离均大于距离阈值时,则该缺陷单独为一类。因此,当以本例子中的方式确定距离阈值时,如果两个缺陷既不处于同一个单元格内,又不处于相邻单元格内,则可以判断两个缺陷之间的距离必然大于距离阈值。
为了便于后续将缺陷映射至第二图像,第二图像也划分为多个阵列排布的图像单元,图像单元与第一图像中的多个单元格一一对应。当然,第二图像中图像单元的尺寸可以与第一图像单元中单元格的尺寸不同,形状也可以不同,只需要一一对应,且多个图像单元之间的相对位置关系与多个单元格之间的相对位置关系相同即可。
步骤031中,将每个单元格内的缺陷映射至对应的图像单元内,多个图像单元与多个单元格一一对应,故每个单元格内的每个缺陷都可以映射至第二图像的图像单元中。具体地,映射至图像单元内后,可以不需要保留缺陷的具体位置,例如可以仅标记映射至某一图像单元中的缺陷的个数。
请参阅图8,在某些实施方式中,步骤03还包括步骤:
032:对于已映射至少一个缺陷的图像单元,定义为第一颜色;
033:对于未映射有缺陷的图像单元,定义为第二颜色;及
034:基于所有带第一颜色的图像单元形成映射图案。
对映射有缺陷的图像单元与未映射有缺陷的图像单元分别定义不同的颜色,使得在第二图像中,映射图案能够直观且清晰地被标记在第二图像中。其中,第一颜色与第二颜色可以为任意不同的颜色,例如第一颜色为白色,第二颜色为黑色,或者第一颜色为黑色,第二颜色为白色。
在具体实施时,也可以是先将所有图像单元默认为未映射有缺陷,即,先将所有图像单元定义为第二颜色,例如黑色,在实施步骤031的过程中,每在一个图像单元中映射缺陷,则实施步骤032,将该图像单元定义为第一颜色,例如白色。当一个图像单元已经由于已映射一个缺陷而被定义为第一颜色时,则可以不再需要往同一个图像单元内映射缺陷,以减少运算量。
请参阅图4及图7所示的例子,图7的第二图像P2中映射有缺陷(黑点所示)的图像单元被定义为第一颜色的图像单元,如图4中的带填充的图像单元,未映射有缺陷的图像单元被定义为第二颜色的图像单元,如图4中的不带填充的图像单元,所有第一颜色的图像单元共同形成映射图案。
请参阅图9,在某些实施方式中,步骤04包括步骤:
041:依据第二位置信息,将映射图案划分为多个映射区域,同一个映射区域所在的图像单元连通,不同的映射区域所在的图像单元不连通;及
042:将不同的映射区域对应的缺陷分为不同的类。
步骤041中,依据第二位置信息,将映射图案划分为多个映射区域,同一个映射区域所在的图像单元连通,不同的映射区域所在的图像单元不连通,其中,一个映射区域的图像单元连通指的是:该映射区域内任意一个图像单元,都存在至少一个与其相邻的且在该映射区域内的另一个图像单元,例如,当图像单元a与图像单元b连通,且图像单元b与图像单元c连通,则图像单元a、b、c相互连通。如图4所示的例子中,映射图案可以划分为两个映射区域,两个映射区域之间不存在连通的图像单元,而同一个映射区域内的图像单元均连通。
步骤042中,将不同的映射区域对应的缺陷分为不同的类,由于图像单元与第一图像的单元格一一对应,单元格的边长为预设距离,因此,不同的两个映射区域对应的缺陷之间的距离必然大于预设距离,即,跨映射区域的两个缺陷之间的距离必然大于预设距离。故,不同映射区域内对应的缺陷必然属于不同的类,可以先将不同映射区域对应的缺陷进行分类。如图4及图5所示,基于第二图像P2中的两个映射区域,可以将第一图像P1中对应的缺陷划分为两个类,如图5中两个虚线框内的缺陷。当然,不同的映射图案可能可以划分为不同数量的映射区域,例如还可以是三个、四个、五个等任意数量,每个映射区域对应的缺陷数量可以是单个,也可以是多个,在此不作限制。
因此,通过先将映射图案划分为多个映射区域,可以较简易地先将多个缺陷分为不同的类,再进行后续的聚类操作,相对于直接对所有缺陷进行一次分类而言,运算量大大减少。
请参阅图10,在某些实施方式中,步骤05包括步骤:
051:计算同一个映射区域对应的多个缺陷两两之间的距离;及
052:基于多个缺陷两两之间的距离将同一个映射区域对应的多个缺陷分为多类,不同类的缺陷之间的最小距离大于距离阈值。
步骤051中,计算同一个映射区域对应的多个缺陷两两之间的距离,可以理解,基于节约运算资源的考虑,在第二图像的映射图案中并不一定严格地体现所有缺陷的第一位置信息,因此,依据第二图像分成的同一类中,还可能包括多个类,需要将同一个映射区域对应的多个缺陷再单独进行聚类。此时,可以计算同一个映射区域内对应的多个缺陷两两之间的距离,以便于后续依据距离再进行分类。
步骤052中,基于多个缺陷两两之间的距离将同一个映射区域对应的多个缺陷分为多类,不同类的缺陷之间的最小距离大于距离阈值。在对同一个映射区域的多个缺陷进行分类时,标准可以是:属于不同类的缺陷之间的最小距离大于距离阈值,同一类缺陷中的任意一个缺陷,都存在另一个缺陷与该任意一个缺陷之间的距离小于或等于距离阈值。基于此,可以将同一个映射区域对应的多个缺陷再细分为一个或多个类,且不需要考虑不同映射区域对应的多个缺陷之间的距离,大大减少了运算量。
为了更直观地体现运算量的减少,举例如下:对于有一万个缺陷的第一图像,如果直接计算该一万个缺陷两两之间的距离,则运算量比较大,如果先将该一万个缺陷分为两类,例如两类缺陷分别为四千个缺陷及六千个缺陷,再分别计算该四千个缺陷两两之间的距离,以及六千个缺陷两两之间的距离,则运算量比较小。
如图5及图11所示的例子中,图5所示为依据映射图案将多个缺陷分成的两个类,图11为再将图5所示的两类缺陷分别单独进行聚类所得到的结果,可以看到,图5中不在同一类的缺陷必然在图11中也不在同一类,而图5中在同一类的缺陷还可以分为多个类,如图11所示。
请参阅图12,在某些实施方式中,聚类方法还包括步骤:
06:同一类缺陷中,以面积最大的缺陷的第一位置信息,作为同一类缺陷的代表位置;及
07:依据所有类缺陷的代表位置,在第三图像上进行标记。
步骤06中,同一类缺陷中,以面积最大的缺陷的第一位置信息,作为同一类缺陷的代表位置,可以理解,同一类缺陷中,往往包含了多个缺陷,而有时为了表示方便,可能并不需要将所有缺陷都体现出来,此时,将面积最大的缺陷的第一位置信息,作为同一类缺陷的代表位置,既便于体现该同一类缺陷的整体的位置,同时面积最大的缺陷可能是用户最需要关注的缺陷,用户也能够更快捷地定位到面积最大的缺陷所在的位置。
步骤07中,依据所有缺陷的代表位置,在第三图像上进行标记,其中,第三图像可以是展示在用户界面上的图像,用户通过查看第三图像,可以更宏观地了解缺陷的整体分布位置,例如缺陷的分散程度等信息。
如图11及图13所示的例子,图11中的第一图像P1中分成的五个类,在图13的第三图像P3中,可以依据每个类中面积最大的缺陷所在的位置进行标记,例如标记为如图13所示的五个黑点。
请参阅图14,本申请还公开了一种对缺陷的聚类装置10,聚类装置10包括第一获取模块11、第二获取模块12、映射模块13、第一聚类模块14及第二聚类模块15。第一获取模块11可用于实施步骤01,即,第一获取模块11可用于获取多个缺陷在第一图像中的第一位置信息。第二获取模块12可用于实施步骤02,即,第二获取模块12可用于获取第二图像,第二图像包括多个图像单元。映射模块13可用于实施步骤03,即,映射模块13可用于基于第一位置信息,将多个缺陷映射至第二图像中以形成映射图案。第一聚类模块14可用于实施步骤04,即,第一聚类模块14可用于基于映射图案所在的图像单元的第二位置信息,对映射图案对应的缺陷划分为至少两个不同的类。第二聚类模块15可用于实施步骤05,即,第二聚类模块15可用于对每个不同的类中的缺陷单独进行聚类。
请参阅图15,在某些实施方式中,第二获取模块12包括划区单元121,划区单元121可用于实施步骤021,即,划区单元121可用于划分第二图像为多个阵列排布的图像单元,多个图像单元与第一图像中,多个边长为预设距离阈值的正方形单元格一一对应。映射模块13包括映射单元131,映射单元131可用于实施步骤031,即,映射单元131可用于将每个单元格内的缺陷映射至对应的图像单元内。
请参阅图16,在某些实施方式中,映射模块13还包括第一定义单元132、第二定义单元133及形成单元134。第一定义单元132可用于实施步骤032,即,第一定义单元132可用于对于已映射至少一个缺陷的图像单元,定义为第一颜色。第二定义单元133可用于实施步骤033,即,第二定义单元133可用于对于未映射有缺陷的图像单元,定义为第二颜色。形成单元134可用于实施步骤034,即,形成单元134可用于基于所有带第一颜色的图像单元形成映射图案。
请参阅图17,在某些实施方式中,第一聚类模块14包括第一划分单元141及第二划分单元142。第一划分单元141可用于实施步骤041,即,第一划分单元141可用于依据第二位置信息,将映射图案划分为多个映射区域,同一个映射区域所在的图像单元连通,不同的映射区域所在的图像单元不连通。第二划分单元142可用于实施步骤042,即,第二划分单元142可用于将不同的映射区域对应的缺陷分为不同的类。
请参阅图18,在某些实施方式中,第二聚类模块15包括计算单元151及第三划分单元152。计算单元151可用于实施步骤051,即,计算单元151可用于计算同一个映射区域对应的多个缺陷两两之间的距离。第三划分单元152或用于实施步骤052,即,第三划分单元152可用于基于所述多个缺陷两两之间的距离将同一个映射区域对应的多个缺陷分为多类,不同类的缺陷之间的最小距离大于距离阈值。
请参阅图19,在某些实施方式中,聚类装置10还包括计算模块16及标记模块17。计算模块16可用于实施步骤06,即,计算模块16可用于同一类缺陷中,以面积最大的缺陷的第一位置信息,作为同一类缺陷的代表位置。标记模块17可用于实施步骤07,即,标记模块17可用于依据所有类缺陷的代表位置,在第三图像上进行标记。
聚类装置10实施聚类方法时的实施细节,可以参阅对聚类方法的描述,在此不再赘述。
请参阅图20,本申请还公开了一种检测设备20,检测设备20包括存储器21及处理器22。存储器21存储有第一图像,处理器22与存储器21通信连接,处理器22可用于实施本申请任一实施方式的聚类方法。处理器22实施聚类方法时的实施细节,可以参阅对聚类方法的描述,在此不再赘述。
请继续参阅图20,检测设备20可以是视觉检测设备、半导体加工设备、半导体封装设备等设备,在此不作限制。检测设备20还可以包括探测器23,探测器23可用于采集工件100的图像,以生成上述的第一图像。其中,由检测设备20检测的工件100可以是晶圆、芯片、显示面板、基板、薄膜、电路板、掩膜、盖板、外壳等任意器件,在此不作限制。
请参阅图21,本申请实施方式还公开一种非易失性计算机可读存储介质30,计算机可读存储介质30存储有计算机程序31,当计算机程序31被一个或多个处理器40执行时,使得处理器40执行本申请任一实施方式的聚类方法。
综上,本申请实施方式的对缺陷的聚类方法、对缺陷的聚类装置10、检测设备20及计算机可读存储介质30中,基于多个缺陷的第一位置信息,将多个缺陷映射至第二图像中并形成映射图案,且基于映射图案所在的图像单元的第二位置信息,先将多个缺陷划分为至少两个不同的类,再就不同的类中的缺陷单独进行聚类,由于先将多个缺陷进行初步分类,在进一步进行单独聚类时,每一类中需要进行单独聚类的缺陷的数量较少,聚类的总的计算量较小,节约了运算资源和运算所需的时间。
在本说明书的描述中,参考术语“一个实施方式”、“一些实施方式”、“示意性实施方式”、“示例”、“具体示例”或“一些示例”等的描述意指结合所述实施方式或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施方式或示例中。在本说明书中,对上述术语的示意性表述不一定指的是相同的实施方式或示例。而且,描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施方式或示例中以合适的方式结合。此外,在不相互矛盾的情况下,本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为,表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分,并且本申请的优选实施方式的范围包括另外的实现,其中可以不按所示出或讨论的顺序,包括根据所涉及的功能按基本同时的方式或按相反的顺序,来执行功能,这应被本申请的实施例所属技术领域的技术人员所理解。
尽管上面已经示出和描述了本申请的实施方式,可以理解的是,上述实施方式是示例性的,不能理解为对本申请的限制,本领域的普通技术人员在本申请的范围内可以对上述实施方式进行变化、修改、替换和变型。
Claims (10)
1.一种对缺陷的聚类方法,其特征在于,所述聚类方法包括:
获取多个缺陷在第一图像中的第一位置信息;
获取第二图像,所述第二图像包括多个图像单元;
基于所述第一位置信息,将多个所述缺陷映射至所述第二图像中以形成映射图案;
基于所述映射图案所在的图像单元的第二位置信息,对所述映射图案对应的缺陷划分为至少两个不同的类;及
对每个不同的类中的缺陷单独进行聚类。
2.根据权利要求1所述的聚类方法,其特征在于,所述获取第二图像,包括:
划分所述第二图像为多个阵列排布的图像单元,多个所述图像单元与所述第一图像中,多个边长为预设距离阈值的正方形单元格一一对应;
所述基于所述第一位置信息,将多个所述缺陷映射至所述第二图像中以形成映射图案,包括:将每个单元格内的缺陷映射至对应的图像单元内。
3.根据权利要求2所述的聚类方法,其特征在于,所述基于所述第一位置信息,将多个所述缺陷映射至所述第二图像中以形成映射图案,包括:
对于已映射至少一个缺陷的图像单元,定义为第一颜色;
对于未映射有缺陷的图像单元,定义为第二颜色;及
基于所有带所述第一颜色的图像单元形成所述映射图案。
4.根据权利要求2所述的聚类方法,其特征在于,所述距离阈值小于或等于,同一类缺陷内任意一个缺陷与其余缺陷之间的最小距离。
5.根据权利要求1至4任意一项所述的聚类方法,其特征在于,所述基于所述映射图案所在的图像单元的第二位置信息,对所述映射图案对应的缺陷划分为至少两个不同的类,包括:
依据所述第二位置信息,将所述映射图案划分为多个映射区域,同一个映射区域所在的图像单元连通,不同的映射区域所在的图像单元不连通;及
将不同的映射区域对应的缺陷分为不同的类。
6.根据权利要求5所述的聚类方法,其特征在于,所述对每个不同的类中的缺陷单独进行聚类,包括:
计算同一个映射区域对应的多个缺陷两两之间的距离;及
基于所述多个缺陷两两之间的距离将同一个映射区域对应的多个缺陷分为多类,不同类的缺陷之间的最小距离大于距离阈值。
7.根据权利要求1所述的聚类方法,其特征在于,所述聚类方法还包括:
同一类缺陷中,以面积最大的缺陷的第一位置信息,作为所述同一类缺陷的代表位置;及
依据所有类缺陷的代表位置,在第三图像上进行标记。
8.一种对缺陷的聚类装置,其特征在于,所述聚类装置包括:
第一获取模块,用于获取多个缺陷在第一图像中的第一位置信息;
第二获取模块,用于获取第二图像,所述第二图像包括多个图像单元;
映射模块,用于基于所述第一位置信息,将多个所述缺陷映射至所述第二图像中以形成映射图案;
第一聚类模块,用于基于所述映射图案所在的图像单元的第二位置信息,对所述映射图案对应的缺陷划分为至少两个不同的类;及
第二聚类模块,对每个不同的类中的缺陷单独进行聚类。
9.一种检测设备,其特征在于,所述检测设备包括:
存储器,所述存储器存储有第一图像;及
处理器,所述处理器用于执行权利要求1至7任意一项所述的聚类方法。
10.一种存储有计算机程序的非易失性计算机可读存储介质,其特征在于,当所述计算机程序被一个或多个处理器执行时,使得所述处理器执行权利要求1至7任意一项所述的聚类方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110871489.XA CN113554633B (zh) | 2021-07-30 | 2021-07-30 | 对缺陷的聚类方法及聚类装置、检测设备及可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110871489.XA CN113554633B (zh) | 2021-07-30 | 2021-07-30 | 对缺陷的聚类方法及聚类装置、检测设备及可读存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113554633A true CN113554633A (zh) | 2021-10-26 |
CN113554633B CN113554633B (zh) | 2024-05-10 |
Family
ID=78104971
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110871489.XA Active CN113554633B (zh) | 2021-07-30 | 2021-07-30 | 对缺陷的聚类方法及聚类装置、检测设备及可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113554633B (zh) |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011007553A (ja) * | 2009-06-24 | 2011-01-13 | Hitachi High-Technologies Corp | 欠陥検出方法及び装置 |
US20170186144A1 (en) * | 2015-12-28 | 2017-06-29 | Powerchip Technology Corporation | Method, image processing system and computer-readable recording medium for item defect inspection |
CN107941812A (zh) * | 2017-12-20 | 2018-04-20 | 联想(北京)有限公司 | 信息处理方法及电子设备 |
CN110378900A (zh) * | 2019-08-01 | 2019-10-25 | 北京迈格威科技有限公司 | 产品缺陷的检测方法、装置及系统 |
CN111563870A (zh) * | 2019-02-14 | 2020-08-21 | 深圳中科飞测科技有限公司 | 图像处理方法和设备、检测方法和装置、存储介质 |
CN111815630A (zh) * | 2020-08-28 | 2020-10-23 | 歌尔股份有限公司 | 一种用于lcd屏幕的缺陷检测方法、装置 |
CN113033635A (zh) * | 2021-03-12 | 2021-06-25 | 中钞长城金融设备控股有限公司 | 一种硬币隐形图文检测方法及装置 |
CN113066043A (zh) * | 2019-12-31 | 2021-07-02 | 上海晨兴希姆通电子科技有限公司 | 缺陷检测方法及装置、计算机可读存储介质 |
-
2021
- 2021-07-30 CN CN202110871489.XA patent/CN113554633B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011007553A (ja) * | 2009-06-24 | 2011-01-13 | Hitachi High-Technologies Corp | 欠陥検出方法及び装置 |
US20170186144A1 (en) * | 2015-12-28 | 2017-06-29 | Powerchip Technology Corporation | Method, image processing system and computer-readable recording medium for item defect inspection |
CN107941812A (zh) * | 2017-12-20 | 2018-04-20 | 联想(北京)有限公司 | 信息处理方法及电子设备 |
CN111563870A (zh) * | 2019-02-14 | 2020-08-21 | 深圳中科飞测科技有限公司 | 图像处理方法和设备、检测方法和装置、存储介质 |
CN110378900A (zh) * | 2019-08-01 | 2019-10-25 | 北京迈格威科技有限公司 | 产品缺陷的检测方法、装置及系统 |
CN113066043A (zh) * | 2019-12-31 | 2021-07-02 | 上海晨兴希姆通电子科技有限公司 | 缺陷检测方法及装置、计算机可读存储介质 |
CN111815630A (zh) * | 2020-08-28 | 2020-10-23 | 歌尔股份有限公司 | 一种用于lcd屏幕的缺陷检测方法、装置 |
CN113033635A (zh) * | 2021-03-12 | 2021-06-25 | 中钞长城金融设备控股有限公司 | 一种硬币隐形图文检测方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
CN113554633B (zh) | 2024-05-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10115035B2 (en) | Vision system and analytical method for planar surface segmentation | |
CN107239794B (zh) | 点云数据分割方法和终端 | |
TWI539150B (zh) | 用於偵測檢查圖像中之缺陷的系統、方法及電腦程式產品 | |
US20040126005A1 (en) | Apparatus and methods for the inspection of objects | |
JP2003086645A (ja) | 検査装置および検査システム並びに半導体デバイスの製造方法 | |
CN114612469B (zh) | 产品缺陷检测方法、装置、设备及可读存储介质 | |
WO2021024402A1 (ja) | 寸法計測装置、寸法計測方法及び半導体製造システム | |
CN111398176A (zh) | 基于像元尺度特征的水体水色异常遥感识别方法和装置 | |
CN110852233A (zh) | 手部脱离方向盘的检测和训练方法、终端、装置、介质、系统 | |
CN116503415B (zh) | 缺陷检测方法、装置、计算机设备及计算机可读存储介质 | |
TW201606854A (zh) | 用於晶粒對資料庫光罩檢查之自動校準樣本選擇 | |
CN114930385A (zh) | 用于缺陷分析的计算机实现的方法、用于缺陷分析的设备、计算机程序产品和智能缺陷分析系统 | |
US6259809B1 (en) | System and method for recognition of image information | |
CN116128839A (zh) | 晶圆缺陷识别方法、装置、电子设备以及存储介质 | |
CN114372980A (zh) | 一种工业缺陷检测方法及系统 | |
CN113554633B (zh) | 对缺陷的聚类方法及聚类装置、检测设备及可读存储介质 | |
KR20190081843A (ko) | 웨이퍼 데이터를 처리하는 방법 및 장치 | |
CN115601564B (zh) | 基于图像识别的胶体轮廓检测方法及系统 | |
JP2840347B2 (ja) | 基板実装検査装置 | |
US11928808B2 (en) | Wafer detection method, device, apparatus, and storage medium | |
CN113630594B (zh) | 一种显示面板坏点检测系统 | |
CN115861259A (zh) | 一种基于模板匹配的引线框架表面缺陷检测方法及装置 | |
Noh et al. | An effective and efficient defect inspection system for TFT-LCD polarised films using adaptive thresholds and shape-based image analyses | |
CN112241697B (zh) | 角点颜色判定方法、装置、终端设备及可读存储介质 | |
CN115298626A (zh) | 作业管理装置和作业状态判定方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |