CN111476938A - 用于周期性样式的异常检测 - Google Patents
用于周期性样式的异常检测 Download PDFInfo
- Publication number
- CN111476938A CN111476938A CN201910067930.1A CN201910067930A CN111476938A CN 111476938 A CN111476938 A CN 111476938A CN 201910067930 A CN201910067930 A CN 201910067930A CN 111476938 A CN111476938 A CN 111476938A
- Authority
- CN
- China
- Prior art keywords
- periodic
- pattern
- image pattern
- image
- segments
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
- G01N21/956—Inspecting patterns on the surface of objects
-
- G—PHYSICS
- G07—CHECKING-DEVICES
- G07D—HANDLING OF COINS OR VALUABLE PAPERS, e.g. TESTING, SORTING BY DENOMINATIONS, COUNTING, DISPENSING, CHANGING OR DEPOSITING
- G07D7/00—Testing specially adapted to determine the identity or genuineness of valuable papers or for segregating those which are unacceptable, e.g. banknotes that are alien to a currency
- G07D7/20—Testing patterns thereon
- G07D7/202—Testing patterns thereon using pattern matching
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
- G01N21/9501—Semiconductor wafers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
- G06T7/001—Industrial image inspection using an image reference approach
-
- G—PHYSICS
- G07—CHECKING-DEVICES
- G07D—HANDLING OF COINS OR VALUABLE PAPERS, e.g. TESTING, SORTING BY DENOMINATIONS, COUNTING, DISPENSING, CHANGING OR DEPOSITING
- G07D7/00—Testing specially adapted to determine the identity or genuineness of valuable papers or for segregating those which are unacceptable, e.g. banknotes that are alien to a currency
- G07D7/20—Testing patterns thereon
- G07D7/202—Testing patterns thereon using pattern matching
- G07D7/206—Matching template patterns
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
- G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
- G01N21/956—Inspecting patterns on the surface of objects
- G01N2021/95676—Masks, reticles, shadow masks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30148—Semiconductor; IC; Wafer
Abstract
本发明提供了用于周期性样式的基于图像的异常检测的方法、装置以及系统。该方法包括:接收从检验图像确定的图像样式(T),其中,该图像样式(T)包括沿着空间方向的多个周期性片段;处理器通过以第一方式重新排列图像样式(T)的多个周期性片段,从而确定第一参考样式(R1),并且,通过以第二方式重新排列图像样式(T)的多个周期性片段,从而确定第二参考样式(R2);通过将图像样式(T)的一部分与第一参考样式(R1)的一部分和第二参考样式(R2)的一部分相比较,从而确定图像样式(T)中是否存在异常;以及基于图像样式(T)的一部分与第一参考样式(R1)的一部分和第二参考样式(R2)的一部分不同,确定图像样式(T)中存在异常。
Description
技术领域
本公开涉及用于周期性样式的异常检测的领域,尤其是,涉及用于图像的周期性样式的异常检测。
背景技术
周期性样式存在于许多制造流程中,例如印刷品(例如,钞票、文章、票据或账本)或者已制成的半导体设备(例如,集成电路的裸片或掩模)。周期性样式被期望在制造流程中重复,且没有任何误差或缺陷,但是,由于流程的限制,难以在最终产品中避免缺陷。能够使用光学或电子束检验设备,以在周期性样式中检测缺陷。能够对试样的表面进行扫描,以产生检验图像。能够使用图像处理方法以从检验图像检验并识别潜在缺陷。
检验图像通常包括在空间中周期性地重复的图像单元(或者被称为“周期”或“周期性片段”)。例如,对于钞票印刷而言,已印制的未裁开的钞票纸(banknote sheet)包括多个已印制的钞票,检验图像中的、代表钞票纸中的钞票的样式能够为一个周期性片段。再例如,对于包括多个重复的单元结构的集成电路而言,检验图像中的代表集成电路的单元结构的样式能够为一个周期性片段。
异常是不同的周期之间的不一致的样式特征,并能够存在于周期性样式中。异常能够表示目标特征或缺陷。因此,期望一种检测周期性样式中的异常的方法。为了检测这种异常,能够产生参考样式,并将其与周期性样式相比。在处理期间,通常按照具有有限的长度的单元对周期性样式进行处理。
发明内容
本文公开了用于周期性样式的基于图像的异常检测的方法、装置以及系统的实施方式。
在一个方面,公开了一种用于周期性样式的基于图像的异常检测的方法。该方法,包括:接收从检验图像确定的图像样式(T),其中,该图像样式(T)包括沿着空间方向的多个周期性片段;处理器通过以第一方式重新排列所述图像样式(T)的多个周期性片段,从而确定第一参考样式(R1),并且,通过以第二方式重新排列所述图像样式(T)的多个周期性片段,从而确定第二参考样式(R2);通过将所述图像样式(T)的一部分与所述第一参考样式(R1)的一部分和所述第二参考样式(R2)的一部分相比较,从而确定所述图像样式(T)中是否存在异常;以及基于所述图像样式(T)的一部分与所述第一参考样式(R1)的一部分和所述第二参考样式(R2)的一部分不同,确定所述图像样式(T)中存在异常。
在另一方面,公开了一种用于周期性样式的基于图像的异常检测的装置。该装置包括处理器和存储器。该存储器连接至所述处理器,并配置成存储指令,该指令在被所述处理器执行时,与所述处理器一起运行,从而进行以下步骤:接收从检验图像确定的图像样式(T),其中,该图像样式(T)包括沿着空间方向的多个周期性片段;通过以第一方式重新排列所述图像样式(T)的多个周期性片段,从而确定第一参考样式(R1),并且,通过以第二方式重新排列所述图像样式(T)的多个周期性片段,从而确定第二参考样式(R2);以及在将所述图像样式(T)的一部分与所述第一参考样式(R1)的一部分和所述第二参考样式(R2)的一部分相比较之后,基于所述图像样式(T)的一部分与所述第一参考样式(R1)的一部分和所述第二参考样式(R2)的一部分不同,确定所述图像样式(T)中存在异常。
在另一方面,公开了一种非瞬时性的计算机可读存储介质。该非瞬时性的计算机可读存储介质,包括用于基于图像的异常检测的指令,该异常检测用于周期性样式。该指令在被处理器执行时,与所述处理器一起运行,从而进行以下步骤:接收从检验图像确定的图像样式(T),其中,该图像样式(T)包括沿着空间方向的多个周期性片段;通过以第一方式重新排列所述图像样式(T)的多个周期性片段,从而确定第一参考样式(R1),并且,通过以第二方式重新排列所述图像样式(T)的多个周期性片段,从而确定第二参考样式(R2);通过将所述图像样式(T)的一部分与所述第一参考样式(R1)的一部分和所述第二参考样式(R2)的一部分相比较,从而确定所述图像样式(T)中是否存在异常;以及基于所述图像样式(T)的一部分与所述第一参考样式(R1)的一部分和所述第二参考样式(R2)的一部分不同,确定所述图像样式(T)中存在异常。
附图说明
结合附图,并通过如下的详细描述,可最佳地理解本公开。应当强调的是,根据通常的实践,附图的各种特征并不成比例。相反,为了清楚,各种的尺寸可以任意地放大或减小。
图1是根据本公开的实施方式的用于周期性样式中的基于图像的异常检测的示例性装置的图。
图2A-2C是示出周期性样式中的示例性周期性片段和用于示例性周期性片段中的异常检测的参考片段的图。
图3是示出用于第一示例性周期性样式中的异常检测的现有方法的图。
图4是示出根据本公开的实施方式的用于第一示例性周期性样式中的异常检测的方法的图。
图5是根据本公开的实施方式的基于图像的异常检测的示例性流程的图。
图6是示出用于第二示例性周期性样式中的异常检测的方法的图。
具体实施方式
图1是根据本公开的实施方式的用于周期性样式中的基于图像的异常检测的示例性装置100的图。装置100能够包括任意数量、任意配置的计算设备,例如,微型计算机、大型计算机、超级计算机、通用计算机、专用计算机、一体式计算机、数据库计算机、远程服务器计算机、个人计算机或者由例如网站主机或云服务提供商等的计算服务提供商提供的计算服务。在一些实施方式中,计算设备能够以多组计算机的形式被实施,该多组计算机位于不同的地理位置并能够例如经由网络而彼此通信。虽然某些操作能够由多个计算机共享,但是,在一些实施方式中,不同的计算机被分派至不同的操作。在一些实施方式中,能够使用通用计算机/处理器以及计算机程序来实施装置100,在执行计算机程序时,实行本文描述的任何相关的方法、算法及/或指令。并且,例如,能够利用专用计算机/处理器,该专用计算机/处理器能够包括用于实行本文描述的任何方法、算法或指令的专用硬件。
装置100能够具有包括处理器102和存储器104的硬件的内部配置。处理器102能够为能够处理信息的任意类型的设备。在一些实施方式中,处理器102能够包括中央处理器(CPU)。在一些实施方式中,处理器102能够包括图形处理器(例如,图形处理单元(GPU))。例如,图形处理单元能够提供用于周期性样式提取、非周期性特征去除、参考样式产生以及基于图像的异常检测中的至少一个的附加的图形处理能力。虽然使用所示的单个处理器描述了本文的示例,但是,能够使用多个处理器来获得速度和效率上的优势。例如,处理器102能够分布于能够直接相连或连接至网络的多个机器或设备(在一些情况下,各机器或设备能够具有多个处理器)。
存储器104能够为能够存储代码和数据的任意瞬时性或非瞬时性设备,处理器能够(例如,经由总线)访问该代码和数据。例如,存储器104能够被处理器102经由总线112而访问。虽然在装置100中示出了单个总线,但是,能够利用多个总线。本文中的存储器104能够为随机存取存储器(RAM)、只读存储器(ROM)、光盘/磁盘、硬盘、固态硬盘、闪存、安全数字卡(SD card)、记忆棒、紧凑闪存卡(CF card)或者任意合适类型的存储设备的任意组合。在一些实施方式中,存储器104(例如,基于网络或基于云端的存储器)能够分布于多个机器或设备。存储器104能够存储数据1042、操作系统1046以及应用程序1044。数据1042能够为用于处理的任意数据(例如,电子数据文件或数据库记录)。应用程序1044能够包括允许处理器102执行指令以实行本公开所描述的功能的程序。例如,当运行应用程序1044时,一组算法、流程或步骤能够被执行,以进行周期性样式提取、非周期性特征去除、参考样式产生以及基于图像的异常检测。
在一些实施方式中,除了处理器102和存储器104之外,装置100还能够包括次级(例如,附件的或外部的)存储设备106。次级存储设备106能够提供用于高处理需求的附加的存储能力。次级存储设备106能够为任意合适的瞬时性或非瞬时性的计算机可读介质的形式的存储设备,例如存储卡、硬盘、固态硬盘、闪存或光盘。此外,次级存储设备106能够为装置100的部件,或者能够为能够经由网络而访问的共享设备。在一些实施方式中,应用程序1044能够整个或部分地存储于次级存储设备106中,并被加载至存储器104中。例如,次级存储设备106能够用于数据库。
在一些实施方式中,除了处理器102和存储器104之外,装置100还能够包括输出设备108。输出设备108能够为,例如,连接至装置100以显示图形数据的显示器。如果输出设备108是显示器,那么,例如,其能够为液晶显示器(LCD)、阴极射线管(CRT)显示器或者能够向个人提供可视输出的任意其他输出设备。输出设备108还能够为向用户传送视觉信号、声信号或触觉信号的任意设备,例如,触敏设备(例如,触摸屏)、扬声器、耳机、发光二极管(LED)指示器或者振动马达。在一些实施方式中,输出设备108还能够作为输入设备(例如,配置成接收基于触觉的输入的触摸屏显示器)。例如,输出设备108能够包括能够显示图像、仿真结果、仿真参数或其组合的显示器。输出设备108能够使用户(例如,掩模设计工程师)评估周期性样式中的基于图像的异常检测的当前状态。
在一些实施方式中,输出设备108还能够作为用于传送信号及/或数据的通信设备。例如,输出设备108能够包括用于将信号或数据从装置100传送至另一设备的有线装置。再例如,输出设备108能够包括无线传送器,该无线传送器使用与无线接收器兼容的协议,以将信号从装置100传送至另一设备。
在一些实施方式中,除了处理器102和存储器104之外,装置100还能够包括输入设备110。该输入设备110能够为,例如,键盘、数字键盘、鼠标、轨迹球、话筒、触敏设备(例如,触摸屏)、传感器或者手势输入设备。任意类型的不要求用户介入的输入设备也是可以的。例如,输入设备110能够为通信设备,例如,根据用于接收信号的任意无线协议而运行的无线接收器。输入设备110能够,例如经由总线112,向装置100输出表示输入的信号或数据。例如,用户或操作者能够经由输入设备110而向装置100提供与仿真相关的信息。再例如,输入设备110还能够为接口(例如,扫描仪),该接口能够使用户能够向与掩模的设计样式相关的装置100提供图像。
在一些实施方式中,除了处理器102和存储器104之外,装置100能够可选地包括与另一设备通信的通信设备114。可选地,通信能够经由网络116而发生。网络116能够包括任意组合的任意合适类型的一个以上的通信网络,包括但不限于,蓝牙网络、红外连接、近场通信(NFC)、无线网络、有线网络、局域网(LAN)、广域网(WAN),虚拟专用网(VPN)、蜂窝数据网络或者互联网。通信设备114能够以多种方式被实施,例如,转发器/收发器设备、调制解调器、路由器、网关、电路、芯片、有线网络适配器、无线网络适配器、蓝牙适配器、红外适配器、近场通信适配器、蜂窝网络芯片或者能够与网络116通信的任意组合的任意适合类型的设备。例如,通信设备114能够从连接至网络116的另一计算设备接收远程控制指令,以远程控制装置100。
装置100(以及存储于其且/或由其执行的算法、方法、指令等)能够被实施为硬件模块,例如,知识产权(IP)核心、专用集成电路(ASIC)、可编程逻辑阵列、光学处理器、可编程逻辑控制器、微代码、固件、微控制器、服务器、微处理器、数字信号处理器或者任意其他合适的电路。此外,装置100的各部分不必以相同的方式实施。
图2A-2C是示出周期性样式(未完全显示)中的示例性周期性片段202和用于示例性周期性片段中的异常检测的参考片段202-208的图。在图2A-2C中,周期性样式能够包括沿着空间方向202重复的周期性片段。在图2A–2C中,符号“F”和“D”代表周期性片段中的图像特征。符号“F”可以代表目标特征或者非目标重复特征(例如,引起噪声的特征)。符号“D”可以代表能够被视为潜在缺陷的异常。通过检测并处理该异常,能够确定该异常是真实缺陷,还是错误识别。
在图2A中,将周期性片段202与参考片段204相比较,以检测异常,并且,在周期性片段202和参考片段204之间,检测到位置210处的不同。应当注意,在图2A中,不确定周期性片段202的位置210处的已检出的不同是表示目标特征,还是表示异常。例如,位置210处的“D”可以表示目标特征,位置210处的“F”可以表示真实缺陷。换言之,对于两片段比较而言,可能难以确定周期性片段202的特征中的不同是否为异常。
在图2B中,将周期性片段202与参考片段204和206相比较。可以看出,在位置210,仅周期性片段202示出“D”,而参考片段204和206示出“F”。可以确定,周期性片段202包括位置210处的异常的可能性高于图2A。换言之,对于多片段比较而言,能够比两片段比较更容易地确定特征中的不同是否为异常。
然而,即使是多片段比较,在一些场景中,依然难以确定特征中的不同是否为异常。例如,在图2C中,将周期性片段202与参考片段204和208相比较。可以看出,在位置210,周期性片段202和参考片段208示出“D”,而参考片段204示出“F”。不一致的参考片段204和208使得没有把握确定周期性片段202的特征中的不同是否为异常。
解决上述困难的一个方法是使用同一周期性样式中的周期性片段202的邻近的片段作为用于比较的参考片段。能够从数据获取系统(data acquisition system,DAQ)获得检验图像。由于数据获取系统能够引入噪声、偏移或者其他系统不确定性,因此,周期性样式中的邻近的片段能够具有一致的系统误差(例如,类似的噪声样式、类似的偏移样式等),因为它们短暂地且空间上相邻地产生。换言之,邻近的片段能够彼此更加一致,并且,如果它们能够被用作参考片段,那么,能够降低图2C中出现的不确定性的可能性和错误地识别异常的可能性。
例如,当包括样式的图像由检验设备采集时,能够识别图像上的异常。如果样式不重复,那么,外部的参考图像能够用于与图像相比较,以检测异常(例如,使用基于均方根误差的图像比较技术)。如果图像上的样式为周期性,那么,可以不使用外部的参考图像。应当注意,用于识别图像上的、周期性样式的异常的图像比较技术不限于本公开。
图3是示出用于示例性周期性样式302中的异常检测的现有方法的图。周期性样式302包括六个周期性片段P1-P6。该方法能够用于基于周期性样式302的移位而产生参考样式304和306,因此,能够被称为“基于移位的方法”。例如,周期性样式302能够被复制为相对于周期性样式302而移位的参考样式304和306。在图3中,参考样式304被向下移位一个周期(例如,一个周期性片段),参考样式306被向上移位一个周期。周期性样式302和参考样式304、306之间的重叠部308(如虚线框所示)能够用于检测周期性样式302中的异常。重叠部308包括四个周期(例如,涵盖四个周期性片段)。为了简单,周期性样式Y中的周期性片段X在以后被称为“Y:X”。例如,能够将302:P2与304:P1和306:P3相比较。304:P1和306:P3分别是302:P1和302:P3的复制品。即,将302:P2与其邻近的片段302:P1和302:P3相比较。为了简单,片段之间的比较能够在以后由“{Y1:X1|Y2:X2,…Yn:Xn}”表示,其中,Y1、Y2…Yn表示周期性样式或者包括周期性片段X1、X2…Xn的部分,并且,Y1:X1代表寻找异常的周期性片段。例如,{302:P2|304:P1,306:P3}能够用于检测302:P2中的异常。302:P3至302:P5能够以相同的方式与相应的片段相比较(例如,{302:P3|304:P2,306:P4}、{302:P4|304:P3,306:P5}以及{302:P5|304:P4,306:P6})。
在图3所示的基于移位的方法中,能够从所提供的具有有限长度的周期性样式确定至少两个参考样式。通过使用至少两个参考样式,所提供的周期性样式中的异常检测能够获得更大可能的结果。
然而,基于移位的方法的一个挑战是它不能用于检测所提供的周期性样式的顶部和底部中的异常。例如,在图3中,302:P1在参考样式304中没有对应的片段,302:P6在参考样式306中没有对应的片段。由于没有足够的用于比较的参考片段(例如,与图2A中所示的情况类似),因而,难以获得高可能的检测结果。
图4是示出根据本公开的实施方式的用于示例性周期性样式402中的异常检测的方法的图。周期性样式402也包括六个周期性片段P1-P6。该方法能够用于基于重新排列或重新整理周期性样式402的周期性片段而产生参考样式404和406,因此能够被称为“基于重新排列的方法”。在图4中,能够通过以下的操作产生参考样式404。周期性样式402的第一连续部(例如,402:P2至402:P4)被复制,周期性样式402的第一周期性片段402:P1被忽略。已复制的402:P2至402:P4形成参考样式404的第一部分408,其包括408:P2至408:P4(如图4中的长虚线箭头所示)。周期性样式402的第二连续部(例如,402:P3至402:P5)被复制,周期性样式402的最后的周期性片段402:P6被忽略。已复制的402:P3至402:P5形成参考样式404的第二部分410,其包括410:P3至410:P5(如图4中的短虚线箭头所示)。
能够通过以下的操作产生参考样式406。周期性样式402的第三连续部(例如,402:P3至402:P5)被复制,周期性样式402的前两个周期性片段402:P1、402:P2被忽略。已复制的402:P3至402:P5形成参考样式406的第三部分412,其包括412:P3至412:P5(如图4中的点线箭头所示)。周期性样式402的第四连续部(例如,402:P2至402:P4)被复制,周期性样式402的最后两个周期性片段402:P5、402:P6被忽略。已复制的402:P2至402:P4形成参考样式406的第四部分414,其包括414:P2至414:P4(如图4中的点划线箭头所示)。
在图4中,能够将第一部分408、连续的周期性片段402:P1至402:P3以及第三部分412相比较,以检测402:P1至402:P3中的异常。例如,{402:P1|408:P2,412:P3}能够用于检测402:P1中的异常,{402:P2|408:P3,412:P4}能够用于检测402:P2中的异常。类似地,能够第二部分410、连续的周期性片段402:P4至402:P5以及第四部分414相比较,以检测402:P4至402:P6中的异常。例如,{402:P4|410:P3,414:P2}能够用于检测402:P4中的异常,{402:P6|410:P5,414:P4}能够用于检测402:P6中的异常。
应当注意,在如图4所示的基于重新排列的方法中,整个所提供的周期性样式能够被处理,以检测异常,并且,没有从检测遗漏周期性片段(例如,顶部及/或底部)。同时,能够将所提供的周期性样式的各周期性片段与邻近的片段相比较(例如,参见上述描述和图4)。与基于移位的方法相比,基于重新排列的方法能够更充分地利用已收集的数据和检验系统,因而增加异常检测的效率。
图5是根据本公开的实施方式的基于图像的异常检测的示例性流程500的图。流程500能够实施为硬件或软件。例如,流程500能够实施为软件,该软件作为指令及/或数据而存储于存储器104中,并能够由装置100的处理器102执行。再例如,流程500能够实施为作为专用芯片的硬件,该专用芯片存储能够由其执行的指令。
在操作502,接收从检验图像确定的图像样式T。T包括沿着空间方向的多个周期性片段。例如,能够沿着空间方向连续地排列多个周期性片段,并且,各周期性片段能够沿着空间方向被编索引(例如,被编索引为1st,2nd,3rd,…,nth)。在一些实施方式中,检验图像能够包括晶元检验图像或掩模检验图像。在一些实施方式中,能够从光学检验装置或电子束检验装置确定检验图像(例如,作为其输出)。T能够为检验图像的全部或一部分。例如,检验图像能够被划分为多个试样,各试样能够形成用于异常检测的图像样式。
在一些实施方式中,空间方向能够为直线空间方向(例如,沿着x方向或y方向)。在一些实施方式中,空间方向能够为非直线空间方向(例如,圆形方向、螺旋方向、曲线方向、折线方向或任意其他非直线空间方向)。应当注意,流程不限于能够应用于沿着直线空间方向排列的周期性片段,却能够应用于沿着任意空间方向排列的周期性片段。
在操作504,(例如,由处理器102)确定第一参考样式R1和第二参考样式R2。R1通过将T的多个周期性片段以第一方式重新排列而确定,R2通过将T的多个周期性片段以第二方式重新排列而确定。
在一些实施方式中,R1和R2能够包括与T相同数量的沿着空间方向被编索引的片段。R1能够包括从T的第一组连续周期性片段复制的第一部分以及从T的第二组连续周期性片段复制的第二部分。R2能够包括从T的第三组连续周期性片段复制的第三部分以及从T的第四组连续周期性片段复制的第四部分。第一组、第二组、第三组以及第四组连续周期性片段能够为T的不同的周期性片段。在一些实施方式中,第一组、第二组、第三组以及第四组连续周期性片段中的任意两个在周期性片段的构成上不同。
例如,T能够包括n(n是大于1的整数)个周期性片段。在一些实施方式中,n能够大于或等于4。R1和R2也能够包括n个周期性片段。例如,如图4所示,T能够为周期性样式402,R1和R2分别能够为参考样式404和406。在图4中,T、R1以及R2均包括6个周期性片段(即,n=6)。
在一些实施方式中,第一组连续周期性片段能够包括T的n1(n1为正整数)个连续周期性片段,但不包括T的第一个周期性片段。第二组连续周期性片段能够包括T的(n-n1)个连续周期性片段,但不包括T的最后一个周期性片段。第三组连续周期性片段能够包括T的n2(n2为正整数)个连续周期性片段,但不包括T的最初两个周期性片段。第四组连续周期性片段能够包括T的(n-n2)个连续周期性片段,但不包括T的最后两个周期性片段。
例如,在图4中,第一组连续周期性片段能够包括402:P2至402:P4,其包括3个连续周期性片段(即,n1=3)。第一组连续周期性片段不包括T的第一个周期性片段402:P1。第二组连续周期性片段能够包括402:P3至402:P5,其包括3个连续周期性片段(即,n-n1=3)。第二组连续周期性片段不包括T的最后一个周期性片段402:P6。第三组连续周期性片段能够包括402:P3至402:P5,其包括3个连续周期性片段(即,n2=3)。第三组连续周期性片段不包括T的最初两个周期性片段402:P1和402:P2。第四组连续周期性片段能够包括402:P2至402:P4,其包括3个连续周期性片段(即,n-n2=3)。第四组连续周期性片段不包括T的最后两个周期性片段402:P5和402:P6。
在一些实施方式中,第一组连续周期性片段能够包括T的第(m1+1)个周期性片段至第(m1+n1)个周期性片段,其中,m1为正整数。m1能够小于或等于n1。n1能够小于或等于(n-m1)。即,为了确定第一组连续周期性片段,忽略T的最初m1个周期性片段。第二组连续周期性片段能够包括T的第(n1-m1+1)个周期性片段至第(n-m1)个周期性片段。即,为了确定第二组连续周期性片段,忽略T的最后m1个周期性片段。第三组连续周期性片段能够包括T的第(m2+1)个周期性片段至第(m2+n2)个周期性片段,其中,m2为正整数。m2与m1不同,并能够小于或等于n2。n2能够小于或等于(n-m2)。即,为了确定第三组连续周期性片段,忽略T的最初m2个周期性片段。第四组连续周期性片段能够包括T的第(n2-m2+1)个周期性片段至第(n-m2)个周期性片段。即,为了确定第四组连续周期性片段,忽略T的最后m2个周期性片段。
上述实施方式作为示例,如图6所示。图6是示出用于示例性周期性样式602中的异常检测的方法的图。根据操作504,产生两个参考样式604、606。在图6中,T能够为周期性样式602,R1和R2分别能够为参考样式604、606。在图6中,T、R1以及R2均包括7个周期性片段(即,n=7)。T的7个周期性片段被标为P1-P7。沿着空间方向616,T、R1以及R2的片段分别能够被编索引为1st、2nd、3rd、…、7th。
在图6中,参考样式604(即,R1)在n1=3,m1=2的情况下产生。通过复制T的第一组连续周期性片段,如图6中的长虚线箭头所示的第3(m1+1=3)个周期性片段602:P3至第5(m1+n1=5)个周期性片段602:P5,从而产生R1的第一部分608。第一组连续周期性片段不包括T的最初的两个(m1=2)周期性片段,602:P1和602:P2。通过复制T的第二组连续周期性片段,如图6中的短虚线箭头所示的第2nd(n1-m1+1=2)个周期性片段602:P2至第5(n-m1=5)个周期性片段602:P5,从而产生R1的第二部分610。第二组连续周期性片段不包括T的最后的两个(m1=2)周期性片段,602:P6至602:P7。
参考样式606(即,R2)在n2=3,m2=3的情况下产生。通过复制T的第三组连续周期性片段,如图6中的点线箭头所示的第4(m2+1=4)个周期性片段602:P4至第6(m2+n2=6)个周期性片段602:P7,从而产生R2的第三部分612。第三组连续周期性片段不包括T的最初的三个(m2=3)周期性片段,602:P1至602:P3。通过复制T的第四组连续周期性片段,如图6中的点划线箭头所示的第1(n2-m2+1=1)个周期性片段602:P2至第4(n-m2=4)个周期性片段602:P4,从而产生R2的第四部分614。第四组连续周期性片段不包括T的最后的三个(m2=3)周期性片段,602:P5至602:P7。
应当注意,n、n1、n2、m1以及m2的数值不限于图4和6中所示的示例中的值,能够为任意整数,只要:
1≤m1≤n1≤n-m1
1≤m2≤n2≤n-m2
在图4和6中,可以看出,由操作504产生的参考样式能够与整个所提供的周期性样式(例如,周期性样式402或602)相比较。所提供的周期性样式的各周期性片段能够与邻近的片段相比较。例如,在图6中,比较{602:P1|608:P3,612:P4}能够用于检测602:P1中的异常。还应当注意,用于与T的各周期性片段相比较的R1和R2的片段位于T的周期性片段的一定距离内。距离由参数m1和m2控制。例如,在比较{602:P1|608:P3,612:P4}中,608:P3(即,已复制的602:P3)为602:P1的第二(m1=2)靠近的周期性片段,612:P4(即,已复制的602:P4)为602:P1的第三(m2=3)靠近的周期性片段。再例如,在比较{602:P4|610:P2,612:P7}中,610:P2(即,已复制的602:P2)为602:P4的第二(m1=2)靠近的周期性片段,612:P7(即,已复制的602:P7)为602:P4的第三(m2=3)靠近的周期性片段。还应当注意,为了避免将周期性片段与远离其的片段相比较,能够将m1和m2选为小数字(例如,1、2、3、4或者适合于实际情况的任意小数字)。
在一些实施方式中,n1能够等于n2。在这种情况下,R1的第一部分和R2的第三部分能够具有相同数量(例如,n1)的片段,R1的第二部分和R2的第四部分能够具有相同的数量(例如,n-n1)的片段。例如,在图4中,n1=n2=3,其中,第一部分408和第三部分412具有相同数量的片段,第二部分410和第四部分414具有相同数量的片段。在图6中,n1=n2=3,其中,第一部分608和第三部分612具有相同数量(即,3)的片段,第二部分610和第四部分614具有相同数量(即,4)的片段。
在一些实施方式中,T不是严格的周期性。例如,T的各周期性片段能够包括非周期性特征(例如,唯一的序列号)。在这些情况下,能够从T去除非周期性特征,以在确定R1和R2之前确定多个周期性片段。例如,如果已知非周期性特征的位置,那么,这些位置内的图像内容能够被清除,以去除非周期性特征。
返回图5,在操作506,通过将T的一部分与R1的一部分和R2的一部分相比较,从而确定T中是否存在异常。T的该部分(例如,图4中的402:P1至402:P3)、R1的该部分(例如,图4中的第一部分408)以及R2的该部分(例如,图4中的第三部分412)能够包括相同数量的片段。这种比较在本文中能够被称为“检查单元”。T的该部分能够整体地与R1的该部分和R2的该部分相比较。在一些实施方式中,T的该部分、R1的该部分以及R2的该部分能够在沿着空间方向的相同位置对齐。例如,T的第一个片段能够与R1的第一部分的第一个片段对齐和R2的第三部分的第一个片段对齐。T的最后一个片段能够与R1的第二部分的最后一个片段和R2的第四部分的最后一个片段对齐。即,T、R1以及R2能够被看成端对端对齐(或“首尾对齐”),以用于比较。这种比较能够为非直观的(例如,实施为在存储器104中对数据1042中包括的数据进行的操作)。
例如,在图4中,n=6,n1=n2=3,第一检查单元416包括R1的第一部分408、R2的第三部分412以及T的最初的n1(即,3)个周期性片段(即,402:P1至402:P3)。当对第一检查单元进行比较时,T的402:P1至402:P3整体地与第一部分408和第三部分412相比较。即,不是逐个片段地进行比较。第二检查单元418包括R1的第二部分410、R2的第四部分414以及T的最后(n-n1)(即,3)个周期性片段(402:P4至402:P6)。当对第二检查单元进行比较时,T的402:P4至402:P6整体地与第二部分410和第四部分414相比较。
再例如,在图6中,n=7,n1=n2=3,第一检查单元618包括R1的第一部分608、R2的第三部分612以及T的最初的n1(即,3)个周期性片段(即,602:P1至602:P3)。当对第一检查单元进行检测时,T的602:P1至602:P3整体地与第一部分608和第三部分612相比较。即,不是逐个片段地进行比较。第二检查单元620包括R1的第二部分610、R2的第四部分614以及T的最后(n-n1)(即,4)个周期性片段(602:P4至602:P7)。当对第二检查单元进行比较时,T的602:P4至602:P7整体地与第二部分610和第四部分614相比较。
在操作506,在一些实施方式中,通过将端部的片段对齐,从而使得T的该部分、R1的该部分以及R2的该部分能够在沿着空间方向的相同位置对齐。例如,在图6中,T的第一个片段602:P1能够在沿着空间方向616的相同位置(例如,在沿着空间方向616的轴上具有相同的空间座标)与R1的第一部分的第一个片段608:P3和R2的第三部分的第一个片段612:P4对齐。再例如,T的最后的片段602:P7能够在沿着空间方向616的相同位置与R1的第二部分的最后的片段610:P5和R2的第四部分的最后的片段614:P4对齐。
应当注意,本文中使用的术语“对齐”不限于直观的对齐,也能够指非直观的对齐。例如,非直观的对齐能够实施成建立参考样式(例如,R1或R2)和图像样式(例如,T)的部分之间的对应关系,其中,对应关系能够用于确定参考样式和图像样式的哪部分将用于比较。例如,对应关系能够作为图1中的数据1042所包括的任意形式的数据而存储。
当对检查单元进行比较时,T、R1以及R2的部分能够保持独立。例如,在图6中,当对检查单元618和620进行比较时,R1的第一部分和第二部分能够保持独立(即,不合并),R2的第三部分和第四部分能够保持独立。独立的部分能够为非直观的(例如,实施成图1中的数据1042所包括的独立组数据)。在一些实施方式中,当n是偶数时,n1能够等于n的一半。
在一些实施方式中,在与T(例如,周期性样式602)相比较之前,参考样式(例如,参考样式604)的不同部分(例如,第一部分608和第二部分610)能够合并。在与所提供的周期性样式相比较之前,参考样式的部分能够被合并,以整体地产生参考样式。整个参考样式能够为非直观的(例如,实施成数据1042中包括的单组数据)。图像合并技术能够用于在将参考样式的部分合并之前降低合并的非准确性。例如,在图6中,第一部分608能够与第二部分610合并,以整体地形成参考样式604。第三部分612能够与第四部分614合并,以整体地形成参考样式606。在合并之后,周期性样式602能够整体地与参考样式604相比较,并整体地与参考样式606相比较。然而,一个挑战是在两个部分的边界可能产生合并的不准确(例如,在608:P5和610:P2之间)。
在一些实施方式中,为了提高检测速度,一旦能够产生检查单元,就能够进行比较。例如,在图6中,假设沿着空间方向616从检验产生T的片段(即,在602:P1之后产生602:P2,在602:P2之后产生602:P3等),并且,片段602:P1至602:P3在以前已经被检查(例如,被包括在先前产生的、与检查单元618不同的检查单元中)。一旦从检验产生片段602:P4至602:P7,就能够相应地形成检查单元620,以进行比较。如此,随着检验进行,能够连续地产生检查单元,并且,能够进行异常的检测,且不打断检验流程,由此提高检测速度。
返回图5,在操作508,如果T的该部分不同于R1的该部分和R2的该部分,那么,能够确定T中存在异常。例如,在图6中,在将T与R1和R2相比较(例如,对检查单元620进行比较)之后,能够发现602:P5不同于610:P3和614:P2,并能够确定T中存在异常。
应当注意,已公开的方法、装置以及系统,例如流程500,不限于可应用于单维周期性样式。它们能够应用于多维周期性样式(例如,沿x方向和y方向周期性地重复的2D样式)。对于多维周期性样式而言,能够使用已公开的方法、装置以及系统来独立地处理各维度。即,用于多维周期性样式的异常检测的流程能够等同于用于多个单维周期性样式的多个异常检测的流程,各单维周期性样式为多维周期性样式的一个维度。
应当注意,已公开的方法、装置以及系统,例如流程500,能够应用于检测任意种类的周期性图像样式中的任意异常的情形,例如,已制成的半导体装置、印刷品(例如,钞票、文章、票据或账本)或者在产品线上监视的产品的外表。只要能够获得图像并能够从其提取周期性样式,那么,本文公开的方法、装置以及系统能够用于检测周期性样式中的异常。
如上所述,应当注意,能够适应通用计算机/处理器以及计算机程序来实施本文描述的本公开的多个方面的全部或一部分,在执行计算机程序时,实行本文描述的任意相关的技术、算法及/或指令。并且或者备选地,例如,能够利用专用计算机/处理器,该专用计算机/处理器能够包括用于实行本文描述的任何技术、算法或指令的专用硬件。
本文描述的装置(以及存储于其上且/或由其执行的算法、方法、指令等)的实施方式能够实现为硬件、软件或任意组合。硬件能够包括,例如,计算机、知识产权(IP)核心、专用集成电路(ASIC)、可编程逻辑阵列、光学处理器、可编程逻辑控制器、微代码、微控制器、服务器、微处理器、数字信号处理器或者任意其他合适的电路。在权利要求中,术语“处理器”应当被理解为包括上述中的任何一种,无论是单个还是组合。术语“信号”和“数据”可互换地使用。此外,装置的各部分不必以相同的方式实施。
本文描述的本公开的多个方面能够按照功能块部件和各种处理操作而描述。能够单独或结合地实行已公开的流程和顺序。功能块能够由实行特定功能的任意数量的硬件及/或软件部件实现。例如,已描述的多个方面能够采用各种集成电路部件(例如,存储元件、处理元件、逻辑元件、查询表等),其能够在一个以上的微处理器或其他控制设备的控制之下实行各种功能。类似地,在使用软件编程或软件要素而实施已描述的多个方面的要素的情况下,能够利用任何编程语言或脚本语言而实施本公开,例如C、C++、Java、汇编程序等,并且,利用数据结构、对象、流程、例程或其他编程要素的任意组合而实施各种算法。能够以在一个以上的处理器上执行的算法实施多个功能方面。此外,本公开的多个方面能够采用用于电子设备配置、信号处理及/或控制、数据处理等的任意数量的技术。术语“机构”和“元件”被广义地使用,不限于机械或物理的实施方式或方面,能够包括与处理器结合的软件例程等。
本公开的实施方式或实施方式的部分,能够采取计算机程序产品的形式,能够从例如计算机可用介质或计算机可读介质访问该计算机程序产品。计算机可用介质或计算机可读介质能够为能够例如有形地包括、存储、通信或传输程序或数据结构的任意设备,该程序或数据结构供任意处理器使用或与其连接。介质能够为,例如,电子设备、磁性设备、光学设备、电磁设备、或半导体设备,例如,硬盘、存储设备、固态硬盘、闪存驱动器或光驱。其他合适的介质也是可用的。这种计算机可用介质或计算机可读介质能够被称为非瞬时性存储器或介质。除非另外说明,本文描述的装置的存储器不必被物理地包含在装置中,但是,能够为装置能够远程地访问的存储器,其不必邻近可能被物理地包含在装置中的其他存储器。
能够使用机器可读指令而实施本文描述的作为本公开的示例而进行的任意单独或组合的特征,该机器可读指令为用于任意上述计算硬件或其任意组合的操作的代码的形式。计算代码能够以一个以上的模块的形式实施,该模块能够将单独或组合的功能作为计算工具而实行,在本文描述的方法、装置以及系统的操作的期间,各模块的输入数据和输出数据被传递至一个以上的其他模块或从其传递。
能够使用各种不同的技术来代表信息、数据以及信号。例如,本文提及的任何数据、指令、指示、信息、信号、比特、符号以及芯片能够由电压、电流、电磁波、磁场或磁性颗粒、光场或光学颗粒、其他物品或上述的组合代表。
本文示出且描述的具体方面是本公开的说明性示例,并不旨在以任何方式限制本公开的范围。为了简洁,电子设备、控制系统、软件开发以及系统的其他功能方面(以及系统的单独运行的部件)在本文中未被详细描述。此外,所出示的各种附图中所示的连接线或连接器旨在代表各种元件之间的示范性功能关系及/或物理或逻辑的连接。多个备选的或附加的功能关系、物理连接或逻辑连接能够存在于实际设备中。
术语“示例”在本文中用于意味着作为示例、例子或范例。在本文中作为示例描述的任何方面或设计不一定被解释成优于或好于其他方面或设计。确切地说,术语“示例”的使用旨在以具体的方式展示构思。如本公开中所使用的那样,术语“或者”旨在意味着用于其所连接的两个以上的要素的非排他性的“或者”,而不是排他性的“或者”。即,除非上下文另行规定或清楚地说明,“X包括A或B”旨在意味着任意自然的非排他性的排列。换言之,如果X包括A,X包括B,或者,X包括A和B,那么,在上述情况下,均满足“X包括A或B”。本公开中使用的术语“及/或”旨在意味着“及”或非排他性的“或”。即,除非上下文另行规定或清楚地说明,“X包括A、B及/或C”旨在意味着X能够包括A、B以及C的任意组合。换言之,如果X包括A,X包括B,X包括C,X包括A和B,X包括B和C,X包括A和C,或者,X包括A、B以及C的全部,那么,在上述情况下,均满足“X包括A、B及/或C”。类似地,“X包括A、B以及C中的至少一个”旨在用作“X包括A、B及/或C”的等同。此外,本申请和所附权利要求中使用的冠词“一”和“一个”应当通常被解释为意味着“一个以上”,除非上下文另行规定或清楚地说明指向单数形式。并且,本公开中的术语“一方面”或“一个方面”的使用并不旨在意味着相同的方面或实施方式,除非明确说明。
如本文所使用地,术语“接收”能够指接收、输入、获取、检索、获得、读取、访问、收集或者用于以任何方式输入信息或数据的任何动作。本文中的“包括”或“具有”及其变型的使用旨在包括后续列出的物品和其等同,以及附加的物品。除非另行规定或限制,术语“安装”、“连接”、“支撑”、“联接”及其变型被广义地使用,并包括直接和间接的安装、连接、支撑以及联接。此外,“连接”和“联接”不限于物理或机械的连接或联接。
描述本公开的上下文(尤其是权利要求的上下文)中的术语“一”、“一个”、“该”及其指示物的使用应该被解释为覆盖单数和复数。此外,除非本文中另行说明,本文中的数值范围的记载只不过旨在作为单独提及落入范围内的各独立数值的速记方法,各独立数值并入说明书中,似乎其在本文中被单独记载。最后,除非本文另行说明或明显与上下文矛盾,本文描述的所有方法的操作能够以任何合适的顺序进行。本文提供的任何和全部示例或示例性语言(比如,“例如”)的使用仅旨在更好地说明本公开,并不限制本公开的范围,除非另行主张。
应当理解,虽然本公开使用了术语例如第一、第二、第三等,但本公开不应限定于这些术语。这些术语仅用于将类似种类的信息彼此区分。例如,在不脱离本公开的范围的情况下,第一信息能够被称为第二信息,并且,类似地,第二信息能够被称为第一信息。根据上下文,本文中使用的术语“如果”能够被解释为“当……时”、“在……时”或者“响应于”。
虽然结合某些实施方式描述了本公开,但是,应当理解,本公开不限于已公开的实施方式,相反,旨在覆盖所附权利要求的范围所包括的各种变型和等同布置,该范围在法律的允许下被最宽泛地解释,以包括所有这种变型和等同布置。
Claims (20)
1.一种用于周期性样式的基于图像的异常检测的方法,包括:
接收从检验图像确定的图像样式(T),其中,该图像样式(T)包括沿着空间方向的多个周期性片段;
处理器通过以第一方式重新排列所述图像样式(T)的多个周期性片段,从而确定第一参考样式(R1),并且,通过以第二方式重新排列所述图像样式(T)的多个周期性片段,从而确定第二参考样式(R2);
通过将所述图像样式(T)的一部分与所述第一参考样式(R1)的一部分和所述第二参考样式(R2)的一部分相比较,从而确定所述图像样式(T)中是否存在异常;以及
基于所述图像样式(T)的一部分与所述第一参考样式(R1)的一部分和所述第二参考样式(R2)的一部分不同,确定所述图像样式(T)中存在异常。
2.如权利要求1所述的方法,其中,
所述第一参考样式(R1)和所述第二参考样式(R2)包括与所述图像样式(T)相同数量的片段,
所述第一参考样式(R1)包括从所述图像样式(T)的第一组连续周期性片段复制的第一部分和从所述图像样式(T)的第二组连续周期性片段复制的第二部分,
所述第二参考样式(R2)包括从所述图像样式(T)的第三组连续周期性片段复制的第三部分和从所述图像样式(T)的第四组连续周期性片段复制的第四部分,
所述第一组连续周期性片段、所述第二组连续周期性片段、所述第三组连续周期性片段以及所述第四组连续周期性片段是所述图像样式(T)的不同的周期性片段。
3.如权利要求2所述的方法,其中,
所述图像样式(T)的第一个片段与所述第一参考样式(R1)的第一部分的第一个片段和所述第二参考样式(R2)的第三部分的第一个片段对齐,所述图像样式(T)的最后一个片段与所述第一参考样式(R1)的第二部分的最后一个片段和所述第二参考样式(R2)的第四部分的最后一个片段对齐。
4.如权利要求2所述的方法,其中,所述图像样式(T)包括n个周期性片段,n是大于1的整数,
所述第一组连续周期性片段包括所述图像样式(T)的n1个连续周期性片段,不包括所述图像样式(T)的第一个周期性片段,n1是正整数,
所述第二组连续周期性片段包括所述图像样式(T)的(n-n1)个连续周期性片段,不包括所述图像样式(T)的最后一个周期性片段,
所述第三组连续周期性片段包括所述图像样式(T)的n2个连续周期性片段,不包括所述图像样式(T)的最初两个周期性片段,n2是正整数,
所述第四组连续周期性片段包括所述图像样式(T)的(n-n2)个连续周期性片段,不包括所述图像样式(T)的最后两个周期性片段。
5.如权利要求4所述的方法,其中,所述第一组连续周期性片段包括所述图像样式(T)的第(m1+1)个周期性片段至第(m1+n1)个周期性片段,m1是小于或等于n1的正整数,n1小于或等于(n-m1),
所述第二组连续周期性片段包括所述图像样式(T)的第(n1-m1+1)个周期性片段至第(n-m1)个周期性片段,
所述第三组连续周期性片段包括所述图像样式(T)的第(m2+1)个周期性片段至第(m2+n2)个周期性片段,m2是小于或等于n2且与m1不同的正整数,n2小于或等于(n-m2),
所述第四组连续周期性片段包括所述图像样式(T)的第(n2-m2+1)个周期性片段至第(n-m2)个周期性片段。
6.如权利要求5所述的方法,其中,将所述图像样式(T)的一部分与所述第一参考样式(R1)的一部分和所述第二参考样式(R2)的一部分相比较,包括:
将所述图像样式(T)的第一部分与所述第一参考样式(R1)的第一部分和所述第二参考样式(R2)的第三部分相比较,其中,所述图像样式(T)的第一部分包括所述图像样式(T)的最初n1个周期性片段;以及
将所述图像样式(T)的第二部分与所述第一参考样式(R1)的第二部分和所述第二参考样式(R2)的第四部分相比较,其中,所述图像样式(T)的第二部分包括所述图像样式(T)的最后(n-n1)个周期性片段。
7.如权利要求6所述的方法,其中,n1等于n2。
8.如权利要求7所述的方法,其中,当n是偶数时,n1等于n的一半。
9.如权利要求1所述的方法,还包括:
在通过以所述第一方式重新排列所述图像样式(T)的多个周期性片段,从而确定所述第一参考样式(R1),并且,通过以所述第二方式重新排列所述图像样式(T)的多个周期性片段,从而确定第二参考样式(R2)之前,从所述图像样式(T)去除非周期性特征,以确定所述多个周期性片段。
10.如权利要求1所述的方法,其中,
所述检验图像包括晶元检验图像和掩模检验图像中的一种,
从光学检验装置和电子束检验装置中的一种确定所述检验图像,
所述空间方向包括直线空间方向。
11.一种用于周期性样式的基于图像的异常检测的装置,包括:
处理器;以及
存储器,连接至所述处理器,所述存储器配置成存储指令,该指令在被所述处理器执行时,与所述处理器一起运行,从而进行以下步骤:
接收从检验图像确定的图像样式(T),其中,该图像样式(T)包括沿着空间方向的多个周期性片段;
通过以第一方式重新排列所述图像样式(T)的多个周期性片段,从而确定第一参考样式(R1),并且,通过以第二方式重新排列所述图像样式(T)的多个周期性片段,从而确定第二参考样式(R2);以及
在将所述图像样式(T)的一部分与所述第一参考样式(R1)的一部分和所述第二参考样式(R2)的一部分相比较之后,基于所述图像样式(T)的一部分与所述第一参考样式(R1)的一部分和所述第二参考样式(R2)的一部分不同,确定所述图像样式(T)中存在异常。
12.如权利要求11所述的装置,其中,
所述第一参考样式(R1)和所述第二参考样式(R2)包括与所述图像样式(T)相同数量的片段,
所述第一参考样式(R1)包括从所述图像样式(T)的第一组连续周期性片段复制的第一部分和从所述图像样式(T)的第二组连续周期性片段复制的第二部分,
所述第二参考样式(R2)包括从所述图像样式(T)的第三组连续周期性片段复制的第三部分和从所述图像样式(T)的第四组连续周期性片段复制的第四部分,
所述第一组连续周期性片段、所述第二组连续周期性片段、所述第三组连续周期性片段以及所述第四组连续周期性片段是所述图像样式(T)的不同的周期性片段。
13.如权利要求12所述的装置,其中,
所述图像样式(T)的第一个片段与所述第一参考样式(R1)的第一部分的第一个片段和所述第二参考样式(R2)的第三部分的第一个片段对齐,所述图像样式(T)的最后一个片段与所述第一参考样式(R1)的第二部分的最后一个片段和所述第二参考样式(R2)的第四部分的最后一个片段对齐。
14.如权利要求12所述的装置,其中,所述图像样式(T)包括n个周期性片段,n是大于1的整数,
所述第一组连续周期性片段包括所述图像样式(T)的n1个连续周期性片段,不包括所述图像样式(T)的第一个周期性片段,n1是正整数,
所述第二组连续周期性片段包括所述图像样式(T)的(n-n1)个连续周期性片段,不包括所述图像样式(T)的最后一个周期性片段,
所述第三组连续周期性片段包括所述图像样式(T)的n2个连续周期性片段,不包括所述图像样式(T)的最初两个周期性片段,n2是正整数,
所述第四组连续周期性片段包括所述图像样式(T)的(n-n2)个连续周期性片段,不包括所述图像样式(T)的最后两个周期性片段。
15.如权利要求14所述的装置,其中,所述第一组连续周期性片段包括所述图像样式(T)的第(m1+1)个周期性片段至第(m1+n1)个周期性片段,m1是小于或等于n1的正整数,n1小于或等于(n-m1),
所述第二组连续周期性片段包括所述图像样式(T)的第(n1-m1+1)个周期性片段至第(n-m1)个周期性片段,
所述第三组连续周期性片段包括所述图像样式(T)的第(m2+1)个周期性片段至第(m2+n2)个周期性片段,m2是小于或等于n2且与m1不同的正整数,n2小于或等于(n-m2),
所述第四组连续周期性片段包括所述图像样式(T)的第(n2-m2+1)个周期性片段至第(n-m2)个周期性片段。
16.如权利要求15所述的装置,其中,包括与所述处理器一起运行从而将所述图像样式(T)的一部分与所述第一参考样式(R1)的一部分和所述第二参考样式(R2)的一部分相比较的所述指令的所述存储器,还包括被所述处理器执行时,与所述处理器一起运行,从而进行以下步骤的指令:
将所述图像样式(T)的第一部分与所述第一参考样式(R1)的第一部分和所述第二参考样式(R2)的第三部分相比较,其中,所述图像样式(T)的第一部分包括最初n1个周期性片段;以及
将所述图像样式(T)的第二部分与所述第一参考样式(R1)的第二部分和所述第二参考样式(R2)的第四部分相比较,其中,所述图像样式(T)的第二部分包括最后(n-n1)个周期性片段。
17.如权利要求16所述的装置,其中,n1等于n2。
18.一种非瞬时性的计算机可读存储介质,包括用于基于图像的异常检测的指令,该异常检测用于周期性样式,该指令在被处理器执行时,与所述处理器一起运行,从而进行以下步骤:
接收从检验图像确定的图像样式(T),其中,该图像样式(T)包括沿着空间方向的多个周期性片段;
通过以第一方式重新排列所述图像样式(T)的多个周期性片段,从而确定第一参考样式(R1),并且,通过以第二方式重新排列所述图像样式(T)的多个周期性片段,从而确定第二参考样式(R2);
通过将所述图像样式(T)的一部分与所述第一参考样式(R1)的一部分和所述第二参考样式(R2)的一部分相比较,从而确定所述图像样式(T)中是否存在异常;以及
基于所述图像样式(T)的一部分与所述第一参考样式(R1)的一部分和所述第二参考样式(R2)的一部分不同,确定所述图像样式(T)中存在异常。
19.如权利要求18所述的非瞬时性的计算机可读存储介质,其中,
所述第一参考样式(R1)和所述第二参考样式(R2)包括与所述图像样式(T)相同数量的片段,
所述第一参考样式(R1)包括从所述图像样式(T)的第一组连续周期性片段复制的第一部分和从所述图像样式(T)的第二组连续周期性片段复制的第二部分,
所述第二参考样式(R2)包括从所述图像样式(T)的第三组连续周期性片段复制的第三部分和从所述图像样式(T)的第四组连续周期性片段复制的第四部分,
所述第一组连续周期性片段、所述第二组连续周期性片段、所述第三组连续周期性片段以及所述第四组连续周期性片段是所述图像样式(T)的不同的周期性片段。
20.如权利要求19所述的非瞬时性的计算机可读存储介质,其中,
所述图像样式(T)的第一个片段与所述第一参考样式(R1)的第一部分的第一个片段和所述第二参考样式(R2)的第三部分的第一个片段对齐,所述图像样式(T)的最后一个片段与所述第一参考样式(R1)的第二部分的最后一个片段和所述第二参考样式(R2)的第四部分的最后一个片段对齐。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910067930.1A CN111476938B (zh) | 2019-01-24 | 2019-01-24 | 用于周期性样式的异常检测 |
US16/280,730 US10789704B2 (en) | 2019-01-24 | 2019-02-20 | Abnormality detection for periodic patterns |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910067930.1A CN111476938B (zh) | 2019-01-24 | 2019-01-24 | 用于周期性样式的异常检测 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111476938A true CN111476938A (zh) | 2020-07-31 |
CN111476938B CN111476938B (zh) | 2023-04-28 |
Family
ID=71731501
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910067930.1A Active CN111476938B (zh) | 2019-01-24 | 2019-01-24 | 用于周期性样式的异常检测 |
Country Status (2)
Country | Link |
---|---|
US (1) | US10789704B2 (zh) |
CN (1) | CN111476938B (zh) |
Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08160006A (ja) * | 1994-11-30 | 1996-06-21 | Kawasaki Steel Corp | 鋼板の欠陥検出方法 |
JP2000294139A (ja) * | 1999-04-07 | 2000-10-20 | Dainippon Printing Co Ltd | 周期性パターンの欠陥検査方法及び装置 |
JP2006250845A (ja) * | 2005-03-14 | 2006-09-21 | Topcon Corp | パターン欠陥検査方法とその装置 |
CN101192007A (zh) * | 2006-11-28 | 2008-06-04 | 中芯国际集成电路制造(上海)有限公司 | 掩膜版、掩膜版的版图设计方法和缺陷修复方法 |
TW201118370A (en) * | 2009-09-02 | 2011-06-01 | Hermes Microvision Inc | Substrate inspection method |
CN102623368A (zh) * | 2012-03-31 | 2012-08-01 | 上海集成电路研发中心有限公司 | 一种晶圆缺陷检测方法 |
CN103765200A (zh) * | 2011-06-07 | 2014-04-30 | 光子动力公司 | 使用整个原始图像进行缺陷检测的系统和方法 |
CN103837548A (zh) * | 2012-11-27 | 2014-06-04 | 乐金显示有限公司 | 用于检测具有周期图案的图像的缺陷的装置和方法 |
CN106662538A (zh) * | 2014-08-27 | 2017-05-10 | 科磊股份有限公司 | 重复缺陷检测 |
CN106663190A (zh) * | 2014-04-16 | 2017-05-10 | 德国史密斯海曼简化股份公司 | 基于纹理的负载的识别或确定 |
CN108540794A (zh) * | 2018-03-30 | 2018-09-14 | 上海玮舟微电子科技有限公司 | 显示设备排图参数的检测方法、装置、设备及存储介质 |
CN109983474A (zh) * | 2016-11-22 | 2019-07-05 | 海珀菲纳研究股份有限公司 | 用于磁共振图像中的自动检测的系统和方法 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6236196B1 (en) * | 1999-06-03 | 2001-05-22 | International Business Machines Corporation | Thermal modulation system and method for locating a circuit defect such as a short or incipient open independent of a circuit geometry |
US7068363B2 (en) * | 2003-06-06 | 2006-06-27 | Kla-Tencor Technologies Corp. | Systems for inspection of patterned or unpatterned wafers and other specimen |
-
2019
- 2019-01-24 CN CN201910067930.1A patent/CN111476938B/zh active Active
- 2019-02-20 US US16/280,730 patent/US10789704B2/en active Active
Patent Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08160006A (ja) * | 1994-11-30 | 1996-06-21 | Kawasaki Steel Corp | 鋼板の欠陥検出方法 |
JP2000294139A (ja) * | 1999-04-07 | 2000-10-20 | Dainippon Printing Co Ltd | 周期性パターンの欠陥検査方法及び装置 |
JP2006250845A (ja) * | 2005-03-14 | 2006-09-21 | Topcon Corp | パターン欠陥検査方法とその装置 |
CN101192007A (zh) * | 2006-11-28 | 2008-06-04 | 中芯国际集成电路制造(上海)有限公司 | 掩膜版、掩膜版的版图设计方法和缺陷修复方法 |
TW201118370A (en) * | 2009-09-02 | 2011-06-01 | Hermes Microvision Inc | Substrate inspection method |
CN103765200A (zh) * | 2011-06-07 | 2014-04-30 | 光子动力公司 | 使用整个原始图像进行缺陷检测的系统和方法 |
CN102623368A (zh) * | 2012-03-31 | 2012-08-01 | 上海集成电路研发中心有限公司 | 一种晶圆缺陷检测方法 |
CN103837548A (zh) * | 2012-11-27 | 2014-06-04 | 乐金显示有限公司 | 用于检测具有周期图案的图像的缺陷的装置和方法 |
CN106663190A (zh) * | 2014-04-16 | 2017-05-10 | 德国史密斯海曼简化股份公司 | 基于纹理的负载的识别或确定 |
CN106662538A (zh) * | 2014-08-27 | 2017-05-10 | 科磊股份有限公司 | 重复缺陷检测 |
CN109983474A (zh) * | 2016-11-22 | 2019-07-05 | 海珀菲纳研究股份有限公司 | 用于磁共振图像中的自动检测的系统和方法 |
CN108540794A (zh) * | 2018-03-30 | 2018-09-14 | 上海玮舟微电子科技有限公司 | 显示设备排图参数的检测方法、装置、设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
US10789704B2 (en) | 2020-09-29 |
CN111476938B (zh) | 2023-04-28 |
US20200242746A1 (en) | 2020-07-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2018035878A1 (zh) | 缺陷分类方法和缺陷检查系统 | |
JP6099793B2 (ja) | 1つ以上の画像処理アルゴリズムの自動選択のための方法およびシステム | |
AU2012261715B2 (en) | Method, apparatus and system for generating a feature vector | |
JP4637232B2 (ja) | 一群の検出 | |
CN110443159A (zh) | 数字识别方法、装置、电子设备及存储介质 | |
US9971954B2 (en) | Apparatus and method for producing image processing filter | |
CN114730394A (zh) | 信息处理装置、信息处理方法和程序 | |
CN109697414A (zh) | 一种文本定位方法及装置 | |
CN107578438A (zh) | 圆识别方法、装置及电子设备 | |
JP2011257963A (ja) | 画像処理装置、その処理方法及びプログラム | |
JP5111055B2 (ja) | 画像処理装置及び画像処理方法、コンピュータプログラム | |
JP5495934B2 (ja) | 画像処理装置、その処理方法及びプログラム | |
JP5750093B2 (ja) | ダイナミックグリッドによるバンドベースのパッチ選択 | |
JP6496159B2 (ja) | パターン検査装置およびパターン検査方法 | |
JP6784791B2 (ja) | 視覚的関係を推論することによる工業検査シートのデジタル化 | |
CN111476938B (zh) | 用于周期性样式的异常检测 | |
CN109426674A (zh) | 一种印刷电路板检测方法和系统 | |
JP2012203731A (ja) | 画像の正置からの回転角度検知装置および方法 | |
CN102855477B (zh) | 识别图像块中文字的方向的方法和装置 | |
CN110880023A (zh) | 一种检测证件图片的方法及装置 | |
JP6619891B2 (ja) | 画面試験装置および画面試験プログラム | |
CN113762292B (zh) | 一种训练数据获取方法、装置及模型训练方法、装置 | |
CN109710476B (zh) | 一种系统接口健壮性测试方法和装置 | |
JP5756947B2 (ja) | 2次元コード、画像読取装置、画像読取方法、プログラム及び記憶媒体 | |
JP5993100B2 (ja) | 画像処理装置および特定図形検出方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |