CN101346623A - 根据图像分析进行缺陷检查的缺陷检查装置 - Google Patents

根据图像分析进行缺陷检查的缺陷检查装置 Download PDF

Info

Publication number
CN101346623A
CN101346623A CNA2006800493214A CN200680049321A CN101346623A CN 101346623 A CN101346623 A CN 101346623A CN A2006800493214 A CNA2006800493214 A CN A2006800493214A CN 200680049321 A CN200680049321 A CN 200680049321A CN 101346623 A CN101346623 A CN 101346623A
Authority
CN
China
Prior art keywords
image
analysis
inspection object
defective
candidate defect
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2006800493214A
Other languages
English (en)
Other versions
CN101346623B (zh
Inventor
河井章利
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Corp
Original Assignee
Nikon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corp filed Critical Nikon Corp
Publication of CN101346623A publication Critical patent/CN101346623A/zh
Application granted granted Critical
Publication of CN101346623B publication Critical patent/CN101346623B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/8851Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/95Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/956Inspecting patterns on the surface of objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • G06T7/001Industrial image inspection using an image reference approach
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L22/00Testing or measuring during manufacture or treatment; Reliability measurements, i.e. testing of parts without further processing to modify the parts as such; Structural arrangements therefor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • G06T2207/30148Semiconductor; IC; Wafer

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Quality & Reliability (AREA)
  • Manufacturing & Machinery (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Power Engineering (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本发明的缺陷检查装置取得检查对象的彩色图像信号。基于构成该彩色图像信号的多个信号成分,获得多个分析图像。对该多个分析图像的每一个图像进行检查对象的缺陷检测。通过对每个该分析图像检测到的候选缺陷检测差异,判定在检查对象的连续的缺陷处是否存在多个缺陷。

Description

根据图像分析进行缺陷检查的缺陷检查装置
技术领域
本发明涉及一种根据图像分析进行缺陷检查的缺陷检查装置。
背景技术
以往,已知有在半导体晶片或液晶衬底的显微镜检查等中,通过对检查对象的图像信号进行数据分析,从而进行缺陷检测的装置(参考专利文献1)
专利文献1:日本特开2003-302354号公报
但是,对检查对象来说,有时存在多个缺陷在相同的区域重复产生的情况。在上述的现有技术中,虽然能够检测到缺陷处,但难以判断多个缺陷是否在相同的区域重复。
此外,对检查对象来说,有时存在缺陷以颜色的细微变化来表现的情况。在上述的现有技术中,难以灵敏地检测到这种颜色的细微的变化,在不能够检测缺陷这一点上,存在可改善的空间。
发明内容
本发明的目的在于,判断在检查对象的缺陷处是否产生有多个缺陷。
此外,本发明的其他目的在于,提供对以颜色的细微的变化来表现的缺陷进行检测的技术。
1、本发明的第一缺陷检查装置,包括照明部、图像取得部、以及缺陷检测部。
照明部对检查对象进行照明。
图像取得部取得检查对象的彩色图像信号。
缺陷检测部基于图像取得部所取得的彩色图像信号,检测检查对象的缺陷。
另外,该缺陷检测部包括成分提取部、检测部、以及判定部。
成分提取部基于构成彩色图像信号的多个信号成分,获得多个分析图像。
检测部对多个分析图像的每个图像进行检查对象的缺陷检测,并对每个分析图像检测候选缺陷。
判定部通过在多个分析图像之间判定候选缺陷的同一性,判定在检查对象的缺陷处是否存在多个缺陷。
2、另外优选地,成分提取部将从由下述6种信号成分组成的组合中选择的至少两个信号成分作为像素值,至少获得两个分析图像。
(1)构成彩色图像信号的三个信号成分
(2)由该信号成分获得的色相、饱和度色度、亮度三个信号成分
3、另外优选地,检测部对每个分析图像求出候选缺陷的重心位置和纵向的长度及横向的长度。
在判定部,对每个分析图像的候选缺陷,评价为重心位置、纵向长度、以及横向长度全部相等的情况下,判定为在检查对象的缺陷处存在一个缺陷。另一方面,在评价为重心位置、纵向长度、以及横向长度的任意一个不相同的情况下,判定为在检查对象的缺陷处存在多个缺陷。
4、另外优选地,检测部基于预定的参考(reference)图像的分析图像和检查对象的分析图像的差异,检测候选缺陷。
5、另外优选地,检测部对检查对象的分析图像整体地进行色阶(lever)校正,以使参考图像的分析图像和检查对象的分析图像之间的图像整体的差异减小。
6、另外优选地,检测部具有对多个分析图像的每个图像预先设定的阈值。检测部通过该阈值来判定参考图像的分析图像和检查对象的分析图像之间的差异,从而检测候选缺陷。
7、本发明的第二缺陷检查装置,包括照明部、图像取得部、以及缺陷检测部。
照明部对检查对象进行照明。
图像取得部取得检查对象的彩色图像信号。
缺陷检测部基于图像取得部取得的彩色图像信号,检测检查对象的缺陷。
另外,该缺陷检测部包括成分提取部、以及检测部。
成分提取部基于彩色图像信号的饱和度,获得具有与饱和度对应的像素值的饱和度图像。
检测部基于饱和度图像进行检查对象的缺陷检测,并检测候选缺陷。
8、另外优选地,在上述1至7的任意一项所述的缺陷检查装置,包括显微镜光学系统、以及拍摄部。
显微镜光学系统形成检查对象的放大像。
拍摄部拍摄放大像,从而生成彩色图像信号。
上述图像取得部取得由拍摄部生成的彩色图像信号。
本发明的第一缺陷检查装置,对每个分析图像检测候选缺陷。通过在这些多个分析图像之间比较缺陷候选,来判定在检查对象的缺陷处是否产生了多个缺陷。
此外,在本发明的第二缺陷检查装置中,从饱和度图像检测候选缺陷。从而能够将以颜色的细微变化来表现的缺陷作为饱和度变化来检测。
附图说明
图1是表示本发明的实施方式的说明图。
图2是说明实施方式的动作的流程图。
图3是表示存储在检查条件文件(file)16中的按缺陷的颜色空间选择指针的一例的图。
图4是表示拍摄图像的比较的图。
图5是表示RGB图像的比较的图。
图6是表示RGB图像的信号波形的图。
图7是表示HSI(色相、饱和度、亮度)图像的比较的图。
图8是表示HSI(色相、饱和度、亮度)图像的波形的图。
图9是表示拍摄图像的比较的图。
图10是表示RGB图像的比较的图。
图11是表示RGB图像的信号波形的图。
图12是表示HSI(色相、饱和度、亮度)图像的比较的图。
图13是表示HSI(色相、饱和度、亮度)图像的信号波形的图。
图14是显微镜100的外观图。
图15是表示图形的线宽与饱和度变化之间的关系的图。
具体实施方式
图1是表示本发明的一实施方式的说明图。
彩色照相机1与显微镜100相配接(adapter)。该显微镜100的光源L经由二向色镜(dichroic mirror)M和物镜(显微镜光学系统)H,对检查对象T进行照明。检查对象T的反射光经由物镜H和二向色镜M,形成检查对象T的放大像。
控制部17从数据库处理部15取得检查条件文件16。基于该检查条件文件16内的程序,控制部17执行检查对象T的传送控制和检查对象T的拍摄处的位置控制等。
彩色照相机1根据来自控制部17的指示,拍摄检查对象T的放大像,从而生成检查图像3a。
图14是表示该显微镜100的外观的图。在显微镜100的壳体101,设有由电动机进行位置控制的载物台(stage)部102。该载物台部102上设有用于设置检查样本T的托架部103。在检查样本T的上方设有安装于可旋转驱动的旋转器部104的物镜H。光源L的照明光通过物镜H照射到检查样本T。从检查样本返回的光入射到物镜H后,引入到目镜部105及彩色照相机1。在该光路上设有焦点控制部106。该焦点控制部106以光轴方向对光学系统(或检查对象T)进行位置控制,从而执行焦点控制。另外,作为显微镜系统,除了该显微镜100之外,还设有检查样本T的传送装置和用于控制及图像处理的计算机等。
图2是表示该检查图像3a的信号处理的流程的图。
以下,参照图1和图2说明信号处理的整体流程。
步骤S1:彩色照相机1输出由RGB构成的彩色图像信号。图像存储器2a存储由彩色照相机1输出的检查图像3a(例如作为检查对象的硅片的彩色图像信号)。
步骤S2:图像存储器2b中被输入成为基准的参考图像3b。
例如,作为该参考图像3b,预先拍摄与检查对象同类的对象物(优选为良品)而生成即可。此外例如,检查对象如硅片那样具有周期性图形的情况下,也可以拍摄检查图像3a的相邻图形作为参考图像3b。对于这样的参考图像的取得顺序,在检查条件文件16中编程即可。
步骤S3:颜色校正处理部5对检查图像3a和参考图像3b检测图像整体的差异(色坐标差、亮度差)。在该色坐标差及亮度差两者在许可范围内的情况下,颜色校正处理部5将动作转移到步骤S5。另一方面,在色坐标差和亮度差中任意一个超出许可范围的情况下,转移到步骤S4。
步骤S4:在亮度差超出许可范围的情况下,颜色校正处理部5校正光源L的亮度,从而再次进行检查对象T的拍摄。
此外,在色坐标差超出许可范围的情况下,颜色校正处理部5对检查图像3实施颜色校正(色坐标变换等),以消除色坐标差。
步骤S5:滤波处理部4对检查图像3a的信号成分(RGB等)进行处理,从而至少生成两种分析图像6a。
步骤S6:滤波处理部4与步骤S5同样地对参考图像3b的信号成分(RGB等)进行处理,从而生成与分析图像6a对应的至少两种分析图像6b。
步骤S7:缺陷检测处理部7以设定在缺陷判别条件文件8中的阈值条件来判定分析图像6a、6b的局部性的差异,从而筛选候选缺陷。候选缺陷图像6c是被筛选的候选缺陷的图像。
步骤S8:缺陷筛选处理部9对于这些多个候选缺陷图像6c的候选缺陷检测形状图形和重心位置。对检测到的缺陷候选图像6c之间的形状图形和重心位置进行比较,在全部相同的情况下判别为同一缺陷,在任意一个不同的情况下判别为不同缺陷。此外,缺陷选择处理部9基于判别结果,生成缺陷检测图像12a。
步骤S9:缺陷分类处理部11将缺陷检测图像12a的种类对分类条件文件10进行查询,从而决定拍摄在缺陷检测图像12a中的缺陷因素,并作为缺陷分类结果信息12b输出。此外,缺陷分类部11将缺陷检测图像12a传送给缺陷变换处理部13。
步骤S10:缺陷变换处理部13对分析图像的每个种类生成的缺陷检测图像12a进行图像合成,从而生成在一张图像上表示多个种类的缺陷的缺陷检测图像12c。此外,缺陷变换处理部13根据缺陷的形状图形,对缺陷检测图像12a添加表示缺陷的轮廓信息的轮廓图形。并且,缺陷变换处理部13也可以对各个缺陷的位置标记表示缺陷因素的颜色、符号或者连接信息等。
步骤S11:另外,缺陷变换处理部13对分析图像的每个种类生成的缺陷分类结果信息12b进行数据合成,从而生成检查结果信息14。在该检查结果信息14中存储例如缺陷位置(例如,基于检查对象T的坐标或者颜色坐标的位置)、缺陷的大小(X-Y-Diameter)、检测出的颜色成分、缺陷因素等的数据目录表。
步骤S12:控制部17将缺陷检测图像12c显示在外部的监控画面。监视器画面上显示实施了上述的标记的缺陷图像。
以下,说明本实施方式的特征性的各部分动作。
[关于分析图像的生成]
接着,说明上述的分析图像的生成动作。
滤波处理部4基于检查图像3a的信号成分,首先生成下述三种分析图像。
(1)R图像…将检查图像3a的R(红)的信号成分设为像素值的分析图像
(2)G图像…将检查图像3a的G(绿)的信号成分设为像素值的分析图像
(3)B图像…将检查图像3a的B(蓝)的信号成分设为像素值的分析图像
接着,滤波处理部4基于RGB的信号成分,进行例如下式的计算,并提取H(色相)、S(饱和度)、I(亮度)的信号成分。
(公式1)
H = cos - 1 [ 1 2 [ ( R - G ) + ( R - B ) ] ( R - G ) 2 + ( R - B ) ( G - B ) ] · · · [ 1 ]
S = 1 - 3 R + G + B [ min ( R , G , B ) ] · · · [ 2 ]
I = 1 3 ( R + G + B ) · · · [ 3 ]
基于这些信号成分,进一步生成下述三种分析图像。
(4)H图像…将检查图像3a的H(色相)的信号成分设为像素值的分析图像
图3是表示按缺陷因素、应选择哪个分析图像的图。
(5)S图像…将检查图像3a的S(饱和度)的信号成分设为像素值的分析图像
(6)I图像…将检查图像3a的I(亮度)的信号成分设为像素值的分析图像
滤波处理部4对于参考图像13b的信号成分也生成上述的6种分析图像。
[关于缺陷因素和分析图像之间的关系]
图3是表示按缺陷因素、应选择哪个分析图像的图。该图3中的○记号表示应选择的分析图像。图3中的一记号表示没有特别选择的必要的分析图像。
例如,附着在检查对象上的灰尘使检查图像3a产生局部性的明暗变化。因此,通过判定在R图像、G图像、B图像、以及I图像上产生的局部性的差异,能够检测到灰尘的缺陷。
此外例如,检查对象的表面附带的瑕疵也使检查图像3a产生局部性的明暗变化。因此,通过判定在R图像、G图像、B图像、以及I图像上产生的局部性的差异,能够检测到瑕疵的缺陷。
另外,对于灰尘和瑕疵,局部性地产生的明暗变化的值与此处的轮廓形状不同。因此,基于局部性的明暗变化的值和其明暗变化处的轮廓形状,能够判别灰尘和瑕疵。
此外例如,检查对象的表面的膜厚不均使反射光的干扰状态变化,所以引起波长变化。因此,容易在检查图像3a的H图像(色相)和S图像(饱和度)产生显著的变化。此外,反射光的波长变化的影响容易在R图像(长波长域)显著产生。因此,通过判定在R图像、H图像、以及S图像上产生的局部性的差异,能够判别膜厚不均的缺陷。
此外例如,检查对象的异物(表面的材质变化等)使反射光的分光特性产生变化。该分光特性的变化在检查图像3a的H图像(色相)和S图像(饱和度)显著产生。此外,该分光特性的变化也容易在G图像(中间波长域)显著产生。因此,通过判定在G图像、H图像、以及S图像上产生的局部性的差异,能够判别该基于材质变化的缺陷。
此外例如,检查对象的图形走样(崩れ),使反射光的扩散特性产生散乱。该扩散特性的散乱在检查图像3a的H图像(色相)和S图像(饱和度)显著产生。此外,该扩散特性的散乱也在G图像(中间波长域)和B图像
(短波长域)产生。因此,通过判定在H图像、S图像、G图像、以及B图像产生的局部性的差异,能够判别该图形走样的缺陷。
此外例如,检查对象的矫正(alignment)偏移表现为反射光的饱和度变化和亮度变化。因此,通过判定在S图像、以及I图像产生的局部性的差异,能够判别该矫正偏移的缺陷。
如上所述,通过图3所示的选择指针,滤波处理部4能够生成对应于应检测的缺陷因素的适当的分析图像。
[颜色校正处理部5的动作的特征]
在检查图像3a和参考图像3b上,因彩色照相机1的拍摄条件、照明条件等的不同,也产生差异。因此,应将这种差异与基于缺陷因素的差异区别开来决定候选缺陷。
这里,拍摄条件、照明条件的不同表现为检查图像3a的整体性的差异。另一方面,候选缺陷表现为检查图像3a的部分性的差异。着眼于这一点,颜色校正处理部5求出检查图像3a和参考图像3b的信号成分的差的绝对值,并对图像整体,将该绝对值进行相加。
颜色校正处理部5对检查图像3a实施颜色校正,以使该相加值所表示的色坐标差最小。
此外,颜色校正处理部5对检查图像3a实施色阶校正(灰度校正),以使该相加值所表示的色坐标差最小。
另外,在表示相加值的亮度差比设定在缺陷判别条件文件8中的阈值大的情况下,可以判断为需要对拍摄条件、照明条件进行变更。此时,颜色校正处理部5在检查图像3a和参考图像3b之间求出亮度差。颜色校正处理部5调整光源L的亮度或者彩色照相机1的曝光时间,以使消除该亮度差。该状态下,彩色照相机1重新拍摄检查对象T,生成新的检查图像3a。另外,在进行光源L的亮度调整时,优选将H成分和S成分从相加值的阈值判定中排除。
此外,即使重复拍摄规定的次数,在相加值比缺陷判别条件文件8的阈值大的情况下,优选将此检查对象T从检查对象中排除。另外,对于排除了的检查对象T,作为排除记录保存在检查结果信息14中。
[缺陷检测处理部7的动作的特征]
在缺陷判别条件文件8中,按滤波处理部4所生成的分析图像6a、6b的每个种类,存储有用于对该分析图像6a、6b的差异进行缺陷判别的阈值。该阈值判别条件文件8优选对每个检查对象实验性地决定。
缺陷检测处理部7将分析图像6a、6b以像素单位进行比较,检测局部性的差异。缺陷筛选处理部9基于缺陷判别条件文件8的阈值,判定该局部性的差异,并筛选候选缺陷。
[缺陷筛选处理部9的动作的特征]
缺陷筛选处理部9对每个候选缺陷图像6c进行图像分析,并求出候选缺陷的图形形状以及重心位置。例如,缺陷筛选处理部9对信号成分R、G、B、H、S、I的每个候选缺陷图像6c,对于表示候选缺陷的像素值(若是二值图像,则例如1)连续的像素区域,求出纵向长度、横向长度、以及重心位置。
此外,缺陷选择处理部9在不同的分析图像(R、G、B、H、S、I等)之间比较该候选缺陷的图像形状以及重心位置。此时,在不同的分析图像之间图形形状以及重心位置完全相同的情况下,缺陷筛选处理部9判定为在检查对象的缺陷处存在一个缺陷因素。另一方面,在被评价为不同的分析图像之间图像形状以及重心位置的任意一个个不同的情况下,缺陷筛选处理部9判定为在检查对象的缺陷处存在多个缺陷因素。
根据这样的处理,缺陷筛选处理部9能够识别存在单一的候选缺陷的地方,和多个候选缺陷重复存在的地方。
另外,优选地,对于将图形形状的差和重心位置的差到什么程度看作一致,根据预先设定在缺陷判别条件文件8中的误差许可值来决定。
实施例1
利用图4至图13说明本实施方式的实施例1。
实施例1是表示将检查对象T在硅片上设置了保护膜的情况下的膜厚不良、膜厚不均的区域作为缺陷像素来检测的例子的实施例。膜厚不良意味着膜厚过厚或过薄。膜厚不均意味着膜厚不均匀,存在斑点。
图4中,表示将用彩色照相机1拍摄的检查图像(3a)和参考图像(3b)直接比较的结果。从图4可知,在比较结果(候选缺陷图像)中不能发现缺陷。在该情况下是因为在检查图像的缺陷部分没有产生差异。
图5[a]至图5[c]是分离提取该检查图像(3a)的信号成分RGB而生成R图像、G图像、B图像的图像。在图5[a]至图5[b]所示的候选缺陷图像中,灰色至白色的区域是产生了差异的区域(候选缺陷的范围)。另一方面,候选缺陷图像的黑色区域表示没有产生差异的区域。图6[a]至图6[c]表示这些R图像、G图像、B图像的信号波形。
图7[a]至图7[c]是将检查图像的信号成分RGB代入到上述的式[1]至[3]中而生成的H图像、I图像、S图像。在图7[a]至图7[c]所示的候选缺陷图像中,灰色至白色的区域是产生了差异的区域(候选缺陷的范围)。另一方面,候选缺陷图像的黑色区域表示没有产生差异的区域。图8[a]至图8[c]表示这些S图像、I图像、H图像的信号波形。
检查对象T的膜厚的变化使反射光产生干扰状态的变化,使检查图像产生色相(H)和饱和度(S)的变化。此外,由于长波长域的反射特性也变化,所以在检查图像上产生红色(R)的变化。因此,如图5至图8所示,膜厚的缺陷可在H图像、S图像、R图像上检测到。
特别重要的一点是,如图8[c]所示,检查图像的H图像上显著地表现出在配线图形(检查图像的纵线)的附近产生的局部性的膜厚不均的点。严格来说,如图8[a]所示,对于检查图像的S图像,也表现出在配线图形的附近的局部性的膜厚不均。但是对于S图像来说,由于被在广域产生的膜厚不均的饱和度变化所隐藏,所以不能简单地区别该局部性的膜厚不均。
在本实施例中,在R图像、S图像、H图像的候选缺陷图像中,求出候选缺陷的重心位置和纵向长度及横向长度。在R图像、S图像、H图像之间比较这些候选缺陷的特征。
其结果,在R图像和S图像中,候选缺陷的特征完全一致。在该情况下,对于共同的广域的候选缺陷(膜厚不均),能够判定为一个缺陷。
另一方面,对于H图像,与R图像以及S图像进行比较,候选缺陷的特征一个以上不同。从而,对于在H图像上局部性地产生的候选缺陷(膜厚不均),能够判定为与广域的膜厚不均不同的缺陷。
实施例2
利用图9至图13说明本实施方式的实施例2。
实施例2中检查对象T为硅片,在硅片上设置了配线图形且在配线图形之间设置了氧化膜的情况为例。这里,对配线图形的瑕疵、以及膜厚的不良进行缺陷检测。
图9表示将用彩色照相机1拍摄的检查图像(3a)和参考图像(3b)直接进行比较的结果。从图9中可知,比较结果(候选缺陷图像)中检测出候选缺陷。但是,在该情况下,不能区别图形的瑕疵和膜厚不良。
图10[a]至图10[c]是分离提取该检查图像(3a)的信号成分RGB而生成R图像、G图像、B图像的图。在图10[a]至图10[b]所示的候选缺陷图像中,灰色至白色的区域是产生了差异的区域(候选缺陷的范围)。另一方面,候选缺陷图像的黑色区域表示没有产生差异的区域。图11[a]至图11[c]表示这些R图像、G图像、B像的信号波形。
图12[a]至图12[c]是将检查图像的信号成分RGB代入到上述的式[1]至[3]中而生成的H图像、I图像、S图像。在图12[a]至图12[c]所示的候选缺陷图像中,灰色至白色的区域是产生了差异的区域(候选缺陷的范围)。另一方面,候选缺陷图像的黑色区域表示没有产生差异的区域。图13[a]至图13[c]表示这些H图像、S图像、I图像的信号波形。
通常,瑕疵的缺陷,使反射光的扩散状态变化,使检查图像产生明暗变化。另外,检查对象T的正规的图形也使检查图像产生明暗变化,但是通过与参考图像的比较,能够筛选瑕疵。从而,如图9至图13所示,瑕疵的缺陷能够从R图像、G图像、B图像、I图像检测。但是,对于R图像,由于膜厚的缺陷重复,因此不能检测到瑕疵的缺陷。此外,对于I图像也是,由于反映了R图像的变化,因此膜厚的缺陷与瑕疵的缺陷重复一部分。从而,对于与膜厚不良重复的瑕疵的缺陷,能够从G图像以及B图像检测。
在本实施例中,在检测到候选缺陷的分析图像(R图像、G图像、B图像、H图像、S图像、I图像)中,求出候选缺陷的重心位置和纵向长度和横向长度。在分析图像之间比较这些缺陷候选的特征。
其结果,在G图像和B图像中,缺陷候选的特征全部一致。在该情况下,对于共同的候选缺陷,能够判定为基于瑕疵的缺陷。
此外,对于R图像和H图像以及S图像,候选缺陷的特征全部一致。在该情况下,对于共同的候选缺陷,能够判定为基于膜厚的缺陷。
图15是表示图形线宽的变化,和分析图像(R图像、G图像、B图像、S图像)的对比度变化之间的关系的图。通过使检查样本T的曝光量每次变化0.5mJ,使检查样本T的图形线宽缓慢变化。在这些检查样本T中,在图15的横轴中央表示的No.11为以最佳的曝光量形成的。如该图15所示,在曝光量(图形线宽)变化时,在上述的分析图像中,S图像的对比度最敏感地变化。从而,通过检测S图像的变化,能够以高灵敏度检测曝光量的缺陷、图形线宽的缺陷。此外,若预先设定对比度的许可范围(上限阈值、下限阈值等),则能够判别曝光量和图形线宽是否良好。
从上述的说明可知,若分解为颜色空间信息来求出相异处,则通过图像明确地表示出细微的颜色的差异。这种情况并不限于HSI颜色空间。对于分解为HSV或者HLS、CMY的颜色空间信息的情况下也同样。此外,对于由每个颜色空间信息检测到的候选缺陷,求出连续的各个候选缺陷像素的像素群的纵向的像素数、横向的像素数、和该区域的重心位置,若取逻辑积则能够分割或合成同一处重复的缺陷。
通过对各个检查点的每一个重复以上的循环,能够确切地检测在检查对象T(例如,制品表面)上重复的多个缺陷。即,除了能够将由一个彩色图像获得的多个颜色空间信息作为检查信息来利用,且能够以检查装置检测到人眼看不到的缺陷之外,还可以通过将颜色空间信息的差作为检查对象来使用,检测到人眼难以区分的缺陷检测。
在以上的例子中,表示了分解为RGB、HIS的颜色空间作为颜色空间信息的例子,但是如上所述,也可以利用其他的颜色空间变换,或者利用将两种以上的颜色成分运算成像素值单位来更加强调的滤波处理。
另外,本发明不脱离其精神或主要的特征,而能够以其他各种各样的形式实施。因此,所述的实施例在所有方面不过是单纯的例示,不能限定性地解释。本发明的范围是通过权利要求的范围所示的范围,不局限于说明书。而且,属于权利要求的范围的均等范围的变形或变更,全部是本发明的范围。
如上所说明,本发明是可利用在缺陷检查装置等的技术。

Claims (8)

1、一种缺陷检查装置,其特征在于,包括:
照明部,对检查对象进行照明;
图像取得部,取得所述检查对象的彩色图像信号;以及
缺陷检测部,基于所述图像取得部取得的所述彩色图像信号,检测所述检查对象的缺陷,
所述缺陷检测部包括:
成分提取部,基于构成所述彩色图像信号的多个信号成分,获得多个分析图像;
检测部,对多个所述分析图像的每一个进行所述检查对象的缺陷检测,并对每一个所述分析图像检测候选缺陷;以及
判定部,通过在多个所述分析图像之间判定所述候选缺陷的同一性,判定在所述检查对象的缺陷处是否存在多个缺陷。
2、如权利要求1所述的缺陷检查装置,其特征在于,
所述成分提取部,将从由构成所述彩色图像信号的三个信号成分、和由该信号成分获得的色相、饱和度、亮度三个信号成分构成的组合中选择的至少两个所述信号成分作为像素值,至少获得两个所述分析图像。
3、如权利要求1或权利要求2所述的缺陷检查装置,其特征在于,
所述检测部,对每一个所述分析图像求出所述候选缺陷的重心位置、纵向的长度、以及横向的长度,
所述判定部,对于每一个所述分析图像的所述候选缺陷,在评价为所述重心位置、所述纵向的长度、以及所述横向的长度全部相等的情况下,判定为在所述检查对象的缺陷处存在一个缺陷,
在评价为所述重心位置、所述纵向的长度、以及所述横向的长度的任一个不同的情况下,判定为在所述检查对象的缺陷处存在多个缺陷。
4、如权利要求1至权利要求3的任一项所述的缺陷检查装置,其特征在于,所述检测部,基于预先设定的参考图像的分析图像和所述检查对象的分析图像之间的差异,检测所述候选缺陷。
5、如权利要求4所述的缺陷检查装置,其特征在于,
所述检测部,对所述检查对象的分析图像整体地进行色阶校正,以使所述参考图像的分析图像和所述检查对象的分析图像之间的图像整体的差异减小。
6、如权利要求4或权利要求5所述的缺陷检查装置,其特征在于,
所述检测部,具有对多个所述分析图像的每一个预先设定的阈值,通过所述阈值来判定参考图像的分析图像和所述检查对象的分析图像之间的差异,从而检测所述候选缺陷。
7、一种缺陷检查装置,其特征在于,包括:
照明部,对检查对象进行照明;
图像取得部,取得所述检查对象的彩色图像信号;以及
缺陷检测部,基于所述图像取得部取得的所述彩色图像信号,检测所述检查对象的缺陷,
所述缺陷检测部包括:
成分提取部,基于所述彩色图像信号的饱和度,获得具有与饱和度对应的像素值的饱和度图像;
检测部,基于所述饱和度图像,进行所述检查对象的缺陷检测,并检测候选缺陷。
8、如权利要求1至权利要求7的任一项所述的缺陷检查装置,其特征在于,包括:
显微镜光学系统,形成所述检查对象的放大像;以及
拍摄部,拍摄所述放大像而生成彩色图像信号,
所述缺陷检查装置的所述图像取得部,取得由所述拍摄部生成的所述彩色图像信号。
CN2006800493214A 2005-12-26 2006-12-25 根据图像分析进行缺陷检查的缺陷检查装置 Expired - Fee Related CN101346623B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2005372984 2005-12-26
JP372984/2005 2005-12-26
PCT/JP2006/325773 WO2007074770A1 (ja) 2005-12-26 2006-12-25 画像解析によって欠陥検査を行う欠陥検査装置

Publications (2)

Publication Number Publication Date
CN101346623A true CN101346623A (zh) 2009-01-14
CN101346623B CN101346623B (zh) 2012-09-05

Family

ID=38217990

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2006800493214A Expired - Fee Related CN101346623B (zh) 2005-12-26 2006-12-25 根据图像分析进行缺陷检查的缺陷检查装置

Country Status (6)

Country Link
US (1) US20080285840A1 (zh)
JP (1) JP5228490B2 (zh)
KR (1) KR101338576B1 (zh)
CN (1) CN101346623B (zh)
TW (1) TWI399534B (zh)
WO (1) WO2007074770A1 (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103502801A (zh) * 2011-04-20 2014-01-08 株式会社日立高新技术 缺陷分类方法以及缺陷分类系统
TWI563273B (en) * 2011-06-07 2016-12-21 Photon Dynamics Inc Apparatus and method for identifying a defect in an electronic circuit having periodic features and computer-readable medium thereof
CN107580710A (zh) * 2015-03-16 2018-01-12 科磊股份有限公司 用于增强检验工具的检验灵敏度的系统及方法
CN107850556A (zh) * 2015-07-22 2018-03-27 矢崎总业株式会社 检查装置和检查方法
CN108474739A (zh) * 2016-01-07 2018-08-31 阿科玛股份有限公司 测量基材上沉积的涂层的厚度的光学方法
CN109459437A (zh) * 2018-11-07 2019-03-12 天津市普迅电力信息技术有限公司 基于高精度定位的多旋翼无人机输电杆塔缺陷识别方法
CN110876055A (zh) * 2018-08-30 2020-03-10 菱光科技股份有限公司 外部触发的线性相机检测系统及其影像均匀度处理方法
CN110956606A (zh) * 2018-09-25 2020-04-03 西安诺瓦星云科技股份有限公司 显示屏播放画面异常检测方法、装置及其系统
CN113490960A (zh) * 2019-03-28 2021-10-08 大众汽车股份公司 用于检查机动车上的视觉缺陷的方法和系统
CN113826001A (zh) * 2019-05-28 2021-12-21 京瓷株式会社 光谱决定装置、光谱决定方法、光谱决定程序、照明系统、照明装置以及检查装置
CN113870267A (zh) * 2021-12-03 2021-12-31 深圳市奥盛通科技有限公司 缺陷检测方法、装置、计算机设备及可读存储介质
CN114742819A (zh) * 2022-05-10 2022-07-12 上海晶岳电子有限公司 Mos管背金工艺中硅片贴膜质检管理方法及系统

Families Citing this family (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5557482B2 (ja) * 2009-06-23 2014-07-23 株式会社日立製作所 検査性評価方法
CN101964873B (zh) * 2009-07-21 2014-08-20 株式会社尼康 图像处理装置、图像处理程序及摄像装置
EP2720030B8 (en) * 2009-12-30 2021-09-08 JVM Co., Ltd. Medicine management system and method using the same
KR101224476B1 (ko) 2010-04-05 2013-01-21 한국화학연구원 고분자 및 코팅 소재의 스크래치 시인성 정량화 방법
KR101224477B1 (ko) 2010-04-05 2013-01-21 한국화학연구원 고분자 및 코팅 소재의 스크래치 표면 손상 정량화 방법
JP5417306B2 (ja) * 2010-11-29 2014-02-12 株式会社日立ハイテクノロジーズ 欠陥検査方法および欠陥検査装置
JP5568456B2 (ja) * 2010-12-06 2014-08-06 株式会社日立ハイテクノロジーズ 荷電粒子線装置
KR101104697B1 (ko) * 2011-06-15 2012-01-17 주식회사 피피아이 형광을 이용한 비파괴 검사 장치 및 방법
DE102011108754A1 (de) * 2011-07-28 2013-01-31 Khs Gmbh Inspektionseinheit
TW201310561A (zh) * 2011-08-30 2013-03-01 Rexchip Electronics Corp 晶圓缺陷分析及缺陷原因的尋找方法
US8958898B2 (en) * 2011-11-07 2015-02-17 Nalco Company Method and apparatus to monitor and control sheet characteristics on a creping process
TWI502549B (zh) * 2012-02-20 2015-10-01 Univ Nat Kaohsiung Applied Sci 元件影像檢測方法及其系統
KR101420311B1 (ko) * 2012-11-26 2014-07-17 성우세미텍 주식회사 인쇄회로기판 검사장치의 작동방법
JP5717711B2 (ja) * 2012-12-07 2015-05-13 東京エレクトロン株式会社 基板の基準画像作成方法、基板の欠陥検査方法、基板の基準画像作成装置、基板の欠陥検査ユニット、プログラム及びコンピュータ記憶媒体
KR101461879B1 (ko) * 2012-12-17 2014-11-13 현대자동차 주식회사 용접검사 장치 및 방법
KR101590831B1 (ko) 2013-04-02 2016-02-03 주식회사 고영테크놀러지 기판의 이물질 검사방법
US10373470B2 (en) 2013-04-29 2019-08-06 Intelliview Technologies, Inc. Object detection
JP6348289B2 (ja) * 2014-01-31 2018-06-27 株式会社Screenホールディングス 検査装置および検査方法
BR112016020894B1 (pt) * 2014-03-12 2022-05-03 Swimc Llc Sistema e método implantado por processador para determinar espessuras de revestimento e meio legível por computador
US9996765B2 (en) 2014-03-12 2018-06-12 The Sherwin-Williams Company Digital imaging for determining mix ratio of a coating
CA2847707C (en) * 2014-03-28 2021-03-30 Intelliview Technologies Inc. Leak detection
US10943357B2 (en) 2014-08-19 2021-03-09 Intelliview Technologies Inc. Video based indoor leak detection
JP6446297B2 (ja) * 2015-03-09 2018-12-26 株式会社ニューフレアテクノロジー 検査装置
JP6193904B2 (ja) * 2015-03-13 2017-09-06 ファナック株式会社 加工槽内の洗浄機能を有するワイヤ放電加工機
KR20170083678A (ko) * 2016-01-08 2017-07-19 삼성전자주식회사 기판 검사 방법
JP6346216B2 (ja) * 2016-04-01 2018-06-20 ファナック株式会社 ワイヤ放電加工機及びワイヤ放電加工方法
CN105957065A (zh) * 2016-04-21 2016-09-21 广州视源电子科技股份有限公司 元件漏检方法和系统
CN106447655B (zh) * 2016-09-20 2021-03-12 上海极清慧视科技有限公司 一种光滑物件表面异色及轻微凹陷的检测方法
TWI606422B (zh) * 2016-10-20 2017-11-21 Kinko Optical Co Limited Miniature camera lens image detection method
US10608182B2 (en) 2017-04-20 2020-03-31 Kateeva, Inc. Analysis of material layers on surfaces, and related systems and methods
JP6861092B2 (ja) * 2017-05-24 2021-04-21 株式会社カネカ 電子部品の外観検査方法及び外観検査装置
JP6705777B2 (ja) * 2017-07-10 2020-06-03 ファナック株式会社 機械学習装置、検査装置及び機械学習方法
WO2019099415A1 (en) * 2017-11-14 2019-05-23 Kateeva, Inc. Systems and methods for profiling material layers on a substrate
US20210193350A1 (en) * 2018-10-01 2021-06-24 Sumitomo Electric Toyama Co., Ltd. Manufacturing method of plated wire rod and manufacturing apparatus of plated wire rod
EP3832537A1 (en) * 2019-12-05 2021-06-09 Axis AB Thermal camera health monitoring
US11494892B2 (en) * 2020-08-21 2022-11-08 Abb Schweiz Ag Surface defect detection system
JP2022146141A (ja) * 2021-03-22 2022-10-05 株式会社安永 外観検査方法及び外観検査装置
CN113436168B (zh) * 2021-06-25 2023-07-18 重庆邮电大学 一种用于工业焊缝x光图中的裂纹缺陷检测方法
JP7191173B1 (ja) * 2021-09-17 2022-12-16 Ckd株式会社 基板検査装置及び基板検査方法
JP7110462B1 (ja) * 2021-09-17 2022-08-01 Ckd株式会社 基板の毛髪検査装置及び基板の毛髪検査方法

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3020973B2 (ja) * 1989-12-29 2000-03-15 キヤノン株式会社 画像処理方法
EP0435660B1 (en) * 1989-12-29 1997-06-04 Canon Kabushiki Kaisha Method of evaluating objects based upon image processing, and inspection apparatus using said method
JPH08170947A (ja) * 1994-12-19 1996-07-02 Sony Corp 画像欠陥判別処理装置
DE19509345A1 (de) * 1995-03-15 1996-09-19 Ver Glaswerke Gmbh Verfahren zum Erkennen und Bewerten von Fehlern in teilreflektierenden Oberflächenschichten
JPH095245A (ja) * 1995-06-16 1997-01-10 S I I R D Center:Kk 画質判定方法
JPH09231362A (ja) * 1996-02-27 1997-09-05 Fuji Electric Co Ltd 外観検査装置及びその方法
JP2903305B2 (ja) * 1996-11-19 1999-06-07 日本マランツ株式会社 実装部品検査方法及び実装部品検査装置
US6624597B2 (en) * 1997-08-26 2003-09-23 Color Kinetics, Inc. Systems and methods for providing illumination in machine vision systems
JP2000206053A (ja) * 1999-01-18 2000-07-28 Nkk Corp 複数の表面欠陥計による表面欠陥検査方法
JP2001230289A (ja) * 2000-02-15 2001-08-24 Hitachi Ltd 欠陥解析方法および欠陥解析システム
JP3633429B2 (ja) * 2000-03-24 2005-03-30 松下電器産業株式会社 カラー画像形成装置
JPWO2002023480A1 (ja) * 2000-09-18 2004-01-22 オリンパス株式会社 画像データファイル管理システム及び方法
JP4144389B2 (ja) * 2003-03-14 2008-09-03 オムロン株式会社 光学式膜計測装置
JP2004333227A (ja) * 2003-05-02 2004-11-25 Seiko Epson Corp 半導体ウェハ検査装置及び画像検出方法及び半導体装置
US7693324B2 (en) * 2004-07-13 2010-04-06 International Business Machines Corporation Optical surface inspection
JP4533689B2 (ja) * 2004-07-15 2010-09-01 株式会社東芝 パターン検査方法
JP2006170809A (ja) * 2004-12-16 2006-06-29 Dainippon Screen Mfg Co Ltd 欠陥検出装置および欠陥検出方法
JP4413767B2 (ja) * 2004-12-17 2010-02-10 株式会社日立ハイテクノロジーズ パターン検査装置

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103502801A (zh) * 2011-04-20 2014-01-08 株式会社日立高新技术 缺陷分类方法以及缺陷分类系统
CN103502801B (zh) * 2011-04-20 2015-09-16 株式会社日立高新技术 缺陷分类方法以及缺陷分类系统
TWI563273B (en) * 2011-06-07 2016-12-21 Photon Dynamics Inc Apparatus and method for identifying a defect in an electronic circuit having periodic features and computer-readable medium thereof
CN107580710A (zh) * 2015-03-16 2018-01-12 科磊股份有限公司 用于增强检验工具的检验灵敏度的系统及方法
CN107580710B (zh) * 2015-03-16 2019-05-14 科磊股份有限公司 用于增强检验工具的检验灵敏度的系统及方法
CN107850556A (zh) * 2015-07-22 2018-03-27 矢崎总业株式会社 检查装置和检查方法
CN107850556B (zh) * 2015-07-22 2020-09-29 矢崎总业株式会社 检查装置和检查方法
CN108474739A (zh) * 2016-01-07 2018-08-31 阿科玛股份有限公司 测量基材上沉积的涂层的厚度的光学方法
CN110876055A (zh) * 2018-08-30 2020-03-10 菱光科技股份有限公司 外部触发的线性相机检测系统及其影像均匀度处理方法
CN110876055B (zh) * 2018-08-30 2021-04-09 菱光科技股份有限公司 外部触发的线性相机检测系统及其影像均匀度处理方法
CN110956606A (zh) * 2018-09-25 2020-04-03 西安诺瓦星云科技股份有限公司 显示屏播放画面异常检测方法、装置及其系统
CN109459437A (zh) * 2018-11-07 2019-03-12 天津市普迅电力信息技术有限公司 基于高精度定位的多旋翼无人机输电杆塔缺陷识别方法
CN113490960A (zh) * 2019-03-28 2021-10-08 大众汽车股份公司 用于检查机动车上的视觉缺陷的方法和系统
CN113826001A (zh) * 2019-05-28 2021-12-21 京瓷株式会社 光谱决定装置、光谱决定方法、光谱决定程序、照明系统、照明装置以及检查装置
CN113870267A (zh) * 2021-12-03 2021-12-31 深圳市奥盛通科技有限公司 缺陷检测方法、装置、计算机设备及可读存储介质
CN114742819A (zh) * 2022-05-10 2022-07-12 上海晶岳电子有限公司 Mos管背金工艺中硅片贴膜质检管理方法及系统
CN114742819B (zh) * 2022-05-10 2022-12-09 上海晶岳电子有限公司 Mos管背金工艺中硅片贴膜质检管理方法及系统

Also Published As

Publication number Publication date
TWI399534B (zh) 2013-06-21
CN101346623B (zh) 2012-09-05
US20080285840A1 (en) 2008-11-20
TW200736599A (en) 2007-10-01
JP5228490B2 (ja) 2013-07-03
JPWO2007074770A1 (ja) 2009-06-04
KR101338576B1 (ko) 2013-12-06
KR20080080998A (ko) 2008-09-05
WO2007074770A1 (ja) 2007-07-05

Similar Documents

Publication Publication Date Title
CN101346623B (zh) 根据图像分析进行缺陷检查的缺陷检查装置
JP6945245B2 (ja) 外観検査装置
US6633375B1 (en) Method and device for optically examining structured surfaces of objects
US6252981B1 (en) System and method for selection of a reference die
US5038048A (en) Defect detection system and method for pattern to be inspected utilizing multiple-focus image signals
JP5009663B2 (ja) 外観検査システム
US20060158643A1 (en) Method and system of inspecting mura-defect and method of fabricating photomask
US20140043467A1 (en) Defect inspection apparatus
WO1998058241A1 (fr) Dispositif de controle de conditionnement feuille
US6556291B2 (en) Defect inspection method and defect inspection apparatus
JP2008249568A (ja) 外観検査装置
JPWO2007132925A1 (ja) 表面検査装置
JP4910128B2 (ja) 対象物表面の欠陥検査方法
JPH07159337A (ja) 半導体素子の欠陥検査方法
JP2001041894A (ja) シート包装検査装置および検査方法
JP5257063B2 (ja) 欠陥検出方法および欠陥検出装置
JP4216485B2 (ja) パターン検査方法およびその装置
KR100484812B1 (ko) 이미지 센서를 이용한 표면 검사방법 및 검사장치
JP2009264882A (ja) 外観検査装置
CN108414535A (zh) 一种LCD白点Mura缺陷与Cell异物晕开缺陷判别方法
JP2007187630A (ja) パターンの欠陥検出方法およびパターンの欠陥検出装置
JP4967132B2 (ja) 対象物表面の欠陥検査方法
JP2021015035A (ja) 画像表示装置の画像検査方法及び画像検査装置
WO2023181918A1 (ja) 欠陥検査装置及び欠陥検査方法
JP2006074065A (ja) 試料の検査装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20120905

Termination date: 20211225