CN115088061A - 试样观察系统以及图像处理方法 - Google Patents

试样观察系统以及图像处理方法 Download PDF

Info

Publication number
CN115088061A
CN115088061A CN202180013541.6A CN202180013541A CN115088061A CN 115088061 A CN115088061 A CN 115088061A CN 202180013541 A CN202180013541 A CN 202180013541A CN 115088061 A CN115088061 A CN 115088061A
Authority
CN
China
Prior art keywords
image
learning
defect
reference image
defect image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180013541.6A
Other languages
English (en)
Inventor
近藤直明
原田实
岭川阳平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi High Tech Corp
Original Assignee
Hitachi High Technologies Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi High Technologies Corp filed Critical Hitachi High Technologies Corp
Publication of CN115088061A publication Critical patent/CN115088061A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01J—ELECTRIC DISCHARGE TUBES OR DISCHARGE LAMPS
    • H01J37/00—Discharge tubes with provision for introducing objects or material to be exposed to the discharge, e.g. for the purpose of examination or processing thereof
    • H01J37/02—Details
    • H01J37/22—Optical or photographic arrangements associated with the tube
    • H01J37/222—Image processing arrangements associated with the tube
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B15/00—Measuring arrangements characterised by the use of electromagnetic waves or particle radiation, e.g. by the use of microwaves, X-rays, gamma rays or electrons
    • G01B15/04—Measuring arrangements characterised by the use of electromagnetic waves or particle radiation, e.g. by the use of microwaves, X-rays, gamma rays or electrons for measuring contours or curvatures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01J—ELECTRIC DISCHARGE TUBES OR DISCHARGE LAMPS
    • H01J37/00—Discharge tubes with provision for introducing objects or material to be exposed to the discharge, e.g. for the purpose of examination or processing thereof
    • H01J37/02—Details
    • H01J37/22—Optical or photographic arrangements associated with the tube
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01J—ELECTRIC DISCHARGE TUBES OR DISCHARGE LAMPS
    • H01J37/00—Discharge tubes with provision for introducing objects or material to be exposed to the discharge, e.g. for the purpose of examination or processing thereof
    • H01J37/26—Electron or ion microscopes; Electron or ion diffraction tubes
    • H01J37/28—Electron or ion microscopes; Electron or ion diffraction tubes with scanning beams
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L22/00—Testing or measuring during manufacture or treatment; Reliability measurements, i.e. testing of parts without further processing to modify the parts as such; Structural arrangements therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G06T2207/10061—Microscopic image from scanning electron microscope
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30141—Printed circuit board [PCB]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30148—Semiconductor; IC; Wafer

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Quality & Reliability (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Electromagnetism (AREA)
  • Manufacturing & Machinery (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Power Engineering (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Testing Or Measuring Of Semiconductors Or The Like (AREA)
  • Analysing Materials By The Use Of Radiation (AREA)
  • Length-Measuring Devices Using Wave Or Particle Radiation (AREA)
  • Image Analysis (AREA)

Abstract

一种试样观察系统，具有扫描型电子显微镜和计算机，进行如下处理：(1)取得所述扫描型电子显微镜拍摄的多个图像；(2)从所述多个图像取得包含缺陷部位的学习用缺陷图像和不包含所述缺陷部位的学习用参照图像；(3)使用所述学习用缺陷图像和所述学习用参照图像来计算推定处理参数；(4)取得包含缺陷部位的检查用缺陷图像；以及(5)使用所述推定处理参数和所述检查用缺陷图像来推定伪参照图像。

Description

试样观察系统以及图像处理方法
技术领域
本发明涉及使用带电粒子显微镜等观察在作为试样的半导体晶片上形成的电路图案、缺陷的试样观察系统以及图像处理方法。
背景技术
在半导体晶片的制造中，为了确保收益，迅速地启动生产工艺，尽早地转移到高成品率的量产体制是重要的。为了该目的，在生产线中导入有各种检查装置、观察试样上的缺陷的装置、测量装置。
观察试样上的缺陷的装置是基于缺陷检查装置输出的缺陷位置坐标(表示试样(晶片)上的缺陷的位置的坐标信息)，以高分辨率拍摄晶片上的缺陷位置并输出图像的装置，广泛使用利用了扫描型电子显微镜(SEM：Scanning Electron Microscope)的缺陷观察装置(以下，记载为复查SEM)。
在半导体的量产线中期望试样观察作业的自动化，复查SEM搭载有进行自动收集试样内的缺陷位置处的图像的缺陷图像自动收集处理(ADR：Automatic Defect Review)的功能、和进行自动对收集到的缺陷图像进行分类的缺陷图像自动分类处理(ADC：AutomaticDefect Classification)的功能。
另外，由于缺陷检查装置输出的缺陷位置坐标中包含误差，因此ADR具有如下功能：从以缺陷检查装置输出的缺陷位置坐标为中心扩大视野而拍摄的图像中再次检测缺陷，以高倍率拍摄再次检测出的缺陷位置，得到观察用图像。作为来自SEM图像的缺陷检测方法，在日本特开2001-189358号公报(专利文献1)中记载了如下方法：将对形成有与缺陷部位相同的电路图案的区域进行拍摄而得到的图像作为参照图像，将对缺陷部位进行拍摄而得到的图像(以下，记载为缺陷图像)与参照图像进行比较，由此检测缺陷。
在WO2019/216303号公报(专利文献2)中记载了根据与设计数据对应的数据库图像和拍摄图像生成参照图像，对拍摄图像和参照图像进行比较，检测出缺陷候补的方法。
另外，在非专利文献1中公开了使用神经网络来学习输入图像与输出图像的对应关系的方法。
现有技术文献
专利文献
专利文献1：日本特开2001-189358号公报
专利文献2：WO2019/216303号公报
非专利文献
非专利文献1：Olaf Ronneberger、Philipp Fischer、Thomas Brox、“U-Net：Convolutional Networks for Biomedical Image Segmentation”、arXiv preprintarXiv：1505.04597(2015)
发明内容
发明要解决的问题
本发明的对试样上的缺陷进行观察的系统(以下，载为记试样观察系统)涉及对半导体晶片等试样进行拍摄，取得图像，并对该图像进行观察的系统。
在试样观察系统中，每单位时间取得更多的图像(高吞吐量地动作)是重要的。在专利文献1中记载了针对每个缺陷图像取得参照图像来进行缺陷检测的方法。但是，如果能够根据缺陷图像推定参照图像，则能够省略参照图像的取得，因此能够提高试样观察的吞吐量。在专利文献2中，记载了根据与设计数据对应的数据库图像和拍摄图像来生成参照图像的方法。但是，设计数据是机密性高的信息，不允许半导体的生产线、特别是要求高生产率的量产线取出，有时难以利用设计数据。如上所述，在无法利用设计数据的情况下，难以根据缺陷图像来推定参照图像，上述的公知例均未提及解决该问题的方法。
本发明的目的在于，解决上述的现有技术的课题，能够不利用设计数据而根据缺陷图像推定参照图像，能够提高试样观察的吞吐量。
另外，本发明的另一目的在于，解决上述的现有技术的课题，能够不利用设计数据而根据缺陷图像推定缺陷部位，能够提高试样观察的吞吐量。
用于解决课题的手段
本发明的具有扫描型电子显微镜和计算机的试样观察系统以及方法或试样观察系统所包含的计算机执行如下处理：
(1)取得所述扫描型电子显微镜拍摄的多个图像；
(2)从所述多个图像取得包含缺陷部位的学习用缺陷图像和不包含所述缺陷部位的学习用参照图像；
(3)使用所述学习用缺陷图像和所述学习用参照图像来计算推定处理参数；
(4)取得包含缺陷部位的检查用缺陷图像；以及
(5)使用所述推定处理参数和所述检查用缺陷图像来推定伪参照图像。
在另一观点中，本发明的具有扫描型电子显微镜和计算机的试样观察系统以及方法或者试样观察系统所包含的计算机执行如下处理：
取得所述扫描型电子显微镜拍摄的多个图像；
从所述多个图像取得包含缺陷部位的学习用缺陷图像；
使用所述学习用缺陷图像，计算推定处理参数；
取得包含缺陷部位的检查用缺陷图像；以及
使用所述推定处理参数和所述检查用缺陷图像来推定所述检查用缺陷图像中的缺陷部位。
发明效果
根据本发明，在试样观察中，即使在无法利用设计数据的情况下，也能够根据缺陷图像来推定参照图像。而且，通过推定参照图像，能够省略参照图像的取得，能够提高试样观察的吞吐量。
另外，根据本发明，在试样观察中，能够根据缺陷图像推定缺陷部位。而且，通过根据缺陷图像推定缺陷部位，能够省略参照图像的取得，能够提高试样观察的吞吐量。
附图说明
图1是表示实施例1的试样观察系统的概略结构的框图。
图2是表示实施例1的试样观察系统的试样观察流程的流程图。
图3是表示实施例1的试样观察系统的试样观察中的确定缺陷部位的结果的例子的图。
图4是表示实施例1的试样观察系统的学习序列的流程的流程图。
图5是取得实施例1的试样观察系统的学习序列中的学习用图像对的处理的流程图。
图6是计算实施例1的试样观察系统的学习序列中的推定处理参数的处理的流程图。
图7是表示实施例1的试样观察系统的推定处理参数的计算中的将图像对进行位置对准的处理和切出图像的处理的图。
图8是表示实施例1的试样观察系统中的推定伪参照图像的神经网络的结构的框图。
图9是实施例1的试样观察系统中的用于设定学习用图像尺寸的GUI。
图10是实施例1的试样观察系统中的用于设定学习结束条件的GUI。
图11是实施例1的试样观察系统中的用于确认每个学习步骤的推定误差的GUI。
图12是实施例1的试样观察系统中的用于显示根据学习用缺陷图像推定出的伪参照图像中所指定的图像的GUI。
图13是通过与实施例1的试样观察系统进行比较的以往的试样观察系统取得观察用缺陷图像的处理的时序图。
图14是通过实施例1的试样观察系统取得观察用缺陷图像的处理的时序图。
图15是表示实施例2的试样观察系统的学习序列的流程的流程图。
图16是表示实施例3的试样观察系统中的计算机的概略结构的框图。
图17是表示实施例3的试样观察系统的试样观察流程的流程图。
图18是实施例3的试样观察系统的计算学习序列中的推定处理参数的处理流程图。
图19是表示实施例3的试样观察系统中的推定缺陷部位的神经网络的结构的框图。
图20是表示在根据实施例1至3的学习用局部缺陷图像推定伪参照图像的情况下使用的式子的图。
图21是表示在实施例3的处理中使用的式子的图。
具体实施方式
参照附图对实施方式进行说明。另外，以下说明的实施方式并不限定请求专利保护的范围所涉及的发明，另外，在实施方式中说明的各要素及其组合的全部并不一定是发明的解决手段所必须的。
(实施方式1)
<系统结构>
使用图1，对本实施例的试样观察系统进行说明。在本实施例中，作为拍摄试样的拍摄装置，以具备扫描型电子显微镜(SEM：Scanning Elecron Microscope)的试样观察系统为对象进行说明。然而，本实施例所涉及的拍摄装置可以是除了SEM之外的拍摄装置，也可以是光学显微镜或使用离子等带电粒子的拍摄装置。另外，作为观察对象的图像，以拍摄半导体晶片上的缺陷而得到的图像为对象进行说明，但也可以是拍摄平板显示器、生物试样等其他试样而得到的图像。
图1表示本实施例的试样观察装置100的结构。试样观察装置(也称为试样观察系统)100具备进行试样的拍摄的SEM101、检测试样的缺陷的缺陷检查装置102以及计算机103。
SEM101除了搭载作为观察对象的试样晶片104并能够在X-Y平面内或X-Y-Z空间内移动的工作台105、产生向试样晶片104照射的电子束106的电子源107、检测从照射了电子束106的试样晶片104产生的二次电子108或反射电子109等的检测器110之外，还具备使电子束106会聚在试样晶片104上的电子透镜(未图示)、用于在试样晶片104上扫描电子束106的偏转器(未图示)。
缺陷检查装置102是拍摄晶片表面的光学图像，通过与合格品部位的图像(例如相邻芯片的图像)的比较来检查缺陷的装置。但是，这样的检查装置受到其照明波长的影响，取得图像的分辨率极限为数百纳米左右。因此，关于晶片上的数十纳米量级的缺陷，仅能够检测出其有无，输出晶片上的缺陷坐标。
计算机103具备用户接口(图中标记为用户I/F)111、网络接口(图中标记为网络I/F)112、进行SEM101的控制的控制部113、存储信息的存储部114、处理部115。此外，存储部114例如以磁盘设备、易失性以及非易失性的半导体存储器设备为例，但也可以是其他存储设备。另外，存储部也可以由多个上述的设备构成。另外，处理部的例子可以是CPU、GPU、FPGA、LSI中的任意一个，也可以进行组合来实现。另外，后面说明的控制部113也可以是与计算机103不同的子系统(有时称为控制子系统)。另外，在本说明书中，计算机103以一个为例子进行说明，但也可以是多个计算机。例如进行GUI显示的处理由平板电脑、智能手机这样的显示用的计算机进行，其他图像处理由其他的计算机进行。另外，计算机也可以具有多个上述的构成物。
用户接口111例如是触摸面板、显示器、键盘、鼠标等，但只要能够接受来自作业者(用户)的操作并显示信息，则也可以是其他设备。网络接口112是用于经由网络与缺陷检查装置、SEM等外部装置进行通信的接口。
关于控制部113、处理部115、存储部114，说明本实施例的结构。
控制部113具备工作台控制部116、电子束控制部117、检测器控制部118。工作台控制部116进行工作台105的移动、停止等控制。电子束控制部117以在预定的视野内照射电子束106的方式控制偏转器(未图示)，来控制试样晶片104上的电子束106的扫描区域。检测器控制部118与由未图示的偏转器驱动的电子束106的扫描同步地对来自检测器110的信号进行采样，调整增益、补偿(offset)等而生成数字图像。另外，作为控制部113的实现方式，例如可以通过电路来实现，也可以通过CPU、GPU、FPGA、LSI来实现。
存储部114包括：图像存储区域119，其将在检测器控制部118中生成的数字图像与附带信息一起存储；制程存储区域120，其存储包含器件、制造工序的信息、图像的拍摄条件等的制程；以及推定处理参数存储区域121，其存储与伪参照图像的推定处理相关的参数。此外，各区域不一定需要是分开的区域。只要能够存储制程、参数、推定处理参数，则存储部114的内部的数据配置可以是任意的形式。
处理部115具备：推定处理参数计算部122，其计算用于根据缺陷图像来推定伪参照图像的推定处理参数；伪参照图像推定部123，其基于推定处理参数来推定伪参照图像；以及缺陷部位确定部124，其确定缺陷图像中的缺陷部位。另外，在处理部115是CPU或GPU等通过程序执行预定的处理的设备的情况下，将与推定处理参数计算部122、伪参照图像推定部123、缺陷部位确定部124对应的程序(统称为图像处理程序)存储在存储部114中。然后，处理部115通过读出该程序来实现这些处理。
接着，对本实施例中进行的处理进行说明。另外，除了另外明确记载的情况以外，与实施例1至3相关的以后的处理的说明是由计算机103进行的处理。更具体而言，关于SEM101的控制，是控制部113进行的处理，其他处理是处理部115进行的处理的分担例。另外，在处理部115是CPU或GPU的情况下，读出并实现存储部114中存储的程序(以后有时称为图像处理程序)。但是，在说明为由推定处理参数计算部122、伪参照图像推定部123或缺陷部位确定部124进行的处理的情况下，由于这些部包含在处理部115中，因此也可以认为是由处理部115进行处理。
<试样观察>
使用图2对试样的观察处理进行说明。
首先，等待将成为观察对象的试样晶片104装载到工作台105上(S201)。接着，从制程存储区域读入与作为观察对象的试样晶片对应的制程(S202)。形成于试样晶片104上的半导体图案经过多个制造工序而制造，在各工序中有时外观大不相同。而且，有时带电的容易度等试样的特性也不同。因此，一般按照每个设备、制造工序来调整拍摄条件并存储。基于同样的理由，伪参照图像的推定处理参数也按每个工序进行管理，从而推定精度提高。
接着，接收或读入缺陷检查装置102输出的缺陷坐标信息(S203)。在此，既可以将接收或读入的所有缺陷坐标作为观察对象，也可以将基于用户指定条件采样的结果作为观察对象。接着，确认与处理试样晶片104的工序对应的推定处理参数是否存储在推定处理参数存储区域121中(S204)，在没有存储的情况下(图2中为“无”的情况下)，通过后述的学习序列计算推定处理参数，将结果存储在推定处理参数存储区域121中(S205)。此外，来自上述缺陷检查装置的缺陷坐标信息的接收可以经由网络接口112接收，或者也可以从USB存储器等可移动存储介质读入。此外，S205既可以由推定处理参数计算部122实现，也可以如上述那样由运算部115整体实现。
接着，从推定处理参数存储区域121读入伪参照图像的推定处理参数(S206)。接着，使用SEM101依次拍摄试样晶片104上的观察对象缺陷，进行以下的S207至S213的一系列观察。
首先，通过控制部113控制工作台105使其移动，以便在SEM101的拍摄视野中包含试样晶片104上的观察对象缺陷(S207)。接着，取得检查用缺陷图像(S208)。该图像的取得例如通过如下方式进行：利用SEM101对试样晶片104上的包含观察对象缺陷的比较宽的区域照射电子束106而进行扫描，利用检测器110检测所产生的二次电子108、反射电子109，由此对包含观察对象缺陷的比较宽的区域进行拍摄，利用检测器控制部118对该拍摄而得到的来自检测器110的检测信号进行处理，取得包含观察对象的缺陷的比较宽的区域的低倍率图像。
接着，对检查用缺陷图像应用噪声去除、亮度不均校正等图像预处理(S209)，在伪参照图像推定部123中，使用从推定处理参数存储区域121读入的推定处理参数，根据进行了图像预处理的检查用缺陷图像来推定伪参照图像(S210)。该伪参照图像相当于观察到与检查用缺陷图像相同的电路图案且不包含缺陷的图像。此外，在伪参照图像的推定中，不需要设计数据，而使用推定处理参数以及进行了图像预处理后的检查用缺陷图像。
接着，在缺陷部位确定部124中，对检查用缺陷图像和伪参照图像进行比较，根据检查用缺陷图像来确定缺陷部位(S211)。关于缺陷部位的确定方法，使用专利文献1等中记载的方法即可。
接着，缩小视野以高倍率拍摄所确定的缺陷部位，取得观察用的缺陷图像(以下，记载为观察用缺陷图像)(S212)，将检查用缺陷图像、伪参照图像、观察用缺陷图像存储于图像存储区域119中(S213)。
至此，图2的流程结束。另外，该一系列的处理可以对试样晶片104的全部观察对象缺陷反复执行，但也可以基于其他基准对一部分观察对象缺陷进行。此外，S205既可以由推定处理参数计算部122承担，也可以作为处理部115整体来承担。
<<确定缺陷部位的结果的例子>>
使用图3说明在S211中确定了缺陷部位的结果的例子。若使用检查用缺陷图像301和伪参照图像302来确定缺陷部位，则得到能够区分缺陷部位和缺陷部位以外的区域的特定缺陷部位图像303。在特定缺陷部位图像303中，例如，将缺陷部位的像素值设为1，将缺陷部位以外的区域的像素值设为0即可。
<<学习序列>>
使用图4说明通过S205的学习序列计算推定处理参数，并将结果存储在推定处理参数存储区域121中的处理。
首先，取得为了学习而取得的图像的尺寸(S401)。接着，设定作为学习对象的缺陷(S402)。这可以将在S203中读入的缺陷坐标的全部作为学习对象，也可以将基于用户指定条件采样的结果作为学习对象。接着，取得包含作为该设定的学习对象的缺陷的图像(以下，记载为学习用缺陷图像)和包含以形成与作为学习对象的缺陷位置周边同样的电路图案的方式设计的区域的图像(以下，记载为学习用参照图像)的对(S403)。
<<<S403的学习用图像对取得的详细情况>>>
在此，使用图5对S403进行说明。首先，控制工作台105使其移动，以便以形成与作为学习对象的缺陷位置周边同样的电路图案的方式设计(或假定)的区域(以下，记载为参照区域)包含在SEM101的拍摄视野中(S501)。另外，在参照区域的确定中，不需要设计数据那样精度良好的信息。在半导体晶片中，在晶片上配置有多个以形成同样的电路图案的方式设计的芯片，因此作为最简单的方法，考虑将从缺陷坐标偏移了1个芯片的区域作为参照区域。但是，也可以通过其他方法来选择参照区域。
接着，向试样晶片104上的参照区域照射电子束106进行扫描，通过由检测器110检测所产生的二次电子108、反射电子109来拍摄参照区域，由检测器控制部118处理该拍摄得到的来自检测器110的检测信号，以成为S401中取得的尺寸以上的方式取得学习用参照图像(S502)。
接着，控制工作台105使其移动以便在SEM101的拍摄视野中包含作为学习对象而包含缺陷的区域(以下，记载为缺陷区域)(S503)。接着，对试样晶片104上的缺陷区域照射电子束106进行扫描，通过用检测器110检测所产生的二次电子108、反射电子109来拍摄缺陷区域，用检测器控制部118处理该拍摄得到的来自检测器110的检测信号，以成为S401中取得的尺寸以上的方式取得学习用缺陷图像(S504)。
在取得了学习用缺陷图像和学习用参照图像之后，以学习用缺陷图像和学习用参照图像成对的方式附加附带信息并存储于图像存储区域119中(S505)。
以上是使用图5的说明。另外，学习用参照图像和学习用缺陷图像的取得的顺序哪个先都可以。即，也可以在S503～S504之后执行S501～S502的处理。
<<<学习序列和缺陷观察处理的并行处理>>>
返回到图4的说明。以下说明的S404和S405是意图通过与学习序列并行地进行缺陷部位的确定和缺陷观察所需的处理，从而即使在需要时间的学习序列时间中也能够进行缺陷观察的优点的处理。
将在S403中取得的学习用缺陷图像与学习用参照图像进行比较，与S211同样地确定缺陷部位(S404)。接着，缩小视野以高倍率拍摄所确定的缺陷部位，取得观察用缺陷图像，将观察用缺陷图像存储在图像存储区域119中，在S207～S213中从作为观察对象的缺陷中排除(S405)。对试样晶片104的全部或一部分的学习对象缺陷反复执行以上的S403～S405的处理。
以上是关于学习序列和缺陷观察处理的并行处理。
最后，取得推定处理参数的学习结束条件(S406)，在推定处理参数计算部122中，计算用于推定伪参照图像的推定处理参数(S407：详细内容后述)。
以上是图4的说明。在此，S404和S405除了上述的并行处理的优点以外，在S212中不需要取得观察用缺陷图像，因此具有能够高效地进行试样观察的优点。此外，也可以省略S404～S405，在省略的情况下，对于学习对象缺陷，不从S207～S213中作为观察对象的缺陷中排除。
<<<S407的推定处理参数计算的详细内容>>>
使用图6来说明步骤S407的推定处理参数计算处理。在推定处理参数的计算中，不需要设计数据，使用学习用缺陷图像和学习用参照图像。
首先，对在S403中取得的全部学习用缺陷图像和学习用参照图像，与S209同样地应用噪声去除、亮度不均校正等图像预处理(S601)。接着，为了吸收工作台移动、电子束照射的定位中的误差，基于预定的评价值，进行学习用缺陷图像与学习用参照图像的对的位置对准，求出图像间的对准量AX、AY(S602)。作为预定的评价值，使用归一化互相关系数或均方误差等，根据评价值成为最大或最小的位置进行位置对准即可。另外，在图像分辨率(相同视野的每1张图像的像素数)不同的情况下，在进行位置对准之前通过线性插补等使图像分辨率一致。
接着，基于对准量，从学习用缺陷图像中切出学习用局部缺陷图像，从学习用参照图像中切出学习用局部参照像(S603)。
在此，使用图7对S601以及S602的处理进行说明。图7中示出了学习用缺陷图像701、学习用参照图像702。在S601中，根据预定的评价值对该2张图像进行位置对准，得到图像位置对准结果703。另外，在图像位置对准结果703中，未图示仅包含在学习用缺陷图像701中的缺陷部位。在S602中，基于对准量AX、AY，作为学习用缺陷图像和学习用参照图像共用的区域，从学习用缺陷图像701切出学习用局部缺陷图像704，从学习用参照图像702切出学习用局部参照图像705。
再次返回到使用图6的说明。对学习中推定处理参数进行初始化(S604)。此时，也可以从推定处理参数存储区域121读出以前学习到的推定处理参数并用作学习中推定处理参数的初始值。接着，基于学习中推定处理参数，根据学习用局部缺陷图像推定伪缺陷图像(S605)，算出学习用局部参照图像与伪缺陷图像的推定误差(S606)，以使推定误差变小的方式更新学习中推定处理参数(S607)。接着，确认是否满足在S406中取得的学习结束条件(S608)。如果满足学习结束条件，则将学习中推定处理参数作为推定处理参数存储在推定处理参数存储区域121中(S609)。如果不满足学习结束条件，则再次返回到S605的处理。
以上，图6的流程结束。
另外，作为学习结束条件，例如可以考虑下述条件：
(学习结束条件1)将推定误差与预先设定的推定误差阈值TH进行比较，推定误差小于推定误差阈值TH。
(学习结束条件2)从用户接受了学习结束的操作。
(学习结束条件3)反复进行预先设定的指定次数MR的S605至S608的处理。
<<神经网络的应用>>
另外，作为在S605中根据学习用局部缺陷图像推定伪参照图像的方法，使用非专利文献1所记载的神经网络即可。此外，该神经网络在S210中根据检查用缺陷图像推定伪参照图像时也使用。具体而言，使用图8所示那样的被称为U-net的U字形式的神经网络即可。这里，Y表示输入图像。F11(Y)、F12(Y)、F13(Y)、F21(Y)、F22(Y)、F23(Y)、F24(Y)、F31(Y)、F32(Y)表示中间数据。F(Y)表示伪参照图像的推定结果。
通过图20的式1至式10来计算中间数据和最终结果。其中，在式1～式10中，“*”表示卷积运算，DS表示对输入图像应用2×2的最大滤波器并使其在空间(XY)方向上缩小为一半的运算，US表示将输入图像在空间方向上向上采样为2倍的尺寸的运算，CC表示将所输入的2个图像在通道(channel)方向上结合的运算。
在此，式1～式10中使用的变量的含义如下所述：
W1是c1个c0×f1×f1尺寸的滤波器
c0是输入图像的通道数
f1是空间滤波器的尺寸
通过对输入图像卷积c1次c0×f1×f1尺寸的滤波器，得到c1维的特征图。
再次将式1～式10中使用的变量的含义记载为如下：
B1是c1维的向量(与c1个滤波器对应的偏置分量)
W2是c1×f2×f2尺寸的滤波器
B2是c2维的向量。
W3是c2×f3×f3尺寸的滤波器
B3是c3维的向量
W4是c3×f4×f4尺寸的滤波器
B4是c2维的向量
W5是(c2×2)×f5×f5尺寸的滤波器
B5是c2维的向量
W6是c2×f6×f6尺寸的滤波器
B6是c1维的向量
W7是(c1×2)×f7×f7尺寸的滤波器
B7是c4维的向量
W8是c4×f8×f8尺寸的滤波器
B8是c5维的向量
其中，c0和c5是由学习用局部缺陷图像和学习用局部参照图像的通道数决定的值。另外，f1～f8、c1～c4是在学习序列前用户决定的超参数，例如设为f1～f8＝3、c1＝8、c2＝16、c3＝32、c4＝64即可。通过推定处理参数的计算处理(S405)计算的参数是W1～W8、B1～B8。
另外，作为以上所示的神经网络的结构，也可以使用其他结构。在图8中对最大深度3的U-net的构造进行了说明，但例如也可以变更深度，也可以使用最大深度4以上的网络等。
推定误差计算处理(S607)是评价推定结果F(Y)与学习用部分参照图像的差异(误差)的处理，以在本处理中求出的推定误差变小的方式进行参数的更新。作为对图像间的差异(误差)进行定量化的方法，使用均方误差(Mean Square Error)等即可。
在推定处理参数更新处理(S608)中，在神经网络的学习中使用一般的误差反向传播法即可。另外，在计算推定误差时，可以使用所取得的学习用缺陷图像和学习用参照图像的所有对，但也可以采用小批量方式。即，也可以反复执行从学习用缺陷图像与学习用参照图像的对中随机地提取多个图像对并更新参数。而且，也可以从一个图像对中随机地切出补片(patch)图像，作为神经网络的输入图像Y。由此，能够高效地进行学习。
<GUI>
接下来，说明显示于用户界面111上的GUI。
图9表示用于在S401中设定学习用图像的大小的GUI900。在本GUI900中显示在S202中读入的制程中包含的检查缺陷图像尺寸901和拍摄视野902。此外，在GUI900上显示用于设定学习图像大小的输入部903，并且在通过GUI900设定学习图像大小之后，通过按下“OK”按钮904来执行步骤S402以后的处理。
在此，对决定学习用图像的尺寸的方法进行说明。在图8所示的神经网络中，在深度d处，将输入图像缩小为1/(2^d)的尺寸(XY方向)。因此，在使用最大深度D的神经网络的情况下，要求输入图像为(2^D)×(2^D)以上的尺寸。但是，在S602中通过对学习用缺陷图像和学习用参照图像进行位置对准而得到的学习用局部缺陷图像和学习用局部参照图像的尺寸分别为学习用缺陷图像和学习用参照图像的尺寸以下。具体而言，图像尺寸减小与对准量AX、AY相应的量。为了保证学习用局部缺陷图像和学习用局部参照图像的尺寸为(2^D)×(2^D)以上的尺寸，需要以(2^D+AX)×(2^D+AY)的尺寸取得学习用缺陷图像和学习用参照图像，但在取得学习用缺陷图像和学习用参照图像之前无法获知对准量AX、AY。由于对准量AX、AY依赖于工作台移动误差、电子束照射定位误差等，因此根据工作台移动误差、电子束照射定位误差等求出对准量的最大值MX、MY，将(2^D+MX)×(2^D+MY)的尺寸设定为学习用图像尺寸即可。例如，在神经网络的最大深度为7、MX＝50、MY＝30的情况下，将178×158设为学习用图像尺寸。
另外，也可以在S401中不取得学习用图像的尺寸，而以与检查缺陷图像相同的尺寸，在S502以及S504中取得学习用缺陷图像和学习用参照图像，在S602中进行学习用缺陷图像和学习用参照图像的位置对准，在S603中切出学习用局部缺陷图像和学习用局部参照图像之后，检查学习用局部缺陷图像和学习用局部参照图像的至少一方为预定的尺寸以上，在小于预定的尺寸的情况下，该图像对不用于S605～S608的处理。在使用最大深度D的神经网络的情况下，将预定的尺寸设为(2^D)×(2^D)的尺寸。
图10示出了在S406中设定学习结束条件的GUI1000。在GUI1000中显示有设定反复进行S605～S608的处理的次数MR的输入部1001、设定推定误差阈值TH的输入部1002、设定是否接受用户的学习结束操作的输入部1003，在通过GUI1000设定了学习结束条件之后，通过按下“学习开始”按钮1004，执行S407的推定处理参数的计算。在推定处理参数的计算中按下“取消”按钮1006时，能够中断推定处理参数的计算。另外，在推定处理参数的计算中按下“进展确认”按钮1005时，切换为图11所示那样的确认学习中推定处理参数更新处理的进展的GUI1100。在GUI1100中，在图表1101中显示推定参数更新的重复次数和推定误差的推移。当按下GUI1100的“学习结束”按钮1103时，视为从用户接受了学习结束的操作，结束学习中推定处理参数的更新，即，在S608中判定为满足学习结束条件。当按下GUI1100的“推定图像确认”按钮1102时，切换为图12所示那样的GUI1200。在GUI1200上按下图像ID选择按钮1201，指定要显示的图像的编号，由通道选择部1202选择二次电子像(SE)、反射电子像(BSE)等要显示的图像的种类，由此使用学习中推定参数，执行针对所指定的图像ID的伪缺陷图像推定处理，显示所指定的图像ID的学习用局部缺陷图像1203、所推定的伪缺陷图像1204、学习用局部参照图像1205。按下GUI1200的“OK”按钮1206时，切换为图11所示那样的原来的GUI1100的显示。
根据本实施例，取得学习用缺陷图像以及学习用参照图像，使用学习用缺陷图像和学习用参照图像来计算推定处理参数，在试样观察中，根据检查用缺陷图像来推定伪参照图像，由此能够省略参照图像的取得，能够提高试样观察的吞吐量。
<缺陷观察的序列的比较>
图13示出了在以往的试样观察系统中依次观察观察对象缺陷(1)和(2)的情况下的序列。横轴表示时间，纵轴表示观察对象缺陷。
首先，在与观察对象缺陷(1)的观察相关的工序1301的序列包含以下工序：
使工作台移动以便在SEM101的拍摄视野中包含与观察对象缺陷(1)对应的参照区域(S)。
用SEM101拍摄参照区域而取得学习用参照图像(RI)。
使工作台移动以便在SEM101的拍摄视野中包含含有观察对象缺陷(1)的区域(S)。
用SEM101拍摄包含观察对象缺陷(1)的比较宽的区域，取得学习用缺陷图像(DI)。
使用学习用缺陷图像和学习用参照图像来确定学习用缺陷图像中的缺陷部位(D)。
利用SEM101对包含所确定的缺陷部位的比较窄的区域进行拍摄而取得观察用缺陷图像(HI)。
在与接下来的观察对象缺陷(2)的观察相关的工序1302中也包含同样的序列。在此，工序1302的工作台移动(S)必须在观察对象缺陷(1)的观察用缺陷图像的取得(HI)结束后进行。这是因为，在工序1301中观察对象缺陷(1)停留在SEM101的拍摄视野内，直到观察对象缺陷(1)的观察用缺陷图像的取得(HI)结束为止。
图14是本实施例的、特别是与S207～S213的处理相关的序列。横轴与纵轴的关系与图13的情况相同。在图14的序列中，作为图13中没有的时间，存在伪参照图像推定(P)，另一方面，没有参照图像取得(RI)。此外，工序中的工作台移动(S)各少1个。
首先，在与观察对象缺陷(1)的观察相关的工序1401的序列包含以下工序：
使工作台移动以便在SEM101的拍摄视野中包含含有观察对象缺陷(1)的区域(S)。
利用SEM101对包含观察对象缺陷(1)的比较宽的区域进行拍摄而取得检查用缺陷图像(DI)。
基于推定处理参数，根据检查用缺陷图像推定伪参照图像(P)。
使用检查用缺陷图像和伪参照图像，确定检查用缺陷图像中的缺陷部位(D)。
利用SEM101对包含所确定的缺陷部位的比较窄的区域进行拍摄而取得观察用缺陷图像(HI)。
接着，在与观察对象缺陷(2)的观察相关的工序1402中，对观察对象缺陷(2)进行同样的处理。
如上所述，在图14的序列中，通过根据缺陷图像推定伪参照图像(P)，不需要图13中说明的序列的第一次的工作台移动(S)和参照图像的取得(RI)。由此，能够将工作台移动次数削减为1/2，而且，能够省略参照图像的拍摄，能够提高使用试样观察系统依次观察试样晶片104上的观察对象的多个缺陷的情况下的吞吐量。
(实施方式2)
在实施例1中，叙述了如下方法：使用SEM对缺陷区域和参照区域进行拍摄，取得学习用缺陷图像和学习用参照图像，使用学习用缺陷图像和学习用参照图像来计算推定处理参数，在试样观察中，根据检查用缺陷图像来推定伪参照图像，由此提高试样观察的吞吐量。在计算推定处理参数时，学习用缺陷图像与学习用参照图像的对的数量越多，越能够高效地进行学习。在本实施例中，叙述如下方法：即使在不存在学习对象缺陷或者学习对象缺陷少量的情况下，也通过对学习用参照图像赋予伪缺陷来生成学习用缺陷图像，使用学习用参照图像与所生成的学习用缺陷图像的对来计算推定处理参数。
本实施例的试样观察系统的结构与实施例1中说明的图1所示的结构基本相同。不同之处在于学习序列的处理流程，学习序列以外的试样观察流程具备与实施例1中说明的图2所示的处理流程相同的处理流程。另外，本实施例的试样观察系统的GUI具备与实施例1中说明的图9～图12所示的界面相同的界面。以下，仅对与实施例1不同的部分进行说明。
<学习序列>
使用图15对S205的学习序列进行说明。
首先，设定作为学习对象的区域(S1501)。这可以设为试样晶片上的用户指定的1个以上的区域，也可以随机地设定试样晶片104上的1个以上的区域。但是，在作为学习对象的区域中不包含缺陷检查装置输出的缺陷坐标。接着，控制工作台105使其移动，以使该设定的作为学习对象的区域包含在SEM 101的拍摄视野中(S1502)，对试样晶片104上的作为学习对象的区域照射电子束106并进行扫描，通过由检测器110检测产生的二次电子108、反射电子109来对作为学习对象的区域进行拍摄，由检测器控制部118处理该拍摄而得到的来自检测器110的检测信号，取得学习用参照图像(S1503)。
接着，对学习用参照图像赋予伪缺陷，生成学习用缺陷图像，由此取得学习用缺陷图像(S1504)，以学习用缺陷图像与学习用参照图像成对的方式附加附带信息并存储于图像存储区域119中(S1505)。赋予伪缺陷的区域PR只要在学习用参照图像的面内随机地设定中心位置及尺寸(宽度和高度)即可。
作为伪缺陷，也可以对区域PR的浓淡施加一定的补偿。或者，也可以以包含电路图案的边缘的方式设定区域PR，基于边缘强度对电路图案施加变形。以上模拟了微小的缺陷，但也可以生成覆盖图像整个面那样的巨大缺陷。伪缺陷的种类不限于此，只要对各种缺陷进行建模并生成即可。
对试样晶片104的全部作为学习对象的区域反复执行以上的S1502～S1505的处理。接着，取得推定处理参数的学习结束条件(S1506：相当于图4的S406)，在推定处理参数计算部122中，计算用于推定伪参照图像的推定处理参数(S1507：相当于图4的S407)。
另外，在以上的说明中，对使用在S1504中生成的包含伪缺陷的图像作为推定处理参数的计算的学习用缺陷图像的方法进行了说明，但除了包含在S1504中生成的伪缺陷的图像以外，也可以与在实施例1中说明的S403同样地，使用包含在S203中读入的全部缺陷坐标、或者基于用户指定条件而采样的缺陷坐标的图像作为学习用缺陷图像。即，在S1507中，也可以使用对试样晶片104上的包含缺陷的区域进行拍摄而得到的图像(第一缺陷图像)和与第一缺陷图像对应的参照图像(第一参照图像)的对、以及第二参照图像和从第二参照图像生成的包含伪缺陷的图像(第二缺陷图像)的对，来计算推定处理参数。
根据本实施例，即使在不存在学习对象缺陷或学习对象缺陷少的情况下，也能够通过对学习用参照图像赋予伪缺陷来生成学习用缺陷图像，并使用学习用参照图像与所生成的学习用缺陷图像的对来算出推定处理参数，在试样观察中，根据检查用缺陷图像来推定伪参照图像，从而能够省略参照图像的取得，能够提高试样观察的吞吐量。
(实施方式3)
在实施例1及实施例2中，叙述了如下方法：使用通过学习学习用缺陷图像与学习用参照图像的对应关系而得到的推定处理参数，在试样观察中，根据检查用缺陷图像推定伪参照图像，将检查用缺陷图像与伪参照图像进行比较，由此确定检查用缺陷图像中的缺陷部位。在本实施例中，叙述计算用于推定缺陷图像中的缺陷部位的推定处理参数，并基于推定处理参数来推定检查用缺陷图像中的缺陷部位的方法。
<系统结构>
关于本实施例的试样观察系统100的结构，SEM101和缺陷检查装置102与在实施例1中说明的图1所示的结构相同，不同的是计算机103的结构。以下，仅对与实施例1不同的部分进行说明。
使用图16对本实施例的试样观察系统的计算机103进行说明。存储部114具备：图像存储区域119，其将在检测器控制部118中生成的数字图像与附带信息一起存储；制程存储区域120，其存储包含器件、制造工序的信息、图像的拍摄条件等的制程；以及推定处理参数存储区域1601，其存储与缺陷图像中的缺陷部位的推定处理相关的参数。处理部115具备：推定处理参数计算部1602，其计算用于推定缺陷图像中的缺陷部位的推定处理参数；以及缺陷部位推定部1603，其基于推定处理参数来推定缺陷部位。
<试样观察方法>
使用图17对试样的观察方法进行说明。S1701～S1703与图2的S201～S203相同。
在S1704中，确认在推定处理参数存储区域1601中是否存储有与处理试样晶片104的工序对应的推定处理参数，在没有存储的情况下(在图17中为“无”的情况下)，在推定处理参数计算部1602中，通过后述的学习序列计算推定处理参数并存储(S1705)。接着，从推定处理参数存储区域1601读入推定处理参数(S1706)。
接着，使用SEM101依次拍摄试样晶片104上的观察对象缺陷，进行一系列的观察。步骤S1707至S1709与图2中的步骤S207至S209相同，因此省略说明。接着，在缺陷部位推定部1603中，使用推定处理参数，推定进行了图像预处理的检查用缺陷图像中的缺陷部位(S1710)。此外，在缺陷部位的推定中，不需要设计数据，使用进行了推定处理参数以及图像预处理的检查用缺陷图像。接着，缩小视野以高倍率拍摄推定出的缺陷部位，取得观察用缺陷图像(S1711)，将检查用缺陷图像和观察用缺陷图像存储于图像存储区域119(S1712)。对试样晶片104的全部观察对象缺陷反复执行以上的S1707至S1712的处理。
<<学习序列>>
关于S1705的学习序列，除了S407以外，具备与在实施例1中说明的图4所示的处理流程相同的序列。
使用图18说明与图4的S407对应的计算推定处理参数的方法。在推定处理参数的计算中，不需要设计数据，使用学习用缺陷图像和学习用参照图像。
步骤S1801～S1803与图6的步骤S601～S603相同，因此省略说明。接着，比较学习用局部缺陷图像和学习用局部参照图像，确定学习用局部缺陷图像中的缺陷部位，求出表示缺陷部位的特定缺陷部位图像(S1804：相当于图2的S211)。另外，在S1804中，也可以不使用学习用缺陷图像和学习用参照图像来确定缺陷部位，而将学习用缺陷图像显示于GUI，用户指定缺陷部位，将能够区分所指定的缺陷部位和所指定的缺陷部位以外的区域的图像作为特定缺陷部位图像。接着，对学习中推定处理参数进行初始化(S1805：相当于图6的S604)。此时，也可以从推定处理参数存储区域1601读出以前学习到的推定处理参数并用作学习中推定处理参数的初始值。
接着，在缺陷部位推定部1603中，基于学习中推定处理参数，根据学习用局部缺陷图像来推定缺陷部位(S1806)，求出推定缺陷部位图像，使用推定缺陷部位图像和特定缺陷部位图像来计算推定误差(S1807)，更新学习中推定处理参数以使推定误差变小(S1808：相当于图6的S607)。接着，确认是否满足在S406中取得的学习结束条件(S1809：相当于图6的S608)，在满足学习结束条件的情况下，将学习中推定处理参数作为推定处理参数存储于推定处理参数存储区域1601(S1810)。学习结束条件如实施例1中说明的那样。如果不满足学习结束条件，则再次返回到S1806的处理。以上，图18的流程结束。
作为在S1806中根据学习用局部缺陷图像推定缺陷部位的一方法，使用图19所示的神经网络即可，输入图像Y是学习用局部缺陷图像，F(Y)是推定缺陷部位图像。通过图21的式12来计算推定缺陷部位图像F(Y)。在式12中，F(Y)(x，y，c)表示推定缺陷部位图像F(Y)的X方向的坐标值为x、Y方向的坐标值为y、通道为c的像素的值，对于F15(Y)(x，y，c)也同样如此。通过实施例1中说明的图20的式1～式8来计算F11(Y)、F12(Y)、F21(Y)、F22(Y)、F23(Y)、F24(Y)、F31(Y)、F32(Y)。另外，在S1807中计算缺陷部位的推定误差时，通过图21的式13将特定缺陷部位图像DD(1通道的2值图像)转换为2通道的图像MSK，计算图像MSK与推定缺陷部位图像F(Y)的差异(误差)。作为对图像间的差异(误差)进行定量化的方法，与S607同样地使用均方误差(Mean Square Error)等即可。
这里，W9是2个(c1×2)×f9×f9尺寸的滤波器，B9是2维向量。f9是用户在学习序列前决定的超参数，例如f9＝3即可。通过推定处理参数的计算处理(S1801～S1810)计算的参数是W1～W6、W9、B1～B6、B9。
根据本实施例，使用学习用缺陷图像来计算用于推定缺陷图像中的缺陷部位的推定处理参数，在试样观察中，基于推定处理参数来推定检查用缺陷图像中的缺陷部位，由此能够省略参照图像的取得，能够提高试样观察的吞吐量。
<总结>
在以上的实施例1至实施例3中说明了下述内容。此外，在以下的说明中赋予的用括号覆盖的数字、字母并不表示各处理的执行顺序。
<<观点1>>
一种试样观察系统，其具有扫描型电子显微镜和计算机，其中，所述计算机执行如下处理：
(1)取得所述扫描型电子显微镜拍摄的多个图像；
(2)从所述多个图像取得包含缺陷部位的学习用缺陷图像和不包含所述缺陷部位的学习用参照图像；
(3)使用所述学习用缺陷图像和所述学习用参照图像来计算推定处理参数；
(4)取得包含缺陷部位的检查用缺陷图像；以及
(5)使用所述推定处理参数和所述检查用缺陷图像来推定伪参照图像。
<<观点2>>
观点1所述的试样观察系统中，
所述计算机执行如下处理：
(6)对所述伪参照图像与所述检查用缺陷图像进行比较，来确定所述检查用缺陷图像的缺陷部位。
<<观点3>>
观点1所述的试样观察系统中，
作为所述(3)的处理，所述计算机执行如下处理：
(3A)基于预定的评价值，进行所述学习用缺陷图像与所述学习用参照图像的位置对准来取得对准量；
(3B)基于上述对准量，从所述学习用缺陷图像切出学习用局部缺陷图像；
(3C)基于所述对准量，从所述学习用参照图像切出学习用局部参照图像；以及
(3D)使用所述学习用局部缺陷图像和所述学习用局部参照图像来计算所述推定处理参数。
<<观点4>>
观点1所述的试样观察系统中，
所述推定处理参数是神经网络的参数，
在所述神经网络中，输入到输入层的图像的最小尺寸是第一尺寸，
作为所述(1)的处理，所述计算机取得各个图像为所述第一尺寸以上的所述多个图像。
<<观点5>>
观点3所述的试样观察系统中，
所述推定处理参数是神经网络的参数，
在所述神经网络中，输入到输入层的图像的最小尺寸是第一尺寸，
作为所述(3)的处理，所述计算机执行如下处理：
(3E)检查所述学习用局部缺陷图像和所述学习用局部参照图像中的至少一方的尺寸为所述第一尺寸以上。
<<观点6>>
观点1所述的试样观察系统中，
所述计算机取得所述推定处理参数的计算处理的结束条件，
作为所述(3)的处理，所述计算机执行如下处理：
(3F)在检测到满足所述结束条件时，结束所述推定处理参数的更新。
<<观点7>>
观点6所述的试样观察系统中，
所述计算机与所述推定处理参数的计算并行地执行如下处理：
(7)对所述学习用缺陷图像与所述学习用参照图像进行比较，来确定所述学习用缺陷图像的缺陷部位。
<<观点8>>
观点1所述的试样观察系统中，
所述计算机省略与所述检查用缺陷图像对应的参照图像的取得。
<<观点9>>
一种试样观察系统，其具有扫描型电子显微镜和计算机，其中，
所述计算机执行如下处理：
取得所述扫描型电子显微镜拍摄的多个图像；
从所述多个图像取得包含缺陷部位的学习用缺陷图像；
使用所述学习用缺陷图像，计算推定处理参数；
取得包含缺陷部位的检查用缺陷图像；以及
使用所述推定处理参数和所述检查用缺陷图像来推定所述检查用缺陷图像中的缺陷部位。
另外，说明了以上所示的处理也可以通过由处理部执行的图像处理程序来实现。另外，图像处理程序可以通过计算机可读取的存储介质来分发，也可以从分发服务器计算机分发。在此，分发服务器计算机具有存储部、运算部、网络接口112。另外，各部的具体例也可以与计算机103的情况相同。也可以在具有这样的结构的分发服务器计算机的存储部中存储图像处理程序，根据来自计算机103的分发请求，处理部读入图像处理程序，经由网络接口112发送到计算机103。
符号说明
100：试样观察系统
101：SEM
102：缺陷检查装置
103：计算机。

Claims (19)

1.一种试样观察系统，其具有扫描型电子显微镜和计算机，其特征在于，所述计算机执行如下处理：
(1)取得所述扫描型电子显微镜拍摄的多个图像；
(2)从所述多个图像取得包含缺陷部位的学习用缺陷图像和不包含所述缺陷部位的学习用参照图像；
(3)使用所述学习用缺陷图像和所述学习用参照图像来计算推定处理参数；
(4)取得包含缺陷部位的检查用缺陷图像；以及
(5)使用所述推定处理参数和所述检查用缺陷图像来推定伪参照图像。
2.根据权利要求1所述的试样观察系统，其特征在于，
所述计算机执行如下处理：
(6)将所述伪参照图像与所述检查用缺陷图像进行比较，来确定所述检查用缺陷图像的缺陷部位。
3.根据权利要求1所述的试样观察系统，其特征在于，
作为所述(3)的处理，所述计算机执行如下处理：
(3A)基于预定的评价值，进行所述学习用缺陷图像与所述学习用参照图像的位置对准来取得对准量；
(3B)基于所述对准量，从所述学习用缺陷图像切出学习用局部缺陷图像；
(3C)基于所述对准量，从所述学习用参照图像切出学习用局部参照图像；以及
(3D)使用所述学习用局部缺陷图像和所述学习用局部参照图像来计算所述推定处理参数。
4.根据权利要求1所述的试样观察系统，其特征在于，
所述推定处理参数是神经网络的参数，
在所述神经网络中，输入到输入层的图像的最小尺寸是第一尺寸，
作为所述(1)的处理，所述计算机执行如下处理：
取得各个图像为所述第一尺寸以上的所述多个图像。
5.根据权利要求3所述的试样观察系统，其特征在于，
所述推定处理参数是神经网络的参数，
在所述神经网络中，输入到输入层的图像的最小尺寸是第一尺寸，
作为所述(3)的处理，所述计算机执行如下处理：
(3E)检查所述学习用局部缺陷图像和所述学习用局部参照图像中的至少一方的尺寸为所述第一尺寸以上。
6.根据权利要求1所述的试样观察系统，其特征在于，
所述计算机取得所述推定处理参数的计算处理的结束条件，
作为所述(3)的处理，所述计算机执行如下处理：
(3F)在检测到满足所述结束条件时，结束所述推定处理参数的更新。
7.根据权利要求6所述的试样观察系统，其特征在于，
与所述推定处理参数的计算并行地，所述计算机执行如下处理：
(7)通过对所述学习用缺陷图像与所述学习用参照图像进行比较，来确定所述学习用缺陷图像的缺陷部位。
8.根据权利要求1所述的试样观察系统，其特征在于，
所述计算机省略与所述检查用缺陷图像对应的参照图像的取得。
9.根据权利要求1所述的试样观察系统，其特征在于，
作为所述(2)的处理，所述计算机执行如下处理：
(2A)从所述多个图像取得不包含缺陷部位的所述学习用参照图像；以及
(2B)对所述学习用参照图像赋予伪缺陷，取得包含缺陷部位的所述学习用缺陷图像。
10.一种试样观察系统，其具有扫描型电子显微镜和计算机，其特征在于，
所述计算机执行如下处理：
取得所述扫描型电子显微镜拍摄的多个图像；
从所述多个图像取得包含缺陷部位的学习用缺陷图像；
使用所述学习用缺陷图像，计算推定处理参数；
取得包含缺陷部位的检查用缺陷图像；以及
使用所述推定处理参数和所述检查用缺陷图像来推定所述检查用缺陷图像中的缺陷部位。
11.一种计算机执行的图像处理方法，其特征在于，所述图像处理方法执行如下步骤：
(M1)取得所述扫描型电子显微镜拍摄的多个图像；
(M2)从所述多个图像取得包含缺陷部位的学习用缺陷图像和不包含所述缺陷部位的学习用参照图像；
(M3)使用所述学习用缺陷图像和所述学习用参照图像来计算推定处理参数；
(M4)取得包含缺陷后补部位的检查用缺陷图像；以及
(M5)使用所述推定处理参数和所述检查用缺陷图像来推定伪参照图像。
12.根据权利要求11所述的图像处理方法，其特征在于，
(M6)对所述伪参照图像与所述检查用缺陷图像进行比较，来确定所述检查用缺陷图像的缺陷部位。
13.根据权利要求11所述的图像处理方法，其特征在于，
作为所述(M3)包括：
(M3A)基于预定的评价值，进行所述学习用缺陷图像与所述学习用参照图像的位置对准，由此取得对准量；
(M3B)基于上述对准量，从所述学习用缺陷图像切出学习用局部缺陷图像；
(M3C)基于所述对准量，从所述学习用参照图像切出学习用局部参照图像；以及
(M3D)使用所述学习用局部缺陷图像和所述学习用局部参照图像来计算所述推定处理参数。
14.根据权利要求11所述的图像处理方法，其特征在于，
所述推定处理参数是神经网络的权重值，
在所述神经网络中，输入到输入层的图像的最小尺寸是第一尺寸，
作为所述(M1)：取得各个图像为所述第一尺寸以上的所述多个图像。
15.根据权利要求13所述的图像处理方法，其特征在于，
所述推定处理参数是神经网络的权重值，
在所述神经网络中，输入到输入层的图像的最小尺寸是第一尺寸，
作为所述(M3)：(M3E)检查所述学习用局部缺陷图像和所述学习用局部参照图像中的至少一方的尺寸为所述第一尺寸以上。
16.根据权利要求11所述的图像处理方法，其特征在于，
取得所述推定处理参数的推定处理的结束条件，
作为所述(M3)：(M3F)在检测到满足所述结束条件时，结束所述推定处理参数的更新。
17.根据权利要求16所述的图像处理方法，其特征在于，
与所述推定处理参数的计算并行地进行：(M7)通过对所述学习用缺陷图像与所述学习用参照图像进行比较，来确定所述学习用缺陷图像的缺陷部位。
18.根据权利要求11所述的图像处理方法，其特征在于，
省略与所述检查用缺陷图像对应的参照图像的取得。
19.根据权利要求11所述的图像处理方法，其特征在于，
作为所述(M2)的处理，所述计算机执行如下处理：
(M2A)从所述多个图像取得不包含缺陷部位的所述学习用参照图像；以及
(M2B)对所述学习用参照图像赋予伪缺陷，取得包含缺陷部位的所述学习用缺陷图像。
CN202180013541.6A 2020-03-06 2021-01-08 试样观察系统以及图像处理方法 Pending CN115088061A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2020038745A JP7262409B2 (ja) 2020-03-06 2020-03-06 試料観察システム及び画像処理方法
JP2020-038745 2020-03-06
PCT/JP2021/000484 WO2021176841A1 (ja) 2020-03-06 2021-01-08 試料観察システム及び画像処理方法

Publications (1)

Publication Number Publication Date
CN115088061A true CN115088061A (zh) 2022-09-20

Family

ID=77613622

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180013541.6A Pending CN115088061A (zh) 2020-03-06 2021-01-08 试样观察系统以及图像处理方法

Country Status (6)

Country Link
US (1) US20230005123A1 (zh)
JP (1) JP7262409B2 (zh)
KR (1) KR20220123708A (zh)
CN (1) CN115088061A (zh)
TW (1) TWI793496B (zh)
WO (1) WO2021176841A1 (zh)

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08136466A (ja) * 1994-11-10 1996-05-31 Dainippon Screen Mfg Co Ltd 画像パターン検査装置
JP3612247B2 (ja) * 1999-09-14 2005-01-19 株式会社東芝 半導体検査装置及び半導体検査方法
JP3893825B2 (ja) 1999-12-28 2007-03-14 株式会社日立製作所 半導体ウェーハの欠陥観察方法及びその装置
JP2004349515A (ja) * 2003-05-23 2004-12-09 Hitachi High-Technologies Corp Ｓｅｍ式外観検査装置，レビュー装置、およびアライメント座標設定方法
JP2004354251A (ja) * 2003-05-29 2004-12-16 Nidek Co Ltd 欠陥検査装置
JP5006520B2 (ja) * 2005-03-22 2012-08-22 株式会社日立ハイテクノロジーズ 欠陥観察装置及び欠陥観察装置を用いた欠陥観察方法
JP4857095B2 (ja) * 2005-12-07 2012-01-18 株式会社日立ハイテクノロジーズ 欠陥レビュー方法及びその装置
JP5325580B2 (ja) * 2009-01-09 2013-10-23 株式会社日立ハイテクノロジーズ Ｓｅｍを用いた欠陥観察方法及びその装置
JP5948262B2 (ja) * 2013-01-30 2016-07-06 株式会社日立ハイテクノロジーズ 欠陥観察方法および欠陥観察装置
JP6668278B2 (ja) * 2017-02-20 2020-03-18 株式会社日立ハイテク 試料観察装置および試料観察方法
JP6792842B2 (ja) * 2017-06-06 2020-12-02 株式会社デンソー 外観検査装置、変換データ生成装置、及びプログラム
EP3499459A1 (en) * 2017-12-18 2019-06-19 FEI Company Method, device and system for remote deep learning for microscopic image reconstruction and segmentation
US10789703B2 (en) * 2018-03-19 2020-09-29 Kla-Tencor Corporation Semi-supervised anomaly detection in scanning electron microscope images
WO2019216303A1 (ja) 2018-05-09 2019-11-14 レーザーテック株式会社 検査装置、検査方法、学習方法、及びプログラム

Also Published As

Publication number Publication date
US20230005123A1 (en) 2023-01-05
KR20220123708A (ko) 2022-09-08
JP2021141231A (ja) 2021-09-16
WO2021176841A1 (ja) 2021-09-10
TW202135119A (zh) 2021-09-16
JP7262409B2 (ja) 2023-04-21
TWI793496B (zh) 2023-02-21

Similar Documents

Publication Publication Date Title
US10559074B2 (en) Sample observation device and sample observation method
US6539106B1 (en) Feature-based defect detection
US6870169B2 (en) Method and apparatus for analyzing composition of defects
US8237119B2 (en) Scanning type charged particle beam microscope and an image processing method using the same
JP6629934B2 (ja) 試験方策を生成する方法およびそのシステム
TWI515813B (zh) Charged particle - ray device
JP7402061B2 (ja) 試験片の調査の方法およびそのシステム
JP5581286B2 (ja) 欠陥検査方法および欠陥検査装置
CN111539908A (zh) 对样本的缺陷检测的方法及其系统
US10545490B2 (en) Method of inspecting a specimen and system thereof
KR20130108413A (ko) 하전 입자선 장치
TW202040713A (zh) 缺陷觀察裝置
JP4262269B2 (ja) パターンマッチング方法及び装置
WO2023280489A1 (en) Method and system for anomaly-based defect inspection
CN115088061A (zh) 试样观察系统以及图像处理方法
KR20220037337A (ko) 반도체 시편의 3차원 재구성
JP4262288B2 (ja) パターンマッチング方法及び装置
US20230052350A1 (en) Defect inspecting system and defect inspecting method
TW202217274A (zh) 在半導體樣本中的陣列的識別
WO2018167965A1 (ja) 欠陥観察装置及び欠陥観察方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination