CN110534390A - 带电粒子束装置和机器学习方法 - Google Patents

带电粒子束装置和机器学习方法 Download PDF

Info

Publication number
CN110534390A
CN110534390A CN201910435670.9A CN201910435670A CN110534390A CN 110534390 A CN110534390 A CN 110534390A CN 201910435670 A CN201910435670 A CN 201910435670A CN 110534390 A CN110534390 A CN 110534390A
Authority
CN
China
Prior art keywords
image
mentioned
observation condition
observation
charged particle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910435670.9A
Other languages
English (en)
Other versions
CN110534390B (zh
Inventor
植松文徳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jeol Ltd
Original Assignee
Jeol Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jeol Ltd filed Critical Jeol Ltd
Publication of CN110534390A publication Critical patent/CN110534390A/zh
Application granted granted Critical
Publication of CN110534390B publication Critical patent/CN110534390B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01J—ELECTRIC DISCHARGE TUBES OR DISCHARGE LAMPS
    • H01J37/00—Discharge tubes with provision for introducing objects or material to be exposed to the discharge, e.g. for the purpose of examination or processing thereof
    • H01J37/02—Details
    • H01J37/22—Optical, image processing or photographic arrangements associated with the tube
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01J—ELECTRIC DISCHARGE TUBES OR DISCHARGE LAMPS
    • H01J37/00—Discharge tubes with provision for introducing objects or material to be exposed to the discharge, e.g. for the purpose of examination or processing thereof
    • H01J37/02—Details
    • H01J37/22—Optical, image processing or photographic arrangements associated with the tube
    • H01J37/222—Image processing arrangements associated with the tube
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/60—Image enhancement or restoration using machine learning, e.g. neural networks
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01J—ELECTRIC DISCHARGE TUBES OR DISCHARGE LAMPS
    • H01J37/00—Discharge tubes with provision for introducing objects or material to be exposed to the discharge, e.g. for the purpose of examination or processing thereof
    • H01J37/26—Electron or ion microscopes; Electron or ion diffraction tubes
    • H01J37/261—Details
    • H01J37/265—Controlling the tube; circuit arrangements adapted to a particular application not otherwise provided, e.g. bright-field-dark-field illumination
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01J—ELECTRIC DISCHARGE TUBES OR DISCHARGE LAMPS
    • H01J37/00—Discharge tubes with provision for introducing objects or material to be exposed to the discharge, e.g. for the purpose of examination or processing thereof
    • H01J37/26—Electron or ion microscopes; Electron or ion diffraction tubes
    • H01J37/28—Electron or ion microscopes; Electron or ion diffraction tubes with scanning beams
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01J—ELECTRIC DISCHARGE TUBES OR DISCHARGE LAMPS
    • H01J37/00—Discharge tubes with provision for introducing objects or material to be exposed to the discharge, e.g. for the purpose of examination or processing thereof
    • H01J37/30—Electron-beam or ion-beam tubes for localised treatment of objects
    • H01J37/304—Controlling tubes by information coming from the objects or from the beam, e.g. correction signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G06T2207/10061—Microscopic image from scanning electron microscope
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01J—ELECTRIC DISCHARGE TUBES OR DISCHARGE LAMPS
    • H01J2237/00—Discharge tubes exposing object to beam, e.g. for analysis treatment, etching, imaging
    • H01J2237/22—Treatment of data
    • H01J2237/221—Image processing
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01J—ELECTRIC DISCHARGE TUBES OR DISCHARGE LAMPS
    • H01J2237/00—Discharge tubes exposing object to beam, e.g. for analysis treatment, etching, imaging
    • H01J2237/26—Electron or ion microscopes
    • H01J2237/282—Determination of microscope properties

Landscapes

  • Engineering & Computer Science (AREA)
  • Analytical Chemistry (AREA)
  • Theoretical Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Analysing Materials By The Use Of Radiation (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Image Processing (AREA)

Abstract

一种带电粒子束装置和机器学习方法，其中，图像转换部(28)包含选择器(30)和多个图像转换器(32‑1、…、32‑n)。各图像转换器由机械学习型的推定器构成，根据在第1观察条件下取得的图像，推定在第2观察条件下可能会取得的图像作为参考图像。当从显示于显示器(36)的多个参考图像之中选择了特定的参考图像时，与其对应的第2观察条件作为接下来的观察条件被设定在观察机构(10)中。

Description

带电粒子束装置和机器学习方法
技术领域
本发明涉及带电粒子束装置(charged particle beam apparatus)，特别是涉及图像转换技术。
背景技术
作为带电粒子束装置，已知使用电子束的观察装置、使用离子束的观察装置等。作为使用电子束的观察装置，能够举出扫描式电子显微镜(scanning electron microscope)(SEM)以及透射式电子显微镜(transmission electron microscope)(TEM)。以下，对扫描式电子显微镜进行说明。
在扫描式电子显微镜中，要想通过观察对象物来取得期望的图像，需要根据对象物、观察目的等而适当地设定观察条件。具体来说，需要适当地设定加速电压、照射电流、扫描速度、检测方式等。若观察条件不同，则取得的图像也会不同。通常，为了得到希望的图像，要反复调整观察条件。知识、经验不足的人想要找出最佳的观察条件是相当困难的。知识、经验丰富的人也并不一定能容易地迅速设定最佳的观察条件。在观察条件的调整延长的情况下，对对象物的损伤有时也无法忽视。观察条件的调整也在扫描式电子显微镜以外的带电粒子束装置中进行。
现有的扫描式电子显微镜不具备无需变更当前的观察条件就能显示在其它观察条件下可能会得到的图像的功能。在扫描式电子显微镜以外的带电粒子束装置中也是同样的。此外，在特开2014-142871号公报中记载有创建在图像分类器的机器学习中使用的教师数据的装置。
发明内容
发明要解决的问题
本公开的目的在于，无需实际变更观察条件，就能参照变更观察条件后可能会得到的图像。或者，本公开的目的在于，在设定观察条件时减轻用户的负担。
用于解决问题的方案
实施方式的带电粒子束装置的特征在于，包含：观察机构，其通过向对象物照射带电粒子束来观察上述对象物；推定部，其基于在当前观察条件下由上述观察机构所得到的当前图像，推定在假定观察条件下由上述观察机构得到的图像作为参考图像；以及显示器，其显示上述参考图像。
根据上述构成，由推定部基于当前图像生成参考图像，该参考图像被显示于显示器。参考图像是预计在假定观察条件下可能会得到的图像，即，其为推定图像。通过对参考图像的观察，能够判断假定观察条件适当与否。在判断为假定观察条件适当的情况下，可以将假定观察条件设定为实际的观察条件(即接下来的观察条件)，也可以应用与该假定观察条件对应的图像转换来继续进行对象物的观察。在实施方式中，带电粒子束装置是扫描式电子显微镜，但上述构成例如也可以应用于透射式电子显微镜、离子束装置等。观察条件基本上是与带电粒子束的形成和检测方法有关的条件。在实施方式中，一边进行对象物的观察，一边实时显示参考图像。也可以基于所存储的图像来生成及显示参考图像。
在实施方式中，上述推定部包含将上述当前图像转换为上述参考图像的机器学习型的图像转换部。根据该构成，能够以机器学习这种比较简便的方法来实现高精度的图像转换。也可以是，在其它装置中经过机器学习过程并生成了已学习过的参数集之后，将该已学习过的参数集提供给本装置的图像转换部。也可以通过函数运算、矩阵运算等来推定参考图像。
在实施方式中，上述图像转换部将上述当前图像转换为与多个假定观察条件对应的多个参考图像，在上述显示器中显示上述多个参考图像。根据该构成，通过比较多个参考图像，能锁定最佳的观察条件或最佳的图像转换条件。也可以将当前图像与多个参考图像一同显示。
在实施方式中，上述图像转换部包含：储存部，其储存有多个已学习过的参数集；以及引擎，其中被引入从上述多个已学习过的参数集之中选择出的已学习过的参数集，上述多个已学习过的参数集和上述引擎作为整体来发挥多个机器学习型的图像转换器的功能。引擎是被引入已学习过的参数集而发挥功能的部分，例如构成CNN平台或CNN模型。若在多个已学习过的参数集之间共享引擎，则在成本上是有利的。引擎是基于已学习过的参数集来执行运算的算法、模块、数学式等软件。
实施方式的带电粒子束装置包含选择部，上述选择部用于由用户从上述多个参考图像之中选择特定的参考图像。根据该构成，能以图像选择这样简易的方法来选择观察条件或图像转换条件。
实施方式的带电粒子束装置包含控制部，上述控制部将与上述特定的参考图像对应的特定的假定观察条件作为接下来的观察条件设定在上述观察机构中。根据该构成，在设定观察条件时能够大幅减轻用户的负担。
实施方式的带电粒子束装置包含控制部，上述控制部对上述图像转换部指示与上述特定的参考图像对应的特定的图像转换。根据该构成，无需变更实际的观察条件，就能持续取得希望的图像或与希望的图像相近的图像。例如，在由于对象物的损伤或其他情况而实际上难以提高加速电压的状况下，也就是在低加速电压下，能观察到在提高了加速电压的情况下可能会得到的图像或与其相近的图像。
实施方式的机器学习方法是使图像转换器进行机器学习的方法，上述方法的特征在于，上述方法根据在第1观察条件下所得到的图像来推定在第2观察条件下可能会得到的图像，上述方法包含：取得构成教师数据的多个图像对的工序；以及将上述多个图像对提供给上述图像转换器来优化上述图像转换器内的参数集的工序，上述各图像对包括第1图像和第2图像，上述第1图像是通过在上述第1观察条件下观察对象物而得到的，上述第2图像是通过在上述第2观察条件下观察上述对象物而得到的，在进行上述参数集的优化时，对将上述第1图像输入到上述图像转换器而得到的输出图像与作为上述第2图像的正确图像进行比较。构成各图像对的2个图像从同一对象物的同一部位取得。可以不变更对象物而使视野变更来取得许多个图像对，也可以变更对象物来取得许多个图像对。
实施方式的电子文件包含：已学习过的参数集，其被提供给根据在第1观察条件下所得到的图像来推定在第2观察条件下得到的图像的机器学习型的图像转换器；以及观察条件数据，其与上述已学习过的参数集相关联，用于将上述第2观察条件设定在带电粒子束装置的观察机构中。在上述电子文件中，已学习过的参数集与对应于它的观察条件数据是相关联的，也就是说，该电子文件具有面向特定用途的特殊的数据结构。也可以在电子文件内还包含表示第1观察条件的观察条件数据。
附图说明
图1是示出实施方式的扫描式电子显微镜的构成例的框图。
图2是示出各图像转换器的构成例的框图。
图3是示出观察条件表格的构成例的图。
图4是示出转换类型管理表格的构成例的图。
图5是示出实施方式的扫描式电子显微镜的另一构成例的框图。
图6是示出文件集合的概念图。
图7是示出偏差校正方法的概念图。
图8是示出实施方式的学习方法的流程图。
图9是示出实施方式的控制方法的流程图。
图10是示出显示例的图。
具体实施方式
以下，基于附图来说明实施方式。
在图1中示出了实施方式的扫描式电子显微镜的构成例。扫描式电子显微镜是带电粒子束装置的一种。作为其它带电粒子束装置，能够举出透射式电子显微镜、离子束照射装置等。在图示的构成例中，扫描式电子显微镜具有观察机构10和信息处理部12。
观察机构10是观察部或测定部，其具有机械构成和电气构成。具体来说，观察机构10具有电子枪、偏转器(扫描器)、物镜、试样室、检测部等。在试样室内设置有载物台16，由该载物台来保持作为观察对象物的试样18。试样18是半导体基板、生物组织等。通过对试样18照射电子束20，会从试样18发射出二次电子22。该二次电子22被检测器24检测到。也可以是检测从试样18发射出的反射电子。检测部由包含检测器24的多个检测器构成。通常，在多个检测器之中，使用与所指定的检测方式对应的检测器。载物台16是可移动体，载物台16连结有未图示的移动机构。
在实施方式中，信息处理部12除了包括用户接口、存储器等以外，还包括执行程序的CPU。信息处理部12也可以由多个处理器构成。信息处理部12也可以由单个PC或网络上的多个信息处理设备构成。
信息处理部12具有：控制部14、图像形成部26、图像转换部28、显示处理部34等。控制部14具有决定对观察机构10而设定的动作条件、即用于观察试样18的观察条件的功能。观察条件中包含加速电压、照射电流、真空度、工作距离(working distance)等各种项目。观察条件中还能包含检测方式(二次电子检测方式、反射电子检测方式等)、电子束扫描速度。
通过电子束20对试样18的相对扫描，会从试样18中的各个坐标取得检测数据。图像形成部26基于这些检测数据来形成图像(SEM图像)。表示该图像的数据(图像数据)被传送给图像转换部28。图像数据根据需要而临时储存在图像形成部26内的存储器26A中。
图像转换部28作为推定部或推定单元发挥功能，在图示的构成例中，具有选择器(SEL)30以及多个图像转换器32-1、32-2、…、32-n(以下，多个图像转换器根据需要省略附图标记的引用)。选择器30将所输入的图像数据向其中任意一个图像转换器传送。在其传送目的地之中也包含旁路路径31。各图像转换器由机器学习型的转换器构成，作为图像过滤器发挥功能。具体来说，各图像转换器由CNN(Convolutional Neural Network；卷积神经网络)构成。如后所述，也可以是整个图像转换部28由单个CNN构成。
各个图像转换器具有基于在第1观察条件(当前观察条件)下所取得的图像，推定在第2观察条件(假定观察条件)下可能会取得的图像作为参考图像的功能。参考图像是推定图像。按2个观察条件的每种组合也就是按每个转换类型设置有图像转换器。实际上，是在准备好的多个图像转换器之中选择适合于当前观察条件(转换前条件)的1个或多个图像转换器。为了提高图像转换的自由度，希望的是准备与许多种组合(许多个转换类型)对应的许多个图像转换器。不过，也可以仅设置任意1个图像转换器。
在图示的构成例中，能使适合于当前观察条件的多个图像转换器并列地进行动作，所输入的当前图像被转换为多个参考图像。这多个参考图像被传送给显示处理部34。如上所述，在图像转换部28的内部设置有旁路路径31，所输入的当前图像经由旁路路径31向显示处理部34原样地输出。
显示处理部34具有图像合成功能、显示图像生成功能等。显示于显示器36的显示图像由显示处理部34生成。在实施方式中，在显示器36中，与试样观察同时推进地，也就是实时显示包含多个参考图像的图像列表。图像列表是为了观察条件的选择或图像转换条件的选择而显示的。对此，后面详细叙述。显示器36由LCD(liquid crystaldisplay；液晶显示器)、有机EL(organic Electro-Luminescence；有机电致发光)显示设备等构成。此外，图像形成部26、图像转换部28以及显示处理部34例如能分别由处理器构成。它们也可以由上述CPU和程序构成。
控制部14控制图1所示的各构成的动作。即，由控制部14来控制观察机构10的动作，而且控制图像转换部28的动作。在观察机构10的实际动作之前，控制部14对观察机构10设定作为其动作条件的观察条件。
输入器37由键盘、定点设备等构成。输入器37作为选择部或选择单元发挥功能。具体来说，由用户使用输入器37从图像列表之中选择特定的参考图像。控制部14将与所选择的参考图像对应的观察条件作为接下来的观察条件设定在观察机构10中，或者，将与所选择的参考图像对应的图像转换条件设定在图像转换部28中。作为输入器37和显示器36，也可以采用带触摸面板的显示设备。在实施方式中，在存储部38中储存后述的观察条件表格和转换类型管理表格。后述的电子文件集合也可以储存于存储部38。
在图2中例示了图像转换器的一般性构成。图像转换器在实施方式中作为图像推定器发挥功能。图示的图像转换器32由CNN构成，其包括许多个层。许多个层包含：输入层40、卷积层42、池化层44、输出层46。许多个层作为整体具有CNN参数集48。CNN参数集48包括许多个权重值和许多个偏置值。图像转换器32具有在对于CNN参数集48的机器学习过程中发挥功能的更新部50。更新部50具有作为评价函数的误差函数，将CNN参数集48逐渐优化或最佳化，以使由误差函数定义的误差更小。
在机器学习过程中，多个图像对作为训练数据(教师数据)52被提供给图像转换器32。各个图像对包括通过对同一试样的同一部位(视野)的观察而得到的第1图像54和第2图像(正确图像)56。第1图像是在第1观察条件下所得到的图像，第2图像56是在与第1观察条件不同的第2观察条件下所得到的图像。其被用作正确图像。当将第1图像54输入了图像转换器32时，会从图像转换器32输出作为转换后的图像的输出图像58。更新部50将输出图像58与正确图像56进行比较，以使输出图像58接近正确图像56的方式优化CNN参数集48。反复执行这种更新处理，最终，CNN参数集48得以最佳化。通过机器学习过程，图像转换器32获得特定的图像转换功能。即，当将在第1观察条件下所得到的第1图像60输入了图像转换器32时，会从图像转换器32输出转换后图像62作为第2图像。该转换后图像62构成参考图像。
能将已学习过的CNN参数集48从图像转换器32取出到外部。取出的机器已学习过的CNN参数集48能根据需要引入到具有同一构成的CNN中。或者，也能将由其它装置生成的CNN参数集引入到图像转换器32中。
如已经说明的那样，图1所示的多个图像转换器对应于多个图像转换类型。如上所述，每个图像转换器都需要进行机器学习或者需要从外部引入已学习过的CNN参数集。也能事先准备与多个图像转换类型对应的多个已学习过的CNN参数集，在多个图像转换器间共享CNN引擎部分。对此，后面详细叙述。
在图3中示出了观察条件表格的构成例。观察条件表格70包括多个记录70a，每个记录70a与1个观察条件对应。具体来说，每个记录70a包括：观察条件名称(观察条件标识符)以及观察条件的内容。观察条件的内容例如包含加速电压、照射电流、真空度、工作距离、检测方式等多个项目值。图1所示的控制部确定与所指定的观察条件名称对应的观察条件的内容，并据此来设定观察机构的动作条件。
在图4中示出了转换类型管理表格的构成例。在图示的转换类型管理表格72中，纵向上列出了多个观察条件名称作为第1观察条件，横向上列出了多个观察条件名称作为第2观察条件。第1观察条件是转换前观察条件，与当前观察条件匹配。第2观察条件是转换后观察条件。在各个单元格72a中规定有转换类型。按每个转换类型对应有图像转换器(或者CNN参数集)。典型来说，在由用户指示了图像列表的显示的情况下，控制部按照转换类型管理表格72来确定适合于当前观察条件的多个转换类型，使与多个转换类型对应的多个图像转换器并列地进行动作。
但是，在仅有1个转换类型适合于当前观察条件的情况下，则仅有与其对应的图像转换器进行动作。在没有准备适合于当前观察条件的转换类型的情况下，显示这一情况的消息。根据转换类型管理表格72，能立即确定与各个转换类型对应的观察条件(第2观察条件)。此外，第1观察条件和第2观察条件的具体内容通过参照上述的观察条件表格来确定。
在图5中示出了扫描式电子显微镜的另一构成例。对于与图1所示的构成相同的构成，标注相同的附图标记，省略其说明。在图5所示的构成例中，图像转换部80具有单个图像转换器82和储存部84。图像转换器82包括CNN引擎90和被引入到其中的CNN参数集92。储存部84例如由存储器等构成，其中储存有CNN参数集集合86。CNN参数集集合86包括与多个转换类型对应的已学习过的多个CNN参数集88-1、88-2、…、88-n(以下，关于各CNN参数集，根据情况省略附图标记的引用)。从多个CNN参数集之中选择出的1个CNN参数集被引入到上述的CNN引擎90中，从而，图像转换器82能进行动作。典型来说，控制部14从准备好的多个转换类型之中确定与当前观察条件对应的多个转换类型，将与它们对应的多个CNN参数集按顺序引入到CNN引擎中，使其依次进行动作。从而，结果是，能生成多个参考图像。根据图5所示的构成例，转换类型的追加、删除等也变得容易。
在图5所示的构成例中，也可以从外部经由网络或便携式存储介质将图6所示的电子文件集合100提供给扫描式电子显微镜。电子文件集合100包括与多个转换类型对应的多个电子文件102。在图示的例子中，各个电子文件102包括转换类型标识符104、第1观察条件数据106、第2观察条件数据108、已学习过的CNN参数集110等。第1观察条件数据106和第2观察条件数据108是分别示出观察条件的内容的数据。基于电子文件集合100，构成上述的观察条件表格，而且构成上述的转换类型管理表格。各表格的创建由上述的控制部执行。另外，基于电子文件集合100，在图像形成部内的储存部储存CNN参数集集合。其控制也由控制部执行。
在各电子文件102中，对于已学习过的CNN参数集，以电子的方式关联有第1观察条件数据和第2观察条件数据，因此，在使用已学习过的CNN参数集的情况下，能正确判断适合于它的转换前图像，另外，在由用户从参考图像列表之中选择了特定的参考图像的情况下，能在观察机构中正确地设定与该特定的参考图像对应的观察条件。此外，在图1所示的构成例中，也可以是提供图6所示的电子文件集合100。
基于图7来说明偏差校正。如上所述，在机器学习过程中，多个图像对被提供给图像转换器。各个图像对包括通过对同一对象物的同一部位(视野)的观察而得到的第1图像和第2图像。第1图像是在第1观察条件下所取得的图像，第2图像是在第2观察条件下所取得的图像。在与第1图像对应的实际观察范围和与第2图像对应的实际观察范围之间存在位置偏差的情况下，机器学习的质量有可能会下降。在实施方式中，在机器学习过程中根据需要执行以下说明的偏差校正。
在图7中，在第1图像120与第2图像122之间产生了位置偏差。附图标记124示出了第1图像120与第2图像122之间的重复范围。对第1图像120中的重复部分120A的周围附加填补部分126。从而构成校正后的第1图像128。填补部分126是使用重复部分120A来生成，例如是通过复制重复部分120A内的一部分等而生成。同样地，对第2图像122中的重复部分122A的周围附加填补部分130。从而构成校正后的第2图像132。填补部分130与上述同样地，是使用重复部分122A来生成，例如是通过复制重复部分122A内的一部分等而生成。
校正后的第1图像128和第2图像132具有与校正前的第1图像120和第2图像122相同的尺寸。也可以是，仅对第1图像120和第2图像122中的一方附加部分图像，由此来校正位置偏差。在不要求图像尺寸的统一的情况下，也可以仅将第1图像120和第2图像122内的重复部分用作学习用图像。
在图8中示出了实施方式的学习方法的流程图。在S 10中，在特定的第1观察条件下观察试样，另外，在特定的第2观察条件下观察同一试样。即，变更观察条件对试样中的特定范围执行2次通过电子束扫描进行的观察。从而，取得构成图像对的第1图像和第2图像。第1观察条件和第2观察条件能由用户任意设定。例如，作为这些观察条件，也可以设定为仅有特定的项目(例如加速电压)不同的2个观察条件。此外，在每次执行S10时变更视野即观察部位，另外，根据需要变更试样。
在S12中，判断在第1图像与第2图像之间是否有位置偏差。例如可以通过相关运算、图像差分或其它方法来判断是否有位置偏差或位置偏差的程度。在S12中判断为有位置偏差的情况下，在S14中，执行偏差校正。例如，根据图7所示的方法来校正位置偏差。在S 16中，保存图像对。此外，也可以在保存图像对之后执行位置偏差的校正。
在S18中，判断是否取得了机器学习所需数量或足够数量的图像对，在继续进行图像对的取得的情况下，反复执行S 10以后的工序。在这种情况下，也可以观察同一试样的多个部位。也可以同一种类的多个观察试样。也可以不同种类的多个观察试样。但是，第1观察条件和第2观察条件的各内容维持不变。
在S20中，使用如上所述取得的多个图像对来执行图像转换器的机器学习。在S22中，判断对于其它转换类型是否需要机器学习，在判断为需要的情况下，在S24中，变更第1观察条件的内容和第2观察条件的内容中的一方或双方。在此基础上，反复执行S10以后的各工序。
执行以上的机器学习方法的结果是，构成与多个转换类型对应的多个图像转换器，或者构成与多个转换类型对应的多个CNN参数集。
在图9中示出了实施方式的控制方法(即控制部的动作)的流程图。在S30中，选择动作模式。具体来说，选择观察条件选择模式和转换类型选择模式中的任意一个模式。当在S30中选择了观察条件选择模式的情况下，在S32中，确定适合于当前观察条件的1个或多个转换类型，执行与1个或多个转换类型对应的1个或多个图像转换，其结果是，生成包含1个或多个参考图像的观察条件变更用的图像列表，并进行显示。此外，在没有准备适合于当前观察条件的转换类型的情况下，将提示这一情况的消息进行显示。
在S34中，由用户从图像列表之中选择特定的参考图像。从而，对观察机构设定与该参考图像对应的观察条件(第2观察条件)。在此以后，在像这样设定的观察条件下观察试样。
另一方面，当在S30中选择了转换类型选择模式的情况下，在S36中，确定适合于当前观察条件的1个或多个转换类型，执行与1个或多个转换类型对应的1个或多个图像转换，其结果是，生成包含1个或多个参考图像的转换类型变更用的图像列表，并进行显示。此外，与上述同样地，在没有准备适合于当前观察条件的转换类型的情况下，将提示这一情况的消息进行显示。
在S38中，由用户从图像列表之中选择特定的参考图像。从而，与该参考图像对应的转换类型被指定为图像转换条件。在此以后，持续应用与像这样设定的转换类型对应的图像转换。例如，能既维持第1加速电压，又持续地实时显示对在高于第1加速电压的第2加速电压下得到的图像进行了模拟的图像。
在图10中示出了图像列表的例子。该图像列表在进行对象物的观察的同时被实时显示。图示的图像列表134是观察条件选择用或转换类型选择用的图像列表。在图示的例子中，第1观察条件即当前观察条件用符号A来表示，第2观察条件用符号B、C、D、E、F来表示。图像列表134具体来说包括多个图像，它们之中包含多个参考图像138～146和当前图像136。当前图像136是未转换图像。参考图像138～146是通过进行从第1观察条件A向第2观察条件B～F的图像转换而生成的图像。通过该图像列表的显示，无需实际设定第2观察条件B～F，就能参照与在实际设定了第2观察条件B～F的情况下得到的图像相当的图像。
在观察条件选择模式中，当从图像列表134之中选择了特定的参考图像138～146并操作了应用按钮148时，会在观察机构中设定与所选择的特定的参考图像对应的第2观察条件作为当前观察条件。即，无需具体地指定观察条件的内容，就能产生希望的观察条件的设定状态。若选择当前图像136，则维持当前的观察条件不变。另一方面，在转换类型选择模式中，若从图像列表134之中选择了特定的参考图像138～146并操作了应用按钮148，则会固定地选择与所选择的特定的参考图像对应的转换类型。也就是说，会持续执行与该转换类型对应的图像转换。在这种情况下，无需实际设定观察条件的内容，就能持续显示与在希望的观察条件下可能会得到的图像相近的图像。若选择当前图像136，则与上述同样地，维持当前的转换类型(未转换)不变。
通过图像列表134，容易进行多个图像的相互对比。通过基于图像列表134的图像选择，能够以点击操作等非常简便的操作来进行观察条件的变更或者选择转换类型。另外，当图像被选择时，其框会被突出显示(参照附图标记156)。在取消选择时，操作取消按钮150。在图像列表134跨越多个页面的情况下，根据需要来操作下一页按钮152、上一页按钮154。
若是在第1观察条件下推定在第2观察条件下可能会得到的图像并将其作为参考图像进行显示，则能够享受到以往无法得到的各种优点。例如，在将第1观察条件中包含的电子束扫描速度设为高速并将第2观察条件中包含的电子束扫描速度设为低速的情况下(其它项目在2个观察条件下设为相同。以下也同样。)，既能得到高的帧率，又能得到高画质。在将第1观察条件中包含的加速电压设为低电压并将第2观察条件中包含的加速电压设为高电压的情况下，既能进行试样表面的观察，又能得到高分辨率。在将第1观察条件中包含的照射电流设为小电流并将第2观察条件中包含的照射电流设为大电流的情况下，既能防止和减少试样损伤，又能得到高对比度。在将第1观察条件中包含的照射电流设为大电流并将第2观察条件中包含的照射电流设为小电流的情况下，既能得到高对比度，又能得到高分辨率。在将第1观察条件中包含的真空度设为低水平并将第2观察条件中包含的真空度设为高水平的情况下，既能降低发生电荷积累的可能性，又能得到高画质。在将第1观察条件中包含的工作距离设为长距离并将第2观察条件中包含的工作距离设为短距离的情况下，既能得到试样的方向、形状的高自由度，又能得到高画质。
在执行转换类型选择模式之后持续执行特定的图像转换的状况下，也可以与图像转换后的图像相邻地显示确定第2观察条件的信息或标记。
如上所述，根据实施方式，无需实际变更观察条件，就能参照变更观察条件后可能会得到的图像。另外，根据上述实施方式，能够方便用户设定观察条件或选择转换条件。
也能用函数运算部或矩阵运算部代替机器学习型的推定器来进行图像转换，但在这种情况下，一般来说，要想得到作为目标的函数或矩阵需要大量劳动。根据上述实施方式，只需向图像转换器提供一定个数的图像对就能够构成图像转换器，因此，容易制作图像转换器。另外，图像转换精度也得以提高。
此外，也可以基于图像列表中包含的2个图像来生成差分图像。例如，可以基于当前图像和参考图像来生成差分图像。这种差分图像用于表示图像转换器的作用。当前图像与参考图像可以被进行加权合成，另外，2个参考图像也可以被进行加权合成。

Claims (10)

1.一种带电粒子束装置，其特征在于，包含：
观察机构，其通过向对象物照射带电粒子束来观察上述对象物；
推定部，其基于在当前观察条件下由上述观察机构所得到的当前图像，推定在假定观察条件下可能会由上述观察机构得到的图像作为参考图像；以及
显示器，其显示上述参考图像。
2.根据权利要求1所述的带电粒子束装置，其特征在于，
上述推定部包含将上述当前图像转换为上述参考图像的机器学习型的图像转换部。
3.根据权利要求2所述的带电粒子束装置，其特征在于，
上述图像转换部将上述当前图像转换为与多个假定观察条件对应的多个参考图像，
在上述显示器中显示上述多个参考图像。
4.根据权利要求3所述的带电粒子束装置，其特征在于，
上述图像转换部包含：
储存部，其储存有多个已学习过的参数集；以及
引擎，其中被引入从上述多个已学习过的参数集之中依次选择出的已学习过的参数集，
上述多个已学习过的参数集和上述引擎作为整体来发挥多个机器学习型的图像转换器的功能。
5.根据权利要求3所述的带电粒子束装置，其特征在于，
包含选择部，上述选择部用于由用户从上述多个参考图像之中选择特定的参考图像。
6.根据权利要求5所述的带电粒子束装置，其特征在于，
包含控制部，上述控制部将与上述特定的参考图像对应的特定的假定观察条件作为接下来的观察条件设定在上述观察机构中。
7.根据权利要求5所述的带电粒子束装置，其特征在于，
包含控制部，上述控制部对上述图像转换部指示与上述特定的参考图像对应的特定的图像转换。
8.根据权利要求1所述的带电粒子束装置，其特征在于，
在上述当前观察条件中包含第1加速电压，
在上述假定观察条件中包含高于上述第1加速电压的第2加速电压。
9.一种机器学习方法，是使图像转换器进行机器学习的方法，上述方法的特征在于，
上述方法根据在第1观察条件下所得到的图像来推定在第2观察条件下可能会得到的图像，
上述方法包含：
取得构成教师数据的多个图像对的工序；以及
将上述多个图像对提供给上述图像转换器来优化上述图像转换器内的参数集的工序，
上述各图像对包括第1图像和第2图像，上述第1图像是通过在上述第1观察条件下观察对象物而得到的，上述第2图像是通过在上述第2观察条件下观察上述对象物而得到的，
在进行上述参数集的优化时，对将上述第1图像输入到上述图像转换器而得到的输出图像与作为上述第2图像的正确图像进行比较。
10.根据权利要求9所述的机器学习方法，其特征在于，
上述第1图像和上述第2图像分别是由扫描式电子显微镜取得的图像。
CN201910435670.9A 2018-05-25 2019-05-23 带电粒子束装置和机器学习方法 Active CN110534390B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-100932 2018-05-25
JP2018100932A JP6962863B2 (ja) 2018-05-25 2018-05-25 荷電粒子線装置

Publications (2)

Publication Number Publication Date
CN110534390A true CN110534390A (zh) 2019-12-03
CN110534390B CN110534390B (zh) 2023-11-07

Family

ID=66589377

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910435670.9A Active CN110534390B (zh) 2018-05-25 2019-05-23 带电粒子束装置和机器学习方法

Country Status (4)

Country Link
US (1) US11222241B2 (zh)
EP (1) EP3573019B1 (zh)
JP (1) JP6962863B2 (zh)
CN (1) CN110534390B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021026926A (ja) * 2019-08-07 2021-02-22 株式会社日立ハイテク 画像生成方法、非一時的コンピューター可読媒体、及びシステム
JP7346739B2 (ja) * 2020-06-12 2023-09-19 株式会社日立ハイテク 荷電粒子線装置および試料観察方法
WO2023144970A1 (ja) * 2022-01-27 2023-08-03 株式会社日立ハイテク 荷電粒子線検査システム、荷電粒子線検査方法
WO2024142316A1 (ja) * 2022-12-27 2024-07-04 株式会社日立ハイテク 集束イオンビーム装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006269489A (ja) * 2005-03-22 2006-10-05 Hitachi High-Technologies Corp 欠陥観察装置及び欠陥観察装置を用いた欠陥観察方法
CN102292790A (zh) * 2009-01-22 2011-12-21 株式会社日立高新技术 电子显微镜
WO2012056379A1 (en) * 2010-10-27 2012-05-03 Koninklijke Philips Electronics N.V. Image artifact identification and mitigation
CN102668014A (zh) * 2009-11-26 2012-09-12 株式会社日立高新技术 带电粒子线显微镜以及该带电粒子显微镜的控制方法
CN105247650A (zh) * 2013-05-30 2016-01-13 株式会社日立高新技术 带电粒子束装置、试样观察方法
US20170200265A1 (en) * 2016-01-11 2017-07-13 Kla-Tencor Corporation Generating simulated output for a specimen
WO2017205537A1 (en) * 2016-05-25 2017-11-30 Kla-Tencor Corporation Generating simulated images from input images for semiconductor applications

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1167136A (ja) * 1997-08-26 1999-03-09 Hitachi Ltd 荷電粒子装置及び荷電粒子装置ネットワークシステム
JP3666267B2 (ja) * 1998-09-18 2005-06-29 株式会社日立製作所 荷電粒子ビーム走査式自動検査装置
JP2000314710A (ja) * 1999-04-28 2000-11-14 Hitachi Ltd 回路パターンの検査方法及び検査装置
US6664546B1 (en) * 2000-02-10 2003-12-16 Kla-Tencor In-situ probe for optimizing electron beam inspection and metrology based on surface potential
US7071969B1 (en) * 2001-09-27 2006-07-04 National Semiconductor Corporation Parameterized preview array for iterative image optimization in remote applications
JP6063756B2 (ja) 2013-01-25 2017-01-18 株式会社Ｓｃｒｅｅｎホールディングス 教師データ作成支援装置、教師データ作成装置、画像分類装置、教師データ作成支援方法、教師データ作成方法および画像分類方法
US9966225B2 (en) * 2014-07-28 2018-05-08 Hitachi, Ltd. Charged particle beam device, simulation method, and simulation device
KR102566134B1 (ko) * 2015-12-07 2023-08-10 삼성전자주식회사 반도체 소자의 3d 프로파일링 시스템 및 이의 동작 방법
JP6826455B2 (ja) * 2017-02-14 2021-02-03 株式会社日立製作所 画像形成装置
JP6668278B2 (ja) * 2017-02-20 2020-03-18 株式会社日立ハイテク 試料観察装置および試料観察方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006269489A (ja) * 2005-03-22 2006-10-05 Hitachi High-Technologies Corp 欠陥観察装置及び欠陥観察装置を用いた欠陥観察方法
CN102292790A (zh) * 2009-01-22 2011-12-21 株式会社日立高新技术 电子显微镜
CN102668014A (zh) * 2009-11-26 2012-09-12 株式会社日立高新技术 带电粒子线显微镜以及该带电粒子显微镜的控制方法
WO2012056379A1 (en) * 2010-10-27 2012-05-03 Koninklijke Philips Electronics N.V. Image artifact identification and mitigation
CN105247650A (zh) * 2013-05-30 2016-01-13 株式会社日立高新技术 带电粒子束装置、试样观察方法
US20170200265A1 (en) * 2016-01-11 2017-07-13 Kla-Tencor Corporation Generating simulated output for a specimen
WO2017205537A1 (en) * 2016-05-25 2017-11-30 Kla-Tencor Corporation Generating simulated images from input images for semiconductor applications

Also Published As

Publication number Publication date
US11222241B2 (en) 2022-01-11
JP6962863B2 (ja) 2021-11-05
JP2019204757A (ja) 2019-11-28
EP3573019A1 (en) 2019-11-27
CN110534390B (zh) 2023-11-07
EP3573019B1 (en) 2022-04-13
US20190362189A1 (en) 2019-11-28

Similar Documents

Publication Publication Date Title
CN110534390A (zh) 带电粒子束装置和机器学习方法
Noack et al. Gaussian processes for autonomous data acquisition at large-scale synchrotron and neutron facilities
CN107133934A (zh) 图像补全方法及装置
CN110494865A (zh) 优化用于产品单元的多阶段处理的装置
CN109714949B (zh) 信息处理装置、信息处理方法、程序和传感装置
JP6667393B2 (ja) 拡大観察装置
JP5819897B2 (ja) 撮像システムおよび撮像方法
JP2000106121A (ja) 電子顕微鏡あるいはその類似装置
US20210026125A1 (en) Method and System for Automatically Mapping Fluid Objects on a Substrate
Liang et al. Search-based task planning with learned skill effect models for lifelong robotic manipulation
US7838840B2 (en) Charged particle beam apparatus
US20070020605A1 (en) Combined hardware and software instrument simulator for use as a teaching aid
Kalinin et al. Designing workflows for materials characterization
JP6563486B2 (ja) 顕微鏡観察システム、顕微鏡観察方法、及び顕微鏡観察プログラム
CN115409826A (zh) 一种水泥及其基材料元素含量非直接测度方法和系统
CN109760305B (zh) 基于飞秒激光的大尺寸3d微纳打印控制方法、模型切片方法及装置
Shahzad et al. Accelerating materials discovery: combinatorial synthesis, high-throughput characterization, and computational advances
CN114068270A (zh) 对准带电粒子束设备的方法
JP2001319609A (ja) 荷電粒子線装置
EP2567187B1 (en) Linking of microscopes for analysis of objects comprising tool marks
JP2006173038A (ja) 荷電粒子線装置、試料像表示方法及びイメージシフト感度計測方法
CN113508290A (zh) 信息处理设备和显微镜系统
JPH11283035A (ja) 画像機器のフォーカス調整装置
JP2009002658A (ja) 薄膜試料の観察方法
JP2010008492A (ja) 生体試料観察装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant