CN111095351B - 电荷粒子显微镜装置和广角图像生成方法 - Google Patents

电荷粒子显微镜装置和广角图像生成方法 Download PDF

Info

Publication number
CN111095351B
CN111095351B CN201780094577.5A CN201780094577A CN111095351B CN 111095351 B CN111095351 B CN 111095351B CN 201780094577 A CN201780094577 A CN 201780094577A CN 111095351 B CN111095351 B CN 111095351B
Authority
CN
China
Prior art keywords
corresponding point
reliability
wide
image
positional deviation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780094577.5A
Other languages
English (en)
Other versions
CN111095351A (zh
Inventor
小林光俊
田中麻纪
星野吉延
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi High Tech Corp
Original Assignee
Hitachi High Technologies Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi High Technologies Corp filed Critical Hitachi High Technologies Corp
Publication of CN111095351A publication Critical patent/CN111095351A/zh
Application granted granted Critical
Publication of CN111095351B publication Critical patent/CN111095351B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/0004—Microscopes specially adapted for specific applications
    • G02B21/002—Scanning microscopes
    • G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0036—Scanning details, e.g. scanning stages
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/047—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01J—ELECTRIC DISCHARGE TUBES OR DISCHARGE LAMPS
    • H01J37/00—Discharge tubes with provision for introducing objects or material to be exposed to the discharge, e.g. for the purpose of examination or processing thereof
    • H01J37/02—Details
    • H01J37/22—Optical or photographic arrangements associated with the tube
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01J—ELECTRIC DISCHARGE TUBES OR DISCHARGE LAMPS
    • H01J37/00—Discharge tubes with provision for introducing objects or material to be exposed to the discharge, e.g. for the purpose of examination or processing thereof
    • H01J37/02—Details
    • H01J37/22—Optical or photographic arrangements associated with the tube
    • H01J37/222—Image processing arrangements associated with the tube
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01J—ELECTRIC DISCHARGE TUBES OR DISCHARGE LAMPS
    • H01J37/00—Discharge tubes with provision for introducing objects or material to be exposed to the discharge, e.g. for the purpose of examination or processing thereof
    • H01J37/26—Electron or ion microscopes; Electron or ion diffraction tubes
    • H01J37/28—Electron or ion microscopes; Electron or ion diffraction tubes with scanning beams

Abstract

本发明在生成的广角图像中残存局部的位置偏差时，也能够促使进行用于修正局部位置偏差的用户输入，并根据该用户输入重新生成在重叠区域的局部区域中位置偏差量也小的广角图像。电荷粒子显微镜维持相邻的拍摄图像重叠的区域即重叠区域并拍摄多张拍摄图像，图像处理部在上述重叠区域中将对应点对设定在上述相邻的拍摄图像之间，对每个上述拍摄图像设定规定的限制条件，根据上述对应点对和上述限制条件计算上述拍摄图像之间的相对位置偏差量，根据计算出的上述位置偏差量修正上述拍摄图像之间的相对位置偏差并连接起来，由此生成一张广角图像，在上述重叠区域中设定的多个局部区域中计算拍摄图像的连接的可靠度，向用户通知上述可靠度低的上述局部区域或包含上述局部区域的重叠区域、上述设定好的对应点对和上述限制条件。

Description

电荷粒子显微镜装置和广角图像生成方法
技术领域
本发明涉及电荷粒子显微镜装置和广角图像生成方法。
背景技术
电荷粒子显微镜与光学显微镜相比分辨率非常高，为了清晰地观察被观察对象的细微构造而被广泛利用。在电荷粒子显微镜中，向对象样本照射电荷粒子束，通过检测器检测在对象样本反射、或从对象样本释放、或透过对象样本的粒子(与照射的电荷粒子同种、或其他种类的电荷粒子、或电磁波、光子)，由此取得对象样本的图像。电荷粒子显微镜的观察对象涉及材料、半导体、食品、生物、医疗领域等多方面。
在利用了电荷粒子显微镜的检查、分析中，需要在广范围内确认构造物的整体像、分布，存在希望通过视野广的拍摄图像(以下称为“广角图像”)进行观察的需求。进而，在广角图像中，还要求高画质的图像、即分辨率高、SN比高、相邻的拍摄图像之间的位置偏差量小的图像。但是，由于硬件的制约，在高分辨率的拍摄条件下发出的电荷粒子束的范围窄，因此在拍摄广角的情况下，必须一边使承载了样本的工作台移动，一边拍摄非常多的图像。
在普通的广角图像的生成方法中，首先在维持重叠区域的同时移动拍摄位置而拍摄广角区域，取得多张拍摄图像。接着，计算相邻的拍摄图像之间的对应点对，根据这些对应点对计算拍摄图像之间的相对位置偏差量并连接起来，由此生成广角图像。但是，由于根据计算出的对应点对生成广角图像，因此存在以下的问题：在计算出错误的对应点对的情况下，广角图像中的拍摄图像之间的位置偏差量变大。作为应对该问题的方法，在下述的专利文献1中，记载了以下的方法：在一次性生成的广角图像中，受理变更拍摄图像之间的重叠区域的相对位置的指示，根据所受理的指示重新生成广角图像。
具体地说，在专利文献1中，关于信息处理方法，记载了“上述存储部存储通过对被摄体进行拍摄使得多个拍摄区域相互重叠而得到的多个部分图像、按上述多个部分图像中的相邻的2个部分图像中的每一个计算出的、以及该相邻的2个部分图像的相对位置偏差信息。上述判定部根据上述存储的多个部分图像，判定用于生成作为上述被摄体的图像而显示的区域的图像即显示区域图像的、一个以上的显示用部分图像。在通过上述判定部判定出多个显示用部分图像的情况下，上述生成部根据上述存储的位置偏差信息，将该多个显示用部分图像相互连接起来，生成上述显示区域图像”。
现有技术文献
专利文献
专利文献1：日本特开2013-058124号公报
发明内容
发明要解决的问题
但是，在专利文献1记载的方法中，对相邻的拍摄图像之间重叠的重叠区域的整体进行相对位置偏差量的修正，因此能够修正重叠区域整体的位置偏差量，另一方面，存在以下的问题，即难以高精度地修正局部区域的位置偏差量、特别是包含各种图像畸变的局部区域的位置偏差量。
本发明鉴于上述问题，其目的在于：提供一种电荷粒子显微镜装置，其在生成的广角图像中残存局部的位置偏差的情况下，也能够促使进行用于修正局部位置偏差的用户输入，并根据该用户输入，重新生成在重叠区域的局部区域中位置偏差量也小的广角图像。
解决问题的方案
本申请包括解决上述问题的至少一部分的多个办法，但如果列举其例子，则如下所示。解决上述问题的本发明的一个实施例的电荷粒子显微镜装置具备电荷粒子显微镜、图像处理部，上述电荷粒子显微镜维持相邻的拍摄图像重叠的区域即重叠区域并拍摄多张拍摄图像，上述图像处理部在上述重叠区域中将对应点对设定在上述相邻的拍摄图像之间，对每个上述拍摄图像设定规定的限制条件，根据上述对应点对和上述限制条件，计算上述拍摄图像之间的相对位置偏差量，根据计算出的上述位置偏差量，修正上述拍摄图像之间的相对位置偏差并连接起来，由此生成一张广角图像，在上述重叠区域中设定好的多个局部区域中计算拍摄图像的连接的可靠度，向用户通知上述可靠度低的上述局部区域或包含上述局部区域的重叠区域、上述设定好的对应点对和上述限制条件。
发明效果
根据本发明的电荷粒子显微镜装置，在生成的广角图像中残存有局部的位置偏差的情况下，也能够促使进行用于修正局部位置偏差的用户输入，并根据该用户输入，重新生成在重叠区域的局部区域中位置偏差量也小的广角图像。
附图说明
图1是表示实现本发明的第一实施方式的电荷粒子显微镜装置的扫描型电子显微镜装置的概要结构的一个例子的图。
图2是表示本发明的第一实施方式的扫描型电子显微镜装置的功能模块的一个例子的图。
图3是表示本发明的第一实施方式的广角图像生成处理的一个例子的流程图。
图4A是表示设定的广角区域和广角图像的一个例子的图。图4B是表示构成图4A的广角图像的各拍摄图像的拍摄区域、对每个拍摄图像设定的重叠区域的一个例子的图。
图5是表示本发明的第一实施方式的步骤S006的详细处理的流程图。
图6A是表示设定了局部区域的广角图像的一部分的图。图6B是表示具有包含图6A的局部区域的重叠区域的拍摄图像的对的图。图6C是表示在可靠度低的局部区域中显示出图标的广角图像的一部分的图。
图7是表示本发明的第一实施方式的步骤S007的详细处理的流程图。
图8A和图8B是显示出表示连接的可靠度低的图标的广角图像的简略图。
图9是表示本发明的第一实施方式的步骤S008的详细处理的流程图。
图10A是受理对应点对的变更的GUI的画面例子。图10B是表示变更后的对应点对的图。
图11A是表示应用最优化了的变换矩阵之前的拍摄图像的图。图11B是表示应用最优化了的变换矩阵之后的拍摄图像的图。
图12是表示本发明的第一实施方式的经由步骤S011进行的步骤S006的详细的流程图。
图13是表示本发明的第一实施方式的经由步骤S011进行的步骤S008的详细的流程图。
图14是表示本发明的第二实施方式的步骤S006的详细的流程图。
图15A是表示设定了局部区域的广角图像的一部分的图。图15B是表示具有包含图15A的局部区域的重叠区域的拍摄图像的对的图。图15C是示出了显示出反映了可靠度和构造信息的图标的广角图像的一部分的图。
图16是表示本发明的第二实施方式的步骤S007的详细处理的流程图。
图17是本发明的第二实施方式的显示出反映了构造信息的图标的广角图像的简略图。
图18是表示本发明的第二实施方式的显示对应点对的候选并受理变更的情况下的GUI的一个例子的图。
具体实施方式
以下，使用附图说明本发明的各实施方式。
[第一实施方式]
图1是表示实现本实施方式的电荷粒子显微镜装置的扫描型电子显微镜装置100的概要结构的一个例子的图。如图示那样，扫描型电子显微镜装置100具备扫描型电子显微镜10、运算装置20、输入装置30、输出装置40、存储装置50。
扫描型电子显微镜10是以下这样的显微镜，其使通过电子枪11产生的电子束12通过电容透镜13、物镜14，由此使其汇聚到样本15的表面，通过检测器16检测从样本15释放的二次电子等。扫描型电子显微镜10也可以具备多个检测器，例如也可以如检测电子的检测器16和检测电磁波的检测器那样，组合检测相互不同种类的粒子的检测器。另外，检测器也可以是只检测能量、自旋方向为特定的范围内的粒子的检测器。另外，检测器也可以如二次电荷粒子检测器和后方散射电荷粒子检测器那样是检测相互不同性质的粒子的检测器。另外，也可以在不同的位置配置检测相同性质的粒子的多个检测器。在具备多个检测器16的情况下，扫描型电子显微镜10能够通过一次拍摄取得多个图像。
另外，扫描型电子显微镜10通过使工作台17移动，而取得放置在工作台上的样本15的任意位置的图像。另外，扫描型电子显微镜10使用射束偏向器18二维地改变电子束(电荷粒子束)12的方向，由此通过电子束12扫描(scan)样本15。另外，扫描型电子显微镜10维持相邻的拍摄图像重叠的区域即重叠区域并拍摄多张拍摄图像。
运算装置20是进行扫描型电子显微镜10的控制、以及使用由扫描型电子显微镜10拍摄到的拍摄图像生成广角图像的装置。具体地说，运算装置20根据经由输入装置30从用户受理的拍摄条件等输入信息，控制扫描型电子显微镜10。另外，运算装置20使用由检测器16检测出的信息，生成样本的拍摄图像和将拍摄图像连接起来所得的广角图像。
这样的运算装置20具备进行各种运算处理的CPU(Central Processing Unit，中央处理单元)、作为主存储装置的RAM(Random Access Memory，随机存取存储器)、ROM(ReadOnly Memory，只读存储器)等存储器装置。
输入装置30例如是触摸屏、数字键等受理来自用户的指示输入的装置。输出装置40例如是显示器等显示图形信息的装置。存储装置50例如是HDD(Hard Disk Drive，硬盘驱动器)、非易失性存储卡等至少能够读写的存储介质。
图2是表示扫描型电子显微镜装置100的功能模块的一个例子的图。扫描型电子显微镜装置100具备运算部101、存储部102。另外，运算部101具备输入受理部111、输出部112、控制部113、处理部114、图像处理部115。
输入受理部111是受理各种信息的输入的功能部。具体地说，输入受理部111经由输入装置30从用户受理拍摄条件、拍摄图像、以及广角图像的生成相关的指示输入。
输出部112是生成构成输出装置40的显示画面的画面信息的功能部。具体地说，输出部112生成请求输出到输出装置40的规定的画面信息(例如广角图像、规定的画面信息等)，将其显示到输出装置40。
控制部113进行扫描型电子显微镜10的控制、各功能部的控制。具体地说，控制部113对施加到扫描型电子显微镜10的电子枪11的电压、电容透镜13和物镜14的焦点位置、工作台17的位置、射束偏向器18的偏向程度等进行规定的控制。另外，控制部113对输入受理部111、输出部112、处理部114、图像处理部115的这些功能部进行控制，使其在适当的定时进行各种处理。
处理部114是进行扫描型电子显微镜10的各种处理的功能部。例如，处理部114进行使电子束12的焦点对准样本的表面所需要的自动聚焦相关的处理等各种处理。
图像处理部115是生成拍摄图像和将拍摄图像连接起来所得的广角图像的功能部。如图示那样，图像处理部115具备区域设定部116、生成要件设定部117、最优化部118、图像生成部119、可靠度计算部120、可靠度显示部121、生成要件调整部122。
区域设定部116是设定各种区域的功能部。具体地说，区域设定部116设定广角图像的整体区域即广角区域、拍摄图像的拍摄区域、以及在相邻的拍摄图像之间重叠的重叠区域。
生成要件设定部117是设定作为广角图像的生成要件的对应点对和限制条件的功能部。在此，对应点对例如是指在相邻的拍摄图像之间特征量类似的特征点的对。另外，限制条件是指在拍摄图像、拍摄图像的局部区域中允许或修正的图像畸变的模型，通过将拍摄图像投影到广角图像坐标的变换矩阵来进行表示。
最优化部118是对将拍摄图像投影到广角图像坐标的变换矩阵进行最优化的功能部。具体地说，最优化部118对变换矩阵的平行移动分量、旋转分量、倍率分量、以及畸变分量等各分量、仿射变换矩阵或单应性变换矩阵进行最优化。
图像生成部119是生成拍摄图像和广角图像的功能部。具体地说，图像生成部119使用从扫描型电子显微镜10取得的图像信息，生成对象样本15的拍摄图像。另外，图像生成部119使用拍摄图像和最优化后的变换矩阵，生成广角图像。
可靠度计算部120是计算拍摄图像的连接的可靠度的功能部。具体地说，可靠度计算部120在重叠区域中设定规定个数(例如3个)的局部区域，在该局部区域中计算拍摄图像的连接的可靠度。
可靠度显示部121是可视化地显示可靠度的功能部。具体地说，可靠度显示部121根据可靠度的大小等将规定的图标显示到对应的局部区域。
生成要件调整部122是进行作为广角图像的生成要件的对应点对和限制条件的变更的功能部。具体地说，生成要件调整部122经由输出部112在GUI(Graphical UserInterface，图形用户界面)上显示当前设定的对应点对、限制条件，并受理来自用户的变更。另外，生成要件调整部122设定经由输入受理部111从用户受理的变更后的对应点对和限制条件。
存储部102是存储各种信息的功能部。具体地说，存储部102存储拍摄图像131、对应点对132、限制条件133、最优化后的变换矩阵134、以及各种参数135。
此外，通过使运算装置20的CPU执行处理的程序来实现扫描型电子显微镜10的运算部101具备的各功能部。这些程序存储在ROM或存储装置50中，在执行时装载到RAM上，通过CPU执行。另外，存储部102既可以通过RAM或ROM或存储装置50来实现，也可以通过它们的组合来实现。
另外，为了容易理解本实施方式的扫描型电子显微镜装置100的功能，而根据主要的处理内容对各功能模块进行了分类。因此，各功能的分类的方法、其名称并不限制本发明。另外，也可以根据处理内容将扫描型电子显微镜装置100的各结构分类为更多的结构要素。另外，还可以进行分类使得一个结构要素执行更多的处理。
另外，也可以通过安装在计算机中的硬件(ASIC这样的集成电路等)来构筑各功能部的全部或一部分。另外，各功能部的处理既可以通过一个硬件执行，也可以通过多个硬件执行。
[动作的说明]
图3是表示通过扫描型电子显微镜装置100执行的广角图像生成处理的一个例子的流程图。如果输入受理部111受理了来自用户的执行指示，则开始本处理。此外，假设预先设定了拍摄条件、在以下的处理中使用的阈值等作为参数信息。
如果广角图像生成处理开始，则区域设定部116设定广角区域、拍摄区域、以及重叠区域(步骤S001)。具体地说，区域设定部116经由输入受理部111由用户受理确定各区域的大小的信息的输入。另外，区域设定部116根据用户的输入信息，设定广角区域、拍摄区域、以及重叠区域。
图4A是表示设定的广角区域200和广角图像201的一个例子的图。图4B是表示构成图4A的广角图像201的各拍摄图像211～222的拍摄区域、对每个拍摄图像设定的重叠区域的一个例子的图。图4A所示的广角图像201是通过在重叠区域中重叠的方式将拍摄图4B所示的拍摄区域而得的12张拍摄图像211～222合成生成的图像。通过图4B的虚线所示的边界线划分的区域表示重叠区域。例如，在拍摄图像211中，夹在边界线231和拍摄区域的右端232之间的区域是在与拍摄图像212之间重叠的重叠区域。另外，在拍摄图像211中，夹在边界线233和拍摄区域的下端234之间的区域是在与拍摄图像215之间重叠的重叠区域。
返回图3进行说明。接着，控制部113控制扫描型电子显微镜10，拍摄所设定的拍摄区域(步骤S002)。例如，控制部113通过控制扫描型电子显微镜10使得通过电子束12高速地进行拍摄区域的扫描，由此取得同一视野的拍摄区域中的多个图像信息。另外，图像生成部119通过对这些图像信息进行累计(平均)，生成该拍摄区域的拍摄图像。此外，拍摄区域的拍摄方法并不限于此，控制部113也可以通过控制扫描型电子显微镜10使得低速地进行扫描，而取得各拍摄区域的图像信息。在该情况下，图像生成部119使用所取得的图像信息，生成各拍摄区域的拍摄图像。
此外，拍摄区域的拍摄方法既可以组合上述拍摄方法，例如也可以将漂移修正等图像处理与上述拍摄方法组合。
接着，生成要件设定部117设定对应点对和限制条件(步骤S003)。具体地说，生成要件设定部117利用SIFT(Scale Invariant Feauture Transform：尺度不变特征变换)设定对应点对。SIFT是以下的方法，即，进行拍摄图像的特征点提取和特征量记述，根据特征量的差分量等，计算拍摄图像之间的特征点的类似度，使类似度比用户设定的规定的阈值高的特征点作为对而对应起来。此外，对应的多个对既可以直接设定为对应点对，也可以只将特征量的类似度高的对设定为对应点对。另外，对应点对的设定并不限于上述方法，也可以使用其他的方法。
另外，生成要件设定部117设定限制条件。限制条件用将拍摄图像投影到广角图像坐标的变换矩阵表示，表示拍摄图像的位置偏差修正量。例如，在希望考虑平行移动、旋转、倍率、歪斜畸变作为拍摄图像的位置偏差修正量的情况下，对限制条件使用仿射变换矩阵。另外，在希望考虑更复杂的图像畸变的情况下，对限制条件使用单应性变换矩阵。生成要件设定部117将设定的对应点对和限制条件存储到存储部102中。
此外，在步骤S003中，生成要件设定部117对每个拍摄图像，将变换矩阵的平行移动分量设定为限制条件。将平行移动分量作为限制条件是因为考虑到广角图像的生成效率。在广角图像的生成中，有时进行1万张单位的拍摄图像的合成。如后述那样，在广角图像的生成时，进行作为限制条件的变换矩阵的最优化，但在从初次的生成时开始就对包含变换矩阵的其他分量(例如旋转分量、畸变分量等)的仿射变换矩阵等的整体进行最优化的情况下，处理会花费大量的时间，广角图像的生成效率低下。因此，在本实施方式中，在广角图像的初次的生成时，只将变换矩阵的平行移动分量设定为限制条件。
此外，生成要件设定部117也可以设定变换矩阵的旋转分量、倍率分量、以及畸变分量中的任意一个。
接着，最优化部118使用对应点对，对针对每个拍摄图像设定的限制条件、即将拍摄图像投影到广角图像坐标上的变换矩阵进行最优化(步骤S004)。具体地说，最优化部118使用对应点对分别所属的拍摄图像的变换矩阵(在本例子中，为平行移动分量)，计算将各拍摄图像投影到广角图像后的点之间的距离的平方，将取得全部的对应点对的总和的值设定为目标函数。另外，最优化部118通过使该目标函数最小化，来计算最优化的变换矩阵。此外，作为求解目标函数的最小问题的方法，例如可以使用莱文贝格-马夸特(levenberg-marquardt)法。
接着，图像生成部119生成广角图像(步骤S005)。具体地说，图像生成部119使用最优化后的变换矩阵，将拍摄图像投影到广角图像坐标，在相邻的拍摄图像之间使重叠区域重叠地进行合成，由此生成广角图像。此外，拍摄图像的合成方法例如既可以对多个拍摄图像进行平均合成，也可以根据相对于拍摄图像的中心的距离来对拍摄图像进行加权合成。
接着，可靠度计算部120在对重叠区域设定的局部区域中，计算拍摄图像的连接的可靠度(步骤S006)。在此，可靠度是指对由于对应点对、限制条件的设定的失败、拍摄图像的图像畸变、以及拍摄图像的构造信息等原因而导致拍摄图像的连接失败的可能性进行定量化所得的结果。
图5是表示步骤S006的详细处理的流程图。在步骤S101中，可靠度计算部120对重叠区域设定规定个数(例如3个)的局部区域。此外，局部区域的大小和数量既可以在重叠区域的设定时预先从用户受理，也可以由可靠度计算部120根据重叠区域的大小来设定。
图6A是表示设定了局部区域的广角图像的一部分的图。图6B是表示具有包含图6A的局部区域的重叠区域的拍摄图像的对的图。如图示那样，图6A的图像300是对图6B的拍摄图像310、320进行平均合成所得的图像。可靠度计算部120通过步骤S101的处理，对被图像300的边界301、302夹着的重叠区域303，设定3个局部区域304、305、以及306。
此外，在局部区域304中有图像畸变。这是由于在与局部区域304对应的拍摄图像320的区域321中产生的图像畸变。具有局部区域304的图像300是使用最优化后的变换矩阵(在该情况下，为平行移动分量)生成的广角图像的一部分，但即使通过该变换矩阵，也没有消除畸变，星的图案变得重影。
接着，可靠度计算部120针对每个局部区域，从各拍摄图像中提取对应的区域(步骤S102)。具体地说，可靠度计算部120从拍摄图像310和320中分别提取与局部区域304～306分别对应的区域311～313和区域321～323。
接着，可靠度计算部120计算局部区域的相关值(步骤S103)。具体地说，可靠度计算部120针对提取出的区域311和321、区域312和322、以及区域313和323，分别计算相关值。更具体地说，可靠度计算部120将与局部区域304对应的区域311和321的相关值作为相关值1，将与局部区域305对应的区域312和322的相关值作为相关值2，将与局部区域306对应的区域313和323的相关值作为相关值3，而计算各个相关值。在此，在区域321中有图像畸变，因此计算出的相关值1～3的大小关系为相关值1<相关值2≈相关值3。
接着，可靠度计算部120评价相关值，确定局部区域的可靠度(步骤S104)。具体地说，可靠度计算部120对相关值的大小进行比较，判定为在与比其他相关值小的相关值1对应的局部区域304中有图像畸变。另外，可靠度计算部120进行用于使相关值1比其他相关值低的加权。另外，可靠度计算部120例如将每个相关值乘以规定的系数，来计算可靠度。此外，可靠度计算部120也可以对相关值进行阈值处理。另外，可靠度计算部120也可以根据各局部区域的可靠度，计算重叠区域整体的可靠度。
可靠度计算部120如果针对广角图像所包含的全部重叠区域进行步骤S101～步骤S104的处理，则结束本流程，将处理转移到步骤S007。
返回到图3进行说明。在步骤S007中，可靠度显示部121显示拍摄图像的连接的可靠度低的局部区域。图7是表示步骤S007的详细处理的流程图。在步骤S201中，可靠度显示部121根据可靠度的大小，决定图标的种类、显示颜色、以及显示的浓度。
接着，可靠度显示部121针对全部局部区域(例如标识编号i＝1～N)，重复执行步骤S202和步骤S203的处理。在步骤S202中，可靠度显示部121判定可靠度是否为规定的阈值以下。该阈值既可以预先从用户受理，也可以使用全部局部区域的可靠度的平均值。
然后，在判定为局部区域的可靠度不为规定的阈值以下的情况下(在步骤S202中否)，可靠度显示部121对下一个局部区域进行步骤S202的处理。另一方面，在判定为对应的局部区域的可靠度为规定的阈值以下的情况下(在步骤S202中是)，可靠度显示部121将根据可靠度的大小决定的图标显示到对应的局部区域中(步骤S203)。
图6C是表示在可靠度低的局部区域中显示了图标的广角图像的一部分的图。如上述那样，在局部区域304中有图像畸变，因此可靠度为规定的阈值以下。因此，可靠度显示部121针对局部区域304，显示在步骤S201中确定的图标330。
图8A和图8B是显示出表示连接的可靠度低的图标的广角图像的简略图。如图示那样，通过步骤S201～步骤S203的处理，在连接的可靠度低于规定的阈值的广角图像400的局部区域中，显示与可靠度的大小对应的种类、颜色、以及浓度的图标401。另外，图8B是使用比图8A大的阈值进行步骤S202的判定的广角图像的简略图。因此，在图8B的广角图像410中，显示出比图8A的广角图像多的图标411。
此外，在针对重叠区域计算出拍摄图像的连接的可靠度的情况下，也可以在可靠度比规定的阈值小的重叠区域中显示图标。
通过这样的处理，能够针对拍摄图像的连接的可靠度低的局部区域，显示表示可靠度低的图标。由此，用户能够在视觉上掌握可靠度低的局部区域。
可靠度显示部121如果针对全部局部区域进行了步骤S202、或步骤S202和步骤S203的处理，则结束本流程，转移到步骤S008的处理。
返回到图3进行说明。在步骤S008中，生成要件调整部122受理可靠度低的局部区域的对应点对和限制条件的变更。图9是表示步骤S008的详细处理的流程图。在步骤S301中，生成要件调整部122根据用户输入，调整有图标显示的局部区域的个数。具体地说，生成要件调整部122经由输入受理部111从用户受理显示的图标个数的增减。
例如，如果从用户受理了增加图标个数的指示输入，则生成要件调整部122设定比在步骤S202的判定中使用的阈值大的规定的阈值。另外，生成要件调整部122确定可靠度比设定的阈值小的局部区域，在所确定的局部区域中，经由输出部112显示规定的图标。另一方面，如果从用户受理减少图标个数的指示输入，则生成要件调整部122设定比在步骤S202的判定中使用的阈值小的规定的阈值。另外，生成要件调整部122确定可靠度比设定的阈值小的局部区域，经由输出部112在所确定的局部区域中显示规定的图标。
由此，用户能够调整显示图标的局部区域的个数。例如在希望减少用于删除、追加对应点对的时间的情况下，用户可以减少图标的显示个数。另一方面，在希望生成位置偏差量少的广角图像的情况下，用户可以增多图标的显示个数。
接着，生成要件调整部122针对显示了图标的全部重叠区域，重复执行以下的步骤S302～步骤S308的处理。在步骤S302中，生成要件调整部122确定显示了图标的局部区域、具有包含该局部区域的重叠区域的相邻的2个拍摄图像的对。
接着，生成要件调整部122对显示有图标的局部区域的对应点对和限制条件进行显示(步骤S303)。具体地说，生成要件调整部122确定所确定的拍摄图像的重叠区域所包含的局部区域。另外，生成要件调整部122确定对所确定的局部区域设定的对应点对、对拍摄图像设定的限制条件。另外，生成要件调整部122将所确定的对应点对和限制条件、包含该局部区域的广角图像的一部分显示到GUI上，经由输入受理部111从用户受理对应点对和限制条件的变更。
接着，生成要件调整部122判定是否受理了对应点对的变更(步骤S304)。具体地说，生成要件调整部122判定是否经由输入受理部111从用户受理了错误的对应点对的删除或新的对应点对的追加。
图10A是受理对应点对的变更的GUI的画面例子。如图示那样，在GUI500上，显示有受理变更的对应点对501、502和设定了对应点对的拍摄图像503、504、对该拍摄图像进行平均合成所得的广角图像的一部分505。此外，对应点对502是正确设定的对应点对，对应点对501是错误地设定的对应点对。
图10B是示出了变更后的对应点对的图。用户确认显示在GUI500上的对应点对，经由输入装置30删除错误设定的对应点对501。另外，用户在删除了对应点对的情况下、或起初就在局部区域中没有设定对应点对的情况下，在GUI500上追加正确的对应点对510。
生成要件调整部122在判定为受理了对应点对的变更的情况下(在步骤S304中是)，设定变更后的对应点对(步骤S305)，将处理转移到步骤S306。另一方面，在判定为没有受理对应点对的变更的情况下(在步骤S304中否)，生成要件调整部122将处理转移到步骤S306。
在步骤S306中，生成要件调整部122判定是否受理了限制条件的变更。具体地说，生成要件调整部122针对在步骤S302中确定的拍摄图像的对，判定是否从用户受理了从当前设定的变换矩阵(在当前时刻，为变换矩阵的平行移动分量)向仿射变换矩阵(包括变换矩阵的平行移动分量、旋转分量、倍率分量、以及畸变分量的全部分量)、或向单应性变换矩阵的变更。此外，生成要件调整部122也可以受理追加变换矩阵的旋转分量、倍率分量、以及畸变分量中的至少任意一个的变更。
用户在变更限制条件的情况下，经由输入装置30，例如以文本形式将显示在GUI上的限制条件变更为仿射变换矩阵或单应性变换矩阵。
在判定为受理了限制条件的变更的情况下(在步骤S306中是)，生成要件调整部122设定变更后的限制条件(步骤S307)，将处理转移到步骤S308。另一方面，在判定为没有受理限制条件的变更的情况下(在步骤S306中否)，生成要件调整部122将处理转移到步骤S308。
在步骤S308中，生成要件调整部122判定是否针对显示了图标的全部重叠区域结束了步骤S302～307的处理。然后，在判定为针对该全部重叠区域没有结束处理的情况下(在步骤S308中否)，生成要件调整部122使处理返回到步骤S302，针对未处理的重叠区域进行处理。另一方面，在判定为针对全部的重叠区域结束了处理的情况下，生成要件调整部122结束本流程，转移到步骤S009的处理。
返回到图3进行说明。在步骤S009中，图像生成部119再次对将拍摄图像投影到广角图像的变换矩阵进行最优化。具体地说，图像生成部119使用变更后的对应点对和限制条件，通过与步骤S004同样的方法，对变换矩阵进行最优化。
接着，图像生成部119临时生成广角图像并进行显示(步骤S010)。具体地说，图像生成部119与步骤S005同样地使用最优化后的变换矩阵，将拍摄图像投影到广角图像坐标，在相邻的拍摄图像之间使重叠区域重叠并进行合成，由此生成广角图像。
图11A是表示应用最优化后的变换矩阵之前的拍摄图像的图。图11B是表示应用最优化后的变换矩阵之后的拍摄图像的图。如图示那样，在应用最优化后的变换矩阵之前的拍摄图601、602中，在拍摄图像的全体中产生了畸变。对此，在对变更后的限制条件的变换矩阵进行最优化并使用它生成的广角图像的一部分即拍摄图像610、611中，修正了图像全体的畸变。但是，如图11B所示，即使使用最优化后的变换矩阵修正拍摄图像全体的畸变，在区域612中还残留有畸变。
接着，输入受理部111判定是否从用户受理了本流程的结束指示(步骤S011)。然后，在判定为受理了该指示的情况下(在步骤S011中是)，输入受理部111将在步骤S010中临时生成的广角图像保存到存储部102中(步骤S012)，结束本流程。另一方面，在判定为没有从用户受理本流程的结束指示的情况下(在步骤S011中否)，输入受理部111将处理转移到步骤S006。
在经由步骤S011进行的步骤S006的处理中，可靠度计算部120确定所设定的限制条件。然后，在对限制条件设定了变换矩阵的平行移动分量的情况下，可靠度计算部120依照图5的流程进行可靠度的计算。此外，依照图5的流程的处理与上述同样，因此省略说明。另一方面，在对限制条件设定了仿射变换矩阵或单应性变换矩阵的情况下，可靠度计算部120依照图12的流程，进行可靠度的计算。
图12是表示经由步骤S011进行的步骤S006的详细内容的流程图。此外，步骤S401～步骤S403的处理与上述的步骤S101～步骤S103同样，因此省略说明。
如果在步骤S403中计算出局部区域的相关值，则可靠度计算部120综合地对相关值和变换矩阵进行评价，计算局部区域的可靠度(步骤S404)。具体地说，可靠度计算部120计算所设定的变换矩阵(在该情况下，为仿射变换矩阵或单应性变换矩阵)的平行移动分量、旋转分量、倍率分量、以及畸变分量的修正程度。
更具体地说，可靠度计算部120针对在步骤S009中最优化了的变换矩阵的各分量，计算最优化前与最优化后的差分作为变换矩阵的修正程度。另外，在各分量的修正程度比规定的阈值大的情况下，可靠度计算部120进行用于进一步降低各局部区域的相关值的加权，计算为各局部区域的可靠度。
在使用最优化后的变换矩阵高精度地连接拍摄图像的情况下，变换矩阵的各分量的修正程度大就是使拍摄图像发生较大变形并连接起来。可以认为这样的拍摄图像的特性不好，因此需要作为精度存在风险的区域而向用户通知。因此，可靠度计算部120针对变换矩阵的各分量的修正程度大的局部区域，进行评价使得可靠度低。
如果针对全部的局部区域进行了步骤S404的处理，则可靠度计算部120结束本流程，将处理转移到步骤S007。此外，步骤S007与上述同样，因此省略说明。
接着，在步骤S008中，生成要件调整部122再次受理可靠度低的局部区域的对应点对和限制条件的变更。图13是表示经由步骤S011进行的步骤S008的详细内容的流程图。此外，步骤S501～步骤S507的处理与上述的步骤S301～步骤S306相同，因此省略说明。
在步骤S508中，生成要件调整部122判定是否受理了对局部区域的限制条件的设定。例如，如图11所示，即使使用最优化后的变换矩阵修正拍摄图像全体的畸变，如区域612所示那样，有时也残留有局部的畸变。在这样的情况下，用户在GUI上针对有畸变的局部区域设定限制条件(例如仿射变换矩阵或单应性变换矩阵)。此外，生成要件调整部122也可以受理对局部区域设定变换矩阵的旋转分量、倍率分量、以及畸变分量中的至少任意一个的用户输入。
通过这样对局部区域设定限制条件，例如能够修正正确的对应点对、即使通过仿射变换矩阵或单应性变换矩阵也没有完全修正的局部畸变、位置偏差。
在判定为受理了对局部区域的限制条件的设定的情况下(在步骤S508中是)，生成要件调整部122对局部区域设定限制条件(步骤S509)，将处理转移到步骤S510。另一方面，在判定为没有受理对局部区域的限制条件的设定的情况下(在步骤S508中否)，生成要件调整部122将处理转移到步骤S510。
在步骤S510中，生成要件调整部122判定是否针对显示了图标的全部重叠区域结束了步骤S502～509的处理。然后，在判定为针对全部的重叠区域没有结束处理的情况下(在步骤S510中否)，生成要件调整部122使处理返回到步骤S502，针对未处理的重叠区域进行同样的处理。另一方面，在判定为针对全部的重叠区域结束了处理的情况下，生成要件调整部122结束本流程，转移到步骤S509的处理。
返回到图3进行说明。在步骤S009中，图像生成部119与上述同样地，再次对将拍摄图像投影到广角图像的变换矩阵进行最优化。具体地说，图像生成部119使用变更后的对应点对和限制条件，通过与步骤S004同样的方法，对变换矩阵进行最优化。此外，在步骤S509中对局部区域设定了限制条件的情况下，组合该限制条件作为目标函数的变量，由此进行变换矩阵的最优化。
另外，与上述同样地，图像生成部119临时生成广角图像并进行显示(步骤S010)。另外，输入受理部111判定是否受理了本流程的结束指示(步骤S011)。然后，在判定为没有受理结束指示的情况下(在步骤S011中否)，输入受理部111将处理转移到步骤S006。另一方面，在判定为受理了结束指示的情况下(在步骤S011中是)，输入受理部111将在步骤S010中临时生成的广角图像保存到存储部102中(步骤S012)，结束本流程。
以上说明了本实施方式的广角图像生成处理。根据这样的扫描型电子显微镜装置，即使在生成的广角图像中残存局部的位置偏差的情况下，也能够促使进行用于修正局部位置偏差的用户输入，并根据该用户输入，重新生成在重叠区域的局部区域中位置偏差量也小的广角图像。
[第二实施方式]
接着，说明本发明的第二实施方式。本实施方式的电荷粒子显微镜装置使用拍摄图像的构造信息计算局部区域的拍摄图像的连接的可靠度，并通过图标显示向用户通知。此外，对于与第一实施方式同样的结构和处理，附加相同的附图标记并省略说明。
扫描型电子显微镜装置100执行图3所示的广角图像生成处理。此外，步骤S001～步骤S005、以及步骤S008～步骤S011的处理与第一实施方式同样，因此省略说明。
图14是表示第二实施方式的步骤S006的详细的流程图。此外，步骤S601和步骤S602与上述的步骤S101和步骤S102同样，因此省略说明。在步骤S603中，可靠度计算部120与上述步骤S103同样地计算局部区域的相关值。另外，在步骤S604中，可靠度计算部120在步骤S602中提取出的区域和包含其附近的区域之间，计算相关映图。以下，使用图15说明相关值和相关映图的计算。
图15A是表示设定了局部区域的广角图像的一部分的图。图15B是表示具有包含图15A的局部区域的重叠区域的拍摄图像的对的图。如图示那样，图15A的图像700是对图15B的拍摄图像710、720进行平均合成所得的图像。在重叠区域701中，设定有3个局部区域702、703、以及704。
可靠度计算部120从拍摄图像710和720中分别提取区域711和721、区域712和722、区域713和723，作为与局部区域702、703、以及704对应的区域。另外，可靠度计算部120计算提取的区域711和721、区域712和722、区域713和723的相关值。
在此，在与局部区域702对应的区域721中有图像畸变，在局部区域702中，星的图案成为重影。另外，在与局部区域703对应的区域712和722中没有图案。另外，在与局部区域704对应的区域713和723中有重复图案。因此，在将区域711和721的相关值作为相关值1，将区域712和722的相关值作为相关值2，将区域713和723的相关值作为相关值3的情况下，相关值1～3的大小关系为相关值1>相关值2<相关值3。
另外，可靠度计算部120针对区域711和721、区域712和722、区域713和723，计算包含其附近的各区域之间的相关映图。此外，由于在区域712和722中没有图案，因此计算出不出现高的峰值的相关映图。另外，由于在区域713和723中有重复图案，因此计算出出现多个高峰值的相关映图。
返回到图14进行说明。在步骤S605中，可靠度计算部120使用相关映图确定局部区域的构造信息(例如图案等)。具体地说，可靠度计算部120确定在与在相关映图中没有出现高峰值的区域712和722对应的局部区域703中没有图案。另外，可靠度计算部120确定在与在相关映图中出现多个高峰值的区域713和723对应的局部区域704中存在重复图案。
接着，可靠度计算部120综合地评价相关值和构造信息，确定局部区域的可靠度(步骤S606)。具体地说，可靠度计算部120进行用于进一步降低具有难以提取对应点对的图案、即具有“没有图案”、“重复图案”这样的构造信息的局部区域的相关值的加权，作为各局部区域的可靠度来进行计算。另外，可靠度计算部120如果计算出可靠度，则将处理转移到步骤S007。
返回到图3进行说明。在步骤S007中，可靠度显示部121显示拍摄图像的连接的可靠度低的局部区域。图16是表示第二实施方式的步骤S007的处理的详细内容的流程图。在步骤S701中，可靠度显示部121设定与可靠度和构造信息对应的局部区域的图标。具体地说，可靠度显示部121根据可靠度和构造信息的有无，来决定图标的种类及其显示颜色(单色和灰度等级等)。
接着，可靠度显示部121针对全部局部区域(例如i＝1～N)，重复执行步骤S702～步骤S705的处理。在步骤S702中，可靠度显示部121判定可靠度是否为规定的阈值以下。
然后，在判定为局部区域的可靠度不是规定的阈值以下的情况下(在步骤S702中否)，可靠度显示部121针对下一个局部区域，进行步骤S702的处理。另一方面，在判定为对应的局部区域的可靠度是规定的阈值以下的情况下(在步骤S702中是)，可靠度显示部121对该局部区域判定是否有预先从用户受理的规定的构造信息(例如“没有图案”、“重复图案”等)(步骤S703)。
然后，在判定为对局部区域有规定的构造信息的情况下(在步骤S703中是)，可靠度显示部121将在步骤S701中决定的有构造信息的情况下的图标显示到局部区域中(步骤S704)。另一方面，在判定为对局部区域没有规定的构造信息的情况下(在步骤S703中否)，可靠度显示部121将没有构造信息的情况下的规定的图标显示到局部区域中(步骤S705)。
图15C是表示显示出反映了可靠度和构造信息的图标的广角图像的一部分的图。在局部区域702、703、704中，分别显示出根据可靠度和构造信息决定的图标。局部区域703的图标是反映了“没有图案”的构造信息的图标。局部区域704的图标是反映了“重复图案”的构造信息的图标。另外，图17是显示出反映了构造信息的图标的广角图像的简略图。在广角图像800中，显示出与局部区域的构造信息对应的种类的图标801。
通过以上的处理，能够用图标显示拍摄图像的连接的可靠度低的局部区域的构造信息，因此能够在视觉上向用户通知作为降低了连接的可靠度的因素的局部区域的构造信息。
此外，本发明并不限于上述实施方式，例如也可以在步骤S800中，由用户选择变更对应点对和限制条件的局部区域、拍摄图像。
由此，用户不需要针对显示了图标的全部局部区域，研究对应点对、限制条件的变更，因此能够缩短变更工作所耗费的时间。
另外，作为上述实施方式的变形例子，也可以在步骤S008中受理对应点对的变更时，显示追加的对应点对的候选。图18是表示显示对应点对的候选并受理变更的情况下的GUI的一个例子的图。如图示那样，在GUI900上，显示出在步骤S003中设定的对应点对901、成为追加候选的对应点对902、903、904、以及905。生成要件调整部122例如在步骤S003中设定对应点对时，提取成为候选的对应点对，经由输出部112显示到GUI900上。
另外，生成要件调整部122也可以在步骤S008中受理限制条件的变更时，显示追加限制条件的区域候选。生成要件调整部122按照可靠度低的顺序，提取在步骤S006中设定的局部区域中的规定个数(例如1～2个)局部区域，经由输出部112显示到GUI900上。
由此，显示对追加的对应点对的候选、限制条件进行追加的候选区域，因此用户能够在视觉上确认追加的对应点对、限制条件的候选区域，能够高效地进行用于追加的操作。
另外，作为上述实施方式的变形例子，也可以不受理用户输入，而重复进行步骤S006～步骤S011的处理。例如，在步骤S003中设定对应点对时，将成为候选的对应点对存储到存储部102中。另外，在步骤S008中变更与可靠度低的局部区域关联的对应点对时，生成要件调整部122不受理用户输入，而从存储部102中提取当前的对应点对后面的特征量的类似度高的对应点对的候选。另外，生成要件调整部122将提取的对应点对的候选设定为新的对应点对。经由步骤S011，直到没有对应点对的候选、或全部的局部区域的可靠度成为阈值以上为止，重复进行这样的步骤S006～步骤S011的处理。
由此，在对应点对的候选中包含妥当的对应点对的重叠区域中，不经由用户输入地变更对应点对，由此能够缩短用户在对应点对的变更工作中耗费的时间。
另外，本发明并不限于上述实施例，包含各种变形例子。例如为了容易理解地说明本发明而详细说明了上述实施例，并不一定限于具备所说明的全部结构。另外，能够将某实施例的结构的一部分置换为其他实施例的结构，另外也能够向某实施例的结构追加其他实施例的结构。另外，能够对各实施例的结构的一部分，进行其他结构的追加、删除、置换。
另外，在上述说明中，表示出认为是说明上必要的控制线、信息线，并不一定限于在产品上表示出全部的控制线、信息线。实际上，可以考虑将几乎全部的结构相互连接起来。
附图标记说明
100：扫描型电子显微镜装置(电荷粒子显微镜装置)；10：扫描型电子显微镜；20：运算装置；30：输入装置；40：输出装置；50：存储装置；101：运算部；102：存储部；111：输入受理部；112：输出部；113：控制部；114：处理部；115：图像处理部；116：区域设定部；117：生成要件设定部；118：最优化部；119：图像生成部；120：可靠度计算部；121：可靠度显示部；122：生成要件调整部；131：拍摄图像；132：对应点对；133：限制条件；134：最优化后的变换矩阵；135：各种参数。

Claims (10)

1.一种电荷粒子显微镜装置，其具备电荷粒子显微镜、图像处理部，其特征在于，
上述电荷粒子显微镜维持相邻的拍摄图像重叠的区域即重叠区域并拍摄多张拍摄图像，
就上述图像处理部而言，
在上述重叠区域中将对应点对设定在上述相邻的拍摄图像之间，
对每个上述拍摄图像设定规定的限制条件，
根据上述对应点对和上述限制条件，计算上述拍摄图像之间的相对位置偏差量，根据计算出的上述位置偏差量，修正上述拍摄图像之间的相对位置偏差并连接起来，由此生成一张广角图像，
在上述重叠区域中设定的多个局部区域中计算拍摄图像的连接的可靠度，
向用户通知上述可靠度低的上述局部区域或包含上述局部区域的重叠区域、上述设定好的对应点对和上述限制条件，
上述电荷粒子显微镜装置还具备：输入受理部，其受理上述对应点对和上述限制条件的变更，
就上述图像处理部而言，
根据上述可靠度显示，受理上述设定好的对应点对和上述限制条件中的一个以上的上述对应点对和上述限制条件的变更，
设定受理了变更的上述对应点对和上述限制条件，
根据变更后的上述对应点对和上述限制条件，计算拍摄图像之间的相对位置偏差量，根据计算出的上述位置偏差量，修正上述拍摄图像之间的相对位置偏差并连接起来，由此生成一张广角图像。
2.根据权利要求1所述的电荷粒子显微镜装置，其特征在于，
就上述图像处理部而言，
在根据变更后的上述对应点对和上述限制条件生成的上述广角图像的上述重叠区域中设定的上述局部区域中，再次计算上述拍摄图像的连接的可靠度，
向用户通知再次计算出的上述可靠度低的上述局部区域或包含上述局部区域的重叠区域、上述设定好的对应点对和上述限制条件。
3.根据权利要求1所述的电荷粒子显微镜装置，其特征在于，
上述图像处理部根据上述修正后的上述拍摄图像的倍率、旋转、畸变的修正程度中的至少一个，计算上述可靠度。
4.根据权利要求1所述的电荷粒子显微镜装置，其特征在于，
上述电荷粒子显微镜装置还具备：输出部，其生成显示到规定的输出装置的画面信息，
上述图像处理部经由上述输出部，显示受理用户删除上述设定好的对应点对和上述限制条件、或追加新的对应点对和限制条件的画面信息。
5.根据权利要求4所述的电荷粒子显微镜装置，其特征在于，
上述图像处理部经由上述输入受理部，针对上述拍摄图像，受理倍率、旋转、畸变的程度中的至少任意一个的追加作为限制条件的变更。
6.根据权利要求4所述的电荷粒子显微镜装置，其特征在于，
上述图像处理部经由上述输出部，显示成为上述用户追加的新的对应点对的候选的对应点对。
7.根据权利要求1所述的电荷粒子显微镜装置，其特征在于，
上述图像处理部确定上述局部区域的构造信息，根据所确定的上述构造信息，计算上述可靠度。
8.根据权利要求1所述的电荷粒子显微镜装置，其特征在于，
上述图像处理部显示上述可靠度低的因素。
9.根据权利要求8所述的电荷粒子显微镜装置，其特征在于，
上述图像处理部根据上述可靠度和上述可靠度低的因素，使所显示的内容不同。
10.一种电荷粒子显微镜装置的广角图像生成方法，其特征在于，上述电荷粒子显微镜装置进行以下的步骤：
维持相邻的拍摄图像重叠的区域即重叠区域并拍摄多张拍摄图像的步骤；
在上述重叠区域中将对应点对设定在上述相邻的拍摄图像之间的步骤；
对每个上述拍摄图像设定规定的限制条件的步骤；
根据上述对应点对和上述限制条件，计算上述拍摄图像之间的相对位置偏差量，根据计算出的上述位置偏差量，修正上述拍摄图像之间的相对位置偏差并连接起来，由此生成一张广角图像的步骤；
在上述重叠区域中设定的多个局部区域中计算拍摄图像的连接的可靠度的步骤；
向用户通知上述可靠度低的上述局部区域或包含上述局部区域的重叠区域、上述设定好的对应点对和上述限制条件的步骤，
上述广角图像生成方法还进行以下的步骤：
根据上述可靠度显示，受理上述设定好的对应点对和上述限制条件中的一个以上的上述对应点对和上述限制条件的变更的输入受理步骤；
设定受理了变更的上述对应点对和上述限制条件的步骤；
根据变更后的上述对应点对和上述限制条件，计算拍摄图像之间的相对位置偏差量，根据计算出的上述位置偏差量，修正上述拍摄图像之间的相对位置偏差并连接起来，由此生成一张广角图像的步骤。
CN201780094577.5A 2017-09-14 2017-09-14 电荷粒子显微镜装置和广角图像生成方法 Active CN111095351B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2017/033262 WO2019053839A1 (ja) 2017-09-14 2017-09-14 荷電粒子顕微鏡装置および広視野画像生成方法

Publications (2)

Publication Number Publication Date
CN111095351A CN111095351A (zh) 2020-05-01
CN111095351B true CN111095351B (zh) 2023-06-20

Family

ID=65722607

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780094577.5A Active CN111095351B (zh) 2017-09-14 2017-09-14 电荷粒子显微镜装置和广角图像生成方法

Country Status (5)

Country Link
US (1) US11508047B2 (zh)
JP (1) JP6790282B2 (zh)
CN (1) CN111095351B (zh)
DE (1) DE112017007821T5 (zh)
WO (1) WO2019053839A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7240290B2 (ja) * 2019-08-20 2023-03-15 東京瓦斯株式会社 情報処理システム、情報処理装置、および、プログラム
JP7214600B2 (ja) 2019-09-18 2023-01-30 株式会社東芝 光学素子アセンブリ、光学撮像装置、及び、光加工装置
JP2022138269A (ja) 2021-03-10 2022-09-26 株式会社Ｓｃｒｅｅｎホールディングス 撮像方法、位置ずれ量算出方法、プログラムおよび記録媒体ならびに撮像装置
JP2023159649A (ja) 2022-04-20 2023-11-01 株式会社Ｓｃｒｅｅｎホールディングス 画像取得装置および画像取得方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013065332A1 (ja) * 2011-10-31 2013-05-10 オムロン株式会社 画像処理装置および画像処理プログラム記録媒体
CN106019550A (zh) * 2016-07-12 2016-10-12 上海交通大学 用于高速显微扫描的动态对焦装置及对焦跟踪方法
CN106488111A (zh) * 2015-08-31 2017-03-08 富士通株式会社 对焦位置检测装置以及对焦位置检测方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3974964B2 (ja) * 1996-11-08 2007-09-12 オリンパス株式会社 画像処理装置
JP2003087549A (ja) * 2001-09-12 2003-03-20 Sanyo Electric Co Ltd 画像合成装置、画像合成方法、画像合成処理プログラムを記録したコンピュータ読み取り可能な記録媒体
DE102010039652A1 (de) * 2010-08-23 2012-02-23 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Mosaikaufnahmeerzeugung
JP2013058124A (ja) * 2011-09-09 2013-03-28 Sony Corp 情報処理装置、情報処理方法、及びプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013065332A1 (ja) * 2011-10-31 2013-05-10 オムロン株式会社 画像処理装置および画像処理プログラム記録媒体
CN106488111A (zh) * 2015-08-31 2017-03-08 富士通株式会社 对焦位置检测装置以及对焦位置检测方法
CN106019550A (zh) * 2016-07-12 2016-10-12 上海交通大学 用于高速显微扫描的动态对焦装置及对焦跟踪方法

Also Published As

Publication number Publication date
DE112017007821T5 (de) 2020-04-16
JPWO2019053839A1 (ja) 2020-05-28
JP6790282B2 (ja) 2020-11-25
WO2019053839A1 (ja) 2019-03-21
US20200265568A1 (en) 2020-08-20
CN111095351A (zh) 2020-05-01
US11508047B2 (en) 2022-11-22

Similar Documents

Publication Publication Date Title
CN111095351B (zh) 电荷粒子显微镜装置和广角图像生成方法
US9019426B2 (en) Method of generating image data by an image device including a plurality of lenses and apparatus for generating image data
JP4982544B2 (ja) 合成画像形成方法及び画像形成装置
JP2877624B2 (ja) 走査電子顕微鏡の対物レンズアライメント制御装置及び制御方法
US11836906B2 (en) Image processing system and computer program for performing image processing
US20120092482A1 (en) Method and device for creating composite image
JP5603421B2 (ja) 自動収差補正法を備えた荷電粒子線装置
CN110225321B (zh) 梯形校正的训练样本数据获取系统和方法
JP5798424B2 (ja) 荷電粒子ビームの軸合わせ方法および荷電粒子ビーム装置
WO2013133021A1 (ja) 走査型電子顕微鏡の画像処理装置、および、走査方法
JP2008226742A (ja) 画像形成方法、及び電子顕微鏡
JP6770482B2 (ja) 荷電粒子線装置および走査像の歪み補正方法
WO2019152585A2 (en) Orientation determination and mapping by stage rocking electron channeling and imaging reconstruction
WO2015037313A1 (ja) 走査透過電子顕微鏡及びその収差測定方法
US10020162B2 (en) Beam alignment method and electron microscope
JP7144487B2 (ja) 荷電粒子線装置および試料ステージの制御方法
JP5373463B2 (ja) 透過型電子顕微鏡の自動最適合焦点調整装置
WO2021053826A1 (ja) 荷電粒子顕微鏡装置およびその視野調整方法
JP6272153B2 (ja) 荷電粒子線装置、三次元画像の再構成画像処理システム、方法
EP3540756B1 (en) Method of aberration measurement and electron microscope
Bella Imaging distortion correction in panorama stitching in sem
WO2023073969A1 (ja) 観察システム、及びそのアーチファクト補正方法
JP6783071B2 (ja) 荷電粒子線装置
JP2007266017A (ja) 試料像形成方法及び荷電粒子線装置
WO2019049260A1 (ja) 画像処理装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant