CN115190247B - 消像散方法、消像散装置、电子设备和存储介质 - Google Patents
消像散方法、消像散装置、电子设备和存储介质 Download PDFInfo
- Publication number
- CN115190247B CN115190247B CN202211089264.XA CN202211089264A CN115190247B CN 115190247 B CN115190247 B CN 115190247B CN 202211089264 A CN202211089264 A CN 202211089264A CN 115190247 B CN115190247 B CN 115190247B
- Authority
- CN
- China
- Prior art keywords
- image
- astigmatism
- focus
- value
- imaging lens
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 201000009310 astigmatism Diseases 0.000 title claims abstract description 157
- 238000000034 method Methods 0.000 title claims abstract description 87
- 238000003384 imaging method Methods 0.000 claims abstract description 100
- 238000004364 calculation method Methods 0.000 claims description 23
- 230000009194 climbing Effects 0.000 claims description 19
- 230000015654 memory Effects 0.000 claims description 12
- 230000006870 function Effects 0.000 claims description 11
- 238000004590 computer program Methods 0.000 claims description 10
- 238000011156 evaluation Methods 0.000 claims description 9
- 238000012216 screening Methods 0.000 claims description 4
- 238000003379 elimination reaction Methods 0.000 abstract description 6
- 230000008030 elimination Effects 0.000 abstract description 5
- 230000008569 process Effects 0.000 description 21
- 238000012545 processing Methods 0.000 description 6
- 238000010894 electron beam technology Methods 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 239000000463 material Substances 0.000 description 4
- 102100038576 F-box/WD repeat-containing protein 1A Human genes 0.000 description 3
- 101001030691 Homo sapiens F-box/WD repeat-containing protein 1A Proteins 0.000 description 3
- 238000012937 correction Methods 0.000 description 3
- 238000001000 micrograph Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01J—ELECTRIC DISCHARGE TUBES OR DISCHARGE LAMPS
- H01J37/00—Discharge tubes with provision for introducing objects or material to be exposed to the discharge, e.g. for the purpose of examination or processing thereof
- H01J37/26—Electron or ion microscopes; Electron or ion diffraction tubes
- H01J37/261—Details
- H01J37/265—Controlling the tube; circuit arrangements adapted to a particular application not otherwise provided, e.g. bright-field-dark-field illumination
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01J—ELECTRIC DISCHARGE TUBES OR DISCHARGE LAMPS
- H01J37/00—Discharge tubes with provision for introducing objects or material to be exposed to the discharge, e.g. for the purpose of examination or processing thereof
- H01J37/26—Electron or ion microscopes; Electron or ion diffraction tubes
- H01J37/28—Electron or ion microscopes; Electron or ion diffraction tubes with scanning beams
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
Landscapes
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Automatic Focus Adjustment (AREA)
Abstract
本申请公开了一种消像散方法、消像散装置、电子设备和存储介质。消像散方法包括获取当前图像；计算当前图像的离焦程度；基于离焦程度和电子显微镜的成像镜头的当前工作距离，在成像镜头步进移动时计算确定成像镜头的准焦距离；在成像镜头处于准焦距离时，获取准焦图像；计算准焦图像的清晰度；根据准焦图像的清晰度，调整像散值以使像散值达到最小阈值。如此，通过获取当前图像计算离焦程度，根据离焦程度调节电子显微镜的成像镜头至准焦距离以获得准焦图像，然后基于准焦图像的清晰度来调整像散值，以实现对电子显微镜的图像的消像散工作。这样，可以不局限当前图像的聚焦状态，消像散方法的应用范围较广，消像散的效率也较高。
Description
技术领域
本申请涉及电子显微镜图像处理技术领域，尤其涉及一种消像散方法、消像散装置、电子设备和存储介质。
背景技术
随着电子显微镜的广泛应用，扫描电子显微镜的运行状态也随着各种模式的频繁切换而经常变化，尤其是像散的变化，使得消像散的工作成为操作电镜时的必要工作。然而，现有的消像散方法应用范围较窄，对电镜图像有聚焦状态要求以及对放大倍数有严格限定等，或者需要采集大量图片进行拟合曲线，效率低下。
发明内容
本申请实施方式提供一种消像散方法、消像散装置、电子设备和存储介质。
本申请实施方式的消像散方法用于电子显微镜，所述消像散方法包括：
所述消像散方法包括：
获取当前图像；
计算所述当前图像的离焦程度；
基于所述离焦程度和所述电子显微镜的成像镜头的当前工作距离，在所述成像镜头步进移动时计算确定所述成像镜头的准焦距离；
在所述成像镜头处于所述准焦距离时，获取准焦图像；
计算所述准焦图像的清晰度；
根据所述准焦图像的清晰度，调整像散值以使所述像散值达到最小阈值。
如此，通过获取当前图像计算离焦程度，根据离焦程度调节电子显微镜的成像镜头至准焦距离以获得准焦图像，然后基于准焦图像的清晰度来调整像散值，以实现对电子显微镜的图像的消像散工作。这样，可以不局限当前图像的聚焦状态，消像散方法的应用范围较广，消像散的效率也较高。
在某些实施方式中，所述计算所述当前图像的离焦程度，包括：
获取所述电子显微镜采集的常规样品图像；
将所述常规样品图像进行傅里叶变换后，筛选所述常规样品图像后形成拟合椭圆；
基于筛选后的所述常规样品图像的像素总点数、所述拟合椭圆的长轴像素点数和所述拟合椭圆的短轴像素点数确定所述当前图像的离焦程度。
在某些实施方式中，所述当前图像的离焦程度采用以下条件式评价：
其中，Fwd为评价函数，n为筛选后的所述常规样品图像的像素总点数，a为所述拟合椭圆的长轴像素点数，b为所述拟合椭圆的短轴像素点数，Fwd越小，离焦程度越大。
在某些实施方式中，所述基于所述离焦程度和所述电子显微镜的成像镜头的当前工作距离，在所述成像镜头步进移动时计算确定所述成像镜头的准焦距离，包括：
根据所述当前图像的放大倍数和所述当前工作距离，计算成像景深；
根据所述成像景深计算所述成像镜头移动的初始步进值；
以所述当前图像的所述离焦程度作为判断基准，采用迭代爬山法搜索所述成像镜头移动的步进值达到第一停止阈值时，将所述成像镜头的上一次的工作距离作为准焦距离。
在某些实施方式中，所述计算所述准焦图像的清晰度，包括：
将所述准焦图像划分为N*N个图像子块，N为大于1的自然数；
计算每个图像子块的方差σi；
计算所有图像子块的方差σi的均值M和方差σ；
根据所有图像子块的方差σi的均值M和方差σ确定所述准焦图像的清晰度。
在某些实施方式中，所述准焦图像的清晰度采用以下条件式计算：
其中，F为所述准焦图像的清晰度值，M为所有图像子块的方差的均值，σ为所有图像子块的方差。
在某些实施方式中，所述根据所述准焦图像的清晰度，调整像散值以使所述像散值达到最小阈值，包括：
获取像散的初始步进值；
以所述准焦图像的所述清晰度作为判断基准，采用迭代爬山法搜索所述像散的步进值达到第二停止阈值时，完成所述像散值的调整
本申请提供一种消像散装置，所述消像散装置包括：
第一获取模块，用于获取当前图像；
第一计算模块，用于计算所述当前图像的离焦程度；
第二计算模块，用于基于所述离焦程度和所述电子显微镜的成像镜头的当前工作距离，在所述成像镜头步进移动时计算确定所述成像镜头的准焦距离；
第二获取模块，用于在所述成像镜头处于所述准焦距离时，获取准焦图像；
第三计算模块，用于计算所述准焦图像的清晰度；
调整模块，用于根据所述准焦图像的清晰度，调整像散值以使所述像散值达到最小阈值。。
本申请提供一种电子设备，包括存储器和处理器，所述存储器用于存储计算机程序，所述处理器用于执行所述计算机程序以实现以上任一实施方式所述的消像散方法。
本申请实施方式提供一种计算机可执行指令的非易失性计算机可读存储介质，当所述计算机可执行指令被一个或多个处理器执行时，使得所述处理器执行以上任一实施方式所述的消像散方法。
本申请的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。
附图说明
本申请的上述和/或附加的方面和优点从结合下面附图对实施方式的描述中将变得明显和容易理解，其中：
图1是本申请实施方式中的消像散方法的流程示意图；
图2是本申请实施方式中的消像散装置的模块示意图；
图3是本申请实施方式中的电子设备的模块示意图；
图4是本申请实施方式中的消像散方法的流程示意图；
图5是本申请实施方式中的消像散方法的流程示意图；
图6是本申请实施方式中的消像散方法的流程示意图；
图7是本申请实施方式中应用消像散方法的一个实施例的流程示意图。
主要元件符号说明：
电子设备100、处理器11、存储器12、消像散装置200、第一获取模块21、第一计算模块22、第二计算模块23、第二获取模块24、第三计算模块25、调整模块26。
具体实施方式
下面详细描述本申请的实施方式，所述实施方式的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的，仅用于解释本申请，而不能理解为对本申请的限制。
在本申请的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”、“顺时针”、“逆时针”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本申请和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本申请的限制。此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个所述特征。在本申请的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
在本申请的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接或可以相互通讯；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本申请中的具体含义。
在本申请中，除非另有明确的规定和限定，第一特征在第二特征之“上”或之“下”可以包括第一和第二特征直接接触，也可以包括第一和第二特征不是直接接触而是通过它们之间的另外的特征接触。而且，第一特征在第二特征“之上”、“上方”和“上面”包括第一特征在第二特征正上方和斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”包括第一特征在第二特征正下方和斜下方，或仅仅表示第一特征水平高度小于第二特征。
下文的公开提供了许多不同的实施方式或例子用来实现本申请的不同结构。为了简化本申请的公开，下文中对特定例子的部件和设置进行描述。当然，它们仅仅为示例，并且目的不在于限制本申请。此外，本申请可以在不同例子中重复参考数字和/或参考字母，这种重复是为了简化和清楚的目的，其本身不指示所讨论各种实施方式和/或设置之间的关系。此外，本申请提供了的各种特定的工艺和材料的例子，但是本领域普通技术人员可以意识到其他工艺的应用和/或其他材料的使用。
请参阅图1，本申请实施方式提供一种消像散方法，用于电子显微镜，消像散方法包括：
S10：获取当前图像；
S20：计算当前图像的离焦程度；
S30：基于离焦程度和电子显微镜的成像镜头的当前工作距离，在成像镜头步进移动时计算确定成像镜头的准焦距离；
S40：在成像镜头处于准焦距离时，获取准焦图像；
S50：计算准焦图像的清晰度；
S60：根据准焦图像的清晰度，调整像散值以使像散值达到最小阈值。
请参阅图2，本申请实施方式提供一种消像散装置200，消像散装置200包括第一获取模块21、第一计算模块22、第二计算模块23、第二获取模块24、第三计算模块25、调整模块26。其中第一获取模块21用于获取当前图像，第一计算模块22用于计算当前图像的离焦程度，第二计算模块23用于基于离焦程度和电子显微镜的成像镜头的当前工作距离，在成像镜头步进移动时计算确定成像镜头的准焦距离，第二获取模块24用于在成像镜头处于准焦距离时，获取准焦图像，第三计算模块25用于计算准焦图像的清晰度，调整模块26用于根据准焦图像的清晰度，调整像散值以使像散值达到最小阈值。
请参阅图3，本申请实施方式提供一种电子设备100，包括存储器12和处理器11，存储器12用于存储计算机程序，处理器11用于执行计算机程序以用于执行本申请中提供的消像散方法。例如，处理器11用于获取当前图像，及用于计算当前图像的离焦程度，及用于基于离焦程度和电子显微镜的成像镜头的当前工作距离，在成像镜头步进移动时计算确定成像镜头的准焦距离，及用于在成像镜头处于准焦距离时，获取准焦图像，及用于计算准焦图像的清晰度，以及用于根据准焦图像的清晰度，调整像散值以使像散值达到最小阈值。
具体地，电子设备100可以是各种类的计算机。
本申请实施方式的消像散方法中，通过获取当前图像以计算离焦程度，从而根据离焦程度调节电子显微镜的成像镜头至准焦距离以获得准焦图像，然后基于准焦图像的清晰度来调整像散值，以最终实现对电子显微镜的图像的消像散工作。本申请中的消像散方法，不局限获取到的电子显微镜的当前图像的聚焦状态，应用范围较广，消像散的效率也较高。
本申请中的电子显微镜扫描电子显微镜(Scanning Electron Microscope,SEM，简称SEM），是继透射电镜(TEM）之后发展起来的一种电子显微镜。SEM的成像原理和光学显微镜、透射电子显微镜不同，它是以电子束作为照明源，把聚焦得很细的电子束以光栅状扫描方式照射到试样上，通过电子与试样相互作用产生的二次电子、背散射电子等，然后加以收集和处理从而获得微观形貌放大像。
随着扫描电子显微镜的发展，可以通过使用扫描电镜方便地对样品做真实的观察，但是在使用过程中，扫描电镜的运行状态也随着各种模式的频繁切换而经常变化，尤其是像散的变化，可以理解，由于像散会使图像发生无规律的边缘模糊，使得图像质量大大下降，因此消像散、校正像散等成为操作电镜时的必要工作。
目前自动校正像散方法主要有以下三种：1）在欠焦和过焦的状态下观察校正样品的颗粒不具有方向性时，即可认为无像散。2）大量采集不同像散状态下图像，拟合像散调节值与图像像散程度的曲线关系，指导调节像散至最弱。3）通过快速傅里叶变换，观察索恩圆环的圆度，越圆则代表像散越小。
然而，上述三种方案中，方案一需要限定样品且需要限定在欠焦或者过焦状态下才能进行校正；方案二需要采集大量图片进行拟合曲线，效率较低；方案三在图像离焦较远处会失效。
因此，本申请提出一种消像散方法，应用范围广，对放大倍数以及聚焦状态无严格限定。
本申请中，电子设备可以与电子显微镜连接，用于控制、调节电子显微镜以及获取电子显微镜的图像等。在步骤S10-步骤S30中，可以通过计算当前图像的离焦程度，然后基于离焦程度和电子显微镜的成像镜头的当前工作距离，在成像镜头步进移动时计算成像镜头的准焦距离。
可以理解，计算准焦距离是为了指导将电子显微镜的聚焦值调至准焦位置。当图像在准焦位置时，电子束到达样品表面时光斑呈圆形，对图像成像无拉伸变形，因此只需评价图像的清晰度即可将像散调至最小状态。
为了确定准焦距离，需要计算离焦程度来评价获得当前图像时电子显微镜的成像镜头的当前工作距离是否为准焦位置，在一个实施例中，离焦程度可以根据具体的评价函数来评价。在指导调节电子显微镜的聚焦值以至准焦位置时，需要评价函数具有无偏性、单峰性等。
可以理解，调节的过程需要多次获取当前图像，当前图像可以理解为根据成像镜头的步进移动实时更新的，即每次成像镜头步进移动时便再次获取一次当前图像，从而根据变动的当前图像的离焦程度来反映、指导调节过程。
本申请中提供的评价函数可以基于快速傅里叶变换的评价值，调节时可以基于评价函数计算成像镜头步进移动时每次获取的当前图像的离焦程度，最终计算确定成像镜头的准焦距离。在根据成像镜头的步进移动计算多个当前图像的离焦程度，以确定成像镜头的准焦距离时，可以采取迭代爬山法，直至调节步进达到最小阈值，从而获取准焦距离。
具体地，评价函数的具体内容以及具体计算过程在下文进行详细说明。
然后，在步骤S40-步骤S60中，当控制将电子显微镜的成像镜头调至准焦位置，即成像镜头处于准焦距离时，再次获取图像，此时为准焦图像。如上文所述，此时只需评价准焦图像的清晰度，便能够方便地根据清晰度的高低调节像散值，在一个实施例中，图像清晰度越高，像散值越小，直至像散精度达到需求的最高。
特别地，需要说明的是，在一些实施方式中，为了便于更精确的调节像散值，经过步骤S10-步骤S30确定的准焦位置，还可以在后续根据清晰度调节像散值时继续对准焦位置进行微调。在此处做简略说明，例如可以采取迭代爬山法，分别调节像散X，像散Y和聚焦值Wd，分别调节步进达到最小阈值，从而使像散X和像散Y达到最小阈值，聚焦值Wd为准焦位置的准焦距离值。
请参阅图4，在某些实施方式中，计算当前图像的离焦程度（步骤S20），包括：
步骤S21：获取电子显微镜采集的常规样品图像；
步骤S22：将常规样品图像进行傅里叶变换后，筛选常规样品图像后形成拟合椭圆；
步骤S23：基于筛选后的常规样品图像的像素总点数、拟合椭圆的长轴像素点数和拟合椭圆的短轴像素点数确定当前图像的离焦程度。
在某些实施方式中，第一计算模块22用于获取电子显微镜采集的常规样品图像；及用于将常规样品图像进行傅里叶变换后，筛选常规样品图像后形成拟合椭圆；以及用于基于筛选后的常规样品图像的像素总点数、拟合椭圆的长轴像素点数和拟合椭圆的短轴像素点数确定当前图像的离焦程度。
在某些实施方式中，处理器11用于获取电子显微镜采集的常规样品图像；及用于将常规样品图像进行傅里叶变换后，筛选常规样品图像后形成拟合椭圆；以及用于基于筛选后的常规样品图像的像素总点数、拟合椭圆的长轴像素点数和拟合椭圆的短轴像素点数确定当前图像的离焦程度。
如此，计算方式可靠有效，具有无偏性、单峰性等特点；便于通过每次计算得到的当前图像的离焦程度，调节确定成像镜头的准焦距离以调节聚焦值使电子束达到准焦状态。
具体地，当电子显微镜图像在准焦位置时，电子束到达样品表面时光斑呈圆形，对图像成像无拉伸变形。因此在准焦位置时，只需评价图像的清晰度即可将像散调至最小状态。
在图像处于欠焦或过焦状态时，光斑呈椭圆形，成像后特征会变形沿某个角度拉伸，傅里叶变换后经阈值筛选后拟合椭圆，其长轴a和短轴b的比值会较大；而拟合椭圆的面积在准焦点处达到最大，随着欠焦和过焦程度的增大，面积值会减小。因此本申请中可以基于步骤S21-步骤S23，基于筛选后的常规样品图像的像素总点数、拟合椭圆的长轴像素点数和拟合椭圆的短轴像素点数来确定当前图像的离焦程度。
在某些实施方式中，当前图像的离焦程度采用以下条件式评价：
其中，Fwd为评价函数，n为筛选后的常规样品图像的像素总点数，a为拟合椭圆的长轴像素点数，b为拟合椭圆的短轴像素点数，Fwd越小，离焦程度越大。
可以理解，指导聚焦值Wd调节的调节需要评价函数具有无偏性、单峰性，即在准焦位置达到唯一峰值。本申请中评价函数为Fwd。
请参阅图5，在某些实施方式中，基于离焦程度和电子显微镜的成像镜头的当前工作距离，在成像镜头步进移动时计算确定成像镜头的准焦距离（S30），包括：
步骤S31：根据当前图像的放大倍数和当前工作距离，计算成像景深；
步骤S32：根据成像景深计算成像镜头移动的初始步进值；
步骤S33：以当前图像的离焦程度作为判断基准，采用迭代爬山法搜索成像镜头移动的步进值达到第一停止阈值时，将成像镜头的上一次的工作距离作为准焦距离。
在某些实施方式中，第二计算模块23用于根据当前图像的放大倍数和当前工作距离，计算成像景深；及用于根据成像景深计算成像镜头移动的初始步进值；以及用于以当前图像的离焦程度作为判断基准，采用迭代爬山法搜索成像镜头移动的步进值达到第一停止阈值时，将成像镜头的上一次的工作距离作为准焦距离。
在某些实施方式中，处理器11用于根据当前图像的放大倍数和当前工作距离，计算成像景深；及用于根据成像景深计算成像镜头移动的初始步进值；以及用于以当前图像的离焦程度作为判断基准，采用迭代爬山法搜索成像镜头移动的步进值达到第一停止阈值时，将成像镜头的上一次的工作距离作为准焦距离。
如此，通过采取迭代爬山法，实现局部寻优搜索，以在成像镜头的步进值在达到第一停止阈值停止搜索获得成像镜头的准焦距离。
具体地，在步骤S31中，可以根据以下计算式计算成像景深：
df=[(wd+A)*B]/mag……（2）
其中，df为成像景深，Wd为当前工作距离，A、B为标定参数，mag为当前图像放大倍数。
在步骤S32中，初始步进值可以根据以下计算式计算：
WdStep=c*df……（3）
其中WdStep为步进值，初次根据计算式（3）计算出的为初始步进值，c为经验系数，通常可以在0.5-2之间进行取值。
在步骤S33中，在一个实施例中，具体搜索流程可以是，将电子显微镜的成像镜头的当前工作距离记做Wd，控制电子显微镜采集当前图像并获取，计算当前图像的离焦程度，记做Fwd0；
根据步骤S31和步骤S32初始化WdStep后，计算成像镜头在加上步进值后的当前工作距离下所采集的当前图像的离焦程度，即Wd根据计算式Wd=Wd+WdStep计算得到，步进后控制采集并获取得到的当前图像的离焦程度记做Fwd1，然后与Fwd0进行对比。
在Fwd1大于Fwd0的情况下，根据Fwd值越小，离焦程度越大的规则，认为成像镜头的当前工作距离在步进后，获得的图像评分值更高，离焦程度减小。因此可以继续步进，重复上述过程，将步进后的采集所得的当前图像与上一次步进采集的当前图像进行Fwd值比较。
直至出现Fwd1小于Fwd0的情况，根据Fwd值越小，离焦程度越大的规则，认为目前对成像镜头的工作距离的调节处于错误方向，若继续步进，会使得当前图像质量越来越差。
也即是说，步骤S33中，以当前图像的离焦程度作为判断基准，代表的是若当前图像的离焦程度在迭代、步进过程中出现减小的情况时，进入判断步进值是否达到第一停止阈值，也即判断WdStep是否小于Wd_thresh1。
在确认WdStep>Wd_thresh1的情况下，认为当前工作距离Wd还需要继续调节，此时步进值WdStep根据关系式WdStep=-1*WdStep/2，计算得到，当前工作距离Wd根据关系式Wd=Wd+WdStep计算得到。
也即是说，在确认WdStep大于Wd_thresh1的情况下，认为步进值还未达到第一停止阈值，并且由于离焦程度的增大，此时步进搜索的方向与初始步进搜索的方向相反，表现为步进值减半。
直至搜索到WdStep<Wd_thresh1，认为第一阶段的成像镜头的当前工作距离已经初步调节好，也即根据迭代爬山法搜索成像镜头移动的步进值达到了第一停止阈值。此时，将成像镜头的上一次的工作距离作为准焦距离，即准焦距离为回退到上一次步进搜索时的Wd值。即Wd=Wd-WdStep。这样，便最终确认了成像镜头的准焦距离。
在某些实施方式中，计算准焦图像的清晰度（步骤S50），包括：
步骤S51：将准焦图像划分为N*N个图像子块，N为大于1的自然数；
步骤S52：计算每个图像子块的方差σi；
步骤S53：计算所有图像子块的方差σi的均值M和方差σ；
步骤S54：根据所有图像子块的方差σi的均值M和方差σ确定准焦图像的清晰度。
在某些实施方式中，第三计算模块25用于将准焦图像划分为N*N个图像子块，N为大于1的自然数；及用于计算每个图像子块的方差σi；及用于计算所有图像子块的方差σi的均值M和方差σ；以及用于根据所有图像子块的方差σi的均值M和方差σ确定准焦图像的清晰度。
在某些实施方式中，处理器11用于将准焦图像划分为N*N个图像子块，N为大于1的自然数；及用于计算每个图像子块的方差σi；及用于计算所有图像子块的方差σi的均值M和方差σ；以及用于根据所有图像子块的方差σi的均值M和方差σ确定准焦图像的清晰度。
具体地，在经过步骤S10-步骤S40，初步调节好成像镜头的准焦距离后，获取采集的准焦图像，通过步骤S51-S54计算，准焦图像中所有图像子块的方差的均值M，以及所有图像子块的方差σ，然后根据上述两个值确定准焦图像的清晰度。也即使用局部方差的方差与局部方差均值两个量复合描述图像清晰度水平，在实际应用中能准确度量图片清晰度变化趋势，抗噪性与准确性良好。
在某些实施方式中，准焦图像的清晰度采用以下条件式计算：
其中，F为准焦图像的清晰度值，M为所有图像子块的方差的均值，σ为所有图像子块的方差。
如此，如上文所述，在经过步骤S10-步骤S40，初步调节好成像镜头的准焦距离后，获取采集的准焦图像，通过步骤S51-S54计算，准焦图像中所有图像子块的方差的均值M，以及所有图像子块的方差σ，然后根据上述两个值确定准焦图像的清晰度。也即使用局部方差的方差与局部方差均值两个量复合描述图像清晰度水平，在实际应用中能准确度量图片清晰度变化趋势，抗噪性与准确性良好。其中，F越大，图像清晰度越高。
请参阅图6，在某些实施方式中，根据准焦图像的清晰度，调整像散值以使像散值达到最小阈值（步骤S60），包括：
步骤S61：获取像散的初始步进值；
步骤S62：以准焦图像的清晰度作为判断基准，采用迭代爬山法搜索像散的步进值达到第二停止阈值时，完成像散值的调整。
在某些实施方式中，调整模块26用于获取像散的初始步进值；以及用于以准焦图像的清晰度作为判断基准，采用迭代爬山法搜索像散的步进值达到第二停止阈值时，完成像散值的调整。
在某些实施方式中，处理器11用于获取像散的初始步进值；以及用于以准焦图像的清晰度作为判断基准，采用迭代爬山法搜索像散的步进值达到第二停止阈值时，完成像散值的调整。
如此，可以在第二阶段基于第一阶段初步调整至成像镜头的准焦距离后，通过准焦图像的清晰度对像散值进行调整，达到消除像散的目的。
具体地，在步骤S61中，像散包括像散X与像散Y，像散X与像散Y的初始步进值分别为astigXStep与astigYStep，具体计算关系式如下：
astigXStep= xRatio*xScope*mag/magThresh……（5）
astigYStep= yRatio*yScope*mag/magThresh……（6）
其中xRatio,yRatio分别为像散X和像散Y经验初始最大的步进百分比，xScope,yScope分别为像散X和像散Y的可调范围；mag为当前系统的放大倍数，magThresh为经验的放大倍数分界阈值。
在步骤S62中，在一个实施例中，在成像镜头调节至准焦距离后，获取采集的准焦图像并根据计算式（4）计算清晰度值，清晰度值记做F1。
根据计算式（5）和计算式（5）计算得到像散X和像散Y的初始步进值后，搜索像散X的计算式为X=X+astigXStep，搜索像散Y的计算式为Y=Y+astigYStep；
以下将说明调节像散X值的调节过程，像散Y同理，在像散X步进后，获取步进后的准焦图像并计算清晰度值，将当前计算得到的清晰度值记做F2，比较F2与F1的大小。
在F2大于F1的情况下，根据F值越大，清晰度越高的前提，认为像散X的调节空间还有余裕，因此可以继续像散X的步进，重复上述过程，将步进后的采集所得的准焦图像与上一次步进采集的准焦图像进行清晰度值F的比较。
直至出现F2小于F1的情况，此时意味着像散X的调节为错误方向。
也即是说，步骤S62中，以准焦图像的清晰度作为判断基准，代表的是在调节像散X过程中，后一次采集的准焦图像的清晰度在迭代、步进过程中出现比上一次采集准焦图像的清晰度低的情况时，进入判断像散X的步进值是否达到第二停止阈值，也即判断astigXStep是否小于astigXStep_thresh1。
在确认astigXStep>astigXStep_thresh1的情况下，认为像散X还需要继续步进调节，此时步进值astigXStep根据关系式astigXStep=-1*astigXStep/2，计算得到，像散X根据关系式X=X+astigXStep计算得到。
也即是说，在确认astigXStep大于astigXStep_thresh1的情况下，认为像散X的步进值还未达到第二停止阈值，并且由于后一次获得的准焦图像清晰度在调节过程中比上一次调节获得的准焦图像的清晰度还要低，此时步进搜索的方向与初始步进搜索的方向相反，表现为步进值减半。
直至搜索到astigXStep<astigXStep_thresh1，认为像散X的调节已经达到需要满足的像散精度，也即根据迭代爬山法搜索像散X的步进值达到了第二停止阈值，也即调节步进达到了最小阈值，表示像散X的消除过程可以结束，最终调节的像散X的像散精度已经满足需求。此时像散X为回退到上一次步进搜索时的像散X值。即X=X-astigXStep。这样，便完成了像散X的调整。不再对像散X进行搜索。
同理，可以根据准焦图像的清晰度值对像散Y进行如上搜索。特别地，在一些实施方式中，还可以在第二阶段的搜索中加入对准焦距离的再次搜索，即对第一阶段搜索步进获得的聚焦Wd值进行微调，使得最终获得的成像镜头的准焦距离精度更高。
综上所述，本申请中的消像散方法的调节消除像散的过程无需预设限定条件，例如样品选择、放大倍数设置、是否准焦状态等，适用范围广，成功率高；同时相较于拟合曲线方法，调节速度快，相较于拟合曲线方式，可实现实时高效的完成自动校正过程。
如图7所示，图7中示出了一个实施例中完整的消像散方法步骤。需要解释的是，T1为第一停止阈值，T2为第二停止阈值。N为三个参数（像散X、像散Y和聚焦Wd）中的其中任意一个，N=（N+1）%3，为在计算机程序中实现的调整三个参数的切换参数进行调整。
在第一阶段的调整准焦距离的过程（步骤S10-步骤S30）开始前，处理器11还可以读取电子显微镜默认最优像散AX0，AY0，以及读取当前聚焦值Wd（当前工作距离）、AX1和AY1。若此时，当前像散值AX1与AY1与最优像散值AX0与AY0的偏差过大，为了提高消像散的工作效率，可以直接像散X、像散Y置为最优值来进行后续的迭代爬山法。
在图7中，根据上述计算式（2）（3）计算得到WdStep，根据计算式（5）（6）计算astigXStep和astigYStep。然后根据迭代爬山法与计算式（1）基于Fwd值，搜索确定第一阶段的准焦距离也即聚焦值Wd。
然后在第二阶段中，根据计算式（1）和（4）与迭代爬山法，再次对准焦距离进行微调，以及对像散X和像散Y进行调整。直到聚焦Wd、像散X与像散Y三个参数均达到第二停止阈值。在第二阶段中，三个参数均停止搜索的情况下，确认电子显微镜的消像散过程结束，图像的像散满足精度要求。
本申请实施方式提供了一种存储有计算机程序的非易失性计算机可读存储介质，当计算机程序被一个或多个处理器11执行时，使得处理器11执行以上任一实施方式的图像降噪模型的训练方法。
具体地，在一个实施例中，处理器11可以为中央处理器(Central ProcessingUnit，CPU)。处理器11还可以为其他通用处理器、数字信号处理器(Digital SignalProcessor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等芯片，或者上述各类芯片的组合。
计算机程序可以被存储在存储器12中，存储器12作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序、非暂态计算机可执行程序以及模块，如上述方法实施例中的方法所对应的程序指令/模块。处理器11通过运行存储在存储器12中的非暂态软件程序、指令以及模块，从而执行处理器11的各种功能应用以及数据处理，即实现上述方法实施例中的方法。
本领域技术人员可以理解，实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，实现的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，存储介质可为磁碟、光盘、只读存储记忆体(Read－Only Memory，ROM)、随机存储记忆体(Random Access Memory，RAM)、快闪存储器(Flash Memory)、硬盘(Hard Disk Drive，缩写：HDD)或固态硬盘(Solid－State Drive，SSD)等；存储介质还可以包括上述种类的存储器12的组合。
在本说明书的描述中，参考术语“一个实施方式”、“某些实施方式”、“示意性实施方式”、“示例”、“具体示例”、或“一些示例”等的描述意指结合所述实施方式或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施方式或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施方式或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施方式或示例中以合适的方式结合。
尽管已经示出和描述了本申请的实施方式，本领域的普通技术人员可以理解：在不脱离本申请的原理和宗旨的情况下可以对这些实施方式进行多种变化、修改、替换和变型，本申请的范围由权利要求及其等同物限定。
Claims (8)
1.一种消像散方法，用于电子显微镜，其特征在于，所述消像散方法包括：
获取当前图像；
计算所述当前图像的离焦程度；
基于所述离焦程度和所述电子显微镜的成像镜头的当前工作距离，在所述成像镜头步进移动时计算确定所述成像镜头的准焦距离；
在所述成像镜头处于所述准焦距离时，获取准焦图像；
计算所述准焦图像的清晰度；
根据所述准焦图像的清晰度，调整像散值以使所述像散值达到最小阈值；
所述计算所述当前图像的离焦程度，包括：
获取所述电子显微镜采集的常规样品图像；
将所述常规样品图像进行傅里叶变换后，筛选所述常规样品图像后形成拟合椭圆；
基于筛选后的所述常规样品图像的像素总点数、所述拟合椭圆的长轴像素点数和所述拟合椭圆的短轴像素点数确定所述当前图像的离焦程度；
所述根据所述准焦图像的清晰度，调整像散值以使所述像散值达到最小阈值，包括：
获取像散的初始步进值；
以所述准焦图像的所述清晰度作为判断基准，采用迭代爬山法搜索所述像散的步进值达到第二停止阈值时，完成所述像散值的调整。
2.根据权利要求1所述的消像散方法，其特征在于，所述当前图像的离焦程度采用以下条件式评价：
其中，Fwd为评价函数，n为筛选后的所述常规样品图像的像素总点数，a为所述拟合椭圆的长轴像素点数，b为所述拟合椭圆的短轴像素点数，Fwd越小，离焦程度越大。
3.根据权利要求1所述的消像散方法，其特征在于，所述基于所述离焦程度和所述电子显微镜的成像镜头的当前工作距离，在所述成像镜头步进移动时计算确定所述成像镜头的准焦距离，包括：
根据所述当前图像的放大倍数和所述当前工作距离，计算成像景深；
根据所述成像景深计算所述成像镜头移动的初始步进值；
以所述当前图像的所述离焦程度作为判断基准，采用迭代爬山法搜索所述成像镜头移动的步进值达到第一停止阈值时，将所述成像镜头的上一次的工作距离作为准焦距离。
4.根据权利要求1所述的消像散方法，其特征在于，所述计算所述准焦图像的清晰度，包括：
将所述准焦图像划分为N*N个图像子块，N为大于1的自然数；
计算每个图像子块的方差σi；
计算所有图像子块的方差σi的均值M和方差σ；
根据所有图像子块的方差σi的均值M和方差σ确定所述准焦图像的清晰度。
5.根据权利要求4所述的消像散方法，其特征在于，所述准焦图像的清晰度采用以下条件式计算：
其中，F为所述准焦图像的清晰度值，M为所有图像子块的方差的均值，σ为所有图像子块的方差σi的方差。
6.一种消像散装置，其特征在于，所述消像散装置包括：
第一获取模块，用于获取当前图像；
第一计算模块，用于计算所述当前图像的离焦程度；及用于获取电子显微镜采集的常规样品图像；及用于将所述常规样品图像进行傅里叶变换后，筛选所述常规样品图像后形成拟合椭圆；以及用于基于筛选后的所述常规样品图像的像素总点数、所述拟合椭圆的长轴像素点数和所述拟合椭圆的短轴像素点数确定所述当前图像的离焦程度；
第二计算模块，用于基于所述离焦程度和电子显微镜的成像镜头的当前工作距离，在所述成像镜头步进移动时计算确定所述成像镜头的准焦距离；
第二获取模块，用于在所述成像镜头处于所述准焦距离时，获取准焦图像；
第三计算模块，用于计算所述准焦图像的清晰度；
调整模块，用于根据所述准焦图像的清晰度，调整像散值以使所述像散值达到最小阈值；及用于获取像散的初始步进值；以及用于以所述准焦图像的所述清晰度作为判断基准，采用迭代爬山法搜索所述像散的步进值达到第二停止阈值时，完成所述像散值的调整。
7.一种电子设备，其特征在于，包括存储器和处理器，所述存储器用于存储计算机程序，所述处理器用于执行所述计算机程序以实现如权利要求1-5任一项所述的消像散方法。
8.一种计算机可执行指令的非易失性计算机可读存储介质，其特征在于，当所述计算机可执行指令被一个或多个处理器执行时，使得所述处理器执行权利要求1-5中任一项所述的消像散方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211089264.XA CN115190247B (zh) | 2022-09-07 | 2022-09-07 | 消像散方法、消像散装置、电子设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211089264.XA CN115190247B (zh) | 2022-09-07 | 2022-09-07 | 消像散方法、消像散装置、电子设备和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115190247A CN115190247A (zh) | 2022-10-14 |
| CN115190247B true CN115190247B (zh) | 2022-12-13 |
Family
ID=83524005
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211089264.XA Active CN115190247B (zh) | 2022-09-07 | 2022-09-07 | 消像散方法、消像散装置、电子设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115190247B (zh) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103152520A (zh) * | 2009-08-20 | 2013-06-12 | 佳能株式会社 | 图像捕获设备和方法 |
| CN103873773A (zh) * | 2014-03-04 | 2014-06-18 | 中国人民解放军国防科学技术大学 | 基于主辅协同双光路设计的全向成像方法 |
| TW201617676A (zh) * | 2014-11-12 | 2016-05-16 | 大立光電股份有限公司 | 攝影用光學鏡組、取像裝置及電子裝置 |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6067164A (en) * | 1996-09-12 | 2000-05-23 | Kabushiki Kaisha Toshiba | Method and apparatus for automatic adjustment of electron optics system and astigmatism correction in electron optics device |
| JP4286625B2 (ja) * | 2003-09-29 | 2009-07-01 | 株式会社日立ハイテクノロジーズ | 電子顕微鏡による試料観察方法 |
| JP5111077B2 (ja) * | 2007-11-30 | 2012-12-26 | 日本電子株式会社 | 自動焦点・自動非点設定方法及び自動焦点・自動非点設定プログラム |
| US10001622B2 (en) * | 2011-10-25 | 2018-06-19 | Sanford Burnham Medical Research Institute | Multifunction autofocus system and method for automated microscopy |
| CN102932583B (zh) * | 2012-07-19 | 2015-05-06 | 湖南源信光电科技有限公司 | 折反射全聚焦成像方法 |
| CN102788682B (zh) * | 2012-07-25 | 2015-02-04 | 宁波大学 | 一种连续变倍体视显微镜齐焦性检测方法 |
| TWI616700B (zh) * | 2017-04-17 | 2018-03-01 | 大立光電股份有限公司 | 光學影像擷取鏡頭組、取像裝置及電子裝置 |
| US10816789B2 (en) * | 2018-01-24 | 2020-10-27 | Canon U.S.A., Inc. | Optical probes that include optical-correction components for astigmatism correction |
| CN110166692B (zh) * | 2019-05-31 | 2024-02-02 | 济南中维世纪科技有限公司 | 一种提高摄像机自动聚焦准确率和速度的方法及装置 |
-
2022
- 2022-09-07 CN CN202211089264.XA patent/CN115190247B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103152520A (zh) * | 2009-08-20 | 2013-06-12 | 佳能株式会社 | 图像捕获设备和方法 |
| CN103873773A (zh) * | 2014-03-04 | 2014-06-18 | 中国人民解放军国防科学技术大学 | 基于主辅协同双光路设计的全向成像方法 |
| TW201617676A (zh) * | 2014-11-12 | 2016-05-16 | 大立光電股份有限公司 | 攝影用光學鏡組、取像裝置及電子裝置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115190247A (zh) | 2022-10-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113109936B (zh) | 一种基于图像清晰度评估的显微镜自动对焦方法与装置 | |
| US7714286B2 (en) | Charged particle beam apparatus, aberration correction value calculation unit therefor, and aberration correction program therefor | |
| JP5635844B2 (ja) | 焦点調整装置および撮像装置 | |
| WO2021082688A1 (zh) | 一种基于机器视觉的摇头电脑灯智能调焦方法 | |
| CN103235397B (zh) | 一种自动对焦方法及设备 | |
| CN115190247B (zh) | 消像散方法、消像散装置、电子设备和存储介质 | |
| JP2005063678A (ja) | 荷電粒子ビーム装置における自動焦点補正方法および自動非点補正方法 | |
| AU2015294547B2 (en) | Method for automatic correction of astigmatism | |
| CN116600201B (zh) | 一种基于扫描电镜的自动聚焦方法及装置 | |
| JP4829584B2 (ja) | 電子線装置の自動調整方法及び電子線装置 | |
| US11776786B2 (en) | Focus adjustment method for charged particle beam device and charged particle beam device | |
| JP2015018721A (ja) | 透過電子顕微鏡 | |
| WO2023099584A1 (en) | Method for automatic focusing and astigmatism correction for an electron microscope | |
| JP4995542B2 (ja) | 荷電粒子ビーム装置のオートフォーカス方法、コンピュータプログラム、及び、記録媒体 | |
| JPH10170817A (ja) | 合焦位置算出装置及びその方法とそれらを使用した電子顕微鏡 | |
| KR20230037102A (ko) | 주사 전자 현미경 장치, 반도체 생산 장치, 및 그 제어 방법 | |
| WO2023248320A1 (ja) | 荷電粒子線装置 | |
| CN118053722B (zh) | 电子束对中调节方法、调节装置、存储介质及电子设备 | |
| CN116866715B (zh) | 内窥镜的自动对焦方法、电子设备和可读存储介质 | |
| US10446365B2 (en) | Method of verifying operation parameter of scanning electron microscope | |
| JP2019160464A (ja) | 電子顕微鏡および調整方法 | |
| JP5111077B2 (ja) | 自動焦点・自動非点設定方法及び自動焦点・自動非点設定プログラム | |
| KR20230165850A (ko) | 하전 입자선 장치 및 그 제어 방법 | |
| JP2009064746A (ja) | 荷電粒子ビーム装置の撮像方法、コンピュータプログラム、記録媒体 | |
| KR20220120647A (ko) | 하전 입자선 시스템 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CP01 | Change in the name or title of a patent holder |
Address after: 230088 floor 1-4, zone a, building E2, phase II, innovation industrial park, No. 2800, innovation Avenue, high tech Zone, Hefei, Anhui Province Patentee after: Guoyi Quantum Technology (Hefei) Co.,Ltd. Address before: 230088 floor 1-4, zone a, building E2, phase II, innovation industrial park, No. 2800, innovation Avenue, high tech Zone, Hefei, Anhui Province Patentee before: Guoyi Quantum (Hefei) Technology Co.,Ltd. |
|
| CP01 | Change in the name or title of a patent holder |