CN114972189B - 基于系列离焦图像的动态电荷观测方法 - Google Patents
基于系列离焦图像的动态电荷观测方法 Download PDFInfo
- Publication number
- CN114972189B CN114972189B CN202210434264.2A CN202210434264A CN114972189B CN 114972189 B CN114972189 B CN 114972189B CN 202210434264 A CN202210434264 A CN 202210434264A CN 114972189 B CN114972189 B CN 114972189B
- Authority
- CN
- China
- Prior art keywords
- defocused
- wave function
- image
- images
- iterative
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 64
- 230000005428 wave function Effects 0.000 claims abstract description 126
- 238000009826 distribution Methods 0.000 claims abstract description 83
- 238000012937 correction Methods 0.000 claims abstract description 27
- 238000012546 transfer Methods 0.000 claims description 29
- 230000006870 function Effects 0.000 claims description 21
- 230000008569 process Effects 0.000 claims description 20
- 230000005540 biological transmission Effects 0.000 claims description 19
- 230000008859 change Effects 0.000 claims description 19
- 238000004364 calculation method Methods 0.000 claims description 12
- 238000010894 electron beam technology Methods 0.000 claims description 12
- 230000009466 transformation Effects 0.000 claims description 11
- 239000011159 matrix material Substances 0.000 claims description 9
- 238000006243 chemical reaction Methods 0.000 claims description 8
- 238000012545 processing Methods 0.000 claims description 6
- 230000001133 acceleration Effects 0.000 claims description 4
- 230000001902 propagating effect Effects 0.000 claims description 4
- 238000012935 Averaging Methods 0.000 claims description 3
- 230000004075 alteration Effects 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 230000010355 oscillation Effects 0.000 claims description 3
- 239000000523 sample Substances 0.000 description 52
- 238000004422 calculation algorithm Methods 0.000 description 13
- 238000012512 characterization method Methods 0.000 description 13
- 230000000694 effects Effects 0.000 description 12
- 239000000463 material Substances 0.000 description 11
- 238000002474 experimental method Methods 0.000 description 10
- 238000003384 imaging method Methods 0.000 description 8
- 239000002245 particle Substances 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 6
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 description 5
- 239000010931 gold Substances 0.000 description 5
- 229910052737 gold Inorganic materials 0.000 description 5
- 238000011065 in-situ storage Methods 0.000 description 5
- 238000011084 recovery Methods 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 125000004122 cyclic group Chemical group 0.000 description 4
- 239000002019 doping agent Substances 0.000 description 4
- 238000011160 research Methods 0.000 description 4
- 239000002253 acid Substances 0.000 description 3
- 238000009499 grossing Methods 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 239000004065 semiconductor Substances 0.000 description 3
- 238000004088 simulation Methods 0.000 description 3
- 230000002238 attenuated effect Effects 0.000 description 2
- 239000000969 carrier Substances 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000005315 distribution function Methods 0.000 description 2
- 238000005421 electrostatic potential Methods 0.000 description 2
- 239000007788 liquid Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000000737 periodic effect Effects 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 239000000126 substance Substances 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 2
- 238000002083 X-ray spectrum Methods 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000010521 absorption reaction Methods 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000005136 cathodoluminescence Methods 0.000 description 1
- 238000010351 charge transfer process Methods 0.000 description 1
- 239000002801 charged material Substances 0.000 description 1
- 239000013078 crystal Substances 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000005684 electric field Effects 0.000 description 1
- 238000001803 electron scattering Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000012535 impurity Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000005459 micromachining Methods 0.000 description 1
- 238000000386 microscopy Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 239000002105 nanoparticle Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000010587 phase diagram Methods 0.000 description 1
- 238000013032 photocatalytic reaction Methods 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000004645 scanning capacitance microscopy Methods 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000010998 test method Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/10—Image enhancement or restoration using non-spatial domain filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10056—Microscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20048—Transform domain processing
- G06T2207/20056—Discrete and fast Fourier transform, [DFT, FFT]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Analysing Materials By The Use Of Radiation (AREA)
Abstract
本发明公开了一种基于系列离焦图像的动态电荷观测方法,包括:(1)获取系列离焦图像;(2)对系列离焦图像依次进行漂移矫正和边缘填充;(3)构建离焦图像的出射波函数,并根据离焦图像的出射波函数构建复数波函数,当前帧离焦图像的复数波函数中上轮迭代计算的轮次电荷分布;(4)将首帧离焦图像的复数波函数根据出射波函数进行传递以得到不同离焦图像的复数波函数;(5)根据当前轮次的所有复数波函数包含的电荷分布确定当前轮次的轮次电荷分布;(6)将最后一帧离焦图像的复数波函数更改后,作为首帧帧离焦图像的复数波函数;(7)迭代执行(4)‑(6),直到迭代终止,以最后一次迭代计算的电荷分布为最终电荷分布。
Description
技术领域
本发明属于电子光学领域,具体涉及一种基于系列离焦图像的动态电荷观测方法。
背景技术
电荷分布表征对理解材料微观结构、缺陷等和性能之间的关系至关重要。不管是液固界面还是光催化反应等过程中都会伴随着电荷的转移过程,判断电荷转移途径都是理解反应机理的一种重要手段。同时,控制电荷分布也是调整半导体性能的重要途径。透射电子显微镜的发明,让人们能够以亚纳米级的分辨率研究材料的微观形貌结构。
一般用来测定电荷转移的方式有扫描电容显微镜和开尔文力显微镜等。但这些方法得到的电荷分布信息,仅局限于近表面区域。另外以扫描电子显微镜技术为基础的表征手段,如电子束感应电流和阴极发光等,也能够给出样品中存在的电学信息。但这些方法是通过光谱特征长度建立与电荷分布结果的联系,并非电荷的直接成像。
宏观测量半导体材料可以探测平均载流子密度,得到载流子电荷种类、载流子迁移率等电学信息,但此方法只局限于器件整体的电学性质,并不能探测载流子轮廓或材料局部电荷密度。
对于纳米尺度的样品,需要对样品进行精确的微加工组装为探测元件,其带来的对准误差风险与实现良好欧姆接触的困难,进一步导致了结果的不确定性。并且由高能电子束轰击到样品上带来的荷电效应一定程度上干扰了电子束与样品产生的特异性信号,难以获得样品的真实性质,并且容易产生异常的衬度差异,以及图像畸变和漂移等等。此外,纳米掺杂体系结构的表面电荷定量表征也依然具有挑战性,因为现有的大多数表征技术使用电子、离子或场电离效应能够精确判断掺杂剂的化学存在,但由于这部分掺杂剂不一定具有电活性,表征掺杂剂结构的电荷分布尤为困难。
由于荷电效应积累的电荷量微小难以测量,现如今对荷电效应影响下整体电荷分布的表征研究仍大大缺失。目前关于荷电效应对样品表面产生电荷积累影响的研究,主要基于以下测试方式:吸收电流或影响电流、电子光谱和X射线光谱、电子束偏转和开尔文探针。但这些技术大多局限于对带电材料体系的分析。而且在样品中,携带正电荷的空穴和负电荷的电子的局域分布和输运性质会因材料本身的性质以及缺陷、杂质等大不相同。因此,减弱荷电效应,如何在极低束流的条件下快速且准确地抓捕电荷的动态变化也需要解决。
目前表征电荷分布的研究中,部分是通过基于低能电子投影镜技术的方式,但此方法无法获得材料的结构信息,因此无法建立材料结构与电荷分布之间的联系;更多的方法是利用离同轴电子全息技术,这种方法对于电荷的动态变化难以快速响应,且电荷分布的分辨率和精度也不够足以抓捕电荷的动态变化,并且对电荷分布的观测可以达到很高的分辨率和精度。
发明内容
鉴于上述,本发明的目的是提供一种基于系列离焦图像的动态电荷观测方法,该方法简单,可以运用在透射电子显微镜中对电荷分布进行快速直观的动态表征,能够普适于包括原位反应在内的绝大对数材料体系的原位实验观测,并且通过利用同轴全息的方法能够实现极低电子束流、无干扰条件下对样品表明的电荷分布进行高空间分辨率,高精度的观测,并且此方法有很好的动态观测前景。
为实现上述发明目的,实施例提供的基于系列离焦图像的动态电荷观测方法,包括以下步骤:
步骤1,获取利用透射电子显微镜对样品照射时的系列离焦图像;
步骤2,对系列离焦图像依次进行漂移矫正和边缘填充,以得到漂移校正后的系列离焦图像;
步骤3,根据样品下表面的出射波函数和传递函数构建迭代波函数,其中,迭代波函数包含上轮迭代计算的轮次电荷分布;
步骤4,将首帧离焦图像的迭代波函数根据传递函数传播到不同的离焦图像以得到不同离焦图像的迭代波函数;
步骤5,对当前轮次计算得到的所有离焦图像的迭代波函数包含的电荷分布做归一化处理,以得到当前轮次的轮次电荷分布;
步骤6,将最后一帧离焦图像的迭代波函数更改后,作为首帧离焦图像的迭代波函数;
步骤7,迭代执行步骤4-步骤6,直到迭代终止,以最后一次迭代计算的电荷分布为最终电荷分布。
在一个实施例的步骤2中,对系列离焦图像进行漂移矫正,包括:
计算相邻两帧离焦图像的互相关系数矩阵,并提取互相关系数矩阵中的前k大的互相关系数,对互相关系数矩阵中的前k大的互相关系数做平均得到偏移量,并以相邻两帧中的前帧离焦图像为基础,利用计算的偏移量对后帧离焦图像做漂移矫正,以使相邻两帧离焦图像的中心对齐。
在一个实施例的步骤2中,对系列离焦图像进行边缘填充,包括:
针对每张漂移矫正后的离焦图像,以离焦图像的边缘像素值为基础,采用傅里叶变换的方式,增加与离焦图像真实边缘相关的傅里叶变换震荡衰减区域,实现图像边缘填充。
在一个实施例的步骤3中,根据样品下表面的出射波函数和传递函数构建迭代波函数,包括:
首先,给定样品下表面的出射波函数其中样品下表面的出射波函数对对应系列离焦图像中的离焦图像的出射波函数:
其中,表示样品相对于正焦面的空间位置,和分别是振幅和相位,其中,实际振幅从离焦图像中直接得到,即
其次,采用菲涅耳衍射算符的卷积运算,在实空间下计算小角度散射极限下,出射波函数依据传递函数向各离焦面传播,得到对应的复数波函数为:
其中,和分别表示第n帧、第n-1帧离焦图像的复数波函数,表示与透射电子显微镜的物镜孔径允许的最大散射角对应的理想低通滤波器,为透射电子显微镜的传递函数,在忽略除了离焦Δf以外的所有像差,传递函数简单定义为λ为电子束波长,受电压控制,表示离焦图像在傅里叶空间下的像素点的坐标;
最后,根据相位和投影电荷存在泊松方程的关系,将复数波函数转换成迭代波函数
其中,迭代波函数中,下标Δf表示离焦距离,针对首帧离焦图像,Δf=0,上标N为迭代次数,|Ψ(x,y)|表示迭代波函数的模拟振幅,Ψ(x,y)表示复数波函数,等同于复数波函数QN-1(x,y)表示N-1轮次迭代计算的轮次电荷分布,(x,y)表示离焦图像在实空间下的每个像素点的位置坐标,∈0表示电介质常数,CE表示表示与加速电压相关的常数。
在一个实施例的步骤4中,将首帧离焦图像的迭代波函数根据传递函数传播到不同的离焦图像以得到不同离焦图像的迭代波函数,包括:
在传递过程中,将每个离焦图像的实际振幅带入到迭代波函数中,以得到不同离焦图像的迭代波函数。
在一个实施例的步骤6中,对最后一帧离焦图像的复数波函数的更改包括:
首先,将最后一帧离焦图像的迭代波函数的相位部分保留,振幅用离焦距离下的实际振幅的二倍替代,则迭代波函数更改为:
其中,为更改的迭代波函数,为离焦距离下的实际振幅,由离焦图像获得,|Ψ(x,y)|表示模拟振幅,由迭代波函数得到,表示最后一帧离焦图像的迭代波函数保留的相位;
然后,改变中所有与离焦距离Δf相关的所有量的正负号,即将单纯通过符号变换,转变为-Δf离焦距离下的迭代波函数再将迭代波函数重新传回首帧离焦图像。
在一个实施例的步骤7中,迭代终止条件包括:
根据模拟振幅和实际振幅的差值来判断,当差值R小于设定第一阈值时,则判定为收敛,迭代终止;
其中,n表示离焦图像的索引,N表示离焦图像的总数,表示样品相对于正焦面的空间位置,表示实际振幅,由离焦图像获得,|Ψ(x,y)|n表示模拟振幅,由迭代波函数获得;
或,比较相邻两轮次最后一帧离焦图像的迭代波函数的振幅差值,当振幅差值小于设定第二阈值时,则判定为收敛,迭代终止。
在一个实施例中,当采用MATLAB对系列离焦图像依次进行漂移矫正和尺寸增大调整时,在对离焦图像进行漂移矫正之前,还需要对离焦图像进行预处理,包括将离焦图像的振幅强度信息转换成像素点单位时间接收的电子数量信息。
在一个实施例的步骤2中,当利用软件自动对系列离焦图像依次进行漂移矫正后,还进行对离焦图像的手动漂移矫正,通过改变坐标值实现手动漂移矫正。
与现有技术相比,本发明具有的有益效果至少包括:
实施例提供的测试方法以序列离焦图像为基础,通过构建离焦图像的出射波函数和包含电荷分布的复数波函数,并经过波函数的传递迭代优化,以得到最终的电荷分布,该方式可以快速且直观地进行电荷分布表征,此方法能够简单运用在透射电子显微镜上,适用于包括原位反应在内的绝大多数材料体系,并且实现极低束流密度下的电荷成像、时间响应极短的变化动态电荷成像,是高精度与高灵敏度的电荷成像的突破进展。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图做简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动前提下,还可以根据这些附图获得其他附图。
图1是实施例提供的基于系列离焦图像的动态电荷观测方法的流程图;
图2实施例提供对系列离焦图像进行处理的软件可视化界面;
图3是实施例提供的金颗粒在不同溶液中的离焦图像和电荷分布图,(a)为在氯金酸溶液中的离焦图像和电荷分布图,(b)为在纯水中的离焦图像和电荷分布图,(c)在真空中的离焦图像和电荷分布图。
具体实施方式
为使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例对本发明进行进一步的详细说明。应当理解,此处所描述的具体实施方式仅仅用以解释本发明,并不限定本发明的保护范围。
人们利用透射电镜原位技术,观察纳米半导体在电场作用下的响应过程,研究载流子的运动行为,对纳米级颗粒表面的电学信息进行表征。电荷变化的过程以及纳米物体表面电荷的定量表征都是能够利用同轴全息技术进行计算并解决的问题,因为大多数表征技术使用电子、离子或场电离效应来研究掺杂剂的化学存在,而这些掺杂剂不一定具有电活性。通过将这些结果与最先进的同轴电子全息技术结合在同一系列的离焦图像进行比较,并利用波函数相位差的变化对一系列离焦图像进行TEM全息实验与相位计算结合的计算,有效对材料表面的电荷分布进行计算并通过自我反推进行验证。基于此,实施例提供了一种基于系列离焦图像的动态电荷观测方法,产生可直接在低束流下直接观测电荷动态变化的一种电荷恢复循环迭代算法,并结合具体样品的试验参数进行实验方案的整体设计。基于此方法编写了独立软件投入使用,应用范围很广。
图1是实施例提供的基于系列离焦图像的动态电荷观测方法的流程图。如图1所示,实施例提供的基于系列离焦图像的动态电荷观测方法,包括以下步骤:
步骤1,获取利用透射电子显微镜对样品照射时的系列离焦图像。
实施例中,需要根据样品的特性对实验参数进行选择和设定。拍摄系列离焦图像的过程,需要首先将透射电子显微镜中电子束光路重新合轴。由于实验的离焦过程,合轴不好的情况下会导致样品漂出视野,严重影响拍摄过程,也会导致在离焦过程中样品出现严重的离域效应产生影响。对于样品,高的放大倍数与小的离焦量能够更大程度保证样品照片的空间分辨率,但是低的放大倍数与大的离焦量能够产生更分散的菲涅尔条纹进而实现更高精度的电荷表征。因此需要根据样品尺寸和性质,在放大倍数与离焦量之间寻找平衡,这个根据实验经验调整即可。
调整结束后,利用利用透射电子显微镜对样品照射,得到不同离焦距离对应的多个离焦图像,按照从零离焦距离(也就是正焦面)对应的首帧离焦图像(也可以是正焦图像)到不同离焦距离(离焦距离逐渐增大)对应的多个离焦图像组成系列离焦图像,离焦图像中每个像素点位置的强度信息表示电子束波的振幅强度。
步骤2,对系列离焦图像依次进行能量转换、漂移矫正和边缘填充。
在对离焦图像进行相位重构之前,先需要利用脚本将离焦图像的强度信息转化成像素点单位时间接收到的电子数量信息。由于离焦图像具有准确的振幅强度,而相位信息与单位时间内接收到的电子数量无关,只与振幅的相对数值有关。因此离焦图像转化为振幅信号后,需要对所有离焦图像强度进行均一化,排除束流密度与离焦等差异造成的强度衬度差。
样品的漂移和离域效应是由于电镜的电子束光路与聚光镜、物镜中心等合轴不完美导致的常见现象。实验中无法完全排除漂移的影响,并且会随着离焦距离的增加漂移现象显著增加。利用Matlab编写了一个基于图像相关度的漂移判断脚本,实现了漂移矫正过程的自动化完成。将需要矫正的系列离焦图输入脚本,会自动寻找最佳的漂移矫正量,实现将每张离焦图像的数据漂移矫正。
实施例中,通过编写的算法实现每张离焦照片都能寻找到其最合理漂移量。算法逻辑如下:
将所有离焦图像都转换为大小为Nx×Ny的矩阵,以IΔf(x,y)表示。将正焦图像作为漂移矫正的基准,即I0(x,y)为基准图像。则在Δf的离焦距离下,图像发生的离焦本质上转化为x方向与y方向上的偏移量Δx、Δy,即IΔf(x+Δx,y+Δy)与I0(x,y)具有最吻合的位置对应关系。那么,对I0(x,y)与IΔf(x+Δx,y+Δy)这两个矩阵数组进行互相关度计算。使得I0(x,y)与IΔf(x+Δx,y+Δy)拥有最大相关度的偏移量Δx、Δy,就是最合理的漂移量结果图像处理中。
具体地,对系列离焦图像进行漂移矫正,包括以下步骤:
计算相邻两帧离焦图像的互相关系数矩阵,并提取互相关系数矩阵中的最大互相关系数,对所有互相关系数矩阵中的最大互相关系数做平均,并以相邻两帧中的前帧离焦图像为基础,利用计算的平均相关系数对后帧离焦图像做漂移矫正,以使所有帧离焦图像的中心对齐。
由于图像具有边界,在边缘位置的电势场会突变至零,拟合过程中这种突变会对电荷分布拟合造成很大的影响。这部分边缘效应的影响需要通过边缘填充的方式消除。离焦过程中由于离焦量的改变,样品还会发生一定程度的缩放现象。样品的缩放一部分是因为焦点位置的改变导致样品产生投影效应,另一部分原因则是透射电镜的物镜焦距实际上是通过因此设计了一个特别设计的实验来矫正缩放,即通过对具有规则形状及对称中心晶体小颗粒成像,在正焦面与目标离焦量下分别测两颗独立的小颗粒的对称中心之间距离,将其作比即可得到在目标焦量下图像缩放的比例。
离焦过程的实现,本质上是通过改变物镜电流实现的。而物镜电流发生变化引起的变化,除了焦距的变化外,还会产生图像失真。图像失真会引起的主要是图像大小的改变和角度发生旋转。由于后期处理中对照片强度进行了归一化处理,因此,这些失真可以通过简单地调整图像的放大和旋转的线性变化来近似。
在对图像进行边缘填充时,以对于漂移旋转矫正的图像IΔf(x,y)为例,在图像的四周,都添加上宽度为p的图像填充。IΔf(x,y)转化为IΔf(x+p,y+p)。这部分图像填充并非简单的扩充图像大小,而是以离焦图像的边缘像素值为基础,采用傅里叶变换的方式,增加与图像真实边缘相关的傅里叶变换震荡衰减区域。这一震荡衰减区域具有一定的周期性,满足了算法在传播过程中,使用傅立叶变换因此得到的周期性波函数重建,不会对图像的有效区域造成干扰。另外这部分震荡衰减区域又使得势场分布在靠近图像边缘的区域能够平稳衰减至0,而不是突变至0,保证了势场分布函数在边缘区域的连续性。图像的有效区仍为Nx×Ny,而周围宽度为p的填充区域因为其无效性将被裁剪。p的大小,通过实验确定与图像大小有关。
步骤3,根据样品下表面的出射波函数和传递函数构建迭代波函数,其中,迭代波函数包含上轮迭代计算的轮次电荷分布。
实施例中,步骤3-步骤7实现的电荷恢复循环迭代算法的核心是完整解析出射波的振幅与相位信息。具体地以系列离焦照片中包含的相位信息、振幅信息、离焦参数为自变量,电镜加速电压、迭代次数和迭代结果的收敛度为约束条件,以最终的电荷分布图为目标函数。
实施例中,首先,给定样品下表面的出射波函数其中样品下表面的出射波函数对对应系列离焦图像中的离焦图像的出射波函数:
其中,表示样品相对于正焦面的空间位置,和分别是振幅和相位,其中,实际振幅从离焦图像中直接得到,即迭代算法的本质是恢复出射波函数的相位部分
其次,采用菲涅耳衍射算符的卷积运算,在实空间下计算小角度散射极限下,出射波函数依据传递函数向各离焦面传播,得到对应的复数波函数为:
其中,和分别表示第n帧、第n-1帧离焦图像的复数波函数,表示与透射电子显微镜的物镜孔径允许的最大散射角对应的理想低通滤波器,为透射电子显微镜的传递函数,在忽略除了离焦Δf以外的所有像差,传递函数简单定义为λ为电子束波长,受电压控制,表示离焦图像在傅里叶空间下的像素点的坐标;传递函数确定了从正焦面到离焦面的传递公式,这样便可以在系列离焦图像间建立起关系;
最后,根据相位和投影电荷存在泊松方程的关系,将复数波函数转换成迭代波函数
其中,迭代波函数中,下标Δf表示离焦距离,针对首帧离焦图像,Δf=0,上标N为迭代次数,|Ψ(x,y)|表示迭代波函数的模拟振幅,Ψ(x,y)表示复数波函数,等同于复数波函数QN-1(x,y)表示N-1轮次迭代计算的轮次电荷分布,QN-1(x,y)作为复数波函数的相位,是待优化的值,(x,y)表示离焦图像在实空间下的每个像素点的位置坐标,∈0表示电介质常数,CE表示表示与加速电压相关的常数。
针对首轮次的首帧离焦图像,模拟振幅由首帧离焦图像(也就是正焦图像)所确定(准确值),相位初始状态可设置为0或预设任意电荷分布。
步骤4,将首帧离焦图像的迭代波函数根据传递函数传播到不同的离焦图像以得到不同离焦图像的迭代波函数。
实施例中,将首帧离焦图像的当前迭代波函数按照传递函数传播到第二帧离焦图像,得到第二帧离焦图像的迭代波函数,然后再传输到第三帧离焦图像,得到第三帧离焦图像的迭代波函数,依次类推,得到所有离焦图像的迭代波函数,每个迭代波函数的相位部分均为电荷分布,电荷分布一个轮次的传播过程中不变。在传递过程中,将每个离焦图像的实际振幅带入到迭代波函数中,以得到不同离焦图像的迭代波函数。
步骤5,对当前轮次计算得到的所有离焦图像的复数波函数包含的电荷分布做归一化处理,以得到当前轮次的轮次电荷分布。
实施例中,当前轮次结束时对当前轮次计算得到的所有离焦图像的复数波函数包含的电荷分布做归一化处理,以得到当前轮次的轮次电荷分布。
步骤6,将最后一帧离焦图像的复数波函数更改后,作为首帧离焦图像的复数波函数。
实施例中,对最后一帧离焦图像的复数波函数的更改包括:
首先,将最后一帧离焦图像的迭代波函数的相位部分保留,振幅用离焦距离下的实际振幅的二倍替代,则迭代波函数更改为:
其中,为更改的迭代波函数,为离焦距离下的实际振幅,由离焦图像获得,|Ψ(x,y)|表示模拟振幅,由迭代波函数得到,表示最后一帧离焦图像的迭代波函数保留的相位;
然后,改变中所有与离焦距离Δf相关的所有量的正负号,即将单纯通过符号变换,转变为-Δf离焦距离下的迭代波函数再将迭代波函数重新传回首帧离焦图像。
步骤7,迭代执行步骤4-步骤6,直到迭代终止,以最后一次迭代计算的电荷分布为最终电荷分布。
实施例中,迭代终止条件包括:
根据模拟振幅和实际振幅的差值来判断,当差值R小于设定第一阈值时,则判定为收敛,迭代终止;
其中,n表示离焦图像的索引,N表示离焦图像的总数,表示样品相对于正焦面的空间位置,表示实际振幅,由离焦图像获得,|Ψ(x,y)|n表示模拟振幅,由迭代波函数获得;
或,比较相邻两轮次最后一帧离焦图像的迭代波函数的振幅差值,当振幅差值小于设定第二阈值时,则判定为收敛,迭代终止。
迭代终止得到的电荷分布结果即为在位置和数量上建立唯一的确定性的准确电荷分布结果。
针对以上动态电荷观测方法,还进行了软件实现,软件的可视化界面如图2所示,软件实现过程包括:
(a)在Gatan Digital Micrograph软件中检查离焦图像的完整性,检查离焦图像确认无误后,将离焦图像传入软件中,导出*.mat格式文件;
(b)将*.mat格式文件导入软件中,改变其caxis值和选中区域,对所需区域进行选择,并通过漂移校正将观察区域移到同一水平和竖直位置,使漂移影响被排除,并导出预处理后的系列*.mat文件;
(c)将预处理后的系列*.mat文件导入软件,并且选择结果储存的文件夹,并设置与电镜相关的参数,如:加速电压、循环次数、pixelsize,输入系列离焦照片组对应的离焦量,进行数据转换
(d)当循坏迭代次数结束或循环迭代结果误差小于评价值时,循环结束,并输出最优的优化结果,选择(c)的结果储存文件夹,设置图像大小,介电常数,以及样品厚度,将矩阵的迭代结果进行转换,可得到拟合出的振幅图、相位图,未经平滑的电荷分布图以及进行平滑后的电荷分布图,可通过更改平滑方式,平滑参数和平滑次数对结果进行平滑;并以*.jpg文件的形式进行储存。
离焦状态下电子波自身发生干涉与衍射现象,产生的菲涅耳条纹中会包含样品的相位衬度信息,振幅反推拟合迭代算法通过对离焦状态下的样品进行成像模拟,得到该离焦下特异性的菲涅耳条纹,进而可以得到特定离焦状态的实验模拟图。可通过与实验图像进行对比判断求解的电荷分布是否准确。进一步的,直接利用成像模拟的离焦图像与拍照得到的离焦图像进行对比拟合,寻找最优化的电荷分布结果。相比于电荷恢复的循环迭代算法,振幅反推拟合迭代算法不设置迭代停止条件,迭代停止的判据是遍历全部预设参数范围,并且最终输出一组相关度最高的结果,即与实验最吻合的电荷分布数据。从离焦图像,不能直接解析出电荷分布。但是本发明能够通过离焦图像以及拟合算法,在给定的范围内通过穷举法计算,从图像中根据算法的到信息,进而得到范围内的电荷分布最合理值。
实施例提供的动态电荷观测方法,通过系列离焦叠加整个空间的变化提取整个空间中的电荷场的库仑分布。对于一般问题,可叠加系列离焦照片后通过迭代波函数求解得到拍摄区域的电荷分布,进一步结合反推出的振幅图对比可验证得到结果的准确性。并且对电荷分布结果进行和各种试验参数等进行分析、并结合实际后,可用于解决具体的固液(固)表面、固气表面以及动态分布过程中的电荷分布问题,以此进行实际应用。
总体而言,实施例提供的方法具有操作简单、求解方便、适用性强、可以直接对电荷分布进行图像观测等优点,可为,且验证结果表明其表征结果与工程实际较为符合。适合关于电荷转移中一般问题的解决,并且之后能够与超快电镜相结合,解决超快电荷动力学观测的问题。因而本申请具有良好的实用价值和推广应用意义。
实验例
利用开发的同轴电子全息电荷分布表征方法,结合原位电镜技术,以观测氯金酸溶液中的金颗粒表面的双电层为例,采用实施例提供的方法,在透射电子显微镜中,先得到物体在欠焦、正焦及过焦面上的系列离焦照片。通过迭代拟合算法从系列离焦图的振幅强度中重构出包含电荷信息的相位强度。最后通过基于模型的提取静电势方法,扣除样品平均内电势(MIP)对相位的影响后,从相位图中得到物体电荷分布信息。通过对于图像的预处理与算法的优化等过程,实现了电荷分辨率的进一步提高。并且方法能实现极低束流密度下的电荷成像、时间响应极短的变化电荷成像、高精度与高灵敏度的电荷成像等突破进展。具体介绍如下:
本发明的实施方式提供了一种不需要附加额外装置的动态电荷观测方法,能够运用在透射电子显微镜中对电荷分布进行快速直观的表征,能够普适于包括原位反应在内的绝大对数材料体系。包括以下步骤:
(1)通过样品杆将样品置于透射电子显微境内。
(2)在选定的方法倍数下将电子束光路重新合轴。由于实验的离焦过程,合轴不好的情况下会导致样品漂出视野,严重影响拍摄过程。对于样品,高的放大倍数与小的离焦量能够更大程度保证样品照片的空间分辨率,但是低的放大倍数与大的离焦量能够产生更分散的菲涅尔条纹进而实现更高精度的电荷表征。因此需要在放大倍数与离焦量之间寻找平衡。在本实施例中选择倍数为570kx,离焦步长为300nm,对于实验中的金颗粒样品,此放大倍数和离焦步长能够兼顾空间分辨率与电荷分辨率。
(3)对样品需观察区域进行漂移校正处理,并对图像边缘进行傅里叶变化为基础的的填充。图像IΔf(x,y)为例,在图像的四周,都添加上宽度为p的图像填充,使用傅立叶变换因此得到的周期性波函数重建,不会对图像的有效区域造成干扰。另外这部分震荡衰减区域又使得势场分布在靠近图像边缘的区域能够平稳衰减至0,保证了势场分布函数在边缘区域的连续性。
(4)为了研究样品内的电荷分布,将样品的整体静电势作为一个整体进行考虑。最后得到的电荷分布结果,也是反应了样品所在环境的所有电势场分布之和。有限晶体的平均内电势相对于真空,通常都表现为正电荷分布,并且假设所有单个原子都独立计算,那么内电势可以近似表示为
这是材料内所有原子产生内电势的总和,h是普朗克常量,m0是元电荷的静质量,e是元电荷电量,Ω是单位晶胞体积,nj是每个单位晶胞中原子j的原子总数,表示了j原子在零散射角处的电子散射因子。通过这个公式便可以根据所有样品的结构组成,计算样品所携带的平均内电势。了解了样品的内电势,结合同轴电子全息实验得到的电荷分布,就可以表征出样品本征载流子的分布。
(5)接下来可以根据设定的实验参数和动态电荷分布方法得到样品中的电荷分布情况,具体过程参见上述步骤3-步骤7。
(6)对离焦状态下的样品进行成像模拟,得到该离焦下特异性的菲涅耳条纹和振幅恢复图像并与实验图像进行对比,因此能够判断求解的电荷分布是否准确。
图3是实施例提供的金颗粒在不同溶液中的离焦图像和电荷分布图,(a)为在氯金酸溶液中的离焦图像和电荷分布图,(b)为在纯水中的离焦图像和电荷分布图,(c)在真空中的离焦图像和电荷分布图。实施例仅以不同溶液中金颗粒双电层的观测(固液见面)为例,结合实验观测时设定的实验参数信息,对相关波函数数进行求解,更多环境下均可进行实验,并能采取本发明进行良好实验。可以看出,本发明方法具有无附加条件、低束流、高空间分辨率、高时间分辨率、实用性强、可以直接对电荷分布进行观测等优点,并且表征结果与计算结果和宏观实际也较为符合,并可以得到全部观测区域的电荷变化,更适合对电荷的动态观测,因而具有较好的实用价值和推广应用意义。
以上所述的具体实施方式对本发明的技术方案和有益效果进行了详细说明,应理解的是以上所述仅为本发明的最优选实施例,并不用于限制本发明,凡在本发明的原则范围内所做的任何修改、补充和等同替换等,均应包含在本发明的保护范围之内。
Claims (8)
1.一种基于系列离焦图像的动态电荷观测方法,其特征在于,包括以下步骤:
步骤1,获取利用透射电子显微镜对样品照射时的系列离焦图像;
步骤2,对系列离焦图像依次进行漂移矫正和边缘填充,以得到漂移校正后的系列离焦图像;
步骤3,根据样品下表面的出射波函数和传递函数构建迭代波函数,其中,迭代波函数包含上轮迭代计算的轮次电荷分布;
步骤4,将首帧离焦图像的迭代波函数根据传递函数传播到不同的离焦图像以得到不同离焦图像的迭代波函数;
步骤5,对当前轮次计算得到的所有离焦图像的迭代波函数包含的电荷分布做归一化处理,以得到当前轮次的轮次电荷分布;
步骤6,将最后一帧离焦图像的迭代波函数更改后,作为首帧离焦图像的迭代波函数,其中,对最后一帧离焦图像的复数波函数的更改包括:
首先,将最后一帧离焦图像的迭代波函数的相位部分保留,振幅用离焦距离下的实际振幅的二倍替代,则迭代波函数更改为:
其中,为更改的迭代波函数,为离焦距离下的实际振幅,由离焦图像获得,|Ψ(x,y)|表示模拟振幅,由迭代波函数得到,表示最后一帧离焦图像的迭代波函数保留的相位;
然后,改变中所有与离焦距离Δf相关的所有量的正负号,即将单纯通过符号变换,转变为-Δf离焦距离下的迭代波函数再将迭代波函数重新传回首帧离焦图像;
步骤7,迭代执行步骤4-步骤6,直到迭代终止,以最后一次迭代计算的电荷分布为最终电荷分布。
2.根据权利要求1所述的基于系列离焦图像的动态电荷观测方法,其特征在于,步骤2中,对系列离焦图像进行漂移矫正,包括:
计算相邻两帧离焦图像的互相关系数矩阵,并提取互相关系数矩阵中的前k大的互相关系数,对互相关系数矩阵中的前k大的互相关系数做平均得到偏移量,并以相邻两帧中的前帧离焦图像为基础,利用计算的偏移量对后帧离焦图像做漂移矫正,以使相邻两帧离焦图像的中心对齐。
3.根据权利要求1所述的基于系列离焦图像的动态电荷观测方法,其特征在于,步骤2中,对系列离焦图像进行边缘填充,包括:
针对每张漂移矫正后的离焦图像,以离焦图像的边缘像素值为基础,采用傅里叶变换的方式,增加与离焦图像真实边缘相关的傅里叶变换震荡衰减区域,实现图像的边缘填充。
4.根据权利要求1所述的基于系列离焦图像的动态电荷观测方法,其特征在于,步骤3中,根据样品下表面的出射波函数和传递函数构建迭代波函数,包括:
首先,给定样品下表面的出射波函数其中样品下表面的出射波函数对对应系列离焦图像中的离焦图像的出射波函数:
其中,表示样品相对于正焦面的空间位置,和分别是振幅和相位,其中,实际振幅从离焦图像中直接得到,即
其次,采用菲涅耳衍射算符的卷积运算,在实空间下计算小角度散射极限下,出射波函数依据传递函数向各离焦面传播,得到对应的复数波函数为:
其中,和分别表示第n帧、第n-1帧离焦图像的复数波函数,表示与透射电子显微镜的物镜孔径允许的最大散射角对应的理想低通滤波器,为透射电子显微镜的传递函数,在忽略除了离焦Δf以外的所有像差,传递函数简单定义为λ为电子束波长,受电压控制,表示离焦图像在傅里叶空间下的像素点的坐标;
最后,根据相位和投影电荷存在泊松方程的关系,将复数波函数转换成迭代波函数
其中,迭代波函数中,下标Δf表示离焦距离,针对首帧离焦图像,Δf=0,上标N为迭代次数,|Ψ(x,y)|表示迭代波函数的模拟振幅,Ψ(x,y)表示复数波函数,等同于复数波函数QN-1(x,y)表示N-1轮次迭代计算的轮次电荷分布,(x,y)表示离焦图像在实空间下的每个像素点的位置坐标,∈0表示电介质常数,CE表示表示与加速电压相关的常数。
5.根据权利要求1所述的基于系列离焦图像的动态电荷观测方法,其特征在于,步骤4中,将首帧离焦图像的迭代波函数根据传递函数传播到不同的离焦图像以得到不同离焦图像的迭代波函数,包括:
在传递过程中,将每个离焦图像的实际振幅带入到迭代波函数中,以得到不同离焦图像的迭代波函数。
6.根据权利要求1所述的基于系列离焦图像的动态电荷观测方法,其特征在于,步骤7中,迭代终止条件包括:
根据模拟振幅和实际振幅的差值来判断,当差值R小于设定第一阈值时,则判定为收敛,迭代终止;
其中,n表示离焦图像的索引,N表示离焦图像的总数,表示样品相对于正焦面的空间位置,表示实际振幅,由离焦图像获得,|Ψ(x,y)|n表示模拟振幅,由迭代波函数获得;
或,比较相邻两轮次最后一帧离焦图像的迭代波函数的振幅差值,当振幅差值小于设定第二阈值时,则判定为收敛,迭代终止。
7.根据权利要求1所述的基于系列离焦图像的动态电荷观测方法,其特征在于,当采用MATLAB对系列离焦图像依次进行漂移矫正和尺寸增大调整时,在对离焦图像进行漂移矫正之前,还需要对离焦图像进行预处理,包括将离焦图像的振幅强度信息转换成像素点单位时间接收的电子数量信息。
8.根据权利要求1所述的基于系列离焦图像的动态电荷观测方法,其特征在于,步骤2中,当利用软件自动对系列离焦图像依次进行漂移矫正后,还进行对离焦图像的手动漂移矫正,通过改变坐标值实现手动漂移矫正。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210434264.2A CN114972189B (zh) | 2022-04-24 | 2022-04-24 | 基于系列离焦图像的动态电荷观测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210434264.2A CN114972189B (zh) | 2022-04-24 | 2022-04-24 | 基于系列离焦图像的动态电荷观测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114972189A CN114972189A (zh) | 2022-08-30 |
CN114972189B true CN114972189B (zh) | 2024-07-05 |
Family
ID=82979102
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210434264.2A Active CN114972189B (zh) | 2022-04-24 | 2022-04-24 | 基于系列离焦图像的动态电荷观测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114972189B (zh) |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2013046277A1 (ja) * | 2011-09-30 | 2013-04-04 | 株式会社日立製作所 | 電子顕微鏡および試料観察方法 |
CN110120068B (zh) * | 2018-02-05 | 2021-11-19 | 湖南大学 | 一种改进的欠焦系列迭代波函数重构方法 |
CN112903121B (zh) * | 2021-03-15 | 2022-04-19 | 浙江大学 | 一种基于交叉迭代自动对焦的波前检测方法 |
-
2022
- 2022-04-24 CN CN202210434264.2A patent/CN114972189B/zh active Active
Non-Patent Citations (1)
Title |
---|
In-plane charged domain walls with memristive behaviour in a ferroelectric film;Zhongran Liu等;《Nature》;20230118;全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN114972189A (zh) | 2022-08-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9312098B2 (en) | Method of examining a sample in a charged-particle microscope | |
EP2963673B1 (en) | Computational scanning microscopy with improved resolution | |
Vulović et al. | Image formation modeling in cryo-electron microscopy | |
EP2738787B1 (en) | Method of performing tomographic imaging of a sample in a charged-particle microscope | |
EP2426559B1 (en) | Device and method for measuring surface charge distribution | |
Saghi et al. | Compressed sensing electron tomography of needle-shaped biological specimens–Potential for improved reconstruction fidelity with reduced dose | |
Müller-Caspary et al. | Comparison of first moment STEM with conventional differential phase contrast and the dependence on electron dose | |
US8644637B2 (en) | Image processing method | |
JP5797446B2 (ja) | 表面電荷分布測定方法および表面電荷分布測定装置 | |
KR102149947B1 (ko) | 투과 전자 현미경 샘플 정렬 시스템 및 방법 | |
JP2010205864A (ja) | 画像形成装置 | |
CN114972189B (zh) | 基于系列离焦图像的动态电荷观测方法 | |
Morgan et al. | Fast deterministic single-exposure coherent diffractive imaging at sub-Ångström resolution | |
Schreiber et al. | Temporal dynamics of charge buildup in cryo-electron microscopy | |
Wang et al. | Transmission electron microscopy | |
JP6163063B2 (ja) | 走査透過電子顕微鏡及びその収差測定方法 | |
US10755891B2 (en) | Systems and methods of aberration correction for atom probe tomography | |
US20230352269A1 (en) | Method and Scanning Transmission Charged-Particle Microscope | |
Ogawa et al. | Time-resolved measurement of the three-dimensional motion of gold nanocrystals in water using diffracted electron tracking | |
Yu | Technique Advances and Applications of Cryo-Electron-Microscopy for the Study of Vitrified Biological Systems | |
de Isidro Gómez | Image processing algorithms for the determination of the optical aberrations o an electron microscope | |
Nicholls | Compressive Sensing Methods and Applications for Electron Microscopy | |
Zheng et al. | Beam-Induced Motion Mechanism and Correction for Improved Cryo-Electron Microscopy and Cryo-Electron Tomography | |
Qiu | Laue Microdiffraction Study of Nanoparticles in Sodium-ion Battery Cathode Materials | |
WO2023061651A1 (en) | Methods of determining aberrations of a charged particle beam, and charged particle beam system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |