CN116091317A - 扫描电镜二次电子图像超分辨方法和系统 - Google Patents
扫描电镜二次电子图像超分辨方法和系统 Download PDFInfo
- Publication number
- CN116091317A CN116091317A CN202310052289.0A CN202310052289A CN116091317A CN 116091317 A CN116091317 A CN 116091317A CN 202310052289 A CN202310052289 A CN 202310052289A CN 116091317 A CN116091317 A CN 116091317A
- Authority
- CN
- China
- Prior art keywords
- super
- image
- resolution
- feature extraction
- sem image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 68
- 238000001878 scanning electron micrograph Methods 0.000 claims abstract description 73
- 238000000605 extraction Methods 0.000 claims abstract description 72
- 238000005070 sampling Methods 0.000 claims abstract description 29
- 238000012549 training Methods 0.000 claims abstract description 23
- 238000012545 processing Methods 0.000 claims abstract description 19
- 230000006870 function Effects 0.000 claims description 22
- 238000004590 computer program Methods 0.000 claims description 13
- 239000000284 extract Substances 0.000 claims description 8
- 238000003860 storage Methods 0.000 claims description 6
- 230000004913 activation Effects 0.000 claims description 5
- 238000012360 testing method Methods 0.000 claims description 5
- 230000003321 amplification Effects 0.000 claims description 3
- 230000004927 fusion Effects 0.000 claims description 3
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 15
- 239000000523 sample Substances 0.000 description 14
- 230000000694 effects Effects 0.000 description 12
- 238000003384 imaging method Methods 0.000 description 9
- 238000011156 evaluation Methods 0.000 description 6
- 239000002086 nanomaterial Substances 0.000 description 5
- 101100247599 Hordeum vulgare RCAB gene Proteins 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 241000272186 Falco columbarius Species 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 230000007423 decrease Effects 0.000 description 3
- 238000010894 electron beam technology Methods 0.000 description 3
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical compound [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 description 2
- 238000002679 ablation Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 238000013398 bayesian method Methods 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 229910052799 carbon Inorganic materials 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 239000002070 nanowire Substances 0.000 description 2
- 238000013486 operation strategy Methods 0.000 description 2
- BASFCYQUMIYNBI-UHFFFAOYSA-N platinum Chemical compound [Pt] BASFCYQUMIYNBI-UHFFFAOYSA-N 0.000 description 2
- 238000011084 recovery Methods 0.000 description 2
- HPTJABJPZMULFH-UHFFFAOYSA-N 12-[(Cyclohexylcarbamoyl)amino]dodecanoic acid Chemical compound OC(=O)CCCCCCCCCCCNC(=O)NC1CCCCC1 HPTJABJPZMULFH-UHFFFAOYSA-N 0.000 description 1
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 241001156002 Anthonomus pomorum Species 0.000 description 1
- RYGMFSIKBFXOCR-UHFFFAOYSA-N Copper Chemical compound [Cu] RYGMFSIKBFXOCR-UHFFFAOYSA-N 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000012472 biological sample Substances 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000011109 contamination Methods 0.000 description 1
- 239000011889 copper foil Substances 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000005669 field effect Effects 0.000 description 1
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 description 1
- 239000010931 gold Substances 0.000 description 1
- 229910052737 gold Inorganic materials 0.000 description 1
- 238000011065 in-situ storage Methods 0.000 description 1
- 229910052751 metal Inorganic materials 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 150000002739 metals Chemical class 0.000 description 1
- 239000002048 multi walled nanotube Substances 0.000 description 1
- 239000002105 nanoparticle Substances 0.000 description 1
- 239000002071 nanotube Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 239000008188 pellet Substances 0.000 description 1
- 229910052697 platinum Inorganic materials 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000002109 single walled nanotube Substances 0.000 description 1
- WFKWXMTUELFFGS-UHFFFAOYSA-N tungsten Chemical compound [W] WFKWXMTUELFFGS-UHFFFAOYSA-N 0.000 description 1
- 229910052721 tungsten Inorganic materials 0.000 description 1
- 239000010937 tungsten Substances 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 230000004304 visual acuity Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10056—Microscopic image
- G06T2207/10061—Microscopic image from scanning electron microscope
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Biophysics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Analysing Materials By The Use Of Radiation (AREA)
Abstract
本发明涉及一种扫描电镜二次电子图像超分辨方法和系统,方法包括获取SEM图像数据集;构建超分辨网络模型,使用SEM图像数据集对超分辨网络模型进行训练,得到训练好的最优模型参数,加载最优模型参数供SEM图像进行超分辨率处理,获得超分辨率处理后的SEM图像;超分辨网络模型包括浅层特征提取单元、深层特征提取单元、上采样单元和图像重建单元,首先使用浅层特征提取单元对输入的SEM图像进行浅层特征提取,然后经过深层特征提取单元提取深层特征,最后通过上采样单元和图像重建单元对SEM图像进行放大和重建。本发明能够使得图像更加清晰的同时提高分辨率,尤其是样品边缘与内部的细节特征明显增多,图像质量有较为明显的提升。
Description
技术领域
本发明涉及图像处理技术领域,尤其是指一种扫描电镜二次电子图像超分辨方法和系统。
背景技术
扫描电子显微镜(SEM)作为微纳结构形貌表征与微纳材料机械、电学性能原位表征的仪器设备,具有实时性、非接触性、纳米级分辨率、高真空性以及良好的扩充性等优势,在微纳结构形貌的精确表征、机械及电学性能表征和目标样品的3D形貌恢复等领域广泛使用。扫描电子显微镜的分辨率实际上是空间分辨力,其指能分辨出细节差异的的最大“能力”,即两个物体之间的最小距离。显微镜将原先的物体放大成图像便于观察,物与像的尺寸关系可通过放大倍数来衡量,放大倍数被定义为像宽度L与物宽度l的比值,即M=L/l。对于SEM而言,不仅在样品上的扫描宽度会跟图像的显示宽度存在放大倍数M的关系,样品像素l物和图像像素L像的大小也可以用式l_物=L_像/M表示,通过增大L像或者缩小l物,放大倍数理论上可以无限大。一般L像的尺寸随显示器的大小是固定的,往往改变l物来改变放大倍数。但是考虑到样品特征和扫描电镜的分辨能力,l存在下限。随着放大率的增加,样本像素之间的间距(nm/像素)减小,在某一点上,束斑直径将大于间距,导致所谓的过采样。当这种情况发生时,从每个像素获得的信息将不再是该像素独有的,并且显示的图像将变得模糊。
目前提升扫描电镜图像质量的方法通常采取以下要点:1)在硬件上通过持续减小束斑直径以带来更好的分辨率,同时不过于牺牲束流;为获取更好的信噪比优势还要增加扫描时间。2)在软件上采用PSF方法结合贝叶斯方法对图像进行锐化,同时不引入伪像,图像恢复降低了成像对束斑的要求,大束斑也可以形成清晰的图像。通过图像恢复,碳膜上金纳米颗粒在低加速电压非减速模式时,可以实现减速模式或者高加速电压的图像效果。结合了维纳滤波、贝叶斯方法等可以对图像进行恢复。但是上述要点1)仍面临许多限制。首先,亮度方程反映出的束流和束斑的矛盾没有得到根本解决,束流本身也难以同时兼顾衬度阈值和分辨率。其次,当面对生物样品等电子束敏感样品时,通过增加驻留时间来改善图像的信噪比可能导致样品漂移,污染和损伤。同时硬件的提升伴随着成本的巨大提升且受到物理条件的限制。且上述要点2)需要测量或估算点扩散函数(PSF)。
综合以上技术不难发现现有的技术还存在较大的问题,通过硬件升级改造,不断提升扫描电镜束斑直径固然可以从根本上提高分辨率的问题,但是一方面受限于现有技术的限制,短时间难以进一步提高;另一方面,硬件的升级需要耗费大量的成本,难以大面积推广应用;而从软件方面来说,维纳滤波等方法估计PSF函数针对某一特定设备固定成像参数下的二次电子图像有效,不具有泛化性,效率较低。因此,迫切需要提供一种扫描电镜二次电子图像超分辨方法以克服现有技术存在的上述技术缺陷。
发明内容
为此,本发明所要解决的技术问题在于克服现有技术中存在的技术缺陷,而提出一种扫描电镜二次电子图像超分辨方法和系统,其能够使得图像更加清晰的同时提高分辨率,尤其是样品边缘与内部的细节特征明显增多,图像质量有较为明显的提升。
为解决上述技术问题,本发明提供了一种扫描电镜二次电子图像超分辨方法,包括:
获取SEM图像数据集;
构建超分辨网络模型,使用所述SEM图像数据集对所述超分辨网络模型进行训练,得到训练好的最优模型参数,加载最优模型参数以供SEM图像进行超分辨率处理,获得超分辨率处理后的SEM图像;
其中,所述超分辨网络模型包括浅层特征提取单元、深层特征提取单元、上采样单元和图像重建单元,使用所述浅层特征提取单元对输入的SEM图像进行浅层特征提取,经过所述深层特征提取单元提取深层特征,并通过所述上采样单元和图像重建单元对SEM图像进行放大和重建。
在本发明的一个实施例中,获取SEM图像数据集的方法,包括:
采集不同分辨率的SEM图像,对所述SEM图像进行数据扩增处理,并将处理后的SEM图像划分为训练集和测试集。
在本发明的一个实施例中,在采集不同分辨率的SEM图像时,扫描电镜的工作参数保持一致。
在本发明的一个实施例中,使用所述浅层特征提取单元对输入的SEM图像进行浅层特征提取的方法,包括:
浅层特征提取单元从输入的SEM图像中提取浅层特征为:
FSF=HSF(ILR)
其中,HSF表示浅层特征提取的卷积运算,FSF表示卷积运算操作后提取的特征。
在本发明的一个实施例中,经过所述深层特征提取单元提取深层特征的方法,包括:
将浅层特征提取单元提取的特征作为深层特征提取单元的输入,深层特征提取单元从输入的特征中提取深层特征为:
FDF=HDF(FSF)+FSF=HCW(HRB1...,RBg(FSF))+FSF
其中,HDF表示高频信息提取层,HRB1...,RBg表示高频信息提取层中的g个残差组,HCM表示注意力组,其将FSF与HDF(FSF)进行拼接融合形成高频提取特征。
在本发明的一个实施例中,所述高频信息提取层包括残差卷积组、1X1的卷积层+relu激活函数和CBAM注意力模块。
在本发明的一个实施例中,通过所述上采样单元和图像重建单元对SEM图像进行放大和重建的方法,包括:
将深层特征提取单元提取的高频提取特征输入至所述上采样单元和图像重建单元,通过所述上采样单元和图像重建单元对SEM图像进行放大和重建为:
ISR=HR(FUP)=HR(HUP(FDF))
其中,HUP表示上采样单元,FUP表示经过上采样后的特征图,HR表示图像重建单元,其包括一1x1的卷积层。
此外,本发明还提供一种扫描电镜二次电子图像超分辨系统,包括:
数据获取模块,所述数据获取模块用于获取SEM图像数据集;
超分辨网络模型训练模块,构建超分辨网络模型,所述超分辨网络模型训练模块用于使用所述SEM图像数据集对所述超分辨网络模型进行训练,得到训练好的最优模型参数,加载最优模型参数以供SEM图像进行超分辨率处理,获得超分辨率处理后的SEM图像;
其中,所述超分辨网络模型包括浅层特征提取单元、深层特征提取单元、上采样单元和图像重建单元,使用所述浅层特征提取单元对输入的SEM图像进行浅层特征提取,经过所述深层特征提取单元提取深层特征,并通过所述上采样单元和图像重建单元对SEM图像进行放大和重建。
并且,本发明还提供一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现上述所述方法的步骤。
还有,本发明还提供一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现上述所述方法的步骤。
本发明的上述技术方案相比现有技术具有以下优点:
1、本发明所述的一种扫描电镜二次电子图像超分辨方法和系统,其能够使得图像更加清晰的同时提高分辨率,尤其是样品边缘与内部的细节特征明显增多,图像质量有较为明显的提升;该方法超分辨后的图像PSNR为25.82,SSIM 0.8462,明显优于bicbic(PSNR24.25,SSIM 0.6541)、lesrcnn(PSNR 25.013,SSIM 0.7859)和SR-SEMNet1(PSNR 25.14,SSIM 0.8136)效果;
2、本发明所述的一种扫描电镜二次电子图像超分辨方法和系统,其能够在不同的设备上进行部署使用,具有很大的灵活性与便携性,针对不同场景下的微纳目标的二次电子图像具有泛化行,使用对象广泛,能够协助纳米目标的选取,优化了微纳操作策略,提高了操作效率。
3、本发明所使用的方法所需时间在7毫秒左右,能够实时在线处理扫描电子二次电子图像,计算速度较快,且无需在SEM仓室内放置额外物理设备或改造其成像系统,适用性较强。
附图说明
为了使本发明的内容更容易被清楚的理解,下面根据本发明的具体实施例并结合附图,对本发明作进一步详细的说明,其中
图1是本发明实施例提出的部分SEMPIC数据集的示意图。
图2是本发明实施例提出的超分辨网络模型一实施例的结构示意图。
图3是本发明实施例提出的超分辨网络模型另一实施例的结构示意图。
图4为本发明实施例提出的一种扫描电镜二次电子图像超分辨方法的具体流程示意图。
图5为本发明实施例提出的不同扫描速度下采集的探针二次电子图像示意图。
图6为本发明实施例提出的不同扫描速度下的二次电子图像的PSNR示意图。
图7为本发明实施例提出的不同扫描速度下的二次电子图像采集时间示意图。
图8为本发明实施例提出的不同扫描速度下的二次电子图像清晰度评价结果示意图。
图9为本发明实施例提出的不同res_blocks对PSNR/SSIM的影响。
图10为本发明实施例提出的不同res_blocks对参数量运行时间的影响。
图11为本发明实施例提出的不同损失函数对PSNR/SSIM的影响。
图12为本发明实施例提出的不同损失函数对PSNR/SSIM运行时间的影响。
图13为本发明实施例提出的Urban100数据集2倍超分比较图,其中,(a)HRimage(b)Bicubic(c)SeifEx(d)SRCNN(e)CARN-M(f)LESRCNN(g)SR-SEM Net1(h)SR-SEMNet2。
图14为本发明实施例提出的SEMPIC图像比较图。
具体实施方式
下面结合附图和具体实施例对本发明作进一步说明,以使本领域的技术人员可以更好地理解本发明并能予以实施,但所举实施例不作为对本发明的限定。
本发明提出了一种扫描电镜二次电子图像超分辨方法,该方法针对SEM的成像机理和工作环境所具有的特点,利用双二次电子探测器采集了CNT、棋盘格、钨针、TIO2小球等微纳结构样品图像,将采集的图像进行预处理,制作成SEMPIC数据集以供网络模型训练。具体为获取SEM图像数据集;构建超分辨网络模型,使用所述SEM图像数据集对所述超分辨网络模型进行训练,得到训练好的最优模型参数,加载最优模型参数以供SEM图像进行超分辨率处理,获得超分辨率处理后的SEM图像,从而提高SEM二次电子图像的质量与分辨率。
本发明所述的一种扫描电镜二次电子图像超分辨方法和系统,其能够使得图像更加清晰的同时提高分辨率,尤其是样品边缘与内部的细节特征明显增多,图像质量有较为明显的提升。
首先基于Zeiss MERLIN Compact SEM获取本发明所需的数据集。Carl ZeissMERLIN Compact SEM场发射电镜,其中安装在GEMINI镜筒中的Inlens探测器是目前唯一置于电子束光路上的二次电子探测器,有着极优异的成像质量,最高分辨率0.8nm;除了Inlens探测器MERLIN Compact SEM还有第二个二次电子探测器SE2,以及背散射电子探测器AsB。本发明使用该SEM对不同的微纳实验材料样品在不同的成像参数下和电子探测器下采集实验图像样本。微纳材料类型有:(1)微纳米尺度的金属及其氧化物样品,如铜箔片、铂纳米线、TiO2球体颗粒、AFM探针等;(2)半导体材料样品,单壁碳纳米管、多壁碳纳米管、纳米管团簇、三维场效应管芯片等;(3)微纳操作过程图像,如碳纳米线的拔取、搬运、机械与电学性能表征、新型三维电子器件的组装等。
综合考虑时间、PSNR、清晰度等指标的结果。本发明使用了SPEED4作为SEM的扫描速度参数。分别使用SE2和InLens探测器对二次电子进行了采集成像,一共采集了500组SEM图像,每一组共包含8张SEM图像,并将其划分为SEMPIC数据集如表1所示,本发明以512*384组图像作为低分辨率输入图像,分别设置1024*768、2346*1534、4096*3072的图像组作为HR(ground truth)图像。其中部分SEMPIC数据集如图1所示。
表1
上述所述超分辨网络模型的具体结构如图2和图3所示,其均包括浅层特征提取单元、深层特征提取单元、上采样单元和图像重建单元,首先使用所述浅层特征提取单元对输入的SEM图像进行浅层特征提取,然后经过所述深层特征提取单元提取深层特征,最后通过所述上采样单元和图像重建单元对SEM图像进行放大和重建。
其中,图2所示为超分辨网络模型一实施例的结构示意图,首先,将低分辨图像ILR作为网络输入,将超分辨图像ISR作为输出。浅层特征提取单元从输入的SEM图像中提取浅层特征为:
FSF=HSF(ILR)
其中,HSF表示浅层特征提取的卷积运算,FSF表示卷积运算操作后提取的特征。
然后将浅层特征提取单元提取的特征作为深层特征提取单元的输入,深层特征提取单元从输入的特征中提取深层特征为:
FDF=HDF(FSF)+FSF=HCM(HRB1...,RBg(FSF))+FSF
其中,HDF表示高频信息提取层,高频信息提取层包括残差卷积组、1X1的卷积层+relu激活函数和CBAM注意力模块,HRB1...,RBg表示高频信息提取层中的g个残差组,HCM表示注意力组,其通过一个长跳跃连接将FSF与HDF(FSF)进行拼接融合形成高频提取特征。
最后将深层特征提取单元提取的高频提取特征输入至所述上采样单元和图像重建单元,通过所述上采样单元和图像重建单元对SEM图像进行放大和重建为:
ISR=HR(FUP)=HR(HUP(FDF))
其中,HUP表示上采样单元,FUP表示经过上采样后的特征图,HR表示图像重建单元,其包括一1x1的卷积层。作为优选地,本发明可以选择子像素卷积单元作为本模型的上采样单元。
还有,图3所示为超分辨网络模型另一实施例的结构示意图,首先,将低分辨图像ILR作为网络输入,将超分辨图像ISR作为输出。浅层特征提取单元从输入的SEM图像中提取浅层特征为:
FSF=HSF(ILR)
其中,HSF表示浅层特征提取的卷积运算,FSF表示卷积运算操作后提取的特征。
然后将浅层特征提取单元提取的特征作为深层特征提取单元的输入,深层特征提取单元从输入的特征中提取深层特征为:
FDF=HDF(FSF)=HCM(HC(FDF1)+HC(FDF2)+FDF2)
其中,HDF1和HDF2表示残差模块,通过一个残差组和短跳跃连接组成,HRB表示高频信息提取层中的残差组,HC表示1X1的卷积层+激活函数relu,HCM代表注意力组,HDF表示高频信息提取层,高频信息提取层包括残差卷积组、1X1的卷积层+relu激活函数和CBAM注意力模块。
最后将深层特征提取单元提取的高频提取特征输入至所述上采样单元和图像重建单元,通过所述上采样单元和图像重建单元对SEM图像进行放大和重建为:
ISR=HR(FUP)=HR(HUP(FDF))
其中,HUP表示上采样单元,FUP表示经过上采样后的特征图,HR表示图像重建单元,其包括一1x1的卷积层。作为优选地,本发明可以选择子像素卷积单元作为本模型的上采样单元。
本发明所述的一种扫描电镜二次电子图像超分辨方法和系统,其能够在不同的设备上进行部署使用,具有很大的灵活性与便携性,针对不同场景下的微纳目标的二次电子图像具有泛化行,使用对象广泛,能够协助纳米目标的选取,优化了微纳操作策略,提高了操作效率。
本发明所使用的方法所需时间在7毫秒左右,能够实时在线处理扫描电子二次电子图像,计算速度较快,且无需在SEM仓室内放置额外物理设备或改造其成像系统,适用性较强。
请参照图4所示,下面对扫描电镜电子图像进行超分辨过程进行展示,以期对本发明作更详细的描述。
首先选取了具有代表性的样品进行了不同分辨下的图像采集,电镜的工作参数如下:加速电压为5kV,扫描速度为Speed4、工作距离设定为8mm。对比度和亮度根据图像效果自动调节,但是保证整个采集环节参数一致性。
工作参数中的扫描速度对SEM图像的成像质量有着一定的影响,speed值越大,其电子束在每一个像素点的驻留时间越长,所能反映的信号细节越丰富,本发明分别使用speed2-10对同一个AFM探针进行了采集,采集图像如图5所示。由图5可知,随着扫描速度的提升,图像的噪点越少,高频信息越多,画面越清晰。本发明使用PSNR对该组图像进行评价,评价结果如图6所示,由图6可证明speed值与PSNR成正比例,适当的提高扫描速度对成像是有帮助的。但是随着分辨率的提升和speed值的增加,所耗费的时间往往是难以承受的,如图7所示。
本发明使用Tenengrad和Brenner函数对speed2-10采集的图像进行清晰度评价,如图8所示,评价值从0-1,1代表最高,0代表不清晰。从清晰度角度来看,速度4和速度7的效果是较为优异的。
然后使用unbutu18.04操作系统,在NVIDIA GeForce RTX 2080Ti GPU上对超分辨网络模型进行训练,深度学习框架为PyTorch框架,PyTorch版本为1.8,CUDA版本为11.1。使用Adam优化器进行优化,β1=0.9,β2=0.99,初始学习率为0.0001,150个epoch后学习率采用指数衰减策略,共训练200个epoch。Batch_size设置为64,patch_size设置为64。训练集使用了公开的DIV2K数据集和本发明制作的SEM图像训练集。测试集使用了Urban100数据集。为了增加有效数据集数量,本发明使用裁剪、翻转等数据扩增方法。训练过程共花费33小时。整个SEM图像超分实验可以分为三个步骤:SEM数据集的准备、模型的训练、模型输出结果和评价。
为了与其他的超分辨网络进行比较,本发明首先使用DIV2K作为训练集,使用公共的基准数据集urban100作为验证集评估模型的性能,对提出的网络模型进行了消融分析,选取了当前领先的一些超分辨模型在主观和客观方面进行了比较,以体现本发明提出的超分辨网络模型的性能。接着本发明使用所建立的SEM图像数据集进行了训练,体现本发明超分辨网络模型在SEM图像方面的作用。最后本发明选取训练好的模型参数进行部署,以在实际的工作环境中进行实时超分辨。本发明使用了超分辨通用的PSNR/SSIM指标测试评价超分辨网络模型的性能。峰值信噪比(PSNR)是评估去噪图像与相应真实值之间的相似性。值越大,去噪效果越好。SSIM是衡量两幅图像相似性的指标。当两幅图像相同时,其值等于1。这些指标的定义和计算方法如下:
A:消融分析
本发明研究了网络中Res_blocks、CBAM及不同损失函数对模型性能的影响。测试集是Urban100。超分倍数是2。模型训练了200个epochs。
其中对照组设置如下表2所示,:
a):以LESRCNN为基础网络结构作为基准网络(Baseline1);
b):仅将Baseline1中的IEEB模块替换为RCAB模块、将IRB模块替换为1x1conv;
c):改变RCAB模块中的res_block模块数量5、10、15、20、25、30、35、40;
d):在b)基础上加上CBAM模块即为SR-SEMNet1;
e):以SR-feat为基础网络结构作为基准网络(Baseline2);
f):仅将Baseline2中的Residualblocks替换为RCAB模块,将3x3conv替换为1x1conv;
g):在f)基础上加上CBAM模块即为SR-SEMNet2;
h):改变RCAB模块中的res_block模块数量5、10、15、20、25、30、35、40。
表2
如图9至图12所示,更多的res_blocks对提高图像的PSNR/SSIM是有益的。因此表明这种方案类型适合本发明。同时,随着res_blocks的增加,网络的深度也在进一步的加深,这不可不免的增加了网络的参数和计算量,本发明计算了不同的res_blocks对推理时间的影响,总体上随着参数的增加,推理时间也逐渐的增加。考虑到性能和参数数量之间的平衡,在最终的模型中,本发明选择了res_blocks为20。
本发明也对损失函数的选择做了同样的实验,以res_blocks为20的网络为例,SmoothL1表现出更优异的性能,同时在推理时间上也比L1损失较快,SmoothL1是MSE和L1的结合,MSE损失函数对x的导数为常数,在训练后期,x很小时,如果learning rate不变,损失函数会在稳定值附近波动,很难收敛到更高的精度。L2损失函数对x的导数在x值很大时,其导数也非常大,在训练初期不稳定。smooth L1完美的避开了和L2损失的缺点。因此本发明选用SmoothL1函数作为网络的损失函数。
对于注意力机制,为了证明其效果,本发明将该模块从网络中移除。在如图所示,Urban100上的PSNR值显著降低,这表明注意力模块可以改善原始网络的性能,并且该结构对深度网络是有效的。
B:主客观评价
本发明将SR-SEMNet与最新的超分网络进行了比较:SRCNN、FSRCNN、VDSR、LapSRN、MemNet、DRCN、LESRCNN。如图13所示,选取了图中所示区域的放大细节,从主观人眼上看,本发明所提出的超分辨网络模型具有更多的细节,图像更清晰,边缘结构保留的完整,相比其他方法更接近原始真实图,纹理自然平滑,没有伪影,锯齿等现象。
不同网络的评价如表3所示,本发明所提出的方法优于大多数现有方法,其在X2、X3、X4上的PSNR和SSIM上评分都优于之前的方法,本发明提出的SR-SEMNet2网络性能效果取得了最高的评价,次佳的为SR-SEMNet1网络。本发明的方法相比LESRCNN在PSNR上提高了2.72%,在SSIM上提高了1.77%。
表3
C:运行时间及参数量
本发明列举了上述算法VDSR、MenNet、CARN-M、LESRCNN等对输入尺寸为256X256图像的推理时间,如表4所示。所提出的深度学习算法模型需要提前训练,训练时间与模型设计和计算机操作环境有关。训练后的模型不需要任何参数调整选项,可以直接用于SEM图像的超分辨,并充分利用GPU的性能,加快运行时间。本发明提出的SR-SEMNet1和SR-SEMNET2相对其他网络所需要的时间明显更少。SR-SEMNET2相比SR-SEMNET1的参数量略多,因此推理时间较长一些,但仍满足实时的要求。
表4
D:模型在SEM图像数据集上的结果
本发明使用SEMPIC数据集进行评价,挑选了传统的BICUBIC方法和性能次优的LESRCNN网络进行对比。PSNR与SSIM结果如表5所示。我们提出了SR-SEMNet2网络取得了最为优异的结果。SR-SEMNet2相比bicubic在PSNR上提升6.47%,在SSIM上提升29.36%。SR-SEMNet2相比LESRCNN在PSNR上提升3.90%,在SSIM上提升7.67%。
表5
bicubic | lesrcnn | SR-SEMNet1 | SR-SEMNet2 | |
PSNR | 24.25 | 24.85 | 25.14 | 25.82 |
SSIM | 0.6541 | 0.7859 | 0.8136 | 0.8462 |
本发明挑选了如图14所示的棋盘格图像作为比较,bicubic重建的方格噪点较多。LESRCNN相对模糊,SR-SEMNet2获得了更贴近原图的结构,重构的细节更丰富,方格更加真实,与目标高分辨率图像更接近。
相应于上述方法的实施例,本发明还提供一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现上述所述方法的步骤。
还有,本发明还提供一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现上述所述方法的步骤。
下面对本发明实施例公开的一种扫描电镜二次电子图像超分辨系统进行介绍,下文描述的一种扫描电镜二次电子图像超分辨系统与上文描述的一种扫描电镜二次电子图像超分辨方法可相互对应参照。
本发明实施例还提供一种扫描电镜二次电子图像超分辨系统,包括:
数据获取模块,所述数据获取模块用于获取SEM图像数据集;
超分辨网络模型训练模块,构建超分辨网络模型,所述超分辨网络模型训练模块用于使用所述SEM图像数据集对所述超分辨网络模型进行训练,得到训练好的最优模型参数,加载最优模型参数以供SEM图像进行超分辨率处理,获得超分辨率处理后的SEM图像;
其中,所述超分辨网络模型包括浅层特征提取单元、深层特征提取单元、上采样单元和图像重建单元,首先使用所述浅层特征提取单元对输入的SEM图像进行浅层特征提取,然后经过所述深层特征提取单元提取深层特征,最后通过所述上采样单元和图像重建单元对SEM图像进行放大和重建。
本实施例的扫描电镜二次电子图像超分辨系统用于实现前述的扫描电镜二次电子图像超分辨方法,因此该系统的具体实施方式可见前文中的扫描电镜二次电子图像超分辨方法的实施例部分,所以,其具体实施方式可以参照相应的各个部分实施例的描述,在此不再展开介绍。
另外,由于本实施例的扫描电镜二次电子图像超分辨系统用于实现前述的扫描电镜二次电子图像超分辨方法,因此其作用与上述方法的作用相对应,这里不再赘述。
本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然,上述实施例仅仅是为清楚地说明所作的举例,并非对实施方式的限定。对于所属领域的普通技术人员来说,在上述说明的基础上还可以做出其它不同形式变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引申出的显而易见的变化或变动仍处于本发明创造的保护范围之中。
Claims (10)
1.一种扫描电镜二次电子图像超分辨方法,其特征在于:包括:
获取SEM图像数据集;
构建超分辨网络模型,使用所述SEM图像数据集对所述超分辨网络模型进行训练,得到训练好的最优模型参数,加载最优模型参数以供SEM图像进行超分辨率处理,获得超分辨率处理后的SEM图像;
其中,所述超分辨网络模型包括浅层特征提取单元、深层特征提取单元、上采样单元和图像重建单元,使用所述浅层特征提取单元对输入的SEM图像进行浅层特征提取,经过所述深层特征提取单元提取深层特征,并通过所述上采样单元和图像重建单元对SEM图像进行放大和重建。
2.根据权利要求1所述的一种扫描电镜二次电子图像超分辨方法,其特征在于:获取SEM图像数据集的方法,包括:
采集不同分辨率的SEM图像,对所述SEM图像进行数据扩增处理,并将处理后的SEM图像划分为训练集和测试集。
3.根据权利要求2所述的一种扫描电镜二次电子图像超分辨方法,其特征在于:在采集不同分辨率的SEM图像时,扫描电镜的工作参数保持一致。
4.根据权利要求1所述的一种扫描电镜二次电子图像超分辨方法,其特征在于:使用所述浅层特征提取单元对输入的SEM图像进行浅层特征提取的方法,包括:
浅层特征提取单元从输入的SEM图像中提取浅层特征为:
FSF=HSF(ILR)
其中,HSF表示浅层特征提取的卷积运算,FSF表示卷积运算操作后提取的特征。
5.根据权利要求4所述的一种扫描电镜二次电子图像超分辨方法,其特征在于:经过所述深层特征提取单元提取深层特征的方法,包括:
将浅层特征提取单元提取的特征作为深层特征提取单元的输入,深层特征提取单元从输入的特征中提取深层特征为:
FDF=HDF(FSF)+FSF=HCM(HRB1...,RBg(FSF))+FSF
其中,HDF表示高频信息提取层,HRB1...,RBg表示高频信息提取层中的g个残差组,HCM表示注意力组,其将FSF与HDF(FSF)进行拼接融合形成高频提取特征。
6.根据权利要求5所述的一种扫描电镜二次电子图像超分辨方法,其特征在于:所述高频信息提取层包括残差卷积组、1X1的卷积层+relu激活函数和CBAM注意力模块。
7.根据权利要求5所述的一种扫描电镜二次电子图像超分辨方法,其特征在于:通过所述上采样单元和图像重建单元对SEM图像进行放大和重建的方法,包括:
将深层特征提取单元提取的高频提取特征输入至所述上采样单元和图像重建单元,通过所述上采样单元和图像重建单元对SEM图像进行放大和重建为:
ISR=HR(FUP)=HR(HUP(FDF))
其中,HUP表示上采样单元,FUP表示经过上采样后的特征图,HR表示图像重建单元,其包括一1x1的卷积层。
8.一种扫描电镜二次电子图像超分辨系统,其特征在于:包括:
数据获取模块,所述数据获取模块用于获取SEM图像数据集;
超分辨网络模型训练模块,构建超分辨网络模型,所述超分辨网络模型训练模块用于使用所述SEM图像数据集对所述超分辨网络模型进行训练,得到训练好的最优模型参数,加载最优模型参数以供SEM图像进行超分辨率处理,获得超分辨率处理后的SEM图像;
其中,所述超分辨网络模型包括浅层特征提取单元、深层特征提取单元、上采样单元和图像重建单元,使用所述浅层特征提取单元对输入的SEM图像进行浅层特征提取,经过所述深层特征提取单元提取深层特征,并通过所述上采样单元和图像重建单元对SEM图像进行放大和重建。
9.一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于:所述处理器执行所述程序时实现权利要求1至7任一项所述方法的步骤。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于:该程序被处理器执行时实现权利要求1至7任一项所述方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310052289.0A CN116091317A (zh) | 2023-02-02 | 2023-02-02 | 扫描电镜二次电子图像超分辨方法和系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310052289.0A CN116091317A (zh) | 2023-02-02 | 2023-02-02 | 扫描电镜二次电子图像超分辨方法和系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116091317A true CN116091317A (zh) | 2023-05-09 |
Family
ID=86211713
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310052289.0A Pending CN116091317A (zh) | 2023-02-02 | 2023-02-02 | 扫描电镜二次电子图像超分辨方法和系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116091317A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117115048A (zh) * | 2023-10-25 | 2023-11-24 | 国仪量子(合肥)技术有限公司 | 图像降噪方法、系统以及存储介质、电子设备 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20190287761A1 (en) * | 2017-12-18 | 2019-09-19 | Fei Company | Method, device and system for remote deep learning for microscopic image reconstruction and segmentation |
CN110826467A (zh) * | 2019-11-22 | 2020-02-21 | 中南大学湘雅三医院 | 一种电子显微镜图像重建系统及其方法 |
CN114022392A (zh) * | 2021-11-19 | 2022-02-08 | 南京林业大学 | 用于单幅图像去雾的串行注意增强UNet++去雾网络 |
CN114677281A (zh) * | 2022-04-12 | 2022-06-28 | 西南石油大学 | 一种基于生成对抗网络的fib-sem超分辨率算法 |
CN114972024A (zh) * | 2022-05-13 | 2022-08-30 | 山西大学 | 一种基于图表示学习的图像超分辨率重建装置及方法 |
WO2023000179A1 (zh) * | 2021-07-20 | 2023-01-26 | Oppo广东移动通信有限公司 | 视频超分辨网络及视频超分辨、编解码处理方法、装置 |
-
2023
- 2023-02-02 CN CN202310052289.0A patent/CN116091317A/zh active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20190287761A1 (en) * | 2017-12-18 | 2019-09-19 | Fei Company | Method, device and system for remote deep learning for microscopic image reconstruction and segmentation |
CN110826467A (zh) * | 2019-11-22 | 2020-02-21 | 中南大学湘雅三医院 | 一种电子显微镜图像重建系统及其方法 |
WO2023000179A1 (zh) * | 2021-07-20 | 2023-01-26 | Oppo广东移动通信有限公司 | 视频超分辨网络及视频超分辨、编解码处理方法、装置 |
CN114022392A (zh) * | 2021-11-19 | 2022-02-08 | 南京林业大学 | 用于单幅图像去雾的串行注意增强UNet++去雾网络 |
CN114677281A (zh) * | 2022-04-12 | 2022-06-28 | 西南石油大学 | 一种基于生成对抗网络的fib-sem超分辨率算法 |
CN114972024A (zh) * | 2022-05-13 | 2022-08-30 | 山西大学 | 一种基于图表示学习的图像超分辨率重建装置及方法 |
Non-Patent Citations (3)
Title |
---|
GUANGYI ZHANG ET AL: "A Light-Weight Convolutional Neural Network for Super-Resolving SEM Images to Enhance Real-Time Micro-Nano Manipulation", 2023 INTERNATIONAL SYMPOSIUM ON MICRO-NANOMEHATRONICS AND HUMAN SCIENCE, 20 November 2023 (2023-11-20), pages 1 - 6, XP034597264, DOI: 10.1109/MHS59931.2023.10510102 * |
PRIYA KANSAL ET AL: "A Multi-Level Supervision Model: A novel approach for Thermal Image Super Rsolution", 2020 CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION WORKSHOPS, 28 July 2020 (2020-07-28), pages 1 - 6 * |
王孝天 等: "基于多尺度融合的图像超分辨率重建", 控制工程, vol. 29, no. 9, 15 September 2022 (2022-09-15), pages 1573 - 1579 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117115048A (zh) * | 2023-10-25 | 2023-11-24 | 国仪量子(合肥)技术有限公司 | 图像降噪方法、系统以及存储介质、电子设备 |
CN117115048B (zh) * | 2023-10-25 | 2024-02-02 | 国仪量子(合肥)技术有限公司 | 图像降噪方法、系统以及存储介质、电子设备 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
de Haan et al. | Resolution enhancement in scanning electron microscopy using deep learning | |
Yang et al. | Low-dose x-ray tomography through a deep convolutional neural network | |
Hovden et al. | Extended depth of field for high-resolution scanning transmission electron microscopy | |
US20210321963A1 (en) | Systems and methods for enhanced imaging and analysis | |
US20080292135A1 (en) | Method and Device For Reconstructing Images | |
Dahmen et al. | Feature adaptive sampling for scanning electron microscopy | |
CN116091317A (zh) | 扫描电镜二次电子图像超分辨方法和系统 | |
Zhang et al. | Correction of out-of-focus microscopic images by deep learning | |
Hwang et al. | Towards the low-dose characterization of beam sensitive nanostructures via implementation of sparse image acquisition in scanning transmission electron microscopy | |
US20090070089A1 (en) | Method of Analyzing Cell or the Like Having Linear Shape, Method of Analyzing Nerve Cell and Apparatus and Program for Performing These Methods | |
EP3979297A1 (en) | Depth reconstruction for 3d images of samples in a charged particle system | |
Lifshin et al. | Improving scanning electron microscope resolution for near planar samples through the use of image restoration | |
Stuckner et al. | Ultra-fast electron microscopic imaging of single molecules with a direct electron detection camera and noise reduction | |
Li et al. | PURE-LET deconvolution of 3D fluorescence microscopy images | |
CN116068468B (zh) | 时域系统矩阵联合x-space的MPI重建方法 | |
Potocek et al. | Sparse scanning electron microscopy data acquisition and deep neural networks for automated segmentation in connectomics | |
US20220051400A1 (en) | Systems, methods, and media for automatically transforming a digital image into a simulated pathology image | |
Bhandary et al. | Double U-Net for Super-Resolution and Segmentation of Live Cell Images | |
Wieslander et al. | TEM image restoration from fast image streams | |
CN113191949B (zh) | 多尺度超分辨率病理图像数字化方法、系统及存储介质 | |
KR102591860B1 (ko) | 누락된 원뿔 아티팩트를 제거하기 위한 비지도 학습 기반 뉴럴 네트워크를 이용한 단층촬영영상 처리 방법 및 그 장치 | |
Okamoto et al. | Patch-based artifact reduction for three-dimensional volume projection data of sparse-view micro-computed tomography | |
CA2955331C (en) | Extended field iterative reconstruction technique (efirt) for correlated noise removal | |
CN110852945B (zh) | 一种生物样本高分辨率图像获取方法 | |
Lin et al. | SEM resolution improvement using semi-blind restoration with hybrid L1-L2 regularization |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |