CN117115048B - 图像降噪方法、系统以及存储介质、电子设备 - Google Patents
图像降噪方法、系统以及存储介质、电子设备 Download PDFInfo
- Publication number
- CN117115048B CN117115048B CN202311391768.1A CN202311391768A CN117115048B CN 117115048 B CN117115048 B CN 117115048B CN 202311391768 A CN202311391768 A CN 202311391768A CN 117115048 B CN117115048 B CN 117115048B
- Authority
- CN
- China
- Prior art keywords
- image
- images
- noise reduction
- frames
- frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000009467 reduction Effects 0.000 title claims abstract description 82
- 238000000034 method Methods 0.000 title claims abstract description 48
- 238000012549 training Methods 0.000 claims description 71
- 230000000875 corresponding effect Effects 0.000 claims description 48
- 238000000605 extraction Methods 0.000 claims description 33
- 230000004927 fusion Effects 0.000 claims description 15
- 230000006870 function Effects 0.000 claims description 13
- 238000004590 computer program Methods 0.000 claims description 11
- 238000004088 simulation Methods 0.000 claims description 9
- 230000002596 correlated effect Effects 0.000 claims description 3
- 230000000694 effects Effects 0.000 abstract description 13
- 238000012545 processing Methods 0.000 abstract description 8
- 238000010586 diagram Methods 0.000 description 9
- 238000013527 convolutional neural network Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 3
- 230000033001 locomotion Effects 0.000 description 3
- YREOLPGEVLLKMB-UHFFFAOYSA-N 3-methylpyridin-1-ium-2-amine bromide hydrate Chemical compound O.[Br-].Cc1ccc[nH+]c1N YREOLPGEVLLKMB-UHFFFAOYSA-N 0.000 description 2
- 238000003491 array Methods 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000003321 amplification Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000010894 electron beam technology Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T90/00—Enabling technologies or technologies with a potential or indirect contribution to GHG emissions mitigation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Processing (AREA)
Abstract
本申请公开了一种图像降噪方法、系统以及存储介质、电子设备，涉及图像处理技术领域，其中，图像降噪方法包括：获取N帧二次电子图和各所述二次电子图对应的电平移图，其中，所述二次电子图和所述电平移图是扫描电镜进行快扫时得到的，所述电平移图包括对应二次电子图的扫描点对应的位置信息，N为正整数；分别将各帧所述二次电子图及其对应的电平移图在通道维度上进行合并，得到N帧多通道图像；将N帧所述多通道图像输入至预先训练好的降噪模型，输出各帧所述二次电子图对应的降噪图像。该图像降噪方法，可实现更少的叠加帧，更好的降噪效果，并可减少虚影的出现，以及实现实时不定帧降噪。
Description
技术领域
本申请涉及图像处理技术领域，尤其涉及一种图像降噪方法、系统以及存储介质、电子设备。
背景技术
SEM（Scanning Electron Microscope，扫描电镜）中点扫时间越短，图像成像信噪比越低，图像质量越差。然而，为了快速找到样品（如部分核电样品，其连续照射时间不宜过长）的目标特征，往往需要用到快扫（点扫时间短的扫描方式）。为降低快扫带来的高噪声，相关技术中提出帧叠加的技术方案。但该方案存在如下缺陷：
1）当设定的叠加帧较少时，降噪效果往往不明显；
2）当设定叠加帧较多时，会在移动样品过程中产生叠加虚影，难以维持长时间稳定。
发明内容
本申请旨在至少在一定程度上解决相关技术中的技术问题之一。为此，本申请的目的在于提出一种图像降噪方法、系统以及存储介质、电子设备，以实现更少的叠加帧，更好的降噪效果，并减少虚影的出现，以及实现实时不定帧降噪。
第一方面，本申请实施例提出了一种图像降噪方法，所述方法包括：获取N帧二次电子图和各所述二次电子图对应的电平移图，其中，所述二次电子图和所述电平移图是扫描电镜进行快扫时得到的，所述电平移图包括对应二次电子图的扫描点对应的位置信息，N为正整数；分别将各帧所述二次电子图及其对应的电平移图在通道维度上进行合并，得到N帧多通道图像；将N帧所述多通道图像输入至预先训练好的降噪模型，输出各帧所述二次电子图对应的降噪图像。
另外，本申请实施例的图像降噪方法还可以具有如下附加的技术特征：
根据本申请的一个实施例，所述降噪模型包括依次连接的特征提取模块、注意力模块、特征融合模块和图像重建模块，所述多通道图像输入至所述降噪模型后，依次经所述特征提取模块进行特征提取，经所述注意力模块进行提取特征的对齐，经所述特征融合模块进行对齐后特征的融合，经所述图像重建模块进行融合后特征的图像重建。
根据本申请的一个实施例，所述特征提取模块包括M个依次连接的特征提取网络，所述注意力模块包括M个注意力单元，M个所述注意力单元与M个所述特征提取网络一一对应，M为大于等于N的整数，N帧所述多通道图像分别一一对应输入至N个所述特征提取网络中；其中，当N=1时，第N个注意力单元将第N个特征提取网络提取的第N帧多通道图像的特征分别作为查询、键值和值项，进行特征对齐；当N大于1小于等于N时，第N个注意力单元将第N个特征提取网络提取的第N帧多通道图像的特征作为查询，将第N-1个特征提取网络提取的第N-1帧多通道图像的特征作为键值，将第N-1帧融合后的特征作为值项，进行特征对齐。
根据本申请的一个实施例，用于训练所述降噪模型网络的训练数据的获取方式包括：通过所述扫描电镜拍摄得到高清图，作为目标图；对所述目标图进行加噪模拟操作，得到时间序列的噪声图像和各噪声图像对应的位置图像；分别将所述噪声图像及其对应的位置图像在通道维度上进行合并，得到训练样本图像，将多帧训练样本图像和所述目标图组成所述训练数据，其中，所述目标图为对应训练样本图像的标签。
根据本申请的一个实施例，用于训练所述降噪模型网络的训练数据的获取方式包括：通过所述扫描电镜得到目标位置的多帧快扫图，并根据所述目标位置进行模拟操作得到位置图像，其中，所述位置图像包括所述目标位置的位置信息；从多帧所述快扫图中随机选择一帧或多帧，并将选择的快扫图及其对应的位置图像在通道维度上进行合并，得到对应的训练样本图像；对多帧所述快扫图进行叠加生成清晰图，并对所述清晰图进行均值下采样得到目标图，将所述训练样本图像和所述目标图组成训练数据，其中，所述目标图为对应训练样本图像的标签。
根据本申请的一个实施例，在利用所述训练数据对所述降噪模型进行训练之前，还对所述训练数据中的训练样本图像进行图像增强。
根据本申请的一个实施例，训练所述降噪模型所采用的损失函数为加权均方差损失函数，且每帧训练样本图像的权重与对应扫描区域的训练样本图像帧数正相关。
第二方面，本申请实施例提出了一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，实现上述实施例的图像降噪方法。
第三方面，本申请实施例提出了一种电子设备，包括存储器、处理器和存储在所述存储器上的计算机程序，所述计算机程序被所述处理器执行时，实现上述实施例的图像降噪方法。
第四方面，本申请实施例提出了一种图像降噪系统，包括：扫描电镜和上述实施例的电子设备。
本申请实施例的图像降噪方法、系统以及存储介质、电子设备，通过预先训练降噪模型，并将二次电子图对应的电平移图加入到降噪模型处理，可实现更少的叠加帧，更好的降噪效果，并可减少虚影的出现，以及实现实时不定帧降噪。
本申请附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。
附图说明
图1是本申请实施例的图像降噪方法的流程图；
图2是本申请实施例的降噪模型的结构示意图；
图3是本申请一个具体实施例的降噪模型的结构示意图；
图4是本申请一个实施例的得到训练数据的流程图；
图5是本申请另一个实施例的得到训练数据的流程图；
图6是本申请实施例的电子设备的结构框图；
图7是本申请实施例的图像降噪系统的结构框图。
附图说明：
600-电子设备，700-图像降噪系统，800-扫描电镜；
601-处理器，602-总线，603-存储器，604-收发器。
具体实施方式
下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本申请，而不能理解为对本申请的限制。
下面参考附图描述本申请实施例的图像降噪方法、系统以及存储介质、电子设备。
图1是本申请实施例的图像降噪方法的流程图。
如图1所示，图像降噪方法包括：
S101，获取N帧二次电子图和各二次电子图对应的电平移图，其中，二次电子图和电平移图是扫描电镜进行快扫时得到的，电平移图包括对应二次电子图的扫描点对应的位置信息，N为正整数。
具体地，扫描电镜在使用过程中，通过改变电平移值，可以实现对不同区域的扫描，电平移值可以在一定程度上表示样品的位置。本申请的输入采用时间域上的两幅图，一幅是快扫得到的二次电子图，另一幅是电平移图，包含x、y方向的电平移值。
需要说明的是，电平移图是一个W×H×2的值，W×H表示电平移图的大小，2表示x、y两个方向的电平移数值。可以通过控制x、y两个方向的电平移电流实现对电子束的偏转，从而实现对不同区域的扫描。上述电平移数值的获取具有滞后性和不稳定性，并不能准确的表示样品的位置信息，而是在一定程度上表示当前扫描点对应的位置信息，为此，本申请将其作为输入进行网络学习。其中，当没有位移时，电平移数值是两个定值；当出现位移时，电平移数值是沿图像扫描方向的两个连续变化的值。
S102，分别将各帧二次电子图及其对应的电平移图在通道维度上进行合并，得到N帧多通道图像。
具体地，可将二次电子图及其对应的电平移图放在图像的不同通道上合并后进行处理。例如，二次电子图是W×H×1的图，电平移是W×H×2的图，将其合并后得到的是W×H×3的图，进而可直接将W×H×3的图输入降噪模型进行处理，相较于分别对W×H×1的图和W×H×2的图进行处理，可降低降噪模型的结构复杂度。
S103，将N帧多通道图像输入至预先训练好的降噪模型，输出各帧二次电子图对应的降噪图像。
具体地，降噪模型可采用深度学习神经网络，采用二次电子图和电平移图作为输入，通过将电平移值信息加入到网络中，可以让网络更容易的学习到扫描区域移动后的特征，从而可以在样品移动过程中快速稳定，减少虚影的出现，提高扫描点的图像质量。并且，可以实现实时不定帧的降噪，即不限制用于降噪的叠加帧的数量，可以无限的提高图像质量，实现比传统叠加降噪方案更快更好的降噪效果。
在本申请的一些实施例中，如图2所示，降噪模型包括依次连接的特征提取模块、注意力模块、特征融合模块和图像重建模块，多通道图像输入至降噪模型后，依次经特征提取模块进行特征提取，经注意力模块进行提取特征的对齐，经特征融合模块进行对齐后特征的融合，经图像重建模块进行融合后特征的图像重建。
参见图2，网络首先利用特征提取网络对多通道图像进行特征提取，提取到的特征记为f1。而后通过注意力模块实现特征f1的对齐，对齐后的特征记为f2。再通过特征融合模块，将对齐后的特征f2进行特征融合，融合后的特征记为f3。最后，通过图像重建模块根据特征f3重建出对应的降噪后的二次电子图。
其中，特征融合模块可包括多层CNN网络（Convolutional Neural Network，卷积神经网络），如3层CNN网络对f2进行特征融合；图像重建模块可采用Unet网络的部分结构（如后半段）、CNN上采样结构等实现图像重建。
在本申请的一些实施例中，如图3所示，特征提取模块包括M个依次连接的特征提取网络，注意力模块包括M个注意力单元，M个注意力单元与M个特征提取网络一一对应，M为大于等于N的整数，N帧多通道图像分别一一对应输入至N个特征提取网络中。
在该实施例中，当N=1时，第i个注意力单元将第N个特征提取网络提取的第N帧多通道图像的特征分别作为查询、键值和值项，进行特征对齐；当N大于1小于等于N时，第N个注意力单元将第N个特征提取网络提取的第i帧多通道图像的特征作为查询，将第N-1个特征提取网络提取的第N-1帧多通道图像的特征作为键值，将第N-1帧融合后的特征作为值项，进行特征对齐。
其中，特征提取网络可采用RNN网络（Recurrent Neural Network，循环神经网络）。注意力单元可采用dot方式进行对齐处理，得到的特征f2 = dot(key,query)*value，key表示键值，query表示查询，value表示值项，dot( )表示dot方式对应的函数。
具体地，N=1时，说明对一帧二次电子图进行降噪，此时通过底层（即第1层）RNN网络和注意力单元进行处理。N大于1时，N帧二次电子图为时序图像，第N帧二次电子图对应的快扫时间记为t，第N-1帧二次电子图对应的快扫时间记为t-1，以此类推，如图3所示。在对第N帧二次电子图进行降噪处理时，利用当前帧t的特征f1作为query（查询），上一帧t-1的特征f1作为key（键值），由此可以保留两帧图像特征的一致性，让网络更容易学习到两帧图像的共性，特征f3包括上一帧t-1的降噪信息，用特征f3作为value（值项）可以更大程度的保留上一帧的降噪信息，从而实现更好的降噪效果。
在本申请的一些实施例中，如图4所示，用于训练降噪模型网络的训练数据的获取方式包括：
S401，通过扫描电镜拍摄得到高清图，作为目标图。
S402，对目标图进行加噪模拟操作，得到时间序列的噪声图像和各噪声图像对应的位置图像。
S403，分别将噪声图像及其对应的位置图像在通道维度上进行合并，得到多帧训练样本图像，将多帧训练样本图像和目标图组成训练数据，其中，目标图为对应训练样本图像的标签。
在该实施例中，在训练降噪模型时，降噪模型的输入为时间序列图，对高清图进行加噪模拟操作，是指模拟点扫时段的快扫操作，得到低信噪比、低质量的时序的噪声图像及各噪声图像对应的位置图像，其中，加噪模拟操作包括模拟的移动、放大、缩小等操作。为得到更多的训练数据，可重复上述步骤S401~S403，且每次得到的高清图不同。
在本申请的一些实施例中，如图5所示，用于训练降噪模型网络的训练数据的获取方式包括：
S501，通过扫描电镜得到目标位置的多帧快扫图，并根据目标位置进行模拟操作得到位置图像，其中，位置图像包括目标位置的位置信息。
S502，从多帧快扫图中随机选择一帧或多帧，并将选择的快扫图及其对应的位置图像在通道维度上进行合并，得到对应的训练样本图像。
S503，对多帧快扫图进行叠加生成清晰图，并对清晰图进行均值下采样得到目标图，将训练样本图像和目标图组成训练数据，其中，目标图为对应训练样本图像的标签。
在该实施例中，在连续采图（即快扫得到多帧快扫图）后，通过多帧叠加生成信噪比较高的图，再通过均值下采样，生成最终的目标图，尽可能的保证了目标图的高信噪比。为得到更多的训练数据，可重复上述步骤S501~S503，且每次的目标位置不同。
在训练降噪模型时，可采用步骤S401~S403得到的训练数据，也可采用步骤S501~S503得到的训练数据，还可采用步骤S401~S403得到的训练数据和步骤S501~S503得到的训练数据。
在本申请的一些实施例中，在利用训练数据对降噪模型进行训练之前，还对训练数据中的训练样本图像进行图像增强。
具体地，可采用裁剪、翻转或旋转、高斯噪声、色彩抖动、缩放、移位等方式，实现对训练数据中的训练样本图像进行图像增强。通过图像增强，可提高降噪模型的泛化能力，减少或避免降噪模型训练过程中出现过拟合现象。
在本申请的一些实施例中，训练降噪模型所采用的损失函数为加权均方差损失函数，且每帧训练样本图像的权重与对应扫描区域的训练样本图像帧数正相关。
具体地，降噪模型的目标函数采用的是加权MSE（Mean-Square Error，均方误差）损失函数，如下式所示：
其中，表示训练样本图像的总帧数，/>表示第t帧训练样本图像生成的降噪图像，/>表示第t帧训练样本图像的标签，即对应的目标图。在同一个扫描区域，扫描的帧数越多，图像越清晰，对应MSE损失的权重越大，例如，在6个扫描区域分别得到1、2、3、4、5、6帧二次电子图，对应权值可分别设置为1、2、3、4、5、6。由此，可以保证了同一个区域内输入的图像越多，信噪比越高，从而可减少由于信息不足导致的伪特征现象。
为验证本申请方法的效果，进行了实验。实验中设置了多组数据，每组数据的帧数不同，分别采用本申请方法和传统叠加方法进行降噪处理，得到采用本申请方法得到3帧的降噪效果与采用传统叠加方法得到的10帧的降噪效果相当，而且本申请方法相较于传统方法还减少了虚影。
综上，本申请实施例的图像降噪方法，可实现更少的叠加帧，更好的降噪效果；可以实现在移动扫描区间时，减少虚影的出现，提升降噪效果；可以实现实时不定帧的降噪，不需要用户设置叠加的帧数。
基于上述实施例的图像降噪方法，本申请还提出了一种计算机可读存储介质。
在该实施例中，计算机可读存储介质上存储有计算机程序，其特征在于，计算机程序被处理器执行时，实现上述实施例的图像降噪方法。
基于上述实施例的图像降噪方法，本申请还提出了一种电子设备。
图6是本申请实施例的电子设备的结构框图。
如图6所示，电子设备600包括：处理器601和存储器603。其中，处理器601和存储器603相连，如通过总线602相连。可选地，电子设备600还可以包括收发器604。需要说明的是，实际应用中收发器604不限于一个，该电子设备600的结构并不构成对本申请实施例的限定。
处理器601可以是CPU（Central Processing Unit，中央处理器）、通用处理器、DSP（Digital Signal Processor，数据信号处理器），ASIC（Application SpecificIntegrated Circuit，专用集成电路），FPGA（Field Programmable Gate Array，现场可编程门阵列）或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框、模块和电路。处理器601也可以是实现计算功能的组合，例如包含一个或多个微处理器组合，DSP和微处理器的组合等。
总线602可包括一通路，在上述组件之间传送信息。总线602可以是PCI（Peripheral Component Interconnect，外设部件互连标准）总线或EISA（ExtendedIndustry Standard Architecture，扩展工业标准结构）总线等。总线602可以分为地址总线、数据总线、控制总线等。为便于表示，图6中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
存储器603用于存储与本申请上述实施例的图像降噪方法对应的计算机程序，该计算机程序由处理器601来控制执行。处理器601用于执行存储器603中存储的计算机程序，以实现前述方法实施例所示的内容。
其中，电子设备600包括但不限于：笔记本电脑、PAD（平板电脑）等的移动终端，以及诸如数字TV、台式计算机等的固定终端。图6示出的电子设备600仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。
图7是本申请实施例的图像降噪系统的结构框图。
如图7所示，图像降噪系统700包括：扫描电镜800和上述实施例的电子设备600。
其中，扫描电镜800用于在进行快扫时，得到二次电子图和电平移图。电子设备600用于根据二次电子图和电平移图，得到二次电子图的降噪图像。
本申请实施例的图像降噪系统，通过上述的电子设备，可实现更少的叠加帧，更好的降噪效果；可以实现在移动扫描区间时，减少虚影的出现，提升降噪效果；可以实现实时不定帧的降噪，不需要用户设置叠加的帧数。
需要说明的是，在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备（如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统）使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例（非穷尽性列表）包括以下：具有一个或多个布线的电连接部（电子装置），便携式计算机盘盒（磁装置），随机存取存储器（RAM），只读存储器（ROM），可擦除可编辑只读存储器（EPROM或闪速存储器），光纤装置，以及便携式光盘只读存储器（CDROM）。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列（PGA），现场可编程门阵列（FPGA）等。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
在本申请的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”、“顺时针”、“逆时针”、“轴向”、“径向”、“周向”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本申请和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本申请的限制。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本申请的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
在本申请中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系，除非另有明确的限定。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本申请中的具体含义。
在本申请中，除非另有明确的规定和限定，第一特征在第二特征“上”或“下”可以是第一和第二特征直接接触，或第一和第二特征通过中间媒介间接接触。而且，第一特征在第二特征“之上”、“上方”和“上面”可是第一特征在第二特征正上方或斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”可以是第一特征在第二特征正下方或斜下方，或仅仅表示第一特征水平高度小于第二特征。
尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。
Claims (10)
1.一种图像降噪方法，其特征在于，包括：
获取N帧二次电子图和各所述二次电子图对应的电平移图，其中，所述二次电子图和所述电平移图是扫描电镜进行快扫时得到的，所述电平移图包括对应二次电子图的扫描点对应的位置信息，N为正整数；
分别将各帧所述二次电子图及其对应的电平移图在通道维度上进行合并，得到N帧多通道图像；
将N帧所述多通道图像输入至预先训练好的降噪模型，输出各帧所述二次电子图对应的降噪图像。
2.根据权利要求1所述的图像降噪方法，其特征在于，所述降噪模型包括依次连接的特征提取模块、注意力模块、特征融合模块和图像重建模块，所述多通道图像输入至所述降噪模型后，依次经所述特征提取模块进行特征提取，经所述注意力模块进行提取特征的对齐，经所述特征融合模块进行对齐后特征的融合，经所述图像重建模块进行融合后特征的图像重建。
3.根据权利要求2所述的图像降噪方法，其特征在于，所述特征提取模块包括M个依次连接的特征提取网络，所述注意力模块包括M个注意力单元，M个所述注意力单元与M个所述特征提取网络一一对应，M为大于等于N的整数，N帧所述多通道图像分别一一对应输入至N个所述特征提取网络中；其中，
当i=1时，第i个注意力单元将第i个特征提取网络提取的第i帧多通道图像的特征分别作为查询、键值和值项，进行特征对齐；
当i大于1小于等于N时，第i个注意力单元将第i个特征提取网络提取的第i帧多通道图像的特征作为查询，将第i-1个特征提取网络提取的第i-1帧多通道图像的特征作为键值，将第i-1帧融合后的特征作为值项，进行特征对齐。
4.根据权利要求1所述的图像降噪方法，其特征在于，用于训练所述降噪模型网络的训练数据的获取方式包括：
通过所述扫描电镜拍摄得到高清图，作为目标图；
对所述目标图进行加噪模拟操作，得到时间序列的噪声图像和各噪声图像对应的位置图像；
分别将所述噪声图像及其对应的位置图像在通道维度上进行合并，得到训练样本图像，将多帧训练样本图像和所述目标图组成所述训练数据，其中，所述目标图为对应训练样本图像的标签。
5.根据权利要求1所述的图像降噪方法，其特征在于，用于训练所述降噪模型网络的训练数据的获取方式包括：
通过所述扫描电镜得到目标位置的多帧快扫图，并根据所述目标位置进行模拟操作得到位置图像，其中，所述位置图像包括所述目标位置的位置信息；
从多帧所述快扫图中随机选择一帧或多帧，并将选择的快扫图及其对应的位置图像在通道维度上进行合并，得到对应的训练样本图像；
对多帧所述快扫图进行叠加生成清晰图，并对所述清晰图进行均值下采样得到目标图，将所述训练样本图像和所述目标图组成训练数据，其中，所述目标图为对应训练样本图像的标签。
6.根据权利要求4或5所述的图像降噪方法，其特征在于，在利用所述训练数据对所述降噪模型进行训练之前，还对所述训练数据中的训练样本图像进行图像增强。
7.根据权利要求4或5所述的图像降噪方法，其特征在于，训练所述降噪模型所采用的损失函数为加权均方差损失函数，且每帧训练样本图像的权重与对应扫描区域的训练样本图像帧数正相关。
8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，实现根据权利要求1-7中任一项所述的图像降噪方法。
9.一种电子设备，其特征在于，包括存储器、处理器和存储在所述存储器上的计算机程序，所述计算机程序被所述处理器执行时，实现根据权利要求1-7中任一项所述的图像降噪方法。
10.一种图像降噪系统，其特征在于，包括：扫描电镜和根据权利要求9所述的电子设备。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311391768.1A CN117115048B (zh) | 2023-10-25 | 2023-10-25 | 图像降噪方法、系统以及存储介质、电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311391768.1A CN117115048B (zh) | 2023-10-25 | 2023-10-25 | 图像降噪方法、系统以及存储介质、电子设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117115048A CN117115048A (zh) | 2023-11-24 |
| CN117115048B true CN117115048B (zh) | 2024-02-02 |
Family
ID=88811438
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311391768.1A Active CN117115048B (zh) | 2023-10-25 | 2023-10-25 | 图像降噪方法、系统以及存储介质、电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117115048B (zh) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114678244A (zh) * | 2022-03-24 | 2022-06-28 | 南开大学 | 一种超快扫描电子显微镜系统及其应用方法 |
| CN115409712A (zh) * | 2022-09-16 | 2022-11-29 | 西南科技大学 | 一种sicm扫描图像分辨率增强的方法 |
| CN115497793A (zh) * | 2022-10-20 | 2022-12-20 | 国仪量子(合肥)技术有限公司 | 扫描电镜及其控制方法、控制装置和存储介质 |
| CN115984612A (zh) * | 2022-12-19 | 2023-04-18 | 中国海洋石油集团有限公司 | 一种基于图像融合的三维孔隙类型表征方法 |
| CN115984570A (zh) * | 2022-12-30 | 2023-04-18 | 虹软科技股份有限公司 | 一种视频去噪方法、装置、存储介质和电子装置 |
| CN116091317A (zh) * | 2023-02-02 | 2023-05-09 | 苏州大学 | 扫描电镜二次电子图像超分辨方法和系统 |
| CN116773575A (zh) * | 2023-06-08 | 2023-09-19 | 上海大学 | 基于扫描电镜自动获取大尺度宏观试样微观结构信息的高清全景表征方法 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6155137B2 (ja) * | 2013-08-09 | 2017-06-28 | 株式会社日立ハイテクノロジーズ | 走査型電子顕微鏡を用いた処理装置及び処理方法 |
| JP7232911B2 (ja) * | 2018-12-31 | 2023-03-03 | エーエスエムエル ネザーランズ ビー．ブイ． | 電子ビーム画像向上のための完全自動ｓｅｍサンプリングシステム |
-
2023
- 2023-10-25 CN CN202311391768.1A patent/CN117115048B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114678244A (zh) * | 2022-03-24 | 2022-06-28 | 南开大学 | 一种超快扫描电子显微镜系统及其应用方法 |
| CN115409712A (zh) * | 2022-09-16 | 2022-11-29 | 西南科技大学 | 一种sicm扫描图像分辨率增强的方法 |
| CN115497793A (zh) * | 2022-10-20 | 2022-12-20 | 国仪量子(合肥)技术有限公司 | 扫描电镜及其控制方法、控制装置和存储介质 |
| CN115984612A (zh) * | 2022-12-19 | 2023-04-18 | 中国海洋石油集团有限公司 | 一种基于图像融合的三维孔隙类型表征方法 |
| CN115984570A (zh) * | 2022-12-30 | 2023-04-18 | 虹软科技股份有限公司 | 一种视频去噪方法、装置、存储介质和电子装置 |
| CN116091317A (zh) * | 2023-02-02 | 2023-05-09 | 苏州大学 | 扫描电镜二次电子图像超分辨方法和系统 |
| CN116773575A (zh) * | 2023-06-08 | 2023-09-19 | 上海大学 | 基于扫描电镜自动获取大尺度宏观试样微观结构信息的高清全景表征方法 |
Non-Patent Citations (3)
| Title |
|---|
| 3DSEM++:Adaptive and intelligent 3D SEM surface reconstruction;Ahmad P.Tafti 等;Micron;全文 * |
| Resolution enhancement in scanning electron microscopy using deep learning;Kevin de Haan 等;nature;全文 * |
| 基于有限元方法的锆-4合金疲劳断口三维重建;康戈文 等;电子显微学报(第02期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117115048A (zh) | 2023-11-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114549731B (zh) | 视角图像的生成方法、装置、电子设备及存储介质 | |
| CN111242846B (zh) | 基于非局部增强网络的细粒度尺度图像超分辨率方法 | |
| KR20190059157A (ko) | 영상 화질 개선방법 및 그 장치 | |
| CN111815665A (zh) | 基于深度信息与尺度感知信息的单张图像人群计数方法 | |
| Qin et al. | Lightweight hierarchical residual feature fusion network for single-image super-resolution | |
| CN114494174A (zh) | 一种芯片焊接线缺陷检测方法及装置 | |
| Gao et al. | Superfast: 200× video frame interpolation via event camera | |
| CN117115048B (zh) | 图像降噪方法、系统以及存储介质、电子设备 | |
| CN117152019A (zh) | 一种基于双分支特征处理的低照度图像增强方法和系统 | |
| Siriborvornratanakul | Downstream Semantic Segmentation Model for Low‐Level Surface Crack Detection | |
| JPH11261814A (ja) | 画像属性判別システム | |
| KR101979584B1 (ko) | 디인터레이싱 방법 및 장치 | |
| Wang et al. | Stochastic multi-scale aggregation network for crowd counting | |
| CN112907446B (zh) | 一种基于分组连接网络的图像超分辨率重建方法 | |
| KR20190069893A (ko) | 내용 기반 영상 크기 조절 장치 및 방법 | |
| CN113222816A (zh) | 一种超分辨率网络结构、超分模块、设备以及重建方法 | |
| Kouge et al. | Accelerating digital halftoning using the local exhaustive search on the GPU | |
| CN114037843A (zh) | 一种基于改进生成对抗网络的提高水下图像分辨率方法 | |
| CN109146886A (zh) | 一种基于深度密度的rgbd图像语义分割优化方法 | |
| Hu | A Review of Super-Resolution Reconstruction Based on Supervised Learning | |
| CN116310959B (zh) | 一种复杂场景下低质量摄像机画面识别方法及系统 | |
| CN113538536B (zh) | 一种sar图像信息辅助的遥感光学图像浓云检测方法及系统 | |
| US20160196646A1 (en) | Ultrasonic imaging method and apparatus | |
| CN113436087B (zh) | 一种图像二值化及显示方法、存储介质和终端设备 | |
| US20240169695A1 (en) | Image reconstructing method and image generation training method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CP03 | Change of name, title or address |
Address after: 230088 floor 1-4, zone a, building E2, phase II, innovation industrial park, No. 2800, innovation Avenue, high tech Zone, Hefei, Anhui Province Patentee after: Guoyi Quantum Technology (Hefei) Co.,Ltd. Country or region after: China Address before: 230088 floor 1-4, zone a, building E2, phase II, innovation industrial park, No. 2800, innovation Avenue, high tech Zone, Hefei, Anhui Province Patentee before: Guoyi Quantum (Hefei) Technology Co.,Ltd. Country or region before: China |
|
| CP03 | Change of name, title or address |