CN112819739B - 一种扫描电子显微镜图像处理方法和系统 - Google Patents
一种扫描电子显微镜图像处理方法和系统 Download PDFInfo
- Publication number
- CN112819739B CN112819739B CN202110116084.5A CN202110116084A CN112819739B CN 112819739 B CN112819739 B CN 112819739B CN 202110116084 A CN202110116084 A CN 202110116084A CN 112819739 B CN112819739 B CN 112819739B
- Authority
- CN
- China
- Prior art keywords
- image
- electron microscope
- scanning electron
- denoising
- adopting
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 18
- 238000001000 micrograph Methods 0.000 claims abstract description 72
- 230000004927 fusion Effects 0.000 claims abstract description 57
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 28
- 238000000034 method Methods 0.000 claims abstract description 28
- 238000003708 edge detection Methods 0.000 claims abstract description 14
- 230000006870 function Effects 0.000 claims description 36
- 239000013598 vector Substances 0.000 claims description 11
- 230000001629 suppression Effects 0.000 claims description 10
- 230000004913 activation Effects 0.000 claims description 9
- 230000003044 adaptive effect Effects 0.000 claims description 9
- 238000000354 decomposition reaction Methods 0.000 claims description 8
- 238000009499 grossing Methods 0.000 claims description 8
- 238000001914 filtration Methods 0.000 claims description 7
- 230000005764 inhibitory process Effects 0.000 claims description 5
- 238000000605 extraction Methods 0.000 claims description 2
- 239000000284 extract Substances 0.000 abstract description 2
- 238000003384 imaging method Methods 0.000 description 7
- 239000000126 substance Substances 0.000 description 7
- 238000004458 analytical method Methods 0.000 description 4
- 238000010894 electron beam technology Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000009466 transformation Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 239000000654 additive Substances 0.000 description 1
- 230000000996 additive effect Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 201000009310 astigmatism Diseases 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000008033 biological extinction Effects 0.000 description 1
- 238000009960 carding Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 230000005670 electromagnetic radiation Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 239000002086 nanomaterial Substances 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 229920006395 saturated elastomer Polymers 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 238000012876 topography Methods 0.000 description 1
- WFKWXMTUELFFGS-UHFFFAOYSA-N tungsten Chemical compound [W] WFKWXMTUELFFGS-UHFFFAOYSA-N 0.000 description 1
- 229910052721 tungsten Inorganic materials 0.000 description 1
- 239000010937 tungsten Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G06T5/70—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10056—Microscopic image
- G06T2207/10061—Microscopic image from scanning electron microscope
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20021—Dividing image into blocks, subimages or windows
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Abstract
本发明涉及一种扫描电子显微镜图像处理方法和系统。该扫描电子显微镜图像处理方法利用Canny边缘检测算法对待处理的扫描电子显微镜图像进行边缘检测，提取图像的边缘信息；利用小波阈值去噪法对待处理的扫描电子显微镜图像进行去噪处理，提取图像去噪后的特征；然后结合图像的边缘特征和小波去噪特征，进行特征融合后输入到卷积神经网络中，利用卷积神经网络进行梳理，使得到的处理后的图像的成像更清晰、细节更丰富。
Description
技术领域
本发明涉及图像处理技术领域，特别是涉及一种扫描电子显微镜图像处理方法和系统。
背景技术
扫描电子显微镜(以下简称扫描电镜)主要用来对微纳米尺度的结构进行观察与分析，其工作原理可概述为：首先需要通过对钨灯丝施加高电压使其不断激发出电子，并通过束流磁场将激发的电子束缚成一束高能电子束流击打在被测样品表面，并在一个环形扫描线圈构成的磁场作用下对样品表面进行扫描。当电子束流击打物质表面时，在击打位置根据击打深度会激发出多种类型的电子，如二次电子、背散射电子、俄歇电子、持征X射线等，此外，还能产生电磁福射、电子空穴对等。不同类型的电子信号携带有关于物质表面不同深度层的信息，通过不同的探测器接收这些信号并处理后可得到有关物质的各种信息，如表面形貌图像(二次电子)、物质的构成成分差异图像(背散射电子)、物质化学成分分析(X射线)等。最初的扫描电镜只是使用荧光屏等媒介观察样品表面形貌，而随着计算机技术的迅猛发展，目前扫描电镜已经可利用计算机技术来存储所测量的图像，并可对图像信息进行后续的分析和处理。
由于其成像信息是来自入射电子与物质相互作用所产生的各种信息，而入射电子本身具有一定的波动性，加以在成像过程中还存在各种降低图像质量的因素，如透镜的球像差、像散、外界震动、电噪音、统计涨落噪音、以及在镜筒和显像管中电子束扫描的非线性等，结果使图像质量降低，因此，必须对其图像进行去噪处理。目前，在扫描电镜系统中配备的图像处理软件主要包括灰度直方图处理、粒度分析、二值化分析、小波变换技术等，小波阈值去噪法对于去除图像中的相干斑噪声有显著的效果，然而现有的去噪算法都会对图像的边缘信息造成损失，边缘是图像最基本的特征，它是图像区域和另一个区域的交界处，是图像信息最突出的地方。
因此，现有技术的图像去噪处理过程存在成像不清晰、细节模糊等问题。
发明内容
为解决现有技术存在的上述问题，本发明提供了一种扫描电子显微镜图像处理方法和系统。
为实现上述目的，本发明提供了如下方案：
一种扫描电子显微镜图像处理方法，包括：
获取待处理的扫描电子显微镜图像；
采用Canny边缘检测算子对所述待处理的扫描电子显微镜图像进行边缘特征提取，得到边缘特征信息图像；
采用小波阈值去噪算法对所述待处理的扫描电子显微镜图像进行去噪处理，得到去噪图像；
采用特征融合算法将所述边缘特征信息图像和所述去噪图像进行特征融合，得到特征融合图像；
获取卷积神经网络模型；所述卷积神经网络模型的激活函数为ReLU函数；
以所述特征融合图像为所述卷积神经网络模型的输入，得到处理后的扫描电子显微镜图像。
优选地，所述采用Canny边缘检测算子对所述待处理的扫描电子显微镜图像进行边缘特征提取，得到边缘特征信息图像，具体包括：
采用高斯滤波算法对所述待处理的扫描电子显微镜图像进行高斯平滑处理，得到高斯平滑图像；
确定所述高斯平滑图像中像素点梯度的幅值和方向后，得到初始边缘特征信息图像；
采用非极大值抑制算法对所述初始边缘特征信息图像进行抑制处理，得到所述边缘特征信息图像。
优选地，所述采用小波阈值去噪算法对所述待处理的扫描电子显微镜图像进行去噪处理，得到去噪图像，具体包括：
采用所述小波阈值去噪算法中的软阈值函数去除所述待处理的扫描电子显微镜图像中的相干斑噪声，得到初始去噪图像；
采用Coif4基函数对所述初始去噪图像进行小波分解和重构，得到所述去噪图像。
优选地，所述采用特征融合算法将所述边缘特征信息图像和所述去噪图像进行特征融合，得到特征融合图像，具体包括：
将所述边缘特征信息图像和所述去噪图像均按照第一设定窗口划分为图像块；
按照设定选取窗口选择所述图像块，并确定所选择图像块中灰度值的欧式距离；
根据所述欧氏距离确定与所选择图像块相似的图像块，并将与所选择图像块相似的图像块按列向量排列，得到结构组；
获取组稀疏表示模型；
基于所述组稀疏表示模型采用自适应字典学习方法对所述结构组进行学习，得到每一所述结构组的自适应字典；
采用分裂Bregman迭代算法根据所述自适应字典进行特征融合，得到所述特征融合图像。
优选地，所述组稀疏表示模型为：
x＝DGαG；
式中，x为结构组，DG为结构组的自适应字典的合并，αG为稀疏向量的合并。
优选地，所述第一设定窗口的大小为8×8；所述设定选取窗口的大小为32×32；所述结构组的大小为64×64。
根据本发明提供的具体实施例，本发明公开了以下技术效果：
本发明提供的扫描电子显微镜图像处理方法，利用Canny边缘检测算法对待处理的扫描电子显微镜图像进行边缘检测，提取图像的边缘信息；利用小波阈值去噪法对待处理的扫描电子显微镜图像进行去噪处理，提取图像去噪后的特征；然后结合图像的边缘特征和小波去噪特征，进行特征融合后输入到卷积神经网络中，利用卷积神经网络进行梳理，使得到的处理后的图像的成像更清晰、细节更丰富。
对应于上述提供的扫描电子显微镜图像处理方法，本发明还提供了如下虚拟系统：
一种扫描电子显微镜图像处理系统，包括：
扫描电子显微镜图像获取模块，用于获取待处理的扫描电子显微镜图像；
边缘特征信息图像确定模块，用于采用Canny边缘检测算子对所述待处理的扫描电子显微镜图像进行边缘特征提取，得到边缘特征信息图像；
去噪图像确定模块，用于采用小波阈值去噪算法对所述待处理的扫描电子显微镜图像进行去噪处理，得到去噪图像；
特征融合图像确定模块，用于采用特征融合算法将所述边缘特征信息图像和所述去噪图像进行特征融合，得到特征融合图像；
卷积神经网络模型获取模块，用于获取卷积神经网络模型；所述卷积神经网络模型的激活函数为ReLU函数；
图像处理模块，用于以所述特征融合图像为所述卷积神经网络模型的输入，得到处理后的扫描电子显微镜图像。
优选地，所述边缘特征信息图像确定模块具体包括：
高斯平滑图像确定单元，用于采用高斯滤波算法对所述待处理的扫描电子显微镜图像进行高斯平滑处理，得到高斯平滑图像；
初始边缘特征信息图像确定单元，用于确定所述高斯平滑图像中像素点梯度的幅值和方向后，得到初始边缘特征信息图像；
边缘特征信息图像确定单元，用于采用非极大值抑制算法对所述初始边缘特征信息图像进行抑制处理，得到所述边缘特征信息图像。
优选地，所述去噪图像确定模块具体包括：
初始去噪图像确定单元，用于采用所述小波阈值去噪算法中的软阈值函数去除所述待处理的扫描电子显微镜图像中的相干斑噪声，得到初始去噪图像；
去噪图像确定单元，用于采用Coif4基函数对所述初始去噪图像进行小波分解和重构，得到所述去噪图像。
优选地，所述特征融合图像确定模块具体包括：
图像块划分单元，用于将所述边缘特征信息图像和所述去噪图像均按照第一设定窗口划分为图像块；
欧氏距离确定单元，用于按照设定选取窗口选择所述图像块，并确定所选择图像块中灰度值的欧式距离；
结构组确定单元，用于根据所述欧氏距离确定与所选择图像块相似的图像块，并将与所选择图像块相似的图像块按列向量排列，得到结构组；
组稀疏表示模型获取单元，用于获取组稀疏表示模型；
自适应字典确定单元，用于基于所述组稀疏表示模型采用自适应字典学习方法对所述结构组进行学习，得到每一所述结构组的自适应字典；
特征融合图像确定单元，用于采用分裂Bregman迭代算法根据所述自适应字典进行特征融合，得到所述特征融合图像。
本发明提供的扫描电子显微镜图像处理系统与上述提供的扫描电子显微镜图像处理方法所达到的技术效果相同，在此不再进行赘述。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明提供的扫描电子显微镜图像处理方法的流程图；
图2为本发明提供的扫描电子显微镜图像处理方法的实现原理图；
图3为本发明实施例提供的对待处理扫描电子显微镜图像进行边缘特征提取的算法流程图；
图4为本发明实施例提供的对待处理扫描电子显微镜图像进行图像去噪的算法流程图；
图5为本发明提供的扫描电子显微镜图像处理系统的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的目的是提供一种扫描电子显微镜图像处理方法和系统，以能够避免信息损失，在提高成像清晰度的同时，使成像更加完整、具体。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
图1为本发明提供的扫描电子显微镜图像处理方法的流程图，图2为本发明提供的扫描电子显微镜图像处理方法的实现原理图。如图1和图2所示，本发明提供的扫描电子显微镜图像处理方法，包括：
步骤100：获取待处理的扫描电子显微镜图像。
步骤101：采用Canny边缘检测算子对待处理的扫描电子显微镜图像进行边缘特征提取，得到边缘特征信息图像。如图3所示，步骤101具体包括：
步骤1011：采用高斯滤波算法对待处理的扫描电子显微镜图像进行高斯平滑处理，得到高斯平滑图像。具体的，对于输入的图像，利用高斯滤波，与图像进行卷积运算，以平滑图像，如公式(1)。
其中，σ为其标准差，可以控制图像的平滑程度。
步骤1012：确定高斯平滑图像中像素点梯度的幅值和方向后，得到初始边缘特征信息图像。具体的，图像的边缘点是灰度值发生突然变化的像素点，因此需要找出图像中像素点的灰度值变化。如果把灰度值用二元函数值表示，那么灰度值的变化可以用二元函数的“导数”，即梯度来表示。图像可以看做是离散的二维数据，可以利用差分值来计算其导数，即两个像素点灰度值之差。对于每一个像素点，均有上下左右斜对角相邻的8像素点，Canny算法使用四个算子与图像进行卷积运算来计算梯度，从而检测图像中的水平、垂直边缘。
其中梯度的幅值与方向计算公式分别为(2)、(3)式。
式中，Ex和Ey分别为原始图像沿高斯滤波器行和列卷积之后的结果。
步骤1013：采用非极大值抑制算法对初始边缘特征信息图像进行抑制处理，得到边缘特征信息图像。具体的，在确定初始边缘特征信息图像之后，所提取到的边缘较粗，因此需要抑制那些梯度不够大的像素点，只保留最大的梯度，从而达到细化边缘的目的。该抑制过程的具体做法为：将当前像素点的梯度大小[幅值M(x,y)的值]分别与正负梯度方向点以及同方向其他点的梯度大小进行比较。如果当前点的梯度大小是最大的(与同一图像中的其他像素点的梯度进行比较)，则保留该点。否则抑制，即设为0。经过非极大值抑制处理之后的边缘宽度明显减小，消除了杂散响应。
步骤102：采用小波阈值去噪算法对待处理的扫描电子显微镜图像进行去噪处理，得到去噪图像。如图4所示，步骤102具体包括：
步骤1021：采用小波阈值去噪算法中的软阈值函数去除待处理的扫描电子显微镜图像中的相干斑噪声，得到初始去噪图像。
步骤1022：采用Coif4基函数对初始去噪图像进行小波分解和重构，得到去噪图像。
具体的，将输入图像中的相干斑噪声可以建模为乘性噪声，如公式(4)：
f(i,j)＝g(i,j)*n(i,j) 公式(4)
其中，g(i,j)为原图像，表示图像中像素(i,j)点处的灰度值，n(i,j)为服从均值为零，单位方差的高斯白噪声，f(i,j)为添加噪声后的图像。
首先对f(i,j)进行对数变换，将乘性噪声变为加性噪声，如公式(5)：
In(f(i,j))＝In(g(i,j))+In(n(i,j)) 公式(5)
可以写作公式(6)
y(i,j)＝x(i,j)+n(i,j) 公式(6)
对y(i,j)进行二维小波分解，可以将图像分解为四个子带，包含一个低频子带及三个高频子带，且噪声主要分布在高频子带，高频子带对应的小波系数较小。分别对高频子带的小波系数进行阈值化处理，得到小波系数估计值，最后利用小波基函数进行重建，得到去噪后的图像。
步骤103：采用特征融合算法将边缘特征信息图像和去噪图像进行特征融合，得到特征融合图像。进行特征融合时保存了原始图像的特征信息，增加了图像的特征。步骤103具体包括：
步骤1031：将边缘特征信息图像和去噪图像均按照第一设定窗口划分为图像块。具体的，用n×n的窗口将原始图像划分为S个图像块XK，K＝1,2,…S，窗口之间是相互重叠的。在本发明中，优选将两个图像按8×8的窗口大小划分成图像块，窗口之间相互重叠，重叠长度为7。
步骤1032：按照设定选取窗口选择图像块，并确定所选择图像块中灰度值的欧式距离。具体的，在m×m的选取窗口，选择一个初始块XK，在选取窗口中利用图像块的灰度值计算出欧氏距离。在本发明中，设定选取窗口的大小优选设置为32×32。这样确定得到的结构组的大小为64×64。
步骤1033：根据欧氏距离确定与所选择图像块相似的图像块，并将与所选择图像块相似的图像块按列向量排列，得到结构组。具体的，选择c个跟XK最相似的图像块，每个图像块按列向量排列，然后将c个图像块用矩阵形式排列成 这样所求出来的结构组既不用在所有图像块中寻找，又能够在提高计算效率的同时，保证每个结构组都能够体现图像的自相似性。
步骤1034：获取组稀疏表示模型。采用组稀疏表示模型，能够在提高融合后图像分辨率的同时，减少光谱畸变。本发明中提供的组稀疏表示模型的构建方法具体包括：
组稀疏模型假设每个结构组能够被一个自适应学习的组字典中的几个原子进行精确表示。设每一个结构组对应的组字典为/>在/>下的稀疏表示过程中求的一个稀疏向量/>于是可得公式(7)。
为了方便表示，用DGαG表示因此整幅图像x的组稀疏表示模型可以用公式(8)表示：
x＝DGαG 公式(8)
其中x等于DG表示/>的合并，αG表示/>的合并。
步骤1035：基于组稀疏表示模型采用自适应字典学习方法对结构组进行学习，得到每一结构组的自适应字典。即，采用自适应字典学习方法进行字典学习。进行该操作能够降低计算复杂度的同时，便于针对每一个结构组进行字典学习。具体的，
首先对每个结构组进行奇异值分解：
那么定义字典中每个原子等于：
和/>分别表示/>和/>的列向量，GK表示含有特征信息的矩阵，即Gk＝{k1,k2,k3,…kc}。这样就得到每个结构组的自适应字典，并且只用进行一次SVD分解，大大提高了计算效率。而且字典中任意原子相互正交，更利于稳定准确的进行稀疏编码求解。
步骤1036：采用分裂Bregman迭代算法根据自适应字典进行特征融合，得到特征融合图像。具体的，
利用分裂Bregman迭代(split Bregman iteration,SBI)算法求解高空间分辨率的图像，如公式(11)。
表示函数或矩阵的复合，P为0或1。通过交替优化DG和αG来分别求解，就可以重构出高分辨率图像。
步骤104：获取卷积神经网络模型。卷积神经网络模型的激活函数为ReLU函数。
步骤105：以特征融合图像为卷积神经网络模型的输入，得到处理后的扫描电子显微镜图像。卷积运算如公式(12)
其中，为第l层第p个训练样本的特征图像素值，/>表示第l层的卷积核，u和v表示其步长，/>为偏置，/>为第l-1层的特征图，/>为第l-1层的输入映射，f为当前层激活函数。常见的激活函数有sigmoid、tanh以及ReLU函数。
本发明采用的ReLU函数是一种连续但不处处可微的激活函数，也是目前最为受欢迎的激活函数，如公式(13)。
f(x)＝max(0,x) 公式(13)
ReLU函数能够在一定程度上缓解梯度消失，因为它在x＜0时硬饱和，x＞0时导数为1，能够消除梯度衰减。并且ReLU函数可以更加快速的达到收敛，进而能够提高神经网络的稀疏表达能力。
对应于上述提供的扫描电子显微镜图像处理方法，本发明还提供了一种扫描电子显微镜图像处理系统，如图5所示，该扫描电子显微镜图像处理系统包括：扫描电子显微镜图像获取模块1、边缘特征信息图像确定模块2、去噪图像确定模块3、特征融合图像确定模块4、卷积神经网络模型获取模块5和图像处理模块6。
其中，扫描电子显微镜图像获取模块1用于获取待处理的扫描电子显微镜图像。
边缘特征信息图像确定模块2用于采用Canny边缘检测算子对待处理的扫描电子显微镜图像进行边缘特征提取，得到边缘特征信息图像。
去噪图像确定模块3用于采用小波阈值去噪算法对待处理的扫描电子显微镜图像进行去噪处理，得到去噪图像。
特征融合图像确定模块4用于采用特征融合算法将边缘特征信息图像和去噪图像进行特征融合，得到特征融合图像。
卷积神经网络模型获取模块5用于获取卷积神经网络模型。卷积神经网络模型的激活函数为ReLU函数。
图像处理模块6用于以特征融合图像为卷积神经网络模型的输入，得到处理后的扫描电子显微镜图像。
作为本发明的一优选实施例，上述边缘特征信息图像确定模块2具体包括：高斯平滑图像确定单元、初始边缘特征信息图像确定单元和边缘特征信息图像确定单元。
其中，高斯平滑图像确定单元用于采用高斯滤波算法对待处理的扫描电子显微镜图像进行高斯平滑处理，得到高斯平滑图像。
初始边缘特征信息图像确定单元用于确定高斯平滑图像中像素点梯度的幅值和方向后，得到初始边缘特征信息图像。
边缘特征信息图像确定单元用于采用非极大值抑制算法对初始边缘特征信息图像进行抑制处理，得到边缘特征信息图像。
作为本发明的另一优选实施例，上述去噪图像确定模块3具体包括：初始去噪图像确定单元和去噪图像确定单元。
其中，初始去噪图像确定单元用于采用小波阈值去噪算法中的软阈值函数去除待处理的扫描电子显微镜图像中的相干斑噪声，得到初始去噪图像。
去噪图像确定单元用于采用Coif4基函数对初始去噪图像进行小波分解和重构，得到去噪图像。
作为本发明的又一优选实施例，上述特征融合图像确定模块4具体包括：图像块划分单元、欧氏距离确定单元、结构组确定单元、组稀疏表示模型获取单元、自适应字典确定单元和特征融合图像确定单元。
其中，图像块划分单元用于将边缘特征信息图像和去噪图像均按照第一设定窗口划分为图像块。
欧氏距离确定单元用于按照设定选取窗口选择图像块，并确定所选择图像块中灰度值的欧式距离。
结构组确定单元用于根据欧氏距离确定与所选择图像块相似的图像块，并将与所选择图像块相似的图像块按列向量排列，得到结构组。
组稀疏表示模型获取单元用于获取组稀疏表示模型。
自适应字典确定单元用于基于组稀疏表示模型采用自适应字典学习方法对结构组进行学习，得到每一结构组的自适应字典。
特征融合图像确定单元用于采用分裂Bregman迭代算法根据自适应字典进行特征融合，得到特征融合图像。
综上，本发明提供的扫描电子显微镜图像处理方法和系统，分别利用Canny边缘检测算法对图像进行边缘检测，提取图像的边缘信息。利用小波阈值去噪法对图像进行去噪处理，提取图像去噪后的特征。然后结合图像的边缘特征和小波去噪特征，进行特征融合后输入到卷积神经网络中，利用卷积神经网络进行梳理，能够在避免信息损失的同时，使成像更清晰，成像细节更丰富。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上，本说明书内容不应理解为对本发明的限制。
Claims (8)
1.一种扫描电子显微镜图像处理方法，其特征在于，包括：
获取待处理的扫描电子显微镜图像；
采用Canny边缘检测算子对所述待处理的扫描电子显微镜图像进行边缘特征提取，得到边缘特征信息图像；
采用小波阈值去噪算法对所述待处理的扫描电子显微镜图像进行去噪处理，得到去噪图像；
采用特征融合算法将所述边缘特征信息图像和所述去噪图像进行特征融合，得到特征融合图像；
获取卷积神经网络模型；所述卷积神经网络模型的激活函数为ReLU函数；
以所述特征融合图像为所述卷积神经网络模型的输入，得到处理后的扫描电子显微镜图像；
所述采用特征融合算法将所述边缘特征信息图像和所述去噪图像进行特征融合，得到特征融合图像，具体包括：
将所述边缘特征信息图像和所述去噪图像均按照第一设定窗口划分为图像块；
按照设定选取窗口选择所述图像块，并确定所选择图像块中灰度值的欧氏距离；
根据所述欧氏距离确定与所选择图像块相似的图像块，并将与所选择图像块相似的图像块按列向量排列，得到结构组；
获取组稀疏表示模型；
基于所述组稀疏表示模型采用自适应字典学习方法对所述结构组进行学习，得到每一所述结构组的自适应字典；
采用分裂Bregman迭代算法根据所述自适应字典进行特征融合，得到所述特征融合图像。
2.根据权利要求1所述的扫描电子显微镜图像处理方法，其特征在于，所述采用Canny边缘检测算子对所述待处理的扫描电子显微镜图像进行边缘特征提取，得到边缘特征信息图像，具体包括：
采用高斯滤波算法对所述待处理的扫描电子显微镜图像进行高斯平滑处理，得到高斯平滑图像；
确定所述高斯平滑图像中像素点梯度的幅值和方向后，得到初始边缘特征信息图像；
采用非极大值抑制算法对所述初始边缘特征信息图像进行抑制处理，得到所述边缘特征信息图像。
3.根据权利要求1所述的扫描电子显微镜图像处理方法，其特征在于，所述采用小波阈值去噪算法对所述待处理的扫描电子显微镜图像进行去噪处理，得到去噪图像，具体包括：
采用所述小波阈值去噪算法中的软阈值函数去除所述待处理的扫描电子显微镜图像中的相干斑噪声，得到初始去噪图像；
采用Coif4基函数对所述初始去噪图像进行小波分解和重构，得到所述去噪图像。
4.根据权利要求1所述的扫描电子显微镜图像处理方法，其特征在于，所述组稀疏表示模型为：
；
式中，x为结构组，为结构组的自适应字典的合并，/>为稀疏向量的合并。
5.根据权利要求1所述的扫描电子显微镜图像处理方法，其特征在于，所述第一设定窗口的大小为8×8；所述设定选取窗口的大小为32×32；所述结构组的大小为64×64。
6.一种扫描电子显微镜图像处理系统，其特征在于，包括：
扫描电子显微镜图像获取模块，用于获取待处理的扫描电子显微镜图像；
边缘特征信息图像确定模块，用于采用Canny边缘检测算子对所述待处理的扫描电子显微镜图像进行边缘特征提取，得到边缘特征信息图像；
去噪图像确定模块，用于采用小波阈值去噪算法对所述待处理的扫描电子显微镜图像进行去噪处理，得到去噪图像；
特征融合图像确定模块，用于采用特征融合算法将所述边缘特征信息图像和所述去噪图像进行特征融合，得到特征融合图像；
卷积神经网络模型获取模块，用于获取卷积神经网络模型；所述卷积神经网络模型的激活函数为ReLU函数；
图像处理模块，用于以所述特征融合图像为所述卷积神经网络模型的输入，得到处理后的扫描电子显微镜图像；
所述特征融合图像确定模块具体包括：
图像块划分单元，用于将所述边缘特征信息图像和所述去噪图像均按照第一设定窗口划分为图像块；
欧氏距离确定单元，用于按照设定选取窗口选择所述图像块，并确定所选择图像块中灰度值的欧氏距离；
结构组确定单元，用于根据所述欧氏距离确定与所选择图像块相似的图像块，并将与所选择图像块相似的图像块按列向量排列，得到结构组；
组稀疏表示模型获取单元，用于获取组稀疏表示模型；
自适应字典确定单元，用于基于所述组稀疏表示模型采用自适应字典学习方法对所述结构组进行学习，得到每一所述结构组的自适应字典；
特征融合图像确定单元，用于采用分裂Bregman迭代算法根据所述自适应字典进行特征融合，得到所述特征融合图像。
7.根据权利要求6所述的扫描电子显微镜图像处理系统，其特征在于，所述边缘特征信息图像确定模块具体包括：
高斯平滑图像确定单元，用于采用高斯滤波算法对所述待处理的扫描电子显微镜图像进行高斯平滑处理，得到高斯平滑图像；
初始边缘特征信息图像确定单元，用于确定所述高斯平滑图像中像素点梯度的幅值和方向后，得到初始边缘特征信息图像；
边缘特征信息图像确定单元，用于采用非极大值抑制算法对所述初始边缘特征信息图像进行抑制处理，得到所述边缘特征信息图像。
8.根据权利要求6所述的扫描电子显微镜图像处理系统，其特征在于，所述去噪图像确定模块具体包括：
初始去噪图像确定单元，用于采用所述小波阈值去噪算法中的软阈值函数去除所述待处理的扫描电子显微镜图像中的相干斑噪声，得到初始去噪图像；
去噪图像确定单元，用于采用Coif4基函数对所述初始去噪图像进行小波分解和重构，得到所述去噪图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110116084.5A CN112819739B (zh) | 2021-01-28 | 2021-01-28 | 一种扫描电子显微镜图像处理方法和系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110116084.5A CN112819739B (zh) | 2021-01-28 | 2021-01-28 | 一种扫描电子显微镜图像处理方法和系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112819739A CN112819739A (zh) | 2021-05-18 |
| CN112819739B true CN112819739B (zh) | 2024-03-01 |
Family
ID=75859815
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110116084.5A Active CN112819739B (zh) | 2021-01-28 | 2021-01-28 | 一种扫描电子显微镜图像处理方法和系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112819739B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114581910B (zh) * | 2022-05-06 | 2022-07-12 | 天津大学 | 一种结合立体匹配与深度学习的显微针孔视图降噪方法 |
| JP2023170078A (ja) * | 2022-05-18 | 2023-12-01 | 東レエンジニアリング先端半導体Ｍｉテクノロジー株式会社 | 画像ノイズ低減方法 |
Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102521818A (zh) * | 2011-12-05 | 2012-06-27 | 西北工业大学 | 一种基于nsct的sar图像和可见光图像的融合方法 |
| CN103914829A (zh) * | 2014-01-22 | 2014-07-09 | 西安电子科技大学 | 一种含噪图像边缘检测方法 |
| CN105069769A (zh) * | 2015-08-26 | 2015-11-18 | 哈尔滨工业大学 | 一种微光与红外夜视图像融合方法 |
| CN106960202A (zh) * | 2017-04-11 | 2017-07-18 | 广西师范大学 | 一种基于可见光与红外图像融合的笑脸识别方法 |
| CN107169979A (zh) * | 2017-05-11 | 2017-09-15 | 南宁市正祥科技有限公司 | 一种改进Canny算子的图像边缘检测方法 |
| CN107169947A (zh) * | 2017-04-26 | 2017-09-15 | 国网上海市电力公司 | 一种基于特征点定位和边缘检测的图像融合实验方法 |
| CN109492714A (zh) * | 2018-12-29 | 2019-03-19 | 同方威视技术股份有限公司 | 图像处理装置及其方法 |
| CN109584197A (zh) * | 2018-12-20 | 2019-04-05 | 广东浪潮大数据研究有限公司 | 一种图像融合方法及相关装置 |
| CN109615596A (zh) * | 2018-12-05 | 2019-04-12 | 青岛小鸟看看科技有限公司 | 一种深度图像的去噪方法、装置和电子设备 |
| CN111275655A (zh) * | 2020-01-20 | 2020-06-12 | 上海理工大学 | 一种多聚焦多源图像融合方法 |
| CN111612707A (zh) * | 2020-04-30 | 2020-09-01 | 杭州电子科技大学 | 一种基于小波变换的神经网络图像去噪方法 |
| CN111833366A (zh) * | 2020-06-03 | 2020-10-27 | 佛山科学技术学院 | 一种基于Canny算法的边缘检测方法 |
| CN112233038A (zh) * | 2020-10-23 | 2021-01-15 | 广东启迪图卫科技股份有限公司 | 基于多尺度融合及边缘增强的真实图像去噪方法 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9299130B2 (en) * | 2013-03-15 | 2016-03-29 | Trustees Of Tufts College | Methods and apparatus for image processing and analysis |
| CN107918929B (zh) * | 2016-10-08 | 2019-06-21 | 杭州海康威视数字技术股份有限公司 | 一种图像融合方法、装置及系统 |
| WO2019018693A2 (en) * | 2017-07-19 | 2019-01-24 | Altius Institute For Biomedical Sciences | METHODS OF ANALYZING MICROSCOPIC IMAGES USING AUTOMATIC LEARNING |
| US11222415B2 (en) * | 2018-04-26 | 2022-01-11 | The Regents Of The University Of California | Systems and methods for deep learning microscopy |
-
2021
- 2021-01-28 CN CN202110116084.5A patent/CN112819739B/zh active Active
Patent Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102521818A (zh) * | 2011-12-05 | 2012-06-27 | 西北工业大学 | 一种基于nsct的sar图像和可见光图像的融合方法 |
| CN103914829A (zh) * | 2014-01-22 | 2014-07-09 | 西安电子科技大学 | 一种含噪图像边缘检测方法 |
| CN105069769A (zh) * | 2015-08-26 | 2015-11-18 | 哈尔滨工业大学 | 一种微光与红外夜视图像融合方法 |
| CN106960202A (zh) * | 2017-04-11 | 2017-07-18 | 广西师范大学 | 一种基于可见光与红外图像融合的笑脸识别方法 |
| CN107169947A (zh) * | 2017-04-26 | 2017-09-15 | 国网上海市电力公司 | 一种基于特征点定位和边缘检测的图像融合实验方法 |
| CN107169979A (zh) * | 2017-05-11 | 2017-09-15 | 南宁市正祥科技有限公司 | 一种改进Canny算子的图像边缘检测方法 |
| CN109615596A (zh) * | 2018-12-05 | 2019-04-12 | 青岛小鸟看看科技有限公司 | 一种深度图像的去噪方法、装置和电子设备 |
| CN109584197A (zh) * | 2018-12-20 | 2019-04-05 | 广东浪潮大数据研究有限公司 | 一种图像融合方法及相关装置 |
| CN109492714A (zh) * | 2018-12-29 | 2019-03-19 | 同方威视技术股份有限公司 | 图像处理装置及其方法 |
| CN111275655A (zh) * | 2020-01-20 | 2020-06-12 | 上海理工大学 | 一种多聚焦多源图像融合方法 |
| CN111612707A (zh) * | 2020-04-30 | 2020-09-01 | 杭州电子科技大学 | 一种基于小波变换的神经网络图像去噪方法 |
| CN111833366A (zh) * | 2020-06-03 | 2020-10-27 | 佛山科学技术学院 | 一种基于Canny算法的边缘检测方法 |
| CN112233038A (zh) * | 2020-10-23 | 2021-01-15 | 广东启迪图卫科技股份有限公司 | 基于多尺度融合及边缘增强的真实图像去噪方法 |
Non-Patent Citations (3)
| Title |
|---|
| 一种基于信息保留网络的图像去噪算法;陈清江;石小涵;柴昱洲;;应用光学(第03期);全文 * |
| 基于卷积神经网络的白带中白细胞的自动检测;钟亚;张静;肖峻;;中国生物医学工程学报(第02期);全文 * |
| 基于边缘检测的小波阈值图像去噪;徐亚明，刘冠兰，邢诚;《海洋测绘》;论文第1-3页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112819739A (zh) | 2021-05-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Shahdoosti et al. | Edge-preserving image denoising using a deep convolutional neural network | |
| Tang et al. | Bi-histogram equalization using modified histogram bins | |
| Varghese et al. | Video denoising based on a spatiotemporal Gaussian scale mixture model | |
| Zhang et al. | Joint image denoising using adaptive principal component analysis and self-similarity | |
| CN106709877B (zh) | 一种基于多参数正则优化模型的图像去模糊方法 | |
| CN112819739B (zh) | 一种扫描电子显微镜图像处理方法和系统 | |
| CN109003232B (zh) | 基于频域尺度平滑Shearlet的医学MRI图像去噪方法 | |
| CN113837974A (zh) | 一种基于改进beeps滤波算法的nsst域电力设备红外图像增强方法 | |
| CN109949256B (zh) | 一种基于傅里叶变换的天文图像融合方法 | |
| CN113870135A (zh) | 一种基于天牛须优化算法的nsst域红外图像增强方法 | |
| Thakur et al. | Agsdnet: Attention and gradient-based sar denoising network | |
| CN114170103A (zh) | 一种电气设备红外图像增强方法 | |
| CN112991199A (zh) | 一种基于残差密集网络的图像高低频分解噪声去除方法 | |
| Wang et al. | An adaptive learning image denoising algorithm based on eigenvalue extraction and the GAN model | |
| Sagar et al. | A circular adaptive median filter for salt and pepper noise suppression from MRI images | |
| Abdulah et al. | Review Study of Image De-Noising on Digital Image Processing and Applications | |
| Diwakar et al. | Blind noise estimation-based CT image denoising in tetrolet domain | |
| Sun et al. | Color image denoising based on guided filter and adaptive wavelet threshold | |
| CN116342444A (zh) | 一种双通道多模态图像融合方法及融合成像终端机 | |
| Bhonsle et al. | Medical Image De-Noising Using Combined Bayes Shrink and Total Variation Techniques | |
| CN114881883A (zh) | 一种红外图像多维降噪方法、存储介质及装置 | |
| CN114529518A (zh) | 一种基于图像金字塔与nlm的冷冻电镜图像增强方法 | |
| Muhammad et al. | An entropy based salient edge enhancement using fusion process | |
| Lu et al. | MRI denoising using pixel-selection-based non-local means | |
| Tun et al. | Joint Training of Noisy Image Patch and Impulse Response of Low-Pass Filter in CNN for Image Denoising |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |