CN116205807A - 一种基于深度学习的冷冻电镜图像去噪方法及系统 - Google Patents
一种基于深度学习的冷冻电镜图像去噪方法及系统 Download PDFInfo
- Publication number
- CN116205807A CN116205807A CN202310084116.7A CN202310084116A CN116205807A CN 116205807 A CN116205807 A CN 116205807A CN 202310084116 A CN202310084116 A CN 202310084116A CN 116205807 A CN116205807 A CN 116205807A
- Authority
- CN
- China
- Prior art keywords
- electron microscope
- microscope image
- denoising
- noise
- frozen
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001000 micrograph Methods 0.000 title claims abstract description 156
- 238000000034 method Methods 0.000 title claims abstract description 51
- 238000013135 deep learning Methods 0.000 title claims abstract description 34
- 238000013507 mapping Methods 0.000 claims abstract description 72
- 238000012549 training Methods 0.000 claims abstract description 68
- 238000010586 diagram Methods 0.000 claims abstract description 35
- 238000007781 pre-processing Methods 0.000 claims abstract description 8
- 238000012545 processing Methods 0.000 claims abstract description 8
- 230000006870 function Effects 0.000 claims description 27
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 15
- 230000004913 activation Effects 0.000 claims description 12
- 230000004927 fusion Effects 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 claims description 7
- 238000004422 calculation algorithm Methods 0.000 claims description 6
- 238000004891 communication Methods 0.000 claims description 6
- 238000010276 construction Methods 0.000 claims description 4
- 230000003321 amplification Effects 0.000 claims description 3
- 238000013528 artificial neural network Methods 0.000 claims description 3
- 230000008878 coupling Effects 0.000 claims description 3
- 238000010168 coupling process Methods 0.000 claims description 3
- 238000005859 coupling reaction Methods 0.000 claims description 3
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 3
- 230000008014 freezing Effects 0.000 claims 1
- 238000007710 freezing Methods 0.000 claims 1
- 230000008569 process Effects 0.000 abstract description 8
- 239000002245 particle Substances 0.000 description 14
- 102000004169 proteins and genes Human genes 0.000 description 6
- 108090000623 proteins and genes Proteins 0.000 description 6
- 230000000694 effects Effects 0.000 description 4
- 238000010894 electron beam technology Methods 0.000 description 3
- 238000001914 filtration Methods 0.000 description 3
- WKBPZYKAUNRMKP-UHFFFAOYSA-N 1-[2-(2,4-dichlorophenyl)pentyl]1,2,4-triazole Chemical compound C=1C=C(Cl)C=C(Cl)C=1C(CCC)CN1C=NC=N1 WKBPZYKAUNRMKP-UHFFFAOYSA-N 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000011084 recovery Methods 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- 239000011031 topaz Substances 0.000 description 2
- 229910052853 topaz Inorganic materials 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000001493 electron microscopy Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 238000012916 structural analysis Methods 0.000 description 1
- 229960005486 vaccine Drugs 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10056—Microscopic image
- G06T2207/10061—Microscopic image from scanning electron microscope
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Biophysics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Processing (AREA)
Abstract
本发明涉及图像处理技术领域，公开了一种基于深度学习的冷冻电镜图像去噪方法及系统，包括以下步骤：S1.获取原始冷冻电镜图像数据集，并进行预处理，得到训练样本集；S2.构建一个包括噪声映射模块和去噪模块的冷冻电镜图像去噪模型；S3.将训练样本集输入噪声映射模块中，进行噪声映射学习，得到噪声映射图；S4.将噪声映射图输入去噪模块中，得到去噪后的冷冻电镜图像；S5.根据去噪后的冷冻电镜图像，训练冷冻电镜图像去噪模型；S6.通过训练好的冷冻电镜图像去噪模型对冷冻电镜图像进行去噪。本发明解决了现有技术去噪训练难度大，过程繁琐的问题，且具有信噪比高，效率高的特点。
Description
技术领域
本发明涉及图像处理技术领域，更具体的，涉及一种基于深度学习的冷冻电镜图像去噪方法及系统。
背景技术
冷冻电子显微镜(cryo-EM)广泛应用在生物和疫苗研发等方面，蛋白质结构解析是其中最重要领域。蛋白质的高分辨率三维结构是通过傅里叶中心切片定理对大量二维冷冻电镜图像计算确定的。这一过程需要挑选图像中的颗粒，根据挑出颗粒图像的构象状态确定颗粒的方向，然后进行分类和迭代，最后用于三维重建。这些步骤的成功主要取决于冷冻电镜图像的信噪比(SNR)。由于过长时间的电子束照射会对样品原本的功能结构造成辐射损伤，所以在照射的过程中，会控制电子束的强度来避免这个问题。但过低的电子束强度会导致获得的冷冻电镜图像的信噪比非常低，其典型信噪比仅为0.1。如此低的信噪比会降低结构的置信度并导致粒子方向丢失等问题，也会使蛋白质颗粒难以与噪音区分开来，影响后续操作。
之前对冷冻电镜图像去噪大多采用传统方法，例如：低通滤波、维纳滤波和基于块匹配和滤波的BM3D等，这些算法通常使用傅里叶变换将图像变换到频域，通过在频域上设计算法去除噪声或者引入额外的图像先验来修复缺失和退化的图像信息。虽然取得了一定效果，但对于不同类型的冷冻电镜图像需要对应调整参数值才能获得较好的去噪效果，而且传统方法中使用的预定义图像先验不能正确适应冷冻电镜图像中的噪声模型，所以这些方法无法有效解决冷冻电镜照片的特定噪声特性。对于大部分冷冻电镜图像，存在背景噪声去除不足，颗粒细节缺失的问题。
深度学习具有强大的特征学习能力与表示能力，近年来也开始被用于冷冻电镜图像的去噪工作中，并取得了一定的成果。Buchholz等首次将CNN应用到冷冻电镜图像去噪中，该方法结合Noise2Noise[15]的思想提出了基于两层U-Net的Cryo-CARE网络，通过成对的冷冻电镜噪声图像而不是成对的噪声图像和干净图像进行训练，对比传统方法增加了图像的对比度，提高了采集数据的可解释性。然而其模型相对简单特征提取恢复能力有限，背景噪声去除不足，而且颗粒形态、噪声与训练所用图像存在较大差异时表现不佳；2020年，Bepler等[进一步提出了Topaz去噪模型，Topaz为U-net结构的六层神经网络，使用通过在各种成像条件下收集的数千张显微照片组成的数据集进行训练，训练出的通用模型无需额外训练即可对新数据集进行去噪，增加了方法的泛化能力并进一步提升去噪效果，但面对颗粒较多噪声较复杂图像时，容易过于光滑丢失颗粒细节，影响后续三维重建；2022年，Li等提出NT2C，用InSilicoTEM模拟生成干净无噪声的电镜图像，然后使用生成对抗网络(GAN)[19]学习冷冻电镜中纯噪声块的噪声分布，并设计了对比度引导的噪声和信号加权的算法，实现了真实噪声的图像合成，最后用模拟出来干净的和有真实噪声的图像进行有监督的去噪训练，在背景噪声去除方面取得较好的效果。然而InSilicoTEM需要对应蛋白质三维结构文件模拟生成干净电镜图像，这极大限制了对于没重建出三维蛋白质结构冷冻电镜图像的探索，而且纯噪声块的图像获取和真实噪声的图像合成也较为繁琐，增加了训练的难度。
由于现有图像去噪技术存在去噪训练难度大，过程繁琐的问题，如何发明一种去噪训练难度小，过程简单的图像去噪方法，是本技术领域亟需解决的技术问题。
发明内容
本发明为了解决现有技术去噪训练难度大，过程繁琐的问题，提供了一种基于深度学习的冷冻电镜图像去噪方法及系统，其具有信噪比高，效率高的特点。
为实现上述本发明目的，采用的技术方案如下：
一种基于深度学习的冷冻电镜图像去噪方法，包括以下步骤：
S1.获取原始冷冻电镜图像数据集，并对原始冷冻电镜图像数据集进行预处理，得到训练样本集；
S2.构建一个包括噪声映射模块和去噪模块的冷冻电镜图像去噪模型；
S3.将训练样本集输入噪声映射模块中，进行噪声映射学习，得到噪声映射图；
S4.将噪声映射图输入去噪模块中，得到去噪后的冷冻电镜图像；
S5.根据去噪后的冷冻电镜图像，训练冷冻电镜图像去噪模型；
S6.通过训练好的冷冻电镜图像去噪模型对冷冻电镜图像进行去噪。
优选的，所述的步骤S1中，对原始冷冻电镜图像数据集进行预处理，得到训练样本集，具体为：对原始冷冻电镜图像数据集中偶数帧和奇数帧叠加合成信号相同但噪声不相关的冷冻电镜图像对，并通过水平、垂直翻转和旋转实现数据集扩增，得到训练样本集。
进一步的，所述噪声映射模块为全卷积神经网络，用于学习图像的噪声映射；所述的步骤S3中，将训练样本集输入噪声映射模块中，进行噪声映射学习，得到噪声映射图，具体为：将训练样本集输入噪声映射模块中，经过四层全卷积层进行卷积；每个卷积层的特征通道的数量为32，卷积核的大小为3×3，并设置padding等于1；训练样本集通过每层卷积核卷积后，通过ReLU作为激活函数激活，得到噪声映射图。
更进一步的，噪声映射模块学习噪声映射的计算公式为：
其中，
代表噪声映射图，y代表输入的噪声图像，WN代表噪声估计网络的参数。
更进一步的，所述去噪模块由三层U-Net型编码器-解码器结构构成；所述编码器加入了多尺度联接；所述编码器-解码器结构的每个下采样层和上采样层的卷积块都由宽激活密集残差块代替；所述的步骤S4中，将噪声映射图输入去噪模块中，得到去噪后的冷冻电镜图像，具体为：噪声映射图输入去噪模块，经过PixelUnShuffle下采样后，与其对应编码器层次经过Bilinear下采样的特征图相级联，到去噪后的冷冻电镜图像。
更进一步的，去噪模块采用的去噪公式为：
其中，
代表去噪后的图像，y代表输入的噪声图像，/>
代表噪声水平映射图，WD代表去噪网络的参数。
更进一步的，宽激活密集残差块包括密集连通层、若干个宽激活超分辨率层、带有残差学习的特征融合层；所述的宽激活超分辨率将ReLU激活函数后的大卷积核拆分成了两个小卷积核，使残差块在同样的计算开销下，在ReLU函数前获得更宽泛的特征图，允许更多的特征信息通过图层；
输入噪声映射图到宽激活密集残差块后，通过依次连接的若干个宽激活超分辨率层获取输出特征，并通过密集连通层自适应地保存输出特征来提取局部密集特征；
提取多层局部密集特征后，通过特征融合层进行全局特征融合，以全局方式自适应地保留分层特征，从而产生隐式的深层监督。
更进一步的，输入噪声映射图到宽激活超分辨率层后，
采用1x1卷积操作将输入噪声映射图扩展到更高维空间；
对扩展的特征映射采用ReLU激活函数，然后再进行另一个1x1的卷积操作，以减少特征映射的深度；
最后采用3x3卷积层进行常规卷积运算，卷积后的特征图与原始输入特征图进行残差连接得到输出特征。
更进一步的，所述的步骤S5中，训练冷冻电镜图像去噪模型，具体为：
构建训练的损失函数：
Loss＝αLossrec+βLossTV
其中，全变差损失函数LossTV通过约束噪声映射图的平滑度而保持图像轮廓的不平滑，来提高输出图像的去噪质量；
和/>
表示沿图像水平和垂直方向的梯度算子，/>
表示噪声特征图；
重建函数Lossrec用来计算输出图像与输入图像之间像素级均方误差：
其中代表
输出去噪后的冷冻电镜图像，x代表输入的冷冻电镜图像；
采用Adagrad算法对冷冻电镜图像去噪模型模型进行优化，根据学习率不断调整冷冻电镜图像去噪模型模型的参数，当损失函数最小时，完成冷冻电镜图像去噪模型的训练。
一种基于深度学习的冷冻电镜图像去噪系统，包括数据处理模块、模型构建模块、模型训练模块、图像去噪模型；
所述的数据处理模块用于获取原始冷冻电镜图像数据集，并对原始冷冻电镜图像数据集进行预处理，得到训练样本集；
所述的模型构建模块用于构建一个包括噪声映射模块和去噪模块的冷冻电镜图像去噪模型；
所述的模型训练模块用于将训练样本集输入噪声映射模块中，进行噪声映射学习，得到噪声映射图；将噪声映射图输入去噪模块中，得到去噪后的冷冻电镜图像；根据去噪后的冷冻电镜图像，训练冷冻电镜图像去噪模型；
所述的图像去噪模型用于通过训练好的冷冻电镜图像去噪模型对冷冻电镜图像进行去噪。
本发明的有益效果如下：
本发明公开了种基于深度学习的冷冻电镜图像去噪方法。本发明针对冷冻电镜图像信噪比极低，并且现有去噪方法不能有效去掉复杂噪声的问题，提出构建一个包括噪声映射模块和去噪模块的冷冻电镜图像去噪模型，在有效去除背景噪声同时能更好的恢复颗粒细节，由此解决了现有技术去噪训练难度大，过程繁琐的问题，且具有信噪比高，效率高的特点。
附图说明
图1为本发明所述的一种基于深度学习的冷冻电镜图像去噪方法的流程示意图；
图2为本发明所述的一种基于深度学习的冷冻电镜图像去噪方法的冷冻电镜图像去噪模型的训练主要流程示意图；
图3为本发明所述的一种基于深度学习的冷冻电镜图像去噪方法的噪声映射模块网络架构示意图；
图4为本发明所述的一种基于深度学习的冷冻电镜图像去噪方法的去噪模块网络架构示意图；
图5本发明所述的一种基于深度学习的冷冻电镜图像去噪方法的去噪模块中宽激活密集残差块的网络架构示意图；
图6为本发明所述的一种基于深度学习的冷冻电镜图像去噪方法的去噪模块中宽激活密集残差块的宽激活超分辨率层的网络架构示意图；
图7为本发明所述的一种基于深度学习的冷冻电镜图像去噪方法对EMPIAR-10028去噪结果对比示意图。
图8为本发明所述的一种基于深度学习的冷冻电镜图像去噪方法对EMPIAR-10025去噪结果对比示意图。
具体实施方式
下面结合附图和具体实施方式对本发明做详细描述。
实施例1
如图1所示，一种基于深度学习的冷冻电镜图像去噪方法，包括以下步骤：
S1.获取原始冷冻电镜图像数据集，并对原始冷冻电镜图像数据集进行预处理，得到训练样本集；
S2.构建一个包括噪声映射模块和去噪模块的冷冻电镜图像去噪模型；
S3.将训练样本集输入噪声映射模块中，进行噪声映射学习，得到噪声映射图；
S4.将噪声映射图输入去噪模块中，得到去噪后的冷冻电镜图像；
S5.根据去噪后的冷冻电镜图像，训练冷冻电镜图像去噪模型；
S6.通过训练好的冷冻电镜图像去噪模型对冷冻电镜图像进行去噪。
实施例2
如图2所示，一种基于深度学习的冷冻电镜图像去噪方法，包括以下步骤：
S1.获取原始冷冻电镜图像数据集，并对原始冷冻电镜图像数据集进行预处理，得到训练样本集；
S2.构建一个包括噪声映射模块和去噪模块的冷冻电镜图像去噪模型；
S3.将训练样本集输入噪声映射模块中，进行噪声映射学习，得到噪声映射图；
S4.将噪声映射图输入去噪模块中，得到去噪后的冷冻电镜图像；
本实施例中，去噪模块以U-Net为基础搭建，并加入多尺度级联结构和宽激活密集残差块来提升去噪模块的表达能力和特征提取恢复能力；
S5.根据去噪后的冷冻电镜图像，训练冷冻电镜图像去噪模型；
本实施例中，训练时，用全变差损失函数在保持颗粒特征的同时约束噪声映射图的平滑度，来提高输出图像的去噪质量并根据去噪图像和原始输入图对应的偶数冷冻电镜图像来计算图像去噪模型损失函数；采用Adagrad算法对冷冻电镜图像去噪模型模型进行优化，根据学习率不断调整冷冻电镜图像去噪模型模型的参数，当损失函数最小时，完成冷冻电镜图像去噪模型的训练；
S6.通过训练好的冷冻电镜图像去噪模型对冷冻电镜图像进行去噪。
在一个具体实施例中，所述的步骤S1中，对原始冷冻电镜图像数据集进行预处理，得到训练样本集，具体为：对原始冷冻电镜图像数据集中偶数帧和奇数帧叠加合成信号相同但噪声不相关的冷冻电镜图像对，并通过水平、垂直翻转和旋转实现数据集扩增，得到训练样本集。
本实施例中，所述的原始冷冻电镜图像数据集为从EMPIAR获取的原始数据；EMPIAR包含上千种使用冷冻电子显微镜拍摄的数据集，每个数据集冷冻电镜图像属于同一种蛋白质颗粒，其提供的冷冻电镜图像都以mrc或tiff的文件形式存放；本实施例中从中选取200个mrc文件，并对数据集进一步预处理；
本实施例中，对对数据集进一步预处理，具体为：在选取的EMPIAR-10025的数据集中每个mrc文件中都保存18帧的冷冻电镜图像，需要编写python脚本分别将mrc中的偶数帧和奇数帧叠加合成两张信号相同但噪声不相关的冷冻电镜图像并保存在不同mrc文件中，并通过水平、垂直翻转和旋转实现数据集扩增。为避免插值伪影，图像仅旋转90°、180°和270°，最终得到800个mrc文件，从而得到最终训练所需要的数据集图像对。
在一个具体实施例中，如图3所示，所述噪声映射模块为全卷积神经网络，用于学习图像的噪声映射；所述的步骤S3中，将训练样本集输入噪声映射模块中，进行噪声映射学习，得到噪声映射图，具体为：将训练样本集输入噪声映射模块中，经过四层全卷积层进行卷积；每个卷积层的特征通道的数量为32，卷积核的大小为3×3，并设置padding等于1；训练样本集通过每层卷积核卷积后，通过ReLU作为激活函数激活，得到噪声映射图。
在一个具体实施例中，噪声映射模块学习噪声映射的计算公式为：
其中，
代表噪声映射图，y代表输入的噪声图像，WN代表噪声估计网络的参数。
在一个具体实施例中，如图4所示，所述去噪模块由三层U-Net型编码器-解码器结构构成；所述编码器加入了多尺度联接；所述编码器-解码器结构的每个下采样层和上采样层的卷积块都由宽激活密集残差块代替；所述的步骤S4中，将噪声映射图输入去噪模块中，得到去噪后的冷冻电镜图像，具体为：噪声映射图输入去噪模块，经过PixelUnShuffle下采样后，与其对应编码器层次经过Bilinear下采样的特征图相级联，到去噪后的冷冻电镜图像。
在一个具体实施例中，去噪模块采用的去噪公式为：
其中，
代表去噪后的图像，y代表输入的噪声图像，/>
代表噪声水平映射图，WD代表去噪网络的参数。
在一个具体实施例中，如图5所示，宽激活密集残差块包括密集连通层、若干个宽激活超分辨率层、带有残差学习的特征融合层；所述的宽激活超分辨率将ReLU激活函数后的大卷积核拆分成了两个小卷积核，使残差块在同样的计算开销下，在ReLU函数前获得更宽泛的特征图，允许更多的特征信息通过图层；
输入噪声映射图到宽激活密集残差块后，通过依次连接的若干个宽激活超分辨率层获取输出特征，并通过密集连通层自适应地保存输出特征来提取局部密集特征；
提取多层局部密集特征后，通过特征融合层进行全局特征融合，以全局方式自适应地保留分层特征，从而产生隐式的深层监督。
在一个具体实施例中，如图6所示，输入噪声映射图到宽激活超分辨率层后，
采用1x1卷积操作将输入噪声映射图扩展到更高维空间；
对扩展的特征映射采用ReLU激活函数，然后再进行另一个1x1的卷积操作，以减少特征映射的深度；
最后采用3x3卷积层进行常规卷积运算，卷积后的特征图与原始输入特征图进行残差连接得到输出特征。
在一个具体实施例中，所述的步骤S5中，训练冷冻电镜图像去噪模型，具体为：
构建训练的损失函数：
Loss＝αLossrec+βLossTV
其中，全变差损失函数LossTV通过约束噪声映射图的平滑度而保持图像轮廓的不平滑，来提高输出图像的去噪质量；
和/>
表示沿图像水平和垂直方向的梯度算子，/>
表示噪声特征图；
重建函数Lossrec用来计算输出图像与输入图像之间像素级均方误差：
其中代表
输出去噪后的冷冻电镜图像，x代表输入的冷冻电镜图像；
采用Adagrad算法对冷冻电镜图像去噪模型模型进行优化，根据学习率不断调整冷冻电镜图像去噪模型模型的参数，当损失函数最小时，完成冷冻电镜图像去噪模型的训练。
本发明针对冷冻电镜图像信噪比极低，并且现有去噪方法不能有效去掉复杂噪声的问题，提出一种基于深度学习的冷冻电镜图像去噪方法；本实施例中，如图7和图8所示，对EMPIAR-10028和EMPIAR-10028进行了去噪，可以发现该方法在有效去除背景噪声同时能更好的恢复颗粒细节，信噪比(SNR)也是最优，并且颗粒挑选阳性数量也得到提升；
本发明公开了种基于深度学习的冷冻电镜图像去噪方法。本发明针对冷冻电镜图像信噪比极低，并且现有去噪方法不能有效去掉复杂噪声的问题，提出构建一个包括噪声映射模块和去噪模块的冷冻电镜图像去噪模型，在有效去除背景噪声同时能更好的恢复颗粒细节，由此解决了现有技术去噪训练难度大，过程繁琐的问题，且具有信噪比高，效率高的特点。
实施例3
一种基于深度学习的冷冻电镜图像去噪系统，包括数据处理模块、模型构建模块、模型训练模块、图像去噪模型；
所述的数据处理模块用于获取原始冷冻电镜图像数据集，并对原始冷冻电镜图像数据集进行预处理，得到训练样本集；
所述的模型构建模块用于构建一个包括噪声映射模块和去噪模块的冷冻电镜图像去噪模型；
所述的模型训练模块用于将训练样本集输入噪声映射模块中，进行噪声映射学习，得到噪声映射图；将噪声映射图输入去噪模块中，得到去噪后的冷冻电镜图像；根据去噪后的冷冻电镜图像，训练冷冻电镜图像去噪模型；
所述的图像去噪模型用于通过训练好的冷冻电镜图像去噪模型对冷冻电镜图像进行去噪。
显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。
Claims (10)
1.一种基于深度学习的冷冻电镜图像去噪方法，其特征在于：包括以下步骤：
S1.获取原始冷冻电镜图像数据集，并对原始冷冻电镜图像数据集进行预处理，得到训练样本集；
S2.构建一个包括噪声映射模块和去噪模块的冷冻电镜图像去噪模型；
S3.将训练样本集输入噪声映射模块中，进行噪声映射学习，得到噪声映射图；
S4.将噪声映射图输入去噪模块中，得到去噪后的冷冻电镜图像；
S5.根据去噪后的冷冻电镜图像，训练冷冻电镜图像去噪模型；
S6.通过训练好的冷冻电镜图像去噪模型对冷冻电镜图像进行去噪。
2.根据权利要求1所述的基于深度学习的冷冻电镜图像去噪方法，其特征在于：所述的步骤S1中，对原始冷冻电镜图像数据集进行预处理，得到训练样本集，具体为：对原始冷冻电镜图像数据集中偶数帧和奇数帧叠加合成信号相同但噪声不相关的冷冻电镜图像对，并通过水平、垂直翻转和旋转实现数据集扩增，得到训练样本集。
3.根据权利要求1所述的基于深度学习的冷冻电镜图像去噪方法，其特征在于：所述噪声映射模块为全卷积神经网络，用于学习图像的噪声映射；所述的步骤S3中，将训练样本集输入噪声映射模块中，进行噪声映射学习，得到噪声映射图，具体为：将训练样本集输入噪声映射模块中，经过四层全卷积层进行卷积；每个卷积层的特征通道的数量为32，卷积核的大小为3×3，并设置padding等于1；训练样本集通过每层卷积核卷积后，通过ReLU作为激活函数激活，得到噪声映射图。
4.根据权利要求3所述的基于深度学习的冷冻电镜图像去噪方法，其特征在于：噪声映射模块学习噪声映射的计算公式为：
其中，
代表噪声映射图，y代表输入的噪声图像，WN代表噪声估计网络的参数。
5.根据权利要求1所述的基于深度学习的冷冻电镜图像去噪方法，其特征在于：所述去噪模块由三层U-Net型编码器-解码器结构构成；所述编码器加入了多尺度联接；所述编码器-解码器结构的每个下采样层和上采样层的卷积块都由宽激活密集残差块代替；所述的步骤S4中，将噪声映射图输入去噪模块中，得到去噪后的冷冻电镜图像，具体为：噪声映射图输入去噪模块，经过PixelUnShuffle下采样后，与其对应编码器层次经过Bilinear下采样的特征图相级联，到去噪后的冷冻电镜图像。
6.根据权利要求5所述的基于深度学习的冷冻电镜图像去噪方法，其特征在于：去噪模块采用的去噪公式为：
其中，
代表去噪后的图像，y代表输入的噪声图像，/>
代表噪声水平映射图，WD代表去噪网络的参数。
7.根据权利要求6所述的基于深度学习的冷冻电镜图像去噪方法，其特征在于：宽激活密集残差块包括密集连通层、若干个宽激活超分辨率层、带有残差学习的特征融合层；所述的宽激活超分辨率将ReLU激活函数后的大卷积核拆分成了两个小卷积核，使残差块在同样的计算开销下，在ReLU函数前获得更宽泛的特征图，允许更多的特征信息通过图层；
输入噪声映射图到宽激活密集残差块后，通过依次连接的若干个宽激活超分辨率层获取输出特征，并通过密集连通层自适应地保存输出特征来提取局部密集特征；
提取多层局部密集特征后，通过特征融合层进行全局特征融合，以全局方式自适应地保留分层特征，从而产生隐式的深层监督。
8.根据权利要求7所述的基于深度学习的冷冻电镜图像去噪方法，其特征在于：
输入噪声映射图到宽激活超分辨率层后，
采用1x1卷积操作将输入噪声映射图扩展到更高维空间；
对扩展的特征映射采用ReLU激活函数，然后再进行另一个1x1的卷积操作，以减少特征映射的深度；
最后采用3x3卷积层进行常规卷积运算，卷积后的特征图与原始输入特征图进行残差连接得到输出特征。
9.根据权利要求8所述的基于深度学习的冷冻电镜图像去噪方法，其特征在于：所述的步骤S5中，训练冷冻电镜图像去噪模型，具体为：
构建训练的损失函数：
Loss＝αLossrec+βLossTV
其中，全变差损失函数LossTV通过约束噪声映射图的平滑度而保持图像轮廓的不平滑，来提高输出图像的去噪质量；
和/>
表示沿图像水平和垂直方向的梯度算子，/>
表示噪声特征图；
重建函数Lossrec用来计算输出图像与输入图像之间像素级均方误差：
其中代表
输出去噪后的冷冻电镜图像，x代表输入的冷冻电镜图像；
采用Adagrad算法对冷冻电镜图像去噪模型模型进行优化，根据学习率不断调整冷冻电镜图像去噪模型模型的参数，当损失函数最小时，完成冷冻电镜图像去噪模型的训练。
10.一种基于深度学习的冷冻电镜图像去噪系统，其特征在于：包括数据处理模块、模型构建模块、模型训练模块、图像去噪模型；
所述的数据处理模块用于获取原始冷冻电镜图像数据集，并对原始冷冻电镜图像数据集进行预处理，得到训练样本集；
所述的模型构建模块用于构建一个包括噪声映射模块和去噪模块的冷冻电镜图像去噪模型；
所述的模型训练模块用于将训练样本集输入噪声映射模块中，进行噪声映射学习，得到噪声映射图；将噪声映射图输入去噪模块中，得到去噪后的冷冻电镜图像；根据去噪后的冷冻电镜图像，训练冷冻电镜图像去噪模型；
所述的图像去噪模型用于通过训练好的冷冻电镜图像去噪模型对冷冻电镜图像进行去噪。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310084116.7A CN116205807A (zh) | 2023-01-13 | 2023-01-13 | 一种基于深度学习的冷冻电镜图像去噪方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310084116.7A CN116205807A (zh) | 2023-01-13 | 2023-01-13 | 一种基于深度学习的冷冻电镜图像去噪方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116205807A true CN116205807A (zh) | 2023-06-02 |
Family
ID=86516681
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310084116.7A Pending CN116205807A (zh) | 2023-01-13 | 2023-01-13 | 一种基于深度学习的冷冻电镜图像去噪方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116205807A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117095073A (zh) * | 2023-08-23 | 2023-11-21 | 浙江大学 | 一种基于深度学习的医学图像的去噪方法及装置 |
| CN118411439A (zh) * | 2024-04-24 | 2024-07-30 | 寰渺科技(上海)有限公司 | 由物理信息引导的冷冻电镜图像生成方法、系统、设备、芯片及介质 |
-
2023
- 2023-01-13 CN CN202310084116.7A patent/CN116205807A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117095073A (zh) * | 2023-08-23 | 2023-11-21 | 浙江大学 | 一种基于深度学习的医学图像的去噪方法及装置 |
| CN118411439A (zh) * | 2024-04-24 | 2024-07-30 | 寰渺科技(上海)有限公司 | 由物理信息引导的冷冻电镜图像生成方法、系统、设备、芯片及介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110458758B (zh) | 一种图像超分辨率重建方法、系统及计算机存储介质 | |
| CN109978762B (zh) | 一种基于条件生成对抗网络的超分辨率重建方法 | |
| CN110136063A (zh) | 一种基于条件生成对抗网络的单幅图像超分辨率重建方法 | |
| CN116205807A (zh) | 一种基于深度学习的冷冻电镜图像去噪方法及系统 | |
| CN111192200A (zh) | 基于融合注意力机制残差网络的图像超分辨率重建方法 | |
| CN110599401A (zh) | 遥感图像超分辨率重建方法、处理装置及可读存储介质 | |
| CN105335972B (zh) | 基于小波轮廓波变换与视觉显著性的经编织物疵点检测方法 | |
| CN111932461B (zh) | 一种基于卷积神经网络的自学习图像超分辨率重建方法及系统 | |
| CN102800071B (zh) | 序列图像pocs超分辨率重建方法 | |
| CN111028163A (zh) | 一种基于卷积神经网络的联合图像去噪与弱光增强方法 | |
| CN102231204A (zh) | 一种序列图像自适应正则超分辨率重建方法 | |
| CN110889895A (zh) | 一种融合单帧重建网络的人脸视频超分辨率重建方法 | |
| CN111696033B (zh) | 基于角点引导级联沙漏网络结构学习的真实图像超分辨率模型及方法 | |
| CN106097253A (zh) | 一种基于块旋转和清晰度的单幅图像超分辨率重建方法 | |
| CN114549361B (zh) | 一种基于改进U-Net模型的去图像运动模糊方法 | |
| Muqeet et al. | Hybrid residual attention network for single image super resolution | |
| Xiao et al. | Frequency-Assisted Mamba for Remote Sensing Image Super-Resolution | |
| CN114187181B (zh) | 基于残差信息精炼的双路径肺部ct图像超分辨率方法 | |
| CN112070669B (zh) | 一种针对任意模糊核的超分辨率图像重建方法 | |
| CN111986102B (zh) | 一种数字病理图像去模糊方法 | |
| CN112348745B (zh) | 一种基于残差卷积网络的视频超分辨率重构方法 | |
| CN112907456B (zh) | 基于全局平滑约束先验模型的深度神经网络图像去噪方法 | |
| Zhang et al. | Deep residual network based medical image reconstruction | |
| Christopher et al. | Image Reconstruction Using Deep Learning | |
| Xiao et al. | Multi-Scale Non-Local Sparse Attention for Single Image Super-Resolution |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |