CN115082360B - 连续切片透射电子显微镜图像恢复方法与系统 - Google Patents

连续切片透射电子显微镜图像恢复方法与系统 Download PDF

Info

Publication number
CN115082360B
CN115082360B CN202210893708.9A CN202210893708A CN115082360B CN 115082360 B CN115082360 B CN 115082360B CN 202210893708 A CN202210893708 A CN 202210893708A CN 115082360 B CN115082360 B CN 115082360B
Authority
CN
China
Prior art keywords
image
noise
sstem
recovery
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210893708.9A
Other languages
English (en)
Other versions
CN115082360A (zh
Inventor
熊志伟
邓诗雨
黄炜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Science and Technology of China USTC
Original Assignee
University of Science and Technology of China USTC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Science and Technology of China USTC filed Critical University of Science and Technology of China USTC
Priority to CN202210893708.9A priority Critical patent/CN115082360B/zh
Publication of CN115082360A publication Critical patent/CN115082360A/zh
Application granted granted Critical
Publication of CN115082360B publication Critical patent/CN115082360B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G06T2207/10061—Microscopic image from scanning electron microscope
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种连续切片透射电子显微镜图像恢复方法与系统，提供一种ssTEM噪声图像仿真方法，能够针对不同噪声类型合成对应的ssTEM噪声图像，构造出应用网络训练的干净‑噪声图像对，还构建了适用于多种噪声的图像恢复网络，通过挖掘相邻图像之间的关联性并为噪声严重的区域提供一个初步的恢复结果，之后，针对仍然保留生物结构信息的噪声区域进行修复，最后，将前两部分的结果相结合，能够提升图像恢复性能。总而言之，本发明可以有效恢复带噪声的ssTEM图像。

Description

连续切片透射电子显微镜图像恢复方法与系统
技术领域
本发明涉及图像恢复技术领域，尤其涉及一种连续切片透射电子显微镜图像恢复方法与系统。
背景技术
电子显微成像技术的发展极大地促进了神经元形态学和连接组学的研究，这对于理解脑智能的工作原理至关重要。在现有的不同的电子显微成像技术中，只有连续切片透射电子显微镜（ssTEM）能够以足以重建末端树突和突触的分辨率对大量组织进行成像。因此，它被广泛用于分析脑组织样本中的功能连接分析。然而，由于连续切片的样品制备不完善，三维ssTEM图像不可避免地会出现伪影。在这些伪影中，三种类型的噪声最常见，即缺失帧（MS）噪声、支撑膜折叠（SFF）噪声和染色沉淀（SP）噪声。缺失帧噪声是由于在手动切割过程中丢失了整个截面，导致图像空白。支撑膜折叠噪声也是由不完美的切割引起的，但过程更复杂。如图1所示，折叠效应不仅导致当前图像中出现内容缺失的黑线，而且还会引入周围区域的严重形变，从而与相邻图像产生较大的错位。与缺失帧噪声和支撑膜折叠噪声不同，染色沉淀噪声是由不完美染色引起的，这会在噪声图像中产生云状伪影，它通常伴随着大面积的污染和低对比度。此外，染色沉淀伪像经常出现在两个连续的图像上，使噪声更加严重。上述三类噪声导致ssTEM图像的质量大大降低，严重阻碍了后续的分析和可视化。例如，在神经元分割任务中，一张带有伪影的图像可能会中断许多神经元结构，从而导致错误的神经元重建。
为了减轻缺失帧噪声对神经元分割的影响，Funke 等人在分割网络训练阶段采用数据增强来模拟缺失帧的发生（J. Funke, F. Tschopp, W. Grisaitis, A. Sheridan,C. Singh, S. Saalfeld, and S. C. Turaga, “Large scale image segmentation withstructured loss based deep learning for connectome reconstruction,” IEEEtransactions on pattern analysis and machine intelligence, vol. 41, no. 7,pp. 1669– 1680, 2018.），但是忽略了其他两种更复杂的噪声：支撑膜折叠噪声和染色沉淀噪声。李等人完全丢弃噪声图像并用相邻图像的副本替换它（P. H. Li, L. F.Lindsey, M. Januszewski, M. Tyka, J. Maitin-Shepard, T. Blakely, and V. Jain,“Automated reconstruction of a serial-section em drosophila brain with flood-filling networks and local realignment,” Microscopy and Microanalysis, vol.25, no. S2, pp. 1364–1365, 2019.），这种替代策略在一定程度上减少了被中断的神经元，但仍然会导致重建不准确。
由于二维自然图像中的噪声（相机内部噪声、运动模糊）与ssTEM图像中的噪声很不一致，这就使得自然图像恢复的方法不能直接用于ssTEM图像的恢复。另外，ssTEM噪声图像没有与其对应的真实干净图像，而且目前也没有ssTEM图像噪声仿真方法，这使得基于深度学习的图像恢复方法不能直接用于ssTEM图像恢复。
发明内容
本发明的目的是提供一种连续切片透射电子显微镜图像恢复方法与系统，可以有效的生成干净-噪声图像对，并结合适用于多种噪声的图像恢复网络，能够提升图像恢复性能。
本发明的目的是通过以下技术方案实现的：
一种连续切片透射电子显微镜图像恢复方法，包括：
根据噪声类型，结合不带噪声的ssTEM图像的中间帧切片图像合成相应的类型的ssTEM噪声图像，中间帧切片图像与相应的ssTEM噪声图像构成干净-噪声图像对；其中，ssTEM图像表示连续切片透射电子显微镜图像，不带噪声的ssTEM图像包含不带噪声的前中后多帧切片图像；
构建基于深度学习的ssTEM噪声图像恢复网络，输入不带噪声的ssTEM图像的前后帧切片图像，得到对ssTEM噪声图像的初步恢复图像；对于第一噪声类型对应的ssTEM噪声图像，所述初步恢复图像即为最终恢复图像；对于第二噪声类型对应的ssTEM噪声图像，输入ssTEM噪声图像和初步恢复图像，通过估计形变光流对ssTEM噪声图像进行修正，将修正后的图像与初步恢复图像融合获得最终恢复图像；对于第三噪声类型对应的ssTEM噪声图像，输入ssTEM噪声图像，对ssTEM噪声图像的亮度和/或对比度进行修正，将修正后的图像与初步恢复图像融合获得最终恢复图像；利用最终恢复图像与相应的干净-噪声图像对中中间帧切片图像的差异构造损失函数训练所述基于深度学习的ssTEM噪声图像恢复网络；
将待恢复的ssTEM噪声图像输入至训练后的基于深度学习的ssTEM噪声图像恢复网络，根据所述待恢复的ssTEM噪声图像的噪声类型获得最终恢复图像。
一种连续切片透射电子显微镜图像恢复系统，包括：
图像对构造单元，用于根据噪声类型，结合不带噪声的ssTEM图像的中间帧切片图像合成相应的类型的ssTEM噪声图像，中间帧切片图像与相应的ssTEM噪声图像构成干净-噪声图像对；其中，ssTEM图像表示连续切片透射电子显微镜图像，不带噪声的ssTEM图像包含不带噪声的前中后多帧切片图像；
网络构建与训练单元，用于构建基于深度学习的ssTEM噪声图像恢复网络，输入不带噪声的ssTEM图像的前后帧切片图像，得到对ssTEM噪声图像的初步恢复图像；对于第一噪声类型对应的ssTEM噪声图像，所述初步恢复图像即为最终恢复图像；对于第二噪声类型对应的ssTEM噪声图像，输入ssTEM噪声图像与初步恢复图像，通过估计形变光流对ssTEM噪声图像进行修正，将修正后的图像与初步恢复图像融合获得最终恢复图像；对于第三噪声类型对应的ssTEM噪声图像，输入ssTEM噪声图像，对ssTEM噪声图像的亮度和/或对比度进行修正，将修正后的图像与初步恢复图像融合获得最终恢复图像；利用最终恢复图像与相应干净-噪声图像对中的中间帧切片图像的差异构造损失函数训练所述基于深度学习的ssTEM噪声图像恢复网络；
图像恢复单元，用于将待恢复的ssTEM噪声图像输入至训练后的基于深度学习的ssTEM噪声图像恢复网络，根据所述待恢复的ssTEM噪声图像的噪声类型获得最终恢复图像。
一种处理设备，包括：一个或多个处理器；存储器，用于存储一个或多个程序；
其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现前述的方法。
一种可读存储介质，存储有计算机程序，当计算机程序被处理器执行时实现前述的方法。
由上述本发明提供的技术方案可以看出，（1）提供一种ssTEM噪声图像仿真方法，能够针对不同噪声类型合成对应的ssTEM噪声图像，构造出应用网络训练的干净-噪声图像对。（2）构建适用于多种噪声的图像恢复网络，通过挖掘相邻图像之间的关联性并为噪声严重的区域提供一个初步的恢复结果，之后，针对仍然保留生物结构信息的噪声区域进行修复，最后，将前两部分的结果相结合，能够提升图像恢复性能。总而言之，本发明可以有效去除ssTEM图像中的噪声。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。
图1为本发明背景技术提供的支撑膜折叠噪声图像的示意图；
图2为本发明实施例提供的一种连续切片透射电子显微镜图像恢复方法的流程图；
图3为本发明实施例提供的合成支撑膜折叠噪声图像的流程图；
图4为本发明实施例提供的合成染色沉淀噪声图像的流程图；
图5为本发明实施例提供的基于深度学习的ssTEM噪声图像恢复网络的结构示意图；
图6为本发明实施例提供的在合成的支撑膜折叠噪声图像上的恢复效果示意图；
图7为本发明实施例提供的在真实的支撑膜折叠噪声图像上的恢复效果示意图；
图8为本发明实施例提供的在合成的染色沉淀噪声图像上的恢复效果示意图；
图9为本发明实施例提供的在真实的染色沉淀噪声图像上的恢复效果示意图；
图10为本发明实施例提供的一种连续切片透射电子显微镜图像恢复系统的示意图；
图11为本发明实施例提供的一种处理设备的示意图。
具体实施方式
下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明的保护范围。
首先对本文中可能使用的术语进行如下说明：
术语“和/或”是表示两者任一或两者同时均可实现，例如，X和/或Y表示既包括“X”或“Y”的情况也包括“X和Y”的三种情况。
术语“包括”、“包含”、“含有”、“具有”或其它类似语义的描述，应被解释为非排它性的包括。例如：包括某技术特征要素（如原料、组分、成分、载体、剂型、材料、尺寸、零件、部件、机构、装置、步骤、工序、方法、反应条件、加工条件、参数、算法、信号、数据、产品或制品等），应被解释为不仅包括明确列出的某技术特征要素，还可以包括未明确列出的本领域公知的其它技术特征要素。
下面对本发明所提供的一种ssTEM图像恢复方法、系统、设备及存储介质进行详细描述。本发明实施例中未作详细描述的内容属于本领域专业技术人员公知的现有技术。本发明实施例中未注明具体条件者，按照本领域常规条件或制造商建议的条件进行。本发明实施例中所用试剂或仪器未注明生产厂商者，均为可以通过市售购买获得的常规产品。
实施例一
本发明实施例提供一种连续切片透射电子显微镜图像恢复方法，主要分为噪声图像仿真和基于深度学习的统一图像恢复两个部分；噪声图像仿真部分主要是提出一种有效的ssTEM带噪声图像的仿真方法以构成干净-噪声图像对；基于深度学习的统一图像恢复部分主要是构造一种图像恢复网络，其利用噪声图像仿真部分获得的干净-噪声图像对进行网络训练，能够针对不同噪声准确去除ssTEM图像中的噪声。如图1所示，本发明主要步骤如下：
步骤1、ssTEM带噪声图像的仿真。
本发明实施例中，根据噪声类型，结合不带噪声的ssTEM图像的中间帧切片图像合成相应的类型的ssTEM噪声图像，中间帧切片图像与相应的ssTEM噪声图像构成干净-噪声图像对。
本领域技术人员可以理解，ssTEM图像为三维图像，即包含前中后多帧切片图像。也就是说，不带噪声的ssTEM图像包含不带噪声的前中后多帧切片图像，本步骤主要是针对中间帧切片图像仿真生成相应的ssTEM噪声图像，ssTEM噪声图像的原有前后帧切片图像（即相邻图像）保持不变，在后续步骤将被使用；其中，中间帧为一帧或者连续的多帧（例如，两帧）。例如：当中间帧为一帧时，ssTEM图像包含三帧，三帧均为不带噪声的图像（干净图像），第2帧被用于生成ssTEM噪声图像；当中间帧为连续两帧时，四帧均为不带噪声的图像（干净图像），第2与第3帧被用于生成ssTEM噪声图像。考虑到本发明主要操作对象是不带噪声的ssTEM图像的中间帧切片图像，因此，为了避免赘述，下面简称为中间帧切片图像。
如之前所述，噪声类型主要包括：缺失帧噪声、支撑膜折叠噪声和染色沉淀噪声。对于缺失帧噪声，可以按照现有方案合成相应的类型的ssTEM噪声图像，例如使用背景技术介绍的方案。本发明主要针对染色沉淀噪声和支撑膜折叠噪声提供相应的ssTEM噪声图像合成方案。
（1）支撑膜折叠噪声图像合成方式。
所述的支撑膜折叠噪声图像是指针对支撑膜折叠噪声合成的ssTEM噪声图像。噪声模拟主要包括：内容形变和损坏。损坏可用黑线表示，内容形变是由支撑膜折叠引起的，表现为图像内容形变且靠近黑线部分的图像内容形变较大。如图3所示，主要包括：合成折叠光流（Folded Optical Flow），生成形变后的图像（Deformed Image）和生成带有支撑膜折叠噪声的图像（Degraded Image）。具体如下：
（a）合成折叠光流
Figure 767057DEST_PATH_IMAGE001
。
从中间帧切片图像的边缘随机选择两个位置点，记为：位置点p 1，坐标为(x 1,y 1)，位置点p 2，坐标为(x 2,y 2)；中间帧切片图像，也即干净的ssTEM图像（Artifacts-freeimage）。利用两个位置点确定支撑膜折叠噪声图像中黑线的方程：
Figure 648425DEST_PATH_IMAGE002
其中，x为直线方程上任一点的横坐标，y为直线方程上任一点的纵坐标。
Figure 879687DEST_PATH_IMAGE003
为直线 方程的斜率，
Figure 795690DEST_PATH_IMAGE004
，
Figure 719784DEST_PATH_IMAGE005
为直线方程的截距，
Figure 88448DEST_PATH_IMAGE006
。
基于对支撑膜折叠噪声图像的统计分析，支撑膜折叠噪声图像的光流主方向与黑 线方向相互垂直，且光流大小与距离黑线的距离可近似为线性衰减关系，因此，计算光流方 向
Figure 621935DEST_PATH_IMAGE007
：
Figure 126866DEST_PATH_IMAGE008
。
对于中间帧切片图像中的每个位置点(i,j)，计算与黑线的距离
Figure 487440DEST_PATH_IMAGE009
：
Figure 343401DEST_PATH_IMAGE010
计算光流大小
Figure 916465DEST_PATH_IMAGE011
：
Figure 807060DEST_PATH_IMAGE012
其中，
Figure 72956DEST_PATH_IMAGE013
为光流大小衰减因子，
Figure 150634DEST_PATH_IMAGE014
为黑线边界的光流大小，
Figure 792968DEST_PATH_IMAGE015
，
Figure 771026DEST_PATH_IMAGE016
为设定的黑线宽度，
Figure 473403DEST_PATH_IMAGE017
为设定的实际由支撑膜折 叠引起的图像形变的宽度，
Figure 38376DEST_PATH_IMAGE018
，当
Figure 953243DEST_PATH_IMAGE019
时，将
Figure 552851DEST_PATH_IMAGE011
置为0；
计算每个位置点(i,j)沿水平方向和竖直方向的光流大小，表示为：
Figure 160550DEST_PATH_IMAGE020
Figure 478399DEST_PATH_IMAGE021
其中，H、W分别为中间帧切片图像的高度、宽度，
Figure 196956DEST_PATH_IMAGE022
表示位置点(i,j)沿水平 方向的光流大小，
Figure 651071DEST_PATH_IMAGE023
表示位置点(i,j)沿竖直方方向的光流大小，综合所有位置点沿 水平方向和竖直方向的光流大小，获得折叠光流
Figure 951644DEST_PATH_IMAGE001
。
（b）生成形变后的图像和生成带有支撑膜折叠噪声的图像。
利用折叠光流
Figure 491210DEST_PATH_IMAGE001
对中间帧切片图像进行形变，同时，结合黑线的方程与设 定的黑线宽度
Figure 279037DEST_PATH_IMAGE016
将中间帧切片图像相应位置使用黑色遮盖，合成支撑膜折叠噪声图像。
至此，可以结合中间帧切片图像构建干净-支撑膜折叠噪声图像对（它是干净-噪声图像对的一种）。
（2）染色沉淀噪声图像合成方式。
所述染色沉淀噪声图像是指针对染色沉淀噪声合成的ssTEM噪声图像。如图4所示，主要包括：从真实ssTEM染色沉淀噪声图像（Real SP image）中提取染色沉淀斑块（Extracted masks），提取染色沉淀斑块的轮廓（Extracted contours）并旋转（rotate）、缩放（Resize），生成一系列轮廓（Generated contours），填充轮廓（Fill contours），构建染色沉淀斑块库（Mask bank），亮度对比度调整（adjust brightness&contrast）和从染色沉淀斑块库中选取斑块并覆盖在亮度对比度调整后的图像上。具体如下：
为了产生云状噪声，从真实的ssTEM染色沉淀图像中提取染色沉淀噪声斑块，提取染色沉淀噪声斑块的轮廓。为了进一步增加多样性，对提取出的轮廓进行数据增广操作（进行随机旋转和/或缩放等操作），获得多个染色沉淀噪声斑块的轮廓。需要说明的是，亮度对比度调整中，亮度与对比度这两项之间也是和/或的关系，即可以调整任一项或者两项，图4提供了调整亮度与对比度这两项的示例。
为了生成逼真的云状的染色沉淀噪声斑块，根据对真实染色沉淀噪声斑块的统计分析（染色沉淀噪声斑块的平均灰度值随着斑块面积增大而减小，可用三次多项式函数拟合；在单个染色沉淀噪声斑块内，灰度值随着离斑块中心点的距离增大而增大，可用三次多项式函数拟合；）来填充空白染色沉淀斑块轮廓。对于每一染色沉淀噪声斑块的轮廓（空白染色沉淀斑块轮廓），可以确定轮廓面积。根据斑块平均灰度值和染色沉淀斑块面积的关系，可以设置这个染色沉淀噪声斑块的平均灰度值。之后，对于染色沉淀斑块中的每个位置点，可以通过其到斑块中心的归一化距离和斑块的平均灰度值来计算灰度值，按照灰度值填充每个位置点，获得合成的染色沉淀噪声斑块。所有染色沉淀噪声斑块的轮廓都通过以上方式进行填充，可以模拟出大量的染色沉淀斑块，构成一个云状的染色沉淀斑块库。
除了云状染色沉淀噪声外，染色沉淀图像还受到低对比度失真的影响。因此，对中间帧切片图像的对比度和/或亮度进行随机调整，获得低对比度图像（Low-contrastimage），将随机调整后的图像与从染色沉淀斑块库中随机选择的合成的染色沉淀噪声斑块融合，合成染色沉淀噪声图像（Simulated SP image）。具体来说，在保证染色沉淀噪声斑块不重叠的前提下，随机选择中间帧切片图像中的位置来覆盖斑块。在选定的位置，将选定的斑块与低对比度图像相乘，其他位置则直接采用低对比度图像。通过这种方式，可以合成大量的干净-染色沉淀噪声图像对（它是干净-噪声图像对的一种）。
步骤2、构建基于深度学习的ssTEM噪声图像恢复网络，并进行网络训练。
本发明实施例中，构建基于深度学习的ssTEM噪声图像恢复网络，输入不带噪声的ssTEM图像的前后帧切片图像，得到对ssTEM噪声图像的初步恢复图像；对于第一噪声类型（即缺失帧噪声类型）对应的ssTEM噪声图像，所述初步恢复图像即为最终恢复图像；对于第二噪声类型（即支撑膜折叠噪声类型）对应的ssTEM噪声图像，输入ssTEM噪声图像和初步恢复图像，通过估计形变光流对ssTEM噪声图像进行修正，将修正后的图像与初步恢复图像融合获得最终恢复图像；对于第三噪声类型（即染色沉淀噪声类型）对应的ssTEM噪声图像，输入ssTEM噪声图像，对ssTEM噪声图像的亮度和/或对比度进行修正，将修正后的图像与初步恢复图像融合获得最终恢复图像；利用最终恢复图像与相应的中间帧切片图像的差异构造损失函数训练所述基于深度学习的ssTEM噪声图像恢复网络。
如图5所示，为基于深度学习的ssTEM噪声图像恢复网络的主要结构，主要包括：插帧模块、校正模块与融合模块；其中：所述插帧模块，用于根据不带噪声的ssTEM图像的前后帧切片图像得到对ssTEM噪声图像的初步恢复图像。所述校正模块包括两个分支，第一分支针对第二噪声类型对应的ssTEM噪声图像（支撑膜折叠噪声图像），通过估计形变光流对ssTEM噪声图像进行修正；第二分支针对第三噪声类型对应的ssTEM噪声图像（染色沉淀噪声图像），对ssTEM噪声图像的亮度和/或对比度进行修正。所述融合模块，针对支撑膜折叠噪声图像与染色沉淀噪声图像，用于将修正后的图像与初步恢复图像融合获得最终恢复图像。下面针对各模块做具体介绍。
（1）插帧模块。
本发明实施例中，插帧模块可以基于视频插帧网络（S. Niklaus, L. Mai, andF. Liu, “Video frame interpolation via adaptive separable convolution,” inIEEE International Conference on Computer Vision, 2017, pp. 261–270.）实现，视频插帧网络将视频插帧看作一个局部分离卷积，对输入帧使用一组 ID 核（Paired IDkernels），可以减少参数量。
本发明实施例中，将不带噪声的ssTEM图像的前后帧切片图像（即ssTEM噪声图像 的前后帧切片图像）输入至插帧模块，得到对ssTEM噪声图像的初步恢复图像
Figure 587659DEST_PATH_IMAGE024
，表示为：
Figure 537160DEST_PATH_IMAGE025
其中，
Figure 564022DEST_PATH_IMAGE026
表示ssTEM噪声图像的前一帧图像，
Figure 889961DEST_PATH_IMAGE027
表示ssTEM噪声图像的后一帧 图像，
Figure 53089DEST_PATH_IMAGE028
表示插帧模块。
对于缺失帧噪声，由于对应的ssTEM噪声图像不包含任何有利于恢复的生物结构 信息，因此，得到的初步恢复图像
Figure 439071DEST_PATH_IMAGE024
即为最终恢复结果。对于支撑膜折叠噪声图像和染色沉 淀噪声图像，初步恢复图像
Figure 451764DEST_PATH_IMAGE024
为后续图像恢复提供帮助。
（2）校正模块。
对于支撑膜折叠噪声图像（记为
Figure 315815DEST_PATH_IMAGE029
），结合对应的初步恢复图像估计形变光流
Figure 333450DEST_PATH_IMAGE030
，再利用形变光流对支撑膜折叠噪声图像进行变换（Warp），获得修正后的图像
Figure 890333DEST_PATH_IMAGE031
（即未 折叠图像），表示为：
Figure 626208DEST_PATH_IMAGE032
其中，
Figure 28370DEST_PATH_IMAGE033
表示校正模块中的第一分支。
对于染色沉淀噪声图像（记为
Figure 431670DEST_PATH_IMAGE034
），校正模块主要修复染色沉淀噪声图像的亮度 和/或对比度，获得修正后的图像
Figure 159454DEST_PATH_IMAGE035
，表示为：
Figure 382625DEST_PATH_IMAGE036
其中，
Figure 352593DEST_PATH_IMAGE037
表示校正模块中的第二分支。
（3）融合模块。
本发明实施例中，融合模块将插帧模块和校正模块的恢复结果结合，以得到更优的恢复结果。
对于支撑膜折叠噪声图像，将校正模块修正后的图像与初步恢复图像在通道维度叠在一起一同输入融合模块获得最终恢复图像（其中融合模块的深度卷积神经网络的输入通道数为2，输出通道数为1），表示为：
Figure 344820DEST_PATH_IMAGE038
其中，
Figure 243506DEST_PATH_IMAGE039
表示融合模块，
Figure 688394DEST_PATH_IMAGE040
表示支撑膜折叠噪声图像的最终恢复图像。
对于染色沉淀噪声图像，额外引入轮廓提取法（Satoshi Suzuki and others. Topological structural analysis of digitized binary images by border following. Computer Vision, Graphics, and Image Processing, 30(1):32–46, 1985.）得到的斑块图以引导网络训练，具体的：将轮廓提取法记为
Figure 963517DEST_PATH_IMAGE041
，通过轮廓提取法
Figure 810250DEST_PATH_IMAGE041
从染色沉淀噪声图像中提取斑块图
Figure 879838DEST_PATH_IMAGE042
，此处是先提取空白的斑块轮廓，再使 用前文染色沉淀噪声图像合成方式中提供的方式对空白的斑块轮廓进行填充，获得斑块图
Figure 812022DEST_PATH_IMAGE043
。再利用斑块图、校正模块修正后的图像和初步恢复图像，获得最终恢复图像，表 示为：
Figure 625257DEST_PATH_IMAGE044
其中，
Figure 356190DEST_PATH_IMAGE045
表示染色沉淀噪声图像的最终恢复图像，上式中的
Figure 331099DEST_PATH_IMAGE046
即 为图5的R(.)操作。
本发明实施例中，融合模块是一个深度学习网络，它的输入为两个通道，即
Figure 281738DEST_PATH_IMAGE047
括号中的两个部分，输出为1个通道，即最终恢复图像；此处所涉及的融合操作 具体细节可参见常规技术，本发明不做赘述。
以上介绍了基于深度学习的ssTEM噪声图像恢复网络针对各类ssTEM噪声图像进行图像恢复的流程，训练阶段基于步骤1获得的干净-噪声图像对进行训练，直至损失函数收敛，获得训练好的网络。训练好的网络用于不同类型的数据（即前文提到的三种噪声数据）和测试场景。训练时的损失函数表示为：
Figure 633085DEST_PATH_IMAGE048
其中，I表示干净-噪声图像对中的中间帧切片图像，
Figure 454410DEST_PATH_IMAGE049
表示最终恢复图像；
Figure 600221DEST_PATH_IMAGE050
表示中间帧切片图像I与最终恢复图像
Figure 772576DEST_PATH_IMAGE049
的一阶欧式距离。
步骤3、ssTEM图像恢复。
本发明实施例中，将待恢复的ssTEM噪声图像输入至训练后的基于深度学习的ssTEM噪声图像恢复网络，根据所述待恢复的ssTEM噪声图像的噪声类型获得最终恢复图像，此处的待恢复的ssTEM噪声图像为ssTEM图像的中间帧切片图像，其前后帧图像为不带噪声的切片图像，图像恢复流程与前述训练阶段相同，即如果待恢复的ssTEM噪声图像为缺失帧噪声图像，则通过训练后的基于深度学习的ssTEM噪声图像恢复网络中的插帧模块即可获得最终恢复图像；如果待恢复的ssTEM噪声图像为支撑膜折叠噪声图像，则通过训练后的基于深度学习的ssTEM噪声图像恢复网络中的插帧模块、校正模块的第一分支、以及融合模块即可获得最终恢复图像；如果待恢复的ssTEM噪声图像为染色沉淀噪声图像，则通过训练后的基于深度学习的ssTEM噪声图像恢复网络中的插帧模块、校正模块的第二分支、以及融合模块即可获得最终恢复图像。
为了说明本发明的有效性，在合成数据（即通过前述步骤1中的方式合成的数据）和真实数据上分别进行了测试。
（1）支撑膜折叠噪声图像恢复。
图6展示了在合成的支撑膜折叠噪声图像上的恢复结果，从左至右的六列中：第一列为合成的支撑膜折叠噪声图像，第二列为基于图像修补的方法PC（G. Liu, F. A. Reda,K. J. Shih, T.-C. Wang, A. Tao, and B. Catanzaro, “Image inpainting forirregular holes using partial convolutions,” in Proceedings of the EuropeanConference on Computer Vision (ECCV), 2018, pp. 85–100.）的恢复结果，第三列为先展开再图像修补方法（PC-unfold）的恢复结果，第四列为直接插帧的方法Interp.（S.Niklaus, L. Mai, and F. Liu, “Video frame interpolation via adaptiveseparable convolution,” in IEEE International Conference on Computer Vision,2017, pp. 261–270.）的恢复结果，第五列为本发明方法的恢复结果，第六列为第一列所示合成的支撑膜折叠噪声图像对应的不带噪声的ssTEM图像的中间帧切片图像；从上至下三行中：第一行为一个整体图像，其中用细线矩形框与粗线矩形标记了两个图像区域，第二行为细线矩形框区域的局部图像，第三行为粗线矩形框区域的局部图像。
图7展示了在真实的支撑膜折叠噪声图像上的恢复结果，从左至右的六列中：第一列为真实的支撑膜折叠噪声图像，第二列为基于图像修补的方法（PC）的恢复结果，第三列为先展开再图像修补方法（PC-unfold）的恢复结果，第四列为直接插帧的方法（Interp.）的恢复结果，第五列为本发明方法的恢复结果，第六列为与支撑膜折叠噪声图像相邻的下一帧干净图像（Subsequent）；从上至下三行中：第一行为一个整体图像，其中用细线矩形框与粗线矩形标记了两个图像区域，第二行为粗线矩形框区域的局部图像，第三行为细线矩形框区域的局部图像。
表1展示了在合成的支撑膜折叠噪声图像上的定量结果，其中，Sub.表示用相邻干净帧替代的方法，Ours表示本发明的方法，A、B、C主要用于表示不同的合成的支撑膜折叠噪声图像数据集（简称合成数据集）。
表1：合成的支撑膜折叠噪声图像上的定量结果
Figure 927614DEST_PATH_IMAGE051
通过表1、图6~图7所示的结果可以看到，不论在合成数据集还是真实数据集上，与现有的各类方法相比，本发明提供的方法有更好的图像恢复效果，更高的PSNR（峰值信噪比）、SSIM（结构相似性）和神经元分割精度；神经元分割精度使用了VOI（Variation ofInformation，信息变差）与ARAND（Adapted Rand error，自适应兰德错误）两个指标，用于评价分割是否正确。，VOI和ARAND是实例分割评价指标，用来评价两个实例分割结果的相似性，如果分割结果越相似则VOI与ARAND结果越低。
（2）染色沉淀噪声图像恢复。
图8展示了在合成的染色沉淀噪声图像上的恢复结果，从左至右的六列中：第一列为合成的染色沉淀噪声图像，第二列为自然图像去噪方法DnCNN（K. Zhang, W. Zuo, Y.Chen, D. Meng, and L. Zhang, “Beyond a gaussian denoiser: Residual learningof deep cnn for image denoising,” IEEE transactions on image processing, vol.26, no. 7, pp. 3142–3155, 2017.）的恢复结果，第三列为自然图像恢复方法RDN（Y.Zhang, Y. Tian, Y. Kong, B. Zhong, and Y. Fu, “Residual dense network forimage restoration,” IEEE Transactions on Pattern Analysis and MachineIntelligence, vol. 43, no. 7, pp. 2480–2495, 2021）的恢复结果，第四列为直接插帧的方法（Interp.），第五列为本发明方法的恢复结果，第六列为第一列所示合成的染色沉淀噪声图像对应的不带噪声的ssTEM图像的中间帧切片图像。从上至下两行分别为两组不同的图像示例。
图9展示了在真实的染色沉淀噪声图像上的恢复结果，从左至右的六列中：第一列为真实的染色沉淀噪声图像，第二列为自然图像去噪方法（DnCNN）的恢复结果，第三列为自然图像恢复方法（RDN）的恢复结果，第四列为直接插帧的方法（Interp.）的恢复结果，第五列为本发明方法的恢复结果，第六列为与染色沉淀噪声图像相邻的下一帧干净图像（Subsequent）。从上至下两行分别为两组不同的图像示例。
表2展示了在合成的染色沉淀噪声图像上的定量结果。
表2：合成的染色沉淀噪声图像上的定量结果
Figure 869025DEST_PATH_IMAGE052
通过表2、图8~图9所示的结果可以看到，不论在合成数据集还是真实数据集上，与现有的各类方法相比，本发明提供的方法有更好的图像恢复效果，更高的PSNR（峰值信噪比）、SSIM（结构相似性）和神经元分割精度。
（3）缺失帧噪声图像恢复。
表3展示了在多个缺失帧噪声图像数据集中的定量结果，表3中，MS-1与MS-2分别表示缺失中间一帧和缺失中间两帧的图像数据集，cubic表示现有的cubic插值方法，PBFI表示图像插帧方法（S. Meyer, O. Wang, H. Zimmer, M. Grosse, and A. Sorkine-Hornung, “Phase-based frame interpolation for video,” in Proceedings of theIEEE conference on computer vision and pattern recognition, 2015, pp. 1410–1418.）。
表3：缺失帧噪声图像数据集中的定量结果
Figure 451316DEST_PATH_IMAGE053
通过表3所示的结果可以看到，与现有的各类方法相比，本发明提供的方法有更好的图像恢复效果，更高的PSNR（峰值信噪比）、SSIM（结构相似性）和神经元分割精度。
实施例二
本发明还提供一种连续切片透射电子显微镜图像恢复系统，其主要基于前述实施例一提供的方法实现，如图10所示，该系统主要包括：
图像对构造单元，用于根据噪声类型，结合不带噪声的ssTEM图像的中间帧切片图像合成相应的类型的ssTEM噪声图像，中间帧切片图像与相应的ssTEM噪声图像构成干净-噪声图像对；其中，ssTEM图像表示连续切片透射电子显微镜图像，不带噪声的ssTEM图像包含不带噪声的前中后多帧图像；
网络构建与训练单元，用于构建基于深度学习的ssTEM噪声图像恢复网络，输入不带噪声的ssTEM图像的前后帧切片图像，得到对ssTEM噪声图像的初步恢复图像；对于第一噪声类型对应的ssTEM噪声图像，所述初步恢复图像即为最终恢复图像；对于第二噪声类型对应的ssTEM噪声图像，通过估计形变光流对ssTEM噪声图像进行修正，将修正后的图像与初步恢复图像融合获得最终恢复图像；对于第三噪声类型对应的ssTEM噪声图像，对ssTEM噪声图像的亮度和/或对比度进行修正，将修正后的图像与初步恢复图像融合获得最终恢复图像；利用最终恢复图像与相应干净-噪声图像对中的中间帧切片图像的差异构造损失函数训练所述基于深度学习的ssTEM噪声图像恢复网络；
图像恢复单元，用于将待恢复的ssTEM噪声图像输入至训练后的基于深度学习的ssTEM噪声图像恢复网络，根据所述待恢复的ssTEM噪声图像的噪声类型获得最终恢复图像。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将系统的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。
实施例三
本发明还提供一种处理设备，如图11所示，其主要包括：一个或多个处理器；存储器，用于存储一个或多个程序；其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现前述实施例一提供的方法。
进一步的，所述处理设备还包括至少一个输入设备与至少一个输出设备；在所述处理设备中，处理器、存储器、输入设备、输出设备之间通过总线连接。
本发明实施例中，所述存储器、输入设备与输出设备的具体类型不做限定；例如：
输入设备可以为触摸屏、图像采集设备、物理按键或者鼠标等；
输出设备可以为显示终端；
存储器可以为随机存取存储器（Random Access Memory，RAM），也可为非不稳定的存储器（non-volatile memory），例如磁盘存储器。
实施例四
本发明还提供一种可读存储介质，存储有计算机程序，当计算机程序被处理器执行时实现前述实施例一提供的方法。
本发明实施例中可读存储介质作为计算机可读存储介质，可以设置于前述处理设备中，例如，作为处理设备中的存储器。此外，所述可读存储介质也可以是U盘、移动硬盘、只读存储器（Read-Only Memory，ROM）、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明披露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求书的保护范围为准。

Claims (10)

1.一种连续切片透射电子显微镜图像恢复方法，其特征在于，包括：
根据噪声类型，结合不带噪声的ssTEM图像的中间帧切片图像合成相应的类型的ssTEM噪声图像，中间帧切片图像与相应的ssTEM噪声图像构成干净-噪声图像对；其中，ssTEM图像表示连续切片透射电子显微镜图像，不带噪声的ssTEM图像包含不带噪声的前中后多帧切片图像；
构建基于深度学习的ssTEM噪声图像恢复网络，输入不带噪声的ssTEM图像的前后帧切片图像，得到对ssTEM噪声图像的初步恢复图像；对于第一噪声类型对应的ssTEM噪声图像，所述初步恢复图像即为最终恢复图像；对于第二噪声类型对应的ssTEM噪声图像，输入ssTEM噪声图像和初步恢复图像，通过估计形变光流对ssTEM噪声图像进行修正，将修正后的图像与初步恢复图像融合获得最终恢复图像；对于第三噪声类型对应的ssTEM噪声图像，输入ssTEM噪声图像，对ssTEM噪声图像的亮度和/或对比度进行修正，将修正后的图像与初步恢复图像融合获得最终恢复图像；利用最终恢复图像与相应的干净-噪声图像对中中间帧切片图像的差异构造损失函数训练所述基于深度学习的ssTEM噪声图像恢复网络；其中，第一噪声类型为缺失帧噪声类型，第二噪声类型为支撑膜折叠噪声类型，第三噪声类型为染色沉淀噪声类型；
将待恢复的ssTEM噪声图像输入至训练后的基于深度学习的ssTEM噪声图像恢复网络，根据所述待恢复的ssTEM噪声图像的噪声类型获得最终恢复图像。
2.根据权利要求1所述的一种连续切片透射电子显微镜图像恢复方法，其特征在于，所述第二噪声类型对应的ssTEM噪声图像为支撑膜折叠噪声图像，合成方式包括：
从中间帧切片图像的边缘随机选择两个位置点，记为：位置点p 1，坐标为(x 1,y 1)，位置点p 2，坐标为(x 2,y 2)；利用两个位置点确定支撑膜折叠噪声图像中黑线的方程：
Figure 229611DEST_PATH_IMAGE001
其中，x为直线方程上任一点的横坐标，y为直线方程上任一点的纵坐标，
Figure 694221DEST_PATH_IMAGE002
为直线方程 的斜率，
Figure 536275DEST_PATH_IMAGE003
，
Figure 728222DEST_PATH_IMAGE004
为直线方程的截距，
Figure 90064DEST_PATH_IMAGE005
；
计算光流方向
Figure 974844DEST_PATH_IMAGE006
：
Figure 789347DEST_PATH_IMAGE007
；
对于中间帧切片图像中的每个位置点(i,j)，计算与黑线的距离
Figure 784985DEST_PATH_IMAGE008
：
Figure 250601DEST_PATH_IMAGE009
计算光流大小
Figure 788506DEST_PATH_IMAGE010
：
Figure 605152DEST_PATH_IMAGE011
其中，
Figure 889634DEST_PATH_IMAGE012
为光流大小衰减因子，
Figure 740915DEST_PATH_IMAGE013
为黑线边界的光流大小，
Figure 983809DEST_PATH_IMAGE014
，
Figure 287751DEST_PATH_IMAGE015
为设定的黑线宽度，
Figure 110345DEST_PATH_IMAGE016
为设定的实际由支撑膜折 叠引起的图像形变的宽度，
Figure 550554DEST_PATH_IMAGE017
，当
Figure 682458DEST_PATH_IMAGE018
时，将
Figure 239077DEST_PATH_IMAGE010
置为0；
计算每个位置点(i,j)沿水平方向和竖直方向的光流大小，表示为：
Figure 114629DEST_PATH_IMAGE019
Figure 425656DEST_PATH_IMAGE020
其中，H、W分别为中间帧切片图像的高度、宽度，
Figure 994040DEST_PATH_IMAGE021
表示位置点(i,j)沿水平方向 的光流大小，
Figure 492149DEST_PATH_IMAGE022
表示位置点(i,j)沿竖直方向的光流大小，综合所有位置点沿水平方 向和竖直方向的光流大小，获得折叠光流
Figure 171392DEST_PATH_IMAGE023
；
利用折叠光流
Figure 320614DEST_PATH_IMAGE023
对中间帧切片图像进行形变，同时，结合黑线的方程与设定的 黑线宽度
Figure 810632DEST_PATH_IMAGE024
将中间帧切片图像相应位置使用黑色遮盖，合成支撑膜折叠噪声图像。
3.根据权利要求1所述的一种连续切片透射电子显微镜图像恢复方法，其特征在于，所述第三噪声类型对应的ssTEM噪声图像为染色沉淀噪声图像，合成方式包括：
从真实的ssTEM染色沉淀图像中提取染色沉淀噪声斑块，提取染色沉淀噪声斑块的轮廓，并进行数据增广操作，获得多个染色沉淀噪声斑块的轮廓；对于每一染色沉淀噪声斑块的轮廓，根据轮廓面积大小计算染色沉淀噪声斑块的平均灰度值，基于所述平均灰度值以及染色沉淀噪声斑块中每一位置点与中心的距离，确定每一位置点的灰度值，并进行灰度填充，获得合成的染色沉淀噪声斑块；利用所有合成的染色沉淀噪声斑块构建染色沉淀斑块库；
对中间帧切片图像的对比度和/或亮度进行随机调整，将随机调整后的图像与从染色沉淀斑块库中随机选择的合成的染色沉淀噪声斑块融合，合成染色沉淀噪声图像。
4.根据权利要求1所述的一种连续切片透射电子显微镜图像恢复方法，其特征在于，所述对于第二噪声类型对应的ssTEM噪声图像，输入ssTEM噪声图像和初步恢复图像，通过估计形变光流对ssTEM噪声图像进行修正，将修正后的图像与初步恢复图像融合获得最终恢复图像包括：
所述第二噪声类型为支撑膜折叠噪声类型，其对应的ssTEM噪声图像称为支撑膜折叠噪声图像；
结合支撑膜折叠噪声图像及其对应的初步恢复图像估计形变光流，利用形变光流对支撑膜折叠噪声图像进行变换，获得修正后的图像；
将修正后的图像与初步恢复图像融合获得最终恢复图像。
5.根据权利要求1所述的一种连续切片透射电子显微镜图像恢复方法，其特征在于，所述对于第三噪声类型对应的ssTEM噪声图像，输入ssTEM噪声图像，对ssTEM噪声图像的亮度和/或对比度进行修正，将修正后的图像与初步恢复图像融合获得最终恢复图像包括：
所述第三噪声类型为染色沉淀噪声类型，其对应的ssTEM噪声图像称为染色沉淀噪声图像；
对染色沉淀噪声图像的亮度和/或对比度进行修正，获得修正后的图像；
通过轮廓提取法从染色沉淀噪声图像中提取斑块图，利用斑块图、修正后的图像与初步恢复图像，获得最终恢复图像。
6.根据权利要求1或4或5所述的一种连续切片透射电子显微镜图像恢复方法，其特征在于，所述基于深度学习的ssTEM噪声图像恢复网络包括：插帧模块、校正模块与融合模块；其中：
所述插帧模块，用于根据不带噪声的ssTEM图像的前后帧切片图像得到对ssTEM噪声图像的初步恢复图像；
所述校正模块包括两个分支，第一分支针对第二噪声类型对应的ssTEM噪声图像，通过估计形变光流对ssTEM噪声图像进行修正；第二分支针对第三噪声类型对应的ssTEM噪声图像，对ssTEM噪声图像的亮度和/或对比度进行修正；
所述融合模块，针对第二噪声类型与第三噪声类型对应的ssTEM噪声图像，用于将修正后的图像与初步恢复图像融合获得最终恢复图像。
7.根据权利要求1所述的一种连续切片透射电子显微镜图像恢复方法，其特征在于，所述损失函数表示为：
Figure 310883DEST_PATH_IMAGE025
其中，I表示干净-噪声图像对中的中间帧切片图像，
Figure 276041DEST_PATH_IMAGE026
表示最终恢复图像；
Figure 76507DEST_PATH_IMAGE027
表 示中间帧切片图像I与最终恢复图像
Figure 268585DEST_PATH_IMAGE026
的一阶欧式距离。
8.一种连续切片透射电子显微镜图像恢复系统，其特征在于，基于权利要求1~7任一项所述的方法实现，该系统包括：
图像对构造单元，用于根据噪声类型，结合不带噪声的ssTEM图像的中间帧切片图像合成相应的类型的ssTEM噪声图像，中间帧切片图像与相应的ssTEM噪声图像构成干净-噪声图像对；其中，ssTEM图像表示连续切片透射电子显微镜图像，不带噪声的ssTEM图像包含不带噪声的前中后多帧切片图像；
网络构建与训练单元，用于构建基于深度学习的ssTEM噪声图像恢复网络，输入不带噪声的ssTEM图像的前后帧切片图像，得到对ssTEM噪声图像的初步恢复图像；对于第一噪声类型对应的ssTEM噪声图像，所述初步恢复图像即为最终恢复图像；对于第二噪声类型对应的ssTEM噪声图像，输入ssTEM噪声图像与初步恢复图像，通过估计形变光流对ssTEM噪声图像进行修正，将修正后的图像与初步恢复图像融合获得最终恢复图像；对于第三噪声类型对应的ssTEM噪声图像，输入ssTEM噪声图像，对ssTEM噪声图像的亮度和/或对比度进行修正，将修正后的图像与初步恢复图像融合获得最终恢复图像；利用最终恢复图像与相应干净-噪声图像对中的中间帧切片图像的差异构造损失函数训练所述基于深度学习的ssTEM噪声图像恢复网络；
图像恢复单元，用于将待恢复的ssTEM噪声图像输入至训练后的基于深度学习的ssTEM噪声图像恢复网络，根据所述待恢复的ssTEM噪声图像的噪声类型获得最终恢复图像。
9.一种处理设备，其特征在于，包括：一个或多个处理器；存储器，用于存储一个或多个程序；
其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如权利要求1~7任一项所述的方法。
10.一种可读存储介质，存储有计算机程序，其特征在于，当计算机程序被处理器执行时实现如权利要求1~7任一项所述的方法。
CN202210893708.9A 2022-07-27 2022-07-27 连续切片透射电子显微镜图像恢复方法与系统 Active CN115082360B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210893708.9A CN115082360B (zh) 2022-07-27 2022-07-27 连续切片透射电子显微镜图像恢复方法与系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210893708.9A CN115082360B (zh) 2022-07-27 2022-07-27 连续切片透射电子显微镜图像恢复方法与系统

Publications (2)

Publication Number Publication Date
CN115082360A CN115082360A (zh) 2022-09-20
CN115082360B true CN115082360B (zh) 2022-12-30

Family

ID=83243159

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210893708.9A Active CN115082360B (zh) 2022-07-27 2022-07-27 连续切片透射电子显微镜图像恢复方法与系统

Country Status (1)

Country Link
CN (1) CN115082360B (zh)

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AT509884B1 (de) * 2010-07-27 2011-12-15 Alicona Imaging Gmbh Mikroskopieverfahren und -vorrichtung
CN102930512B (zh) * 2012-09-25 2015-12-02 哈尔滨工程大学 基于HSV色彩空间结合Retinex的水下图像增强方法
EP3889684A1 (en) * 2020-04-01 2021-10-06 ASML Netherlands B.V. Removing an artefact from an image
CN112700389B (zh) * 2021-01-13 2022-08-19 安徽工业大学 一种活性污泥微生物彩色显微图像去噪方法

Also Published As

Publication number Publication date
CN115082360A (zh) 2022-09-20

Similar Documents

Publication Publication Date Title
US11501420B2 (en) Reconstructing phase images with deep learning
CN104751420A (zh) 一种基于稀疏表示和多目标优化的盲复原方法
CN112561909B (zh) 一种基于融合变异的图像对抗样本生成方法
CN112347945B (zh) 一种基于深度学习的含噪遥感图像增强方法及系统
CN111127354A (zh) 一种基于多尺度字典学习的单图像去雨方法
CN106530231B (zh) 一种基于深层协作表达的超分辨率图像的重建方法及系统
Zhu et al. Low-light image enhancement network with decomposition and adaptive information fusion
CN115082360B (zh) 连续切片透射电子显微镜图像恢复方法与系统
CN112200752B (zh) 一种基于er网络多帧图像去模糊系统及其方法
CN114155145A (zh) 一种基于深度展开网络的空谱同时超分辨率重建方法
Gao et al. Efficient multi-scale network with learnable discrete wavelet transform for blind motion deblurring
CN111899166A (zh) 一种基于深度学习的医学高光谱显微图像超分辨重构方法
CN113223074A (zh) 一种水下激光条纹中心提取方法
CN116128768B (zh) 一种带有去噪模块的无监督图像低照度增强方法
CN112598604A (zh) 一种盲脸复原方法及系统
Huang et al. Learning to restore ssTEM images from deformation and corruption
CN112819739A (zh) 一种扫描电子显微镜图像处理方法和系统
CN117333359A (zh) 基于可分离卷积网络的山水画图像超分辨率重建方法
Wang et al. New insights into multi-focus image fusion: A fusion method based on multi-dictionary linear sparse representation and region fusion model
Yang et al. RSAMSR: A deep neural network based on residual self-encoding and attention mechanism for image super-resolution
Singh et al. Dense spatially-weighted attentive residual-haze network for image dehazing
CN116258645A (zh) 一种基于图像分解的低照度彩色图像增强方法
Deng et al. A unified deep learning framework for ssTEM image restoration
CN112102306B (zh) 一种基于双重gan的边缘修复特征融合的缺陷检测方法
CN115239553A (zh) 卫星图像超分辨率重建方法、系统、设备和可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant