CN113074627B - 直接电子探测相机的成像方法、装置及计算机设备 - Google Patents

直接电子探测相机的成像方法、装置及计算机设备 Download PDF

Info

Publication number
CN113074627B
CN113074627B CN202110271241.XA CN202110271241A CN113074627B CN 113074627 B CN113074627 B CN 113074627B CN 202110271241 A CN202110271241 A CN 202110271241A CN 113074627 B CN113074627 B CN 113074627B
Authority
CN
China
Prior art keywords
noise ratio
cluster
signal
clusters
low signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110271241.XA
Other languages
English (en)
Other versions
CN113074627A (zh
Inventor
章新政
朱东杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Biophysics of CAS
Original Assignee
Institute of Biophysics of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Biophysics of CAS filed Critical Institute of Biophysics of CAS
Priority to CN202110271241.XA priority Critical patent/CN113074627B/zh
Publication of CN113074627A publication Critical patent/CN113074627A/zh
Priority to PCT/CN2022/077799 priority patent/WO2022188637A1/zh
Application granted granted Critical
Publication of CN113074627B publication Critical patent/CN113074627B/zh
Priority to US18/168,313 priority patent/US20230260743A1/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01J—ELECTRIC DISCHARGE TUBES OR DISCHARGE LAMPS
    • H01J37/00—Discharge tubes with provision for introducing objects or material to be exposed to the discharge, e.g. for the purpose of examination or processing thereof
    • H01J37/26—Electron or ion microscopes; Electron or ion diffraction tubes
    • H01J37/261—Details
    • H01J37/263—Contrast, resolution or power of penetration
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01J—ELECTRIC DISCHARGE TUBES OR DISCHARGE LAMPS
    • H01J37/00—Discharge tubes with provision for introducing objects or material to be exposed to the discharge, e.g. for the purpose of examination or processing thereof
    • H01J37/02—Details
    • H01J37/22—Optical or photographic arrangements associated with the tube
    • H01J37/222—Image processing arrangements associated with the tube
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B9/00—Measuring instruments characterised by the use of optical techniques
    • G01B9/04—Measuring microscopes
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01J—ELECTRIC DISCHARGE TUBES OR DISCHARGE LAMPS
    • H01J2237/00—Discharge tubes exposing object to beam, e.g. for analysis treatment, etching, imaging
    • H01J2237/22—Treatment of data
    • H01J2237/221—Image processing
    • H01J2237/223—Fourier techniques
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01J—ELECTRIC DISCHARGE TUBES OR DISCHARGE LAMPS
    • H01J2237/00—Discharge tubes exposing object to beam, e.g. for analysis treatment, etching, imaging
    • H01J2237/22—Treatment of data
    • H01J2237/226—Image reconstruction
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01J—ELECTRIC DISCHARGE TUBES OR DISCHARGE LAMPS
    • H01J2237/00—Discharge tubes exposing object to beam, e.g. for analysis treatment, etching, imaging
    • H01J2237/244—Detection characterized by the detecting means
    • H01J2237/2446—Position sensitive detectors

Landscapes

  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Image Processing (AREA)
  • Analysing Materials By The Use Of Radiation (AREA)

Abstract

本发明公开了一种直接电子探测相机的成像方法、装置及计算机设备，涉及电子显微镜相机技术领域，主要在于能够提高图像的信噪比，进而提高电子探测效率。其中方法包括：对所述原始图像中的团簇进行分类，得到低信噪比团簇和高信噪比团簇；利用所述低信噪比团簇和所述高信噪比团簇分别对应的图像进行三维重构，得到所述低信噪比团簇和所述高信噪比团簇分别对应的三维模型；基于所述低信噪比团簇和所述高信噪比团簇分别对应的三维模型，计算所述低信噪比团簇对应的滤波函数；利用所述滤波函数对所述低信噪比团簇对应的图像进行滤波处理，并将图像进行叠加，得到所述冷冻样品对应的输出图像。本发明适用于直接电子探测相机的成像。

Description

直接电子探测相机的成像方法、装置及计算机设备
技术领域
本发明涉及电子显微镜相机技术领域，尤其是涉及一种直接电子探测相机的成像方法、装置及计算机设备。
背景技术
在电子显微镜领域，特别是冷冻电子显微镜领域，直接电子探测相机的出现相比于传统的需要光电转换的CCD(charge coupled device电荷耦合器件)相机极大地提升了电子探测速度和信噪比，直接电子探测相机通过制造的耐电子辐射损伤器件CMOS器件，直接检测电子在MOS管上激发的电信号进行成像，生成原始图像，由于相机内部读取的原始图像数量较多，受相机输出能力的限制以及为了方便后续对原始图像进行处理，需要减少相机输出原始图像的数量和原始图像的大小。
目前，在相机输出图像的过程中，通常采用质心方法对原始图像进行处理，即通过原始图像中团簇内所有像素的像素值和位置向量，计算团簇的质心，并基于计算的质心，重新生成图像并进行输出，以便减小输出图像的大小和减少输出图像的数量。然而，在重新成像的过程中质心法认为原始图像中所有团簇对应的信噪比均是相同的，但实际上图像中团簇的信噪比并不是相同的，会存在一些信噪比较低的团簇，如果直接利用这些信噪比较低的团簇重新生成图像，会导致重新生成的图像中存在较多噪声，进而导致生成的图像信噪比较低，尤其在电压降低的过程中，背散射电子的数量增加，质心法会导致生成图像的信噪比明显降低，进而影响了电子探测效率，在利用生成的图像进行三维重构时，会导致三维模型的分辨率较低。
发明内容
本发明提供了一种直接电子探测相机的成像方法、装置及计算机设备，主要在于能够提高图像的信噪比，进而提高电子探测效率，在利用生成的图像进行三维重构时，能够提高三维模型的分辨率。
根据本发明的第一个方面，提供一种直接电子探测相机的成像方法，包括：
获取直接电子探测相机拍摄的冷冻样品的原始图像；
对所述原始图像中的团簇进行分类，得到低信噪比团簇和高信噪比团簇，并生成所述低信噪比团簇和所述高信噪比团簇分别对应的图像；
利用所述低信噪比团簇和所述高信噪比团簇分别对应的图像进行三维重构，得到所述低信噪比团簇和所述高信噪比团簇分别对应的三维模型；
基于所述低信噪比团簇和所述高信噪比团簇分别对应的三维模型，计算所述低信噪比团簇对应的滤波函数；
利用所述滤波函数对所述低信噪比团簇对应的图像进行滤波处理，并将所述低信噪比团簇对应的滤波处理后的图像和所述高信噪比团簇对应的图像进行叠加，得到所述冷冻样品对应的输出图像。
根据本发明的第二个方面，提供一种直接电子探测相机的成像装置，包括：
获取单元，用于获取直接电子探测相机拍摄的冷冻样品的原始图像；
分类单元，用于对所述原始图像中的团簇进行分类，得到低信噪比团簇和高信噪比团簇，并生成所述低信噪比团簇和所述高信噪比团簇分别对应的图像；
重构单元，用于利用所述低信噪比团簇和所述高信噪比团簇分别对应的图像进行三维重构，得到所述低信噪比团簇和所述高信噪比团簇分别对应的三维模型；
计算单元，用于基于所述低信噪比团簇和所述高信噪比团簇分别对应的三维模型，计算所述低信噪比团簇对应的滤波函数；
滤波单元，用于利用所述滤波函数对所述低信噪比团簇对应的图像进行滤波处理，并将所述低信噪比团簇对应的滤波处理后的图像和所述高信噪比团簇对应的图像进行叠加，得到所述冷冻样品对应的输出图像。
根据本发明的第三个方面，提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现以下步骤：
获取直接电子探测相机拍摄的冷冻样品的原始图像；
对所述原始图像中的团簇进行分类，得到低信噪比团簇和高信噪比团簇，并生成所述低信噪比团簇和所述高信噪比团簇分别对应的图像；
利用所述低信噪比团簇和所述高信噪比团簇分别对应的图像进行三维重构，得到所述低信噪比团簇和所述高信噪比团簇分别对应的三维模型；
基于所述低信噪比团簇和所述高信噪比团簇分别对应的三维模型，计算所述低信噪比团簇对应的滤波函数；
利用所述滤波函数对所述低信噪比团簇对应的图像进行滤波处理，并将所述低信噪比团簇对应的滤波处理后的图像和所述高信噪比团簇对应的图像进行叠加，得到所述冷冻样品对应的输出图像。
根据本发明的第四个方面，提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现以下步骤：
获取直接电子探测相机拍摄的冷冻样品的原始图像；
对所述原始图像中的团簇进行分类，得到低信噪比团簇和高信噪比团簇，并生成所述低信噪比团簇和所述高信噪比团簇分别对应的图像；
利用所述低信噪比团簇和所述高信噪比团簇分别对应的图像进行三维重构，得到所述低信噪比团簇和所述高信噪比团簇分别对应的三维模型；
基于所述低信噪比团簇和所述高信噪比团簇分别对应的三维模型，计算所述低信噪比团簇对应的滤波函数；
利用所述滤波函数对所述低信噪比团簇对应的图像进行滤波处理，并将所述低信噪比团簇对应的滤波处理后的图像和所述高信噪比团簇对应的图像进行叠加，得到所述冷冻样品对应的输出图像。
本发明提供的一种直接电子探测相机的成像方法、装置及计算机设备，与目前采用质心法对原始图像进行处理并输出的方式相比，本方明能够获取直接电子探测相机拍摄的冷冻样品的原始图像；对所述原始图像中的团簇进行分类，得到低信噪比团簇和高信噪比团簇，并生成所述低信噪比团簇和所述高信噪比团簇分别对应的图像；与此同时，利用所述低信噪比团簇和所述高信噪比团簇分别对应的图像进行三维重构，得到所述低信噪比团簇和所述高信噪比团簇分别对应的三维模型；并基于所述低信噪比团簇和所述高信噪比团簇分别对应的三维模型，计算所述低信噪比团簇对应的滤波函数；最终利用所述滤波函数对所述低信噪比团簇对应的图像进行滤波处理，并将所述低信噪比团簇对应的滤波处理后的图像和所述高信噪比团簇对应的图像进行叠加，得到所述冷冻样品对应的输出图像，由此通过将原始图像中的团簇划分为低信噪比团簇和高信噪比团簇，并根据低信噪比团簇和高信噪比团簇分别对应的信噪比，能够计算滤波函数，通过利用该滤波函数对低信噪比团簇对应的图像进行滤波处理，能够保证经过滤波后的图像叠加所生成图像的信噪比达到最大值，因此在电压变化时，能够避免图像的信噪比和电子探测效率降低，且利用所生成的图像进行三维重构得到的模型的分辨率更高。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1示出了本发明实施例提供的一种直接电子探测相机的成像方法流程图；
图2示出了本发明实施例提供的另一种直接电子探测相机的成像方法流程图；
图3示出了本发明实施例提供的一种直接电子探测相机的成像装置的结构示意图；
图4示出了本发明实施例提供的另一种直接电子探测相机的成像装置的结构示意图；
图5示出了本发明实施例提供的一种计算机设备的实体结构示意图。
具体实施方式
下文中将参考附图并结合实施例来详细说明本发明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
目前，在重新成像的过程中质心法认为原始图像中所有团簇对应的信噪比均是相同的，但实际上图像会存在一些信噪比较低的团簇，如果直接利用这些信噪比较低的团簇重新生成图像，会导致重新生成的图像中存在较多噪声，进而导致生成的图像信噪比较低，尤其在电压变化的过程中，被闪射电子的数量增加，质心法会导致生成图像的信噪比明显降低，进而影响了电子探测效率，在利用生成的图像进行三维重构时，会导致三维模型的分辨率较低。
为了解决上述问题，本发明实施例提供了一种直接电子探测相机的成像方法，如图1所示，所述方法包括：
101、获取直接电子探测相机拍摄的冷冻样品的原始图像。
其中，原始图像为冷冻样品对应的二维图像帧，原始图像以帧为单位进行存储。本发明实施例主要应用于电子探测相机的成像场景，本发明实施例的执行主体为能够进行直接电子探测相机成像的装置或设备，具体可以设置在客户端或者服务器一侧。
对于本发明实施例，当直接电子探测相机对冷冻样品进行拍摄时，相机内部能够快速抓取大量原始图像，并将大量原始图像以帧为单位进行存储，由于受到相机输出能力的限制以及便于后续对原始图像进行处理，需要对原始图像进行处理，以减少原始图像的数量，并减小原始图像的大小，现有技术中的质心法在对原始图像进行处理的过程中，并没有区分出原始图像中的低信噪比团簇，也没有对其进行滤波处理，由此导致生成的图像，即相机的输出图像的信噪比降低，进而影响了电子探测效率，而本发明实施例通过识别原始图像中的低信噪比团簇和高信噪比团簇，并利用低信噪比团簇和高信噪比团簇分别对应的信噪比计算滤波函数，能够使经过滤波处理后的图像叠加所生成图像的信噪比达到最大值，进而提高了电子探测效率。
102、对所述原始图像中的团簇进行分类，得到低信噪比团簇和高信噪比团簇，并生成所述低信噪比团簇和所述高信噪比团簇分别对应的图像。
对于本发明实施例，在获取冷冻样品对应的原始图像之后，需要确定原始图像中包含的团簇集合，团簇为单个电子所激发的像素点，具体地，可以利用预设高斯拉普拉斯卷积算法确定原始图像中包含的团簇集合，并分割团簇集合中包含的各个团簇，进一步地，确定原始图像中各团簇对应的面积、总激发值或者峰值，以便根据团簇对应的面积、总激发值或者峰值，将原始图像中的团簇划分为高信噪比团簇和低信噪比团簇，最终可利用但不限于质心法生成高信噪比团簇和低信噪比团簇对应的二维图像，针对高信噪比团簇和低信噪比团簇中任一团簇的质心计算过程，具体地，将团簇内像素点对应的像素值和位置向量相乘，并将相乘结果除以团簇内所有像素值的总和，得到高信噪比团簇和低信噪比团簇分别对应的质心，基于计算的质心，生成高信噪比团簇和低信噪比团簇分别对应的二维图像，以便基于生成的二维图像进行三维重构，获取低信噪比团簇和高信噪比团簇分别对应的三维模型。
103、利用所述低信噪比团簇和所述高信噪比团簇分别对应的图像进行三维重构，得到所述低信噪比团簇和所述高信噪比团簇分别对应的三维模型。
对于本发明实施例，在得到低信噪比团簇和高信噪比团簇分别对应的二维图像之后，利用预设三维重构软件对二维图像进行三维重构，得到低信噪比团簇和高信噪比团簇分别对应的三维模型，其中，预设三维重构软件具体可以为RELION软件。
104、基于所述低信噪比团簇和所述高信噪比团簇分别对应的三维模型，计算所述低信噪比团簇对应的滤波函数。
对于本发明实施例，在利用预设三维重构软件获取低信噪比团簇和高信噪比团簇分别对应的三维模型之后，利用高信噪比团簇对应的三维模型，计算高信噪比团簇对应的傅里叶壳相关系数，基于高信噪比团簇对应的傅里叶壳相关系数，计算高信噪比团簇对应的信噪比，同理利用低信噪比团簇对应的三维模型，计算低信噪比团簇对应的傅里叶壳相关系数，基于低信噪比团簇对应的傅里叶壳相关系数，计算低信噪比团簇对应的信噪比，进一步地，利用低信噪比团簇对应的信噪比和高信噪比团簇对应的信噪比，计算滤波函数，以便利用该滤波函数对图像处理之后，能够提升图像的信噪比，确保叠加所生成图像的信噪比达到最大，避免在电压变化时，影响电子探测效率。
105、利用所述滤波函数对所述低信噪比团簇对应的图像进行滤波处理，并将所述低信噪比团簇对应的滤波处理后的图像和所述高信噪比团簇对应的图像进行叠加，得到所述冷冻样品对应的输出图像。
对于本发明实施例，为了提高低信噪比团簇对应的信噪比，需要利用计算的滤波函数在傅里叶空间对低信噪比团簇对应的图像进行滤波处理，并进行反傅里叶变换，之后将低信噪比团簇经过滤波处理后的图像的像素值与高信噪比团簇对应的图像的像素值相加，得到冷冻样本的输出图像，由此能够保证相机输出图像的信噪比达到最大值，相比于现有技术的质心法，图像的信噪比有显著提高，同时在电压变化时，能够避免电子探测效率降低。
本发明实施例提供的一种直接电子探测相机的成像方法，与目前采用质心法对原始图像进行处理并输出的方式相比，本方明能够获取直接电子探测相机拍摄的冷冻样品的原始图像；对所述原始图像中的团簇进行分类，得到低信噪比团簇和高信噪比团簇，并生成所述低信噪比团簇和所述高信噪比团簇分别对应的图像；与此同时，利用所述低信噪比团簇和所述高信噪比团簇分别对应的图像进行三维重构，得到所述低信噪比团簇和所述高信噪比团簇分别对应的三维模型；并基于所述低信噪比团簇和所述高信噪比团簇分别对应的三维模型，计算所述低信噪比团簇对应的滤波函数；最终利用所述滤波函数对所述低信噪比团簇对应的图像进行滤波处理，并将所述低信噪比团簇对应的滤波处理后的图像和所述高信噪比团簇对应的图像进行叠加，得到所述冷冻样品对应的输出图像，由此通过将原始图像中的团簇划分为低信噪比团簇和高信噪比团簇，并根据低信噪比团簇和高信噪比团簇分别对应的信噪比，能够计算滤波函数，通过利用该滤波函数对低信噪比团簇对应的图像进行滤波处理，能够保证经过滤波后的图像叠加所生成图像的信噪比达到最大值，因此在电压变化时，能够避免图像的信噪比和电子探测效率降低，且利用所生成的图像进行三维重构得到的模型的分辨率更高。
进一步的，为了更好的说明上述对图像进行滤波的过程，作为对上述实施例的细化和扩展，本发明实施例提供了另一种直接电子探测相机的成像方法，如图2所示，所述方法包括：
201、获取直接电子探测相机拍摄的冷冻样品的原始图像。
对于本发明实施例，当电子探测相机对冷冻样品进行拍摄时，相机内部能够快速抓取大量原始图像，并将大量原始图像以帧为单位进行存储。
202、对所述原始图像中的团簇进行分类，得到低信噪比团簇和高信噪比团簇，并生成所述低信噪比团簇和所述高信噪比团簇分别对应的图像。
对于本发明实施例，为了识别原始图像中包含的团簇，以及对团簇进行分类，步骤202具体包括：利用预设高斯拉普拉斯卷积算法确定所述原始图像中的团簇集合，并分割所述团簇集合中包含的团簇；确定所述团簇对应的属性信息，其中，所述属性信息包括团簇对应的面积、总激发值和峰值中的至少一种；基于所述属性信息对所述团簇进行分类，得到所述低信噪比团簇和所述高信噪比团簇。进一步地，所述利用预设高斯拉普拉斯卷积算法确定所述原始图像中的团簇集合，并分割所述团簇集合中包含的团簇，包括：将原始图像中小于或者等于第一预设像素值的像素点赋值为0，生成所述原始图像对应的第一图像；将所述第一图像中的各像素点分别卷积高斯拉普拉斯卷积核，得到所述原始图像对应的第二图像；将所述第二图像中小于或者等于第二预设像素值的像素点赋值为0，且将所述第二图像中大于第二预设像素值的像素点赋值为1，得到所述原始图像对应的第三图像；将所述第三图像中的像素值与所述原始图像中的像素值相乘，得到所述原始图像中的团簇集合。其中，第一预设像素值和第二预设像素值具体可以根据经验进行设定，通过设定的第一预设像素值和第二预设像素值，能够使团簇的数量变化趋于平缓。
具体地，为了确定原始图像中包含的团簇集合，将原始图像中各个像素点对应的像素值与第一预设像素值进行比较，如果某像素点对应的像素值大于或者等于第二预设像素值，则将该像素点对应的像素值设置为0，其他像素点的像素值保持不变，由此能够生成原始图像对应的第一图像。进一步地，将生成的第一图像中的每个像素点与高斯拉普拉斯卷积核卷积，得到原始图像对应的第二图像，其中，高斯拉普拉斯卷积核如表1所示：
表1
0 0 -1 0 0
0 -1 -2 -1 0
-1 -2 16 -2 -1
0 -1 -2 -1 0
0 0 -1 0 0
进一步地，将第二图像中的各个像素点对应的像素值与第二预设像素值进行比较，如果某像素点对应的像素值小于或者等于第二预设像素值，则将该像素点对应的像素值赋值为0；如果某像素点对应的像素值大于第二预设像素值，则将该像素点对应的像素值赋值为1，由此能够得到原始图像对应的第三图像，最终将生成的第三图像中的像素值与原始图像中的像素值相乘，得到原始图像中所包含的团簇集合。
进一步地，在确定团簇集合后，需要对该团簇集合中的团簇进行分割，基于此，所述分割所述团簇集合中包含的团簇包括：将所述第三图像中像素值等于1的像素点作为起始点，并将所述起始点加入搜索点集合；搜索所述起始点周围的8个像素点中是否存在像素值为1的像素点；若存在像素值为1的像素点，则将8个像素点中像素值为1的像素点作为搜索点加入至所述搜索点集合，将其确定为团簇，并将所述搜索点作为新起始点进行搜索，直至不存在未经搜索的像素值为1的像素点。本发明实施例中对团簇进行分割的方式相比于现有技术，能够在多个团簇接近时，有效地区分开这些团簇，对单个团簇的识别效率更高。
对于本发明实施例，由于原始图像中各个团簇对应的信噪比并不相同，在分割出原始图像中包含的各个团簇后，需要对各个团簇进行分类，即区分出低信噪比团簇和高信噪比团簇，具体地，可以确定团簇对应的面积，激发总值或者峰值，利用团簇对应的面积、激发总值或者峰值将团簇分为高信噪比团簇和低信噪比团簇，例如，设定面积大于4的团簇为低信噪比团簇，面积小于或者等于4的团簇设定为高信噪比团簇，经过统计确定团簇A包含2个像素点，即团簇A对应的面积为2，由此能够确定团簇A为高信噪比团簇，再比如，设定总激发值大于1250的团簇为低信噪比团簇，总激发值小于或者等于1250的团簇为高信噪比团簇，经过统计确定团簇B所包含的像素点对应的像素值之和为2000，因此可以确定团簇B为低信噪比团簇；再比如，设定峰值大于550的团簇为低信噪比团簇，峰值小于或者等于550的团簇为高信噪比团簇，经过统计确定团簇C所包含像素点中的最大像素值为500，因此可以确定团簇C为高信噪比团簇。由此通过利用团簇对应的面积、总激发值或者峰值，能够将团簇划分为高信噪比团簇和低信噪比团簇。
进一步地，在得到低信噪比团簇和高信噪比团簇之后，如果直接电子探测相机兼容EER格式，则可以采用质心方法，确定低信噪比团簇对应的像素点矢量信息和高信噪比团簇对应的像素点矢量信息，具体地，质心化方法基于像素点对应的像素值和位置信息，得到低信噪比团簇对应的像素点矢量信息和高信噪比团簇对应的像素点矢量信息；如果直接电子探测相加不兼容EER格式，则可以采用归一化方法，生成低信噪比团簇对应的图像和高信噪比团簇对应的图片，具体地，归一化方法计算团簇中多个像素点激发值的总和，把团簇内各像素值除以激发值总和并记录在输出图像中。
203、利用所述低信噪比团簇和所述高信噪比团簇分别对应的图像进行三维重构，得到所述低信噪比团簇和所述高信噪比团簇分别对应的三维模型。
对于本发明实施例，为了构建低信噪比团簇和高信噪比团簇分别对应的三维模型，步骤203具体包括：对所述原始图像进行单颗粒分析，得到所述原始图像中颗粒的空间取向和平移信息；基于所述空间取向，所述平移信息，以及所述低信噪比团簇和所述高信噪比团簇分别对应的图像进行三维重构，得到所述低信噪比团簇和所述高信噪比团簇分别对应的三维模型。进一步地，所述基于所述空间取向，所述平移信息，以及所述低信噪比团簇和所述高信噪比团簇分别对应的图像进行三维重构，得到所述低信噪比团簇和所述高信噪比团簇分别对应的三维模型，包括：对所述低信噪比团簇和所述高信噪比团簇分别对应的图像进行随机奇偶分类，得到所述低信噪比团簇和所述高信噪比团簇分别对应的奇数组图像和偶数组图像；基于所述空间取向和所述平移信息，对所述低信噪比团簇和所述高信噪比团簇分别对应的奇数组图像和偶数组图像进行三维重构，得到所述低信噪比团簇和所述高信噪比团簇分别对应的奇三维模型和偶三维模型。
具体地，在对低信噪比团簇和高信噪比团簇对应的二维图像进行三维重构的过程中，还需要获取原始图像中颗粒的空间取向和平移信息，具体地，可以对原始图像进行单颗粒分析，获取原始图像中蛋白质分子对应的空间取向和平移信息，以便利用该空间取向和平移信息对二维图像进行三维重构，获取低信噪比团簇和高信噪比团簇分别对应的三维模型，在构建三维模型的过程中，需要分别构建低信噪比团簇对应的奇三维模型和偶三维模型，以及高信噪比团簇对应的奇三维模型和偶三维模型，具体地，对低信噪比团簇对应的二维图像进行随机分组，得到低信噪比团簇对应的奇数组图像和偶数组图像，同理对高信噪比团簇对应的二维图像进行随机分组，得到高信噪比团簇对应的奇数组图像和偶数组图像，进一步地，基于蛋白质分子的空间取向和平移信息，对低信噪比团簇对应的奇数组图像和偶数组图像分别进行三维重构，得到低信噪比团簇对应的奇三维模型和偶三维模型，同理基于蛋白质分子的空间取向和平移信息，对高信噪比团簇对应的奇数组图像和偶数组图像分别进行三维重构，得到高信噪比团簇对应的奇三维模型和偶三维模型，以便分别利用低信噪比团簇和高信噪比团簇对应的奇三维模型和偶三维模型，计算低信噪比团簇和高信噪比团簇分别对应的傅里叶壳相关系数。
204、基于所述低信噪比团簇和所述高信噪比团簇分别对应的三维模型，计算所述低信噪比团簇对应的信噪比和所述高信噪比团簇对应的信噪比。
对于本发明实施例，为了计算低信噪比团簇对应的信噪比和高信噪比团簇对应的信噪比，步骤204具体包括：基于所述低信噪比团簇对应的三维模型和所述高信噪比团簇对应的三维模型，分别计算所述低信噪比团簇对应的傅里叶壳相关系数和所述高信噪比团簇对应的傅里叶壳相关系数；依据所述低信噪比团簇对应的傅里叶壳相关系数和所述高信噪比团簇对应的傅里叶壳相关系数，分别计算所述低信噪比团簇对应的信噪比和所述高信噪比团簇对应的信噪比。进一步地，所述基于所述低信噪比团簇对应的三维模型和所述高信噪比团簇对应的三维模型，分别计算所述低信噪比团簇对应的傅里叶壳相关系数和所述高信噪比团簇对应的傅里叶壳相关系数，包括：基于所述低信噪比团簇和所述高信噪比团簇分别对应的奇三维模型和偶三维模型，计算所述低信噪比团簇和所述高信噪比团簇分别对应的傅里叶壳相关系数。其中，傅里叶壳相关系数的具体计算公式如下：
Figure BDA0002974480320000111
其中，FSC为傅里叶壳相关系数，k表示属于傅里叶空间某个频率ω的所有像素，FO、FE分别是奇偶两个三维模型的傅里叶变换，上标星号表示取复共轭。由此按照上述公式能够得到低信噪比团簇和高信噪比团簇分别对应的傅里叶壳相关系数。
进一步地，基于计算的低信噪比团簇和高信噪比团簇分别对应的傅里叶壳相关系数，计算低信噪比团簇对应的信噪比和高信噪比团簇对应的信噪比，信噪比的具体计算公式如下：
Figure BDA0002974480320000121
其中，FSC代表低信噪比团簇和高信噪比团簇分别对应的傅里叶壳相关系数，ω是傅里叶空间的某个频率。
205、基于所述低信噪比团簇对应的信噪比和所述高信噪比团簇对应的信噪比，计算所述低信噪比团簇对应的滤波函数。
对于本发明实施例，在利用上述公式确定低信噪比团簇对应的信噪比和高信噪比团簇对应的信噪比之后，根据该信噪比计算低信噪比团簇对应的滤波函数，以便利用该滤波函数对低信噪比团簇对应的二维图像进行滤波处理，提高低信噪比团簇图像的信噪比。滤波函数的具体推导过程如下：
Figure BDA0002974480320000122
其中，S1和S2分别是低信噪比团簇和高信噪比团簇对应的图像信号，N1和N2分别是低信噪比团簇和高信噪比团簇对应的图像噪声，利用：
Figure BDA0002974480320000123
得到：
Figure BDA0002974480320000124
化简得到：
Figure BDA0002974480320000125
其中，SNR1和SNR2分别代表低信噪比团簇和高信噪比团簇对应的信噪比，NPS1和NPS2分别代表低信噪比团簇和高信噪比团簇对应的噪声功率谱，针对该噪声功率谱的获取过程，具体地，将电子直接照射到相机上，在相机上成像后得到低信噪比团簇对应的图像和高信噪比团簇对应的图像，之后分别对低信噪比团簇对应的图像和高信噪比团簇对应的图像进行傅里叶变换，之后求振幅的平方，得到低信噪比团簇和高信噪比团簇分别对应的噪声功率谱。通过上述推导过程可知通过该公式得到的滤波函数，能够保证经过滤波处理后的低信噪比团簇图像与高信噪比团簇图像叠加所生成图像的信噪比能够达到最大值。
在具体应用场景中，可以预先计算出滤波函数，并将计算的滤波函数存储在相机的存储单元中，当相机进行拍摄时，可以调用存储单元中的滤波函数对抓取的原始图像进行滤波处理，得到输出图像，从而能够保证相机输出图像的信噪比达到最大值。
206、利用所述滤波函数对所述低信噪比团簇对应的图像进行滤波处理，并将所述低信噪比团簇对应的滤波处理后的图像和所述高信噪比团簇对应的图像进行叠加，得到所述冷冻样品对应的输出图像。
对于本发明实施例，为了提高低信噪比团簇对应的信噪比，需要利用计算的滤波函数在傅里叶空间对低信噪比团簇对应的图像进行滤波处理，并进行反傅里叶变换，之后将低信噪比团簇经过滤波处理后的图像的像素值与高信噪比团簇对应的图像的像素值相加，得到冷冻样本的输出图像，由此能够保证相机输出图像的信噪比能够达到最大值，相比于现有技术的质心法，图像的信噪比有显著提高，同时在电压变化时，能够避免电子探测效率降低。
本发明实施例提供的另一种直接电子探测相机的成像方法，与目前采用质心法对原始图像进行处理并输出的方式相比，本方明能够获取直接电子探测相机拍摄的冷冻样品的原始图像；对所述原始图像中的团簇进行分类，得到低信噪比团簇和高信噪比团簇，并生成所述低信噪比团簇和所述高信噪比团簇分别对应的图像；与此同时，利用所述低信噪比团簇和所述高信噪比团簇分别对应的图像进行三维重构，得到所述低信噪比团簇和所述高信噪比团簇分别对应的三维模型；并基于所述低信噪比团簇和所述高信噪比团簇分别对应的三维模型，计算所述低信噪比团簇对应的滤波函数；最终利用所述滤波函数对所述低信噪比团簇对应的图像进行滤波处理，并将所述低信噪比团簇对应的滤波处理后的图像和所述高信噪比团簇对应的图像进行叠加，得到所述冷冻样品对应的输出图像，由此通过将原始图像中的团簇划分为低信噪比团簇和高信噪比团簇，并根据低信噪比团簇和高信噪比团簇分别对应的信噪比，能够计算滤波函数，通过利用该滤波函数对低信噪比团簇对应的图像进行滤波处理，能够保证经过滤波后的图像叠加所生成图像的信噪比达到最大值，因此在电压变化时，能够避免图像的信噪比和电子探测效率降低，且利用所生成的图像进行三维重构得到的模型的分辨率更高。
进一步地，作为图1的具体实现，本发明实施例提供了一种直接电子探测相机的成像装置，如图3所示，所述装置包括：获取单元31、分类单元32、重构单元33、计算单元34和滤波单元35。
所述获取单元31，可以用于获取直接电子探测相机拍摄的冷冻样品的原始图像。
所述分类单元32，可以用于对所述原始图像中的团簇进行分类，得到低信噪比团簇和高信噪比团簇，并生成所述低信噪比团簇和所述高信噪比团簇分别对应的图像。
所述重构单元33，可以用于利用所述低信噪比团簇和所述高信噪比团簇分别对应的图像进行三维重构，得到所述低信噪比团簇和所述高信噪比团簇分别对应的三维模型。
所述计算单元34，可以用于基于所述低信噪比团簇和所述高信噪比团簇分别对应的三维模型，计算所述低信噪比团簇对应的滤波函数。
所述滤波单元35，可以用于利用所述滤波函数对所述低信噪比团簇对应的图像进行滤波处理，并将所述低信噪比团簇对应的滤波处理后的图像和所述高信噪比团簇对应的图像进行叠加，得到所述冷冻样品对应的输出图像。
对于本发明实施例，如图4所示，为了计算所述低信噪比团簇对应的滤波函数，所述计算单元34，包括：第一计算模块341和第二计算模块342。
所述第一计算模块341，可以用于基于所述低信噪比团簇和所述高信噪比团簇分别对应的三维模型，计算所述低信噪比团簇对应的信噪比和所述高信噪比团簇对应的信噪比。
所述第二计算模块342，可以用于基于所述低信噪比团簇对应的信噪比和所述高信噪比团簇对应的信噪比，计算所述低信噪比团簇对应的滤波函数。
在具体应用场景中，所述第一计算模块341，包括：第一计算子模块和第二计算子模块。
所述第一计算子模块，可以用于基于所述低信噪比团簇对应的三维模型和所述高信噪比团簇对应的三维模型，分别计算所述低信噪比团簇对应的傅里叶壳相关系数和所述高信噪比团簇对应的傅里叶壳相关系数。
所述第二计算子模块，可以用于依据所述低信噪比团簇对应的傅里叶壳相关系数和所述高信噪比团簇对应的傅里叶壳相关系数，分别计算所述低信噪比团簇对应的信噪比和所述高信噪比团簇对应的信噪比。
进一步地，为了得到所述低信噪比团簇和所述高信噪比团簇分别对应的三维模型，所述重构单元33，包括：分析模块331和重构模块332。
所述分析模块331，可以用于对所述原始图像进行单颗粒分析，得到所述原始图像中颗粒的空间取向和平移信息。
所述重构模块332，可以用于基于所述空间取向，所述平移信息，以及所述低信噪比团簇和所述高信噪比团簇分别对应的图像进行三维重构，得到所述低信噪比团簇和所述高信噪比团簇分别对应的三维模型。
在具体应用场景中，为了得到所述低信噪比团簇和所述高信噪比团簇分别对应的三维模型，所述重构模块332，包括：分类子模块和重构子模块。
所述分类子模块，可以用于对所述低信噪比团簇和所述高信噪比团簇分别对应的图像进行奇偶分类，得到所述低信噪比团簇和所述高信噪比团簇分别对应的奇数组图像和偶数组图像。
所述重构子模块，可以用于基于所述空间取向和所述平移信息，对所述低信噪比团簇和所述高信噪比团簇分别对应的奇数组图像和偶数组图像进行三维重构，得到所述低信噪比团簇和所述高信噪比团簇分别对应的奇三维模型和偶三维模型。
所述第一计算子模块，具体可以用于基于所述低信噪比团簇和所述高信噪比团簇分别对应的奇三维模型和偶三维模型，计算所述低信噪比团簇和所述高信噪比团簇分别对应的傅里叶壳相关系数。
在具体应用场景中，为了对原始图像中的团簇进行分类，所述分类单元32，包括：分割模块321、确定模块322和分类模块323。
所述分割模块321，可以用于利用预设高斯拉普拉斯卷积算法确定所述原始图像中的团簇集合，并分割所述团簇集合中包含的团簇。
所述确定模块322，可以用于确定所述团簇对应的属性信息，其中，所述属性信息包括团簇对应的面积、总激发值和峰值中的至少一种。
所述分类模块323，可以用于基于所述属性信息对所述团簇进行分类，得到所述低信噪比团簇和所述高信噪比团簇。
进一步地，为了确定原始图像中包含的团簇集合，所述确定模块322，包括：生成子模块和相乘子模块。
所述生成子模块，可以用于将原始图像中小于或者等于第一预设像素值的像素点赋值为0，生成所述原始图像对应的第一图像。
所述相乘子模块，可以用于将所述第一图像中的各像素点分别卷积高斯拉普拉斯卷积核，得到所述原始图像对应的第二图像。
所述生成子模块，还可以用于将所述第二图像中小于或者等于第二预设像素值的像素点赋值为0，且将所述第二图像中大于第二预设像素值的像素点赋值为1，得到所述原始图像对应的第三图像。
所述相乘子模块，还可以用于将所述第三图像中的像素值与所述原始图像中的像素值相乘，得到所述原始图像中的团簇集合。
需要说明的是，本发明实施例提供的一种直接电子探测相机的成像装置所涉及各功能模块的其他相应描述，可以参考图1所示方法的对应描述，在此不再赘述。
基于上述如图1所示方法，相应的，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现以下步骤：获取直接电子探测相机拍摄的冷冻样品的原始图像；对所述原始图像中的团簇进行分类，得到低信噪比团簇和高信噪比团簇，并生成所述低信噪比团簇和所述高信噪比团簇分别对应的图像；利用所述低信噪比团簇和所述高信噪比团簇分别对应的图像进行三维重构，得到所述低信噪比团簇和所述高信噪比团簇分别对应的三维模型；基于所述低信噪比团簇和所述高信噪比团簇分别对应的三维模型，计算所述低信噪比团簇对应的滤波函数；利用所述滤波函数对所述低信噪比团簇对应的图像进行滤波处理，并将所述低信噪比团簇对应的滤波处理后的图像和所述高信噪比团簇对应的图像进行叠加，得到所述冷冻样品对应的输出图像。
基于上述如图1所示方法和如图3所示装置的实施例，本发明实施例还提供了一种计算机设备的实体结构图，如图5所示，该计算机设备包括：处理器41、存储器42、及存储在存储器42上并可在处理器上运行的计算机程序，其中存储器42和处理器41均设置在总线43上所述处理器41执行所述程序时实现以下步骤：获取直接电子探测相机拍摄的冷冻样品的原始图像；对所述原始图像中的团簇进行分类，得到低信噪比团簇和高信噪比团簇，并生成所述低信噪比团簇和所述高信噪比团簇分别对应的图像；利用所述低信噪比团簇和所述高信噪比团簇分别对应的图像进行三维重构，得到所述低信噪比团簇和所述高信噪比团簇分别对应的三维模型；基于所述低信噪比团簇和所述高信噪比团簇分别对应的三维模型，计算所述低信噪比团簇对应的滤波函数；利用所述滤波函数对所述低信噪比团簇对应的图像进行滤波处理，并将所述低信噪比团簇对应的滤波处理后的图像和所述高信噪比团簇对应的图像进行叠加，得到所述冷冻样品对应的输出图像。
通过本发明的技术方案，本方明能够获取直接电子探测相机拍摄的冷冻样品的原始图像；对所述原始图像中的团簇进行分类，得到低信噪比团簇和高信噪比团簇，并生成所述低信噪比团簇和所述高信噪比团簇分别对应的图像；与此同时，利用所述低信噪比团簇和所述高信噪比团簇分别对应的图像进行三维重构，得到所述低信噪比团簇和所述高信噪比团簇分别对应的三维模型；并基于所述低信噪比团簇和所述高信噪比团簇分别对应的三维模型，计算所述低信噪比团簇对应的滤波函数；最终利用所述滤波函数对所述低信噪比团簇对应的图像进行滤波处理，并将所述低信噪比团簇对应的滤波处理后的图像和所述高信噪比团簇对应的图像进行叠加，得到所述冷冻样品对应的输出图像，由此通过将原始图像中的团簇划分为低信噪比团簇和高信噪比团簇，并根据低信噪比团簇和高信噪比团簇分别对应的信噪比，能够计算滤波函数，通过利用该滤波函数对低信噪比团簇对应的图像进行滤波处理，能够保证经过滤波后的图像叠加所生成图像的信噪比达到最大值，因此在电压变化时，能够避免图像的信噪比和电子探测效率降低，且利用所生成的图像进行三维重构得到的模型的分辨率更高。
显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包括在本发明的保护范围之内。

Claims (9)

1.一种直接电子探测相机的成像方法，其特征在于，包括：
获取直接电子探测相机拍摄的冷冻样品的原始图像；
对所述原始图像中的团簇进行分类，得到低信噪比团簇和高信噪比团簇，并生成所述低信噪比团簇和所述高信噪比团簇分别对应的图像；
利用所述低信噪比团簇和所述高信噪比团簇分别对应的图像进行三维重构，得到所述低信噪比团簇和所述高信噪比团簇分别对应的三维模型；
基于所述低信噪比团簇和所述高信噪比团簇分别对应的三维模型，计算所述低信噪比团簇对应的滤波函数；
利用所述滤波函数对所述低信噪比团簇对应的图像进行滤波处理，并将所述低信噪比团簇对应的滤波处理后的图像和所述高信噪比团簇对应的图像进行叠加，得到所述冷冻样品对应的输出图像；
其中，所述基于所述低信噪比团簇和所述高信噪比团簇分别对应的三维模型，计算所述低信噪比团簇对应的滤波函数，包括：
基于所述低信噪比团簇和所述高信噪比团簇分别对应的三维模型，计算所述低信噪比团簇对应的信噪比和所述高信噪比团簇对应的信噪比；
基于所述低信噪比团簇对应的信噪比和所述高信噪比团簇对应的信噪比，计算所述低信噪比团簇对应的滤波函数，其中，所述滤波函数为：
Figure FDA0003510047070000011
其中，w为所述滤波函数，SNR1和SNR2为所述低信噪比团簇和所述高信噪比团簇分别对应的信噪比，NPS1和NPS2为所述低信噪比团簇和所述高信噪比团簇分别对应的噪声功率谱。
2.根据权利要求1所述的方法，其特征在于，所述基于所述低信噪比团簇和所述高信噪比团簇分别对应的三维模型，计算所述低信噪比团簇对应的信噪比和所述高信噪比团簇对应的信噪比，包括：
基于所述低信噪比团簇对应的三维模型和所述高信噪比团簇对应的三维模型，分别计算所述低信噪比团簇对应的傅里叶壳相关系数和所述高信噪比团簇对应的傅里叶壳相关系数；
依据所述低信噪比团簇对应的傅里叶壳相关系数和所述高信噪比团簇对应的傅里叶壳相关系数，分别计算所述低信噪比团簇对应的信噪比和所述高信噪比团簇对应的信噪比。
3.根据权利要求2所述的方法，其特征在于，所述利用所述低信噪比团簇和所述高信噪比团簇分别对应的图像进行三维重构，得到所述低信噪比团簇和所述高信噪比团簇分别对应的三维模型，包括：
对所述原始图像进行单颗粒分析，得到所述原始图像中颗粒的空间取向和平移信息；
基于所述空间取向，所述平移信息，以及所述低信噪比团簇和所述高信噪比团簇分别对应的图像进行三维重构，得到所述低信噪比团簇和所述高信噪比团簇分别对应的三维模型。
4.根据权利要求3所述的方法，其特征在于，所述基于所述空间取向，所述平移信息，以及所述低信噪比团簇和所述高信噪比团簇分别对应的图像进行三维重构，得到所述低信噪比团簇和所述高信噪比团簇分别对应的三维模型，包括：
对所述低信噪比团簇和所述高信噪比团簇分别对应的图像进行奇偶分类，得到所述低信噪比团簇和所述高信噪比团簇分别对应的奇数组图像和偶数组图像；
基于所述空间取向和所述平移信息，对所述低信噪比团簇和所述高信噪比团簇分别对应的奇数组图像和偶数组图像进行三维重构，得到所述低信噪比团簇和所述高信噪比团簇分别对应的奇三维模型和偶三维模型；
所述基于所述低信噪比团簇对应的三维模型和所述高信噪比团簇对应的三维模型，分别计算所述低信噪比团簇对应的傅里叶壳相关系数和所述高信噪比团簇对应的傅里叶壳相关系数，包括：
基于所述低信噪比团簇和所述高信噪比团簇分别对应的奇三维模型和偶三维模型，计算所述低信噪比团簇和所述高信噪比团簇分别对应的傅里叶壳相关系数。
5.根据权利要求1所述的方法，其特征在于，所述对所述原始图像中的团簇进行分类，得到低信噪比团簇和高信噪比团簇，包括：
利用预设高斯拉普拉斯卷积算法确定所述原始图像中的团簇集合，并分割所述团簇集合中包含的团簇；
确定所述团簇对应的属性信息，其中，所述属性信息包括团簇对应的面积、总激发值和峰值中的至少一种；
基于所述属性信息对所述团簇进行分类，得到所述低信噪比团簇和所述高信噪比团簇。
6.根据权利要求5所述的方法，其特征在于，所述利用预设高斯拉普拉斯卷积算法确定所述原始图像中的团簇集合，并分割所述团簇集合中包含的团簇，包括：
将原始图像中小于或者等于第一预设像素值的像素点赋值为0，生成所述原始图像对应的第一图像；
将所述第一图像中的各像素点分别卷积高斯拉普拉斯卷积核，得到所述原始图像对应的第二图像；
将所述第二图像中小于或者等于第二预设像素值的像素点赋值为0，且将所述第二图像中大于第二预设像素值的像素点赋值为1，得到所述原始图像对应的第三图像；
将所述第三图像中的像素值与所述原始图像中的像素值相乘，得到所述原始图像中的团簇集合。
7.一种直接电子探测相机的成像装置，其特征在于，包括：
获取单元，用于获取直接电子探测相机拍摄的冷冻样品的原始图像；
分类单元，用于对所述原始图像中的团簇进行分类，得到低信噪比团簇和高信噪比团簇，并生成所述低信噪比团簇和所述高信噪比团簇分别对应的图像；
重构单元，用于利用所述低信噪比团簇和所述高信噪比团簇分别对应的图像进行三维重构，得到所述低信噪比团簇和所述高信噪比团簇分别对应的三维模型；
计算单元，用于基于所述低信噪比团簇和所述高信噪比团簇分别对应的三维模型，计算所述低信噪比团簇对应的滤波函数；
滤波单元，用于利用所述滤波函数对所述低信噪比团簇对应的图像进行滤波处理，并将所述低信噪比团簇对应的滤波处理后的图像和所述高信噪比团簇对应的图像进行叠加，得到所述冷冻样品对应的输出图像；
所述计算单元，具体用于基于所述低信噪比团簇和所述高信噪比团簇分别对应的三维模型，计算所述低信噪比团簇对应的信噪比和所述高信噪比团簇对应的信噪比；基于所述低信噪比团簇对应的信噪比和所述高信噪比团簇对应的信噪比，计算所述低信噪比团簇对应的滤波函数，其中，所述滤波函数为：
Figure FDA0003510047070000041
其中，w为所述滤波函数，SNR1和SNR2为所述低信噪比团簇和所述高信噪比团簇分别对应的信噪比，NPS1和NPS2为所述低信噪比团簇和所述高信噪比团簇分别对应的噪声功率谱。
8.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。
CN202110271241.XA 2021-03-12 2021-03-12 直接电子探测相机的成像方法、装置及计算机设备 Active CN113074627B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202110271241.XA CN113074627B (zh) 2021-03-12 2021-03-12 直接电子探测相机的成像方法、装置及计算机设备
PCT/CN2022/077799 WO2022188637A1 (zh) 2021-03-12 2022-02-25 直接电子探测相机的成像方法、装置及计算机设备
US18/168,313 US20230260743A1 (en) 2021-03-12 2023-02-13 Imaging method and apparatus for direct electron detection cameras and computer device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110271241.XA CN113074627B (zh) 2021-03-12 2021-03-12 直接电子探测相机的成像方法、装置及计算机设备

Publications (2)

Publication Number Publication Date
CN113074627A CN113074627A (zh) 2021-07-06
CN113074627B true CN113074627B (zh) 2022-06-10

Family

ID=76612288

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110271241.XA Active CN113074627B (zh) 2021-03-12 2021-03-12 直接电子探测相机的成像方法、装置及计算机设备

Country Status (3)

Country Link
US (1) US20230260743A1 (zh)
CN (1) CN113074627B (zh)
WO (1) WO2022188637A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113074627B (zh) * 2021-03-12 2022-06-10 中国科学院生物物理研究所 直接电子探测相机的成像方法、装置及计算机设备

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101446483A (zh) * 2008-12-30 2009-06-03 重庆大学 光电跟踪宏像素迭代质心法
CN103558628A (zh) * 2013-10-09 2014-02-05 中国科学院大连化学物理研究所 一种新型双反射式飞行时间质谱光电子速度成像仪
CN103888689A (zh) * 2014-03-13 2014-06-25 北京智谷睿拓技术服务有限公司 图像采集方法及图像采集装置
CN104215580A (zh) * 2014-09-23 2014-12-17 中国科学技术大学 用于冷冻光电关联显微成像的方法和装置
CN106375740A (zh) * 2016-09-28 2017-02-01 华为技术有限公司 生成rgb图像的方法、装置和系统
CN107003253A (zh) * 2014-07-21 2017-08-01 7386819曼尼托巴有限公司 用于肉类中骨头扫描的方法和装置
CN107085220A (zh) * 2017-06-21 2017-08-22 中国工程物理研究院流体物理研究所 一种万亿幅频全光分幅三维全息成像装置及方法
CN110246088A (zh) * 2018-03-07 2019-09-17 舜宇光学（浙江）研究院有限公司 基于小波变换的图像亮度降噪方法及其图像降噪系统

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8989469B2 (en) * 2010-12-20 2015-03-24 The Board Of Trustees Of The Leland Stanford Junior University Systems and methods for simultaneous acquisition of scatter and image projection data in computed tomography
CN107092790B (zh) * 2017-04-19 2019-07-09 上海交通大学 冷冻电镜三维密度图分辨率检测方法
US11557034B2 (en) * 2017-06-13 2023-01-17 The Trustees Of Princeton University Fully automatic, template-free particle picking for electron microscopy
US11680914B2 (en) * 2017-10-06 2023-06-20 The Governing Council Of The University Of Toronto Methods and systems for 3D structure estimation using non-uniform refinement
CN109708842B (zh) * 2018-10-18 2022-07-26 北京航空航天大学 一种基于单像素成像的相机镜头点扩散函数测量方法
CN113074627B (zh) * 2021-03-12 2022-06-10 中国科学院生物物理研究所 直接电子探测相机的成像方法、装置及计算机设备

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101446483A (zh) * 2008-12-30 2009-06-03 重庆大学 光电跟踪宏像素迭代质心法
CN103558628A (zh) * 2013-10-09 2014-02-05 中国科学院大连化学物理研究所 一种新型双反射式飞行时间质谱光电子速度成像仪
CN103888689A (zh) * 2014-03-13 2014-06-25 北京智谷睿拓技术服务有限公司 图像采集方法及图像采集装置
CN107003253A (zh) * 2014-07-21 2017-08-01 7386819曼尼托巴有限公司 用于肉类中骨头扫描的方法和装置
CN104215580A (zh) * 2014-09-23 2014-12-17 中国科学技术大学 用于冷冻光电关联显微成像的方法和装置
CN106375740A (zh) * 2016-09-28 2017-02-01 华为技术有限公司 生成rgb图像的方法、装置和系统
CN107085220A (zh) * 2017-06-21 2017-08-22 中国工程物理研究院流体物理研究所 一种万亿幅频全光分幅三维全息成像装置及方法
CN110246088A (zh) * 2018-03-07 2019-09-17 舜宇光学（浙江）研究院有限公司 基于小波变换的图像亮度降噪方法及其图像降噪系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
冷冻电镜成像中噪声的滤波方法进展;黄新瑞等;《北京大学学报》;20210303;第53卷(第2期);第425-433页 *

Also Published As

Publication number Publication date
CN113074627A (zh) 2021-07-06
WO2022188637A1 (zh) 2022-09-15
US20230260743A1 (en) 2023-08-17

Similar Documents

Publication Publication Date Title
He et al. Dynamic multi-scale filters for semantic segmentation
CN106709877B (zh) 一种基于多参数正则优化模型的图像去模糊方法
Su et al. Spatially adaptive block-based super-resolution
Yue et al. CID: Combined image denoising in spatial and frequency domains using Web images
Li et al. Learning omni-frequency region-adaptive representations for real image super-resolution
Wang et al. A graph-based joint bilateral approach for depth enhancement
Vasluianu et al. NTIRE 2023 image shadow removal challenge report
Zhang et al. Image deblurring using tri-segment intensity prior
CN113074627B (zh) 直接电子探测相机的成像方法、装置及计算机设备
CN110827336A (zh) 一种图像对齐方法、装置、设备及存储介质
Anwar et al. Attention-based real image restoration
Witwit et al. Global motion based video super-resolution reconstruction using discrete wavelet transform
Ye et al. Depth super-resolution via deep controllable slicing network
Shyam et al. Lightweight hdr camera isp for robust perception in dynamic illumination conditions via fourier adversarial networks
Zhang et al. Unleashing the power of self-supervised image denoising: A comprehensive review
Borse et al. Dejavu: Conditional regenerative learning to enhance dense prediction
Xiang et al. ReMoNet: Recurrent multi-output network for efficient video denoising
Wang et al. Image super-resolution via lightweight attention-directed feature aggregation network
Wu et al. Recent progress in image denoising: A training strategy perspective
Yeganli et al. Image super-resolution via sparse representation over coupled dictionary learning based on patch sharpness
Li et al. Self-supervised blind motion deblurring with deep expectation maximization
Oh et al. Fpanet: Frequency-based video demoireing using frame-level post alignment
Bodduna et al. Poisson noise removal using multi-frame 3D block matching
CN112614170B (zh) 基于傅里叶功率谱的冷冻电镜单颗粒图像配准方法
Xiao et al. Video denoising algorithm based on improved dual‐domain filtering and 3D block matching

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant