CN113838132B - 一种基于卷积神经网络的单分子定位方法 - Google Patents

一种基于卷积神经网络的单分子定位方法 Download PDF

Info

Publication number
CN113838132B
CN113838132B CN202111105737.6A CN202111105737A CN113838132B CN 113838132 B CN113838132 B CN 113838132B CN 202111105737 A CN202111105737 A CN 202111105737A CN 113838132 B CN113838132 B CN 113838132B
Authority
CN
China
Prior art keywords
dimensional
neural network
convolutional neural
parameter information
dense
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111105737.6A
Other languages
English (en)
Other versions
CN113838132A (zh
Inventor
吴豪
李旸晖
李润坤
黄泽钿
王乐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Jiliang University
Original Assignee
China Jiliang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Jiliang University filed Critical China Jiliang University
Priority to CN202111105737.6A priority Critical patent/CN113838132B/zh
Publication of CN113838132A publication Critical patent/CN113838132A/zh
Application granted granted Critical
Publication of CN113838132B publication Critical patent/CN113838132B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于卷积神经网络的单分子定位方法。包括：1)计算仿真出三维粒子图像，将三维粒子图像中的粒子编码为二维矩形，得到二维矩形的参数信息。2)将步骤1)中计算仿真出的三维粒子图像和对应的二维矩形参数信息组成数据对作为训练集输入到卷积神经网络中进行学习训练，构建出三维粒子图像与二维矩形参数信息之间的映射关系，生成训练好的两者之间的映射关系的卷积神经网络模型。3)测试过程中将单分子图像输入到步骤2)中训练好的网络中，得到预测的二维矩形参数信息。4)将步骤3)中预测的二维矩形的参数信息转换为单分子图像中粒子的信息，利用单分子图像中粒子的信息进行三维重建达到单分子定位的目的。

Description

一种基于卷积神经网络的单分子定位方法
技术领域
本发明涉及图像处理技术领域，具体涉及一种基于卷积神经网络的单分子定位方法。
背景技术
单分子定位超分辨成像(SMLM)技术突破了衍射极限的限制，通过对单分子的定位和多次采集叠加就可实现超分辨的功能，为在生命科学、生物医学、化学科学、材料科学等需要对微小目标物质结构研究的领域提供了有效方法，并被广泛应用。
单分子定位超分辨成像(SMLM)技术一般由上千乃至上万帧的原始图像得到一幅超分辨图像。图像处理速度成了限制该技术发展的重要因素。Simon Gazagnes等人在《ISBI2017-IEEE International Symposium on Biomedical Imaging》中发表的《High densitymolecule localization for super-resolution microscopy using CEL0 based sparseapproximation》，通过加速稀疏恢复的方法来进行单分子的定位，该方法使用了FISTA算法，在保证精度的同时实现了对高密度分子的定位。但是该方法涉及一个耗时的迭代过程，仍然存在对单分子定位速度慢和图像处理的速度时间长的问题。
发明内容
本发明针对现有的单分子定位算法在实现超分辨时存在定位速度慢和图像处理时间长等问题，提出一种基于卷积神经网络的单分子定位方法，在卷积神经网络中的编码网络部分和解码网络部分的密集块之间加入了跳跃连接，利用密集块来提取图像中的特征信息，将低层特征信息和高层特征信息融合，帮助优化特征定位和细节信息处理，在保证定位精度的情况下实现加快了超分辨图像的定位速度和减少图像处理时间的目的。
一种基于卷积神经网络的单分子定位方法，其特征在于包括以下步骤：
1)利用角谱算法，随机生成三维粒子图像。
所述角谱算法可以根据刘宏展和纪越峰在《物理学报》中发表的《一种基于角谱理论的改进型相位恢复迭代算法》中的方法进行计算。
所述三维粒子图像，三维粒子图像中的粒子数为120到200的随机整数，三维粒子图像中的粒子参数信息由(x,y,z,R)表征，其中的x,y为粒子的质心坐标，z为轴向深度，轴向深度为0nm到750nm随机范围，R为粒子的半径，粒子的半径大小为2nm到15nm随机范围，三维粒子图像的像素尺寸为512*512。
2)将三维粒子图像中的粒子编码为二维矩形，得到二维矩形的参数信息，将三维粒子图像与对应的二维矩形的参数信息组成数据对。
所述二维矩形是将三维粒子图像中的所有粒子都进行编码，其中二维矩形的参数信息由中心坐标，灰度值和四边边长构成，二维矩形的中心坐标为粒子的质心坐标，二维矩形的灰度值由粒子的轴向深度通过公式C＝(255×z)/750计算得到，其中C为灰度值，z为每个粒子的轴向深度，二维矩形的四边边长由粒子的半径表示。
作为优选，数据对的数量大于9000组，其中取8000组数据对作为神经网络训练和验证的数据集，数据集中选取6000组数据用作训练集，剩下的2000组数据作为验证集。
3)把三维粒子图像，以及每个三维粒子图像对应的二维矩形参数信息数据对作为训练集输入到卷积神经网络中进行学习训练，构建出三维粒子图像与二维矩形参数信息之间的映射关系，生成训练好的两者之间的映射关系的卷积神经网络模型。
所述的卷积神经网络是由编码网络部分和解码网络部分组成，在编码网络部分和解码网络部分的对应位置处加入了跳跃连接结构。
所述编码网络部分由2层卷积层、4个密集块和4个最大值池化构成。第一个卷积层提取仿真出的三维粒子图像和其对应的二维矩形的参数信息的特征信息，将提取到的特征信息输入到密集块中，密集块将进一步的提取三维粒子图像和其对应的二维矩形的参数信息的特征信息，4个密集块之间由最大值池化连接，最大值池化负责对特征信息进行下采样。最后通过第二个卷积层将密集块提取出的所有三维粒子图像和其对应的二维矩形的参数信息的特征信息传输到解码网络部分。
所述密集块都是由4个密集层构成，每一个密集层都由依次连接的批标准化层、ReLU函数激活层和卷积层组成，每个密集层都从前一密集层获取输入，并通过跳跃连接结构将自己的特征信息传递给所有后续的密集层。
所述解码网络部分由1个卷积层、1个辍学层、4组上采样层和4个密集块构成。首先将由编码网络传输来的三维粒子图像和其对应的二维矩形的参数信息的特征信息通过一个辍学层，再通过上采样层将其特征信息传递到密集块中，每个上采样块都是一个转置卷积层，负责整合特征信息，并对特征信息进行上采样。解码网络部分的密集块与编码部分的密集块结构相同，4个密集块之间通过上采样层依次连接，最后通过卷积层将通过解码网络部分密集块的三维粒子图像和其对应的二维矩形的参数信息特征信息进行最后的整合。
所述跳跃连接结构起到了传递特征信息的作用，使得网络能够保留更多的特征信息的细节，帮助优化特征定位和细节信息处理。
4)将测试的单分子图像输入到训练好的卷积神经网络中进行测试，得到预测的与单分子图像中粒子所对应的二维矩形的参数信息。
5)对二维矩形的参数信息中的中心坐标，灰度值和四边边长进行转换，获得每个粒子的(x,y,z,R)信息，实现对单分子的定位目的。
与现有技术相比，本发明具有以下有益的技术效果：
与传统的单分子定位方法相比，本发明采用卷积神经网络的单分子定位方法在保证精度的同时减少了大量的计算时间。
附图说明
图1是本发明的卷积神经网络的结构图；
图2是本发明卷积神经网络中密集块的结构图；
图3是本发明预测得到的部分的二维矩形的参数信息。
具体实施方式
本发明提供的一种基于卷积神经网络的单分子定位方法，首先通过仿真软件使用角谱算法计算仿真，得到三维粒子图像，再将仿真出的三维粒子图像中的粒子编码为二维矩形，得到二维矩形信息，其中二维矩形参数信息由中心坐标，灰度值和四边边长构成。将三维粒子图像与对应的二维矩形的参数信息组成数据对。训练阶段，把三维粒子图像，以及对应的二维矩形参数信息数据对作为训练集输入到卷积神经网络中进行学习训练，构建出三维粒子图像与其对应的二维矩形参数信息之间的映射关系，生成训练好的两者之间的映射关系的卷积神经网络模型。
本发明的卷积神经网络结构如图1所示，主要是由编码网络部分和解码网络部分组成。编码网络部分由2个卷积层，4个密集块和4个最大值池化构成。第一个卷积层提取仿真出的三维粒子图像和其对应的二维矩形的参数信息的特征信息，将提取到的特征信息输入到密集块中，密集块将进一步的提取三维粒子图像和其对应的二维矩形的参数信息的特征信息，再将第一个密集块的输出通过最大值池化输入到下一个密集块，最大值池化负责对特征信息进行下采样，这样依次通过4个密集块，最后通过第二个卷积层将密集块提取到的所有三维粒子图像和其对应的二维矩形的参数信息的特征信息传输到解码网络部分。解码网络部分由1个卷积层，1个辍学层，5组上采样层和4个密集块构成。辍学层防止了模型的过度拟合，每个上采样层都负责上调整特征映射的大小，解码网络部分的密集块与编码部分的密集块结构相同，密集块通过上采样层依次连接，卷积层的作用是对特征信息进行最后的整合以形成图像。编码网络和解码网络的对应位置加入了跳跃连接，帮助解码部分优化特征定位和细节信息处理。
密集块的结构如图2所示，密集块都是由4个密集层构成，每一个密集层都由依次连接的批标准化层、ReLU函数激活层和卷积层组成，每个密集层都从前一层获取输入，并通过跳跃连接结构将自己的特征信息传递给所有后续的密集层，这样，每个密集层都可以获得更多的特征信息，从而更好地检测提取粒子的特征。
测试阶段，将单分子图像输入到训练好的卷积神经网络中进行测试，得到与单分子图像中粒子所对应的二维矩形的参数信息的预测结果，如图3所示的为预测得到的部分二维矩形的参数信息。最后对二维矩形的参数信息中的中心坐标，灰度值和四边边长进行转换，获得每个粒子的(x,y,z,R)信息，实现对单分子的定位目的。
以上所述仅为本发明的优选实施方式，但本发明保护范围并不局限于此。任何本领域的技术人员在本发明公开的技术范围内，均可对其进行适当的改变或变化，而这种改变或变化都应涵盖在本发明的保护范围之内。

Claims (4)

1.一种基于卷积神经网络的单分子定位方法，其特征在于，该方法包括如下步骤：
1)随机生成三维粒子图像；
2)将步骤1)中随机生成的三维粒子图像中的粒子编码为二维矩形，得到二维矩形的参数信息，将三维粒子图像与对应的二维矩形的参数信息组成数据对；
3)将步骤1)随机生成的三维粒子图像和步骤2)中编码后的二维矩形的参数信息数据对作为训练集输入到卷积神经网络中进行学习训练，构建出三维粒子图像与二维矩形参数信息之间的映射关系，生成训练好的两者之间的映射关系的卷积神经网络模型；
4)将测试的单分子图像输入到步骤3)中训练好的卷积神经网络中进行测试，得到预测的与单分子图像中粒子所对应的二维矩形的参数信息；
5)将步骤4)中预测得到的二维矩形的参数信息中的中心坐标，灰度值和四边边长进行转换，获得每个粒子的(x ,y ,z ,R)信息，实现对单分子的定位目的；
步骤2)中所述的二维矩形的参数信息由中心坐标，灰度值和四边边长构成，其中中心坐标为三维粒子图像中粒子的质心坐标，灰度值由三维粒子图像中粒子的轴向深度通过公式C＝(255×z)/750计算得到，其中C为灰度值，z为每个粒子的轴向深度，四边边长由三维粒子图像中粒子的半径表示。
2.根据权利要求1所述的一种基于卷积神经网络的单分子定位方法，其特征在于，步骤3)中所述的卷积神经网络是由编码网络部分和解码网络部分组成，在编码网络部分和解码网络部分的对应位置处加入了跳跃连接结构。
3.根据权利要求2所述的一种基于卷积神经网络的单分子定位方法，其特征在于，所述的卷积神经网络中的编码网络部分由2层卷积层、4个密集块和4个最大值池化构成，卷积神经网络中的解码网络部分由1个卷积层、1个辍学层、4组上采样层和4个密集块构成。
4.根据权利要求3所述的一种基于卷积神经网络的单分子定位方法，其特征在于，所述的卷积神经网络中的密集块都是由4个密集层构成，每一个密集层都由依次连接的批标准化层、ReLU函数激活层和卷积层组成，每个密集层都从前一密集层获取输入，并通过跳跃连接结构将自己的特征信息传递给所有后续的密集层。
CN202111105737.6A 2021-09-22 2021-09-22 一种基于卷积神经网络的单分子定位方法 Active CN113838132B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111105737.6A CN113838132B (zh) 2021-09-22 2021-09-22 一种基于卷积神经网络的单分子定位方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111105737.6A CN113838132B (zh) 2021-09-22 2021-09-22 一种基于卷积神经网络的单分子定位方法

Publications (2)

Publication Number Publication Date
CN113838132A CN113838132A (zh) 2021-12-24
CN113838132B true CN113838132B (zh) 2023-08-04

Family

ID=78960296

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111105737.6A Active CN113838132B (zh) 2021-09-22 2021-09-22 一种基于卷积神经网络的单分子定位方法

Country Status (1)

Country Link
CN (1) CN113838132B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109978838A (zh) * 2019-03-08 2019-07-05 腾讯科技（深圳）有限公司 图像区域定位方法、装置和医学图像处理设备
CN111310903A (zh) * 2020-02-24 2020-06-19 清华大学 基于卷积神经网络的三维单分子定位系统
CN112700499A (zh) * 2020-11-04 2021-04-23 南京理工大学 一种辐照环境下基于深度学习的视觉定位仿真方法及系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109978838A (zh) * 2019-03-08 2019-07-05 腾讯科技（深圳）有限公司 图像区域定位方法、装置和医学图像处理设备
CN111310903A (zh) * 2020-02-24 2020-06-19 清华大学 基于卷积神经网络的三维单分子定位系统
CN112700499A (zh) * 2020-11-04 2021-04-23 南京理工大学 一种辐照环境下基于深度学习的视觉定位仿真方法及系统

Also Published As

Publication number Publication date
CN113838132A (zh) 2021-12-24

Similar Documents

Publication Publication Date Title
Chen et al. The face image super-resolution algorithm based on combined representation learning
Rosenbaum et al. Inferring a continuous distribution of atom coordinates from cryo-EM images using VAEs
CN112116601B (zh) 基于生成对抗残差网络的压缩感知采样重建方法及系统
CN113379601B (zh) 基于降质变分自编码器的真实世界图像超分辨方法及系统
CN105160678A (zh) 基于卷积神经网络的无参考立体图像质量评估方法
CN110728219A (zh) 基于多列多尺度图卷积神经网络的3d人脸生成方法
Kasem et al. Spatial transformer generative adversarial network for robust image super-resolution
CN111043988A (zh) 一种基于图形学和深度学习的单张条纹投影测量方法
CN115063492B (zh) 一种抵抗jpeg压缩的对抗样本的生成方法
CN112905828B (zh) 一种结合显著特征的图像检索器、数据库及检索方法
Son et al. SAUM: Symmetry-aware upsampling module for consistent point cloud completion
CN113284046A (zh) 基于无高分辨率参考图的遥感图像增强和复原方法及网络
CN114091628A (zh) 基于双分支网络的三维点云上采样方法及系统
CN113469198A (zh) 一种基于改进的vgg卷积神经网络模型的图像分类方法
Wang et al. A novel encryption-then-lossy-compression scheme of color images using customized residual dense spatial network
CN115984339A (zh) 基于几何特征精炼与对抗生成网络的双管道点云补全方法
US20240161484A1 (en) Neural implicit function for end-to-end reconstruction of dynamic cryo-em structures
CN113723294B (zh) 数据处理方法、装置及对象识别方法、装置
Zhang et al. Learning geometric transformation for point cloud completion
Zhu et al. IRE: improved image super-resolution based on real-ESRGAN
CN113838132B (zh) 一种基于卷积神经网络的单分子定位方法
CN113870377A (zh) 基于V-ResNet肺部成像方法
CN117788284A (zh) 一种基于双通道滤波器的dem超分辨率重建方法及系统
CN115661340B (zh) 一种基于源信息融合的三维点云上采样方法与系统
Nagar et al. Mathematical analysis of wavelet-based multi-image compression in medical diagnostics

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant